WO2023075185A1 - 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법 - Google Patents

반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법 Download PDF

Info

Publication number
WO2023075185A1
WO2023075185A1 PCT/KR2022/014739 KR2022014739W WO2023075185A1 WO 2023075185 A1 WO2023075185 A1 WO 2023075185A1 KR 2022014739 W KR2022014739 W KR 2022014739W WO 2023075185 A1 WO2023075185 A1 WO 2023075185A1
Authority
WO
WIPO (PCT)
Prior art keywords
nose
companion animal
feature points
image
nostril
Prior art date
Application number
PCT/KR2022/014739
Other languages
English (en)
French (fr)
Inventor
임준호
박대현
Original Assignee
주식회사 펫나우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 펫나우 filed Critical 주식회사 펫나우
Publication of WO2023075185A1 publication Critical patent/WO2023075185A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Definitions

  • the present invention relates to a method for examining the suitability of an image for learning or recognizing an inscription of a companion animal, and more specifically, an image of an object capable of identifying a companion animal, such as an inscription of a dog, is used for artificial intelligence-based machine learning or It relates to a method and apparatus for filtering by determining whether or not it is suitable for identification.
  • companion animals In modern society, the demand for companion animals that can be emotionally relied on while living with people is increasing. Accordingly, there is an increasing need to manage and manage information on various companion animals in a database for health management of companion animals.
  • identification information of companion animals such as human fingerprints
  • objects that can be used according to companion animals may be defined. For example, in the case of puppies, since the inscription (shape of the wrinkles on the nose) is different, the inscription can be used as identification information for each dog.
  • the method of registering an inscription is to photograph the face including the nose of a companion animal like registering a fingerprint or face of a person (S110), and send the image including the inscription to a database (server). It is performed by the process of storing and registering in (S120).
  • the method of searching the inscription is to photograph the inscription of the companion animal as shown in (b) of FIG. 1 (S130), search for inscription matching the photographed inscription and information related thereto (S140), It can be performed by a process of outputting information matching the inscription (S150).
  • each companion animal can be identified and the information of the companion animal can be managed through the process of registering and searching the inscription of the companion animal.
  • Pet print information of companion animals can be stored in a database and used as data for AI-based learning or recognition.
  • an image with clear nose wrinkles is required for companion animal epitaph recognition, but unlike humans, companion animals do not know how to stop motion for a while, so it is not easy to acquire a clear nose wrinkle image.
  • an image of the front of the nose is desirable as much as possible, but if a companion animal such as a dog moves, the front image may not be captured. In the case of non-frontal images, it may be desirable to discard the images because they are unsuitable for learning or recognizing inscriptions.
  • the present invention provides a method and apparatus capable of determining whether it is a frontal image in the process of obtaining an image of an inscription for identification of a companion animal.
  • a method for checking the suitability of an image for learning or recognizing an inscription of a companion animal includes acquiring an image including the face of the companion animal, and extracting a nose region of the companion animal from the image.
  • the method includes extracting feature points representing the contour of the nose from the nose region, and determining whether the nose region is frontal based on a positional relationship between the feature points.
  • the step of extracting feature points comprises: deriving a feature vector representing sensitivity with each kernel for each pixel of the image by applying kernels corresponding to a predefined pattern type to the image;
  • the method may include extracting the feature points representing the contour of the nose from the feature vector.
  • the step of extracting the feature points may further include correcting the connection relationship and position of the feature points by comparing a skeleton model generated by connecting the feature points with the nose model of the companion animal.
  • the step of determining whether the nose area is the front comprises: constructing a vertical axis line connecting feature points representing upper and lower ends of the nose; and forming the vertical axis line at a feature point representing the left end of the nose. and determining whether the face rotates in a yaw direction by comparing a distance between the nose and a distance between the vertical axis line at a feature point representing the right end of the nose.
  • the step of determining whether the nose area is the front comprises: constructing a horizontal axis line connecting feature points representing the left and right ends of the nose, and the feature points constituting the nostril opening of the companion animal
  • the method may include determining whether or not the face is rotated in a pitch direction based on whether a vector indicating a direction of the faces is located within a reference range with respect to the horizontal axis.
  • the step of determining whether the nose area is the front is the position of the feature point corresponding to the top of the nostril of the companion animal relative to the position of the feature point corresponding to the opening of the nose and the nostril of the companion animal
  • the method may include determining whether or not the face is rotated in a pitch direction based on a position of a lowermost feature point.
  • the step of determining whether the nose area is the front side connects the left nostril area connecting the feature points constituting the left nostril of the companion animal with the feature points constituting the right nostril of the companion animal
  • the method may further include comparing an area of one right nostril to determine whether rotation has occurred in the face.
  • the step of determining whether the nose area is the front comprises: constructing a vertical axis line connecting feature points representing the top and bottom of the nose, and indicating the inner end of the left nostril of the companion animal
  • the method may include comparing a distance between the vertical axis lines at feature points and a distance between the vertical axis lines at feature points indicating an inner end of the right nostril of the companion animal to determine whether rotation has occurred on the face.
  • the step of determining whether the nose area is the front comprises: constructing a vertical axis line connecting feature points indicating upper and lower ends of the nose among the feature points, and forming a vertical axis line and the nose of the companion animal When the hole regions overlap, determining that the face of the companion animal is not the front face may be included.
  • the method for checking the suitability of an image for learning or recognizing a companion animal's inscription if it is determined that the face of the companion animal is not the front, the image including the face of the companion animal is invalid.
  • the method may further include determining and discarding the image, and performing validity check on the image of the next frame.
  • An apparatus for checking the suitability of an image for learning or recognizing an inscription of a companion animal includes a camera for photographing the companion animal and generating an image including the face of the companion animal, and processing the image to and a processor that checks the suitability of the image.
  • the processor may extract a nose region of the companion animal from the image, extract feature points representing the outline of the nose from the nose region, and determine whether the nose region is a frontal face based on a positional relationship between the feature points.
  • the processor derives a feature vector representing sensitivity with each kernel for each pixel of the image by applying kernels corresponding to a predefined pattern type to the image, and the feature vector is derived from the feature vector.
  • the feature points representing the contour of can be extracted.
  • the processor may correct the connection relationship and position of the feature points by comparing the skeleton model generated by connecting the feature points with the nose model of the companion animal.
  • the processor configures a vertical axis line connecting feature points representing upper and lower ends of the nose, and represents a distance between the vertical axis line and the right end of the nose at a feature point representing the left end of the nose. It is possible to determine whether the face is rotated in a yaw direction by comparing distances between the vertical axis lines at feature points.
  • the processor configures a horizontal axis line connecting feature points representing the left and right ends of the nose, and a vector representing the direction of feature points constituting the nostril opening of the companion animal is based on the horizontal axis Whether or not the face is rotated in a pitch direction may be determined based on whether the face is located within a reference range.
  • the processor is based on the location of the feature point corresponding to the top of the nostril of the companion animal and the location of the feature point corresponding to the bottom of the nostril of the companion animal relative to the location of the feature point corresponding to the opening of the nose Thus, it is possible to determine whether or not the face is rotated in a pitch direction.
  • the processor compares the area of the left nostril connecting the feature points constituting the left nostril of the companion animal with the area of the right nostril connecting the feature points constituting the right nostril of the companion animal. It may be determined whether rotation has occurred in the face.
  • the processor configures a vertical axis line connecting feature points representing the upper and lower ends of the nose, and the distance between the vertical axis line at the feature point representing the inner end of the left nostril of the companion animal and the companion animal It is possible to determine whether rotation has occurred in the face by comparing the distance between the vertical axis lines at the feature point representing the inner end of the animal's right nostril.
  • the processor configures a vertical axis line connecting feature points representing upper and lower ends of the nose among the feature points, and when the vertical axis line and the nostril region of the companion animal overlap, the face of the companion animal It can be judged that this is not the front.
  • the processor determines that the image including the face of the companion animal is invalid, discards the image, and checks the validity of the image of the next frame. can be performed.
  • the present invention it is possible to filter a non-frontal inscription image by extracting feature points representing the contour of the nose and determining whether rotation has occurred on the face based on the positional relationship of the feature points.
  • 1 shows a schematic procedure for managing companion animals.
  • FIG. 2 illustrates a procedure for managing an inscription of a companion animal to which suitability determination of an object image according to the present invention is applied.
  • FIG. 3 is a flowchart of a method for checking the suitability of an image for learning or recognizing an inscription of a companion animal.
  • FIG. 5 shows an example of feature points representing the outline of a nose in an inscription image according to the present invention.
  • 6 and 7 show an example of applying a kernel and a kernel for extracting Haar-like features from an inscription image.
  • FIG. 8 illustrates an example of a process of inspecting and correcting the location of feature points by comparing the skeletal model and the nose model.
  • 9 to 14 illustrate examples of determining whether or not to rotate and the degree of rotation using location information of feature points representing the outline of the nose.
  • 15 is a block diagram of a device for checking the suitability of an image for learning or recognizing an inscription of a companion animal.
  • This document focuses on extracting identification information by utilizing the shape of the dog's nose wrinkles (inscription), but in the present invention, the scope of companion animals is not limited to dogs, and as a feature used as identification information, the inscription Physical characteristics of various companion animals may be used without limitation.
  • the present invention provides a filtering method so that only the front inscription image can be used for learning.
  • FIG. 2 illustrates a procedure for managing an inscription of a companion animal to which suitability determination of an object image according to the present invention is applied.
  • the captured inscription image is suitable as data for learning or identification, and if it is determined to be suitable, it is transmitted and stored to a server for recognition, so that learning or identification is performed thereafter. used as data for
  • the inscription management procedure according to the present invention largely includes an inscription acquisition procedure and an inscription recognition procedure.
  • an image including the companion animal is taken, and then an inscription image is extracted from the face area of the companion animal.
  • the image is transmitted to the server (artificial intelligence neural network) and stored in the database.
  • an image containing a companion animal is taken and an inscription image is extracted from the companion animal's face area.
  • the inscription image is used for identification or learning of the companion animal Determine whether it is suitable first. If the captured image is determined to be suitable for identification or learning, the corresponding image is transmitted to the server and identification information of the companion animal is extracted through matching with previously stored inscription images.
  • a companion animal is photographed (S205), a nose region is first detected in the photographed companion animal image (S210), and a quality test is performed to determine whether the photographed image is suitable for learning or identification.
  • An appropriate inscription image is output through (S215), and the output image is transmitted to a server constituting an artificial neural network, stored and registered (S220).
  • FIG. 3 is a flowchart of a method for checking the suitability of an image for learning or recognizing an inscription of a companion animal.
  • a method for checking the suitability of an image for learning or recognizing an inscription of a companion animal includes acquiring an image including a face of a companion animal (S310), and extracting a nose region of the companion animal from the image. It includes a step (S320), a step of extracting feature points representing the contour of the nose from the nose region (S330), and a step of determining whether the nose region is frontal based on the positional relationship of the feature points (S340).
  • the present invention it is possible to filter a non-frontal inscription image by extracting feature points representing the contour of the nose and determining whether rotation has occurred on the face based on the positional relationship of the feature points. If it is determined that the inscription image is not a frontal photograph, the image of the corresponding frame is not used for learning or identification.
  • the quality check of the inscription image according to the present invention is independently performed for each frame of a certain unit, and when an inscription image having a suitable quality is detected, the image is transmitted to the neural network server and used for learning or identification of the companion animal.
  • FIG. 4 shows an example of the direction of rotation of the face.
  • rotation of a 3D object may be expressed in pitch, roll, and yaw directions, respectively.
  • the nose of the companion animal which is a 3D object, faces the front
  • this document describes a method for detecting rotation in the pitch and yaw directions. focus on explaining.
  • the direction and amount of rotation of the nose can be examined using the feature that the companion animal's nose is symmetrical.
  • the present invention can determine whether the inscription image is a frontal image by first defining the feature points forming the contour of the nose and determining whether the nose is rotated, the rotation direction, and the amount of rotation from the positional relationship of each feature point.
  • Feature points forming the outline of the nose may include the top, bottom, left end, and right end of the nose, and may also include the top, bottom, left end, and right end of the nostril.
  • 34 feature points may be defined for an inscription image, and each feature point number may be set as follows.
  • feature points may be set symmetrically left and right around the vertical center line of the nose. Depending on the positional relationship of these feature points, the direction the nose looks (eg, left or right) can be determined.
  • the step of extracting feature points (S330) is a step of applying kernels corresponding to a predefined pattern type to an image, respectively, and applying the kernels to each pixel of the image to indicate the sensitivity with each kernel.
  • Haar-like features and Histogram-of-Gradient (HoG) feature extraction techniques can be used. After extracting local features using Haar-like features or HoG features, feature points may be extracted through principal component analysis or various machine learning.
  • Haar-like kernels of various shapes may be defined.
  • a Haar-like kernel may be defined as shown in FIG. 6 as a kernel for extracting edge features.
  • (a), (b), (c), and (d) are kernels that respond sensitively to edges located within the corresponding region, and (e), (f), (g), ( h), (i), (j), (k), (l) are kernels sensitive to straight lines located within the region, and (m), (n) are kernels located at the center of the region.
  • (a) is a kernel that is sensitive to vertical boundaries
  • (b) is a kernel that is sensitive to horizontal boundaries
  • (e) is a kernel that is sensitive to thin straight lines.
  • a feature vector for each pixel of an image may be extracted by performing a convolution operation on each kernel corresponding to a predefined pattern type and an input image. These feature vectors indicate how sensitively each pixel position of each image reacts to each Haar-like kernel.
  • a feature point representing the uppermost position of the nose in many cases, it has a border component in the shape of a horizontal line. Accordingly, it shows a high correlation with the kernel (a) of FIG. 6, and the value of the convolution increases.
  • feature points representing the left side of the nose have a vertical line-shaped boundary line component in many cases. Accordingly, it shows a low correlation with the kernel (a) of FIG. 6, and the value of the convolution becomes small.
  • feature information is extracted using n kernels for each pixel of the image while changing the size of the image.
  • feature information can be extracted for each feature point, and feature information obtained from a large number of images can be learned using a principal component analysis, a machine learning method, or a method using a neural network.
  • the HoG feature extraction method divides an image into pieces of a certain size, determines directional information within each piece, and converts it into numbers to extract feature information of each piece. extract It is natural that feature information can be extracted using a different image processing method.
  • Feature information extracted from each pixel may be integrated and defined as a feature vector.
  • a model of an inscription image may be trained from the extracted feature vector through principal component analysis or various machine learning methods.
  • a feature vector for each pixel is extracted using the above-described feature extractor, and a pixel with the highest probability is selected using the above-described learning model to find the feature point.
  • each feature point can be found independently.
  • the plurality of feature points defined above have positional correlation.
  • the uppermost (No. 1) feature point is located at the highest position on the vertical axis than other feature points, and feature points representing the nostrils should be located inside of the feature points representing the outer corner of the nose.
  • a detection method using a relative positional relationship between feature points may be proposed.
  • the step of extracting the feature points (S330) may further include correcting the connection relationship and position of the feature points by comparing the skeleton model generated by connecting the feature points with the nose model of the companion animal.
  • a straight line connecting each feature point in order may be formed, and a skeleton model may be generated using the straight line. It can be assumed that such a skeleton model will be located on the contour of the nose, and the model can be fitted to the shape of the nose by moving each feature point in the normal direction of the skeleton model. In order to successfully perform this process, it is necessary to set the initial position of each feature point, which can be defined using the aforementioned individual feature point detection method.
  • the step of determining whether the nose region is frontal based on the positional relationship of the feature points includes the steps of constructing a vertical axis line 1-18 connecting feature points representing the upper and lower ends of the nose; , comparing the distance between the feature points 4 and 24 that are symmetrical with each other among the feature points and the vertical axis line 1-18, and determining whether the face is rotated in the yaw direction.
  • a line (vertical axis line) connecting the upper end 1 and lower end 18 of the entire nose area and a line connecting the left end 4 and the right end 24 of the entire nose area ( Using the horizontal axis line as a reference line, the relative positions of points corresponding to each other left and right can be measured. Through this, the similarity between the left and right sides of the vertical axis line can be measured, and based on the vertical axis line, it is possible to predict which way the nose has rotated and whether or not the rotation in the yaw direction and the degree of rotation can be predicted.
  • a line connecting 1 and 18 and a line connecting 4 and 24 in FIG. 9 mean the vertical and horizontal axes of the nose, respectively. If the photograph was taken from the normal direction, the distance from 4 to the vertical axis and the distance from 24 to the vertical axis would be similar to each other due to symmetry. The degree of rotation in the yaw direction can be easily predicted by measuring the distance between pairs of corresponding points and calculating the difference value of the distance.
  • the horizontal axis line 4-24 connecting feature points representing the left end 4 and the right end 24 of the nose is selected. and determining whether or not the pitch direction of the face is rotated based on whether a vector representing the direction of feature points constituting the nostril opening of the companion animal is located within a reference range with respect to the horizontal axis. do.
  • the orientation of the nostril opening may be defined as a vector based on four points of the nostril opening.
  • the pitch direction of the nose is referred to as the front, if it is in a range higher than the reference value range, the pitch direction is upward, and if it is in a range lower than the reference value range, the pitch direction is referred to as a downward direction.
  • the step of determining whether rotation has occurred on the face (S330) is the position of the feature points (6-5-14-13, 26-25-34-33) corresponding to the opening of the nose. Based on the location of the feature points (8, 28) corresponding to the top of the companion animal's nostril and the location of the feature point (12, 32) corresponding to the bottom of the companion animal's nostril for It may include a decision-making step.
  • the pitch direction the current nose is looking at can be easily predicted by using the feature points at the top/bottom of the nostril (Nos. 8, 12, 28, and 32, respectively) and the relative height information of the opening.
  • the positions of the upper ends of the nostrils 8 and 28 relative to the positions of the openings 6-5-14-13 and 26-25-34-33 are upward
  • the positions of the lowermost ends 12 and 32 appear at heights similar to those of the openings 6-5-14-13 and 26-25-34-33.
  • the position of the uppermost end and the position of the opening appear similar to each other. Therefore, using this relative height information, it is possible to easily determine whether the pitch direction is rotated.
  • the directionality of the nose can be determined by segmenting the nose region using polygons connecting feature points and measuring the area of the region.
  • the areas of the left and right divided areas will also be similar, and the size difference between the left and right divided areas increases as the nose rotates. Since this method is less affected by pitch rotation, it can be useful when rotation occurs in the pitch and yaw directions at the same time.
  • the yaw direction can be determined while being less affected by the angle change in the pitch direction by using the area ratio of the nostril. 12
  • the nose is rotated (Pitch) to the top and rotated (Yaw) to the left. Since the vertical axis (the line connecting No. 1 and No. 18) is out of the center of the nose, it may be difficult to judge yaw by using the symmetry of corresponding points.
  • the right nostril portion is clearly measured, so it can be confirmed that yaw rotation has occurred in the image.
  • the step of determining whether the nose region is frontal based on the positional relationship of the feature points includes the step of constructing a vertical axis line connecting the feature points representing the top and bottom of the nose, Comparing the distance between the vertical axis lines at the feature point representing the inner end of the left nostril and the distance between the vertical axis lines at the feature point representing the inner end of the right nostril of the companion animal, determining whether rotation has occurred on the face. do.
  • the yaw direction can be obtained using the ratio of the vertical axis line (straight line connecting numbers 1 and 18) and the shortest distance to the nostril.
  • the distance from the feature point 10 at the inner end of the left nostril to the vertical axis line 1-18 and the feature point 30 at the inner end of the right nostril The distance from the point to the vertical axis will be similar.
  • the degree of yaw rotation can be estimated by measuring the distance from the vertical axis line 1-18 to the inner end of the right nostril (number 10 on the left, number 30 on the right), respectively.
  • the step of determining whether rotation has occurred on the face (S340) comprises the step of constructing a vertical axis line connecting the feature points representing the top and bottom of the nose among feature points, and the vertical axis line and the nostrils of the companion animal and determining that the face of the companion animal is not the front when the regions overlap.
  • FIG. 14 there may be a case where one nostril is not visible at all because the nose is greatly rotated. Since it is difficult to use these photos for inscription recognition as they are, they must be classified and processed separately. If one nostril is rotated so severely that it cannot be seen, feature point detection fails or a feature point location that cannot be naturally generated is detected. For example, in the case of FIG. 14 , the vertical axis lines 1 to 18 of the nose overlap with the nostril area, and feature points 25 to 34 corresponding to one nostril are not detected. By determining the abnormal feature point arrangement as described above, it may be determined that the nose is captured in a non-frontally symmetrical shape.
  • various methods may be used to determine whether the inscription image is an image of the front of a companion animal by using the positional relationship of feature points.
  • the present invention it is possible to filter a non-frontal inscription image by extracting feature points representing the contour of the nose and determining whether rotation has occurred on the face based on the positional relationship of the feature points. If it is determined that the inscription image is not a frontal photograph, the image of the corresponding frame is not used for learning the inscription or identification of the companion animal. Determination of whether the inscription is frontal according to the present invention may be individually performed for each of a plurality of frame images, and in the case of a frontal image as a result of inspection of a specific frame, learning or recognition of the inscription may be performed using the corresponding image.
  • Inspection of the inscription image described in this document may be performed by an electronic device such as a smart phone or a tablet.
  • an electronic device such as a smart phone or a tablet.
  • an apparatus and operation for checking the suitability of an image for learning or recognizing an inscription of a companion animal according to the present invention will be described.
  • the above-described frontal (suitability) test of the inscription image may be performed by a device such as a smartphone or a tablet in which a program or application for recognizing a companion animal's inscription is installed.
  • An apparatus 1500 for checking the suitability of an image for learning or recognizing an inscription of a companion animal includes a camera 1510 for photographing a companion animal and generating an image including the face of the companion animal, and and a processor 1520 that processes and checks the suitability of the image.
  • the processor 1520 extracts the nose region of the companion animal from the image, extracts feature points representing the outline of the nose from the nose region, and determines whether the nose region is frontal based on a positional relationship between the feature points.
  • the camera 910 may include an optical module such as a lens and a charge-coupled device (CCD) or complementary metal-oxide semiconductor (CMOS) that generates an image signal from input light, and generates image data through image capture. and can be provided to the processor 920.
  • an optical module such as a lens and a charge-coupled device (CCD) or complementary metal-oxide semiconductor (CMOS) that generates an image signal from input light, and generates image data through image capture.
  • CCD charge-coupled device
  • CMOS complementary metal-oxide semiconductor
  • the processor 920 controls each module of the device 900 and performs calculations required for image processing.
  • the processor 920 may include a plurality of microprocessors (processing circuits) according to its functions. As described above, the processor 920 may detect the nose region as an object for identification of a companion animal (eg, puppy) and determine whether the corresponding nose region is a frontal image.
  • a companion animal eg, puppy
  • the device 1500 may include a communication module 930 for communication with an external entity, a memory 1540 for data storage, and a display 1550 for screen output.
  • the communication module 1530 may transmit or receive data with an external entity through a wired/wireless network.
  • the communication module 1530 may exchange data for artificial intelligence-based processing through communication with a server.
  • the memory 1540 stores image data and information necessary for image processing, and the display 950 may display an interface (UI) for inscription recognition together with an image being captured.
  • the device 1500 may include various configurations according to its needs.
  • the processor 1520 derives a feature vector representing sensitivity with each kernel for each pixel of the image by applying kernels corresponding to a predefined pattern type to the image, and derives the contour of the nose from the feature vector.
  • Feature points can be extracted.
  • the processor 1520 may derive a feature vector by applying the kernels shown in FIG. 6 to the inscription image, and extract feature points indicating the contour of the nose from the feature vector as shown in FIG. 5 .
  • the processor 1520 may correct the connection relationship and location of the feature points by comparing the skeleton model generated by connecting the feature points with the nose model of the companion animal. For example, the processor 1520 may correct the connection relationship and location of feature points by comparing the created skeleton model and the nose model of the companion animal as shown in FIG. 8 .
  • the processor 1520 constructs a vertical axis line connecting feature points representing the upper and lower ends of the nose, and determines the distance between the vertical axis lines from the feature point representing the left end of the nose and the feature point representing the right end of the nose. It is possible to determine whether the face is rotated in a yaw direction by comparing distances between vertical axis lines.
  • the processor 1520 configures vertical axis lines 1-18 connecting feature points representing the upper and lower ends of the nose, as shown in FIG. -18) and the distance between the vertical axis lines 1-18 at the feature point 24 representing the right end of the nose, it is possible to determine whether the face is rotated in the yaw direction.
  • the processor 1520 configures a horizontal axis line connecting feature points representing the left and right ends of the nose, and a vector representing the direction of feature points constituting the nostril opening of the companion animal is based on the horizontal axis Whether or not the face is rotated in the pitch direction can be determined based on whether the face is located within the range.
  • the processor 1520 constructs a horizontal axis line 4-24 connecting the feature points representing the left and right ends of the nose, as shown in FIG. 10, and determines the orientation of the feature points constituting the nostril opening of the companion animal. Whether or not the face is rotated in the pitch direction can be determined based on whether the indicated vector is located within the reference range with respect to the horizontal axis 4-24.
  • the processor 1520 based on the position of the feature point corresponding to the uppermost end of the nostril of the companion animal and the position of the feature point corresponding to the lowermost end of the nostril of the companion animal relative to the position of the feature point corresponding to the opening of the nose Whether or not the face rotates in the pitch direction can be determined.
  • the processor 1520 corresponds to the top of the companion animal's nostrils for the positions of the feature points (6-5-14-13, 26-25-34-33) corresponding to the opening of the nose. Based on the positions of the feature points 8 and 28 and the position of the feature points 12 and 32 corresponding to the lowermost nostrils of the companion animal, it is possible to determine whether the face rotates in the pitch direction.
  • the processor 1520 compares the area of the left nostril connecting the feature points constituting the left nostril of the companion animal with the area of the right nostril connecting the feature points constituting the right nostril of the companion animal, It can be determined whether or not rotation has occurred. For example, as shown in FIG. 12, the processor 1520 calculates the area of the left nostril connecting the feature points (7-8-9-10-11-12-13) constituting the left nostril of the companion animal and the companion animal. By comparing the area of the right nostril connecting the feature points (26-27-28-29-30-31-32-33) constituting the right nostril, it is possible to determine whether rotation has occurred in the face.
  • the processor 1520 configures a vertical axis line connecting feature points representing the top and bottom of the nose, and calculates the distance between the feature points representing the inner end of the left nostril of the companion animal and the vertical axis line and the companion animal's It is possible to determine whether rotation has occurred in the face by comparing the distance between the vertical axis lines at the feature point representing the inner end of the right nostril.
  • the processor 1520 constructs a vertical axis line 1-18 connecting feature points representing the upper and lower ends of the nose, as shown in FIG.
  • the processor 1520 configures a vertical axis line connecting feature points representing the top and bottom of the nose among feature points, and when the vertical axis line and the nostril region of the companion animal overlap, the face of the companion animal is in front. It can be judged that it is not.
  • the processor 1520 constructs a vertical axis line 1-18 connecting feature points representing the top and bottom of the nose among feature points, and the vertical axis line 1-18 and the companion animal's nose When the hole regions (6-7-8-9-10-11-12-13) overlap, it may be determined that the companion animal's face is not in front.
  • the processor 1520 determines that the image including the face of the companion animal is invalid, discards the image, and checks the validity of the image of the next frame. can be performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

반려 동물의 식별을 위한 비문의 이미지를 획득하는 과정에서 정면 이미지인지 여부를 판별할 수 있는 방법 및 장치를 제공한다. 본 발명에 따른 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법은, 상기 반려 동물의 안면이 포함된 이미지를 획득하는 단계와, 상기 이미지에서 상기 반려 동물의 코 영역을 추출하는 단계와, 상기 코 영역에서 상기 코의 윤곽을 나타내는 특징점들을 추출하는 단계와, 상기 특징점들의 위치 관계에 기반하여 상기 코 영역이 정면인지 여부를 판단하는 단계를 포함한다.

Description

반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법
본 발명은 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법에 관한 것으로, 보다 구체적으로 강아지의 비문과 같이 반려 동물을 식별할 수 있는 객체의 이미지가 인공 지능 기반의 기계 학습 또는 식별에 적합한지 여부를 판단하여 필터링하기 위한 방법 및 장치에 관한 것이다.
현대 사회에서 사람과 함께 생활하면서 정서적으로 의지할 수 있는 반려 동물에 대한 수요가 높아지고 있다. 이에 따라, 반려 동물에 대한 건강 관리 등을 위하여 다양한 반려 동물에 대한 정보를 데이터베이스화 하여 관리할 필요성이 증가하고 있다. 반려 동물을 관리하기 위하여 사람의 지문과 같이 반려 동물의 식별 정보가 필요하며, 반려 동물에 따라 사용될 수 있는 객체가 각각 정의될 수 있다. 예를 들어, 강아지의 경우 비문(코 주름의 형상)이 각자 상이하므로 각 강아지마다 비문을 식별 정보로 사용할 수 있다.
도 1의 (a)에 도시된 것과 같이, 비문을 등록하는 방법은 사람의 지문 또는 안면을 등록하는 것과 같이 반려 동물의 코를 포함한 안면을 촬영하고(S110) 비문을 포함한 이미지를 데이터베이스(서버)에 저장 및 등록하는 과정(S120)에 의해 수행된다. 또한, 비문을 조회하는 방법은 도 1의 (b)에 도시된 것과 같이 반려 동물의 비문을 촬영하고(S130), 촬영된 비문과 일치하는 비문 및 이와 관련된 정보를 탐색하고(S140), 촬영된 비문과 일치하는 정보를 출력하는 과정(S150)에 의해 수행될 수 있다. 도 1과 같이 반려 동물의 비문을 등록하고 조회하는 과정을 통해 각 반려 동물을 식별하고 해당 반려 동물의 정보를 관리할 수 있다. 반려 동물의 비문 정보는 데이터베이스에 저장되고 AI 기반의 학습 또는 인식을 위한 데이터로서 사용될 수 있다.
그러나, 반려 동물의 비문을 취득하고 저장함에 있어 몇 가지 문제점이 존재한다.
먼저, 사진은 촬영 각도, 초점, 거리, 크기, 환경 등에 따라 인식이 어려울 수 있다. 사람의 안면 인식 기술을 비문 인식에 적용하고자 하는 시도가 있었으나, 사람의 안면 정보는 충분한 데이터가 축적된 반면 반려 동물의 비문 정보는 충분한 데이터가 확보되지 않아 인식률이 낮다는 문제점이 있다. 구체적으로, AI 기반의 인식이 수행되기 위하여는 기계가 학습할 수 있는 형태로 가공된 학습 데이터가 필요하나, 반려 동물의 비문은 충분한 데이터가 축적되지 않아 비문 인식에 어려움이 있다.
또한, 반려 동물의 비문 인식을 위하여는 선명한 코 주름을 갖는 이미지가 요구되나, 사람과 달리 반려 동물은 잠시 동작을 멈추는 것과 같은 행위를 할 줄 모르기 때문에 선명한 코 주름 이미지를 취득하기가 쉽지 않다. 특히, 비문의 학습 또는 식별에 있어 가급적 코 정면의 이미지가 바람직한데, 강아지와 같은 반려 동물이 움직이게 되면 정면 이미지가 촬영되지 못할 수 있다. 정면이 아닌 이미지의 경우 비문의 학습 또는 인식에 부적합하기 때문에 해당 이미지는 버려지는 것이 바람직할 수 있다.
본 발명은 반려 동물의 식별을 위한 비문의 이미지를 획득하는 과정에서 정면 이미지인지 여부를 판별할 수 있는 방법 및 장치를 제공한다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확히 이해될 수 있을 것이다.
본 발명에 따른 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법은, 상기 반려 동물의 안면이 포함된 이미지를 획득하는 단계와, 상기 이미지에서 상기 반려 동물의 코 영역을 추출하는 단계와, 상기 코 영역에서 상기 코의 윤곽을 나타내는 특징점들을 추출하는 단계와, 상기 특징점들의 위치 관계에 기반하여 상기 코 영역이 정면인지 여부를 판단하는 단계를 포함한다.
본 발명에 따르면, 상기 특징점들을 추출하는 단계는, 상기 이미지에 미리 정의된 패턴 타입에 대응하는 커널들을 각각 적용하여 상기 이미지의 픽셀 마다 각각의 커널과의 민감도를 나타내는 특징 벡터를 도출하는 단계와, 상기 특징 벡터로부터 상기 코의 윤곽을 나타내는 상기 특징점들을 추출하는 단계를 포함할 수 있다.
본 발명에 따르면, 상기 특징점들을 추출하는 단계는, 상기 특징점들을 연결하여 생성한 뼈대 모델과 상기 반려 동물의 코 모델을 비교하여 상기 특징점들의 연결 관계 및 위치를 교정하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 상기 코 영역이 정면인지 여부를 판단하는 단계는, 상기 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하는 단계와, 상기 코의 좌측단을 나타내는 특징점에서 상기 세로축 선 사이의 거리와 상기 코의 우측단을 나타내는 특징점에서 상기 세로축 선 사이의 거리를 비교하여 상기 안면의 요(Yaw) 방향 회전 여부를 판단하는 단계를 포함할 수 있다.
본 발명에 따르면, 상기 코 영역이 정면인지 여부를 판단하는 단계는, 상기 코의 좌측단과 우측단을 나타내는 특징점들을 연결하는 가로축 선을 구성하는 단계와, 상기 반려 동물의 콧구멍 개구부를 구성하는 특징점들의 방향성을 나타내는 벡터가 상기 가로축을 기준으로 기준 범위 내에 위치하는지 여부에 기초하여 상기 안면의 피치(Pitch) 방향 회전 여부를 판단하는 단계를 포함할 수 있다.
본 발명에 따르면, 상기 코 영역이 정면인지 여부를 판단하는 단계는, 상기 코의 개구부에 해당하는 특징점들의 위치에 대한 상기 반려 동물의 콧구멍 최상단에 해당하는 특징점의 위치 및 상기 반려 동물의 콧구멍 최하단에 해당하는 특징점의 위치에 기초하여 상기 안면의 피치(Pitch) 방향 회전 여부를 판단하는 단계를 포함할 수 있다.
본 발명에 따르면, 상기 코 영역이 정면인지 여부를 판단하는 단계는, 상기 반려 동물의 좌측 콧구멍을 구성하는 특징점들을 연결한 좌측 콧구멍 면적과 상기 반려 동물의 우측 콧구멍을 구성하는 특징점들을 연결한 우측 콧구멍 면적을 비교하여 상기 안면에 회전이 발생하였는지 여부를 판단하는 단계를 포함할 수 있다.
본 발명에 따르면, 상기 코 영역이 정면인지 여부를 판단하는 단계는, 상기 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하는 단계와, 상기 반려 동물의 좌측 콧구멍의 내측 끝단을 나타내는 특징점에서 상기 세로축 선 사이의 거리 및 상기 반려 동물의 우측 콧구멍의 내측 끝단을 나타내는 특징점에서 상기 세로축 선 사이의 거리를 비교하여 상기 안면에 회전이 발생하였는지 여부를 판단하는 단계를 포함할 수 있다.
본 발명에 따르면, 상기 코 영역이 정면인지 여부를 판단하는 단계는, 상기 특징점들 중 상기 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하는 단계와, 상기 세로축 선과 상기 반려 동물의 콧구멍 영역이 중첩되는 경우 상기 반려 동물의 안면이 정면이 아닌 것으로 판단하는 단계를 포함할 수 있다.
본 발명에 따르면, 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법은, 상기 반려 동물의 안면이 정면이 아닌 것으로 판단되면 상기 반려 동물의 안면이 포함된 이미지가 유효하지 않은 것으로 판단하고 상기 이미지를 버리는 단계와, 다음 프레임의 이미지에 대한 유효성 검사를 수행하는 단계를 더 포함할 수 있다.
본 발명에 따른 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 장치는, 상기 반려 동물을 촬영하여 상기 반려 동물의 안면이 포함된 이미지를 생성하는 카메라와, 상기 이미지를 처리하여 상기 이미지의 적합성을 검사하는 프로세서를 포함한다. 상기 프로세서는, 상기 이미지에서 상기 반려 동물의 코 영역을 추출하고, 상기 코 영역에서 상기 코의 윤곽을 나타내는 특징점들을 추출하고, 상기 특징점들의 위치 관계에 기반하여 상기 코 영역이 정면인지 여부를 판단할 수 있다.
본 발명에 따르면, 상기 프로세서는, 상기 이미지에 미리 정의된 패턴 타입에 대응하는 커널들을 각각 적용하여 상기 이미지의 픽셀 마다 각각의 커널과의 민감도를 나타내는 특징 벡터를 도출하고, 상기 특징 벡터로부터 상기 코의 윤곽을 나타내는 상기 특징점들을 추출할 수 있다.
본 발명에 따르면, 상기 프로세서는, 상기 특징점들을 연결하여 생성한 뼈대 모델과 상기 반려 동물의 코 모델을 비교하여 상기 특징점들의 연결 관계 및 위치를 교정할 수 있다.
본 발명에 따르면, 상기 프로세서는, 상기 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하고, 상기 코의 좌측단을 나타내는 특징점에서 상기 세로축 선 사이의 거리와 상기 코의 우측단을 나타내는 특징점에서 상기 세로축 선 사이의 거리를 비교하여 상기 안면의 요(Yaw) 방향 회전 여부를 판단할 수 있다.
본 발명에 따르면, 상기 프로세서는, 상기 코의 좌측단과 우측단을 나타내는 특징점들을 연결하는 가로축 선을 구성하고, 상기 반려 동물의 콧구멍 개구부를 구성하는 특징점들의 방향성을 나타내는 벡터가 상기 가로축을 기준으로 기준 범위 내에 위치하는지 여부에 기초하여 상기 안면의 피치(Pitch) 방향 회전 여부를 판단할 수 있다.
본 발명에 따르면, 상기 프로세서는, 상기 코의 개구부에 해당하는 특징점들의 위치에 대한 상기 반려 동물의 콧구멍 최상단에 해당하는 특징점의 위치 및 상기 반려 동물의 콧구멍 최하단에 해당하는 특징점의 위치에 기초하여 상기 안면의 피치(Pitch) 방향 회전 여부를 판단할 수 있다.
본 발명에 따르면, 상기 프로세서는, 상기 반려 동물의 좌측 콧구멍을 구성하는 특징점들을 연결한 좌측 콧구멍 면적과 상기 반려 동물의 우측 콧구멍을 구성하는 특징점들을 연결한 우측 콧구멍 면적을 비교하여 상기 안면에 회전이 발생하였는지 여부를 판단할 수 있다.
본 발명에 따르면, 상기 프로세서는, 상기 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하고, 상기 반려 동물의 좌측 콧구멍의 내측 끝단을 나타내는 특징점에서 상기 세로축 선 사이의 거리 및 상기 반려 동물의 우측 콧구멍의 내측 끝단을 나타내는 특징점에서 상기 세로축 선 사이의 거리를 비교하여 상기 안면에 회전이 발생하였는지 여부를 판단할 수 있다.
본 발명에 따르면, 상기 프로세서는, 상기 특징점들 중 상기 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하고, 상기 세로축 선과 상기 반려 동물의 콧구멍 영역이 중첩되는 경우 상기 반려 동물의 안면이 정면이 아닌 것으로 판단할 수 있다.
본 발명에 따르면, 상기 프로세서는, 상기 반려 동물의 안면이 정면이 아닌 것으로 판단되면 상기 반려 동물의 안면이 포함된 이미지가 유효하지 않은 것으로 판단하고 상기 이미지를 버리고, 다음 프레임의 이미지에 대한 유효성 검사를 수행할 수 있다.
본 발명에 따르면, 코의 윤곽을 나타내는 특징점들을 추출하여 특징점들의 위치 관계에 기반하여 안면에 회전이 발생하였는지 여부를 판단함으로써, 정면이 아닌 비문 이미지를 필터링 할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 반려 동물의 관리를 위한 개략적인 절차를 도시한다.
도 2은 본 발명에 따른 객체 이미지의 적합도 판단이 적용된 반려 동물의 비문 관리를 위한 절차를 도시한다.
도 3은 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법의 흐름도이다.
도 4는 안면의 회전 방향의 예를 도시한다.
도 5는 본 발명에 따른 비문 이미지에서 코의 윤곽을 나타내는 특징점들의 예를 도시한다.
도 6 및 도 7은 비문 이미지에서 Haar-like 특징을 추출하기 위한 커널 및 커널을 적용하는 경우의 예를 도시한다.
도 8은 뼈대 모델과 코 모델을 비교하여 특징점의 위치를 검사 및 교정하는 과정의 예를 도시한다.
도 9 내지 도 14는 코의 윤곽을 나타내는 특징점들의 위지 정보를 사용하여 회전 여부 및 회전 정도를 판단하는 경우의 예를 도시한다.
도 15는 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 장치의 블록도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
또한, 여러 실시예들에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적인 실시예에서만 설명하고, 그 외의 다른 실시예에서는 대표적인 실시예와 다른 구성에 대해서만 설명하기로 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(또는 결합)"되어 있다고 할 때, 이는 "직접적으로 연결(또는 결합)"되어 있는 경우뿐만 아니라, 다른 부재를 사이에 두고 "간접적으로 연결(또는 결합)"된 것도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 문서에서는 강아지의 코 주름 형상(비문)을 활용하여 식별 정보를 추출하는 내용을 중심으로 설명하나, 본 발명에서 반려 동물의 범위는 강아지에 한정되지 않으며, 또한 식별 정보로 사용되는 특징으로서 비문에 한정되지 않고 다양한 반려 동물의 신체적 특징이 사용될 수 있다.
앞서 설명한 바와 같이, AI 기반의 학습 또는 식별에 적합한 반려 동물의 비문 이미지가 충분하지 않고 반려 동물의 비문 이미지는 그 품질이 낮을 가능성이 크기 때문에 AI 기반의 학습 또는 식별을 위하여 비문 이미지를 선별적으로 데이터베이스에 저장할 필요가 있다. 특히, 본 발명은 정면의 비문 이미지만이 학습에 사용될 수 있도록 필터링하는 방법을 제공한다.
도 2은 본 발명에 따른 객체 이미지의 적합도 판단이 적용된 반려 동물의 비문 관리를 위한 절차를 도시한다. 본 발명은 반려 동물의 비문을 촬영한 후 촬영된 비문 이미지가 학습 또는 식별을 위한 데이터로서 적합한지 여부를 먼저 판단하고, 적합하다고 판단된 경우 인식을 위한 서버로 전송 및 저장하여 이후 학습 또는 식별을 위한 데이터로 사용한다.
본 발명에 따른 비문 관리 절차는 크게 비문 취득 절차와 비문 인식 절차를 포함한다.
본 발명에 따르면, 신규로 반려 동물의 비문을 등록할 때 반려 동물이 포함된 영상을 촬영한 후 반려 동물의 얼굴 영역에서 비문 이미지를 추출하며, 특히 해당 비문 이미지가 해당 반려 동물의 식별 또는 학습을 위하여 적합한 지 여부를 먼저 판단한다. 촬영된 이미지가 식별 또는 학습에 적합하다고 판단된 경우 해당 이미지가 서버(인공지능 신경망)로 전송되어 데이터베이스에 저장된다.
비문을 통해 반려 동물의 식별 정보를 조회하는 경우, 마찬가지로 반려 동물이 포함된 영상을 촬영한 후 반려 동물의 얼굴 영역에서 비문 이미지를 추출하며, 특히 해당 비문 이미지가 해당 반려 동물의 식별 또는 학습을 위하여 적합한 지 여부를 먼저 판단한다. 촬영된 이미지가 식별 또는 학습에 적합하다고 판단된 경우 해당 이미지가 서버로 전송되고 기존에 저장된 비문 이미지들과의 매칭을 통해 해당 반려 동물의 식별 정보를 추출한다.
비문 등록 절차의 경우, 도 2와 같이 반려 동물을 촬영하고(S205), 촬영된 반려 동물의 이미지에서 먼저 코 영역을 검출하고(S210), 촬영된 이미지가 학습 또는 식별용으로 적합한지에 대한 품질 검사를 통해 적합한 비문 이미지를 출력하고(S215), 출력된 이미지가 인공 신경망을 구성하는 서버로 전송되어 저장 및 등록된다(S220).
도 3은 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법의 흐름도이다.
본 발명에 따른 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법은, 반려 동물의 안면이 포함된 이미지를 획득하는 단계(S310)와, 이미지에서 반려 동물의 코 영역을 추출하는 단계(S320)와, 코 영역에서 코의 윤곽을 나타내는 특징점들을 추출하는 단계(S330)와, 특징점들의 위치 관계에 기반하여 코 영역이 정면인지 여부를 판단하는 단계(S340)를 포함한다.
본 발명에 따르면, 코의 윤곽을 나타내는 특징점들을 추출하여 특징점들의 위치 관계에 기반하여 안면에 회전이 발생하였는지 여부를 판단함으로써, 정면이 아닌 비문 이미지를 필터링 할 수 있다. 비문 이미지가 정면 사진이 아니라고 판단되는 경우, 해당 프레임의 이미지는 학습 또는 신원 식별을 위하여 사용되지 않게 된다. 본 발명에 따른 비문 이미지의 품질 검사는 일정 단위의 프레임마다 독립적으로 수행되며, 적합한 품질을 갖는 비문 이미지가 검출되면 해당 이미지가 신경망 서버로 전송되어 해당 반려 동물의 학습 또는 신원 식별을 위하여 사용된다.
도 4는 안면의 회전 방향의 예를 도시한다. 도 4에 도시된 것과 같이 3차원 물체의 회전은 각각 피치(Pitch), 롤(Roll), 요(Yaw) 방향으로 표현될 수 있다. 3차원 개체인 반려 동물의 코가 정면을 바라보는지 여부는 도 4와 같이 도시된 피치 방향과 요 방향에 대한 코의 회전량이 허용 가능한 범위 이내인지 여부를 판단함으로써 검사될 수 있다. 롤 방향의 회전의 경우, 롤 회전이 검출되면 해당 이미지를 롤 회전의 반대 방향으로 회전시킴으로써 비문의 정면 이미지를 취득할 수 있기 때문에, 본 문서에서는 피치 방향과 요 방향의 회전을 검출하는 방법에 대해 중점적으로 설명하도록 한다. 본 발명에 따르면, 촬영된 2차원 이미지에서 코의 회전을 판단하기 위하여, 반려 동물의 코가 좌우 대칭적이라는 특징을 사용하여 코의 회전 방향 및 회전량이 검사될 수 있다.
따라서, 본 발명은 코의 윤곽을 형성하는 특징점을 먼저 정의하고, 각 특징점의 위치 관계로부터 코의 회전 여부 및 회전 방향, 회전량을 판단함으로써 해당 비문 이미지가 정면 이미지 인지 여부를 판단할 수 있다. 코의 윤곽을 형성하는 특징점으로서 코의 상단, 하단, 좌측단, 우측단 등을 포함할 수 있으며, 또한 콧구멍의 상단, 하단, 좌측단, 우측단을 포함할 수 있다.
예를 들어, 도 5에 도시된 것과 같이 비문 이미지에 대하여 34개의 특징점들이 정의될 수 있으며, 각 특징점 번호는 아래와 같이 설정될 수 있다.
- 코 상단: 1, 코 하단: 18, 코 좌측단: 4, 코 우측단: 24
- 좌측 콧구멍 상단: 8, 좌측 콧구멍 하단: 12, 좌측 콧구멍 내측단: 10, 좌측 콧구멍 개구부: 5~6, 13~14
- 우측 콧구멍 상단: 28, 우측 콧구멍 하단: 32, 우측 콧구멍 내측단: 30, 우측 콧구멍 개구부: 25~26, 33~34
상기 특징점 번호 이외에도 도 5와 같이 코의 세로 중심선을 중심으로 좌우 대칭적으로 특징점이 설정될 수 있다. 이러한 특징점의 위치 관계에 따라 코가 바라보는 방향(예: 좌측, 우측)을 판정할 수 있다.
각 특징점의 위치 관계에 기반하여 안면의 회전 여부를 판단하는 방법의 설명에 앞서, 비문 이미지로부터 이러한 특징점을 추출하는 과정에 대하여 설명하도록 한다.
본 발명에 따르면, 특징점들을 추출하는 단계(S330)는, 이미지에 미리 정의된 패턴 타입에 대응하는 커널들을 각각 적용하는 단계와, 커널들을 적용하여 이미지의 픽셀 마다 각각의 커널과의 민감도를 나타내는 특징 벡터를 도출하는 단계와, 특징 벡터로부터 코의 윤곽을 나타내는 특징점들을 추출하는 단계를 포함한다.
반려 동물의 비문 이미지에서 특징점을 추출하는 방법으로서, Haar-like 특징, Histogram-of-Gradient (HoG) 특징 추출 기법 등이 이용될 수 있다. Haar-like 특징, 또는 HoG 특징을 이용하여 지역 특징 값(local feature)을 추출한 후, 주성분 분석(Principal Component Analysis) 또는 다양한 기계 학습을 통해 특징점이 추출될 수 있다.
예를 들어 Haar-like 특징의 경우, 경계선 및 직선 등을 추출하는데 특화된 특징 추출 방법이다. 도 6과 같이 다양한 모양의 Haar-like 커널이 정의될 수 있다. 예를 들어, 경계선 특징(Edge feature)을 추출하는 커널로서 Haar-like 커널이 도 6과 같이 정의될 수 있다. 도 6에서, (a), (b), (c), (d)는 해당 영역 내에 위치하는 경계선(edge)에 민감하게 반응하는 커널이며, (e), (f), (g), (h), (i), (j), (k), (l)은 해당 영역 내에 위치하는 직선에 민감하게 반응하는 커널이며, (m), (n)은 해당 영역의 중심에 위치하는 개체에 민감하게 반응하는 커널이다. 예를 들어, (a)는 수직 방향의 경계선에 민감하게 반응하는 커널, (b)는 수평 방향의 경계선에 민감하게 반응하는 커널, (e)는 얇은 직선에 민감하게 반응하는 커널이다.
도 6은 예시로 14개의 Haar-like 커널을 도식하고 있으나, 그 크기와 모양, 방향 등에 따라 무수히 많은 커널이 정의될 수 있다. 미리 정의된 패턴 타입에 대응하는 각각의 커널과 입력 이미지에 대해 합성곱(convolution) 연산을 수행함으로써, 영상 각 픽셀에 대한 특징 벡터를 추출할 수 있다. 이러한 특징 벡터는, 이미지 각각의 픽셀 위치별로 각각의 Haar-like 커널에 얼마나 민감하게 반응하였는지를 나타낸다.
예를 들어, 도 7을 참고하면, 코의 최상부 위치를 나타내는 특징점의 경우, 많은 경우 가로선 모양의 경계선 성분을 갖게 된다. 이에 따라 도 6의 커널 (a)와 높은 연관성을 보이며, 합성곱의 값이 커지게 된다. 반면 코의 좌측부를 나타내는 특징점의 경우, 많은 경우 세로선 모양의 경계선 성분을 갖게 된다. 이에 따라 도 6의 커널(a)와는 낮은 연관성을 보이며, 합성곱의 값이 작아지게 된다.
이러한 원리에 따라, 이미지의 크기를 변화시키면서 이미지의 각 픽셀마다 n개의 커널을 이용하여 특징 정보를 추출하게 된다. 이러한 방법으로 각 특징점마다 특징 정보를 추출할 수 있으며, 다량의 이미지로부터 획득한 특징 정보는 주성분 분석(Principle Component Analysis), 기계 학습 방법 내지는 신경망을 이용한 방법을 이용하여 학습될 수 있다.
Haar-like 특징이 경계선 정보를 바탕으로 추출하는 반면, HoG 특징 추출 방법은 이미지를 일정한 크기의 조각으로 분할한 뒤, 각 조각 내에서 방향성 정보를 판단하고 이를 숫자로 변환함으로써 각 조각의 특징 정보를 추출한다. 이와 다른 이미지 처리 방법을 이용해서 특징 정보를 추출할 수 있음은 당연하다.
본 발명은 앞서 설명한 Haar-like 특징, HoG 특징 외에도 여러 가지 특징 추출 방법을 병합하여 사용할 수 있다. 각 픽셀에서 추출된 특징 정보는 통합되어 특징 벡터로 정의될 수 있다. 이렇게 추출된 특징 벡터로부터 주성분 분석, 또는 다양한 기계학습 방법을 통해 비문 이미지의 모델을 학습시킬 수 있다. 새로 입력된 영상 내에서 특징점을 찾기 위하여, 전술한 특징 추출기를 이용하여 각 픽셀별 특징 벡터를 추출하고, 전술한 학습 모델을 이용하여 가장 가능성이 높은 픽셀을 선택함으로써 특징점을 찾아낼 수 있다.
이러한 방법을 사용하면 각각의 특징점을 독립적으로 찾아낼 수 있다. 그러나, 위에서 정의한 복수의 특징점은 위치상 연관성을 가지고 있다. 예를 들면 최상단(1번) 특징점은 다른 특징점보다 세로축 상에서 가장 높은 위치에 있으며, 콧구멍을 나타내는 특징점들은 코 외각을 나타내는 특징점보다 안쪽에 위치하여야 한다. 이러한 위치 연관성을 이용하기 위하여, 특징점 사이의 상대적인 위치 관계를 이용한 검출 방법을 제안할 수 있다.
본 발명에 따르면, 특징점들을 추출하는 단계(S330)는, 특징점들을 연결하여 생성한 뼈대 모델과 반려 동물의 코 모델을 비교하여 특징점들의 연결 관계 및 위치를 교정하는 단계를 더 포함할 수 있다.
예를 들어, 도 8의 좌측과 같이 각 특징점을 순서대로 연결하는 직선을 형성하고, 이를 이용하여 뼈대 모델(Skeleton model)을 생성할 수 있다. 이러한 뼈대 모델은 코의 윤곽선에 위치하게 될 것이라 가정할 수 있으며, 각각의 특징점을 뼈대 모델의 법선 방향으로 이동함으로써 모델을 코 모양에 정렬(fitting)할 수 있다. 이러한 과정이 성공적으로 수행되려면 각 특징점의 초기 위치 설정이 필요한데, 이는 전술한 개별 특징점 검출 방법을 이용하여 정의할 수 있다.
또한 이러한 과정을 통하여 개별 특징점이 검출이 올바로 되었는지, 예를 들면 콧구멍 개구부의 특징점들이 서로 교차하여 꼬이지 않았는지 등을 점검할 수 있게 되며, 필요한 경우 특징점 간 위치를 교환하거나 코 윤곽선에 특징점을 정렬하는 과정을 수행함으로써 잘못 검출된 특징점의 위치를 바로잡을 수 있게 된다. 또한 일부 특징점의 검출에 실패하여 누락이 발생하더라도, 뼈대 모델을 이용하여 인접한 특징점의 위치로부터 누락된 특징점의 위치를 추측해 낼 수 있다.
이러한 과정을 거침으로써, 반려 동물 코의 특징점 정보를 효율적으로 추출할 수 있으며, 특징점의 위치 관계와 기하학적 상관관계를 이용하여 코가 정면을 바라보는지, 또는 Pitch / Roll / Yaw 축의 회전이 발생하였는지를 판단할 수 있다.
앞서 설명한 바와 같이 비문 이미지로부터 코의 윤곽을 나타내는 특징점들을 추출한 후, 각 특징점들의 위치 관계를 분석하여 반려 동물의 이미지가 정면 이미지인지를 판단할 수 있다. 이하, 비문 이미지의 특징점을 통해 안면의 회전 여부를 판단하는 방법에 대해 설명한다.
본 발명에 따르면, 특징점들의 위치 관계에 기반하여 코 영역이 정면인지 여부를 판단하는 단계(S340)는, 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선(1-18)을 구성하는 단계와, 특징점들 중 서로 대칭되는 특징점들(4, 24)과 세로축 선(1-18) 사이의 거리를 비교하여 안면의 요(Yaw) 방향 회전 여부를 판단하는 단계를 포함한다.
도 9에 도시된 것과 같이, 코 전체 영역의 상단(1)과 하단(18)을 연결하는 선(세로축 선)과 코 전체 영역의 좌측단(4)과 우측단(24)을 연결하는 선(가로축 선)을 기준선으로 삼아, 좌-우 상호 대응되는 점의 상대적인 위치를 측정할 수 있다. 이를 통하여 세로축 선의 좌측과 우측의 유사도를 측정할 수 있고, 세로축 선을 바탕으로 코가 어느 쪽으로 회전하였는지 Yaw 방향의 회전 여부와 회전 정도를 예측할 수 있다.
예를 들어, 도 9에서 1과 18을 잇는 선과 4와 24를 잇는 선은 각각 코의 세로축, 가로축을 의미한다. 정방향에서 촬영하였다면 대칭성에 의하여 4에서 세로축까지의 거리, 그리고 24에서 세로축까지의 거리는 서로 유사할 것이다. 서로 대응되는 점의 쌍 사이에서 이와 같은 거리를 측정하고, 거리의 차이 값을 연산함으로써 손쉽게 Yaw 방향의 회전 정도를 예측할 수 있다.
또한, 본 발명에 따르면, 안면에 회전이 발생하였는지 여부를 판단하는 단계(S330)는, 코의 좌측단(4)과 우측단(24)을 나타내는 특징점들을 연결하는 가로축 선(4-24)을 구성하는 단계와, 반려 동물의 콧구멍 개구부를 구성하는 특징점들의 방향성을 나타내는 벡터가 상기 가로축을 기준으로 기준 범위 내에 위치하는지 여부에 기초하여 안면의 피치(Pitch) 방향 회전 여부를 판단하는 단계를 포함한다.
본 발명에 따르면, 콧구멍 개구부(6-5-14-13, 26-25-34-33)의 방향성 정보를 파악하여 코가 상부를 바라보는지 또는 하부를 바라보는지 판단할 수 있다. 도 10에 도시된 것과 같이, 콧구멍 개구부의 4점을 기준으로 개구부의 방향성을 벡터로 정의할 수 있다. 예를 들어, 개구부 벡터가 가로축을 기준으로 기준값 범위 내에 있다면 코의 Pitch 방향을 정면으로, 기준값 범위보다 높은 범위에 있다면 Pitch 방향을 위쪽 방향으로, 기준값 범위보다 낮은 범위에 있다면 Pitch 방향을 아래쪽 방향이라고 판단할 수 있다.
또한, 본 발명에 따르면, 안면에 회전이 발생하였는지 여부를 판단하는 단계(S330)는, 코의 개구부에 해당하는 특징점들(6-5-14-13, 26-25-34-33)의 위치에 대한 반려 동물의 콧구멍 최상단에 해당하는 특징점(8, 28)의 위치 및 반려 동물의 콧구멍 최하단에 해당하는 특징점(12, 32)의 위치에 기초하여 안면의 피치(Pitch) 방향 회전 여부를 판단하는 단계를 포함할 수 있다.
본 발명에 따르면, 콧구멍 부분의 최상단/최하단(각각 8, 12번, 28, 32번) 특징점과 개구부의 상대적 높이 정보를 사용하면 현재 코가 바라보는 Pitch 방향을 손쉽게 예측할 수 있다. 도 9에 도시된 것과 같이, 코가 정면을 바라보는 경우, 개구부(6-5-14-13, 26-25-34-33)의 위치 대비 콧구멍 최상단(8, 28)의 위치는 위쪽으로 나타나며, 최하단(12, 32)의 위치는 개구부(6-5-14-13, 26-25-34-33)와 유사한 높이로 나타난다. 반면, 도 11과 같이 코가 아래 방향을 바라보는 경우, 최상단의 위치와 개구부의 위치가 유사하게 나타나는 등의 특징을 갖게 된다. 따라서 이러한 상대적 높이 정보를 사용하면 손쉽게 Pitch 방향 회전 여부를 판단할 수 있다.
본 발명에 따르면, 특징점들의 위치 관계에 기반하여 코 영역이 정면인지 여부를 판단하는 단계(S340)는, 반려 동물의 좌측 콧구멍을 구성하는 특징점들을 연결한 좌측 콧구멍 면적과 반려 동물의 우측 콧구멍을 구성하는 특징점들을 연결한 우측 콧구멍 면적을 비교하여 안면에 회전이 발생하였는지 여부를 판단하는 단계를 포함한다.
본 실시예에 따르면, 특징점을 연결한 다각형을 이용하여 코의 영역을 분할하고, 영역의 면적을 측정함으로써 코의 방향성을 판단할 수 있다. 이상적인 상황에서 코의 좌우가 대칭인 경우, 좌 우측의 분할 영역의 면적 또한 유사할 것이라 가정할 수 있으며, 코가 회전할수록 좌 우측 분할 면적의 크기 차이가 증가한다. 본 방법은 Pitch 회전에는 영향을 적게 받으므로, Pitch와 Yaw 방향으로 동시에 회전이 발생한 경우 유용하게 사용될 수 있다.
예를 들어, 도 12와 같이 콧구멍의 면적 비율을 이용하여, Pitch 방향의 각도 변화에 영향을 덜 받으면서도 Yaw 방향을 판단할 수 있다. 도 12에서 코가 상단으로 회전(Pitch)하고 좌측으로 회전(Yaw)한 상태이다. 세로축(1번과 18번을 연결한 선)이 코의 가운데를 벗어난 상태이므로 대응점 대칭성을 이용한 방법으로는 Yaw 판단이 어려울 수 있다. 그러나 콧구멍의 면적을 확인해 보면 우측 콧구멍 부분이 확연히 크게 측정되므로, 해당 이미지에 있어 Yaw 회전이 발생하였음이 확인될 수 있다.
본 발명에 따르면, 특징점들의 위치 관계에 기반하여 코 영역이 정면인지 여부를 판단하는 단계(S340)는, 상기 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하는 단계와, 반려 동물의 좌측 콧구멍의 내측 끝단을 나타내는 특징점에서 세로축 선 사이의 거리 및 반려 동물의 우측 콧구멍의 내측 끝단을 나타내는 특징점에서 세로축 선 사이의 거리를 비교하여 안면에 회전이 발생하였는지 여부를 판단하는 단계를 포함한다.
본 실시예에 따르면, 세로축 선(1번과 18번을 잇는 직선)과 콧구멍까지의 최단 거리 비율을 사용하여 Yaw 방향성을 수 있다. 이상적인 상황에서 코가 정면을 바라보아 좌우 대칭을 이루는 경우, 도 13에서 좌측 콧구멍의 내측 끝단 특징점(10) 으로부터 세로축 선(1-18)까지의 거리와 우측 콧구멍의 내측 끝단 특징점(30)점으로부터 수직 축까지의 거리는 유사할 것이다.
앞서 기술한 코 전체 영역의 좌측 끝과 우측 끝의 경우, Pitch와 Yaw 회전이 동시에 발생하면서 일부 부정확한 결과가 발생할 수 있다. 그러나, 경험적으로 세로축 선(1-18)과 콧구멍 내측 특징점(10, 30)까지의 거리는 Pitch의 영향이 적고 Yaw 회전의 영향이 크게 작용한다. 따라서 도 13과 같이 세로축 선(1-18)으로부터 우측 콧구멍의 내측 끝단(좌측 10번, 우측 30번) 까지의 거리를 각각 측정함으로써 Yaw 회전 정도를 추정할 수 있다. 코가 Pitch와 Yaw 방향으로 크게 회전된 경우 한 쪽 콧구멍이 다른 콧구멍에 비해 세로축 선(1-18)에 가깝게 위치하게 되므로, 두 내측 끝단까지의 거리 차이가 일정 값을 벗어나는 경우 Yaw 회전이 발생하였음을 추측할 수 있다.
본 발명에 따르면, 안면에 회전이 발생하였는지 여부를 판단하는 단계(S340)는, 특징점들 중 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하는 단계와, 세로축 선과 반려 동물의 콧구멍 영역이 중첩되는 경우 반려 동물의 안면이 정면이 아닌 것으로 판단하는 단계를 포함한다.
도 14와 같이 코가 크게 회전하여 한 쪽 콧구멍이 아예 보이지 않는 경우가 발생할 수 있다. 이러한 사진은 그대로 비문 인식에 사용하기는 어려우므로, 별도로 분류하여 처리하여야 한다. 한 쪽 콧구멍이 보이지 않을 정도로 심하게 회전한 경우, 특징점 검출에 실패하거나 자연적으로 발생할 수 없는 특징점 위치가 검출된다. 예를 들면 도 14의 경우 코의 세로축 선(1-18)이 콧구멍 영역과 중첩되며, 한 쪽 콧구멍에 해당하는 특징점들(25~34)이 검출되지 않는다. 이와 같이 비정상적인 특징점 배치를 판단함으로써 코가 정면 대칭형이 아닌 형태로 촬영되었음을 판단할 수 있다.
또한, 본 발명에 따른 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법은 반려 동물의 안면이 정면이 아닌 것으로 판단되면 반려 동물의 안면이 포함된 이미지가 유효하지 않은 것으로 판단하고 해당 이미지를 버리는 단계를 더 포함한다.
앞서 설명한 것과 같은 방법뿐만 아니라 특징점들의 위치 관계를 사용하여 비문 이미지의 반려 동물의 정면을 촬영한 이미지인지 여부를 판단하기 위한 다양한 방법이 사용될 수 있다.
본 발명에 따르면, 코의 윤곽을 나타내는 특징점들을 추출하여 특징점들의 위치 관계에 기반하여 안면에 회전이 발생하였는지 여부를 판단함으로써, 정면이 아닌 비문 이미지를 필터링 할 수 있다. 비문 이미지가 정면 사진이 아니라고 판단되는 경우, 해당 프레임의 이미지는 반려 동물의 비문 학습 또는 신원 식별을 위하여 사용되지 않는다. 본 발명에 따른 비문의 정면 여부 판단은 복수개의 프레임 이미지에 대해 각각 개별적으로 수행될 수 있으며, 특정 프레임에 대한 검사 결과 정면 이미지인 경우 해당 이미지를 사용하여 비문의 학습 또는 인식을 수행할 수 있다.
본 문서에서 설명한 비문 이미지의 검사는 스마트폰, 태블릿과 같은 전자 장치에 의해 수행될 수 있다. 이하 본 발명에 따른 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 장치 및 동작에 대하여 설명한다. 앞서 설명한 비문 이미지의 정면 여부(적합성) 검사는 반려 동물의 비문 인식을 위한 프로그램 또는 어플리케이션이 설치된 스마트폰, 태블릿과 같은 장치에 의해 수행될 수 있다.
도 15는 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 장치의 블록도이다. 본 발명에 따른 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 장치(1500)는, 반려 동물을 촬영하여 반려 동물의 안면이 포함된 이미지를 생성하는 카메라(1510)와, 이미지를 처리하여 이미지의 적합성을 검사하는 프로세서(1520)를 포함한다. 프로세서(1520)는, 이미지에서 상기 반려 동물의 코 영역을 추출하고, 코 영역에서 코의 윤곽을 나타내는 특징점들을 추출하고, 특징점들의 위치 관계에 기반하여 코 영역이 정면인지 여부를 판단한다.
카메라(910)는 렌즈와 같은 광학 모듈과 입력된 광으로부터 영상 신호를 생성하는 CCD(charge-coupled device) 또는 CMOS(complementary metal-oxide semiconductor)를 포함할 수 있으며, 영상 촬영을 통해 영상 데이터를 생성하여 프로세서(920)로 제공할 수 있다.
프로세서(920)는 장치(900)의 각 모듈을 제어하고 영상 처리를 위해 필요한 연산을 수행한다. 프로세서(920)는 그 기능에 따라 복수개의 마이크로프로세서(프로세싱 회로)로 구성될 수 있다. 프로세서(920)는 앞서 설명한 바와 같이 반려 동물(예: 강아지)의 식별을 위한 객체로서 코 영역을 검출하고, 해당 코 영역이 정면 이미지인지 여부를 판단할 수 있다.
추가적으로, 장치(1500)는 외부 개체와의 통신을 위한 통신 모듈(930), 데이터 저장을 위한 메모리(1540), 화면 출력을 위한 디스플레이(1550)를 포함할 수 있다.
통신 모듈(1530)은 유/무선 네트워크를 통해 외부의 개체(entity)와 데이터를 송신 또는 수신할 수 있다. 특히, 통신 모듈(1530)은 서버와의 통신을 통해 인공 지능 기반의 처리를 위한 데이터를 교환할 수 있다. 메모리(1540)는 영상 데이터 및 영상 처리를 위하여 필요한 정보를 저장하며, 디스플레이(950)는 촬영중인 영상과 함께 비문 인식을 위한 인터페이스(UI)를 표시할 수 있다. 뿐만 아니라, 장치(1500)는 그 필요에 따라 다양한 구성을 포함할 수 있다.
본 발명에 따르면, 프로세서(1520)는 이미지에 미리 정의된 패턴 타입에 대응하는 커널들을 각각 적용하여 이미지의 픽셀 마다 각각의 커널과의 민감도를 나타내는 특징 벡터를 도출하고, 특징 벡터로부터 코의 윤곽을 나타내는 특징점들을 추출할 수 있다. 예를 들어, 프로세서(1520)는 도 6과 같은 커널들을 비문 이미지에 적용함으로써 특징 벡터를 도출하고, 특징 벡터로부터 도 5와 같이 코의 윤곽을 나타내는 특징점들을 추출할 수 있다.
본 발명에 따르면, 프로세서(1520)는 특징점들을 연결하여 생성한 뼈대 모델과 반려 동물의 코 모델을 비교하여 특징점들의 연결 관계 및 위치를 교정할 수 있다. 예를 들어, 프로세서(1520)는 도 8과 같이 생성한 뼈대 모델과 반려 동물의 코 모델을 비교하여 특징점들의 연결 관계 및 위치를 교정할 수 있다.
본 발명에 따르면, 프로세서(1520)는, 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하고, 코의 좌측단을 나타내는 특징점에서 세로축 선 사이의 거리와 코의 우측단을 나타내는 특징점에서 세로축 선 사이의 거리를 비교하여 상기 안면의 요(Yaw) 방향 회전 여부를 판단할 수 있다. 예를 들어, 프로세서(1520)는 도 9와 같이 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선(1-18)을 구성하고, 코의 좌측단을 나타내는 특징점(4)에서 세로축 선(1-18) 사이의 거리와 코의 우측단을 나타내는 특징점(24)에서 세로축 선(1-18) 사이의 거리를 비교하여 상기 안면의 요(Yaw) 방향 회전 여부를 판단할 수 있다.
본 발명에 따르면, 프로세서(1520)는, 코의 좌측단과 우측단을 나타내는 특징점들을 연결하는 가로축 선을 구성하고, 반려 동물의 콧구멍 개구부를 구성하는 특징점들의 방향성을 나타내는 벡터가 가로축을 기준으로 기준 범위 내에 위치하는지 여부에 기초하여 안면의 피치(Pitch) 방향 회전 여부를 판단할 수 있다. 예를 들어, 프로세서(1520)는, 도 10과 같이 코의 좌측단과 우측단을 나타내는 특징점들을 연결하는 가로축 선(4-24)을 구성하고, 반려 동물의 콧구멍 개구부를 구성하는 특징점들의 방향성을 나타내는 벡터가 가로축(4-24)을 기준으로 기준 범위 내에 위치하는지 여부에 기초하여 안면의 피치(Pitch) 방향 회전 여부를 판단할 수 있다.
본 발명에 따르면, 프로세서(1520)는, 코의 개구부에 해당하는 특징점들의 위치에 대한 반려 동물의 콧구멍 최상단에 해당하는 특징점의 위치 및 반려 동물의 콧구멍 최하단에 해당하는 특징점의 위치에 기초하여 안면의 피치(Pitch) 방향 회전 여부를 판단할 수 있다. 예를 들어, 프로세서(1520)는 도 11과 같이 코의 개구부에 해당하는 특징점들(6-5-14-13, 26-25-34-33)의 위치에 대한 반려 동물의 콧구멍 최상단에 해당하는 특징점(8, 28)의 위치 및 반려 동물의 콧구멍 최하단에 해당하는 특징점(12, 32)의 위치에 기초하여 안면의 피치(Pitch) 방향 회전 여부를 판단할 수 있다.
본 발명에 따르면, 프로세서(1520)는, 반려 동물의 좌측 콧구멍을 구성하는 특징점들을 연결한 좌측 콧구멍 면적과 반려 동물의 우측 콧구멍을 구성하는 특징점들을 연결한 우측 콧구멍 면적을 비교하여 안면에 회전이 발생하였는지 여부를 판단할 수 있다. 예를 들어, 프로세서(1520)는 도 12와 같이 반려 동물의 좌측 콧구멍을 구성하는 특징점들(7-8-9-10-11-12-13)을 연결한 좌측 콧구멍 면적과 반려 동물의 우측 콧구멍을 구성하는 특징점들(26-27-28-29-30-31-32-33)을 연결한 우측 콧구멍 면적을 비교하여 안면에 회전이 발생하였는지 여부를 판단할 수 있다.
본 발명에 따르면, 프로세서(1520)는, 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하고, 반려 동물의 좌측 콧구멍의 내측 끝단을 나타내는 특징점에서 세로축 선 사이의 거리 및 반려 동물의 우측 콧구멍의 내측 끝단을 나타내는 특징점에서 세로축 선 사이의 거리를 비교하여 안면에 회전이 발생하였는지 여부를 판단할 수 있다. 예를 들어, 프로세서(1520)는 도 13과 같이 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선(1-18)을 구성하고, 반려 동물의 좌측 콧구멍의 내측 끝단을 나타내는 특징점(10)에서 세로축 선(1-18) 사이의 거리 및 반려 동물의 우측 콧구멍의 내측 끝단을 나타내는 특징점(30)에서 세로축 선(1-18) 사이의 거리를 비교하여 안면에 회전이 발생하였는지 여부를 판단할 수 있다.
본 발명에 따르면, 프로세서(1520)는, 특징점들 중 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하고, 세로축 선과 반려 동물의 콧구멍 영역이 중첩되는 경우 반려 동물의 안면이 정면이 아닌 것으로 판단할 수 있다. 예를 들어, 프로세서(1520)는 도 14와 같이 특징점들 중 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선(1-18)을 구성하고, 세로축 선(1-18)과 반려 동물의 콧구멍 영역(6-7-8-9-10-11-12-13)이 중첩되는 경우 반려 동물의 안면이 정면이 아닌 것으로 판단할 수 있다.
본 발명에 따르면, 프로세서(1520)는, 반려 동물의 안면이 정면이 아닌 것으로 판단되면 반려 동물의 안면이 포함된 이미지가 유효하지 않은 것으로 판단하고 해당 이미지를 버리고, 다음 프레임의 이미지에 대한 유효성 검사를 수행할 수 있다.
본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (20)

  1. 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법에 있어서,
    상기 반려 동물의 안면이 포함된 이미지를 획득하는 단계;
    상기 이미지에서 상기 반려 동물의 코 영역을 추출하는 단계;
    상기 코 영역에서 상기 코의 윤곽을 나타내는 특징점들을 추출하는 단계; 및
    상기 특징점들의 위치 관계에 기반하여 상기 코 영역이 정면인지 여부를 판단하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 특징점들을 추출하는 단계는,
    상기 이미지에 미리 정의된 패턴 타입에 대응하는 커널들을 각각 적용하여 상기 이미지의 픽셀 마다 각각의 커널과의 민감도를 나타내는 특징 벡터를 도출하는 단계; 및
    상기 특징 벡터로부터 상기 코의 윤곽을 나타내는 상기 특징점들을 추출하는 단계를 포함하는 방법.
  3. 제2항에 있어서,
    상기 특징점들을 연결하여 생성한 뼈대 모델과 상기 반려 동물의 코 모델을 비교하여 상기 특징점들의 연결 관계 및 위치를 교정하는 단계를 더 포함하는 방법.
  4. 제1항에 있어서,
    상기 코 영역이 정면인지 여부를 판단하는 단계는,
    상기 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하는 단계; 및
    상기 코의 좌측단을 나타내는 특징점에서 상기 세로축 선 사이의 거리와 상기 코의 우측단을 나타내는 특징점에서 상기 세로축 선 사이의 거리를 비교하여 상기 안면의 요(Yaw) 방향 회전 여부를 판단하는 단계를 포함하는 방법.
  5. 제1항에 있어서,
    상기 코 영역이 정면인지 여부를 판단하는 단계는,
    상기 코의 좌측단과 우측단을 나타내는 특징점들을 연결하는 가로축 선을 구성하는 단계; 및
    상기 반려 동물의 콧구멍 개구부를 구성하는 특징점들의 방향성을 나타내는 벡터가 상기 가로축을 기준으로 기준 범위 내에 위치하는지 여부에 기초하여 상기 안면의 피치(Pitch) 방향 회전 여부를 판단하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 코 영역이 정면인지 여부를 판단하는 단계는,
    상기 코의 개구부에 해당하는 특징점들의 위치에 대한 상기 반려 동물의 콧구멍 최상단에 해당하는 특징점의 위치 및 상기 반려 동물의 콧구멍 최하단에 해당하는 특징점의 위치에 기초하여 상기 안면의 피치(Pitch) 방향 회전 여부를 판단하는 단계를 포함하는 방법.
  7. 제1항에 있어서,
    상기 코 영역이 정면인지 여부를 판단하는 단계는,
    상기 반려 동물의 좌측 콧구멍을 구성하는 특징점들을 연결한 좌측 콧구멍 면적과 상기 반려 동물의 우측 콧구멍을 구성하는 특징점들을 연결한 우측 콧구멍 면적을 비교하여 상기 안면에 회전이 발생하였는지 여부를 판단하는 단계를 포함하는 방법.
  8. 제1항에 있어서,
    상기 코 영역이 정면인지 여부를 판단하는 단계는,
    상기 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하는 단계; 및
    상기 반려 동물의 좌측 콧구멍의 내측 끝단을 나타내는 특징점에서 상기 세로축 선 사이의 거리 및 상기 반려 동물의 우측 콧구멍의 내측 끝단을 나타내는 특징점에서 상기 세로축 선 사이의 거리를 비교하여 상기 안면에 회전이 발생하였는지 여부를 판단하는 단계를 포함하는 방법.
  9. 제1항에 있어서,
    상기 코 영역이 정면인지 여부를 판단하는 단계는,
    상기 특징점들 중 상기 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하는 단계; 및
    상기 세로축 선과 상기 반려 동물의 콧구멍 영역이 중첩되는 경우 상기 반려 동물의 안면이 정면이 아닌 것으로 판단하는 단계를 포함하는 방법.
  10. 제1항에 있어서,
    상기 반려 동물의 안면이 정면이 아닌 것으로 판단되면 상기 반려 동물의 안면이 포함된 이미지가 유효하지 않은 것으로 판단하고 상기 이미지를 버리는 단계; 및
    다음 프레임의 이미지에 대한 유효성 검사를 수행하는 단계를 더 포함하는 방법.
  11. 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 장치에 있어서,
    상기 반려 동물을 촬영하여 상기 반려 동물의 안면이 포함된 이미지를 생성하는 카메라; 및
    상기 이미지를 처리하여 상기 이미지의 적합성을 검사하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 이미지에서 상기 반려 동물의 코 영역을 추출하고,
    상기 코 영역에서 상기 코의 윤곽을 나타내는 특징점들을 추출하고,
    상기 특징점들의 위치 관계에 기반하여 상기 코 영역이 정면인지 여부를 판단하는 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 이미지에 미리 정의된 패턴 타입에 대응하는 커널들을 각각 적용하여 상기 이미지의 픽셀 마다 각각의 커널과의 민감도를 나타내는 특징 벡터를 도출하고,
    상기 특징 벡터로부터 상기 코의 윤곽을 나타내는 상기 특징점들을 추출하는 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 특징점들을 연결하여 생성한 뼈대 모델과 상기 반려 동물의 코 모델을 비교하여 상기 특징점들의 연결 관계 및 위치를 교정하는 장치.
  14. 제11항에 있어서,
    상기 프로세서는,
    상기 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하고,
    상기 코의 좌측단을 나타내는 특징점에서 상기 세로축 선 사이의 거리와 상기 코의 우측단을 나타내는 특징점에서 상기 세로축 선 사이의 거리를 비교하여 상기 안면의 요(Yaw) 방향 회전 여부를 판단하는 장치.
  15. 제11항에 있어서,
    상기 프로세서는,
    상기 코의 좌측단과 우측단을 나타내는 특징점들을 연결하는 가로축 선을 구성하고,
    상기 반려 동물의 콧구멍 개구부를 구성하는 특징점들의 방향성을 나타내는 벡터가 상기 가로축을 기준으로 기준 범위 내에 위치하는지 여부에 기초하여 상기 안면의 피치(Pitch) 방향 회전 여부를 판단하는 장치.
  16. 제11항에 있어서,
    상기 프로세서는,
    상기 코의 개구부에 해당하는 특징점들의 위치에 대한 상기 반려 동물의 콧구멍 최상단에 해당하는 특징점의 위치 및 상기 반려 동물의 콧구멍 최하단에 해당하는 특징점의 위치에 기초하여 상기 안면의 피치(Pitch) 방향 회전 여부를 판단하는 장치.
  17. 제11항에 있어서,
    상기 프로세서는,
    상기 반려 동물의 좌측 콧구멍을 구성하는 특징점들을 연결한 좌측 콧구멍 면적과 상기 반려 동물의 우측 콧구멍을 구성하는 특징점들을 연결한 우측 콧구멍 면적을 비교하여 상기 안면에 회전이 발생하였는지 여부를 판단하는 장치.
  18. 제11항에 있어서,
    상기 프로세서는,
    상기 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하고,
    상기 반려 동물의 좌측 콧구멍의 내측 끝단을 나타내는 특징점에서 상기 세로축 선 사이의 거리 및 상기 반려 동물의 우측 콧구멍의 내측 끝단을 나타내는 특징점에서 상기 세로축 선 사이의 거리를 비교하여 상기 안면에 회전이 발생하였는지 여부를 판단하는 장치.
  19. 제11항에 있어서,
    상기 프로세서는,
    상기 특징점들 중 상기 코의 상단과 하단을 나타내는 특징점들을 연결하는 세로축 선을 구성하고,
    상기 세로축 선과 상기 반려 동물의 콧구멍 영역이 중첩되는 경우 상기 반려 동물의 안면이 정면이 아닌 것으로 판단하는 장치.
  20. 제11항에 있어서,
    상기 프로세서는,
    상기 반려 동물의 안면이 정면이 아닌 것으로 판단되면 상기 반려 동물의 안면이 포함된 이미지가 유효하지 않은 것으로 판단하고 상기 이미지를 버리고, 다음 프레임의 이미지에 대한 유효성 검사를 수행하는 장치.
PCT/KR2022/014739 2021-10-29 2022-09-30 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법 WO2023075185A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210146299A KR20230061747A (ko) 2021-10-29 2021-10-29 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법
KR10-2021-0146299 2021-10-29

Publications (1)

Publication Number Publication Date
WO2023075185A1 true WO2023075185A1 (ko) 2023-05-04

Family

ID=86158285

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014739 WO2023075185A1 (ko) 2021-10-29 2022-09-30 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법

Country Status (2)

Country Link
KR (1) KR20230061747A (ko)
WO (1) WO2023075185A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180070057A (ko) * 2016-12-16 2018-06-26 주식회사 아렌네 실종 반려동물과 유기 반려동물의 매칭을 위한 방법, 시스템 및 컴퓨터 판독가능 기록 매체
KR101903127B1 (ko) * 2017-05-12 2018-10-01 이래에이엠에스 주식회사 시선방향 예측 방법 및 장치
KR20190041775A (ko) * 2017-10-13 2019-04-23 주식회사 테오아 반려동물의 비문을 이용한 신원등록 및 확인방법
KR20190080737A (ko) * 2017-12-28 2019-07-08 삼성전자주식회사 영상을 처리하는 방법, 장치 및 컴퓨터 프로그램 제품
KR20200041296A (ko) * 2018-10-11 2020-04-21 주식회사 핏펫 동물의 안면 및 비문 이미지에 기초하여 동물의 개체 정보를 제공하는 컴퓨터 프로그램 및 단말기

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180070057A (ko) * 2016-12-16 2018-06-26 주식회사 아렌네 실종 반려동물과 유기 반려동물의 매칭을 위한 방법, 시스템 및 컴퓨터 판독가능 기록 매체
KR101903127B1 (ko) * 2017-05-12 2018-10-01 이래에이엠에스 주식회사 시선방향 예측 방법 및 장치
KR20190041775A (ko) * 2017-10-13 2019-04-23 주식회사 테오아 반려동물의 비문을 이용한 신원등록 및 확인방법
KR20190080737A (ko) * 2017-12-28 2019-07-08 삼성전자주식회사 영상을 처리하는 방법, 장치 및 컴퓨터 프로그램 제품
KR20200041296A (ko) * 2018-10-11 2020-04-21 주식회사 핏펫 동물의 안면 및 비문 이미지에 기초하여 동물의 개체 정보를 제공하는 컴퓨터 프로그램 및 단말기

Also Published As

Publication number Publication date
KR20230061747A (ko) 2023-05-09

Similar Documents

Publication Publication Date Title
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2019054638A1 (ko) 영상 분석 방법, 장치 및 컴퓨터 프로그램
WO2019208848A1 (ko) 3차원 안구 움직임 측정 방법 및 전자동 딥러닝 기반 어지럼 진단 시스템
CN108846306A (zh) 一种基于深度学习人脸识别的身份证比对系统及方法
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
US20150071548A1 (en) Image processing system, server device, image pickup device and image evaluation method
WO2015102126A1 (ko) 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
CN109409289A (zh) 一种电力作业安全监督机器人安全作业识别方法及系统
WO2018139847A1 (ko) 얼굴 비교를 통한 개인 식별 방법
CN106991448A (zh) 一种人像比对处理方法
CN112434545A (zh) 一种智能场所管理方法及系统
CN112084882A (zh) 一种行为检测方法、装置及计算机可读存储介质
WO2023075185A1 (ko) 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법
CN105976001A (zh) 防伪车牌制作用二维码及序列号标识符识别方法
KR20220056279A (ko) 인공 지능 기반 비전 감시 장치
CN112525355A (zh) 图像处理方法、装置及设备
WO2020222555A1 (ko) 영상 분석 장치 및 방법
WO2014058165A1 (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
CN112070185A (zh) 基于Re-ID的非接触式发烧人员追踪系统及其追踪方法
WO2022255786A1 (ko) 차량번호판 위조 대응 시스템 및 방법
WO2022124673A1 (ko) 기계학습 모델을 이용해 촬영 영상에 기반하여 용기 내의 물건 부피를 측정하는 장치 및 방법
WO2022035190A1 (ko) 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법
JP7337541B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20130104018A (ko) 영상분석을 이용한 출입 계수시스템 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22887389

Country of ref document: EP

Kind code of ref document: A1