WO2022240029A1 - 반려동물 식별 시스템 및 그 방법 - Google Patents

반려동물 식별 시스템 및 그 방법 Download PDF

Info

Publication number
WO2022240029A1
WO2022240029A1 PCT/KR2022/006157 KR2022006157W WO2022240029A1 WO 2022240029 A1 WO2022240029 A1 WO 2022240029A1 KR 2022006157 W KR2022006157 W KR 2022006157W WO 2022240029 A1 WO2022240029 A1 WO 2022240029A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
identification
face
information
determination information
Prior art date
Application number
PCT/KR2022/006157
Other languages
English (en)
French (fr)
Inventor
이태권
Original Assignee
(주) 아지랑랑이랑
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 아지랑랑이랑 filed Critical (주) 아지랑랑이랑
Priority to US18/274,280 priority Critical patent/US20240087352A1/en
Publication of WO2022240029A1 publication Critical patent/WO2022240029A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Definitions

  • the present invention relates to a technology that can identify a companion animal by analyzing video, image, or audio data collected through CCTVs or cameras for management and tracking of companion animals when they are lost, and more specifically, identification reliability of companion animals. It is possible to identify an animal entity by performing at least one of face recognition, print recognition, voice recognition, and motion recognition to improve face recognition, print recognition, voice recognition, and motion recognition, and each determination information obtained by performing face recognition, print recognition, voice recognition, and motion recognition.
  • An object of the present invention is to provide a companion animal identification system and method having a companion animal identification function with high accuracy by generating individual identification information by applying weights for each.
  • the animal registration system is a law that requires owners of companion animals to register their companion animals with city, county, and district offices in order to minimize abandoned animals.
  • the type can be divided into an external type that hangs an identification tag around the neck of a companion animal.
  • the built-in type it is relatively less safe than the external type in that the wireless identification chip needs to be implanted into the body of the companion animal, and in the case of the external type, it is relatively more convenient than the built-in type in that the identification tag must be managed so as not to be lost. I have a falling problem.
  • a technology using an image of an animal object is in the spotlight, but in the process of photographing an animal object, reflected light may be included in the object image due to the angle of the camera and light, and the object image may be included in the object image.
  • reflected light may be included in the object image due to the angle of the camera and light
  • the object image may be included in the object image.
  • incorrect information is extracted from the object image by included reflected light, and object recognition accuracy may be reduced.
  • Korean Patent No. 10-2019-0070707 “An animal entity authentication method and apparatus using feature information”
  • a face region is detected from image information, and feature regions for eyes, nose, ears, face lines, etc. are detected in the face region, , Technology for detecting feature information on the iris, inscription, and face in the feature area, and performing authentication on an animal entity based on an authentication value obtained by applying each weight to the feature information to calculate an entity authentication value.
  • the present invention can identify an animal object by performing at least one of face recognition, print recognition, voice recognition, and motion recognition to improve the identification reliability of companion animals.
  • face recognition from a captured face image Normalization is performed based on a plurality of training data including information on the extracted eight feature points, and breeds and genders such as dog breeds or cat breeds are identified using a data set generated by applying weights to the training data and normalized training data.
  • a rectangular region of interest including the boundary of the companion animal's two nostrils is extracted, and the region of interest is subjected to adaptive histogram equalization of contrast limits and scale invariant shape transformation according to the Gaussian internal difference.
  • voice recognition can be performed by analyzing the companion animal's voice data and obtaining a code based on histogram modeling, and motion for standardized patterns existing in the companion animal's movement is analyzed by analyzing video data of the companion animal's movement.
  • Motion recognition may be performed by obtaining identification data.
  • the companion animal identification system includes a database for storing at least one of facial data, epitaph data, voice data, and motion data for each of a plurality of registered companion animals; Among the acquired image information, the face of the companion animal is searched for, the face image is captured, and a plurality of feature points are extracted from the captured face image, and the face can be identified by considering the breed or gender using an artificial neural network-based face identification model.
  • a face recognition unit that generates face identification data and generates face determination information about whether face data having a certain degree of similarity or higher exists among the face data stored in the database based on the face identification data; From the face image, a rectangular region of interest included in a circle with a diameter of 10 to 15 cm including the boundary of the companion animal's two nostrils is extracted, and adaptive histogram equalization and scale invariant shape of the contrast limit targeting the region of interest
  • the obtained voice data of a companion animal is divided into a plurality of frames according to a preset reference value, and feature vectors are extracted from the divided frames to perform histogram modeling, thereby performing histogram modeling.
  • Further comprising a voice recognition unit, and an entity identification unit that generates entity identification information by inputting the generated face determination information, nose print determination information, and voice determination information to an artificial neural network-based entity identification model and applying a weight for each determination information. can include
  • the acquired video data is divided into a plurality of consecutive frames according to a predetermined criterion, and the plurality of frames are analyzed to identify motion identification data for a standardized pattern existing in the movement of a companion animal.
  • a motion recognition unit configured to generate motion determination information on whether there is motion data including pattern information having a certain similarity or higher among the motion data stored in the database based on the face identification data, and the generated face It may include an entity identification unit generating entity identification information by inputting determination information, inscription determination information, and motion determination information to an artificial neural network-based entity identification model and applying a weight for each determination information.
  • the face recognition unit extracts 8 feature points from the captured face image, and the 8 extraction points are a center point of a left eyeball, a center point of a right eyeball, a nose, an end point of a left ear, and a right ear.
  • Normalization is performed based on a plurality of learning data from which the eight feature points are extracted, consisting of an endpoint, a right junction between the left ear and the forehead, a left junction between the right ear and the forehead, and an endpoint at the top of the center of the forehead, and the training data and normalized learning If feature point information is input using a data set generated by applying weights to data, breed and gender are identified, and facial identification data capable of identifying an object is generated by inputting the identified breed and gender information and region of interest image data.
  • the artificial neural network-based face identification model is trained to generate an artificial neural network-based facial identification model to increase identification accuracy, and as a result of identifying breeds and genders through the artificial neural network-based facial identification model, the number of images determined as correct and the number of images determined as incorrect Optimal weights for the learning data and the normalized learning data can be calculated using the average accuracy and the corrected accuracy.
  • the face recognition unit performs a convolution operation with a plurality of convolution operation layers by forming the artificial neural network-based face identification model into a convolutional neural network (CNN), and the plurality of synthesis
  • a structure is formed with a first layer group and a second layer group by dividing a part of the multiplication operation layer and the remaining part, and inputting information on eight feature points extracted from the ROI image to the input layer of the first layer group, and A convolution operation is performed through the convolution layer to derive breed identification information and gender identification information for the identified breed and gender, and output values of the first layer group and information on the extracted feature points to the second layer group.
  • Input to the input layer to generate entity identification information calculate a reliability score for the entity identification information using the entity identification information, and identify a face using the reliability score, breed identification information, and gender identification information of the entity identification information. The predictability of the data can be calculated.
  • companion animal identification system implemented according to the embodiment of the present invention
  • video, image, and voice collected using devices such as cameras, microphones, and CCTVs are analyzed to analyze facial recognition, epitaph recognition, voice recognition, and motion recognition.
  • identification methods simultaneously or sequentially, it is possible to provide an effect of greatly improving the reliability of individual identification of companion animals, and in particular, to increase the recognition rate for face recognition performed on animals, It is possible to provide a much more accurate face recognition function than conventional technologies by using an identification method that reflects identification information on breed and gender.
  • more reliable inscription recognition can be performed by performing adaptive histogram equalization and scale invariant shape transformation of the contrast limit for the rectangular region of interest including the boundary of the two nostrils of the companion animal.
  • the reliability of voice recognition can be improved by extracting feature vectors and performing histogram modeling. It can provide an effect that can make up for the missing loophole.
  • FIG. 1 is a detailed configuration diagram of a companion animal identification system implemented according to a first embodiment of the present invention.
  • FIG. 2 is a detailed configuration diagram of a companion animal identification system implemented according to a second embodiment of the present invention.
  • FIG. 3 is a detailed configuration diagram of a companion animal identification system implemented according to a third embodiment of the present invention.
  • FIG. 4 is a diagram showing eight feature points extracted for facial recognition of a companion animal according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a process of calculating predictability of face identification data using reliability scores, breed identification information, and gender identification information of individual identification information according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a process of extracting a region of interest from a nose image according to one embodiment of the present invention.
  • FIG. 7 is a diagram comparing an original image and an image obtained by performing adaptive histogram equalization of a contrast limit on a region of interest according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating obtaining a code by extracting a feature vector and performing histogram modeling for a frame obtained by dividing voice data according to an embodiment of the present invention.
  • FIG. 9 is a diagram showing that entity identification information is generated by applying a weight for each determination information according to an embodiment of the present invention.
  • FIG. 10 is a flowchart of a companion animal identification method according to an embodiment of the present invention.
  • These computer program instructions may also be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular way, such that the computer usable or computer readable memory
  • the instructions stored in are also capable of producing an article of manufacture containing instruction means that perform the functions described in the flowchart block(s).
  • the computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to generate computer or other programmable data processing equipment. Instructions for performing processing equipment may also provide steps for performing the functions described in the flowchart block(s).
  • each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s).
  • the term ' ⁇ unit' used in this embodiment means software or a hardware component such as a field-programmable gate array (FPGA) or application specific integrated circuit (ASIC), and what role does ' ⁇ unit' have? perform them
  • ' ⁇ part' is not limited to software or hardware.
  • ' ⁇ bu' may be configured to be in an addressable storage medium and may be configured to reproduce one or more processors.
  • ' ⁇ unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. Functions provided within components and ' ⁇ units' may be combined into smaller numbers of components and ' ⁇ units' or further separated into additional components and ' ⁇ units'. In addition, components and ' ⁇ units' may be implemented to play one or more CPUs in a device or a secure multimedia card.
  • FIG. 1 is a detailed configuration diagram of a companion animal identification system 10 implemented according to a first embodiment of the present invention.
  • the companion animal identification system 10 implemented according to the first embodiment of the present invention may include a database 100, a face recognition unit 200, a print recognition unit 300, and an entity identification unit 600. .
  • the database 100 may store at least one of face data, epitaph data, voice data, and motion data for each of a plurality of registered companion animals.
  • the database 100 may be implemented in the form of a storage or server included in the companion animal identification system 10, and the face including facial identification information for each individual companion animal for which a registration procedure has been performed. At least one of data, epigraph data including epigraph identification information, voice data including voice identification information, and motion data including motion identification information may be stored.
  • face identification data generated by the face recognition unit 200, the nose print recognition unit 300, the voice recognition unit 400, and the motion recognition unit 500, nose print identification data, voice identification data It is possible to search for data with a degree of similarity or more by comparing the motion identification data with face data, epigram data, voice data, and motion data stored in the database 100, and accordingly, face determination data, epigraph determination data, voice determination data, and motion determination. data can be generated.
  • the motion identification data and face data, print data, voice data, and motion data stored in the database 100 may mean data including face, print, voice, and motion identification information for each individual companion animal.
  • the face recognition unit 200 searches for the face of a companion animal among the acquired image information, captures a face image, extracts a plurality of feature points from the captured face image, and identifies a breed or gender using a face identification model based on an artificial neural network.
  • face identification data capable of face identification may be generated, and face determination information regarding whether facial data having a certain degree of similarity or higher among the facial data stored in the database may be generated based on the face identification data.
  • the face of a companion animal is first searched, and the image searched for as a face is captured to generate a facial image can do.
  • a plurality of feature points can be extracted from a captured facial image, and at this time, the number of feature points to be extracted can be limited to a small number in order to minimize computational resource consumption and reduce extraction time in extracting feature points.
  • the recognition accuracy when the number of feature points to be extracted is limited to a small number, the recognition accuracy must be maintained at a certain level or higher while extracting a small number of feature points. , the amount of computational resources required to recognize a face, recognition speed, and recognition accuracy vary greatly depending on where the feature points are set.
  • a multi-object recognition technique may be used to extract feature points, and among them, Oriented FAST and Rotated BRIEF (ORB) algorithm may be applied and used.
  • ORB Rotated BRIEF
  • the brightness value of the center point and 16 brightness values can be compared with the brightness value of the center point by holding the window area. Given 3 or more, it can be selected as a candidate feature point.
  • Haris Corner Detection can be used to remove blob feature points from the extracted feature points and extract corner feature points.
  • Haris Corner Detection can recognize the corner area, so only the corner can be extracted, and furthermore, the direction can be determined using the intensity centroid to obtain the main direction.
  • two pixel selection patterns with good benefit and differentiation can be determined and used as training data, and 256 binary tests based on the training data You can obtain and create a descriptor.
  • the face recognition unit 200 extracts 8 feature points from the captured face image, and the 8 extraction points are the center point of the left eyeball, the center point of the right eyeball, the nose, the end point of the left ear, and the right ear. It may consist of an end point, a right contact point between the left ear and the forehead, a left contact point between the right ear and the forehead, and an upper end point in the center of the forehead.
  • normalization is performed based on a plurality of learning data from which 8 feature points are extracted, and when feature point information is input using a data set generated by applying weights to the training data and normalized learning data, breed and
  • the identification accuracy may be increased by training an artificial neural network-based face identification model to generate face identification data capable of identifying an object by identifying gender and inputting identified breed and gender information and region-of-interest image data.
  • P (Decision) may mean identification accuracy for an identification model learned using the generated data set, is the identification accuracy of the training data, may mean identification accuracy of normalized training data, and ⁇ may mean a weight index.
  • the average accuracy may mean averaging accuracy based on the number of correctly predicted breeds and sexes, may mean the calibrated accuracy, which may mean the average of the accuracy among each breed, regardless of the number of images in each breed or gender.
  • the optimal weight index is calculated so that the two accuracies are uniform using the average accuracy and the corrected accuracy using the number of images judged as correct and the number of images judged as incorrect, and the calculated weight index is It can be applied to training data and normalized training data.
  • the simulation result weight exponent ⁇ shows high identification accuracy in the range of 0.38 ⁇ ⁇ ⁇ 0.73, and as the weight exponent ⁇ approaches 0.5 on average as a simulation result, it may have a tendency to have high identification accuracy.
  • ⁇ may be preset to 0.5, and an optimal weight index may be calculated and updated to the calculated weight index so that the average accuracy and the calibrated accuracy become uniform.
  • identification accuracy can be improved by inputting the identified breed and gender information and ROI image data to an artificial neural network-based face identification model and learning to generate face identification data capable of identifying an object. have.
  • a face identification model based on an artificial neural network may be formed of a convolutional neural network (CNN), perform a convolution operation with a plurality of convolution operation layers, and perform a plurality of convolution operations.
  • a structure may be formed of a first layer group and a second layer group by dividing a part of the layer and the remaining part.
  • the identified breed identification information and gender identification information may be primarily derived by inputting information on the extracted feature points to the first layer group of the artificial neural network-based face identification model.
  • the center point of the left eyeball, the center point of the right eyeball, the nose, the tip of the left ear, the tip of the right ear, the right contact point between the left ear and the forehead, the left contact point between the right ear and the forehead, and the upper center of the forehead extracted from the ROI image.
  • Information on eight feature points including endpoints is input to the input layer of the first layer group, and a convolution operation is performed through a plurality of convolution layers to derive breed identification information and gender identification information for the identified breed and gender. can do.
  • object identification information is generated by inputting the output value of the first layer group and information on the extracted feature points to the input layer of the second layer group, and the object identification information is obtained by using the object identification information.
  • a reliability score for the face identification data may be calculated, and predictability of the face identification data may be calculated using the reliability score of the individual identification information, breed identification information, and gender identification information.
  • predictability of face identification data can be calculated using the reliability score of individual identification information, breed identification information, and gender identification information as shown in Equation 2 below.
  • g, b; s) may mean the predictability of facial identification data
  • Score(id) is the reliability score of entity identification information, is gender identification information
  • Z(g, b; s) may mean a normalization factor of each information.
  • the print recognition unit 300 extracts a rectangular region of interest included in a circle with a diameter of 10 to 15 cm including the boundary of the two nostrils of the companion animal from the face image, and an adaptive histogram of contrast limits for the region of interest Inscription identification data can be generated by extracting inscriptions according to Gaussian internal differences by performing equalization and scale invariant shape transformation.
  • resizing when extracting an inscription for an ROI image extracted from a facial image, information loss may occur if the size of the ROI image is too large or small, so the width-to-height ratio of the original image is maintained.
  • resizing may be performed using Equation 3 below.
  • S means a scale factor
  • w can mean width
  • h can mean height
  • w' is the resized width
  • h' is the resized height
  • r can be a reference value for resizing.
  • a reference value for resizing may have a size of 300 X 300 pixels or 300 X 400 pixels.
  • adaptive histogram equalization with contrast limitation may be performed on the resized ROI image.
  • histogram equalization refers to a representative image enhancement method that uses the cumulative distribution function of pixel values in an image.
  • Conventional equalization increases the contrast of the entire image, so there are many cases where the effect is not satisfactory.
  • equalization may be performed by applying a contrast-limited adaptive histogram equalization technique, which is a more advanced equalization technique.
  • the contrast-limited adaptive histogram equalization technique refers to a technique that divides the image into small areas and uses contrast limits to remove extreme noise to equalize the histogram within each area.
  • gamut we mean how to improve contrast with less.
  • the nose of a dog or cat which accounts for most of the companion animal, is generally dark compared to other parts of the face, the nose image of the dog or cat, including the inscription, has a contrast compared to other images. In most cases, it is relatively low, and even the same dog or cat may appear differently in each image due to differences in lighting or illumination. Therefore, the contrast value can be adjusted to have a constant contrast level by performing adaptive histogram equalization of the contrast limit. .
  • adaptive histogram equalization of contrast limiting may be repeatedly performed until the histogram is sufficiently increased, and more specifically, 1000 This may be repeated until more pixels can be identified.
  • feature point extraction algorithms such as SIFT, SURF, BRISK, ORB can be used to extract feature points
  • the keypoint detector uses a keypoint detector and a descriptor to extract keypoints from an image.
  • the scripter can generate information describing the keypoint.
  • inscription identification data may be generated by extracting feature points according to Gaussian internal differences by performing scale-invariant feature transform (SIFT).
  • SIFT scale-invariant feature transform
  • a plurality of image scale spaces can be generated by performing scale-invariant shape transformation, and as shown in Equation 4 below, a DoG (Difference of Gaussian) detector searches for the maximum edge as a key point in the space, extracts a feature point, Through this, it is possible to generate non-print identification data.
  • a DoG Difference of Gaussian
  • D(x, y, ⁇ ) in Equation 4 may mean a Gaussian difference
  • G means a Gaussian function
  • I may mean an image from which feature points are to be extracted
  • *I (x, y) may mean convolution of the difference between the image and the Gaussian function value.
  • the entity identification unit 600 may generate entity identification information by inputting the generated face determination information and epitaph determination information to an artificial neural network-based entity identification model and applying a weight for each determination information. have.
  • entity identification information may be generated by inputting face determination information and nose print determination information to an artificial neural network-based entity identification model, wherein the entity identification information determines whether the same entity exists among registered companion animals. It may refer to identified information, and may refer to data generated by preparing whether or not data having a certain degree of similarity or higher among face data and epitaph data included in the database exists.
  • individual identification information in generating entity identification information using face determination information and nose print determination information, individual identification information can be generated by calculating and applying respective weights for face determination information and epigram determination information. And, through this, the identification accuracy can be improved.
  • the accuracy of entity identification information which is an output value, is analyzed, and a weight value showing the highest accuracy is calculated and applied.
  • FIG. 2 is a detailed configuration diagram of a companion animal identification system 11 implemented according to a second embodiment of the present invention.
  • the companion animal identification system 11 implemented according to the second embodiment of the present invention is a voice recognition unit 400 in the configuration of the companion animal identification system 10 implemented according to the first embodiment of the present invention. ) may further include.
  • the voice recognition unit 400 divides the acquired voice data of a companion animal into a plurality of frames according to a preset reference value, extracts feature vectors from the divided frames, performs histogram modeling, and performs histogram modeling based on code. can be obtained.
  • voice identification data generated through the acquired code it is possible to generate voice determination information about whether there is a code of voice data having a certain degree of similarity or higher among the voice data codes stored in the database. have.
  • a plurality of frames may be generated by dividing the acquired voice data of a companion animal into a predetermined length according to a preset reference value, and a feature vector is extracted from each frame to form a histogram model. Histogram modeling may be performed, and codes may be generated according to the shape of the histogram model formed through the histogram modeling.
  • the histogram modeling means modeling by normalizing the acoustic emission signal in 256 steps and considering the envelope formed by the histogram of the defect signal information as a feature, and in the modeled defect signal, partial autocorrelation coefficients, PARCOR) is used to extract the features of the modeled envelope, and DET (Distance Evaluation Technique) is used to select features representing the inherent characteristics of the defect signal to generate codes that can be identified.
  • PARCOR partial autocorrelation coefficients
  • DET Distance Evaluation Technique
  • voice identification data is generated to include the generated code
  • voice determination information is generated by determining whether a voice data code having a certain similarity or higher exists among voice data codes stored in a database.
  • the entity identification unit 600 inputs the generated face determination information, epitaph determination information, and voice determination information to an artificial neural network-based entity identification model and applies a weight for each determination information to obtain entity identification information.
  • entity identification information may be generated by inputting face determination information, nose print determination information, and voice determination information to an artificial neural network-based entity identification model, and face determination information, epigram determination information, and voice determination information.
  • entity identification information using it is possible to generate entity identification information by calculating and applying respective weights to face determination information and epitaph determination information, and through this, identification accuracy can be improved.
  • FIG. 3 is a detailed configuration diagram of a companion animal identification system implemented according to a third embodiment of the present invention.
  • the companion animal identification system 12 implemented according to the third embodiment of the present invention may further include a motion recognition unit 500 in addition to the companion animal identification system 11 implemented according to the second embodiment.
  • the motion recognition unit 500 divides the acquired video data into a plurality of consecutive frames according to preset criteria, analyzes the plurality of frames, and generates motion identification data for a standardized pattern existing in the movement of a companion animal. And, based on the face identification data, motion determination information on whether motion data including pattern information having a certain degree of similarity or higher exists among the motion data stored in the database may be generated.
  • the entity identification unit 600 uses face determination information, nose print determination information, voice determination information, and motion determination information to generate entity identification information using face determination information and epigram determination information as targets. Individual identification information can be generated by calculating and applying each weight, and through this, identification accuracy can be improved.
  • the accuracy of entity identification information which is an output value, is analyzed, and the weights showing the highest accuracy A value can be calculated and applied.
  • the motion identification data analyzes a plurality of frames to identify the motion of the companion animal, analyzes the movement line moving during a certain period, and stores the repeated motion line as a standardized pattern, and stores the stored standardized pattern. It is possible to generate motion identification data including information on the pattern.
  • motion determination information including determination information on whether motion data including pattern information having a certain degree of similarity or higher exists among motion data stored in the generated motion identification data database.
  • FIG. 4 is a diagram showing eight feature points extracted for facial recognition of a companion animal according to an embodiment of the present invention.
  • 8 feature points extracted for facial recognition of a companion animal are shown according to an embodiment of the present invention, the face of the companion animal is searched for, a facial image is captured, and the captured facial image is centered on the left eyeball.
  • Eight feature points can be extracted from the point, the center point of the right eyeball, the nose, the end point of the left ear, the end point of the right ear, the right contact point between the left ear and the forehead, the left contact point between the right ear and the forehead, and the top end point of the center of the forehead.
  • FIG. 5 is a diagram illustrating a process of calculating predictability of face identification data using reliability scores, breed identification information, and gender identification information of individual identification information according to an embodiment of the present invention.
  • the face recognition unit 200 may calculate predictability of face identification data using a reliability score of individual identification information, breed identification information, and gender identification information. For example, face identification as shown in Equation 2 by reflecting the probability of correct / incorrect answers when the identified breed is a pug, the probability of correct / incorrect answers when the identified gender is male, and the reliability score for the identified object "Bella". The predictability of the data can be calculated.
  • FIG. 6 is a diagram illustrating a process of extracting a region of interest from a nose image according to one embodiment of the present invention.
  • a region of interest is extracted from a nose image according to an embodiment of the present invention, and a rectangular shape included in a circle with a diameter of 10 to 15 cm including the boundary of the two nostrils of a companion animal from a face image A region of interest can be extracted.
  • FIG. 7 is a diagram comparing an original image and an image obtained by performing adaptive histogram equalization of a contrast limit on a region of interest according to an embodiment of the present invention.
  • FIG. 7 an image obtained by performing adaptive histogram equalization of an original image and contrast limitation on a region of interest according to an embodiment of the present invention is shown, and in the case of FIG. 7 a), a state in which equalization is not performed on the region of interest.
  • the original image at is shown and is too dark for pixel identification.
  • FIG. 8 is a diagram illustrating obtaining a code by extracting a feature vector and performing histogram modeling for a frame obtained by dividing voice data according to an embodiment of the present invention.
  • a code is obtained by extracting a feature vector from a frame obtained by dividing voice data and performing histogram modeling according to an embodiment of the present invention, and using a partial correlation coefficient in a modeled defect signal. It is possible to extract the features of the modeled envelope, select features representing the inherent characteristics of the defect signal with DET, and generate codes that can be identified.
  • FIG. 9 is a diagram showing that entity identification information is generated by applying a weight for each determination information according to an embodiment of the present invention.
  • object identification information is generated by applying a weight for each determination information according to an embodiment of the present invention, and face determination information, epitaph determination information, voice determination information, and motion determination information are respectively targeted.
  • Individual identification information can be generated by calculating and applying the weight of , and in the artificial neural network-based entity identification model, face determination information (0.90), epitaph determination information (0.95), voice determination information (1.00), and motion determination information (0.98) ), respectively, the accuracy of the object identification information, which is the output value, is analyzed to calculate the weight value with the highest accuracy, and it can be applied.
  • FIG. 10 is a flowchart of a companion animal identification method according to an embodiment of the present invention.
  • At least one of facial data, epitaph data, voice data, and motion data for each companion animal is stored (S10).
  • At least one of facial data, epitaph data, voice data, and motion data for each of a plurality of registered companion animals may be stored.
  • facial data including face identification information
  • print data including print identification information
  • voice data including voice identification information
  • motion data including motion identification information for each individual companion animal for which a registration procedure has been performed. More than one can be stored.
  • a plurality of feature points are extracted from the companion animal's face image to identify the breed, feature point analysis is performed to generate face identification data, and face determination information about whether facial data with a certain degree of similarity or higher exists is generated (S20).
  • a face of a companion animal is searched for among the acquired image information, a face image is captured, a plurality of feature points are extracted from the captured face image, and a breed or gender is used by using an artificial neural network-based face identification model.
  • face identification data capable of face identification may be generated, and face determination information regarding whether facial data having a certain degree of similarity or higher exists among facial data stored in the database based on the face identification data may be generated.
  • the face of a companion animal is first searched, and the image searched for as a face is captured to generate a facial image can do.
  • a plurality of feature points can be extracted from a captured facial image, and at this time, the number of feature points to be extracted can be limited to a small number in order to minimize computational resource consumption and reduce extraction time in extracting feature points.
  • the recognition accuracy when the number of feature points to be extracted is limited to a small number, the recognition accuracy must be maintained at a certain level or higher while extracting a small number of feature points. , the amount of computational resources required to recognize a face, recognition speed, and recognition accuracy vary greatly depending on where the feature points are set.
  • a multi-object recognition technique may be used to extract feature points, and among them, Oriented FAST and Rotated BRIEF (ORB) algorithm may be applied and used.
  • ORB Rotated BRIEF
  • the brightness value of the center point and 16 brightness values can be compared with the brightness value of the center point by holding the window area. Given 3 or more, it can be selected as a candidate feature point.
  • Haris Corner Detection can be used to remove blob feature points from the extracted feature points and extract corner feature points.
  • Haris Corner Detection can recognize the corner area, so only the corner can be extracted, and furthermore, the direction can be determined using the intensity centroid to obtain the main direction.
  • two pixel selection patterns with good benefit and differentiation can be determined and used as training data, and 256 binary tests based on the training data It can be obtained to create a descriptor.
  • 8 feature points are extracted from the captured facial image, and the 8 extraction points are the center point of the left eyeball, the center point of the right eyeball, the nose, the tip of the left ear, the tip of the right ear, the left ear and the right side of the forehead. It may consist of a contact point, a left contact point between the right ear and the forehead, and an upper end point in the center of the forehead.
  • normalization is performed based on a plurality of learning data from which 8 feature points are extracted, and when feature point information is input using a data set generated by applying weights to the training data and normalized learning data, breed and
  • the identification accuracy may be increased by training an artificial neural network-based face identification model to generate face identification data capable of identifying an object by identifying gender and inputting identified breed and gender information and region-of-interest image data.
  • the learning is performed using average accuracy and calibrated accuracy using the number of images determined as correct and the number of images determined as incorrect.
  • Optimal weights for data and normalized training data can be calculated.
  • normalization is performed on the training data as shown in Equation 1, and the learning data and normalized learning After calculating the identification accuracy when learning using each data, based on this, calculate and apply the optimal weight to use the weighted average between the two data by learning through the data set created for the training data and normalized training data can do.
  • TP means the number of images judged as correct
  • FN is the number of images judged as incorrect
  • FN + TP is the total number of images
  • i means the selected class (breed or gender)
  • N means the total number of classes.
  • average may mean average accuracy, which may mean that the accuracy is averaged based on the number of correctly predicted breeds and sexes, and balance may mean corrected accuracy, , which can mean the average of accuracy among each breed, regardless of the number of images within each breed or gender.
  • the optimal weight index is calculated so that the two accuracies are uniform using the average accuracy and calibrated accuracy.
  • a weight index can be applied to training data and normalized training data.
  • the simulation result weight exponent ⁇ shows high identification accuracy in the range of 0.38 ⁇ ⁇ ⁇ 0.73, and as the weight exponent ⁇ approaches 0.5 on average as a simulation result, it may have a tendency to have high identification accuracy.
  • identification accuracy can be improved by inputting the identified breed and gender information and ROI image data to an artificial neural network-based face identification model and learning to generate face identification data capable of identifying an object. have.
  • a face identification model based on an artificial neural network may be formed of a convolutional neural network (CNN), perform a convolution operation with a plurality of convolution operation layers, and perform a plurality of convolution operations.
  • a structure may be formed of a first layer group and a second layer group by dividing a part of the layer and the remaining part.
  • the identified breed identification information and gender identification information may be primarily derived by inputting information on the extracted feature points to the first layer group of the artificial neural network-based face identification model.
  • the center point of the left eyeball, the center point of the right eyeball, the nose, the tip of the left ear, the tip of the right ear, the right contact point between the left ear and the forehead, the left contact point between the right ear and the forehead, and the upper center of the forehead extracted from the ROI image.
  • Information on eight feature points including endpoints is input to the input layer of the first layer group, and a convolution operation is performed through a plurality of convolution layers to derive breed identification information and gender identification information for the identified breed and gender. can do.
  • object identification information is generated by inputting the output value of the first layer group and information on the extracted feature points to the input layer of the second layer group, and the object identification information is obtained by using the object identification information.
  • a reliability score for the face identification data may be calculated, and predictability of the face identification data may be calculated using the reliability score of the individual identification information, breed identification information, and gender identification information.
  • predictability of face identification data may be calculated using reliability scores of individual identification information, breed identification information, and gender identification information as shown in Equation 2.
  • inscription identification data is generated by performing adaptive histogram correction and scale invariant shape transformation of contrast limits to extract inscriptions according to Gaussian internal differences, and inscription data with a certain similarity or higher Generates inscription determination information on whether or not it exists (S30).
  • a rectangular region of interest included in a circle with a diameter of 10 to 15 cm including the boundary of the two nostrils of a companion animal is extracted from a facial image, and adaptive contrast restriction is applied to the region of interest.
  • Inscription identification data can be generated by extracting inscriptions according to Gaussian internal differences by performing histogram equalization and scale invariant shape transformation.
  • information loss may occur if the size of the ROI image is too large or small, so the width-to-height ratio of the original image is maintained.
  • Resizing may be performed using Equation 3 to perform image resizing.
  • adaptive histogram equalization with contrast limitation may be performed on the resized ROI image.
  • histogram equalization refers to a representative image enhancement method that uses the cumulative distribution function of pixel values in an image.
  • Conventional equalization increases the contrast of the entire image, so there are many cases where the effect is not satisfactory.
  • equalization may be performed by applying a contrast-limited adaptive histogram equalization technique, which is a more advanced equalization technique.
  • the contrast-limited adaptive histogram equalization technique refers to a technique that divides the image into small areas and uses contrast limits to remove extreme noise to equalize the histogram within each area.
  • gamut we mean how to improve contrast with less.
  • the nose of a dog or cat which accounts for most of the companion animal, is generally dark compared to other parts of the face, the nose image of the dog or cat, including the inscription, has a contrast compared to other images. In most cases, it is relatively low, and even the same dog or cat may appear differently in each image due to differences in lighting or illumination. Therefore, the contrast value can be adjusted to have a constant contrast level by performing adaptive histogram equalization of the contrast limit. .
  • adaptive histogram equalization of contrast limiting may be repeatedly performed until the histogram is sufficiently increased, and more specifically, 1000 This may be repeated until more pixels can be identified.
  • feature point extraction algorithms such as SIFT, SURF, BRISK, ORB can be used to extract feature points
  • the keypoint detector uses a keypoint detector and a descriptor to extract keypoints from an image.
  • the scripter can generate information describing the keypoint.
  • inscription identification data may be generated by extracting feature points according to Gaussian internal differences by performing scale-invariant feature transform (SIFT).
  • SIFT scale-invariant feature transform
  • a plurality of image scale spaces can be generated by performing scale-invariant shape transformation, and as shown in Equation 4, the maximum edge is searched for as a key point in the space through a Difference of Gaussian (DoG) detector, and feature points are extracted.
  • DoG Difference of Gaussian
  • the voice data of the companion animal is divided into a plurality of frames to extract feature vectors, perform histogram modeling to obtain a code according to the histogram modeling, and based on the voice identification data generated through the code, the code of the voice data with a certain similarity Voice determination information on whether or not there exists is generated (S40).
  • the acquired voice data of a companion animal is divided into a plurality of frames according to a preset reference value, feature vectors are extracted from the divided frames, histogram modeling is performed, and histogram modeling is performed. code can be obtained.
  • voice identification data generated through the acquired code it is possible to generate voice determination information about whether there is a code of voice data having a certain degree of similarity or higher among the voice data codes stored in the database. have.
  • a plurality of frames may be generated by dividing the acquired voice data of a companion animal into a predetermined length according to a preset reference value, and a feature vector is extracted from each frame to form a histogram model. Histogram modeling may be performed, and codes may be generated according to the shape of the histogram model formed through the histogram modeling.
  • the histogram modeling means modeling by normalizing the acoustic emission signal in 256 steps and considering the envelope formed by the histogram of the defect signal information as a feature, and in the modeled defect signal, partial autocorrelation coefficients, PARCOR) is used to extract the features of the modeled envelope, and DET (Distance Evaluation Technique) is used to select features representing the inherent characteristics of the defect signal to generate codes that can be identified.
  • PARCOR partial autocorrelation coefficients
  • DET Distance Evaluation Technique
  • voice identification data is generated to include the generated code
  • voice determination information is generated by determining whether a voice data code having a certain similarity or higher exists among voice data codes stored in a database.
  • the video data is divided into a plurality of frames, the plurality of frames are analyzed to generate motion identification data for a standardized pattern that exists in the movement of a companion animal, and motion including pattern information with a certain degree of similarity or higher based on face identification data.
  • Motion determination information on whether data exists is generated (S50).
  • motion identification data for a standardized pattern existing in the motion of a companion animal is obtained by dividing acquired video data into a plurality of consecutive frames according to a predetermined criterion and analyzing the plurality of frames. and motion determination information about whether motion data including pattern information having a certain degree of similarity or higher exists among the motion data stored in the database based on the facial identification data.
  • the motion identification data analyzes a plurality of frames to identify the motion of the companion animal, analyzes the movement line moving during a certain period, and stores the repeated motion line as a standardized pattern, and stores the stored standardized pattern.
  • Motion identification data including information on a pattern may be generated.
  • motion determination information including determination information on whether motion data including pattern information having a certain degree of similarity or higher exists among motion data stored in the generated motion identification data database.
  • Face determination information, nose print determination information, voice determination information, and motion determination information are input to an artificial neural network-based entity identification model, and entity identification information is generated by applying a weight for each determination information (S60).
  • weights are calculated and applied for face determination information and epigram determination information.
  • Embodiments of the present invention are not implemented only through the devices and / or methods described above, and the embodiments of the present invention have been described in detail above, but the scope of the present invention is not limited thereto, and the following claims Various modifications and improvements of those skilled in the art using the basic concept of the present invention defined in , also belong to the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 반려동물의 관리 및 분실 시 추적을 위하여 CCTV나 카메라 등을 통해 수집된 영상 또는 이미지, 음성 데이터를 분석하여 반려동물을 식별할 수 있는 기술에 대한 것으로, 영상, 이미지, 음성을 분석하여 안면 인식, 비문 인식, 음성 인식, 모션 인식 중 적어도 하나 이상의 식별 방법을 동시 또는 순차적으로 이용하여 반려동물의 개체 식별의 신뢰도를 큰 폭으로 향상시키는 효과를 제공할 수 있다.

Description

반려동물 식별 시스템 및 그 방법
본 발명은 반려동물의 관리 및 분실 시 추적을 위하여 CCTV나 카메라 등을 통해 수집된 영상 또는 이미지, 음성 데이터를 분석하여 반려동물을 식별할 수 있는 기술에 대한 것으로, 더욱 자세하게는 반려동물의 식별 신뢰도를 높일 수 있도록 안면 인식, 비문 인식, 음성 인식, 모션 인식을 중 적어도 하나 이상을 수행하여 동물 개체를 식별할 수 있으며, 안면 인식, 비문 인식, 음성 인식, 모션 인식을 수행하여 획득한 각 판단 정보 별로 가중치를 적용하여 개체 식별정보를 생성함으로써 높은 정확도를 가진 반려동물 식별 기능을 보유한 반려동물 식별 시스템 및 그 방법을 제공하는데 그 목적이 있다.
최근 핵가족화나 여가활동 등의 영향으로 반려 동물에 대한 수요는 폭발적으로 증가하고 있는 추세이며, 반려 동물에 대한 관심의 증가로 인하여 반려 동물의 개체수도 증가하고 있다.
하지만, 반려 동물의 개체수가 증가함에 따라, 반려 동물을 잃어버리는 경우가 빈번하게 발생하고 있으며, 분실된 반려 동물을 찾는 것은 매우 어렵다는 점과 더불어, 반려동물에 대한 체계적인 관리를 위하여 동물 등록제의 필요성이 대두되고 있다.
동물 등록제는 유기 동물을 최소화하기 위해 반려 동물의 소유주로 하여금 반려 동물을 시, 군, 구청에 등록하 도록 법제화한 것으로, 반려 동물의 몸에 무선 식별 칩을 삽입하는 내장형과 무선 식별 칩이 부착된 인식표를 반려 동물의 목에 걸어주는 외장형으로 유형이 나뉠 수 있다.
다만, 내장형의 경우 무선 식별 칩을 반려 동물의 체내에 심는 시술이 필요하다는 점에서 외장형에 비해 상대적으로 안전성이 떨어지고, 외장형의 경우 인식표를 분실하지 않게 관리해야 한다는 점에서 내장형에 비해 상대적으로 편의성이 떨어지는 문제가 있다.
이에 따라, 동물 등록제의 대안 기술로, 동물 개체를 촬영한 이미지를 이용하는 기술이 각광받고 있으나, 동물 개체를 촬영하는 과정에서 카메라와 빛의 각도로 인해 반사광이 개체 이미지에 포함될 수 있고, 개체 이미지에 포함된 반사광에 의해 개체 이미지로부터 잘못된 정보가 추출되어, 개체 인식의 정확성이 떨어질 수 있다는 문제가 존재한다.
따라서, 동물 개체를 촬영한 이미지를 통해 개체 인증을 수행하는데 있어, 상술한 문제점을 해결하여, 개체 인 증의 정확도를 향상시키고자 하는 요구가 증대되고 있다.
대한민국 특허 제10-2019-0070707호 "특징 정보를 이용한 동물 개체 인증 방법 및 장치"를 살펴보면 영상 정보에서 얼굴 영역을 검출하고, 얼굴 영역에서 눈, 코, 귀, 얼굴 라인 등에 대한 특징 영역을 검출하며, 특징 영역에서 홍채, 비문 및 안면에 대한 특징 정보를 검출하고, 특징 정보에 각각의 가중치를 적용하여 개체 인증 값을 산출한 인증 값을 기초로 동물 개체에 대한 인증을 수행하는 기술에 대한 내용을 개시하고 있다.
그러나 상술한 구성만으로는 기본적으로 사람 얼굴을 대상으로 학습된 안면 인식 기술과 대비하여 정확도가 부족하고 비문 인식 또한 상기 발명에서 개시된 일반론적인 방법만으로는 그 신뢰성이 높지 않아 상용화하기에 어렵다는 단점이 존재한다.
본 발명은 반려동물의 식별 신뢰도를 향상시킬 수 있도록 안면 인식, 비문 인식, 음성 인식, 모션 인식을 중 적어도 하나 이상을 수행하여 동물 개체를 식별할 수 있으며, 특히 안면 인식에 있어서 캡쳐된 안면 이미지로부터 추출된 8개의 특징점에 대한 정보를 포함한 복수의 학습 데이터를 바탕으로 정규화를 수행하고 학습 데이터 및 정규화된 학습 데이터에 가중치를 적용하여 생성한 데이터 세트를 이용하여 견종 또는 묘종과 같은 품종 및 성별을 식별하도록 학습을 수행함으로써 식별 정확도를 상승시키는 기술을 제공할 수 있다.
또한 비문 인식에 있어서는 반려 동물의 두 콧구멍의 경계를 포함하는 직사각형 형태의 관심영역을 추출하고, 관심영역을 대상으로 대비 제한의 적응적 히스토그램 균등화와 스케일 불변 형상 변환을 수행하여 가우스 내부 차이에 따라 비문을 추출함으로써 일반적인 특징점 추출 및 이에 따른 특징점 대비를 통하여 비문을 인식하는 것과 비교하여 상대적으로 높은 정확도를 보일 수 있다.
그리고 반려동물의 음성 데이터를 분석하여 히스토그램 모델링에 따른 코드를 획득함으로써 음성 인식을 수행할 수 있으며, 반려동물의 움직임을 촬영한 동영상 데이터를 분석하여 반려동물의 움직임에 존재하는 정형화된 패턴에 대한 모션 식별 데이터를 획득하여 모션 인식을 수행할 수 있다.
본 발명의 실시예에 따르면 반려동물 식별 시스템은 등록된 복수의 반려동물 별 대한 안면 데이터, 비문 데이터, 음성 데이터, 모션 데이터 중 적어도 하나 이상을 저장하는 데이터 베이스; 획득한 이미지 정보 중 반려 동물의 안면을 탐색하여 안면 이미지를 캡쳐하고, 캡쳐된 상기 안면 이미지로부터 복수의 특징점을 추출하여 인공 신경망 기반의 안면 식별 모델을 이용하여 품종 또는 성별을 고려하여 안면 식별이 가능한 안면 식별 데이터를 생성하고, 상기 안면 식별 데이터를 기준으로 상기 데이터 베이스에 저장된 안면 데이터 중 일정한 유사도 이상의 안면 데이터가 존재하는지에 대한 안면 판단 정보를 생성하는 안면 인식부; 상기 안면 이미지로부터 반려 동물의 두 콧구멍의 경계를 포함하는 직경 10~15cm의 원에 포함되는 직사각형 형태의 관심영역을 추출하고, 상기 관심영역을 대상으로 대비 제한의 적응적 히스토그램 균등화와 스케일 불변 형상 변환을 수행하여 가우스 내부 차이에 따라 특징점을 추출하여 비문 식별 데이터를 생성하고, 상기 비문 식별 데이터를 기준으로 저장된 비문 데이터 중 일정한 유사도 이상의 비문 데이터가 존재하는지에 대한 비문 판단 정보를 생성하는 비문 인식부; 및 상기 생성된 안면 판단 정보, 비문 판단 정보를 인공 신경망 기반의 개체 식별 모델에 입력하고 각 판단 정보 별로 가중치를 적용함으로써 개체 식별정보를 생성하는 개체 식별부를 포함할 수 있다.
본 발명의 일 실시예에 따르면 획득한 반려동물의 음성 데이터를 미리 설정된 기준 값에 따라 복수의 프레임으로 분할하고, 상기 분할된 프레임을 대상으로 특징 벡터를 추출하여 히스토그램 모델링을 수행함으로써 상기 히스토그램 모델링에 따른 코드를 획득하고, 상기 히스토그램 모델링에 따른 코드를 포함해 생성한 음성 식별 데이터를 기준으로 상기 데이터 베이스에 저장된 음성 데이터의 코드 중 일정한 유사도 이상의 음성 데이터의 코드가 존재하는지에 대한 음성 판단 정보를 생성하는 음성 인식부를 더 포함하고, 상기 생성된 안면 판단 정보, 비문 판단 정보, 음성 판단 정보를 인공 신경망 기반의 개체 식별 모델에 입력하고 각 판단 정보 별로 가중치를 적용함으로써 개체 식별정보를 생성하는 개체 식별부를 포함할 수 있다.
본 발명의 일 실시예에 따르면 획득한 동영상 데이터를 미리 설정한 기준에 따라 연속된 복수의 프레임으로 분할하고, 상기 복수의 프레임을 분석하여 반려동물의 움직임에 존재하는 정형화된 패턴에 대한 모션 식별 데이터를 생성하고, 상기 안면 식별 데이터를 기준으로 상기 데이터 베이스에 저장된 모션 데이터 중 일정한 유사도 이상의 패턴 정보를 포함한 모션 데이터가 존재하는지에 대한 모션 판단 정보를 생성하는 모션 인식부를 더 포함하고, 상기 생성된 안면 판단 정보, 비문 판단 정보, 모션 판단 정보를 인공 신경망 기반의 개체 식별 모델에 입력하고 각 판단 정보 별로 가중치를 적용함으로써 개체 식별정보를 생성하는 개체 식별부를 포함할 수 있다.
본 발명의 일 실시예에 따르면 상기 안면 인식부는, 캡쳐된 상기 안면 이미지로부터 8개의 특징점을 추출하고, 상기 8개의 추출점은 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점으로 이루어지고, 상기 8개의 특징점이 추출된 복수의 학습 데이터를 바탕으로 정규화를 수행하고, 상기 학습 데이터 및 정규화된 학습 데이터에 가중치를 적용하여 생성한 데이터 세트를 이용하여 특징점 정보를 입력하면 품종 및 성별을 식별하고, 상기 식별된 품종 및 성별 정보 및 관심 영역 이미지 데이터를 입력하여 개체를 식별할 수 있는 안면 식별 데이터를 생성하도록 인공 신경망 기반의 안면 식별 모델을 학습시켜 식별 정확도를 상승시키고, 상기 인공 신경망 기반의 안면 식별 모델을 통해 품종 및 성별을 식별한 결과, 정답으로 판단한 이미지의 수와 오답으로 판단한 이미지의 수를 이용하여 평균 정확도 및 보정된 정확도를 이용하여 상기 학습데이터 및 정규화된 학습 데이터에 대한 최적의 가중치를 산출할 수 있다.
본 발명의 일 실시예에 따르면 상기 안면 인식부는, 상기 인공 신경망 기반의 안면 식별 모델을 합성곱 신경망 네트워크(CNN)로 형성하여 다수의 합성곱 연산 레이어로 합성곱 연산을 수행하고, 상기 다수의 합성곱 연산 레이어 중 일부와 나머지 일부를 나누어 제1 레이어 그룹과 제2 레이어 그룹으로 구조를 형성하며, 상기 관심 영역 이미지로부터 추출한 8개의 특징점에 대한 정보를 제1 레이어 그룹의 입력층에 입력하고 다수의 합성곱 레이어를 통해 합성곱 연산을 수행하여 식별된 품종 및 성별에 대한 품종 식별 정보, 성별 식별 정보를 도출하고, 상기 제1 레이어 그룹의 출력 값 및 추출된 특징점에 대한 정보를 제2 레이어 그룹의 입력층에 입력하여 개체 식별 정보를 생성하고, 상기 개체 식별 정보를 이용하여 개체 식별 정보에 대한 신뢰도 점수를 산출하며, 상기 개체 식별 정보의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출할 수 있다.
본 발명의 실시예에 따라 구현된 반려동물 식별 시스템을 이용하여 카메라, 마이크, CCTV 등의 기기를 이용하여 수집한 영상, 이미지, 음성을 분석하여 안면 인식, 비문 인식, 음성 인식, 모션 인식 중 적어도 하나 이상의 식별 방법을 동시 또는 순차적으로 이용하여 반려동물의 개체 식별의 신뢰도를 큰 폭으로 향상시키는 효과를 제공할 수 있으며, 특히 동물을 대상으로 수행되는 인면 인식에 대한 인식율을 높일 수 있도록 반려동물의 품종, 성별에 대한 식별 정보까지 반영한 식별 방법을 이용하여 종래의 기술보다 훨씬 정확도 높은 안면 인식 기능을 제공할 수 있다.
또한, 비문인식에 있어서도 반려 동물의 두 콧구멍의 경계를 포함하는 직사각형 형태의 관심영역을 대상으로 대비 제한의 적응적 히스토그램 균등화와 스케일 불변 형상 변환을 수행함으로써 더 신뢰도 높은 비문 인식을 수행할 수 있으며, 음성 인식에 있어서도 특징 벡터를 추출하여 히스토그램 모델링을 수행함으로써 음성 인식의 신뢰도를 향상시킬 수 있으며 모션 인식에서도 정형화된 패턴에 대한 모션 식별 데이터를 이용하여 안면 인식, 비문 인식, 음성 인식에서 제대로 인식하지 못한 허점을 보완할 수 있는 효과를 제공할 수 있다.
도 1은 본 발명의 제1 실시예에 따라 구현된 반려동물 식별 시스템의 세부 구성도이다.
도 2는 본 발명의 제2 실시예에 따라 구현된 반려동물 식별 시스템의 세부 구성도이다.
도 3는 본 발명의 제3 실시예에 따라 구현된 반려동물 식별 시스템의 세부 구성도이다.
도 4는 본 발명의 일 실시예에 따라 반려동물의 안면인식을 위해 추출한 8개의 특징점을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 개체 식별 정보의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출하는 프로세스를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 코 이미지로부터 관심 영역을 추출하는 프로세스를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따라 관심영역을 대상으로 원본 이미지과 대비 제한의 적응적 히스토그램 균등화를 수행한 이미지를 대비한 도면이다.
도 8은 본 발명의 일 실시예에 따라 음성 데이터를 분할한 프레임을 대상으로 특징 벡터를 추출하고 히스토그램 모델링을 수행하여 코드를 획득하는 것을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따라 각 판단 정보 별로 가중치를 적용함으로써 개체 식별정보를 생성하는 것을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따라 반려동물 식별 방법의 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다.
그리고 몇 가지 대체 실시예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다.
그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 반려동물 식별 시스템 및 그 방법에 대하여 설명한다.
도 1은 본 발명의 제1 실시예에 따라 구현된 반려동물 식별 시스템(10)의 세부 구성도이다.
본 발명의 제1 실시예에 따라 구현된 반려동물 식별 시스템(10)는 데이터 베이스(100), 안면 인식부(200), 비문 인식부(300), 개체 식별부(600)를 포함할 수 있다.
데이터 베이스(100)는 등록된 복수의 반려 동물 별 대한 안면 데이터, 비문 데이터, 음성 데이터, 모션 데이터 중 적어도 하나 이상을 저장할 수 있다.
본 발명의 일 실시예에 따르면 데이터 베이스(100)는 반려동물 식별 시스템(10)에 포함된 저장소 또는 서버의 형태로 구현될 수 있으며, 등록 절차가 진행된 반려동물들의 개체별로 안면 식별 정보를 포함한 안면 데이터, 비문 식별 정보를 포함한 비문 데이터, 음성 식별 정보를 포함한 음성 데이터, 모션 식별 정보를 포함한 모션 데이터 중 적어도 하나 이상을 저장할 수 있다.
본 발명의 일 실시예에 따르면 안면 인식부(200), 비문 인식부(300), 음성 인식부(400), 모션 인식부(500)에서 생성된 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터와 데이터 베이스(100)에 저장된 안면 데이터, 비문 데이터, 음성 데이터, 모션 데이터를 대비하여 유사도 이상의 데이터를 탐색할 수 있고, 이에 따라 안면 판단 데이터, 비문 판단 데이터, 음성 판단 데이터, 모션 판단 데이터를 생성할 수 있다.
여기서 모션 식별 데이터와 데이터 베이스(100)에 저장된 안면 데이터, 비문 데이터, 음성 데이터, 모션 데이터는 반려동물들의 개체별로 각각의 안면, 비문, 음성, 모션 식별 정보를 포함한 데이터를 의미할 수 있다.
안면 인식부(200)는 획득한 이미지 정보 중 반려 동물의 안면을 탐색하여 안면 이미지를 캡쳐하고, 캡쳐된 안면 이미지로부터 복수의 특징점을 추출하여 인공 신경망 기반의 안면 식별 모델을 이용하여 품종 또는 성별을 고려하여 안면 식별이 가능한 안면 식별 데이터를 생성하고, 안면 식별 데이터를 기준으로 데이터 베이스에 저장된 안면 데이터 중 일정한 유사도 이상의 안면 데이터가 존재하는지에 대한 안면 판단 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 추출하여 인공 신경망 기반의 안면 식별 모델을 이용한 특징점 분석을 수행하기 위한 전처리 단계로서, 먼저 반려 동물의 안면을 탐색하고, 안면으로 탐색된 이미지를 캡쳐 하여 안면 이미지를 생성할 수 있다.
본 발명의 일 실시예에 따르면 캡쳐된 안면 이미지로부터 복수의 특징점을 추출할 수 있으며, 이때 특징점을 추출함에 있어 연산 자원 소모를 최소한 하고 추출 시간 또한 감소하기 위하여 추출할 특징점 수를 소수로 한정할 수 있다.
본 발명의 일 실시예에 따르면 추출할 특징점 수를 소수로 한정하는 경우 소수의 특징점을 추출하면서도 인식 정확도 또한 일정 수준 이상을 유지하여야 하므로 동물의 안면 형상을 식별하기에 유리한 위치의 특징점을 선정하여야 하며, 특징점을 어디로 잡느냐에 따라 안면을 인식하기 위해 소요되는 연산 자원의 양, 인식 속도, 인식 정확도는 매우 큰 차이가 발생하게 된다.
본 발명의 일 실시예에 따르면 특징점을 추출하기 위하여 다중 객체 인식 기법을 사용할 수 있고 그 중에서도 ORB(Oriented FAST and Rotated BRIEF) 알고리즘이 적용되어 사용될 수 있다.
상기 실시예에 따르면 윈도우 영역을 잡고 중심점의 밝기 값과 16개의 밝기 값들을 비교할 수 있으며, 예를 들어 우선 1, 5, 9, 13에 위치한 밝기 값을 비교하여 어둡거나 밝으면 1, 비슷하면 0을 주어 3 이상 되면 후보 특징점으로 선택할 수 있다.
그 후 나머지 위치한 밝기 값과 비교를 하여 12 이상이면 특징점으로 결정하게 되고, 각 특징점 주위로 이웃한 8개 픽셀 밝기 값과 비교하여 제일 큰 값을 가지고 있는 픽셀을 최종 특징점으로 결정한다. 추출된 특장점들에게 blob 특징점을 제거하고, corner 특징점을 추출하기 위해 Haris Corner Detection을 활용할 수 있다.
이때 Haris Corner Detection은 Corner 영역을 인식할 수 있어 Corner만 추출이 가능하며, 더 나아가 주 방향을 구하기 위해서 Intensity Centroid를 이용하여 방향을 결정할 수 있다.
상기 일 실시예에 따르면 각 특징점 주위로 부분영상을 만들고, 주 방향을 이용하여 모든 비교점을 회전시킨 후 bit string description을 구성하면, 유익성과 차별성이 떨어진다.
이 문제를 해결하기 위해 p(x)와 p(y)를 임의로 정하지 않고, 유익성과 차별성이 좋은 두 개의 픽셀 선택 패턴을 결정하여 학습데이터로 만들 수 있으며, 학습 데이터를 바탕으로 256개의 binary test를 구하여 descriptor를 생성할 수 있다.
본 발명의 일 실시예에 따르면 안면 인식부(200)는 캡쳐된 안면 이미지로부터 8개의 특징점을 추출하고, 8개의 추출점은 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점으로 이루어질 수 있다.
상기 일 실시예에 따르면 8개의 특징점이 추출된 복수의 학습 데이터를 바탕으로 정규화를 수행하고, 학습 데이터 및 정규화된 학습 데이터에 가중치를 적용하여 생성한 데이터 세트를 이용하여 특징점 정보를 입력하면 품종 및 성별을 식별하고, 식별된 품종 및 성별 정보 및 관심 영역 이미지 데이터를 입력하여 개체를 식별할 수 있는 안면 식별 데이터를 생성하도록 인공 신경망 기반의 안면 식별 모델을 학습시켜 식별 정확도를 상승시킬 수 있다.
상기 일 실시예에 따르면 인공 신경망 기반의 안면 식별 모델을 통해 품종 및 성별을 식별한 결과, 정답으로 판단한 이미지의 수와 오답으로 판단한 이미지의 수를 이용하여 평균 정확도 및 보정된 정확도를 이용하여 학습 데이터 및 정규화된 학습 데이터에 대한 최적의 가중치를 산출할 수 있다.
본 발명의 일 실시예에 따르면 개와 고양이 모두를 대상으로 소수의 특징점을 추출하여 안면을 인식하는 시뮬레이션을 수행한 결과 적어도 8개의 특징점 이상의 특징점을 추출하여야 75.32% 이상의 인식률을 보이는 것으로 나타났으며, 특히 8개의 특징점을 도 4와 같이 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점으로 추출한 경우 시뮬레이션 결과 93.21% 이상의 안면 인식률을 보이는 것으로 나타난다.
본 발명의 일 실시예에 따르면 인공 신경망 기반의 안면 식별 모델을 학습시키기 위한 데이터 세트를 생성함에 있어 높은 식별 정확도를 확보하기 위하여 아래 수학식 1과 같이 학습 데이터에 정규화를 수행하고 학습 데이터와 정규화된 학습 데이터 각각을 이용하여 학습시킨 경우 식별 정확도를 산정한 후, 이를 기반으로 학습 데이터와 정규화된 학습 데이터에 생성한 데이터 세트를 통해 학습시켜 두 데이터 사이의 가중 평균을 이용하도록 최적의 가중치를 산출하여 적용할 수 있다.
Figure PCTKR2022006157-appb-img-000001
Figure PCTKR2022006157-appb-img-000002
수학식 1에 P(Decision)는 생성한 데이터 세트를 이용해 학습된 식별 모델에 대한 식별 정확도를 의미할 수 있으며,
Figure PCTKR2022006157-appb-img-000003
는 학습 데이터의 식별 정확도,
Figure PCTKR2022006157-appb-img-000004
는 정규화된 학습 데이터의 식별 정확도를 의미할 수 있으며, α 는 가중치 지수를 의미할 수 있다.
학습 데이터와 정규화된 학습 데이터에 포함된 이미지 전부를 대상으로
Figure PCTKR2022006157-appb-img-000005
는 정답으로 판단한 이미지의 수를 의미하고
Figure PCTKR2022006157-appb-img-000006
은 오답으로 판단한 이미지의 수,
Figure PCTKR2022006157-appb-img-000007
는 총 이미지 수를 의미할 수 있으며, 정확도의 보정을 위해 i는 선택한 클래스(품종 또는 성별)를 의미하고, N은 총 클래스 개수를 의미할 수 있다.
Figure PCTKR2022006157-appb-img-000008
는 평균 정확도를 의미할 수 있고, 이는 올바르게 예측된 품종, 성별의 수를 기반으로 정확도를 평균 낸 것을 의미할 수 있으며,
Figure PCTKR2022006157-appb-img-000009
는 보정된 정확도를 의미할 수 있고, 이는 각 품종, 성별 내의 이미지 수에 관계없이 각 품종 간의 정확도의 평균을 의미할 수 있다.
본 발명의 일 실시예에 다르면 각 클래스에 대해 평가된 이미지 수가 동일하면 평균 정확도와 보정된 정확도가 동일해야 하는데 각 클래스에 대한 이미지 수가 불균형하기 때문에 이러한 정확도 간에 차이가 존재하므로, 이를 해결하기 위하여 품종 및 성별을 식별한 결과 정답으로 판단한 이미지의 수와 오답으로 판단한 이미지의 수를 이용하여 평균 정확도 및 보정된 정확도를 이용하여 두 정확도가 균일해지도록 최적의 가중치 지수를 산출하고, 산출한 가중치 지수를 학습데이터 및 정규화된 학습 데이터에 적용할 수 있다.
상기 실시예에 따르면 시뮬레이션 결과 가중치 지수 α는 0.38 < α < 0.73 사이의 범위에서 높은 식별 정확도를 보이며, 시뮬레이션 결과 평균적으로 가중치 지수 α가 0.5에 가까워질수록 높은 식별 정확도를 가지는 경향성을 가질 수 있다.
본 발명의 일 실시예에 따르면 α는 0.5로 기 설정될 수 있으며, 평균 정확도 및 보정된 정확도가 균일해지도록 최적의 가중치 지수를 산출하여 산출된 가중치 지수로 갱신할 수 있다.
본 발명의 일 실시예에 따르면 식별된 품종 및 성별 정보 및 관심 영역 이미지 데이터를 인공 신경망 기반의 안면 식별 모델에 입력하여 개체를 식별할 수 있는 안면 식별 데이터를 생성하도록 학습시켜 식별 정확도를 상승시킬 수 있다.
본 발명의 일 실시예에 따르면 인공 신경망 기반의 안면 식별 모델은 합성곱 신경망 네트워크(CNN)로 형성될 수 있으며, 다수의 합성곱 연산 레이어로 합성곱 연산을 수행할 수 있고, 다수의 합성곱 연산 레이어 중 일부와 나머지 일부를 나누어 제1 레이어 그룹과 제2 레이어 그룹으로 구조가 형성될 수 있다.
본 발명의 일 실시예에 따르면 추출된 특징점에 대한 정보를 인공 신경망 기반의 안면 식별 모델의 제1 레이어 그룹에 입력하여 식별된 품종 식별 정보, 성별 식별 정보를 1차 도출할 수 있다.
본 발명의 일 실시예에 따르면 관심 영역 이미지로부터 추출한 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점을 포함하는 8개의 특징점에 대한 정보를 제1 레이어 그룹의 입력층에 입력하고 다수의 합성곱 레이어를 통해 합성곱 연산을 수행하여 식별된 품종 및 성별에 대한 품종 식별 정보, 성별 식별 정보를 도출할 수 있다.
본 발명의 일 실시예에 따르면 제1 레이어 그룹의 출력 값 및 추출된 특징점에 대한 정보를 제2 레이어 그룹의 입력층에 입력하여 개체 식별 정보를 생성하고, 개체 식별 정보를 이용하여 개체 식별 정보에 대한 신뢰도 점수를 산출하며, 개체 식별 정보의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출할 수 있다.
본 발명의 일 실시예에 따르면 아래 수학식 2와 같이 개체 식별 정보의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출할 수 있다.
Figure PCTKR2022006157-appb-img-000010
Figure PCTKR2022006157-appb-img-000011
여기서 P(id|g, b; s)은 안면 식별 데이터의 예측 가능성을 의미할 수 있으며, Score(id)은 개체 식별 정보의 신뢰도 점수를,
Figure PCTKR2022006157-appb-img-000012
는 성별 식별 정보를,
Figure PCTKR2022006157-appb-img-000013
은 품종 식별 정보는 Z(g, b; s)는 각 정보의 정규화 요소를 의미할 수 있다.
비문 인식부(300)는 안면 이미지로부터 반려 동물의 두 콧구멍의 경계를 포함하는 직경 10~15cm의 원에 포함되는 직사각형 형태의 관심영역을 추출하고, 관심영역을 대상으로 대비 제한의 적응적 히스토그램 균등화와 스케일 불변 형상 변환을 수행하여 가우스 내부 차이에 따라 비문을 추출하여 비문 식별 데이터를 생성할 수 있다.
상기 일 실시예에 따르면 비문 식별 데이터를 기준으로 저장된 비문 데이터 중 일정한 유사도 이상의 비문 데이터가 존재하는지에 대한 안면 판단 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 안면 이미지로부터 추출한 관심영역 이미지를 대상으로 비문을 추출함에 있어 관심영역 이미지의 크기가 너무 크거나 작으면 정보 손실이 발생할 수 있으므로, 원본 이미지의 너비와 높이 비율을 유지하여 이미지 크기 조정을 수행하기 위하여 아래 수학식 3를 이용하여 리사이징을 수행할 수 있다.
Figure PCTKR2022006157-appb-img-000014
Figure PCTKR2022006157-appb-img-000015
여기서 S는 스케일 팩터를 의미하며, w는 너비, h는 높이를 의미할 수 있으며, w'는 리사이징된 너비, h'는 리사이징된 높이 r은 리사이징을 위한 참조 값이 될 수 있으며, 본 발명의 일 실시예에 다르면 리사이징을 위한 참조 값은 300 X 300 픽셀 또는 300 X 400 픽셀의 크기일 수 있다.
본 발명의 일 실시예에 따르면 리사이징된 관심영역 이미지를 대상으로 대비 제한의 적응적 히스토그램 균등화를 수행할 수 있다.
여기서 히스토그램 균등화는 이미지에서 픽셀 값의 누적 분포 함수를 사용하는 대표적인 이미지 향상 방법을 의미하며, 종래의 균등화는 전체 이미지의 대비를 증가시키므로 효과가 만족스럽지 않은 경우가 다수 존재합니다.
본 발명의 일 실시예에 따르면 종래의 균등화 기법의 한계점을 극복하기 위하여 더욱 진보된 균등화 기법인 대비 제한의 적응적 히스토그램 균등화 기법을 적용하여 균등화를 수행할 수 있다.
여기서 대비 제한의 적응적 히스토그램 균등화 기법은 이미지를 작은 영역으로 나누고 대비 한계를 사용하여 극단적인 노이즈를 제거함으로써 각 영역 내의 히스토그램을 균일화하는 기법을 의미하며, 대비 한계는 어두운 영역에서는 대비를 더 높이고 밝은 영역에서는 더 적게 대비를 향상시키는 방법을 의미합니다.
본 발명의 일 실시예에 다르면 반려동물의 대부분을 차지하는 개 또는 고양이의 코는 얼굴의 다른 부분들과 비교하여 일반적으로 어둡기 때문에, 비문을 포함한 개 또는 고양이의 코 이미지는 대비가 다른 이미지와 비교하여 상대적으로 낮은 경우가 대부분이며, 조명 또는 조도의 차이로 인해 동일한 개 또는 고양이라도 이미지마다 다르게 나타날 수 있으므로, 대비 제한의 적응적 히스토그램 균등화를 수행하여 일정한 대비 수준을 가지도록 통해 대비 값을 조정할 수 있다.
본 발명의 일 실시예에 따르면 이미지 간의 대비 차이를 줄이고 대비를 향상시키기 위해 히스토그램이 충분히 늘어날 때까지 대비 제한의 적응적 히스토그램 균등화를 반복적으로 수행할 수 있으며, 더욱 자세하게는 관심 영역 이미지를 대상으로 1000개 이상의 픽셀이 식별될 수 있을 때까지 반복되어 수행될 수 있다.
본 발명의 일 실시예에 따르면 특징점을 추출하기 위하여 SIFT, SURF, BRISK, ORB 등과 같은 특징점 추출 알고리즘을 사용할 수 있으며, 키포인트 디텍터(keypoint detector)와 디스크립터(descriptor)를 이용하여 키포인트 디텍터는 이미지로부터 키포인트를 찾고, 스크립터는 해당 키포인트를 설명하는 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 스케일 불변 형상 변환(Scale-Invariant Feature Transform, SIFT)을 수행하여 가우스 내부 차이에 따라 특징점을 추출하여 비문 식별 데이터를 생성할 수 있다.
상기 실시예에 따르면 스케일 불변 형상 변환을 수행하여 복수의 이미지 스케일 공간을 생성할 수 있으며 아래 수학식 4와 같이 DoG(Difference of Gaussian) 디텍터를 통하여 공간에서 키포인트로 최대 모서리를 탐색하며 특징점을 추출하고 이를 통해 비문 식별 데이터를 생성할 수 있다.
Figure PCTKR2022006157-appb-img-000016
수학식 4의 D(x, y, σ)는 가우스의 차이를 의미할 수 있으며, G는 가우스 함수를 의미하며, I는 특징점을 추출할 이미지를 의미할 수 있으며, *I(x, y)은 이미지와 가우스 함수 값의 차를 합성곱 시키는 것을 의미할 수 있다.
본 발명의 일 실시예에 따르면 개체 식별부(600)는 생성된 안면 판단 정보, 비문 판단 정보를 인공 신경망 기반의 개체 식별 모델에 입력하고 각 판단 정보 별로 가중치를 적용함으로써 개체 식별정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 안면 판단 정보, 비문 판단 정보를 인공 신경망 기반의 개체 식별 모델에 입력하여 개체 식별정보를 생성할 수 있으며, 여기서 개체 식별정보는 등록된 반려동물 중 동일한 개체가 존재하는지를 식별한 정보를 의미할 수 있으며, 데이터 베이스에 포함된 안면 데이터, 비문 데이터 중 일정한 유사도 이상의 데이터가 존재하는지를 대비하여 생성한 데이터를 의미할 수 있다.
본 발명의 일 실시예에 따르면 안면 판단 정보, 비문 판단 정보를 이용하여 개체 식별정보를 생성함에 있어 안면 판단 정보, 비문 판단 정보를 대상으로 각각의 가중치를 산정하여 적용시킴으로 개체 식별정보를 생성할 수 있으며, 이를 통해 식별 정확도를 향상시킬 수 있다.
상기 일 실시예에 따르면 인공 신경망 기반의 개체 식별 모델에 안면 판단 정보, 비문 판단 정보에 가중치를 적용하여 출력 값인 개체 식별정보의 정확도를 분석하여 가장 높은 정확도를 보이는 가중치 값을 산출하여 이를 적용할 수 있다.
도 2는 본 발명의 제2 실시예에 따라 구현된 반려동물 식별 시스템(11)의 세부 구성도이다.
도 2를 참조하면 본 발명의 제2 실시예에 따라 구현된 반려동물 식별 시스템(11)는 본 발명의 제1 실시예에 따라 구현된 반려동물 식별 시스템(10)의 구성에 음성 인식부(400)를 더 포함할 수 있다.
음성 인식부(400)는 획득한 반려동물의 음성 데이터를 미리 설정된 기준 값에 따라 복수의 프레임으로 분할하고, 분할된 프레임을 대상으로 특징 벡터를 추출하여 히스토그램 모델링을 수행하고, 히스토그램 모델링에 따른 코드를 획득할 수 있다.
본 발명의 일 실시예에 따르면 획득한 코드를 통해 생성한 음성 식별 데이터를 기준으로 상기 데이터 베이스에 저장된 음성 데이터의 코드 중 일정한 유사도 이상의 음성 데이터의 코드가 존재하는지에 대한 음성 판단 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 획득한 반려동물의 음성 데이터를 미리 설정된 기준 값에 따라 일정한 길이로 분할하여 복수의 프레임을 생성할 수 있으며, 각각의 프레임으로부터 특징 벡터를 추출하여 히스토그램 모델을 형성하도록 히스토그램 모델링을 수행할 수 있으며, 히스토그램 모델링을 통해 형성된 히스토그램 모델의 형태에 따라 코드를 생성할 수 있다.
여기서 히스토그램 모델링은 음향 방출 신호를 256단계로 정규화하여 결함 신호 정보의 히스토그램(Histogram)이 구성하는 포락 선을 특징으로 간주하여 모델링하는 것을 의미하며, 모델링된 결함 신호에서 부분 상관 계수(Partial Autocorrelation Coefficients, PARCOR)를 사용하여 모델링된 포락선의 특징을 추출하고, DET(Distance Evaluation Technique)로 결함 신호 고유의 특성을 나타내는 특징을 선택하여 이를 식별이 가능한 코드로 생성할 수 있다.
본 발명의 일 실시예에 따르면 생성된 코드를 포함하도록 음성 식별 데이터를 생성하고, 데이터 베이스에 저장된 음성 데이터의 코드 중 일정한 유사도 이상의 음성 데이터의 코드가 존재하는지 여부를 판단하여 음성 판단 정보를 생성할 수 있다.
본 발명의 실시예에 따르면 개체 식별부(600)은 생성된 안면 판단 정보, 비문 판단 정보, 음성 판단 정보를 인공 신경망 기반의 개체 식별 모델에 입력하고 각 판단 정보 별로 가중치를 적용함으로써 개체 식별정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 안면 판단 정보, 비문 판단 정보, 음성 판단 정보를 인공 신경망 기반의 개체 식별 모델에 입력하여 개체 식별정보를 생성할 수 있으며, 안면 판단 정보, 비문 판단 정보, 음성 판단 정보를 이용하여 개체 식별정보를 생성함에 있어 안면 판단 정보, 비문 판단 정보를 대상으로 각각의 가중치를 산정하여 적용시킴으로 개체 식별정보를 생성할 수 있으며, 이를 통해 식별 정확도를 향상시킬 수 있다.
도 3는 본 발명의 제3 실시예에 따라 구현된 반려동물 식별 시스템의 세부 구성도이다.
도 3을 참조하면 본 발명의 제3 실시예에 따라 구현된 반려동물 식별 시스템(12)은 제2 실시예에 따라 구현된 반려동물 식별 시스템(11)에 모션 인식부(500)를 더 포함할 수 있다.
모션 인식부(500)는 획득한 동영상 데이터를 미리 설정한 기준에 따라 연속된 복수의 프레임으로 분할하고, 복수의 프레임을 분석하여 반려동물의 움직임에 존재하는 정형화된 패턴에 대한 모션 식별 데이터를 생성하며, 안면 식별 데이터를 기준으로 데이터 베이스에 저장된 모션 데이터 중 일정한 유사도 이상의 패턴 정보를 포함한 모션 데이터가 존재하는지에 대한 모션 판단 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 개체 식별부(600)는 안면 판단 정보, 비문 판단 정보, 음성 판단 정보, 모션 판단 정보를 이용하여 개체 식별정보를 생성함에 있어 안면 판단 정보, 비문 판단 정보를 대상으로 각각의 가중치를 산정하여 적용시킴으로 개체 식별정보를 생성할 수 있으며, 이를 통해 식별 정확도를 향상시킬 수 있다.
상기 일 실시예에 따르면 인공 신경망 기반의 개체 식별 모델에 안면 판단 정보, 비문 판단 정보, 음성 판단 정보, 모션 판단 정보에 가중치를 적용하여 출력 값인 개체 식별정보의 정확도를 분석하여 가장 높은 정확도를 보이는 가중치 값을 산출하여 이를 적용할 수 있다.
본 발명의 일 실시예에 따르면 모션 식별 데이터는 복수의 프레임을 분석하여 반려동물의 움직임을 식별하고 일정 구간동안 움직이는 동작 동선을 분석하여 이 중 반복되는 동작 동선을 정형화된 패턴으로 저장하고, 저장된 정형화된 패턴에 대한 정보를 포함한 모션 식별 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 생성한 모션 식별 데이터데이터 베이스에 저장된 모션 데이터 중 일정한 유사도 이상의 패턴 정보를 포함한 모션 데이터가 존재하는지에 대한 판단정보가 포함된 모션 판단 정보를 생성할 수 있다.
도 4는 본 발명의 일 실시예에 따라 반려동물의 안면인식을 위해 추출한 8개의 특징점을 나타낸 도면이다.
도 4를 참조하면 본 발명의 일 실시예에 따라 반려동물의 안면인식을 위해 추출한 8개의 특징점을 나타내고 있으며, 반려 동물의 안면을 탐색하여 안면 이미지를 캡쳐하고, 캡쳐된 상기 안면 이미지로부터 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점으로부터 8개의 특징점을 추출할 수 있다.
도 5는 본 발명의 일 실시예에 따라 개체 식별 정보의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출하는 프로세스를 나타낸 도면이다.
도 5를 참조하면 본 발명의 일 실시예에 따라 안면 인식부(200)는 개체 식별 정보의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출할 수 있으며, 예를 들어 식별된 품종이 퍼그인 경우 정/오답 확률, 식별된 성별이 수컷인 경우 정/오답 확률, 식별된 개체 "벨라"인 발려 동물인 경우의 신뢰도 점수를 반영하여 수학식 2와 같이 안면 식별 데이터의 예측 가능성을 산출할 수 있다.
도 6은 본 발명의 일 실시예에 따라 코 이미지로부터 관심 영역을 추출하는 프로세스를 나타낸 도면이다.
도 6을 참고하면 본 발명의 일 실시예에 따라 코 이미지로부터 관심 영역을 추출하는 것이 나타나 있으며, 안면 이미지로부터 반려 동물의 두 콧구멍의 경계를 포함하는 직경 10~15cm의 원에 포함되는 직사각형 형태의 관심영역을 추출할 수 있다.
도 7은 본 발명의 일 실시예에 따라 관심영역을 대상으로 원본 이미지과 대비 제한의 적응적 히스토그램 균등화를 수행한 이미지를 대비한 도면이다.
도 7을 참조하면 본 발명의 일 실시예에 따라 관심영역을 대상으로 원본 이미지과 대비 제한의 적응적 히스토그램 균등화를 수행한 이미지가 나타나 있으며, 도 7 a)의 경우 관심영역에 균등화를 수행하지 아니한 상태에서의 원본 이미지가 나타나 있으며 너무 어두워 픽셀의 식별이 충분하지 아니하다.
따라서 이러한 원본 이미지를 대상으로 대비 제한의 적응적 히스토그램 균등화를 수행하면 도 7 b)와 같이 대비가 상대적으로 좀더 밝아져 식별되는 픽셀의 수가 증가하며, 1000개 이상의 픽셀이 식별될 수 있을 때까지 대비 제한의 적응적 히스토그램 균등화를 반복하면 도 7 c)와 같이 더욱 밝은 대비로 특징점 추출이 수월해질 수 있다.
도 8은 본 발명의 일 실시예에 따라 음성 데이터를 분할한 프레임을 대상으로 특징 벡터를 추출하고 히스토그램 모델링을 수행하여 코드를 획득하는 것을 나타낸 도면이다.
도 8을 참조하면 본 발명의 일 실시예에 따라 음성 데이터를 분할한 프레임을 대상으로 특징 벡터를 추출하고 히스토그램 모델링을 수행하여 코드를 획득하는 것이 나타나 있으며, 모델링된 결함 신호에서 부분 상관 계수를 사용하여 모델링된 포락선의 특징을 추출하고, DET로 결함 신호 고유의 특성을 나타내는 특징을 선택하여 이를 식별이 가능한 코드로 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따라 각 판단 정보 별로 가중치를 적용함으로써 개체 식별정보를 생성하는 것을 나타낸 도면이다.
도 9를 참조하면 본 발명의 일 실시예에 따라 각 판단 정보 별로 가중치를 적용함으로써 개체 식별정보를 생성하는 것이 나타나 있으며, 안면 판단 정보, 비문 판단 정보, 음성 판단 정보, 모션 판단정보를 대상으로 각각의 가중치를 산정하여 적용시킴으로 개체 식별정보를 생성할 수 있으며, 인공 신경망 기반의 개체 식별 모델에 안면 판단 정보(0.90), 비문 판단 정보(0.95), 음성 판단 정보(1.00), 모션 판단 정보(0.98)에 가중치를 각각 적용하여 출력 값인 개체 식별정보의 정확도를 분석하여 가장 높은 정확도를 보이는 가중치 값을 산출하여 이를 적용할 수 있다.
도 10은 본 발명의 일 실시예에 따라 반려동물 식별 방법의 흐름도이다.
반려 동물 별 대한 안면 데이터, 비문 데이터, 음성 데이터, 모션 데이터 중 적어도 하나 이상을 저장한다(S10).
본 발명의 일 실시예에 따르면 등록된 복수의 반려 동물 별 대한 안면 데이터, 비문 데이터, 음성 데이터, 모션 데이터 중 적어도 하나 이상을 저장할 수 있다.
본 발명의 일 실시예에 따르면 등록 절차가 진행된 반려동물들의 개체별로 안면 식별 정보를 포함한 안면 데이터, 비문 식별 정보를 포함한 비문 데이터, 음성 식별 정보를 포함한 음성 데이터, 모션 식별 정보를 포함한 모션 데이터 중 적어도 하나 이상을 저장할 수 있다.
반려 동물의 안면 이미지로부터 복수의 특징점을 추출하여 품종을 식별하며, 특징점 분석을 수행하여 안면 식별 데이터를 생성하고, 일정한 유사도 이상의 안면 데이터가 존재하는지에 대한 안면 판단 정보를 생성한다(S20).
본 발명의 일 실시예에 따르면 획득한 이미지 정보 중 반려 동물의 안면을 탐색하여 안면 이미지를 캡쳐하고, 캡쳐된 안면 이미지로부터 복수의 특징점을 추출하여 인공 신경망 기반의 안면 식별 모델을 이용하여 품종 또는 성별을 고려하여 안면 식별이 가능한 안면 식별 데이터를 생성하고, 안면 식별 데이터를 기준으로 데이터 베이스에 저장된 안면 데이터 중 일정한 유사도 이상의 안면 데이터가 존재하는지에 대한 안면 판단 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 추출하여 인공 신경망 기반의 안면 식별 모델을 이용한 특징점 분석을 수행하기 위한 전처리 단계로서, 먼저 반려 동물의 안면을 탐색하고, 안면으로 탐색된 이미지를 캡쳐 하여 안면 이미지를 생성할 수 있다.
본 발명의 일 실시예에 따르면 캡쳐된 안면 이미지로부터 복수의 특징점을 추출할 수 있으며, 이때 특징점을 추출함에 있어 연산 자원 소모를 최소한 하고 추출 시간 또한 감소하기 위하여 추출할 특징점 수를 소수로 한정할 수 있다.
본 발명의 일 실시예에 따르면 추출할 특징점 수를 소수로 한정하는 경우 소수의 특징점을 추출하면서도 인식 정확도 또한 일정 수준 이상을 유지하여야 하므로 동물의 안면 형상을 식별하기에 유리한 위치의 특징점을 선정하여야 하며, 특징점을 어디로 잡느냐에 따라 안면을 인식하기 위해 소요되는 연산 자원의 양, 인식 속도, 인식 정확도는 매우 큰 차이가 발생하게 된다.
본 발명의 일 실시예에 따르면 특징점을 추출하기 위하여 다중 객체 인식 기법을 사용할 수 있고 그 중에서도 ORB(Oriented FAST and Rotated BRIEF) 알고리즘이 적용되어 사용될 수 있다.
상기 실시예에 따르면 윈도우 영역을 잡고 중심점의 밝기 값과 16개의 밝기 값들을 비교할 수 있으며, 예를 들어 우선 1, 5, 9, 13에 위치한 밝기 값을 비교하여 어둡거나 밝으면 1, 비슷하면 0을 주어 3 이상 되면 후보 특징점으로 선택할 수 있다.
그 후 나머지 위치한 밝기 값과 비교를 하여 12 이상이면 특징점으로 결정하게 되고, 각 특징점 주위로 이웃한 8개 픽셀 밝기 값과 비교하여 제일 큰 값을 가지고 있는 픽셀을 최종 특징점으로 결정한다. 추출된 특장점들에게 blob 특징점을 제거하고, corner 특징점을 추출하기 위해 Haris Corner Detection을 활용할 수 있다.
이때 Haris Corner Detection은 Corner 영역을 인식할 수 있어 Corner만 추출이 가능하며, 더 나아가 주 방향을 구하기 위해서 Intensity Centroid를 이용하여 방향을 결정할 수 있다.
상기 일 실시예에 따르면 각 특징점 주위로 부분영상을 만들고, 주 방향을 이용하여 모든 비교점을 회전시킨 후 bit string description을 구성하면, 유익성과 차별성이 떨어진다.
이 문제를 해결하기 위해 p(x)와 p(y)를 임의로 정하지 않고, 유익성과 차별성이 좋은 두 개의 픽셀 선택 패턴을 결정하여 학습데이터로 만들 수 있으며, 학습 데이터를 바탕으로 256개의 binary test를 구하여 디스크립터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 캡쳐된 안면 이미지로부터 8개의 특징점을 추출하고, 8개의 추출점은 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점으로 이루어질 수 있다.
상기 일 실시예에 따르면 8개의 특징점이 추출된 복수의 학습 데이터를 바탕으로 정규화를 수행하고, 학습 데이터 및 정규화된 학습 데이터에 가중치를 적용하여 생성한 데이터 세트를 이용하여 특징점 정보를 입력하면 품종 및 성별을 식별하고, 식별된 품종 및 성별 정보 및 관심 영역 이미지 데이터를 입력하여 개체를 식별할 수 있는 안면 식별 데이터를 생성하도록 인공 신경망 기반의 안면 식별 모델을 학습시켜 식별 정확도를 상승시킬 수 있다.
상기 일 실시예에 따르면 인공 신경망 기반의 안면 식별 모델을 통해 품종 및 성별을 식별한 결과, 정답으로 판단한 이미지의 수와 오답으로 판단한 이미지의 수를 이용하여 평균 정확도 및 보정된 정확도를 이용하여 상기 학습데이터 및 정규화된 학습 데이터에 대한 최적의 가중치를 산출할 수 있다.
본 발명의 일 실시예에 따르면 개와 고양이 모두를 대상으로 소수의 특징점을 추출하여 안면을 인식하는 시뮬레이션을 수행한 결과 적어도 8개의 특징점 이상의 특징점을 추출하여야 75.32% 이상의 인식률을 보이는 것으로 나타났으며, 특히 8개의 특징점을 도 4와 같이 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점으로 추출한 경우 시뮬레이션 결과 93.21% 이상의 안면 인식률을 보이는 것으로 나타난다.
본 발명의 일 실시예에 따르면 인공 신경망 기반의 안면 식별 모델을 학습시키기 위한 데이터 세트를 생성함에 있어 높은 식별 정확도를 확보하기 위하여 수학식 1과 같이 학습 데이터에 정규화를 수행하고 학습 데이터와 정규화된 학습 데이터 각각을 이용하여 학습시킨 경우 식별 정확도를 산정한 후, 이를 기반으로 학습 데이터와 정규화된 학습 데이터에 생성한 데이터 세트를 통해 학습시켜 두 데이터 사이의 가중 평균을 이용하도록 최적의 가중치를 산출하여 적용할 수 있다.
본발명의 일 실시예에 따르면 학습 데이터와 정규화된 학습 데이터에 포함된 이미지 전부를 대상으로 TP는 정답으로 판단한 이미지의 수를 의미하고 FN은 오답으로 판단한 이미지의 수, FN + TP는 총 이미지 수를 의미할 수 있으며, 정확도의 보정을 위해 i는 선택한 클래스(품종 또는 성별)를 의미하고, N은 총 클래스 수를 의미할 수 있다.
본 발명의 일 실시예에 따르면 average는 평균 정확도를 의미할 수 있고, 이는 올바르게 예측된 품종, 성별의 수를 기반으로 정확도를 평균 낸 것을 의미할 수 있으며, balance는 보정된 정확도를 의미할 수 있고, 이는 각 품종, 성별 내의 이미지 수에 관계없이 각 품종 간의 정확도의 평균을 의미할 수 있다.
본 발명의 일 실시예에 따르면 각 클래스에 대해 평가된 이미지 수가 동일하면 평균 정확도와 보정된 정확도가 동일해야 하는데, 각 클래스에 대한 이미지 수가 불균형하기 때문에 이러한 정확도 간에 약간의 차이가 있으므로, 이를 해결하기 위하여 품종 및 성별을 식별한 결과, 정답으로 판단한 이미지의 수와 오답으로 판단한 이미지의 수를 이용하여 평균 정확도 및 보정된 정확도를 이용하여 두 정확도가 균일해지도록 최적의 가중치 지수를 산출하고, 산출한 가중치 지수를 학습데이터 및 정규화된 학습 데이터에 적용할 수 있다.
상기 실시예에 따르면 시뮬레이션 결과 가중치 지수 α는 0.38 < α < 0.73 사이의 범위에서 높은 식별 정확도를 보이며, 시뮬레이션 결과 평균적으로 가중치 지수 α가 0.5에 가까워질수록 높은 식별 정확도를 가지는 경향성을 가질 수 있다.
본 발명의 일 실시예에 따르면 식별된 품종 및 성별 정보 및 관심 영역 이미지 데이터를 인공 신경망 기반의 안면 식별 모델에 입력하여 개체를 식별할 수 있는 안면 식별 데이터를 생성하도록 학습시켜 식별 정확도를 상승시킬 수 있다.
본 발명의 일 실시예에 따르면 인공 신경망 기반의 안면 식별 모델은 합성곱 신경망 네트워크(CNN)로 형성될 수 있으며, 다수의 합성곱 연산 레이어로 합성곱 연산을 수행할 수 있고, 다수의 합성곱 연산 레이어 중 일부와 나머지 일부를 나누어 제1 레이어 그룹과 제2 레이어 그룹으로 구조가 형성될 수 있다.
본 발명의 일 실시예에 따르면 추출된 특징점에 대한 정보를 인공 신경망 기반의 안면 식별 모델의 제1 레이어 그룹에 입력하여 식별된 품종 식별 정보, 성별 식별 정보를 1차 도출할 수 있다.
본 발명의 일 실시예에 따르면 관심 영역 이미지로부터 추출한 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점을 포함하는 8개의 특징점에 대한 정보를 제1 레이어 그룹의 입력층에 입력하고 다수의 합성곱 레이어를 통해 합성곱 연산을 수행하여 식별된 품종 및 성별에 대한 품종 식별 정보, 성별 식별 정보를 도출할 수 있다.
본 발명의 일 실시예에 따르면 제1 레이어 그룹의 출력 값 및 추출된 특징점에 대한 정보를 제2 레이어 그룹의 입력층에 입력하여 개체 식별 정보를 생성하고, 개체 식별 정보를 이용하여 개체 식별 정보에 대한 신뢰도 점수를 산출하며, 개체 식별 정보의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출할 수 있다.
본 발명의 일 실시예에 따르면 수학식 2와 같이 개체 식별 정보의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출할 수 있다.
안면 이미지로부터 추출된 직사각형 형태의 관심영역을 대상으로 대비 제한의 적응적 히스토그램 보정과 스케일 불변 형상 변환을 수행하여 가우스 내부 차이에 따라 비문을 추출함으로써 비문 식별 데이터를 생성하고, 일정한 유사도 이상의 비문 데이터가 존재하는지에 대한 비문 판단 정보를 생성한다(S30).
본 발명의 일 실시예에 따르면 안면 이미지로부터 반려 동물의 두 콧구멍의 경계를 포함하는 직경 10~15cm의 원에 포함되는 직사각형 형태의 관심영역을 추출하고, 관심영역을 대상으로 대비 제한의 적응적 히스토그램 균등화와 스케일 불변 형상 변환을 수행하여 가우스 내부 차이에 따라 비문을 추출하여 비문 식별 데이터를 생성할 수 있다.
상기 일 실시예에 따르면 비문 식별 데이터를 기준으로 저장된 비문 데이터 중 일정한 유사도 이상의 비문 데이터가 존재하는지에 대한 안면 판단 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 안면 이미지로부터 추출한 관심영역 이미지를 대상으로 비문을 추출함에 있어 관심영역 이미지의 크기가 너무 크거나 작으면 정보 손실이 발생할 수 있으므로, 원본 이미지의 너비와 높이 비율을 유지하여 이미지 크기 조정을 수행하기 위하여 수학식 3를 이용하여 리사이징을 수행할 수 있다.
본 발명의 일 실시예에 따르면 리사이징된 관심영역 이미지를 대상으로 대비 제한의 적응적 히스토그램 균등화를 수행할 수 있다.
여기서 히스토그램 균등화는 이미지에서 픽셀 값의 누적 분포 함수를 사용하는 대표적인 이미지 향상 방법을 의미하며, 종래의 균등화는 전체 이미지의 대비를 증가시키므로 효과가 만족스럽지 않은 경우가 다수 존재합니다.
본 발명의 일 실시예에 따르면 종래의 균등화 기법의 한계점을 극복하기 위하여 더욱 진보된 균등화 기법인 대비 제한의 적응적 히스토그램 균등화 기법을 적용하여 균등화를 수행할 수 있다.
여기서 대비 제한의 적응적 히스토그램 균등화 기법은 이미지를 작은 영역으로 나누고 대비 한계를 사용하여 극단적인 노이즈를 제거함으로써 각 영역 내의 히스토그램을 균일화하는 기법을 의미하며, 대비 한계는 어두운 영역에서는 대비를 더 높이고 밝은 영역에서는 더 적게 대비를 향상시키는 방법을 의미합니다.
본 발명의 일 실시예에 다르면 반려동물의 대부분을 차지하는 개 또는 고양이의 코는 얼굴의 다른 부분들과 비교하여 일반적으로 어둡기 때문에, 비문을 포함한 개 또는 고양이의 코 이미지는 대비가 다른 이미지와 비교하여 상대적으로 낮은 경우가 대부분이며, 조명 또는 조도의 차이로 인해 동일한 개 또는 고양이라도 이미지마다 다르게 나타날 수 있으므로, 대비 제한의 적응적 히스토그램 균등화를 수행하여 일정한 대비 수준을 가지도록 통해 대비 값을 조정할 수 있다.
본 발명의 일 실시예에 따르면 이미지 간의 대비 차이를 줄이고 대비를 향상시키기 위해 히스토그램이 충분히 늘어날 때까지 대비 제한의 적응적 히스토그램 균등화를 반복적으로 수행할 수 있으며, 더욱 자세하게는 관심 영역 이미지를 대상으로 1000개 이상의 픽셀이 식별될 수 있을 때까지 반복되어 수행될 수 있다.
본 발명의 일 실시예에 따르면 특징점을 추출하기 위하여 SIFT, SURF, BRISK, ORB 등과 같은 특징점 추출 알고리즘을 사용할 수 있으며, 키포인트 디텍터(keypoint detector)와 디스크립터(descriptor)를 이용하여 키포인트 디텍터는 이미지로부터 키포인트를 찾고, 스크립터는 해당 키포인트를 설명하는 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 스케일 불변 형상 변환(Scale-Invariant Feature Transform, SIFT)을 수행하여 가우스 내부 차이에 따라 특징점을 추출하여 비문 식별 데이터를 생성할 수 있다.
상기 실시예에 따르면 스케일 불변 형상 변환을 수행하여 복수의 이미지 스케일 공간을 생성할 수 있으며 수학식 4와 같이 DoG(Difference of Gaussian) 디텍터를 통하여 공간에서 키포인트로 최대 모서리를 탐색하며 특징점을 추출하고 이를 통해 비문 식별 데이터를 생성할 수 있다.
반려동물의 음성 데이터를 복수의 프레임으로 분할하여 특징 벡터를 추출하고 히스토그램 모델링을 수행하여 히스토그램 모델링에 따른 코드를 획득하며, 코드를 통해 생성한 음성 식별 데이터를 기준으로 일정한 유사도 이상의 음성 데이터의 코드가 존재하는지에 대한 음성 판단 정보를 생성한다(S40).
본 발명의 일 실시예에 따르면 획득한 반려동물의 음성 데이터를 미리 설정된 기준 값에 따라 복수의 프레임으로 분할하고, 분할된 프레임을 대상으로 특징 벡터를 추출하여 히스토그램 모델링을 수행하고, 히스토그램 모델링에 따른 코드를 획득할 수 있다.
본 발명의 일 실시예에 따르면 획득한 코드를 통해 생성한 음성 식별 데이터를 기준으로 상기 데이터 베이스에 저장된 음성 데이터의 코드 중 일정한 유사도 이상의 음성 데이터의 코드가 존재하는지에 대한 음성 판단 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 획득한 반려동물의 음성 데이터를 미리 설정된 기준 값에 따라 일정한 길이로 분할하여 복수의 프레임을 생성할 수 있으며, 각각의 프레임으로부터 특징 벡터를 추출하여 히스토그램 모델을 형성하도록 히스토그램 모델링을 수행할 수 있으며, 히스토그램 모델링을 통해 형성된 히스토그램 모델의 형태에 따라 코드를 생성할 수 있다.
여기서 히스토그램 모델링은 음향 방출 신호를 256단계로 정규화하여 결함 신호 정보의 히스토그램(Histogram)이 구성하는 포락 선을 특징으로 간주하여 모델링하는 것을 의미하며, 모델링된 결함 신호에서 부분 상관 계수(Partial Autocorrelation Coefficients, PARCOR)를 사용하여 모델링된 포락선의 특징을 추출하고, DET(Distance Evaluation Technique)로 결함 신호 고유의 특성을 나타내는 특징을 선택하여 이를 식별이 가능한 코드로 생성할 수 있다.
본 발명의 일 실시예에 따르면 생성된 코드를 포함하도록 음성 식별 데이터를 생성하고, 데이터 베이스에 저장된 음성 데이터의 코드 중 일정한 유사도 이상의 음성 데이터의 코드가 존재하는지 여부를 판단하여 음성 판단 정보를 생성할 수 있다.
동영상 데이터를 복수의 프레임으로 분할하고, 상기 복수의 프레임을 분석하여 반려동물의 움직임에 존재하는 정형화된 패턴에 대한 모션 식별 데이터를 생성하고, 안면 식별 데이터를 기준으로 일정한 유사도 이상의 패턴 정보를 포함한 모션 데이터가 존재하는지에 대한 모션 판단 정보를 생성한다(S50).
본 발명의 일 실시예에 따르면 획득한 동영상 데이터를 미리 설정한 기준에 따라 연속된 복수의 프레임으로 분할하고, 복수의 프레임을 분석하여 반려동물의 움직임에 존재하는 정형화된 패턴에 대한 모션 식별 데이터를 생성하며, 안면 식별 데이터를 기준으로 데이터 베이스에 저장된 모션 데이터 중 일정한 유사도 이상의 패턴 정보를 포함한 모션 데이터가 존재하는지에 대한 모션 판단 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 모션 식별 데이터는 복수의 프레임을 분석하여 반려동물의 움직임을 식별하고 일정 구간동안 움직이는 동작 동선을 분석하여 이 중 반복되는 동작 동선을 정형화된 패턴으로 저장하고, 저장된 정형화된 패턴에 대한 정보를 포함한 모션 식별 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 생성한 모션 식별 데이터데이터 베이스에 저장된 모션 데이터 중 일정한 유사도 이상의 패턴 정보를 포함한 모션 데이터가 존재하는지에 대한 판단정보가 포함된 모션 판단 정보를 생성할 수 있다.
안면 판단 정보, 비문 판단 정보, 음성 판단 정보, 모션 판단 정보를 인공 신경망 기반의 개체 식별 모델에 입력하고 각 판단 정보 별로 가중치를 적용함으로써 개체 식별정보를 생성한다(S60).
본 발명의 일 실시예에 따르면 안면 판단 정보, 비문 판단 정보, 음성 판단 정보, 모션 판단 정보를 이용하여 개체 식별정보를 생성함에 있어 안면 판단 정보, 비문 판단 정보를 대상으로 각각의 가중치를 산정하여 적용시킴으로 개체 식별정보를 생성할 수 있으며, 이를 통해 식별 정확도를 향상시킬 수 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (5)

  1. 등록된 복수의 반려동물 별 대한 안면 데이터, 비문 데이터, 음성 데이터, 모션 데이터 중 적어도 하나 이상을 저장하는 데이터 베이스;
    획득한 이미지 정보 중 반려 동물의 안면을 탐색하여 안면 이미지를 캡쳐하고, 캡쳐된 상기 안면 이미지로부터 복수의 특징점을 추출하여 인공 신경망 기반의 안면 식별 모델을 이용하여 품종 또는 성별을 고려하여 안면 식별이 가능한 안면 식별 데이터를 생성하고, 상기 안면 식별 데이터를 기준으로 상기 데이터 베이스에 저장된 안면 데이터 중 일정한 유사도 이상의 안면 데이터가 존재하는지에 대한 안면 판단 정보를 생성하는 안면 인식부;
    상기 안면 이미지로부터 반려 동물의 두 콧구멍의 경계를 포함하는 직경 10~15cm의 원에 포함되는 직사각형 형태의 관심영역을 추출하고, 상기 관심영역을 대상으로 대비 제한의 적응적 히스토그램 균등화와 스케일 불변 형상 변환을 수행하여 가우스 내부 차이에 따라 특징점을 추출하여 비문 식별 데이터를 생성하고, 상기 비문 식별 데이터를 기준으로 저장된 비문 데이터 중 일정한 유사도 이상의 비문 데이터가 존재하는지에 대한 비문 판단 정보를 생성하는 비문 인식부; 및
    상기 생성된 안면 판단 정보, 비문 판단 정보를 인공 신경망 기반의 개체 식별 모델에 입력하고 각 판단 정보 별로 가중치를 적용함으로써 개체 식별정보를 생성하는 개체 식별부를 포함하는 반려동물 식별 시스템.
  2. 제 1 항에 있어서,
    획득한 반려동물의 음성 데이터를 미리 설정된 기준 값에 따라 복수의 프레임으로 분할하고, 상기 분할된 프레임을 대상으로 특징 벡터를 추출하여 히스토그램 모델링을 수행함으로써 상기 히스토그램 모델링에 따른 코드를 획득하고, 상기 히스토그램 모델링에 따른 코드를 포함해 생성한 음성 식별 데이터를 기준으로 상기 데이터 베이스에 저장된 음성 데이터의 코드 중 일정한 유사도 이상의 음성 데이터의 코드가 존재하는지에 대한 음성 판단 정보를 생성하는 음성 인식부를 더 포함하고,
    상기 생성된 안면 판단 정보, 비문 판단 정보, 음성 판단 정보를 인공 신경망 기반의 개체 식별 모델에 입력하고 각 판단 정보 별로 가중치를 적용함으로써 개체 식별정보를 생성하는 개체 식별부를 포함하는 반려동물 식별 시스템.
  3. 제 1 항에 있어서
    획득한 동영상 데이터를 미리 설정한 기준에 따라 연속된 복수의 프레임으로 분할하고, 상기 복수의 프레임을 분석하여 반려동물의 움직임에 존재하는 정형화된 패턴에 대한 모션 식별 데이터를 생성하고, 상기 안면 식별 데이터를 기준으로 상기 데이터 베이스에 저장된 모션 데이터 중 일정한 유사도 이상의 패턴 정보를 포함한 모션 데이터가 존재하는지에 대한 모션 판단 정보를 생성하는 모션 인식부를 더 포함하고,
    상기 생성된 안면 판단 정보, 비문 판단 정보, 모션 판단 정보를 인공 신경망 기반의 개체 식별 모델에 입력하고 각 판단 정보 별로 가중치를 적용함으로써 개체 식별정보를 생성하는 개체 식별부를 포함하는 반려동물 식별 시스템.
  4. 제 1 항에 있어서 상기 안면 인식부는,
    캡쳐된 상기 안면 이미지로부터 8개의 특징점을 추출하고, 상기 8개의 추출점은 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점으로 이루어지고,
    상기 8개의 특징점이 추출된 복수의 학습 데이터를 바탕으로 정규화를 수행하고, 상기 학습 데이터 및 정규화된 학습 데이터에 가중치를 적용하여 생성한 데이터 세트를 이용하여 특징점 정보를 입력하면 품종 및 성별을 식별하고, 상기 식별된 품종 및 성별 정보 및 관심 영역 이미지 데이터를 입력하여 개체를 식별할 수 있는 안면 식별 데이터를 생성하도록 인공 신경망 기반의 안면 식별 모델을 학습시켜 식별 정확도를 상승시키고,
    상기 인공 신경망 기반의 안면 식별 모델을 통해 품종 및 성별을 식별한 결과, 정답으로 판단한 이미지의 수와 오답으로 판단한 이미지의 수를 이용하여 평균 정확도 및 보정된 정확도를 이용하여 상기 학습데이터 및 정규화된 학습 데이터에 대한 최적의 가중치를 산출하는 것을 특징으로 하는 반려동물 식별 시스템.
  5. 제 4 항에 있어서 상기 안면 인식부는,
    상기 인공 신경망 기반의 안면 식별 모델을 합성곱 신경망 네트워크(CNN)로 형성하여 다수의 합성곱 연산 레이어로 합성곱 연산을 수행하고,
    상기 다수의 합성곱 연산 레이어 중 일부와 나머지 일부를 나누어 제1 레이어 그룹과 제2 레이어 그룹으로 구조를 형성하며,
    상기 관심 영역 이미지로부터 추출한 8개의 특징점에 대한 정보를 제1 레이어 그룹의 입력층에 입력하고 다수의 합성곱 레이어를 통해 합성곱 연산을 수행하여 식별된 품종 및 성별에 대한 품종 식별 정보, 성별 식별 정보를 도출하고,
    상기 제1 레이어 그룹의 출력 값 및 추출된 특징점에 대한 정보를 제2 레이어 그룹의 입력층에 입력하여 개체 식별 정보를 생성하고, 상기 개체 식별 정보를 이용하여 개체 식별 정보에 대한 신뢰도 점수를 산출하며, 상기 개체 식별 정보의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출하는 것을 특징으로 하는 반려동물 식별 시스템.
PCT/KR2022/006157 2021-05-11 2022-04-29 반려동물 식별 시스템 및 그 방법 WO2022240029A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/274,280 US20240087352A1 (en) 2021-05-11 2022-04-29 System for identifying companion animal and method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0060774 2021-05-11
KR1020210060774A KR102325250B1 (ko) 2021-05-11 2021-05-11 반려동물 식별 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
WO2022240029A1 true WO2022240029A1 (ko) 2022-11-17

Family

ID=78516218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/006157 WO2022240029A1 (ko) 2021-05-11 2022-04-29 반려동물 식별 시스템 및 그 방법

Country Status (3)

Country Link
US (1) US20240087352A1 (ko)
KR (1) KR102325250B1 (ko)
WO (1) WO2022240029A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102325250B1 (ko) * 2021-05-11 2021-11-11 (주) 아지랑랑이랑 반려동물 식별 시스템 및 그 방법
KR20240060919A (ko) 2022-10-31 2024-05-08 (주)인투씨엔에스 반려동물 안면인식 기술을 이용한 개체식별 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200041296A (ko) * 2018-10-11 2020-04-21 주식회사 핏펫 동물의 안면 및 비문 이미지에 기초하여 동물의 개체 정보를 제공하는 컴퓨터 프로그램 및 단말기
KR20200042379A (ko) * 2018-10-15 2020-04-23 심준원 복수의 개체 식별 기술을 조합한 동물 식별 방법, 이를 이용한 동물 보험 서비스 제공 방법 및 그 장치
KR20200123161A (ko) * 2019-04-16 2020-10-28 원 커넥트 스마트 테크놀로지 컴퍼니 리미티드 (썬전) 휴먼이미지 속성 모델 구축 방법, 장치, 컴퓨터 디바이스 및 저장 매체
KR20200136206A (ko) * 2019-05-27 2020-12-07 윤종서 머신러닝 기법을 이용한 동물의 비문 이미지 획득방법 및 시스템
KR102325250B1 (ko) * 2021-05-11 2021-11-11 (주) 아지랑랑이랑 반려동물 식별 시스템 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200041296A (ko) * 2018-10-11 2020-04-21 주식회사 핏펫 동물의 안면 및 비문 이미지에 기초하여 동물의 개체 정보를 제공하는 컴퓨터 프로그램 및 단말기
KR20200042379A (ko) * 2018-10-15 2020-04-23 심준원 복수의 개체 식별 기술을 조합한 동물 식별 방법, 이를 이용한 동물 보험 서비스 제공 방법 및 그 장치
KR20200123161A (ko) * 2019-04-16 2020-10-28 원 커넥트 스마트 테크놀로지 컴퍼니 리미티드 (썬전) 휴먼이미지 속성 모델 구축 방법, 장치, 컴퓨터 디바이스 및 저장 매체
KR20200136206A (ko) * 2019-05-27 2020-12-07 윤종서 머신러닝 기법을 이용한 동물의 비문 이미지 획득방법 및 시스템
KR102325250B1 (ko) * 2021-05-11 2021-11-11 (주) 아지랑랑이랑 반려동물 식별 시스템 및 그 방법

Also Published As

Publication number Publication date
KR102325250B1 (ko) 2021-11-11
US20240087352A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
WO2022240029A1 (ko) 반려동물 식별 시스템 및 그 방법
WO2022240030A1 (ko) 반려동물 생애 관리 시스템 및 그 방법
WO2021080103A1 (en) Method for learning and testing user learning network to be used for recognizing obfuscated data created by concealing original data to protect personal information and learning device and testing device using the same
WO2021080102A1 (en) Method for training and testing adaption network corresponding to obfuscation network capable of processing data to be concealed for privacy, and training device and testing device using the same
WO2015115681A1 (ko) 표정 동작사전을 이용한 표정인식 방법 및 장치
WO2015069087A1 (ko) 인식기 학습 방법 및 장치, 데이터 인식 방법 및 장치
WO2020138745A1 (en) Image processing method, apparatus, electronic device and computer readable storage medium
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
WO2016074169A1 (zh) 一种对目标物体的检测方法、检测装置以及机器人
WO2011096651A2 (ko) 얼굴 식별 방법 및 그 장치
JP5361524B2 (ja) パターン認識システム及びパターン認識方法
WO2020045848A1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2022124701A1 (en) Method for producing labeled image from original image while preventing private information leakage of original image and server using the same
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2021101231A1 (en) Event recognition on photos with automatic album detection
WO2013165048A1 (ko) 영상 검색 시스템 및 영상 분석 서버
EP3459009A2 (en) Adaptive quantization method for iris image encoding
WO2022092451A1 (ko) 딥러닝을 이용한 실내 위치 측위 방법
WO2015182979A1 (ko) 영상 처리 방법 및 영상 처리 장치
WO2023167530A1 (en) Method for classifying images using novel classes
WO2023068821A1 (ko) 자기-지도 학습 기반의 다중 객체 추적 장치 및 방법
WO2021125521A1 (ko) 순차적 특징 데이터 이용한 행동 인식 방법 및 그를 위한 장치
WO2022039575A1 (ko) 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법
CN111444374B (zh) 人体检索系统和方法
WO2017099292A1 (ko) 물체-행동 관계 모델에 기반한 행동 인식 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22807677

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18274280

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22807677

Country of ref document: EP

Kind code of ref document: A1