WO2022240030A1 - 반려동물 생애 관리 시스템 및 그 방법 - Google Patents

반려동물 생애 관리 시스템 및 그 방법 Download PDF

Info

Publication number
WO2022240030A1
WO2022240030A1 PCT/KR2022/006158 KR2022006158W WO2022240030A1 WO 2022240030 A1 WO2022240030 A1 WO 2022240030A1 KR 2022006158 W KR2022006158 W KR 2022006158W WO 2022240030 A1 WO2022240030 A1 WO 2022240030A1
Authority
WO
WIPO (PCT)
Prior art keywords
identification
data
information
entity
recognition
Prior art date
Application number
PCT/KR2022/006158
Other languages
English (en)
French (fr)
Inventor
이태권
Original Assignee
(주) 아지랑랑이랑
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 아지랑랑이랑 filed Critical (주) 아지랑랑이랑
Priority to US18/274,512 priority Critical patent/US20240087368A1/en
Publication of WO2022240030A1 publication Critical patent/WO2022240030A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/18—Artificial neural networks; Connectionist approaches
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Definitions

  • the present invention relates to a technology that can generate individual life information to manage the life cycle of a companion animal and provide it for use in various services that can be provided to companion animals, such as medical services and loss prevention services.
  • acquired object data is generated by matching facial image data, motion video data, and voice data acquired from companion animals for each object with object identification ID codes and object history information for each object, and using this, face recognition, print recognition, and voice data are acquired.
  • object registration data including identification feature data, object identification ID code for each object, and object history information is generated, the object registration data is registered in the database, and the object registration data is registered in the database, and the objection requested for identification is returned.
  • Identification request data is generated by analyzing the data acquired for animals, and it is determined whether there is entity registration data having identification characteristic data of a certain degree of similarity or higher in comparison with the identification request data, and based on the determination result, identification object information and
  • An object of the present invention is to provide a companion animal life management system and method capable of generating individual life information according to the present invention.
  • the animal registration system is a law that requires owners of companion animals to register their companion animals with city, county, and district offices in order to minimize abandoned animals.
  • the type can be divided into an external type that hangs an identification tag around the neck of a companion animal.
  • the built-in type it is relatively less safe than the external type in that the wireless identification chip needs to be implanted into the body of the companion animal, and in the case of the external type, it is relatively more convenient than the built-in type in that the identification tag must be managed so as not to be lost. I have a falling problem.
  • a technology using an image of an animal object is in the spotlight, but in the process of photographing an animal object, reflected light may be included in the object image due to the angle of the camera and light, and the object image may be included in the object image.
  • reflected light may be included in the object image due to the angle of the camera and light
  • the object image may be included in the object image.
  • incorrect information is extracted from the object image by included reflected light, and object recognition accuracy may be reduced.
  • Korean Patent No. 10-2019-0070707 “An animal entity authentication method and apparatus using feature information”
  • a face region is detected from image information, and feature regions for eyes, nose, ears, face lines, etc. are detected in the face region, , Technology for detecting feature information on the iris, inscription, and face in the feature area, and performing authentication on an animal entity based on an authentication value obtained by applying each weight to the feature information to calculate an entity authentication value.
  • An object of the present invention is to construct a system capable of providing individual life information of a companion animal by generating individual life information of a companion animal and identifying a companion animal for which identification has been requested, and for this purpose, face recognition and print recognition
  • feature information about a companion animal, object identification ID code, and object history information are stored in a database and captured especially in face recognition. Normalization is performed based on a plurality of training data including information on eight feature points extracted from the extracted facial image, and breeds such as dog breeds or cat breeds are performed using a data set generated by applying weights to the training data and normalized training data. and a technique for increasing identification accuracy by performing learning to identify gender.
  • a rectangular region of interest including the boundary of the companion animal's two nostrils is extracted, and the region of interest is subjected to adaptive histogram equalization of contrast limits and scale invariant shape transformation according to the Gaussian internal difference.
  • voice recognition can be performed by analyzing the companion animal's voice data and obtaining a code based on histogram modeling, and motion for standardized patterns existing in the companion animal's movement is analyzed by analyzing video data of the companion animal's movement.
  • Motion recognition may be performed by obtaining identification data.
  • Accurate identification of a companion animal can be performed using this recognition technique, and based on this, a function capable of providing and managing individual lifetime information of the identified companion animal can be provided.
  • the companion animal life cycle management system matches facial image data, motion video data, and voice data acquired for each entity from a companion animal to be registered with entity identification ID codes and entity history information for each entity to obtain entity data.
  • Acquisition object data generation unit to generate; Face identification data, nose print identification data, voice identification data, and motion identification data generated through at least one recognition technique of face recognition, nose print recognition, voice recognition, or motion recognition by inputting the obtained object data to an artificial neural network-based recognition model.
  • an identification feature data generating unit generating identification feature data including at least one of; an object registration unit that generates object registration data including the identification feature data and object identification ID code for each object matching the identification feature data and object history information, and registers the object registration data in a database; Facial image data, motion video data, and voice data for companion animals requested for identification are input into an artificial neural network-based recognition model and generated through at least one recognition technique among face recognition, print recognition, voice recognition, and motion recognition.
  • an identification request data generation unit configured to generate identification request data including at least one identification characteristic data among one face identification data, nose print identification data, voice identification data, and motion identification data, acquisition location information, and acquisition time information;
  • An identification entity information generation unit that compares the identification request data with identification feature data included in entity registration data stored in the database to determine whether entity registration data having a certain degree of similarity or higher exists, and generates identification entity information according to the determination result.
  • an entity lifetime information management unit that adds or updates entity identification ID codes and entity history information for each entity included in entity registration data matching the acquisition location information, acquisition time information, and the identification entity information to entity lifetime information, and manages the entity lifetime information. can do.
  • the artificial neural network-based recognition model is formed of a convolutional neural network (CNN) and performs a convolution operation with a plurality of convolution operation layers, and each of the plurality of convolution operation layers has a plurality of convolution operation layers. It may be divided into first, second, third, and fourth layer groups including layers of, and the first layer group extracts a plurality of feature points from the acquired facial image data, and extracts the extracted feature point information based on an artificial neural network.
  • CNN convolutional neural network
  • the face identification model is input into the face identification model to generate face identification data capable of face identification considering breed or gender
  • the second layer group has a diameter of 10 to 15 cm including the boundary of the two nostrils of the companion animal from the face image data
  • a rectangular region of interest included in the circle is extracted, and feature points are extracted according to Gaussian internal differences by performing adaptive histogram equalization and scale invariant shape transformation of the contrast limit for the region of interest to generate inscription identification data
  • the third layer group obtains a code according to the histogram modeling by dividing the voice data into a plurality of frames according to a preset reference value and performing histogram modeling by extracting feature vectors from the divided frames
  • the voice identification data including the code according to the histogram modeling is generated
  • the fourth layer group divides the video data into a plurality of consecutive frames according to a preset standard, analyzes the plurality of frames, and moves the companion animal. It is possible to generate motion identification data for a standardized pattern existing in .
  • the eight feature points extracted from the face image are the center point of the left eyeball, the center point of the right eyeball, the nose, the tip of the left ear, the tip of the right ear, and the right contact point between the left ear and the forehead.
  • normalization is performed based on a plurality of training data from which the eight feature points are extracted, and generated by applying weights to the training data and the normalized training data
  • Artificial neural network-based face identification to generate face identification data capable of identifying a subject by inputting the breed and gender information and the region of interest image data by inputting the feature point information using the data set.
  • the model is trained to increase identification accuracy, and as a result of identifying breed and gender through the artificial neural network-based face identification model, average accuracy and corrected accuracy are obtained using the number of images judged as correct and the number of images judged as incorrect.
  • Optimal weights for the training data and normalized training data can be calculated using
  • breed identification information and gender identification information for breeds and genders identified by performing a convolution operation through a plurality of convolution layers using information on eight feature points extracted from the ROI image Derive perform a convolution operation through a plurality of convolution layers using the breed identification information, gender identification information, and information on extracted feature points to generate entity identification information, and use the entity identification information to
  • a reliability score for identification information is calculated, and predictability of face identification data may be calculated using the reliability score of the individual identification information, breed identification information, and gender identification information.
  • an insurance subscription determining unit that provides individual life information matching the identification-requested companion animal and determines whether or not to purchase insurance according to the individual history information included in the individual life information;
  • An insurance fee information generation unit that calculates an insurance fee to be incurred when purchasing insurance according to the individual history information included in the individual life information and provides insurance premium information generated according to the calculated insurance fee when it is determined that the insurance is not purchased;
  • an insurance claiming unit for receiving a disease code and medical expense claim information and automatically claiming an insurance premium according to the disease code from the insurance company when it is determined that the insurance is purchased.
  • object life information is generated to manage the life cycle of companion animals, and various services that can be provided to companion animals, such as medical services and loss prevention services, are provided. It is possible to provide an effect that can be used so that it can be used, and for this purpose, at least one identification method among face recognition, nose print recognition, voice recognition, and motion recognition is used by analyzing the video, image, and voice collected for companion animals. Simultaneous or sequential use can provide the effect of greatly improving the reliability of individual identification of companion animals. By using an identification method that reflects identification information, a face recognition function with much higher accuracy than conventional techniques can be provided.
  • more reliable inscription recognition can be performed by performing adaptive histogram equalization and scale invariant shape transformation of the contrast limit for the rectangular region of interest including the boundary of the two nostrils of the companion animal.
  • the reliability of voice recognition can be improved by extracting feature vectors and performing histogram modeling. It can provide an effect that can make up for the missing loophole.
  • the identified companion animal By providing the individual lifetime information of the identified companion animal, it can be used as basic information for various services that can be provided through the companion animal's medical service or companion animal's history information, helping to build a platform and various business models accordingly. It can provide the effect of preoccupying an advantageous notice.
  • FIG. 1 is a detailed configuration diagram of a companion animal lifetime management system implemented according to a first embodiment of the present invention.
  • FIG. 2 is a detailed configuration diagram of a companion animal lifetime management system implemented according to a second embodiment of the present invention.
  • FIG. 3 is a diagram illustrating first, second, third, and fourth layer groups of a recognition model based on an artificial neural network formed by a convolutional neural network (CNN) according to an embodiment of the present invention.
  • CNN convolutional neural network
  • FIG. 4 is a diagram showing eight feature points extracted for facial recognition of a companion animal according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a process of calculating predictability of face identification data using reliability scores, breed identification information, and gender identification information of individual identification information according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a process of extracting a region of interest from a nose image according to one embodiment of the present invention.
  • FIG. 7 is a diagram comparing an original image and an image obtained by performing adaptive histogram equalization of a contrast limit on a region of interest according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating obtaining a code by extracting a feature vector and performing histogram modeling for a frame obtained by dividing voice data according to an embodiment of the present invention.
  • FIG. 9 is a diagram showing that entity identification information is generated by applying a weight for each determination information according to an embodiment of the present invention.
  • FIG. 10 is a diagram showing that a companion animal lifetime management system implemented according to an embodiment of the present invention, a user terminal, and an operator server are connected.
  • FIG. 11 is a diagram illustrating a location-based local community service that can be implemented using a companion animal lifetime management system implemented according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a companion animal IOT service that can be implemented using a companion animal lifetime management system implemented according to an embodiment of the present invention.
  • FIG. 13 is a flowchart of a companion animal identification method according to an embodiment of the present invention.
  • These computer program instructions may also be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular way, such that the computer usable or computer readable memory
  • the instructions stored in are also capable of producing an article of manufacture containing instruction means that perform the functions described in the flowchart block(s).
  • the computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to generate computer or other programmable data processing equipment. Instructions for performing processing equipment may also provide steps for performing the functions described in the flowchart block(s).
  • each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s).
  • the term ' ⁇ unit' used in this embodiment means software or a hardware component such as a field-programmable gate array (FPGA) or application specific integrated circuit (ASIC), and what role does ' ⁇ unit' have? perform them
  • ' ⁇ part' is not limited to software or hardware.
  • ' ⁇ bu' may be configured to be in an addressable storage medium and may be configured to reproduce one or more processors.
  • ' ⁇ unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. Functions provided within components and ' ⁇ units' may be combined into smaller numbers of components and ' ⁇ units' or further separated into additional components and ' ⁇ units'. In addition, components and ' ⁇ units' may be implemented to play one or more CPUs in a device or a secure multimedia card.
  • FIG. 1 is a detailed configuration diagram of a companion animal lifetime management system 10 implemented according to a first embodiment of the present invention.
  • the companion animal lifetime management system 10 implemented according to the first embodiment includes an acquisition entity data generator 100, an identification feature data generator 200, an object registration unit 300, and an identification request data generator. 400, an identification entity information generation unit 500, and an entity lifetime information management unit 600.
  • Acquisition entity data generation unit 100 may generate acquired entity data by matching facial image data, motion video data, and voice data acquired for each entity from a companion animal to be registered with entity identification ID codes and entity history information for each entity. .
  • facial image data, motion video data, and voice data may be obtained for a companion animal to be registered using devices such as a camera, CCTV, and microphone.
  • the object identification ID code may mean a code made up of certain letters or numbers to identify a companion animal to be stored when registering a companion animal.
  • the individual history information may include the companion animal's breed, date of birth, age, residence information, health information, hospital treatment information, preferred product, product in use, or food information.
  • the identification feature data generation unit 200 inputs acquired object data to an artificial neural network-based recognition model, and generates face identification data and print identification data through at least one recognition technique among face recognition, print recognition, voice recognition, and motion recognition. , voice identification data, and motion identification data.
  • the artificial neural network-based recognition model may be an artificial neural network-based computation model, and may be formed as a convolutional neural network (CNN), but may not be limited thereto.
  • CNN convolutional neural network
  • a recognition model based on an artificial neural network may be formed of a convolutional neural network (CNN), and a convolutional calculation is performed with a plurality of convolutional calculation layers, and the plurality of convolutional calculation layers are It may be divided into first, second, third, and fourth layer groups each including a plurality of layers.
  • CNN convolutional neural network
  • the first, second, third, and fourth layer groups can implement functions of face recognition, nose print recognition, voice recognition, and motion recognition, respectively. Further details will be described with reference to FIG. 3 .
  • the identification feature data may refer to data including information on characteristics capable of recognizing an object according to each recognition method, and face identification data generated through an artificial neural network-based recognition model; Identification feature data may be generated to include at least one of print identification data, voice identification data, and motion identification data.
  • the object registration unit 300 may generate identification feature data, object identification ID code for each object matching the identification feature data, and object registration data including object history information, and register the object registration data in a database.
  • object registration data including identification feature data, object identification ID code for each object matching the identification feature data, and object history information may be generated.
  • object registration data can be registered by storing it in a database, and the database can be implemented in the form of a storage or server located inside/outside the companion animal lifecycle management system 10. have.
  • the identification request data generation unit 400 inputs facial image data, motion video data, and voice data targeting the companion animal requested for identification into an artificial neural network-based recognition model for face recognition, print recognition, voice recognition, and motion recognition.
  • Identification request data including at least one identification characteristic data among face identification data, non-print identification data, voice identification data, and motion identification data generated through at least one of the recognition techniques, acquisition location information, and acquisition time information may be generated. have.
  • facial image data, motion video data, and voice data acquired through a camera CCTV, a microphone, etc. are subjected to artificial neural network-based recognition models, and at least one of face recognition, epitaph recognition, voice recognition, and motion recognition. It can be analyzed through the above recognition technique, and through this, it is possible to generate at least one identification feature data among face identification data, print identification data, voice identification data, and motion identification data.
  • identification feature data may be generated by inputting face determination information, nose print determination information, and voice determination information to an artificial neural network-based entity identification model, and face determination information, nose print determination information, and voice determination information.
  • identification feature data it is possible to generate identification feature data by calculating and applying respective weights to face determination information and epitaph determination information, thereby improving identification accuracy.
  • the identification entity information generation unit 500 compares the identification request data and the identification feature data included in the entity registration data stored in the database to determine whether entity registration data having a certain degree of similarity or higher exists, and generates the identification entity information according to the determination result. can create
  • identification feature data including at least one of facial identification data, nose print identification data, voice identification data, and motion identification data for an object that has requested identification, facial identification data stored in a database, and fingerprint identification
  • object registration data including at least one of data, voice identification data, and motion identification data, whether object registration data having a certain degree of similarity or higher exists by comparing face identification data, nose print identification data, voice identification data, and motion identification data.
  • Identification object information may be generated by determining whether or not.
  • the entity lifetime information management unit 600 may add or update and manage entity identification ID codes and entity history information for each entity included in entity registration data matching acquisition location information, acquisition time information, and identification entity information to entity lifetime information. have.
  • object life information can be generated by using object identification ID codes and object history information of object registration data having similarities with identification characteristic data of a companion animal requested for identification, and If it exists, you can add or update it.
  • FIG. 2 is a detailed configuration diagram of a companion animal lifetime management system implemented according to a second embodiment of the present invention.
  • the companion animal lifetime management system 11 implemented according to the second embodiment includes an insurance subscription determination unit 700 and insurance premium information generation in the companion animal lifetime management system 10 implemented according to the first embodiment.
  • a unit 800 and an insurance claim unit 900 may be included.
  • the insurance subscription determination unit 700 may provide individual life information matched with the companion animal requested for identification, and determine whether or not to purchase insurance according to the individual history information included in the individual life information.
  • individual life information matching the identification-requested companion animal may be transmitted to a user or a management server of a business operator operating companion animal-related services, and the individual history information included in the individual life information may be insured. It is possible to determine whether or not to subscribe using the subscription history.
  • the insurance premium information generator 800 If it is determined that the insurance premium information generator 800 is not insured, it calculates the insurance fee to be incurred when purchasing insurance according to the individual history information included in the individual life information, and provides insurance premium information generated according to the calculated insurance fee. can do.
  • insurance premium information is generated to subscribe to an animal health insurance product for the purpose of receiving treatment at an animal hospital and paying insurance premiums for billed medical expenses can provide
  • insurance premium information required when a corresponding companion animal subscribes to animal insurance may be generated using preset insurance purchase price information to generate insurance premium information.
  • the insurance premium claiming unit 900 may receive a disease code and medical expense claim information and automatically claim an insurance premium according to the disease code from the insurance company.
  • a disease code and medical billing information can be received from a server of a veterinary hospital, and insurance premiums that can be claimed can be calculated using the disease code and medical billing information. It can be calculated, and the calculated insurance ticket can be billed to the insurance company.
  • FIG. 3 is a diagram illustrating first, second, third, and fourth layer groups of a recognition model based on an artificial neural network formed by a convolutional neural network (CNN) according to an embodiment of the present invention.
  • CNN convolutional neural network
  • the artificial intelligence-based recognition model is formed of a convolutional neural network (CNN) and performs a convolution operation with a plurality of convolution operation layers, and the plurality of convolution operations.
  • the layers may be divided into first, second, third, and fourth layer groups each including a plurality of layers, and the first, second, third, and fourth layer groups are face recognition, inscription recognition, and voice through respective convolutional operations. Recognition and motion recognition functions can be performed.
  • the first layer group of the artificial intelligence-based recognition model extracts a plurality of feature points from the acquired facial image data and inputs the extracted feature point information to an artificial neural network-based face identification model.
  • Face identification data capable of face identification considering breed or gender may be generated.
  • the face of a companion animal is first searched, and the image searched for as a face is captured to generate a facial image can do.
  • a plurality of feature points can be extracted from a captured facial image, and at this time, the number of feature points to be extracted can be limited to a small number in order to minimize computational resource consumption and reduce extraction time in extracting feature points.
  • the recognition accuracy when the number of feature points to be extracted is limited to a small number, the recognition accuracy must be maintained at a certain level or higher while extracting a small number of feature points. , the amount of computational resources required to recognize a face, recognition speed, and recognition accuracy vary greatly depending on where the feature points are set.
  • a multi-object recognition technique may be used to extract feature points, and among them, Oriented FAST and Rotated BRIEF (ORB) algorithm may be applied and used.
  • ORB Rotated BRIEF
  • the brightness value of the center point and 16 brightness values can be compared with the brightness value of the center point by holding the window area. Given 3 or more, it can be selected as a candidate feature point.
  • Haris Corner Detection can be used to remove blob feature points from the extracted feature points and extract corner feature points.
  • Haris Corner Detection can recognize the corner area, so only the corner can be extracted, and furthermore, the direction can be determined using the intensity centroid to obtain the main direction.
  • two pixel selection patterns with good benefit and differentiation can be determined and used as training data, and 256 binary tests based on the training data You can obtain and create a descriptor.
  • the first layer group extracts 8 feature points from the captured facial image, and the 8 extraction points include a left eyeball center point, a right eyeball center point, a nose, a left ear tip point, a right ear tip point, It may consist of a right contact point between the left ear and the forehead, a left contact point between the right ear and the forehead, and an upper end point in the center of the forehead.
  • normalization is performed based on a plurality of learning data from which 8 feature points are extracted, and when feature point information is input using a data set generated by applying weights to the training data and normalized learning data, breed and
  • the identification accuracy may be increased by training an artificial neural network-based face identification model to generate face identification data capable of identifying an object by identifying gender and inputting identified breed and gender information and region-of-interest image data.
  • P (Decision) may mean identification accuracy for an identification model learned using the generated data set, is the identification accuracy of the training data, may mean identification accuracy of normalized training data, and ⁇ may mean a weight index.
  • TP means the number of images judged as correct
  • FN can mean the number of images judged as incorrect
  • FN + TP can mean the total number of images.
  • i may mean the selected class (breed or sex)
  • N may mean the total number of classes.
  • average could mean the average accuracy, which could mean averaging the accuracies based on the number of correctly predicted breeds, sexes, and balance could mean the calibrated accuracy, which is the image within each breed, sex. Regardless of the number, it can mean the average of accuracy among each breed.
  • the optimal weight index is calculated so that the two accuracies are uniform using the average accuracy and the corrected accuracy using the number of images judged as correct and the number of images judged as incorrect, and the calculated weight index is It can be applied to training data and normalized training data.
  • the simulation result weight exponent ⁇ shows high identification accuracy in the range of 0.38 ⁇ ⁇ ⁇ 0.73, and as the weight exponent ⁇ approaches 0.5 on average as a simulation result, it may have a tendency to have high identification accuracy.
  • ⁇ may be preset to 0.5, and an optimal weight index may be calculated and updated to the calculated weight index so that the average accuracy and the calibrated accuracy become uniform.
  • identification accuracy can be improved by inputting the identified breed and gender information and ROI image data to an artificial neural network-based face identification model and learning to generate face identification data capable of identifying an object. have.
  • a face identification model based on an artificial neural network may be formed of a convolutional neural network (CNN), perform a convolution operation with a plurality of convolution operation layers, and perform a plurality of convolution operations.
  • a structure may be formed of a first layer group and a second layer group by dividing a part of the layer and the remaining part.
  • the identified breed identification information and gender identification information may be primarily derived by inputting information on the extracted feature points to the first layer group of the artificial neural network-based face identification model.
  • the center point of the left eyeball, the center point of the right eyeball, the nose, the tip of the left ear, the tip of the right ear, the right contact point between the left ear and the forehead, the left contact point between the right ear and the forehead, and the upper center of the forehead extracted from the ROI image.
  • Information on eight feature points including endpoints is input into the input layer of the first layer group of the artificial neural network-based face identification model, and a convolution operation is performed through multiple convolution layers to identify breeds and breeds for gender. Identification information and gender identification information may be derived.
  • an output value of a first layer group of a face identification model based on an artificial neural network and information on extracted feature points are input to an input layer of a second layer group of a face identification model based on an artificial neural network. It is possible to generate identification information, calculate reliability scores for entity identification information using entity identification information, and calculate predictability of face identification data using reliability scores, breed identification information, and gender identification information of entity identification information. have.
  • predictability of face identification data can be calculated using the reliability score of individual identification information, breed identification information, and gender identification information as shown in Equation 2 below.
  • g, b; s) may mean the predictability of facial identification data
  • Score(id) is the reliability score of entity identification information, is gender identification information
  • Z(g, b; s) may mean a normalization factor of each information.
  • the second layer group of the artificial intelligence-based recognition model is a rectangular region of interest included in a circle with a diameter of 10 to 15 cm including the boundary of the two nostrils of the companion animal from the facial image data.
  • a rectangular region of interest included in a circle with a diameter of 10 to 15 cm including the boundary of the two nostrils of a companion animal is extracted from a facial image, and an adaptive Inscription identification data can be generated by extracting inscriptions according to Gaussian internal differences by performing histogram equalization and scale invariant shape transformation.
  • resizing when extracting an inscription for an ROI image extracted from a facial image, information loss may occur if the size of the ROI image is too large or small, so the width-to-height ratio of the original image is maintained.
  • resizing may be performed using Equation 3 below.
  • S means a scale factor
  • w can mean width
  • h can mean height
  • w' is the resized width
  • h' is the resized height
  • r can be a reference value for resizing.
  • a reference value for resizing may have a size of 300 X 300 pixels or 300 X 400 pixels.
  • adaptive histogram equalization with contrast limitation may be performed on the resized ROI image.
  • histogram equalization refers to a representative image enhancement method that uses the cumulative distribution function of pixel values in an image.
  • Conventional equalization increases the contrast of the entire image, so there are many cases where the effect is not satisfactory.
  • equalization may be performed by applying a contrast-limited adaptive histogram equalization technique, which is a more advanced equalization technique.
  • the contrast-limited adaptive histogram equalization technique refers to a technique that divides the image into small areas and uses contrast limits to remove extreme noise to equalize the histogram within each area.
  • gamut we mean how to improve contrast with less.
  • the nose of a dog or cat which accounts for most of the companion animal, is generally dark compared to other parts of the face, the nose image of the dog or cat, including the inscription, has a contrast compared to other images. In most cases, it is relatively low, and even the same dog or cat may appear differently in each image due to differences in lighting or illumination. Therefore, the contrast value can be adjusted to have a constant contrast level by performing adaptive histogram equalization of the contrast limit. .
  • adaptive histogram equalization of contrast limiting may be repeatedly performed until the histogram is sufficiently increased, and more specifically, 1000 This may be repeated until more pixels can be identified.
  • feature point extraction algorithms such as SIFT, SURF, BRISK, ORB can be used to extract feature points
  • the keypoint detector uses a keypoint detector and a descriptor to extract keypoints from an image.
  • the scripter can generate information describing the keypoint.
  • inscription identification data may be generated by extracting feature points according to Gaussian internal differences by performing scale-invariant feature transform (SIFT).
  • SIFT scale-invariant feature transform
  • a plurality of image scale spaces can be generated by performing scale-invariant shape transformation, and as shown in Equation 4 below, a DoG (Difference of Gaussian) detector searches for the maximum edge as a key point in the space, extracts a feature point, Through this, it is possible to generate non-print identification data.
  • a DoG Difference of Gaussian
  • D(x, y, ⁇ ) in Equation 4 may mean a Gaussian difference
  • G means a Gaussian function
  • I may mean an image from which feature points are to be extracted
  • *I (x, y) may mean convolution of the difference between the image and the Gaussian function value.
  • the third layer group of the artificial intelligence-based recognition model divides voice data into a plurality of frames according to a preset reference value, extracts feature vectors from the divided frames, and performs histogram modeling. By doing so, a code based on histogram modeling can be acquired and voice identification data including a code based on histogram modeling can be generated.
  • the acquired voice data of companion animal is divided into a plurality of frames according to a preset reference value, histogram modeling is performed by extracting feature vectors from the divided frames, and voice identification data is obtained by obtaining a code according to the histogram modeling.
  • a plurality of frames may be generated by dividing the acquired voice data of a companion animal into a predetermined length according to a preset reference value, and a feature vector is extracted from each frame to form a histogram model. Histogram modeling may be performed, and codes may be generated according to the shape of the histogram model formed through the histogram modeling.
  • the histogram modeling means modeling by normalizing the acoustic emission signal in 256 steps and considering the envelope formed by the histogram of the defect signal information as a feature, and in the modeled defect signal, partial autocorrelation coefficients, PARCOR) is used to extract the features of the modeled envelope, and DET (Distance Evaluation Technique) is used to select features representing the inherent characteristics of the defect signal to generate codes that can be identified.
  • PARCOR partial autocorrelation coefficients
  • DET Distance Evaluation Technique
  • voice identification data is generated to include the generated code
  • voice determination information is generated by determining whether a voice data code having a certain similarity or higher exists among voice data codes stored in a database.
  • the fourth layer group divides video data into a plurality of consecutive frames according to a preset criterion, and analyzes the plurality of frames to determine motion for a standardized pattern existing in the movement of a companion animal. Identification data can be generated.
  • the motion identification data analyzes a plurality of frames to identify the motion of the companion animal, analyzes the movement line moving during a certain period, and stores the repeated motion line as a standardized pattern, and stores the stored standardized pattern.
  • Motion identification data including information on a pattern may be generated.
  • FIG. 4 is a diagram showing eight feature points extracted for facial recognition of a companion animal according to an embodiment of the present invention.
  • 8 feature points extracted for facial recognition of a companion animal are shown according to an embodiment of the present invention, the face of the companion animal is searched for, a facial image is captured, and the captured facial image is centered on the left eyeball.
  • Eight feature points can be extracted from the point, the center point of the right eyeball, the nose, the end point of the left ear, the end point of the right ear, the right contact point between the left ear and the forehead, the left contact point between the right ear and the forehead, and the top end point of the center of the forehead.
  • FIG. 5 is a diagram illustrating a process of calculating predictability of face identification data using reliability scores, breed identification information, and gender identification information of identification feature data according to an embodiment of the present invention.
  • a first layer group of an artificial intelligence-based recognition model may calculate predictability of face identification data using reliability scores, breed identification information, and gender identification information of identification feature data. For example, face identification as shown in Equation 2 by reflecting the probability of correct / incorrect answers when the identified breed is a pug, the probability of correct / incorrect answers when the identified gender is male, and the reliability score for the identified object "Bella". The predictability of the data can be calculated.
  • FIG. 6 is a diagram illustrating a process of extracting a region of interest from a nose image according to one embodiment of the present invention.
  • a region of interest is extracted from a nose image according to an embodiment of the present invention, and a rectangular shape included in a circle with a diameter of 10 to 15 cm including the boundary of the two nostrils of a companion animal from a face image A region of interest can be extracted.
  • FIG. 7 is a diagram comparing an original image and an image obtained by performing adaptive histogram equalization of a contrast limit on a region of interest according to an embodiment of the present invention.
  • FIG. 7 an image obtained by performing adaptive histogram equalization of an original image and contrast limiting on a region of interest according to an embodiment of the present invention is shown.
  • the region of interest is not equalized of the original image is shown and it is too dark for pixel identification.
  • contrast-limited adaptive histogram equalization when contrast-limited adaptive histogram equalization is performed on these original images, the contrast becomes relatively brighter as shown in FIG. 7b), increasing the number of identified pixels. If the adaptive histogram equalization of is repeated, feature point extraction can be facilitated with brighter contrast as shown in FIG. 7c).
  • FIG. 8 is a diagram illustrating obtaining a code by extracting a feature vector and performing histogram modeling for a frame obtained by dividing voice data according to an embodiment of the present invention.
  • a code is obtained by extracting a feature vector from a frame obtained by dividing voice data and performing histogram modeling according to an embodiment of the present invention, and using a partial correlation coefficient in a modeled defect signal. It is possible to extract the features of the modeled envelope, select features representing the inherent characteristics of the defect signal with DET, and generate codes that can be identified.
  • FIG. 9 is a diagram showing that entity identification information is generated by applying a weight for each determination information according to an embodiment of the present invention.
  • object identification information is generated by applying a weight for each determination information according to an embodiment of the present invention, and face determination information, epitaph determination information, voice determination information, and motion determination information are respectively targeted.
  • Individual identification information can be generated by calculating and applying the weight of , and in the artificial neural network-based entity identification model, face determination information (0.90), epitaph determination information (0.95), voice determination information (1.00), and motion determination information (0.98) ), respectively, the accuracy of the object identification information, which is the output value, is analyzed to calculate the weight value with the highest accuracy, and it can be applied.
  • FIG. 10 is a diagram showing that a companion animal lifetime management system implemented according to an embodiment of the present invention, a user terminal, and an operator server are connected.
  • the companion animal life cycle management system is connected to a user terminal and can receive object history information registered by the user using an application installed in the user terminal, and collected through a camera or CCTV. face image data, motion video data, and voice data of the companion animal may be received.
  • the companion animal life cycle management system can provide object history information to the server of a service company that provides services to companion animals, and based on this, it can recommend services and items related to the history information and use details of companion animals. .
  • FIG. 11 is a diagram illustrating a location-based local community service that can be implemented using a companion animal lifetime management system according to an embodiment of the present invention.
  • FIG. 11 there is shown a flow chart for providing a location-based local community service to a user based on a companion animal lifetime management system according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a companion animal IOT service that can be implemented using a companion animal lifetime management system according to an embodiment of the present invention.
  • FIG. 12 a flowchart for providing a companion animal IOT service to a user based on the companion animal lifetime management system according to an embodiment of the present invention is shown.
  • information collected about a companion animal can be transmitted to the companion animal life cycle management system through a network method such as GPS, smart tag, beacon, Brutus, NFC, Wi-fi, etc.
  • a network method such as GPS, smart tag, beacon, Brutus, NFC, Wi-fi, etc.
  • Individual lifetime information can be updated, and services such as finding abandoned dogs, checking activity levels, finding current locations, and caring for companion animals using IOT devices can be provided using this individual lifetime information.
  • FIG. 13 is a flowchart of a companion animal identification method according to an embodiment of the present invention.
  • Obtained object data is generated by matching facial image data, motion video data, and voice data acquired for each entity from the companion animal to be registered with entity identification ID codes and entity history information for each entity (S10).
  • acquired object data may be generated by matching face image data, motion video data, and voice data acquired for each entity from a companion animal to be registered with entity identification ID codes and entity history information for each entity.
  • facial image data, motion video data, and voice data may be obtained for a companion animal to be registered using devices such as a camera, CCTV, and microphone.
  • the object identification ID code may mean a code made up of certain letters or numbers to identify a companion animal to be stored when registering a companion animal.
  • the individual history information may include the companion animal's breed, date of birth, age, residence information, health information, hospital treatment information, preferred product, product in use, or food information.
  • Identification feature data including at least one of face identification data, nose print identification data, voice identification data, and motion identification data generated by inputting acquired entity data into an artificial intelligence-based recognition model is generated (S20).
  • face identification data generated through at least one or more recognition techniques of face recognition, nose print recognition, voice recognition, and motion recognition by inputting acquired object data to an artificial neural network-based recognition model, face identification data, Identification feature data including at least one of voice identification data and motion identification data may be generated.
  • the artificial neural network-based recognition model may be an artificial neural network-based computation model, and may be formed as a convolutional neural network (CNN), but may not be limited thereto.
  • CNN convolutional neural network
  • a recognition model based on an artificial neural network may be formed of a convolutional neural network (CNN), and a convolutional calculation is performed with a plurality of convolutional calculation layers, and the plurality of convolutional calculation layers are It may be divided into first, second, third, and fourth layer groups each including a plurality of layers.
  • CNN convolutional neural network
  • the first, second, third, and fourth layer groups can implement functions of face recognition, nose print recognition, voice recognition, and motion recognition, respectively. Further details will be described with reference to FIG. 3 .
  • the identification feature data may refer to data including information on characteristics capable of recognizing an object according to each recognition method, and face identification data generated through an artificial neural network-based recognition model; Identification feature data may be generated to include at least one of print identification data, voice identification data, and motion identification data.
  • An artificial intelligence-based recognition model is formed of a convolutional neural network (CNN) and performs a convolution operation with a plurality of convolution operation layers, and the plurality of convolution operation layers each have a plurality of It can be divided into 1st, 2nd, 3rd, and 4th layer groups including layers, and the 1st, 2nd, 3rd, and 4th layer groups have facial recognition, epigram recognition, voice recognition, and motion recognition functions through respective convolutional operations. can be performed.
  • CNN convolutional neural network
  • the first layer group of the artificial intelligence-based recognition model extracts a plurality of feature points from the acquired facial image data and inputs the extracted feature point information to an artificial neural network-based face identification model.
  • Face identification data capable of face identification considering breed or gender may be generated.
  • the face of a companion animal is first searched, and the image searched for as a face is captured to generate a facial image can do.
  • a plurality of feature points can be extracted from a captured facial image, and at this time, the number of feature points to be extracted can be limited to a small number in order to minimize computational resource consumption and reduce extraction time in extracting feature points.
  • the recognition accuracy when the number of feature points to be extracted is limited to a small number, the recognition accuracy must be maintained at a certain level or higher while extracting a small number of feature points. , the amount of computational resources required to recognize a face, recognition speed, and recognition accuracy vary greatly depending on where the feature points are set.
  • a multi-object recognition technique may be used to extract feature points, and among them, Oriented FAST and Rotated BRIEF (ORB) algorithm may be applied and used.
  • ORB Rotated BRIEF
  • the brightness value of the center point and 16 brightness values can be compared with the brightness value of the center point by holding the window area. Given 3 or more, it can be selected as a candidate feature point.
  • Haris Corner Detection can be used to remove blob feature points from the extracted feature points and extract corner feature points.
  • Haris Corner Detection can recognize the corner area, so only the corner can be extracted, and furthermore, the direction can be determined using the intensity centroid to obtain the main direction.
  • two pixel selection patterns with good benefit and differentiation can be determined and used as training data, and 256 binary tests based on the training data You can obtain and create a descriptor.
  • the first layer group extracts 8 feature points from the captured facial image, and the 8 extraction points include a left eyeball center point, a right eyeball center point, a nose, a left ear tip point, a right ear tip point, It may consist of a right contact point between the left ear and the forehead, a left contact point between the right ear and the forehead, and an upper end point in the center of the forehead.
  • normalization is performed based on a plurality of learning data from which 8 feature points are extracted, and when feature point information is input using a data set generated by applying weights to the training data and normalized learning data, breed and
  • the identification accuracy may be increased by training an artificial neural network-based face identification model to generate face identification data capable of identifying an object by identifying gender and inputting identified breed and gender information and region-of-interest image data.
  • normalization is performed on the training data as shown in Equation 1, and the learning data and normalized learning After calculating the identification accuracy when learning using each data, based on this, calculate and apply the optimal weight to use the weighted average between the two data by learning through the data set created for the training data and normalized training data can do.
  • P (Decision) may mean identification accuracy for an identification model learned using the generated data set, is the identification accuracy of the training data, may mean identification accuracy of normalized training data, and ⁇ may mean a weight index.
  • TP means the number of images judged as correct
  • FN can mean the number of images judged as incorrect
  • FN+TP can mean the total number of images
  • accuracy For correction of i may mean the selected class (breed or sex), and N may mean the total number of classes.
  • average could mean the average accuracy, which could mean averaging the accuracies based on the number of correctly predicted breeds, sexes, and balance could mean the calibrated accuracy, which is the image within each breed, sex. Regardless of the number, it can mean the average of accuracy among each breed.
  • the optimal weight index is calculated so that the two accuracies are uniform using the average accuracy and the corrected accuracy using the number of images judged as correct and the number of images judged as incorrect, and the calculated weight index is It can be applied to training data and normalized training data.
  • the simulation result weight index ⁇ shows high identification accuracy in the range of 0.38 ⁇ ⁇ ⁇ 0.73, and the simulation result averages the weight index As is closer to 0.5, it may have a tendency to have higher identification accuracy.
  • ⁇ may be preset to 0.5, and an optimal weight index may be calculated and updated to the calculated weight index so that the average accuracy and the calibrated accuracy become uniform.
  • identification accuracy can be improved by inputting the identified breed and gender information and ROI image data to an artificial neural network-based face identification model and learning to generate face identification data capable of identifying an object. have.
  • a face identification model based on an artificial neural network may be formed of a convolutional neural network (CNN), perform a convolution operation with a plurality of convolution operation layers, and perform a plurality of convolution operations.
  • a structure may be formed of a first layer group and a second layer group by dividing a part of the layer and the remaining part.
  • the identified breed identification information and gender identification information may be primarily derived by inputting information on the extracted feature points to the first layer group of the artificial neural network-based face identification model.
  • the center point of the left eyeball, the center point of the right eyeball, the nose, the tip of the left ear, the tip of the right ear, the right contact point between the left ear and the forehead, the left contact point between the right ear and the forehead, and the upper center of the forehead extracted from the ROI image.
  • Information on eight feature points including endpoints is input into the input layer of the first layer group of the artificial neural network-based face identification model, and a convolution operation is performed through multiple convolution layers to identify breeds and breeds for gender. Identification information and gender identification information may be derived.
  • an output value of a first layer group of a face identification model based on an artificial neural network and information on extracted feature points are input to an input layer of a second layer group of a face identification model based on an artificial neural network. It is possible to generate identification information, calculate reliability scores for entity identification information using entity identification information, and calculate predictability of face identification data using reliability scores, breed identification information, and gender identification information of entity identification information. have.
  • predictability of face identification data may be calculated using reliability scores of individual identification information, breed identification information, and gender identification information as shown in Equation 2.
  • g, b; s) may mean the predictability of facial identification data
  • Score(id) is the reliability score of entity identification information, is gender identification information
  • Z(g, b; s) may mean a normalization factor of each information.
  • the second layer group of the artificial intelligence-based recognition model is a rectangular region of interest included in a circle with a diameter of 10 to 15 cm including the boundary of the two nostrils of the companion animal from the facial image data.
  • a rectangular region of interest included in a circle with a diameter of 10 to 15 cm including the boundary of the two nostrils of a companion animal is extracted from a facial image, and adaptive contrast restriction is applied to the region of interest.
  • Inscription identification data can be generated by extracting inscriptions according to Gaussian internal differences by performing histogram equalization and scale invariant shape transformation.
  • information loss may occur if the size of the ROI image is too large or small, so the width-to-height ratio of the original image is maintained.
  • Resizing may be performed using Equation 3 to perform image resizing.
  • S means a scale factor
  • w can mean width
  • h can mean height
  • w' is the resized width
  • h' is the resized height
  • r can be a reference value for resizing.
  • a reference value for resizing may have a size of 300 X 300 pixels or 300 X 400 pixels.
  • adaptive histogram equalization with contrast limitation may be performed on the resized ROI image.
  • histogram equalization refers to a representative image enhancement method that uses the cumulative distribution function of pixel values in an image.
  • Conventional equalization increases the contrast of the entire image, so there are many cases where the effect is not satisfactory.
  • equalization may be performed by applying a contrast-limited adaptive histogram equalization technique, which is a more advanced equalization technique.
  • the contrast-limited adaptive histogram equalization technique refers to a technique that divides the image into small areas and uses contrast limits to remove extreme noise to equalize the histogram within each area.
  • gamut we mean how to improve contrast with less.
  • the nose of a dog or cat which accounts for most of the companion animal, is generally dark compared to other parts of the face, the nose image of the dog or cat, including the inscription, has a contrast compared to other images. In most cases, it is relatively low, and even the same dog or cat may appear differently in each image due to differences in lighting or illumination. Therefore, the contrast value can be adjusted to have a constant contrast level by performing adaptive histogram equalization of the contrast limit. .
  • adaptive histogram equalization of contrast limiting may be repeatedly performed until the histogram is sufficiently increased, and more specifically, 1000 This may be repeated until more pixels can be identified.
  • feature point extraction algorithms such as SIFT, SURF, BRISK, ORB can be used to extract feature points
  • the keypoint detector uses a keypoint detector and a descriptor to extract keypoints from an image.
  • the scripter can generate information describing the keypoint.
  • inscription identification data may be generated by extracting feature points according to Gaussian internal differences by performing scale-invariant feature transform (SIFT).
  • SIFT scale-invariant feature transform
  • a plurality of image scale spaces can be generated by performing scale-invariant shape transformation, and as shown in Equation 4, the maximum edge is searched for as a key point in the space through a Difference of Gaussian (DoG) detector, and feature points are extracted.
  • DoG Difference of Gaussian
  • the third layer group of the artificial intelligence-based recognition model divides voice data into a plurality of frames according to a preset reference value, extracts feature vectors from the divided frames, and performs histogram modeling. By doing so, a code based on histogram modeling can be acquired and voice identification data including a code based on histogram modeling can be generated.
  • the acquired voice data of companion animal is divided into a plurality of frames according to a preset reference value, histogram modeling is performed by extracting feature vectors from the divided frames, and voice identification data is obtained by obtaining a code according to the histogram modeling.
  • a plurality of frames may be generated by dividing the acquired voice data of a companion animal into a predetermined length according to a preset reference value, and a feature vector is extracted from each frame to form a histogram model. Histogram modeling may be performed, and codes may be generated according to the shape of the histogram model formed through the histogram modeling.
  • the histogram modeling means modeling by normalizing the acoustic emission signal in 256 steps and considering the envelope formed by the histogram of the defect signal information as a feature, and in the modeled defect signal, partial autocorrelation coefficients, PARCOR) is used to extract the features of the modeled envelope, and DET (Distance Evaluation Technique) is used to select features representing the inherent characteristics of the defect signal to generate codes that can be identified.
  • PARCOR partial autocorrelation coefficients
  • DET Distance Evaluation Technique
  • voice identification data is generated to include the generated code
  • voice determination information is generated by determining whether a voice data code having a certain similarity or higher exists among voice data codes stored in a database.
  • the fourth layer group divides video data into a plurality of consecutive frames according to a preset criterion, and analyzes the plurality of frames to determine motion for a standardized pattern existing in the movement of a companion animal. Identification data can be generated.
  • the motion identification data analyzes a plurality of frames to identify the motion of the companion animal, analyzes the movement line moving during a certain period, and stores the repeated motion line as a standardized pattern, and stores the stored standardized pattern.
  • Motion identification data including information on a pattern may be generated.
  • Object registration data including identification feature data, object identification ID code for each object matching the identification feature data, and object history information is generated, and the object registration data is registered in a database (S30).
  • object registration data including identification feature data, object identification ID code for each object matching the identification feature data, and object history information may be generated, and the object registration data may be registered in a database.
  • object registration data including identification feature data, object identification ID code for each object matching the identification feature data, and object history information may be generated.
  • object registration data can be registered by storing it in a database, and the database can be implemented in the form of a storage or server located inside/outside the companion animal lifecycle management system 10. have.
  • Identification request data including identification feature data generated by inputting facial image data, motion video data, and voice data for companion animals requested for identification into an artificial intelligence-based recognition model, acquisition location information, and acquisition time information Create (S40).
  • facial image data, motion video data, and voice data for a companion animal requested for identification are input to an artificial neural network-based recognition model to perform facial recognition, nose print recognition, voice recognition, and motion recognition.
  • Identification request data including at least one identification characteristic data among face identification data, nose print identification data, voice identification data, and motion identification data generated through at least one recognition technique, acquisition location information, and acquisition time information may be generated. .
  • facial image data, motion video data, and voice data acquired through a camera CCTV, a microphone, etc. are subjected to artificial neural network-based recognition models, and at least one of face recognition, epitaph recognition, voice recognition, and motion recognition. It can be analyzed through the above recognition technique, and through this, it is possible to generate at least one identification feature data among face identification data, print identification data, voice identification data, and motion identification data.
  • identification feature data may be generated by inputting face determination information, nose print determination information, and voice determination information to an artificial neural network-based entity identification model, and face determination information, nose print determination information, and voice determination information.
  • identification feature data it is possible to generate identification feature data by calculating and applying respective weights to face determination information and epitaph determination information, thereby improving identification accuracy.
  • identification feature data including at least one of facial identification data, nose print identification data, voice identification data, and motion identification data for an object that has requested identification, facial identification data stored in a database, and fingerprint identification
  • object registration data including at least one of data, voice identification data, and motion identification data, whether object registration data having a certain degree of similarity or higher exists by comparing face identification data, nose print identification data, voice identification data, and motion identification data.
  • Identification object information may be generated by determining whether or not.
  • the object identification ID code and object history information for each object included in the object registration data matching the acquisition location information, acquisition time information and identification object information are added or updated to the object lifetime information and managed (S60).
  • object identification ID codes and object history information for each object included in object registration data matching acquisition location information, acquisition time information, and identification object information can be added or updated to object lifetime information and managed. have.
  • object life information can be generated by using object identification ID codes and object history information of object registration data having similarities with identification characteristic data of a companion animal requested for identification, and If it exists, you can add or update it.
  • Embodiments of the present invention are not implemented only through the devices and / or methods described above, and the embodiments of the present invention have been described in detail above, but the scope of the present invention is not limited thereto, and the following claims Various modifications and improvements of those skilled in the art using the basic concept of the present invention defined in , also belong to the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Accounting & Taxation (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Environmental Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Development Economics (AREA)
  • Social Psychology (AREA)
  • Human Resources & Organizations (AREA)
  • Psychiatry (AREA)

Abstract

본 발명은 반려동물의 생애 주기를 관리할 수 있도록 개체 생애정보를 생성하여 의료 서비스, 분실 방지 서비스 등 반려동물에게 제공될 수 있는 다양한 서비스에 이용될 수 있도록 제공할 수 있는 기술에 대한 것이다.

Description

반려동물 생애 관리 시스템 및 그 방법
본 발명은 반려동물의 생애 주기를 관리할 수 있도록 개체 생애정보를 생성하여 의료 서비스, 분실 방지 서비스 등 반려동물에게 제공될 수 있는 다양한 서비스에 이용될 수 있도록 제공할 수 있는 기술에 대한 것으로, 더욱 자세하게는 반려 동물로부터 개체 별로 획득한 안면 이미지 데이터, 모션 동영상 데이터, 음성 데이터를 개체 별 개체 식별 ID 코드 및 개체 이력정보와 매칭시켜 획득 개체 데이터를 생성하고, 이를 이용하여 안면 인식, 비문 인식, 음성 인식, 모션 인식 중 적어도 하나 이상의 인식 기법을 통해 식별 특징 데이터 및 개체 별 개체 식별 ID 코드 및 개체 이력정보를 포함하는 개체 등록 데이터를 생성하여 개체 등록 데이터를 데이터 베이스에 등록하고, 식별을 요청 받은 반려동물을 대상으로 획득한 데이터를 분석하여 식별 요청 데이터를 생성하고, 식별 요청 데이터와 대비하여 일정한 유사도 이상의 식별 특징 데이터를 가진 개체 등록 데이터가 존재하는지 여부를 판단하고 판단 결과에 따라 식별 개체 정보 및 이에 따른 개체 생애 정보를 생성할 수 있는 반려동물 생애 관리 시스템 및 그 방법을 제공하는데 그 목적이 있다.
최근 핵가족화나 여가활동 등의 영향으로 반려 동물에 대한 수요는 폭발적으로 증가하고 있는 추세이며, 반려 동물에 대한 관심의 증가로 인하여 반려 동물의 개체수도 증가하고 있다.
하지만, 반려 동물의 개체수가 증가함에 따라, 반려 동물을 잃어버리는 경우가 빈번하게 발생하고 있으며, 분실된 반려 동물을 찾는 것은 매우 어렵다는 점과 더불어, 반려동물에 대한 체계적인 관리를 위하여 동물 등록제의 필요성이 대두되고 있다.
동물 등록제는 유기 동물을 최소화하기 위해 반려 동물의 소유주로 하여금 반려 동물을 시, 군, 구청에 등록하 도록 법제화한 것으로, 반려 동물의 몸에 무선 식별 칩을 삽입하는 내장형과 무선 식별 칩이 부착된 인식표를 반려 동물의 목에 걸어주는 외장형으로 유형이 나뉠 수 있다.
다만, 내장형의 경우 무선 식별 칩을 반려 동물의 체내에 심는 시술이 필요하다는 점에서 외장형에 비해 상대적으로 안전성이 떨어지고, 외장형의 경우 인식표를 분실하지 않게 관리해야 한다는 점에서 내장형에 비해 상대적으로 편의성이 떨어지는 문제가 있다.
이에 따라, 동물 등록제의 대안 기술로, 동물 개체를 촬영한 이미지를 이용하는 기술이 각광받고 있으나, 동물 개체를 촬영하는 과정에서 카메라와 빛의 각도로 인해 반사광이 개체 이미지에 포함될 수 있고, 개체 이미지에 포함된 반사광에 의해 개체 이미지로부터 잘못된 정보가 추출되어, 개체 인식의 정확성이 떨어질 수 있다는 문제가 존재한다.
따라서, 동물 개체를 촬영한 이미지를 통해 개체 인증을 수행하는데 있어, 상술한 문제점을 해결하여, 개체 인 증의 정확도를 향상시키고자 하는 요구가 증대되고 있다.
대한민국 특허 제10-2019-0070707호 "특징 정보를 이용한 동물 개체 인증 방법 및 장치"를 살펴보면 영상 정보에서 얼굴 영역을 검출하고, 얼굴 영역에서 눈, 코, 귀, 얼굴 라인 등에 대한 특징 영역을 검출하며, 특징 영역에서 홍채, 비문 및 안면에 대한 특징 정보를 검출하고, 특징 정보에 각각의 가중치를 적용하여 개체 인증 값을 산출한 인증 값을 기초로 동물 개체에 대한 인증을 수행하는 기술에 대한 내용을 개시하고 있다.
그러나 상술한 구성만으로는 기본적으로 사람 얼굴을 대상으로 학습된 안면 인식 기술과 대비하여 정확도가 부족하고 비문 인식 또한 상기 발명에서 개시된 일반론적인 방법만으로는 그 신뢰성이 높지 않아 상용화하기에 어렵다는 단점이 존재한다.
본 발명은 반려동물의 개체 생애 정보를 생성하고 식별이 요청된 반려동물을 식별하여 해당 반려동물의 개체 생애 정보를 제공할 수 있는 시스템을 구축하는 것을 목적으로 하고 있으며, 이를 위해 안면 인식, 비문 인식, 음성 인식, 모션 인식을 중 적어도 하나 이상을 수행하여 동물 개체를 식별하는 기술을 기반으로 반려동물에 대한 특징 정보 및 개체 식별 ID 코드 및 개체 이력정보를 데이터 베이스에 저장하고 특히 안면 인식에 있어서 캡쳐된 안면 이미지로부터 추출된 8개의 특징점에 대한 정보를 포함한 복수의 학습 데이터를 바탕으로 정규화를 수행하고 학습 데이터 및 정규화된 학습 데이터에 가중치를 적용하여 생성한 데이터 세트를 이용하여 견종 또는 묘종과 같은 품종 및 성별을 식별하도록 학습을 수행함으로써 식별 정확도를 상승시키는 기술을 제공할 수 있다.
또한 비문 인식에 있어서는 반려 동물의 두 콧구멍의 경계를 포함하는 직사각형 형태의 관심영역을 추출하고, 관심영역을 대상으로 대비 제한의 적응적 히스토그램 균등화와 스케일 불변 형상 변환을 수행하여 가우스 내부 차이에 따라 비문을 추출함으로써 일반적인 특징점 추출 및 이에 따른 특징점 대비를 통하여 비문을 인식하는 것과 비교하여 상대적으로 높은 정확도를 보일 수 있다.
그리고 반려동물의 음성 데이터를 분석하여 히스토그램 모델링에 따른 코드를 획득함으로써 음성 인식을 수행할 수 있으며, 반려동물의 움직임을 촬영한 동영상 데이터를 분석하여 반려동물의 움직임에 존재하는 정형화된 패턴에 대한 모션 식별 데이터를 획득하여 모션 인식을 수행할 수 있다.
이러한 인식 기법을 이용하여 반려 동물의 정확한 식별을 수행할 수 있으며, 이를 기반으로 식별된 반려동물의 개체 생애 정보를 제공 및 관리할 수 있는 기능을 제공할 수 있다.
본 발명의 실시예에 따르면 반려동물 생애 관리 시스템은 등록 대상 반려 동물로부터 개체 별로 획득한 안면 이미지 데이터, 모션 동영상 데이터, 음성 데이터를 개체 별 개체 식별 ID 코드 및 개체 이력정보와 매칭시켜 획득 개체 데이터를 생성하는 획득 개체 데이터 생성부; 상기 획득 개체 데이터를 인공 신경망 기반의 인식 모델에 입력하여 안면 인식 또는 비문 인식 또는 음성 인식 또는 모션 인식 중 적어도 하나 이상의 인식 기법을 통해 생성한 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상을 포함하는 식별 특징 데이터를 생성하는 식별 특징 데이터 생성부; 상기 식별 특징 데이터 및 식별 특징 데이터와 매칭되는 개체 별 개체 식별 ID 코드 및 개체 이력정보를 포함하는 개체 등록 데이터를 생성하고, 상기 개체 등록 데이터를 데이터 베이스에 등록하는 개체 등록부; 식별을 요청 받은 반려동물을 대상으로 하는 안면 이미지 데이터, 모션 동영상 데이터, 음성 데이터를 인공 신경망 기반의 인식 모델에 입력하여 안면 인식, 비문 인식, 음성 인식, 모션 인식 중 적어도 하나 이상의 인식 기법을 통해 생성한 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상의 식별 특징 데이터와 획득 위치정보, 획득 시간 정보를 포함하는 식별 요청 데이터를 생성하는 식별 요청 데이터 생성부; 상기 식별 요청 데이터와 상기 데이터 베이스에 저장된 개체 등록 데이터에 포함된 식별 특징 데이터를 대비하여 일정한 유사도 이상의 개체 등록 데이터가 존재하는지 여부를 판단하고 판단 결과에 따라 식별 개체 정보를 생성하는 식별 개체 정보 생성부; 및 상기 획득 위치정보, 획득 시간 정보와 상기 식별 개체 정보와 매칭되는 개체 등록 데이터에 포함된 개체 별 개체 식별 ID 코드 및 개체 이력정보를 개체 생애 정보에 추가 또는 갱신하여 관리하는 개체 생애 정보 관리부를 포함할 수 있다.
본 발명의 일 실시예에 따르면 상기 인공 신경망 기반의 인식 모델은 합성곱 신경망 네트워크(CNN)로 형성되며 다수의 합성곱 연산 레이어로 합성곱 연산을 수행하고, 상기 다수의 합성곱 연산 레이어는 각각 복수의 레이어를 포함하는 제 1, 2, 3, 4 레이어 그룹으로 나뉘어 질 수 있으며, 상기 제1 레이어 그룹은 획득한 안면 이미지 데이터로부터 복수의 특징점을 추출하고, 추출된 복수의 특징점 정보를 인공 신경망 기반의 안면 식별 모델에 입력하여 품종 또는 성별을 고려한 안면 식별이 가능한 안면 식별 데이터를 생성하고, 상기 제2 레이어 그룹은 상기 안면 이미지 데이터로부터 반려 동물의 두 콧구멍의 경계를 포함하는 직경 10~15cm의 원에 포함되는 직사각형 형태의 관심영역을 추출하고, 상기 관심영역을 대상으로 대비 제한의 적응적 히스토그램 균등화와 스케일 불변 형상 변환을 수행하여 가우스 내부 차이에 따라 특징점을 추출하여 비문 식별 데이터를 생성하고, 상기 제3 레이어 그룹은 상기 음성 데이터를 미리 설정된 기준 값에 따라 복수의 프레임으로 분할하고, 상기 분할된 프레임을 대상으로 특징 벡터를 추출하여 히스토그램 모델링을 수행함으로써 상기 히스토그램 모델링에 따른 코드를 획득하며, 상기 히스토그램 모델링에 따른 코드를 포함한 음성 식별 데이터를 생성하고, 상기 제 4 레이어 그룹은 동영상 데이터를 미리 설정한 기준에 따라 연속된 복수의 프레임으로 분할하고, 상기 복수의 프레임을 분석하여 반려동물의 움직임에 존재하는 정형화된 패턴에 대한 모션 식별 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 상기 제1 레이어 그룹은, 상기 안면 이미지로부터 추출한 8개의 특징점은 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점으로 이루어지고, 상기 8개의 특징점이 추출된 복수의 학습 데이터를 바탕으로 정규화를 수행하고, 상기 학습 데이터 및 정규화된 학습 데이터에 가중치를 적용하여 생성한 데이터 세트를 이용하여 특징점 정보를 입력하면 품종 및 성별을 식별하고, 상기 식별된 품종 및 성별 정보 및 관심 영역 이미지 데이터를 입력하여 개체를 식별할 수 있는 안면 식별 데이터를 생성하도록 인공 신경망 기반의 안면 식별 모델을 학습시켜 식별 정확도를 상승시키고, 상기 인공 신경망 기반의 안면 식별 모델을 통해 품종 및 성별을 식별한 결과, 정답으로 판단한 이미지의 수와 오답으로 판단한 이미지의 수를 이용하여 평균 정확도 및 보정된 정확도를 이용하여 상기 학습데이터 및 정규화된 학습 데이터에 대한 최적의 가중치를 산출할 수 있다.
본 발명의 일 실시예에 따르면 상기 관심 영역 이미지로부터 추출한 8개의 특징점에 대한 정보를 이용하여 다수의 합성곱 레이어를 통해 합성곱 연산을 수행하여 식별된 품종 및 성별에 대한 품종 식별 정보, 성별 식별 정보를 도출하고, 상기 품종 식별 정보, 성별 식별 정보 및 추출된 특징점에 대한 정보를 이용하여 다수의 합성곱 레이어를 통해 합성곱 연산을 수행하여 개체 식별 정보를 생성하고, 상기 개체 식별 정보를 이용하여 개체 식별 정보에 대한 신뢰도 점수를 산출하며, 상기 개체 식별 정보의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출할 수 있다.
본 발명의 일 실시예에 따르면 상기 식별 요청된 반려동물과 매칭되는 개체 생애 정보를 제공하고, 상기 개체 생애 정보에 포함된 개체 이력정보에 따라 보험 가입 여부를 판단하는 보험 가입 판단부; 보험을 가입되지 아니한 것으로 판단되는 경우, 상기 개체 생애 정보에 포함된 개체 이력정보에 따라 보험 가입시 발생할 보험 수가를 산정하고, 산정된 보험 수가에 따라 생성한 보험료 정보를 제공하는 보험료 정보 생성부; 및 보험을 가입된 것으로 판단되는 경우, 질병 코드 및 의료비 청구정보를 입력 받아 상기 질병 코드에 따른 보험료를 자동으로 보험회사에 청구하는 보험료 청구부를 더 포함할 수 있다.
본 발명의 실시예에 따라 구현된 반려동물 생애 관리 시스템을 이용하여 반려동물의 생애 주기를 관리할 수 있도록 개체 생애정보를 생성하여 의료 서비스, 분실 방지 서비스 등 반려동물에게 제공될 수 있는 다양한 서비스에 이용될 수 있도록 제공할 수 있는 효과를 제공할 수 있으며, 이를 위해 반려동물을 대상으로 수집된 영상, 이미지, 음성을 분석하여 안면 인식, 비문 인식, 음성 인식, 모션 인식 중 적어도 하나 이상의 식별 방법을 동시 또는 순차적으로 이용하여 반려동물의 개체 식별의 신뢰도를 큰 폭으로 향상시키는 효과를 제공할 수 있으며, 특히 동물을 대상으로 수행되는 인면 인식에 대한 인식율을 높일 수 있도록 반려동물의 품종, 성별에 대한 식별 정보까지 반영한 식별 방법을 이용하여 종래의 기술보다 훨씬 정확도 높은 안면 인식 기능을 제공할 수 있다.
또한, 비문인식에 있어서도 반려 동물의 두 콧구멍의 경계를 포함하는 직사각형 형태의 관심영역을 대상으로 대비 제한의 적응적 히스토그램 균등화와 스케일 불변 형상 변환을 수행함으로써 더 신뢰도 높은 비문 인식을 수행할 수 있으며, 음성 인식에 있어서도 특징 벡터를 추출하여 히스토그램 모델링을 수행함으로써 음성 인식의 신뢰도를 향상시킬 수 있으며 모션 인식에서도 정형화된 패턴에 대한 모션 식별 데이터를 이용하여 안면 인식, 비문 인식, 음성 인식에서 제대로 인식하지 못한 허점을 보완할 수 있는 효과를 제공할 수 있다.
식별된 반려동물의 개체 생애 정보를 제공함으로 인하여 반려 동물이 의료 서비스를 받거나 반려동물의 이력정보를 통해 제공받을 수 있는 다양한 서비스에 대한 기본정보로 이용될 수 있어 플랫폼 및 이에 따른 다양한 비즈니스 모델 구축에 유리한 고지를 선점할 수 있는 효과를 제공할 수 있다.
도 1은 본 발명의 제1 실시예에 따라 구현된 반려동물 생애 관리 시스템의 세부 구성도이다.
도 2는 본 발명의 제2 실시예에 따라 구현된 반려동물 생애 관리 시스템의 세부 구성도이다.
도 3는 본 발명의 일 실시예에 따라 합성곱 신경망 네트워크(CNN)로 형성된 인공 신경망 기반의 인식 모델의 제 1, 2, 3, 4 레이어 그룹을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 반려동물의 안면인식을 위해 추출한 8개의 특징점을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 개체 식별 정보의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출하는 프로세스를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 코 이미지로부터 관심 영역을 추출하는 프로세스를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따라 관심영역을 대상으로 원본 이미지과 대비 제한의 적응적 히스토그램 균등화를 수행한 이미지를 대비한 도면이다.
도 8은 본 발명의 일 실시예에 따라 음성 데이터를 분할한 프레임을 대상으로 특징 벡터를 추출하고 히스토그램 모델링을 수행하여 코드를 획득하는 것을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따라 각 판단 정보 별로 가중치를 적용함으로써 개체 식별정보를 생성하는 것을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따라 구현된 반려동물 생애 관리 시스템과 사용자 단말, 사업자 서버가 연결된 것이 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따라 구현된 반려동물 생애 관리 시스템을 이용하여 구현 가능한 위치기반 지역 커뮤니티 서비스를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따라 구현된 반려동물 생애 관리 시스템을 이용하여 구현 가능한 반려동물 IOT 서비스를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따라 반려동물 식별 방법의 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다.
그리고 몇 가지 대체 실시예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다.
그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 반려동물 생애 관리 시스템 및 그 방법에 대하여 설명한다.
도 1은 본 발명의 제1 실시예에 따라 구현된 반려동물 생애 관리 시스템(10)의 세부 구성도이다.
도 1을 참조하면 제1 실시예에 따라 구현된 반려동물 생애 관리 시스템(10)은 획득 개체 데이터 생성부(100), 식별 특징 데이터 생성(200), 개체 등록부(300), 식별 요청 데이터 생성부(400), 식별 개체 정보 생성부(500), 개체 생애 정보 관리부(600)를 포함할 수 있다.
획득 개체 데이터 생성부(100)는 등록 대상 반려 동물로부터 개체 별로 획득한 안면 이미지 데이터, 모션 동영상 데이터, 음성 데이터를 개체 별 개체 식별 ID 코드 및 개체 이력정보와 매칭시켜 획득 개체 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 카메라, CCTV, 마이크 등의 기기를 이용하여 등록을 하고자 하는 반려 동물을 대상으로 안면 이미지 데이터, 모션 동영상 데이터, 음성 데이터를 획득할 수 있다.
본 발명의 일 실시예에 따르면 개체 식별 ID 코드는 반려동물을 등록할 때 저장될 반려동물을 식별할 수 있도록 일정한 문자 또는 숫자로 이루어져 있는 코드를 의미할 수 있다.
본 발명의 일 실시예에 따르면 개체 이력정보는 반려동물의 품종, 생년월일, 나이, 거주지 정보, 건강 정보, 병원 진료 정보, 선호 제품, 사용 중인 제품 또는 식료품 정보 등이 포함될 수 있다.
식별 특징 데이터 생성부(200)는 획득 개체 데이터를 인공 신경망 기반의 인식 모델에 입력하여 안면 인식, 비문 인식, 음성 인식, 모션 인식 중 적어도 하나 이상의 인식 기법을 통해 생성한 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상을 포함하는 식별 특징 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 인공 신경망 기반의 인식 모델은 인공 신경망 기반의 연산 모델일 수 있으며, 합성곱 신경망 네트워크(CNN)로 형성될 수 있으나 이에 한정되지 아니할 수 있다.
본 발명의 일 실시예에 따르면 인공 신경망 기반의 인식 모델은 합성곱 신경망 네트워크(CNN)로 형성될 수 있으며, 다수의 합성곱 연산 레이어로 합성곱 연산을 수행하고, 상기 다수의 합성곱 연산 레이어는 각각 복수의 레이어를 포함하는 제 1, 2, 3, 4 레이어 그룹으로 나뉘어 질 수 있다.
상기 실시예에 따르면 제 1, 2, 3, 4 레이어 그룹은 각각 안면 인식, 비문 인식, 음성 인식, 모션 인식을 기능을 구현할 수 있으며, 더 자세한 것은 도 3을 참조하며 설명하도록 한다.
본 발명의 일 실시예에 따르면 식별 특징 데이터는 각 인식 방법에 따라 개체를 인식할 수 있는 특징에 대한 정보를 포함한 데이터를 의미할 수 있으며, 인공 신경망 기반의 인식 모델을 통해 생성된 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상을 포함하도록 식별 특징 데이터가 생성될 수 있다.
개체 등록부(300)는 식별 특징 데이터 및 식별 특징 데이터와 매칭되는 개체 별 개체 식별 ID 코드 및 개체 이력정보를 포함하는 개체 등록 데이터를 생성하고, 개체 등록 데이터를 데이터 베이스에 등록할 수 있다.
본 발명의 일 실시예에 따르면 식별 특징 데이터 및 식별 특징 데이터와 매칭되는 개체 별 개체 식별 ID 코드와 개체 이력정보를 포함하는 개체 등록 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 개체 등록 데이터를 데이터 베이스에 저장하는 방식으로 등록할 수 있으며, 데이터 베이스는 반려동물 생애 관리시스템(10)에 내/외부에 위치한 저장소 또는 서버의 형태로 구현될 수 있다.
식별 요청 데이터 생성부(400)는 식별을 요청 받은 반려동물을 대상으로 하는 안면 이미지 데이터, 모션 동영상 데이터, 음성 데이터를 인공 신경망 기반의 인식 모델에 입력하여 안면 인식, 비문 인식, 음성 인식, 모션 인식 중 적어도 하나 이상의 인식 기법을 통해 생성한 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상의 식별 특징 데이터와 획득 위치정보, 획득 시간 정보를 포함하는 식별 요청 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 카메라 CCTV, 마이크 등을 통해 획득한 안면 이미지 데이터, 모션 동영상 데이터, 음성 데이터를 인공 신경망 기반의 인식 모델을 통해 안면 인식, 비문 인식, 음성 인식, 모션 인식 중 적어도 하나 이상의 인식 기법을 통해 분석할 수 있으며, 이를 통해 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상의 식별 특징 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 안면 판단 정보, 비문 판단 정보, 음성 판단 정보를 인공 신경망 기반의 개체 식별 모델에 입력하여 식별 특징 데이터를 생성할 수 있으며, 안면 판단 정보, 비문 판단 정보, 음성 판단 정보를 이용하여 식별 특징 데이터를 생성함에 있어 안면 판단 정보, 비문 판단 정보를 대상으로 각각의 가중치를 산정하여 적용시킴으로 식별 특징 데이터를 생성할 수 있으며, 이를 통해 식별 정확도를 향상시킬 수 있다.
식별 개체 정보 생성부(500)는 식별 요청 데이터와 데이터 베이스에 저장된 개체 등록 데이터에 포함된 식별 특징 데이터를 대비하여 일정한 유사도 이상의 개체 등록 데이터가 존재하는지 여부를 판단하고 판단 결과에 따라 식별 개체 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 식별을 요청한 개체에 대한 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상을 포함하는 식별 특징 데이터와 데이터 베이스에 저장된 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상을 포함하는 대한 개체 등록 데이터를 이용하여 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터별로 대비하여 일정한 유사도 이상의 개체 등록 데이터가 존재하는지 여부를 판단하여 식별 개체 정보를 생성할 수 있다.
개체 생애 정보 관리부(600)는 획득 위치정보, 획득 시간 정보와 식별 개체 정보와 매칭되는 개체 등록 데이터에 포함된 개체 별 개체 식별 ID 코드 및 개체 이력정보를 개체 생애 정보에 추가 또는 갱신하여 관리할 수 있다.
본 발명의 일 실시예에 따르면 식별 요청된 반려동물의 식별 특징 데이터와 유사성이 존재하는 개체 등록 데이터의 개체 별 개체 식별 ID 코드 및 개체 이력정보를 이용하여 개체 생애 정보를 생성할 수 있으며, 이미 기 존재하고 있는 경우 추가 또는 갱신을 수행할 수 있다.
도 2는 본 발명의 제2 실시예에 따라 구현된 반려동물 생애 관리 시스템의 세부 구성도이다.
도 2를 참조하면 제2 실시예에 따라 구현된 반려동물 생애 관리 시스템(11)은 제1 실시예에 따라 구현된 반려동물 생애 관리 시스템(10)에 보험 가입 판단부(700), 보험료 정보 생성부(800), 보험료 청구부(900)를 포함할 수 있다.
보험 가입 판단부(700)는 식별 요청된 반려동물과 매칭되는 개체 생애 정보를 제공하고, 개체 생애 정보에 포함된 개체 이력정보에 따라 보험 가입 여부를 판단할 수 있다.
본 발명의 일 실시예에 따르면 식별 요청된 반려동물과 매칭되는 개체 생애 정보를 사용자 또는 반려동물 관련 서비스를 영위하는 사업자의 관리 서버에 송신할 수 있으며, 개체 생애 정보에 포함된 개체 이력정보에 보험 가입 이력을 이용하여 가입 여부를 판단할 수 있다.
본 발명의 일 실시예에 따르면 개체 이력정보에 포함된 보험 가입 이력 정보를 이용하여 가입된 동물 보험의 존재 여부를 판단할 수 있다.
보험료 정보 생성부(800)는 보험을 가입되지 아니한 것으로 판단되는 경우, 개체 생애 정보에 포함된 개체 이력정보에 따라 보험 가입시 발생할 보험 수가를 산정하고, 산정된 보험 수가에 따라 생성한 보험료 정보를 제공할 수 있다.
본 발명의 일 실시예에 따라면 보험 가입이 되지 아니한 것을 판단된 경우에 동물 병원에서 진료를 받고 청구된 진료비에 대하여 보험비를 지급하는 목적의 동물 건강 보험 상품에 가입할 수 있도록 보험료 정보를 생성하여 제공할 수 있다.
본 발명의 일 실시예에 따르면 보험료 정보를 생성하기 위하여 미리 설정된 보험 가입 수가정보를 이용하여 해당 반려동물이 동물 보험 가입시 필요한 보험료 정보를 생성할 수 있다.
보험료 청구부(900)는 보험을 가입된 것으로 판단되는 경우, 질병 코드 및 의료비 청구정보를 입력 받아 질병 코드에 따른 보험료를 자동으로 보험회사에 청구할 수 있다.
본 발명의 일 실시예에 따르면 반려동물이 동물 보험에 가입되어 있는 경우 동물 병원의 서버로부터 질병 코드 및 의료비 청구정보를 수신할 수 있으며, 질병 코드 및 의료비 청구정보를 이용하여 청구할 수 있는 보험료를 산정할 수 있고, 산정된 보험표를 보험회사에 청구할 수 있다.
도 3는 본 발명의 일 실시예에 따라 합성곱 신경망 네트워크(CNN)로 형성된 인공 신경망 기반의 인식 모델의 제 1, 2, 3, 4 레이어 그룹을 나타낸 도면이다.
도 3을 참조하면 본 발명의 일 실시예에 따른 인공 지능 기반의 인식 모델은 합성곱 신경망 네트워크(CNN)로 형성되며 다수의 합성곱 연산 레이어로 합성곱 연산을 수행하고, 상기 다수의 합성곱 연산 레이어는 각각 복수의 레이어를 포함하는 제 1, 2, 3, 4 레이어 그룹으로 나뉘어 질 수 있으며, 제 1, 2, 3, 4 레이어 그룹은 각각의 합성곱 연산을 통해 안면 인식, 비문 인식, 음성 인식, 모션 인식 기능을 수행할 수 있다.
본 발명의 일 실시예에 따르면 인공 지능 기반의 인식 모델의 제1 레이어 그룹은 획득한 안면 이미지 데이터로부터 복수의 특징점을 추출하고, 추출된 복수의 특징점 정보를 인공 신경망 기반의 안면 식별 모델에 입력하여 품종 또는 성별을 고려한 안면 식별이 가능한 안면 식별 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 추출하여 인공 신경망 기반의 안면 식별 모델을 이용한 특징점 분석을 수행하기 위한 전처리 단계로서, 먼저 반려 동물의 안면을 탐색하고, 안면으로 탐색된 이미지를 캡쳐 하여 안면 이미지를 생성할 수 있다.
본 발명의 일 실시예에 따르면 캡쳐된 안면 이미지로부터 복수의 특징점을 추출할 수 있으며, 이때 특징점을 추출함에 있어 연산 자원 소모를 최소한 하고 추출 시간 또한 감소하기 위하여 추출할 특징점 수를 소수로 한정할 수 있다.
본 발명의 일 실시예에 따르면 추출할 특징점 수를 소수로 한정하는 경우 소수의 특징점을 추출하면서도 인식 정확도 또한 일정 수준 이상을 유지하여야 하므로 동물의 안면 형상을 식별하기에 유리한 위치의 특징점을 선정하여야 하며, 특징점을 어디로 잡느냐에 따라 안면을 인식하기 위해 소요되는 연산 자원의 양, 인식 속도, 인식 정확도는 매우 큰 차이가 발생하게 된다.
본 발명의 일 실시예에 따르면 특징점을 추출하기 위하여 다중 객체 인식 기법을 사용할 수 있고 그 중에서도 ORB(Oriented FAST and Rotated BRIEF) 알고리즘이 적용되어 사용될 수 있다.
상기 실시예에 따르면 윈도우 영역을 잡고 중심점의 밝기 값과 16개의 밝기 값들을 비교할 수 있으며, 예를 들어 우선 1, 5, 9, 13에 위치한 밝기 값을 비교하여 어둡거나 밝으면 1, 비슷하면 0을 주어 3 이상 되면 후보 특징점으로 선택할 수 있다.
그 후 나머지 위치한 밝기 값과 비교를 하여 12 이상이면 특징점으로 결정하게 되고, 각 특징점 주위로 이웃한 8개 픽셀 밝기 값과 비교하여 제일 큰 값을 가지고 있는 픽셀을 최종 특징점으로 결정한다. 추출된 특장점들에게 blob 특징점을 제거하고, corner 특징점을 추출하기 위해 Haris Corner Detection을 활용할 수 있다.
이때 Haris Corner Detection은 Corner 영역을 인식할 수 있어 Corner만 추출이 가능하며, 더 나아가 주 방향을 구하기 위해서 Intensity Centroid를 이용하여 방향을 결정할 수 있다.
상기 일 실시예에 따르면 각 특징점 주위로 부분영상을 만들고, 주 방향을 이용하여 모든 비교점을 회전시킨 후 bit string description을 구성하면, 유익성과 차별성이 떨어진다.
이 문제를 해결하기 위해 p(x)와 p(y)를 임의로 정하지 않고, 유익성과 차별성이 좋은 두 개의 픽셀 선택 패턴을 결정하여 학습데이터로 만들 수 있으며, 학습 데이터를 바탕으로 256개의 binary test를 구하여 descriptor를 생성할 수 있다.
본 발명의 일 실시예에 따르면 제1 레이어 그룹은 캡쳐된 안면 이미지로부터 8개의 특징점을 추출하고, 8개의 추출점은 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점으로 이루어질 수 있다.
상기 일 실시예에 따르면 8개의 특징점이 추출된 복수의 학습 데이터를 바탕으로 정규화를 수행하고, 학습 데이터 및 정규화된 학습 데이터에 가중치를 적용하여 생성한 데이터 세트를 이용하여 특징점 정보를 입력하면 품종 및 성별을 식별하고, 식별된 품종 및 성별 정보 및 관심 영역 이미지 데이터를 입력하여 개체를 식별할 수 있는 안면 식별 데이터를 생성하도록 인공 신경망 기반의 안면 식별 모델을 학습시켜 식별 정확도를 상승시킬 수 있다.
상기 일 실시예에 따르면 인공 신경망 기반의 안면 식별 모델을 통해 품종 및 성별을 식별한 결과, 정답으로 판단한 이미지의 수와 오답으로 판단한 이미지의 수를 이용하여 평균 정확도 및 보정된 정확도를 이용하여 학습 데이터 및 정규화된 학습 데이터에 대한 최적의 가중치를 산출할 수 있다.
본 발명의 일 실시예에 따르면 개와 고양이 모두를 대상으로 소수의 특징점을 추출하여 안면을 인식하는 시뮬레이션을 수행한 결과 적어도 8개의 특징점 이상의 특징점을 추출하여야 75.32% 이상의 인식률을 보이는 것으로 나타났으며, 특히 8개의 특징점을 도 4와 같이 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점으로 추출한 경우 시뮬레이션 결과 93.21% 이상의 안면 인식률을 보이는 것으로 나타난다.
본 발명의 일 실시예에 따르면 인공 신경망 기반의 안면 식별 모델을 학습시키기 위한 데이터 세트를 생성함에 있어 높은 식별 정확도를 확보하기 위하여 아래 수학식 1과 같이 학습 데이터에 정규화를 수행하고 학습 데이터와 정규화된 학습 데이터 각각을 이용하여 학습시킨 경우 식별 정확도를 산정한 후, 이를 기반으로 학습 데이터와 정규화된 학습 데이터에 생성한 데이터 세트를 통해 학습시켜 두 데이터 사이의 가중 평균을 이용하도록 최적의 가중치를 산출하여 적용할 수 있다.
Figure PCTKR2022006158-appb-img-000001
Figure PCTKR2022006158-appb-img-000002
수학식 1에 P(Decision)는 생성한 데이터 세트를 이용해 학습된 식별 모델에 대한 식별 정확도를 의미할 수 있으며,
Figure PCTKR2022006158-appb-img-000003
는 학습 데이터의 식별 정확도,
Figure PCTKR2022006158-appb-img-000004
는 정규화된 학습 데이터의 식별 정확도를 의미할 수 있으며, α 는 가중치 지수를 의미할 수 있다.
학습 데이터와 정규화된 학습 데이터에 포함된 이미지 전부를 대상으로 TP는 정답으로 판단한 이미지의 수를 의미하고 FN은 오답으로 판단한 이미지의 수, FN + TP는 총 이미지 수를 의미할 수 있으며, 정확도의 보정을 위해 i는 선택한 클래스(품종 또는 성별)를 의미하고, N은 총 클래스 개수를 의미할 수 있다.
average는 평균 정확도를 의미할 수 있고, 이는 올바르게 예측된 품종, 성별의 수를 기반으로 정확도를 평균 낸 것을 의미할 수 있으며, balance는 보정된 정확도를 의미할 수 있고, 이는 각 품종, 성별 내의 이미지 수에 관계없이 각 품종 간의 정확도의 평균을 의미할 수 있다.
본 발명의 일 실시예에 다르면 각 클래스에 대해 평가된 이미지 수가 동일하면 평균 정확도와 보정된 정확도가 동일해야 하는데 각 클래스에 대한 이미지 수가 불균형하기 때문에 이러한 정확도 간에 차이가 존재하므로, 이를 해결하기 위하여 품종 및 성별을 식별한 결과 정답으로 판단한 이미지의 수와 오답으로 판단한 이미지의 수를 이용하여 평균 정확도 및 보정된 정확도를 이용하여 두 정확도가 균일해지도록 최적의 가중치 지수를 산출하고, 산출한 가중치 지수를 학습데이터 및 정규화된 학습 데이터에 적용할 수 있다.
상기 실시예에 따르면 시뮬레이션 결과 가중치 지수 α는 0.38 < α < 0.73 사이의 범위에서 높은 식별 정확도를 보이며, 시뮬레이션 결과 평균적으로 가중치 지수 α가 0.5에 가까워질수록 높은 식별 정확도를 가지는 경향성을 가질 수 있다.
본 발명의 일 실시예에 따르면 α은 0.5로 기 설정될 수 있으며, 평균 정확도 및 보정된 정확도가 균일해지도록 최적의 가중치 지수를 산출하여 산출된 가중치 지수로 갱신할 수 있다.
본 발명의 일 실시예에 따르면 식별된 품종 및 성별 정보 및 관심 영역 이미지 데이터를 인공 신경망 기반의 안면 식별 모델에 입력하여 개체를 식별할 수 있는 안면 식별 데이터를 생성하도록 학습시켜 식별 정확도를 상승시킬 수 있다.
본 발명의 일 실시예에 따르면 인공 신경망 기반의 안면 식별 모델은 합성곱 신경망 네트워크(CNN)로 형성될 수 있으며, 다수의 합성곱 연산 레이어로 합성곱 연산을 수행할 수 있고, 다수의 합성곱 연산 레이어 중 일부와 나머지 일부를 나누어 제1 레이어 그룹과 제2 레이어 그룹으로 구조가 형성될 수 있다.
본 발명의 일 실시예에 따르면 추출된 특징점에 대한 정보를 인공 신경망 기반의 안면 식별 모델의 제1 레이어 그룹에 입력하여 식별된 품종 식별 정보, 성별 식별 정보를 1차 도출할 수 있다.
본 발명의 일 실시예에 따르면 관심 영역 이미지로부터 추출한 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점을 포함하는 8개의 특징점에 대한 정보를 인공 신경망 기반의 안면 식별 모델의 제1 레이어 그룹의 입력층에 입력하고 다수의 합성곱 레이어를 통해 합성곱 연산을 수행하여 식별된 품종 및 성별에 대한 품종 식별 정보, 성별 식별 정보를 도출할 수 있다.
본 발명의 일 실시예에 따르면 인공 신경망 기반의 안면 식별 모델의 제1 레이어 그룹의 출력 값 및 추출된 특징점에 대한 정보를 인공 신경망 기반의 안면 식별 모델의 제2 레이어 그룹의 입력층에 입력하여 개체 식별 정보를 생성하고, 개체 식별 정보를 이용하여 개체 식별 정보에 대한 신뢰도 점수를 산출하며, 개체 식별 정보의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출할 수 있다.
본 발명의 일 실시예에 따르면 아래 수학식 2와 같이 개체 식별 정보의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출할 수 있다.
Figure PCTKR2022006158-appb-img-000005
Figure PCTKR2022006158-appb-img-000006
여기서 P(id|g, b; s)은 안면 식별 데이터의 예측 가능성을 의미할 수 있으며, Score(id)은 개체 식별 정보의 신뢰도 점수를,
Figure PCTKR2022006158-appb-img-000007
는 성별 식별 정보를,
Figure PCTKR2022006158-appb-img-000008
은 품종 식별 정보는 Z(g, b; s)는 각 정보의 정규화 요소를 의미할 수 있다.
본 발명의 일 실시예에 따르면 인공 지능 기반의 인식 모델의 제2 레이어 그룹은 상기 안면 이미지 데이터로부터 반려 동물의 두 콧구멍의 경계를 포함하는 직경 10~15cm의 원에 포함되는 직사각형 형태의 관심영역을 추출하고, 관심영역을 대상으로 대비 제한의 적응적 히스토그램 균등화와 스케일 불변 형상 변환을 수행하여 가우스 내부 차이에 따라 특징점을 추출하여 비문 식별 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 안면 이미지로부터 반려 동물의 두 콧구멍의 경계를 포함하는 직경 10~15cm의 원에 포함되는 직사각형 형태의 관심영역을 추출하고, 관심영역을 대상으로 대비 제한의 적응적 히스토그램 균등화와 스케일 불변 형상 변환을 수행하여 가우스 내부 차이에 따라 비문을 추출하여 비문 식별 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 비문 식별 데이터를 기준으로 저장된 비문 데이터 중 일정한 유사도 이상의 비문 데이터가 존재하는지에 대한 안면 판단 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 안면 이미지로부터 추출한 관심영역 이미지를 대상으로 비문을 추출함에 있어 관심영역 이미지의 크기가 너무 크거나 작으면 정보 손실이 발생할 수 있으므로, 원본 이미지의 너비와 높이 비율을 유지하여 이미지 크기 조정을 수행하기 위하여 아래 수학식 3를 이용하여 리사이징을 수행할 수 있다.
Figure PCTKR2022006158-appb-img-000009
Figure PCTKR2022006158-appb-img-000010
여기서 S는 스케일 팩터를 의미하며, w는 너비, h는 높이를 의미할 수 있으며, w'는 리사이징된 너비, h'는 리사이징된 높이 r은 리사이징을 위한 참조 값이 될 수 있으며, 본 발명의 일 실시예에 다르면 리사이징을 위한 참조 값은 300 X 300 픽셀 또는 300 X 400 픽셀의 크기일 수 있다.
본 발명의 일 실시예에 따르면 리사이징된 관심영역 이미지를 대상으로 대비 제한의 적응적 히스토그램 균등화를 수행할 수 있다.
여기서 히스토그램 균등화는 이미지에서 픽셀 값의 누적 분포 함수를 사용하는 대표적인 이미지 향상 방법을 의미하며, 종래의 균등화는 전체 이미지의 대비를 증가시키므로 효과가 만족스럽지 않은 경우가 다수 존재합니다.
본 발명의 일 실시예에 따르면 종래의 균등화 기법의 한계점을 극복하기 위하여 더욱 진보된 균등화 기법인 대비 제한의 적응적 히스토그램 균등화 기법을 적용하여 균등화를 수행할 수 있다.
여기서 대비 제한의 적응적 히스토그램 균등화 기법은 이미지를 작은 영역으로 나누고 대비 한계를 사용하여 극단적인 노이즈를 제거함으로써 각 영역 내의 히스토그램을 균일화하는 기법을 의미하며, 대비 한계는 어두운 영역에서는 대비를 더 높이고 밝은 영역에서는 더 적게 대비를 향상시키는 방법을 의미합니다.
본 발명의 일 실시예에 다르면 반려동물의 대부분을 차지하는 개 또는 고양이의 코는 얼굴의 다른 부분들과 비교하여 일반적으로 어둡기 때문에, 비문을 포함한 개 또는 고양이의 코 이미지는 대비가 다른 이미지와 비교하여 상대적으로 낮은 경우가 대부분이며, 조명 또는 조도의 차이로 인해 동일한 개 또는 고양이라도 이미지마다 다르게 나타날 수 있으므로, 대비 제한의 적응적 히스토그램 균등화를 수행하여 일정한 대비 수준을 가지도록 통해 대비 값을 조정할 수 있다.
본 발명의 일 실시예에 따르면 이미지 간의 대비 차이를 줄이고 대비를 향상시키기 위해 히스토그램이 충분히 늘어날 때까지 대비 제한의 적응적 히스토그램 균등화를 반복적으로 수행할 수 있으며, 더욱 자세하게는 관심 영역 이미지를 대상으로 1000개 이상의 픽셀이 식별될 수 있을 때까지 반복되어 수행될 수 있다.
본 발명의 일 실시예에 따르면 특징점을 추출하기 위하여 SIFT, SURF, BRISK, ORB 등과 같은 특징점 추출 알고리즘을 사용할 수 있으며, 키포인트 디텍터(keypoint detector)와 디스크립터(descriptor)를 이용하여 키포인트 디텍터는 이미지로부터 키포인트를 찾고, 스크립터는 해당 키포인트를 설명하는 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 스케일 불변 형상 변환(Scale-Invariant Feature Transform, SIFT)을 수행하여 가우스 내부 차이에 따라 특징점을 추출하여 비문 식별 데이터를 생성할 수 있다.
상기 실시예에 따르면 스케일 불변 형상 변환을 수행하여 복수의 이미지 스케일 공간을 생성할 수 있으며 아래 수학식 4와 같이 DoG(Difference of Gaussian) 디텍터를 통하여 공간에서 키포인트로 최대 모서리를 탐색하며 특징점을 추출하고 이를 통해 비문 식별 데이터를 생성할 수 있다.
Figure PCTKR2022006158-appb-img-000011
수학식 4의 D(x, y, σ)는 가우스의 차이를 의미할 수 있으며, G는 가우스 함수를 의미하며, I는 특징점을 추출할 이미지를 의미할 수 있으며, *I(x, y)은 이미지와 가우스 함수 값의 차를 합성곱 시키는 것을 의미할 수 있다.
본 발명의 일 실시예에 따르면 인공 지능 기반의 인식 모델의 제3 레이어 그룹은 음성 데이터를 미리 설정된 기준 값에 따라 복수의 프레임으로 분할하고, 분할된 프레임을 대상으로 특징 벡터를 추출하여 히스토그램 모델링을 수행함으로써 히스토그램 모델링에 따른 코드를 획득하며 히스토그램 모델링에 따른 코드를 포함한 음성 식별 데이터를 생성할 수 있다.
획득한 반려동물의 음성 데이터를 미리 설정된 기준 값에 따라 복수의 프레임으로 분할하고, 분할된 프레임을 대상으로 특징 벡터를 추출하여 히스토그램 모델링을 수행하고, 히스토그램 모델링에 따른 코드를 획득하여 음성 식별 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 획득한 반려동물의 음성 데이터를 미리 설정된 기준 값에 따라 일정한 길이로 분할하여 복수의 프레임을 생성할 수 있으며, 각각의 프레임으로부터 특징 벡터를 추출하여 히스토그램 모델을 형성하도록 히스토그램 모델링을 수행할 수 있으며, 히스토그램 모델링을 통해 형성된 히스토그램 모델의 형태에 따라 코드를 생성할 수 있다.
여기서 히스토그램 모델링은 음향 방출 신호를 256단계로 정규화하여 결함 신호 정보의 히스토그램(Histogram)이 구성하는 포락 선을 특징으로 간주하여 모델링하는 것을 의미하며, 모델링된 결함 신호에서 부분 상관 계수(Partial Autocorrelation Coefficients, PARCOR)를 사용하여 모델링된 포락선의 특징을 추출하고, DET(Distance Evaluation Technique)로 결함 신호 고유의 특성을 나타내는 특징을 선택하여 이를 식별이 가능한 코드로 생성할 수 있다.
본 발명의 일 실시예에 따르면 생성된 코드를 포함하도록 음성 식별 데이터를 생성하고, 데이터 베이스에 저장된 음성 데이터의 코드 중 일정한 유사도 이상의 음성 데이터의 코드가 존재하는지 여부를 판단하여 음성 판단 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 제 4 레이어 그룹은 동영상 데이터를 미리 설정한 기준에 따라 연속된 복수의 프레임으로 분할하고, 복수의 프레임을 분석하여 반려동물의 움직임에 존재하는 정형화된 패턴에 대한 모션 식별 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 모션 식별 데이터는 복수의 프레임을 분석하여 반려동물의 움직임을 식별하고 일정 구간동안 움직이는 동작 동선을 분석하여 이 중 반복되는 동작 동선을 정형화된 패턴으로 저장하고, 저장된 정형화된 패턴에 대한 정보를 포함한 모션 식별 데이터를 생성할 수 있다.
도 4는 본 발명의 일 실시예에 따라 반려동물의 안면인식을 위해 추출한 8개의 특징점을 나타낸 도면이다.
도 4를 참조하면 본 발명의 일 실시예에 따라 반려동물의 안면인식을 위해 추출한 8개의 특징점을 나타내고 있으며, 반려 동물의 안면을 탐색하여 안면 이미지를 캡쳐하고, 캡쳐된 상기 안면 이미지로부터 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점으로부터 8개의 특징점을 추출할 수 있다.
도 5는 본 발명의 일 실시예에 따라 식별 특징 데이터의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출하는 프로세스를 나타낸 도면이다.
본 발명의 일 실시예에 따라 인공 지능 기반의 인식 모델의 제1 레이어 그룹이 식별 특징 데이터의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출할 수 있으며, 예를 들어 식별된 품종이 퍼그인 경우 정/오답 확률, 식별된 성별이 수컷인 경우 정/오답 확률, 식별된 개체 "벨라"인 발려 동물인 경우의 신뢰도 점수를 반영하여 수학식 2와 같이 안면 식별 데이터의 예측 가능성을 산출할 수 있다.
도 6은 본 발명의 일 실시예에 따라 코 이미지로부터 관심 영역을 추출하는 프로세스를 나타낸 도면이다.
도 6을 참고하면 본 발명의 일 실시예에 따라 코 이미지로부터 관심 영역을 추출하는 것이 나타나 있으며, 안면 이미지로부터 반려 동물의 두 콧구멍의 경계를 포함하는 직경 10~15cm의 원에 포함되는 직사각형 형태의 관심영역을 추출할 수 있다.
도 7은 본 발명의 일 실시예에 따라 관심영역을 대상으로 원본 이미지과 대비 제한의 적응적 히스토그램 균등화를 수행한 이미지를 대비한 도면이다.
도 7을 참조하면 본 발명의 일 실시예에 따라 관심영역을 대상으로 원본 이미지과 대비 제한의 적응적 히스토그램 균등화를 수행한 이미지가 나타나 있으며, 도 7a)의 경우 관심영역에 균등화를 수행하지 아니한 상태에서의 원본 이미지가 나타나 있으며 너무 어두워 픽셀의 식별이 충분하지 아니하다.
따라서 이러한 원본 이미지를 대상으로 대비 제한의 적응적 히스토그램 균등화를 수행하면 도 7b)와 같이 대비가 상대적으로 좀더 밝아져 식별되는 픽셀의 수가 증가하며, 1000개 이상의 픽셀이 식별될 수 있을 때까지 대비 제한의 적응적 히스토그램 균등화를 반복하면 도 7c)와 같이 더욱 밝은 대비로 특징점 추출이 수월해질 수 있다.
도 8은 본 발명의 일 실시예에 따라 음성 데이터를 분할한 프레임을 대상으로 특징 벡터를 추출하고 히스토그램 모델링을 수행하여 코드를 획득하는 것을 나타낸 도면이다.
도 8을 참조하면 본 발명의 일 실시예에 따라 음성 데이터를 분할한 프레임을 대상으로 특징 벡터를 추출하고 히스토그램 모델링을 수행하여 코드를 획득하는 것이 나타나 있으며, 모델링된 결함 신호에서 부분 상관 계수를 사용하여 모델링된 포락선의 특징을 추출하고, DET로 결함 신호 고유의 특성을 나타내는 특징을 선택하여 이를 식별이 가능한 코드로 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따라 각 판단 정보 별로 가중치를 적용함으로써 개체 식별정보를 생성하는 것을 나타낸 도면이다.
도 9를 참조하면 본 발명의 일 실시예에 따라 각 판단 정보 별로 가중치를 적용함으로써 개체 식별정보를 생성하는 것이 나타나 있으며, 안면 판단 정보, 비문 판단 정보, 음성 판단 정보, 모션 판단정보를 대상으로 각각의 가중치를 산정하여 적용시킴으로 개체 식별정보를 생성할 수 있으며, 인공 신경망 기반의 개체 식별 모델에 안면 판단 정보(0.90), 비문 판단 정보(0.95), 음성 판단 정보(1.00), 모션 판단 정보(0.98)에 가중치를 각각 적용하여 출력 값인 개체 식별정보의 정확도를 분석하여 가장 높은 정확도를 보이는 가중치 값을 산출하여 이를 적용할 수 있다.
도 10은 본 발명의 일 실시예에 따라 구현된 반려동물 생애 관리 시스템과 사용자 단말, 사업자 서버가 연결된 것이 나타낸 도면이다.
도 10을 참조하면 본 발명의 일 실시예에 따른 반려동물 생애 관리 시스템은 사용자 단말과 연결되어 사용자가 사용자 단말에 설치된 어플리케이션을 이용하여 등록한 개체 이력정보를 수신할 수 있으며, 카메라 또는 CCTV를 통해 수집된 반려 동물에 대한 안면 이미지 데이터, 모션 동영상 데이터, 음성 데이터를 수신할 수 있다.
또한 반려동물 생애 관리 시스템은 반려동물에게 서비스를 제공하는 서비스 업체의 서버에 개체 이력정보를 제공할 수 있으며, 이를 기반으로 반려동물의 이력정보 및 이용 내역과 관련되는 서비스 및 물품을 추천할 수 있다.
도 11은 본 발명의 일 실시예에 따른 반려동물 생애 관리 시스템을 이용하여 구현 가능한 위치기반 지역 커뮤니티 서비스를 나타낸 도면이다.
도 11을 참조하면 본 발명의 일 실시예에 따른 반려동물 생애 관리 시스템을 기반으로 사용자에게 위치기반 지역 커뮤니티 서비스를 제공하는 흐름도가 나타나 있다.
본 발명의 일 실시예에 따르면 반려동물 생애 관리 시스템을 통해 생성된 개체 생애 정보를 기반으로 GPS를 이용한 실시간 위치 데이터를 추가로 수집함으로써 실시간 위치에 따라 지역 커뮤니티별로 그룹핑하여 지역맞춤 SNS, 친구 찾기, 동호회 산책 모임, 지역 나눔 장터 등의 커뮤니티 서비스를 제공할 수 있다.
도 12는 본 발명의 일 실시예에 따른 반려동물 생애 관리 시스템을 이용하여 구현 가능한 반려동물 IOT 서비스를 나타낸 도면이다.
도 12를 참조하면 본 발명의 일 실시예에 따른 반려동물 생애 관리 시스템을 기반으로 사용자에게 반려동물 IOT 서비스를 제공하는 흐름도가 나타나 있다.
본 발명의 일 실시예에 따르면 GPS, 스마트 태그, 비콘, 브루투스, NFC, Wi-fi 등의 네트워크 방식을 통해 반려동물에 대해 수집한 정보를 반려동물 생애 관리 시스템에 송신할 수 있고, 이를 기반으로 개체 생애 정보를 갱신할 수 있으며, 이러한 개체 생애 정보를 이용하여 유기견 찾기, 활동량 체크, 현위치 찾기, IOT 기기를 이용한 반려동물 케어 서비스 등의 서비스를 제공할 수 있다.
도 13은 본 발명의 일 실시예에 따라 반려동물 식별 방법의 흐름도이다.
등록 대상 반려 동물로부터 개체 별로 획득한 안면 이미지 데이터, 모션 동영상 데이터, 음성 데이터를 개체 별 개체 식별 ID 코드 및 개체 이력정보와 매칭시켜 획득 개체 데이터를 생성한다(S10).
본 발명의 일 실시 예에 따르면 등록 대상 반려 동물로부터 개체 별로 획득한 안면 이미지 데이터, 모션 동영상 데이터, 음성 데이터를 개체 별 개체 식별 ID 코드 및 개체 이력정보와 매칭시켜 획득 개체 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 카메라, CCTV, 마이크 등의 기기를 이용하여 등록을 하고자 하는 반려 동물을 대상으로 안면 이미지 데이터, 모션 동영상 데이터, 음성 데이터를 획득할 수 있다.
본 발명의 일 실시예에 따르면 개체 식별 ID 코드는 반려동물을 등록할 때 저장될 반려동물을 식별할 수 있도록 일정한 문자 또는 숫자로 이루어져 있는 코드를 의미할 수 있다.
본 발명의 일 실시예에 따르면 개체 이력정보는 반려동물의 품종, 생년월일, 나이, 거주지 정보, 건강 정보, 병원 진료 정보, 선호 제품, 사용 중인 제품 또는 식료품 정보 등이 포함될 수 있다.
획득 개체 데이터를 인공 지능 기반의 인식 모델에 입력하여 생성한 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상을 포함하는 식별 특징 데이터를 생성한다(S20).
본 발명의 일 실시예에 따르면 획득 개체 데이터를 인공 신경망 기반의 인식 모델에 입력하여 안면 인식, 비문 인식, 음성 인식, 모션 인식 중 적어도 하나 이상의 인식 기법을 통해 생성한 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상을 포함하는 식별 특징 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 인공 신경망 기반의 인식 모델은 인공 신경망 기반의 연산 모델일 수 있으며, 합성곱 신경망 네트워크(CNN)로 형성될 수 있으나 이에 한정되지 아니할 수 있다.
본 발명의 일 실시예에 따르면 인공 신경망 기반의 인식 모델은 합성곱 신경망 네트워크(CNN)로 형성될 수 있으며, 다수의 합성곱 연산 레이어로 합성곱 연산을 수행하고, 상기 다수의 합성곱 연산 레이어는 각각 복수의 레이어를 포함하는 제 1, 2, 3, 4 레이어 그룹으로 나뉘어 질 수 있다.
상기 실시예에 따르면 제 1, 2, 3, 4 레이어 그룹은 각각 안면 인식, 비문 인식, 음성 인식, 모션 인식을 기능을 구현할 수 있으며, 더 자세한 것은 도 3을 참조하며 설명하도록 한다.
본 발명의 일 실시예에 따르면 식별 특징 데이터는 각 인식 방법에 따라 개체를 인식할 수 있는 특징에 대한 정보를 포함한 데이터를 의미할 수 있으며, 인공 신경망 기반의 인식 모델을 통해 생성된 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상을 포함하도록 식별 특징 데이터가 생성될 수 있다.
본 발명의 일 실시예에 따른 인공 지능 기반의 인식 모델은 합성곱 신경망 네트워크(CNN)로 형성되며 다수의 합성곱 연산 레이어로 합성곱 연산을 수행하고, 상기 다수의 합성곱 연산 레이어는 각각 복수의 레이어를 포함하는 제 1, 2, 3, 4 레이어 그룹으로 나뉘어 질 수 있으며, 제 1, 2, 3, 4 레이어 그룹은 각각의 합성곱 연산을 통해 안면 인식, 비문 인식, 음성 인식, 모션 인식 기능을 수행할 수 있다.
본 발명의 일 실시예에 따르면 인공 지능 기반의 인식 모델의 제1 레이어 그룹은 획득한 안면 이미지 데이터로부터 복수의 특징점을 추출하고, 추출된 복수의 특징점 정보를 인공 신경망 기반의 안면 식별 모델에 입력하여 품종 또는 성별을 고려한 안면 식별이 가능한 안면 식별 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 추출하여 인공 신경망 기반의 안면 식별 모델을 이용한 특징점 분석을 수행하기 위한 전처리 단계로서, 먼저 반려 동물의 안면을 탐색하고, 안면으로 탐색된 이미지를 캡쳐 하여 안면 이미지를 생성할 수 있다.
본 발명의 일 실시예에 따르면 캡쳐된 안면 이미지로부터 복수의 특징점을 추출할 수 있으며, 이때 특징점을 추출함에 있어 연산 자원 소모를 최소한 하고 추출 시간 또한 감소하기 위하여 추출할 특징점 수를 소수로 한정할 수 있다.
본 발명의 일 실시예에 따르면 추출할 특징점 수를 소수로 한정하는 경우 소수의 특징점을 추출하면서도 인식 정확도 또한 일정 수준 이상을 유지하여야 하므로 동물의 안면 형상을 식별하기에 유리한 위치의 특징점을 선정하여야 하며, 특징점을 어디로 잡느냐에 따라 안면을 인식하기 위해 소요되는 연산 자원의 양, 인식 속도, 인식 정확도는 매우 큰 차이가 발생하게 된다.
본 발명의 일 실시예에 따르면 특징점을 추출하기 위하여 다중 객체 인식 기법을 사용할 수 있고 그 중에서도 ORB(Oriented FAST and Rotated BRIEF) 알고리즘이 적용되어 사용될 수 있다.
상기 실시예에 따르면 윈도우 영역을 잡고 중심점의 밝기 값과 16개의 밝기 값들을 비교할 수 있으며, 예를 들어 우선 1, 5, 9, 13에 위치한 밝기 값을 비교하여 어둡거나 밝으면 1, 비슷하면 0을 주어 3 이상 되면 후보 특징점으로 선택할 수 있다.
그 후 나머지 위치한 밝기 값과 비교를 하여 12 이상이면 특징점으로 결정하게 되고, 각 특징점 주위로 이웃한 8개 픽셀 밝기 값과 비교하여 제일 큰 값을 가지고 있는 픽셀을 최종 특징점으로 결정한다. 추출된 특장점들에게 blob 특징점을 제거하고, corner 특징점을 추출하기 위해 Haris Corner Detection을 활용할 수 있다.
이때 Haris Corner Detection은 Corner 영역을 인식할 수 있어 Corner만 추출이 가능하며, 더 나아가 주 방향을 구하기 위해서 Intensity Centroid를 이용하여 방향을 결정할 수 있다.
상기 일 실시예에 따르면 각 특징점 주위로 부분영상을 만들고, 주 방향을 이용하여 모든 비교점을 회전시킨 후 bit string description을 구성하면, 유익성과 차별성이 떨어진다.
이 문제를 해결하기 위해 p(x)와 p(y)를 임의로 정하지 않고, 유익성과 차별성이 좋은 두 개의 픽셀 선택 패턴을 결정하여 학습데이터로 만들 수 있으며, 학습 데이터를 바탕으로 256개의 binary test를 구하여 descriptor를 생성할 수 있다.
본 발명의 일 실시예에 따르면 제1 레이어 그룹은 캡쳐된 안면 이미지로부터 8개의 특징점을 추출하고, 8개의 추출점은 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점으로 이루어질 수 있다.
상기 일 실시예에 따르면 8개의 특징점이 추출된 복수의 학습 데이터를 바탕으로 정규화를 수행하고, 학습 데이터 및 정규화된 학습 데이터에 가중치를 적용하여 생성한 데이터 세트를 이용하여 특징점 정보를 입력하면 품종 및 성별을 식별하고, 식별된 품종 및 성별 정보 및 관심 영역 이미지 데이터를 입력하여 개체를 식별할 수 있는 안면 식별 데이터를 생성하도록 인공 신경망 기반의 안면 식별 모델을 학습시켜 식별 정확도를 상승시킬 수 있다.
상기 일 실시예에 따르면 인공 신경망 기반의 안면 식별 모델을 통해 품종 및 성별을 식별한 결과, 정답으로 판단한 이미지의 수와 오답으로 판단한 이미지의 수를 이용하여 평균 정확도 및 보정된 정확도를 이용하여 학습 데이터 및 정규화된 학습 데이터에 대한 최적의 가중치를 산출할 수 있다.
본 발명의 일 실시예에 따르면 개와 고양이 모두를 대상으로 소수의 특징점을 추출하여 안면을 인식하는 시뮬레이션을 수행한 결과 적어도 8개의 특징점 이상의 특징점을 추출하여야 75.32% 이상의 인식률을 보이는 것으로 나타났으며, 특히 8개의 특징점을 도 4와 같이 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점으로 추출한 경우 시뮬레이션 결과 93.21% 이상의 안면 인식률을 보이는 것으로 나타난다.
본 발명의 일 실시예에 따르면 인공 신경망 기반의 안면 식별 모델을 학습시키기 위한 데이터 세트를 생성함에 있어 높은 식별 정확도를 확보하기 위하여 수학식 1과 같이 학습 데이터에 정규화를 수행하고 학습 데이터와 정규화된 학습 데이터 각각을 이용하여 학습시킨 경우 식별 정확도를 산정한 후, 이를 기반으로 학습 데이터와 정규화된 학습 데이터에 생성한 데이터 세트를 통해 학습시켜 두 데이터 사이의 가중 평균을 이용하도록 최적의 가중치를 산출하여 적용할 수 있다.
수학식 1에 P(Decision)는 생성한 데이터 세트를 이용해 학습된 식별 모델에 대한 식별 정확도를 의미할 수 있으며,
Figure PCTKR2022006158-appb-img-000012
는 학습 데이터의 식별 정확도,
Figure PCTKR2022006158-appb-img-000013
는 정규화된 학습 데이터의 식별 정확도를 의미할 수 있으며, α는 가중치 지수를 의미할 수 있다.
여기서 학습 데이터와 정규화된 학습 데이터에 포함된 이미지 전부를 대상으로 TP는 정답으로 판단한 이미지의 수를 의미하고 FN은 오답으로 판단한 이미지의 수, FN+TP는 총 이미지 수를 의미할 수 있으며, 정확도의 보정을 위해 i는 선택한 클래스(품종 또는 성별)를 의미하고, N은 총 클래스 개수를 의미할 수 있다.
average는 평균 정확도를 의미할 수 있고, 이는 올바르게 예측된 품종, 성별의 수를 기반으로 정확도를 평균 낸 것을 의미할 수 있으며, balance는 보정된 정확도를 의미할 수 있고, 이는 각 품종, 성별 내의 이미지 수에 관계없이 각 품종 간의 정확도의 평균을 의미할 수 있다.
본 발명의 일 실시예에 다르면 각 클래스에 대해 평가된 이미지 수가 동일하면 평균 정확도와 보정된 정확도가 동일해야 하는데 각 클래스에 대한 이미지 수가 불균형하기 때문에 이러한 정확도 간에 차이가 존재하므로, 이를 해결하기 위하여 품종 및 성별을 식별한 결과 정답으로 판단한 이미지의 수와 오답으로 판단한 이미지의 수를 이용하여 평균 정확도 및 보정된 정확도를 이용하여 두 정확도가 균일해지도록 최적의 가중치 지수를 산출하고, 산출한 가중치 지수를 학습데이터 및 정규화된 학습 데이터에 적용할 수 있다.
상기 실시예에 따르면 시뮬레이션 결과 가중치 지수 α는 0.38 < α < 0.73 사이의 범위에서 높은 식별 정확도를 보이며, 시뮬레이션 결과 평균적으로 가중치 지수
Figure PCTKR2022006158-appb-img-000014
가 0.5에 가까워질수록 높은 식별 정확도를 가지는 경향성을 가질 수 있다.
본 발명의 일 실시예에 따르면 α은 0.5로 기 설정될 수 있으며, 평균 정확도 및 보정된 정확도가 균일해지도록 최적의 가중치 지수를 산출하여 산출된 가중치 지수로 갱신할 수 있다.
본 발명의 일 실시예에 따르면 식별된 품종 및 성별 정보 및 관심 영역 이미지 데이터를 인공 신경망 기반의 안면 식별 모델에 입력하여 개체를 식별할 수 있는 안면 식별 데이터를 생성하도록 학습시켜 식별 정확도를 상승시킬 수 있다.
본 발명의 일 실시예에 따르면 인공 신경망 기반의 안면 식별 모델은 합성곱 신경망 네트워크(CNN)로 형성될 수 있으며, 다수의 합성곱 연산 레이어로 합성곱 연산을 수행할 수 있고, 다수의 합성곱 연산 레이어 중 일부와 나머지 일부를 나누어 제1 레이어 그룹과 제2 레이어 그룹으로 구조가 형성될 수 있다.
본 발명의 일 실시예에 따르면 추출된 특징점에 대한 정보를 인공 신경망 기반의 안면 식별 모델의 제1 레이어 그룹에 입력하여 식별된 품종 식별 정보, 성별 식별 정보를 1차 도출할 수 있다.
본 발명의 일 실시예에 따르면 관심 영역 이미지로부터 추출한 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점을 포함하는 8개의 특징점에 대한 정보를 인공 신경망 기반의 안면 식별 모델의 제1 레이어 그룹의 입력층에 입력하고 다수의 합성곱 레이어를 통해 합성곱 연산을 수행하여 식별된 품종 및 성별에 대한 품종 식별 정보, 성별 식별 정보를 도출할 수 있다.
본 발명의 일 실시예에 따르면 인공 신경망 기반의 안면 식별 모델의 제1 레이어 그룹의 출력 값 및 추출된 특징점에 대한 정보를 인공 신경망 기반의 안면 식별 모델의 제2 레이어 그룹의 입력층에 입력하여 개체 식별 정보를 생성하고, 개체 식별 정보를 이용하여 개체 식별 정보에 대한 신뢰도 점수를 산출하며, 개체 식별 정보의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출할 수 있다.
본 발명의 일 실시예에 따르면 수학식 2와 같이 개체 식별 정보의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출할 수 있다.
여기서 P(id|g, b; s)는 안면 식별 데이터의 예측 가능성을 의미할 수 있으며, Score(id)은 개체 식별 정보의 신뢰도 점수를,
Figure PCTKR2022006158-appb-img-000015
는 성별 식별 정보를,
Figure PCTKR2022006158-appb-img-000016
은 품종 식별 정보는 Z(g, b; s)는 각 정보의 정규화 요소를 의미할 수 있다.
본 발명의 일 실시예에 따르면 인공 지능 기반의 인식 모델의 제2 레이어 그룹은 상기 안면 이미지 데이터로부터 반려 동물의 두 콧구멍의 경계를 포함하는 직경 10~15cm의 원에 포함되는 직사각형 형태의 관심영역을 추출하고, 관심영역을 대상으로 대비 제한의 적응적 히스토그램 균등화와 스케일 불변 형상 변환을 수행하여 가우스 내부 차이에 따라 특징점을 추출하여 비문 식별 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 안면 이미지로부터 반려 동물의 두 콧구멍의 경계를 포함하는 직경 10~15cm의 원에 포함되는 직사각형 형태의 관심영역을 추출하고, 관심영역을 대상으로 대비 제한의 적응적 히스토그램 균등화와 스케일 불변 형상 변환을 수행하여 가우스 내부 차이에 따라 비문을 추출하여 비문 식별 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 비문 식별 데이터를 기준으로 저장된 비문 데이터 중 일정한 유사도 이상의 비문 데이터가 존재하는지에 대한 안면 판단 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 안면 이미지로부터 추출한 관심영역 이미지를 대상으로 비문을 추출함에 있어 관심영역 이미지의 크기가 너무 크거나 작으면 정보 손실이 발생할 수 있으므로, 원본 이미지의 너비와 높이 비율을 유지하여 이미지 크기 조정을 수행하기 위하여 수학식 3를 이용하여 리사이징을 수행할 수 있다.
여기서 S는 스케일 팩터를 의미하며, w는 너비, h는 높이를 의미할 수 있으며, w'는 리사이징된 너비, h'는 리사이징된 높이 r은 리사이징을 위한 참조 값이 될 수 있으며, 본 발명의 일 실시예에 다르면 리사이징을 위한 참조 값은 300 X 300 픽셀 또는 300 X 400 픽셀의 크기일 수 있다.
본 발명의 일 실시예에 따르면 리사이징된 관심영역 이미지를 대상으로 대비 제한의 적응적 히스토그램 균등화를 수행할 수 있다.
여기서 히스토그램 균등화는 이미지에서 픽셀 값의 누적 분포 함수를 사용하는 대표적인 이미지 향상 방법을 의미하며, 종래의 균등화는 전체 이미지의 대비를 증가시키므로 효과가 만족스럽지 않은 경우가 다수 존재합니다.
본 발명의 일 실시예에 따르면 종래의 균등화 기법의 한계점을 극복하기 위하여 더욱 진보된 균등화 기법인 대비 제한의 적응적 히스토그램 균등화 기법을 적용하여 균등화를 수행할 수 있다.
여기서 대비 제한의 적응적 히스토그램 균등화 기법은 이미지를 작은 영역으로 나누고 대비 한계를 사용하여 극단적인 노이즈를 제거함으로써 각 영역 내의 히스토그램을 균일화하는 기법을 의미하며, 대비 한계는 어두운 영역에서는 대비를 더 높이고 밝은 영역에서는 더 적게 대비를 향상시키는 방법을 의미합니다.
본 발명의 일 실시예에 다르면 반려동물의 대부분을 차지하는 개 또는 고양이의 코는 얼굴의 다른 부분들과 비교하여 일반적으로 어둡기 때문에, 비문을 포함한 개 또는 고양이의 코 이미지는 대비가 다른 이미지와 비교하여 상대적으로 낮은 경우가 대부분이며, 조명 또는 조도의 차이로 인해 동일한 개 또는 고양이라도 이미지마다 다르게 나타날 수 있으므로, 대비 제한의 적응적 히스토그램 균등화를 수행하여 일정한 대비 수준을 가지도록 통해 대비 값을 조정할 수 있다.
본 발명의 일 실시예에 따르면 이미지 간의 대비 차이를 줄이고 대비를 향상시키기 위해 히스토그램이 충분히 늘어날 때까지 대비 제한의 적응적 히스토그램 균등화를 반복적으로 수행할 수 있으며, 더욱 자세하게는 관심 영역 이미지를 대상으로 1000개 이상의 픽셀이 식별될 수 있을 때까지 반복되어 수행될 수 있다.
본 발명의 일 실시예에 따르면 특징점을 추출하기 위하여 SIFT, SURF, BRISK, ORB 등과 같은 특징점 추출 알고리즘을 사용할 수 있으며, 키포인트 디텍터(keypoint detector)와 디스크립터(descriptor)를 이용하여 키포인트 디텍터는 이미지로부터 키포인트를 찾고, 스크립터는 해당 키포인트를 설명하는 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 스케일 불변 형상 변환(Scale-Invariant Feature Transform, SIFT)을 수행하여 가우스 내부 차이에 따라 특징점을 추출하여 비문 식별 데이터를 생성할 수 있다.
상기 실시예에 따르면 스케일 불변 형상 변환을 수행하여 복수의 이미지 스케일 공간을 생성할 수 있으며 수학식 4와 같이 DoG(Difference of Gaussian) 디텍터를 통하여 공간에서 키포인트로 최대 모서리를 탐색하며 특징점을 추출하고 이를 통해 비문 식별 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 인공 지능 기반의 인식 모델의 제3 레이어 그룹은 음성 데이터를 미리 설정된 기준 값에 따라 복수의 프레임으로 분할하고, 분할된 프레임을 대상으로 특징 벡터를 추출하여 히스토그램 모델링을 수행함으로써 히스토그램 모델링에 따른 코드를 획득하며 히스토그램 모델링에 따른 코드를 포함한 음성 식별 데이터를 생성할 수 있다.
획득한 반려동물의 음성 데이터를 미리 설정된 기준 값에 따라 복수의 프레임으로 분할하고, 분할된 프레임을 대상으로 특징 벡터를 추출하여 히스토그램 모델링을 수행하고, 히스토그램 모델링에 따른 코드를 획득하여 음성 식별 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 획득한 반려동물의 음성 데이터를 미리 설정된 기준 값에 따라 일정한 길이로 분할하여 복수의 프레임을 생성할 수 있으며, 각각의 프레임으로부터 특징 벡터를 추출하여 히스토그램 모델을 형성하도록 히스토그램 모델링을 수행할 수 있으며, 히스토그램 모델링을 통해 형성된 히스토그램 모델의 형태에 따라 코드를 생성할 수 있다.
여기서 히스토그램 모델링은 음향 방출 신호를 256단계로 정규화하여 결함 신호 정보의 히스토그램(Histogram)이 구성하는 포락 선을 특징으로 간주하여 모델링하는 것을 의미하며, 모델링된 결함 신호에서 부분 상관 계수(Partial Autocorrelation Coefficients, PARCOR)를 사용하여 모델링된 포락선의 특징을 추출하고, DET(Distance Evaluation Technique)로 결함 신호 고유의 특성을 나타내는 특징을 선택하여 이를 식별이 가능한 코드로 생성할 수 있다.
본 발명의 일 실시예에 따르면 생성된 코드를 포함하도록 음성 식별 데이터를 생성하고, 데이터 베이스에 저장된 음성 데이터의 코드 중 일정한 유사도 이상의 음성 데이터의 코드가 존재하는지 여부를 판단하여 음성 판단 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 제 4 레이어 그룹은 동영상 데이터를 미리 설정한 기준에 따라 연속된 복수의 프레임으로 분할하고, 복수의 프레임을 분석하여 반려동물의 움직임에 존재하는 정형화된 패턴에 대한 모션 식별 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 모션 식별 데이터는 복수의 프레임을 분석하여 반려동물의 움직임을 식별하고 일정 구간동안 움직이는 동작 동선을 분석하여 이 중 반복되는 동작 동선을 정형화된 패턴으로 저장하고, 저장된 정형화된 패턴에 대한 정보를 포함한 모션 식별 데이터를 생성할 수 있다.
식별 특징 데이터 및 식별 특징 데이터와 매칭되는 개체 별 개체 식별 ID 코드 및 개체 이력정보를 포함하는 개체 등록 데이터를 생성하고, 개체 등록 데이터를 데이터 베이스에 등록한다(S30).
본 발명의 일 실시예에 따르면 식별 특징 데이터 및 식별 특징 데이터와 매칭되는 개체 별 개체 식별 ID 코드 및 개체 이력정보를 포함하는 개체 등록 데이터를 생성하고, 개체 등록 데이터를 데이터 베이스에 등록할 수 있다.
본 발명의 일 실시예에 따르면 식별 특징 데이터 및 식별 특징 데이터와 매칭되는 개체 별 개체 식별 ID 코드와 개체 이력정보를 포함하는 개체 등록 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 개체 등록 데이터를 데이터 베이스에 저장하는 방식으로 등록할 수 있으며, 데이터 베이스는 반려동물 생애 관리시스템(10)에 내/외부에 위치한 저장소 또는 서버의 형태로 구현될 수 있다.
식별을 요청받은 반려동물을 대상으로 하는 안면 이미지 데이터, 모션 동영상 데이터, 음성 데이터를 인공 지능 기반의 인식 모델에 입력하여 생성한 식별 특징 데이터와 획득 위치정보, 획득 시간 정보를 포함하는 식별 요청 데이터를 생성한다(S40).
본 발명의 일 실시예에 따르면 식별을 요청 받은 반려동물을 대상으로 하는 안면 이미지 데이터, 모션 동영상 데이터, 음성 데이터를 인공 신경망 기반의 인식 모델에 입력하여 안면 인식, 비문 인식, 음성 인식, 모션 인식 중 적어도 하나 이상의 인식 기법을 통해 생성한 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상의 식별 특징 데이터와 획득 위치정보, 획득 시간 정보를 포함하는 식별 요청 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 카메라 CCTV, 마이크 등을 통해 획득한 안면 이미지 데이터, 모션 동영상 데이터, 음성 데이터를 인공 신경망 기반의 인식 모델을 통해 안면 인식, 비문 인식, 음성 인식, 모션 인식 중 적어도 하나 이상의 인식 기법을 통해 분석할 수 있으며, 이를 통해 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상의 식별 특징 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면 안면 판단 정보, 비문 판단 정보, 음성 판단 정보를 인공 신경망 기반의 개체 식별 모델에 입력하여 식별 특징 데이터를 생성할 수 있으며, 안면 판단 정보, 비문 판단 정보, 음성 판단 정보를 이용하여 식별 특징 데이터를 생성함에 있어 안면 판단 정보, 비문 판단 정보를 대상으로 각각의 가중치를 산정하여 적용시킴으로 식별 특징 데이터를 생성할 수 있으며, 이를 통해 식별 정확도를 향상시킬 수 있다.
식별 요청 데이터와 데이터 베이스에 저장된 개체 등록 데이터에 포함된 식별 특징 데이터를 대비하여 일정한 유사도 이상의 개체 등록 데이터가 존재하는지 여부를 판단하고 판단 결과에 따라 식별 개체 정보를 생성한다(S50).
본 발명의 일 실시예에 따르면 식별 요청 데이터와 데이터 베이스에 저장된 개체 등록 데이터에 포함된 식별 특징 데이터를 대비하여 일정한 유사도 이상의 개체 등록 데이터가 존재하는지 여부를 판단하고 판단 결과에 따라 식별 개체 정보를 생성할 수 있다.
본 발명의 일 실시예에 따르면 식별을 요청한 개체에 대한 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상을 포함하는 식별 특징 데이터와 데이터 베이스에 저장된 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상을 포함하는 대한 개체 등록 데이터를 이용하여 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터별로 대비하여 일정한 유사도 이상의 개체 등록 데이터가 존재하는지 여부를 판단하여 식별 개체 정보를 생성할 수 있다.
획득 위치정보, 획득 시간 정보와 식별 개체 정보와 매칭되는 개체 등록 데이터에 포함된 개체 별 개체 식별 ID 코드 및 개체 이력정보를 개체 생애 정보에 추가 또는 갱신하여 관리한다(S60).
본 발명의 일 실시예에 따르면 획득 위치정보, 획득 시간 정보와 식별 개체 정보와 매칭되는 개체 등록 데이터에 포함된 개체 별 개체 식별 ID 코드 및 개체 이력정보를 개체 생애 정보에 추가 또는 갱신하여 관리할 수 있다.
본 발명의 일 실시예에 따르면 식별 요청된 반려동물의 식별 특징 데이터와 유사성이 존재하는 개체 등록 데이터의 개체 별 개체 식별 ID 코드 및 개체 이력정보를 이용하여 개체 생애 정보를 생성할 수 있으며, 이미 기 존재하고 있는 경우 추가 또는 갱신을 수행할 수 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (5)

  1. 등록 대상 반려 동물로부터 개체 별로 획득한 안면 이미지 데이터, 모션 동영상 데이터, 음성 데이터를 개체 별 개체 식별 ID 코드 및 개체 이력정보와 매칭시켜 획득 개체 데이터를 생성하는 획득 개체 데이터 생성부;
    상기 획득 개체 데이터를 인공 신경망 기반의 인식 모델에 입력하여 안면 인식 또는 비문 인식 또는 음성 인식 또는 모션 인식 중 적어도 하나 이상의 인식 기법을 통해 생성한 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상을 포함하는 식별 특징 데이터를 생성하는 식별 특징 데이터 생성부;
    상기 식별 특징 데이터 및 식별 특징 데이터와 매칭되는 개체 별 개체 식별 ID 코드 및 개체 이력정보를 포함하는 개체 등록 데이터를 생성하고, 상기 개체 등록 데이터를 데이터 베이스에 등록하는 개체 등록부;
    식별을 요청 받은 반려동물을 대상으로 하는 안면 이미지 데이터, 모션 동영상 데이터, 음성 데이터를 인공 신경망 기반의 인식 모델에 입력하여 안면 인식, 비문 인식, 음성 인식, 모션 인식 중 적어도 하나 이상의 인식 기법을 통해 생성한 안면 식별 데이터, 비문 식별 데이터, 음성 식별 데이터, 모션 식별 데이터 중 적어도 하나 이상의 식별 특징 데이터와 획득 위치정보, 획득 시간 정보를 포함하는 식별 요청 데이터를 생성하는 식별 요청 데이터 생성부;
    상기 식별 요청 데이터와 상기 데이터 베이스에 저장된 개체 등록 데이터에 포함된 식별 특징 데이터를 대비하여 일정한 유사도 이상의 개체 등록 데이터가 존재하는지 여부를 판단하고 판단 결과에 따라 식별 개체 정보를 생성하는 식별 개체 정보 생성부; 및
    상기 획득 위치정보, 획득 시간 정보와 상기 식별 개체 정보와 매칭되는 개체 등록 데이터에 포함된 개체 별 개체 식별 ID 코드 및 개체 이력정보를 개체 생애 정보에 추가 또는 갱신하여 관리하는 개체 생애 정보 관리부를 포함하는 것을 특징으로 하는 반려동물 생애 관리 시스템.
  2. 제 1 항에 있어서,
    상기 인공 신경망 기반의 인식 모델은 합성곱 신경망 네트워크(CNN)로 형성되며 다수의 합성곱 연산 레이어로 합성곱 연산을 수행하고, 상기 다수의 합성곱 연산 레이어는 각각 복수의 레이어를 포함하는 제 1, 2, 3, 4 레이어 그룹으로 나뉘어 질 수 있으며,
    상기 제1 레이어 그룹은 획득한 안면 이미지 데이터로부터 복수의 특징점을 추출하고, 추출된 복수의 특징점 정보를 인공 신경망 기반의 안면 식별 모델에 입력하여 품종 또는 성별을 고려한 안면 식별이 가능한 안면 식별 데이터를 생성하고,
    상기 제2 레이어 그룹은 상기 안면 이미지 데이터로부터 반려 동물의 두 콧구멍의 경계를 포함하는 직경 10~15cm의 원에 포함되는 직사각형 형태의 관심영역을 추출하고, 상기 관심영역을 대상으로 대비 제한의 적응적 히스토그램 균등화와 스케일 불변 형상 변환을 수행하여 가우스 내부 차이에 따라 특징점을 추출하여 비문 식별 데이터를 생성하고,
    상기 제3 레이어 그룹은 상기 음성 데이터를 미리 설정된 기준 값에 따라 복수의 프레임으로 분할하고, 상기 분할된 프레임을 대상으로 특징 벡터를 추출하여 히스토그램 모델링을 수행함으로써 상기 히스토그램 모델링에 따른 코드를 획득하며, 상기 히스토그램 모델링에 따른 코드를 포함한 음성 식별 데이터를 생성하고,
    상기 제 4 레이어 그룹은 동영상 데이터를 미리 설정한 기준에 따라 연속된 복수의 프레임으로 분할하고, 상기 복수의 프레임을 분석하여 반려동물의 움직임에 존재하는 정형화된 패턴에 대한 모션 식별 데이터를 생성하는 것을 특징으로 하는 반려동물 생애 관리 시스템.
  3. 제 2 항에 있어서 상기 제1 레이어 그룹은,
    상기 안면 이미지로부터 추출한 8개의 특징점은 좌측 안구 중앙점, 우측 안구 중앙점, 코, 좌측 귀 끝점, 우측 귀 끝점, 좌측 귀와 이마의 우측 접점, 우측 귀와 이마의 좌측 접점, 이마 중앙 상단 끝점으로 이루어지고,
    상기 8개의 특징점이 추출된 복수의 학습 데이터를 바탕으로 정규화를 수행하고, 상기 학습 데이터 및 정규화된 학습 데이터에 가중치를 적용하여 생성한 데이터 세트를 이용하여 특징점 정보를 입력하면 품종 및 성별을 식별하고, 상기 식별된 품종 및 성별 정보 및 관심 영역 이미지 데이터를 입력하여 개체를 식별할 수 있는 안면 식별 데이터를 생성하도록 인공 신경망 기반의 안면 식별 모델을 학습시켜 식별 정확도를 상승시키고,
    상기 인공 신경망 기반의 안면 식별 모델을 통해 품종 및 성별을 식별한 결과, 정답으로 판단한 이미지의 수와 오답으로 판단한 이미지의 수를 이용하여 평균 정확도 및 보정된 정확도를 이용하여 상기 학습데이터 및 정규화된 학습 데이터에 대한 최적의 가중치를 산출하는 것을 특징으로 하는 반려동물 생애 관리 시스템.
  4. 제 3 항에 있어서,
    상기 관심 영역 이미지로부터 추출한 8개의 특징점에 대한 정보를 이용하여 다수의 합성곱 레이어를 통해 합성곱 연산을 수행하여 식별된 품종 및 성별에 대한 품종 식별 정보, 성별 식별 정보를 도출하고,
    상기 품종 식별 정보, 성별 식별 정보 및 추출된 특징점에 대한 정보를 이용하여 다수의 합성곱 레이어를 통해 합성곱 연산을 수행하여 개체 식별 정보를 생성하고, 상기 개체 식별 정보를 이용하여 개체 식별 정보에 대한 신뢰도 점수를 산출하며, 상기 개체 식별 정보의 신뢰도 점수, 품종 식별 정보, 성별 식별 정보를 이용하여 안면 식별 데이터의 예측 가능성을 산출하는 것을 특징으로 하는 반려동물 생애 관리 시스템.
  5. 제 4 항에 있어서,
    상기 식별 요청된 반려동물과 매칭되는 개체 생애 정보를 제공하고, 상기 개체 생애 정보에 포함된 개체 이력정보에 따라 보험 가입 여부를 판단하는 보험 가입 판단부;
    보험을 가입되지 아니한 것으로 판단되는 경우, 상기 개체 생애 정보에 포함된 개체 이력정보에 따라 보험 가입시 발생할 보험 수가를 산정하고, 산정된 보험 수가에 따라 생성한 보험료 정보를 제공하는 보험료 정보 생성부; 및
    보험을 가입된 것으로 판단되는 경우, 질병 코드 및 의료비 청구정보를 입력 받아 상기 질병 코드에 따른 보험료를 자동으로 보험회사에 청구하는 보험료 청구부를 더 포함하는 반려동물 생애 관리 시스템.
PCT/KR2022/006158 2021-05-11 2022-04-29 반려동물 생애 관리 시스템 및 그 방법 WO2022240030A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/274,512 US20240087368A1 (en) 2021-05-11 2022-04-29 Companion animal life management system and method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0060776 2021-05-11
KR1020210060776A KR102325259B1 (ko) 2021-05-11 2021-05-11 반려동물 생애 관리 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
WO2022240030A1 true WO2022240030A1 (ko) 2022-11-17

Family

ID=78516247

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/006158 WO2022240030A1 (ko) 2021-05-11 2022-04-29 반려동물 생애 관리 시스템 및 그 방법

Country Status (3)

Country Link
US (1) US20240087368A1 (ko)
KR (1) KR102325259B1 (ko)
WO (1) WO2022240030A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102325259B1 (ko) * 2021-05-11 2021-11-11 (주) 아지랑랑이랑 반려동물 생애 관리 시스템 및 그 방법
KR102518470B1 (ko) * 2021-12-01 2023-04-05 오헌식 축우 생체정보 기반 개체별 모니터링 관리시스템
KR102636790B1 (ko) * 2021-12-08 2024-02-15 김진호 인공지능을 이용한 동물 음성 분석 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200041296A (ko) * 2018-10-11 2020-04-21 주식회사 핏펫 동물의 안면 및 비문 이미지에 기초하여 동물의 개체 정보를 제공하는 컴퓨터 프로그램 및 단말기
KR20200042379A (ko) * 2018-10-15 2020-04-23 심준원 복수의 개체 식별 기술을 조합한 동물 식별 방법, 이를 이용한 동물 보험 서비스 제공 방법 및 그 장치
KR20200072588A (ko) * 2018-11-30 2020-06-23 서울대학교산학협력단 Cnn기반의 딥러닝 모델 학습장치 및 그 방법
KR20200123161A (ko) * 2019-04-16 2020-10-28 원 커넥트 스마트 테크놀로지 컴퍼니 리미티드 (썬전) 휴먼이미지 속성 모델 구축 방법, 장치, 컴퓨터 디바이스 및 저장 매체
KR20200136206A (ko) * 2019-05-27 2020-12-07 윤종서 머신러닝 기법을 이용한 동물의 비문 이미지 획득방법 및 시스템
KR102325259B1 (ko) * 2021-05-11 2021-11-11 (주) 아지랑랑이랑 반려동물 생애 관리 시스템 및 그 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101527801B1 (ko) * 2013-05-22 2015-06-11 주식회사 아이싸이랩 동물들의 코무늬를 이용한 동물 개체 인식 장치 및 방법
KR101788272B1 (ko) * 2016-11-01 2017-10-19 오승호 생체 인식을 통한 반려 동물 인식 및 등록 관리 방법
KR102261175B1 (ko) * 2019-06-13 2021-06-07 주식회사 파이리코 동물 인식 장치 및 동물 인식 방법
KR102251434B1 (ko) * 2019-12-24 2021-05-12 이주철 애완동물 식별과 생애주기 관리 인프라시스템 및 활용방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200041296A (ko) * 2018-10-11 2020-04-21 주식회사 핏펫 동물의 안면 및 비문 이미지에 기초하여 동물의 개체 정보를 제공하는 컴퓨터 프로그램 및 단말기
KR20200042379A (ko) * 2018-10-15 2020-04-23 심준원 복수의 개체 식별 기술을 조합한 동물 식별 방법, 이를 이용한 동물 보험 서비스 제공 방법 및 그 장치
KR20200072588A (ko) * 2018-11-30 2020-06-23 서울대학교산학협력단 Cnn기반의 딥러닝 모델 학습장치 및 그 방법
KR20200123161A (ko) * 2019-04-16 2020-10-28 원 커넥트 스마트 테크놀로지 컴퍼니 리미티드 (썬전) 휴먼이미지 속성 모델 구축 방법, 장치, 컴퓨터 디바이스 및 저장 매체
KR20200136206A (ko) * 2019-05-27 2020-12-07 윤종서 머신러닝 기법을 이용한 동물의 비문 이미지 획득방법 및 시스템
KR102325259B1 (ko) * 2021-05-11 2021-11-11 (주) 아지랑랑이랑 반려동물 생애 관리 시스템 및 그 방법

Also Published As

Publication number Publication date
KR102325259B1 (ko) 2021-11-11
US20240087368A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
WO2022240030A1 (ko) 반려동물 생애 관리 시스템 및 그 방법
WO2020159232A1 (en) Method, apparatus, electronic device and computer readable storage medium for image searching
WO2022240029A1 (ko) 반려동물 식별 시스템 및 그 방법
WO2020138745A1 (en) Image processing method, apparatus, electronic device and computer readable storage medium
WO2015160207A1 (en) System and method for detecting region of interest
CN109325412B (zh) 行人识别方法、装置、计算机设备及存储介质
WO2015088179A1 (ko) 얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치
WO2020075888A1 (ko) 동물의 안면 및 비문 이미지에 기초하여 동물의 개체 정보를 제공하는 컴퓨터 프로그램 및 단말기
WO2015115681A1 (ko) 표정 동작사전을 이용한 표정인식 방법 및 장치
WO2014007586A1 (en) Apparatus and method for performing visual search
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2018008881A1 (ko) 단말장치 및 서비스서버, 그 장치에 의해 수행되는 진단분석 서비스를 제공하기 위한 방법 및 프로그램과, 그 프로그램이 기록된 컴퓨터 판독 가능 기록매체
WO2019074316A1 (ko) 이미지 및 영상의 등록, 검색, 재생을 모바일 디바이스 및 서버에서 분할하여 수행하는 컨벌루션 인공신경망 기반 인식 시스템
WO2019009664A1 (en) APPARATUS FOR OPTIMIZING THE INSPECTION OF THE OUTSIDE OF A TARGET OBJECT AND ASSOCIATED METHOD
WO2020138575A1 (ko) 기계 학습 데이터 선택 방법 및 장치
WO2021006482A1 (en) Apparatus and method for generating image
WO2015199354A1 (ko) 인접 합산 이진화를 이용한 동공 추출 방법 및 이를 이용한 동공 추출 제어장치
Labati et al. I-social-db: A labeled database of images collected from websites and social media for iris recognition
WO2020080734A1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
KR102125633B1 (ko) 동물의 개체 식별 및 특정화 시스템 및 방법
WO2023177150A1 (ko) 딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템
WO2023068821A1 (ko) 자기-지도 학습 기반의 다중 객체 추적 장치 및 방법
WO2022092451A1 (ko) 딥러닝을 이용한 실내 위치 측위 방법
WO2020036468A1 (ko) 이미지에 보케 효과를 적용하는 방법 및 기록매체
WO2022039575A1 (ko) 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22807678

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18274512

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22807678

Country of ref document: EP

Kind code of ref document: A1