KR20240021646A

KR20240021646A - Ai-based pet identity recognition method and electronic device thereof

Info

Publication number: KR20240021646A
Application number: KR1020220100264A
Authority: KR
Inventors: 김용태; 임병완
Original assignee: 블록체인랩스 주식회사
Priority date: 2022-08-10
Filing date: 2022-08-10
Publication date: 2024-02-19

Abstract

소정의 동작을 수행하도록 하는 명령어들을 저장하는 하나 이상의 메모리 및 상기 하나 이상의 메모리와 동작 가능하도록 연결되어 상기 명령어들을 실행하도록 설정된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 제1 반려동물이 촬영된 제1 이미지를 획득하고, 상기 제1 이미지에 포함된 얼굴 영역에 기초하여 제1 벡터 피쳐를 생성하고, 미리 저장된 제2 반려동물의 복수의 이미지들에 포함된 얼굴 영역에 기초하여 생성된 복수의 벡터 피쳐들을 포함하는 제1 비교 셋과 상기 제1 벡터 피쳐를 비교하고, 상기 제1 이미지에 포함된 비문 영역에 기초하여 제2 벡터 피쳐를 생성하고, 상기 미리 저장된 제2 반려동물의 복수의 이미지들에 포함된 비문 영역에 기초하여 생성된 복수의 벡터 피쳐들을 포함하는 제2 비교 셋과 상기 제2 벡터 피쳐를 비교하고, 상기 제1 비교 셋과 상기 제1 벡터 피쳐의 제1 비교 결과 및 상기 제2 비교 셋과 상기 제2 벡터 피쳐의 제2 비교 결과에 기초하여, 상기 제1 반려동물과 상기 제2 반려동물이 동일한 객체인지 여부를 결정하도록 설정된 전자 장치가 개시된다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.Comprising: one or more memories storing instructions for performing a predetermined operation and at least one processor operatively connected to the one or more memories and configured to execute the instructions, wherein the at least one processor is configured to: Acquire this captured first image, generate a first vector feature based on the facial area included in the first image, and generate a first vector feature based on the facial area included in a plurality of pre-stored images of the second companion animal. Compare the first vector feature with a first comparison set including a plurality of vector features, generate a second vector feature based on the inscription area included in the first image, and Comparing the second vector feature with a second comparison set including a plurality of vector features generated based on inscription areas included in a plurality of images, and making a first comparison of the first comparison set and the first vector feature. An electronic device configured to determine whether the first companion animal and the second companion animal are the same object based on the result and the second comparison result of the second comparison set and the second vector feature is disclosed. In addition to this, various embodiments identified through the specification are possible.

Description

AI-based pet identity recognition method and its electronic device {AI-BASED PET IDENTITY RECOGNITION METHOD AND ELECTRONIC DEVICE THEREOF}

본 문서에서 개시되는 실시 예들은, AI에 기초한 사진 인식 기술과 관련된다.Embodiments disclosed in this document relate to AI-based photo recognition technology.

사진을 통해 동물을 인식하는 AI 기술은 특정 객체를 인식하지 않고, 동물의 종류를 인식시키는 정도에 머물러 있다. 예를 들어, 동물을 인식하는 AI 모듈은 동물의 사진이 주어지면, 사진 속의 동물이 개인지 고양이인지와 같은 동물의 종류를 인식할 수 있다.AI technology that recognizes animals through photos does not recognize specific objects, but only recognizes the type of animal. For example, given a photo of an animal, an AI module that recognizes animals can recognize the type of animal, such as whether the animal in the photo is a dog or a cat.

반려동물 시장이 커지면서 반려동물에 대한 관리의 필요성이 높아지고 다양한 비즈니스에 대한 수요도 늘어나면서, 반려동물에 대한 신원 정보 관리 시스템의 중요도가 높아지고 있다. 반려동물에 대한 신원 정보를 관리하기 위해서는 반려동물 각 객체를 인식할 수 있는 기술이 필요하다. 현재 객체 인식은 주로 반려동물에게 내장 칩을 통해 삽입함으로써 행해지고 있다.As the companion animal market grows, the need for companion animal management increases and the demand for various businesses increases, the importance of an identity information management system for companion animals is increasing. In order to manage identity information about companion animals, technology that can recognize each object of the companion animal is required. Currently, object recognition is mainly performed by inserting an internal chip into companion animals.

반려동물에 대한 신원 정보를 관리하기 위해서, 반려동물 각 객체를 인식할 수 있는 기술이 필요하고, 이 분야에 반려동물의 사진을 기초로 반려동물을 인식할 수 있도록 AI 및 딥 러닝 기술을 활용하고자 한다.In order to manage identity information about pets, technology is needed to recognize each pet object, and in this field, we want to utilize AI and deep learning technology to recognize pets based on their photos. do.

사진을 통해 개체를 인식하기 위해서는 각 개체의 고유성을 사진을 통해 구분할 수 있어야한다. 예를 들어, 개의 경우 같은 개라 하더라도 털의 모양이 달라지면 같은 개체로 인식되기 어려울 수 있고, 노화에 따라 얼굴이 계속 변하기 때문에 단순히 얼굴을 비교하는 것만으로는 개체 인식의 정확도가 떨어질 수 있다.In order to recognize an object through a photograph, the uniqueness of each object must be distinguishable through the photograph. For example, in the case of dogs, even if they are the same dog, if the shape of the fur changes, it may be difficult to recognize them as the same individual, and since the face continues to change with aging, the accuracy of object recognition may decrease simply by comparing faces.

본 문서에서 개시되는 다양한 실시 예들은, 반려동물의 신원 정보를 관리하는데 필요한 개체 인식 기능, 견종 인식 기능을 AI 딥러닝 기술을 통해 제공할 수 있는 전자 장치 및 방법을 제공하고자 한다.Various embodiments disclosed in this document are intended to provide electronic devices and methods that can provide object recognition functions and dog breed recognition functions necessary for managing the identity information of companion animals through AI deep learning technology.

본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 소정의 동작을 수행하도록 하는 명령어들을 저장하는 하나 이상의 메모리 및 상기 하나 이상의 메모리와 동작 가능하도록 연결되어 상기 명령어들을 실행하도록 설정된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 제1 반려동물이 촬영된 제1 이미지를 획득하고, 상기 제1 이미지에 포함된 얼굴 영역에 기초하여 제1 벡터 피쳐를 생성하고, 미리 저장된 제2 반려동물의 복수의 이미지들에 포함된 얼굴 영역에 기초하여 생성된 복수의 벡터 피쳐들을 포함하는 제1 비교 셋과 상기 제1 벡터 피쳐를 비교하고, 상기 제1 이미지에 포함된 비문 영역에 기초하여 제2 벡터 피쳐를 생성하고, 상기 미리 저장된 제2 반려동물의 복수의 이미지들에 포함된 비문 영역에 기초하여 생성된 복수의 벡터 피쳐들을 포함하는 제2 비교 셋과 상기 제2 벡터 피쳐를 비교하고, 상기 제1 비교 셋과 상기 제1 벡터 피쳐의 제1 비교 결과 및 상기 제2 비교 셋과 상기 제2 벡터 피쳐의 제2 비교 결과에 기초하여, 상기 제1 반려동물과 상기 제2 반려동물이 동일한 객체인지 여부를 결정하도록 설정될 수 있다.An electronic device according to an embodiment disclosed in this document includes one or more memories that store instructions for performing predetermined operations, and at least one processor operably connected to the one or more memories and configured to execute the instructions. It includes, wherein the at least one processor acquires a first image in which a first companion animal is photographed, generates a first vector feature based on a face area included in the first image, and pre-stores a second companion animal. Compare the first vector feature with a first comparison set including a plurality of vector features generated based on the facial area included in the plurality of images, and compare the first vector feature with a second comparison set based on the inscription area included in the first image. Generate a vector feature and compare the second vector feature with a second comparison set including a plurality of vector features generated based on an inscription area included in the plurality of pre-stored images of the second companion animal, and Based on the first comparison result of the first comparison set and the first vector feature and the second comparison result of the second comparison set and the second vector feature, the first companion animal and the second companion animal are the same object. It can be set to determine whether or not to recognize it.

또한, 본 문서에 개시되는 일 실시 예에 따른 제1 전자 장치 및 제2 전자 장치에 의하여 수행되는 방법은, 상기 제1 전자 장치가 제1 반려동물이 촬영된 제1 이미지를 획득하는 단계, 상기 제1 전자 장치가 상기 제1 이미지에 포함된 얼굴 영역에 기초하여 제1 벡터 피쳐를 생성하는 단계, 상기 제1 전자 장치가 상기 제2 전자 장치에 저장된 제2 반려동물의 복수의 이미지들에 포함된 얼굴 영역에 기초하여 생성된 복수의 벡터 피쳐들을 포함하는 제1 비교 셋과 상기 제1 벡터 피쳐를 비교하는 단계, 상기 제1 전자 장치가 상기 제1 이미지에 포함된 비문 영역에 기초하여 제2 벡터 피쳐를 생성하는 단계, 상기 제1 전자 장치가 상기 제2 전자 장치에 저장된 상기 제2 반려동물의 복수의 이미지들에 포함된 비문 영역에 기초하여 생성된 복수의 벡터 피쳐들을 포함하는 제2 비교 셋과 상기 제2 벡터 피쳐를 비교하는 단계 및 상기 제1 전자 장치가 상기 제1 비교 셋과 상기 제1 벡터 피쳐의 제1 비교 결과 및 상기 제2 비교 셋과 상기 제2 벡터 피쳐의 제2 비교 결과에 기초하여, 상기 제1 반려동물과 상기 제2 반려동물이 동일한 객체인지 여부를 결정하는 단계를 포함할 수 있다.In addition, a method performed by a first electronic device and a second electronic device according to an embodiment disclosed in this document includes the steps of: the first electronic device acquiring a first image in which a first companion animal is photographed; Generating, by a first electronic device, a first vector feature based on a facial area included in the first image, wherein the first electronic device is included in a plurality of images of a second companion animal stored in the second electronic device. Comparing the first vector feature with a first comparison set including a plurality of vector features generated based on the face area, wherein the first electronic device performs a second comparison set based on the inscription area included in the first image. Generating vector features, the first electronic device performing a second comparison including a plurality of vector features generated based on inscription areas included in the plurality of images of the second companion animal stored in the second electronic device. Comparing the set and the second vector feature, and the first electronic device performing a first comparison result of the first comparison set and the first vector feature and a second comparison of the second comparison set and the second vector feature. Based on the results, it may include determining whether the first companion animal and the second companion animal are the same object.

본 문서에 개시되는 실시 예들에 따르면, 전자 장치는 반려동물의 사진에 기초하여 견종 및 개체 인식을 수행할 수 있다. 이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.According to embodiments disclosed in this document, an electronic device can perform dog breed and individual recognition based on a photo of a companion animal. In addition, various effects that can be directly or indirectly identified through this document may be provided.

도 1은 일 실시 예에 따른 반려동물에 대한 신원 인식이 이루어지는 환경을 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 전자 장치의 블록도이다.
도 3은 일 실시 예에 따라 반려동물의 사진을 획득하고, 견종을 인식하는 방법을 설명하기 위한 순서도이다.
도 4a는 일 실시 예에 따라 반려동물의 견종 인식 결과를 보여주는 화면의 예시이다.
도 4b는 일 실시 예에 따라 확률 값이 조정된 반려동물의 견종 인식 결과를 보여주는 화면의 예시이다.
도 5은 일 실시 예에 따라 반려동물의 개별 개체를 인식하는 방법을 설명하기 위한 순서도이다.
도 6은 일 실시 예에 따라 개별 개체를 인식하기 위하여 사용되는 데이터를 설명하기 위한 도면이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.1 is a diagram illustrating an environment in which identity recognition of a companion animal occurs according to an embodiment.
Figure 2 is a block diagram of an electronic device according to an embodiment.
Figure 3 is a flowchart illustrating a method of obtaining a photo of a companion animal and recognizing a dog breed, according to an embodiment.
Figure 4a is an example of a screen showing the results of dog breed recognition of a companion animal according to one embodiment.
Figure 4b is an example of a screen showing the results of dog breed recognition of a companion animal with the probability value adjusted according to an embodiment.
Figure 5 is a flowchart illustrating a method for recognizing individual companion animals according to an embodiment.
FIG. 6 is a diagram illustrating data used to recognize individual entities according to an embodiment.
In relation to the description of the drawings, identical or similar reference numerals may be used for identical or similar components.

이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. Hereinafter, various embodiments of the present invention are described with reference to the accompanying drawings. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include various modifications, equivalents, and/or alternatives to the embodiments of the present invention.

도 1은 일 실시 예에 따른 반려동물에 대한 신원 인식이 이루어지는 환경을 설명하기 위한 도면이다.1 is a diagram illustrating an environment in which identity recognition of a companion animal occurs according to an embodiment.

신원 인식 시스템(10)은 반려동물에 대한 신원 정보를 관리하는 신원 식 서비스를 제공할 수 있다.신원 인식 시스템(10)은 전자 장치(100) 및 서버 장치(200)를 포함할 수 있다. 신원 인식 시스템(10)은 반려동물과 관련된 서비스를 제공하는 제3자(기업, 기관 등)에게 반려동물의 신원 정보를 제공할 수 있다. 제3자 전자 장치(300)는 상기 제3자에 의하여 반려동물과 관련된 서비스를 위하여 운영되는 장치로 이해될 수 있다. 제3자는 반려동물과 보호자가 제3자의 영업 장소(예: 병원, 카페 등)에 방문한 경우, 제3자 전자 장치(300)를 이용하여 방문한 반려동물을 촬영하고, 반려동물의 신원을 조회할 수 있다.The identity recognition system 10 may provide an identity service that manages identity information about companion animals. The identity recognition system 10 may include an electronic device 100 and a server device 200. The identity recognition system 10 can provide the companion animal's identity information to a third party (companies, institutions, etc.) that provides companion animal-related services. The third-party electronic device 300 can be understood as a device operated by the third party to provide services related to companion animals. When a pet and its guardian visit a third party's business location (e.g., hospital, cafe, etc.), a third party may use a third-party electronic device 300 to photograph the visiting pet and check the pet's identity. You can.

전자 장치(100)는 반려동물의 보호자가 사용하는 장치로 이해될 수 있다. 보호자는 전자 장치(100)를 통해 반려동물을 촬영할 수 있고, 촬영된 반려동물의 사진은 반려동물의 신원 인식에 사용될 수 있다. 촬영된 사진은 전자 장치(100) 및 서버 장치(200)에 저장될 수 있다.The electronic device 100 can be understood as a device used by the guardian of a companion animal. The guardian can take a picture of the pet through the electronic device 100, and the captured picture of the pet can be used to recognize the pet's identity. The captured photo may be stored in the electronic device 100 and the server device 200.

전자 장치(100) 및 제3자 전자 장치(300)는 촬영된 이미지를 기초로 개체 인식 및 견종 인식을 수행할 수 있다. 개체 인식 및 견종 인식을 위해서 전자 장치(100)는 전자 장치(100) 및 제3자 전자 장치(300)에 설치된 인공 신경망 모델(artificial neural network model)을 이용할 수 있다.The electronic device 100 and the third-party electronic device 300 may perform object recognition and dog breed recognition based on the captured image. For entity recognition and dog breed recognition, the electronic device 100 may use an artificial neural network model installed in the electronic device 100 and the third-party electronic device 300.

서버 장치(200)는 신원 인식 시스템(10)의 신원 인식 서비스를 위하여 운영되는 장치로 이해될 수 있다. 서버 장치(100)는 신원 인식 서비스를 제공할 대상인 반려동물의 신원 정보를 저장할 수 있다. 신원 정보는 예를 들어, 반려동물의 이름, 나이, 성별, 이미지, 이미지에 대한 분석 결과를 포함할 수 있다. 서비스 서버 장치(100)는 전자 장치(100) 및 제3자 전자 장치(300)에 설치된 인공 신경망 모델을 관리, 갱신 할 수 있다.The server device 200 may be understood as a device operated for the identity recognition service of the identity recognition system 10. The server device 100 may store identity information of a companion animal for which an identity recognition service is to be provided. Identity information may include, for example, the pet's name, age, gender, image, and image analysis results. The service server device 100 can manage and update artificial neural network models installed in the electronic device 100 and the third-party electronic device 300.

도 2는 일 실시 예에 따른 전자 장치의 블록도이다. 도 2를 통해 전자 장치(100)의 블록도만을 도시하였으나 제3자 전자 장치(300)도 전자 장치(100)와 동일한 블록도를 가질 수 있다. 이하 제3자 전자 장치(300)에 대한 설명은 전자 장치(100)에 대한 설명으로 갈음한다.Figure 2 is a block diagram of an electronic device according to an embodiment. Although only the block diagram of the electronic device 100 is shown in FIG. 2, the third-party electronic device 300 may also have the same block diagram as the electronic device 100. Hereinafter, the description of the third-party electronic device 300 will be replaced with the description of the electronic device 100.

도 2를 참조하면, 전자 장치(100)는 프로세서(110), 메모리(120), 통신 인터페이스(130), 카메라(140), 디스플레이(150)를 포함할 수 있다. 프로세서(110)는 전자 장치(100)의 동작 전반을 제어할 수 있다. 전자 장치 (100)는 통신 인터페이스(130)를 통하여 서버 장치(200) 및 제3자 전자 장치(300)와 데이터를 송수신할 수 있다.Referring to FIG. 2 , the electronic device 100 may include a processor 110, a memory 120, a communication interface 130, a camera 140, and a display 150. The processor 110 can control the overall operation of the electronic device 100. The electronic device 100 can transmit and receive data with the server device 200 and a third-party electronic device 300 through the communication interface 130.

메모리(120)는 어플리케이션(122)을 저장할 수 있다. 전자 장치(100)는 어플리케이션(122)을 실행시키고 반려동물에 대한 신원 인식 서비스를 이용할 수 있다. 전자 장치(100)는 어플리케이션(122)의 실행 화면을 디스플레이(150)를 통하여 출력할 수 있다. 어플리케이션(122)는 서버 장치(200)의 운영자에 의하여 제공된 것으로 이해될 수 있다.Memory 120 may store an application 122. The electronic device 100 can execute the application 122 and use an identity recognition service for a companion animal. The electronic device 100 may output an execution screen of the application 122 through the display 150 . The application 122 may be understood as being provided by the operator of the server device 200.

어플리케이션(122)이 설치되면, 전자 장치(100)에는 제1 신경망 모델(124) 및 제2 신경망 모델(126)이 설치될 수 있다. 제1 신경망 모델(124)은 반려동물의 이미지를 기초로 반려동물의 견종을 분석하는 모델로 이해될 수 있다. 제2 신경망 모델(126)은 새롭게 획득된 반려동물의 이미지를 기초로, 상기 반려동물과 미리 등록된 반려동물과 동일한 개체인지 여부, 즉 개별 개체를 식별하는 모델로 이해될 수 있다. 제1 신경망 모델(124)은 주로 전자 장치(100)에 의하여 사용될 수 있고, 제2 신경망 모델(126)은 주로 제3자 전자 장치(300)에 의하여 사용될 수 있다. 서버 장치(200)는 제1 신경망 모델(124) 및 제2 신경망 모델(126)을 어플리케이션(122)을 통해 업데이트함으로써 관리할 수 있다.When the application 122 is installed, the first neural network model 124 and the second neural network model 126 may be installed in the electronic device 100. The first neural network model 124 can be understood as a model that analyzes the breed of a companion animal based on the image of the companion animal. The second neural network model 126 can be understood as a model that identifies individual objects, that is, whether the companion animal is the same as a pre-registered companion animal, based on the newly acquired image of the companion animal. The first neural network model 124 may be mainly used by the electronic device 100, and the second neural network model 126 may be mainly used by the third-party electronic device 300. The server device 200 may manage the first neural network model 124 and the second neural network model 126 by updating them through the application 122.

일 실시 예에서, 제1 신경망 모델(124)은 보호자의 신원 인증 서비스에 대한 가입 과정에서 사용될 수 있다. 전자 장치(100)는 카메라(140)를 통해 반려동물의 이미지를 획득할 수 있다. 전자 장치(100)는 획득된 이미지 및 제1 신경망 모델(124)을 기초로 반려동물의 견종을 분석하고, 분석 결과(견종 정보)를 디스플레이(150)를 통해 출력할 수 있다. 획득된 이미지 및 분석 결과는 반려동물 DB(128)에 저장될 수 있다. 다양한 실시 예에서, 획득된 이미지 및 분석 결과는 서버 장치(200)에 반려동물의 신원 정보로서 저장될 수 있다. 자세한 설명은 도 3 및 4를 통해 후술한다.In one embodiment, the first neural network model 124 may be used in the process of signing up for the guardian's identity authentication service. The electronic device 100 may acquire an image of a companion animal through the camera 140. The electronic device 100 may analyze the dog breed of the companion animal based on the acquired image and the first neural network model 124, and output the analysis result (dog breed information) through the display 150. The acquired images and analysis results may be stored in the companion animal DB 128. In various embodiments, the acquired images and analysis results may be stored in the server device 200 as identification information of the companion animal. A detailed explanation will be provided later with reference to FIGS. 3 and 4.

일 실시 예에서, 제2 신경망 모델(126)은 제3자가 신원 인증 서비스를 통해서 임의의 반려동물의 신원을 조회하는 과정에서 사용될 수 있다. 제3자 전자 장치(100)는 카메라(140)를 통해 임의의 반려동물의 사진을 획득하고, 획득된 이미지 및 제2 신경망 모델(126)을 기초로 상기 반려동물이 미리 등록된 반려동물과 동일한 개체인지 여부를 판단할 수 있다. 양자가 동일한 개체로 판단되는 경우, 미리 등록된 반려동물의 신원 정보를 통해 상기 반려동물의 신원을 조회할 수 있다.In one embodiment, the second neural network model 126 can be used by a third party to check the identity of a random companion animal through an identity authentication service. The third-party electronic device 100 acquires a photo of an arbitrary companion animal through the camera 140, and based on the acquired image and the second neural network model 126, determines that the companion animal is the same as the pre-registered companion animal. You can determine whether it is an object or not. If both are determined to be the same entity, the identity of the companion animal can be searched through the companion animal's previously registered identity information.

다양한 실시 예에서, 제1 신경망 모델(124)은 임의의 반려동물의 신원을 조회하는 과정에서도 이용될 수 있다. 예를 들어, 제3자 전자 장치(100)는 제2 신경망 모델(126)을 기초로 판단한 결과 상기 반려동물이 미리 등록된 반려동물과 동일한 개체인지 판단하기에 부족한 경우에는, 임의의 반려동물에 대한 견종 인식 결과와 미리 등록된 반려동물의 견종 정보를 더 비교할 수 있다. 견종 비교 결과는 동일한 개체인지 여부를 판단하는데 보조적으로 사용될 수 있다.In various embodiments, the first neural network model 124 may also be used in the process of checking the identity of an arbitrary companion animal. For example, if the third-party electronic device 100 determines based on the second neural network model 126 is insufficient to determine whether the companion animal is the same as a pre-registered companion animal, the third-party electronic device 100 may select a random companion animal. You can further compare the dog breed recognition results with the dog breed information of pre-registered pets. The results of comparing dog breeds can be used as an aid in determining whether they are the same dog.

도 3은 일 실시 예에 따라 전자 장치(100)가 반려동물의 사진을 획득하고, 견종을 인식하는 방법을 설명하기 위한 순서도이다. 도 4a는 일 실시 예에 따라 반려동물의 견종 인식 결과를 보여주는 화면의 예시이다. 이하, 도 3 및 도 4a를 참조하여 견종을 인식하는 방법을 설명한다. 도 3 및 도 4a에서 설명되는 전자 장치(100)의 동작들은 제1 신경망 모델(124)을 이용하여 수행될 수 있고, 제3자 전자 장치(300)에 의하여도 동일한 동작들이 수행될 수 있다. FIG. 3 is a flowchart illustrating a method by which the electronic device 100 obtains a photo of a companion animal and recognizes the dog breed, according to an embodiment. Figure 4a is an example of a screen showing the results of dog breed recognition of a companion animal according to one embodiment. Hereinafter, a method for recognizing a dog breed will be described with reference to FIGS. 3 and 4A. The operations of the electronic device 100 described in FIGS. 3 and 4A may be performed using the first neural network model 124, and the same operations may be performed by a third-party electronic device 300.

전자 장치(100)는 반려동물이 촬영된 이미지를 획득할 수 있다(3010). 전자 장치(100)는 상기 이미지로부터 반려동물의 얼굴 영역을 검출할 수 있다(3020).The electronic device 100 may acquire an image of a companion animal (3010). The electronic device 100 may detect the facial area of the companion animal from the image (3020).

일 실시 예에서, 제1 신경망 모델(124)은 소정의 얼굴 검출(Face Detection) 모델을 포함할 수 있다. 소정의 얼굴 검출 모델은 이진 분류(Binary Classification) 모델일 수 있다. 예를 들어, 제1 신경망 모델(124)는 개의 얼굴이 포함된 사진을 포지티브 세트(Positive Set), 잘못 찍힌 사진을 네거티브 세트(Negative Set)로 하여 학습될 수 있다. 잘못 찍힌 사진은 예를 들어, 개의 얼굴의 일부만 포함된 사진, 다른 동물이 찍힌 사진, 흔들린 사진 등일 수 있다. 네거티브 세트에는 개의 얼굴이 검출되기 어려운 유형의 사진들이 추가될 수 있다. In one embodiment, the first neural network model 124 may include a certain face detection model. The predetermined face detection model may be a binary classification model. For example, the first neural network model 124 may be learned by using photos containing a dog's face as a positive set and incorrectly taken photos as a negative set. Badly taken photos may, for example, include only part of a dog's face, photos of other animals, or blurry photos. Types of photos in which the dog's face is difficult to detect can be added to the negative set.

전자 장치(100)는 상기 소정의 얼굴 검출 모델에 기초하여 상기 이미지에 포함된 얼굴 영역이 검출될 확률이 기 정해진 값 이상인지 여부를 판단할 수 있다(3030). 예를 들어, 제1 신경망 모델(124)은 상기 소정의 얼굴 알고리즘에 기초하여 상기 이미지가 포지티브 세트에 속할 확률이 0.7 이상인 경우에만, 견종 분석을 하도록 설정될 수 있다. The electronic device 100 may determine whether the probability of detecting a face area included in the image is greater than or equal to a predetermined value based on the predetermined face detection model (3030). For example, the first neural network model 124 may be set to analyze the dog breed only when the probability that the image belongs to the positive set is 0.7 or more based on the predetermined face algorithm.

전자 장치(100)는 상기 확률 값이 기 정해진 값 미만인 경우, 재촬영을 요청하는 알람을 디스플레이(150)를 통해 출력할 수 있다. 예를 들어, 반려동물의 얼굴 인식을 위해서는 반려동물의 얼굴 정면이 촬영되어야하는데 옆모습이 촬영되었다거나, 사진이 흔들리거나 화질이 낮아 얼굴 검출이 어려운 경우, 검출된 얼굴의 신뢰도가 낮을 수 있다. 신뢰도가 기 정해진 값 미만인 경우, 전자 장치(100)는 견종 분석을 시작하지 않고, 사용자로 하여금 재 촬영을 하도록 할 수 있다.If the probability value is less than a predetermined value, the electronic device 100 may output an alarm requesting rephotography through the display 150. For example, in order to recognize a pet's face, the front of the pet's face must be photographed, but if a side view is photographed, or if the photograph is shaky or the image quality is low, and it is difficult to detect the face, the reliability of the detected face may be low. If the reliability is less than a predetermined value, the electronic device 100 may not start the dog breed analysis and may allow the user to take a rephotograph.

전자 장치(100)는 얼굴 영역이 검출될 확률이 기 정해진 값 이상인 경우, 상기 이미지에서 검출된 얼굴 영역에 기초하여 견종 분석 결과를 생성할 수 있다(3040). When the probability of detecting a face area is greater than or equal to a predetermined value, the electronic device 100 may generate a dog breed analysis result based on the face area detected in the image (3040).

일 실시 예에서, 제1 신경망 모델(124)은 소정의 다중 클래스 분류(Multi-class Classification) 모델을 포함할 수 있다. 예를 들어, 분류하고자 하는 견종의 개수가 N개인 경우, 상기 소정의 다중 클래스 분류 모델은 N가지의 각각의 견종의 복수의 이미지 데이터 셋을 기초로 학습될 수 있다. 다중 클래스 분류 모델은 견종 이름과 각 견종에 속할 확률 값을 포함하는 결과 값을 생성할 수 있다.In one embodiment, the first neural network model 124 may include a predetermined multi-class classification model. For example, when the number of dog breeds to be classified is N, the predetermined multi-class classification model can be learned based on a plurality of image data sets of each of the N dog breeds. A multi-class classification model can generate results that include the dog breed name and the probability of belonging to each breed.

일 실시 예에서, 견종 분석 결과는 가장 확률이 높은 상위 2개 이상의 견종(클래스)와 확률 값을 포함할 수 있다. 예를 들어, 견종 분석 결과는 제1 클래스, 견종이 상기 제1 클래스에 속할 확률인 제1 확률 값, 제2 클래스, 견종이 상기 제2 클래스에 속할 확률인 제2 확률 값을 포함할 수 있다. 상기 제1 클래스 및 상기 제2 클래스는 확률이 높은 상위 2개의 견종에 해당하는 클래스로 이해될 수 있다. 전자 장치(100)는 가장 확률이 높은 제1 확률 값을 가진 제1 클래스를 반려동물의 견종 정보로 결정할 수 있다(3050).In one embodiment, the dog breed analysis result may include the top two or more dog breeds (classes) with the highest probability and a probability value. For example, the dog breed analysis result may include a first class, a first probability value indicating the probability that the dog species belongs to the first class, and a second class, a second probability value indicating the probability that the dog species belongs to the second class. . The first class and the second class can be understood as classes corresponding to the top two dog breeds with high probability. The electronic device 100 may determine the first class with the highest first probability value as the companion animal's breed information (3050).

도 4a를 참조하면, 각 반려동물의 이미지(410, 420, 430, 440)에 대해 가장 확률이 높은 상위 3개의 견종과 확률 값(415, 425, 435, 445)을 표시하고 있다. 예를 들어, 이미지(410)을 살펴보면 견종이 시바이누일 확률이 0.71, 말라뉴트일 확률이 0.03, 에스키모 도그일 확률이 0.02로 분석되었다(415). 이때 전자 장치(100)는 시바이누를 이미지(410)에 대한 견종 정보로 결정할 수 있다. 전자 장치(100)는 결정된 견종 종류와 확률 값을 디스플레이(150)를 통해 출력할 수 있다.Referring to Figure 4a, the top three dog breeds with the highest probability and probability values (415, 425, 435, 445) for each companion animal image (410, 420, 430, 440) are displayed. For example, looking at the image 410, the probability that the dog breed was a Shibainu was 0.71, the probability that it was a Malaute was 0.03, and the probability that it was an Eskimo dog was analyzed as 0.02 (415). At this time, the electronic device 100 may determine Shibainu as the dog breed information for the image 410. The electronic device 100 may output the determined dog breed type and probability value through the display 150.

다양한 실시 예에 따른 동작 3050에서, 제1 확률 값과 제2 확률 값이 동일하거나 유사할 수 있다. 예를 들어, 반려동물은 순종(purebred) 또는 잡종(crossbred)일 수 있고, 반려동물이 잡종인 경우에 상위 2개 클래스의 확률 값이 유사하게 도출될 수 있다. 이 경우 보호자에게 순종과 유사한 분석 결과를 제공하기 위하여, 전자 장치(100)는 제1 확률 값 및 제2 확률 값을 조정할 수 있다.In operation 3050 according to various embodiments, the first probability value and the second probability value may be the same or similar. For example, the companion animal may be purebred or crossbred, and if the companion animal is a crossbreed, the probability values of the top two classes may be derived similarly. In this case, in order to provide analysis results similar to obedience to the guardian, the electronic device 100 may adjust the first probability value and the second probability value.

도 4b는 일 실시 예에 따라 확률 값이 조정된 반려동물의 견종 인식 결과를 보여주는 화면의 예시이다.Figure 4b is an example of a screen showing the results of dog breed recognition of a companion animal with the probability value adjusted according to an embodiment.

일 실시 예에서, 전자 장치(100)는 상기 제1 확률 값 및 상기 제2 확률 값의 차이가 미리 정해진 값 이하인 경우, 확률 값이 더 큰 상기 제1 확률 값은 더 크게, 상기 제2 확률 값은 더 작게 조정할 수 있다.In one embodiment, when the difference between the first probability value and the second probability value is less than or equal to a predetermined value, the first probability value with a larger probability value is set to be larger, and the second probability value is set to be larger. can be adjusted smaller.

예를 들어, 제1 신경망 모델(122)상의 기 소정의 다중 클래스 분류 알고리즘은 소프트맥스 함수일 수 있다. 제1 신경망 모델(122)은 상기 제1 확률 값 및 상기 제2 확률 값의 차이가 미리 정해진 값 이하인 경우, 상기 소프트맥스 함수의 템퍼러쳐 파라미터(T, temperature parameter)를 이용하도록 구현될 수 있다.For example, the predetermined multi-class classification algorithm on the first neural network model 122 may be a softmax function. The first neural network model 122 may be implemented to use the temperament parameter (T, temperature parameter) of the softmax function when the difference between the first probability value and the second probability value is less than or equal to a predetermined value.

도 4b를 참조하면, 두 반려동물의 이미지(450, 460)에 대하여 가장 확률이 높은 상위 3개의 견종에 대한 확률 값 사이의 차이가 매우 작을 경우, 조정전 확률 값과 조정 후 확률 값을 나타내는 그래프(452, 462)와 조정 후의 확률 값(455, 465)을 표시하고 있다. 예를 들어, 이미지(450)에 대한 그래프(452)와 결과 값(455)를 살펴보면 견종이 말티즈일 확률, 푸들일 확률, 비숑 프리제일 확률이 모두 약 0.1로 유사하였으나(softmax), 소프트맥스 함수의 템퍼러쳐 파라미터를 0.5로 설정한 후에, 각각의 확률 값이 0.36, 0.2, 0.29로 조정되었음을 알 수 있다(softmax_shrpen(T=0.5)). 이미지(460)에 대한 그래프(462)와 결과 값(455)를 살펴보면 견종이 잉글리시 세터(English setter)일 확률, 잉글리시 스프링어 스패니얼(English springer spaniel)일 확률, 잉글리시 코커 스패니얼(English cocker spaniel)일 확률이 0.25, 0.15, 0.02 로 차이가 0.1 이하였으나(softmax), 소프트맥스 함수의 템퍼러쳐 파라미터를 0.5로 설정한 후에, 각각의 확률이 0.77, 0.19, 0.00 으로 조정되었음을 알 수 있다(softmax_shrpen(T=0.5)).Referring to Figure 4b, when the difference between the probability values for the top three dog breeds with the highest probability for the two companion animal images 450 and 460 is very small, it is a graph showing the probability value before adjustment and the probability value after adjustment. (452, 462) and the probability values after adjustment (455, 465) are displayed. For example, looking at the graph 452 and the result value 455 for the image 450, the probability that the dog breed is a Maltese, a poodle, and a Bichon Frise are all similar at about 0.1 (softmax), but the softmax function It can be seen that after setting the temperature parameter to 0.5, each probability value was adjusted to 0.36, 0.2, and 0.29 (softmax_shrpen(T=0.5)). Looking at the graph 462 and the result value 455 for the image 460, the probability that the dog breed is an English setter, an English springer spaniel, and an English cocker spaniel. The probabilities were 0.25, 0.15, and 0.02, and the difference was less than 0.1 (softmax), but after setting the tamper parameter of the softmax function to 0.5, the respective probabilities were adjusted to 0.77, 0.19, and 0.00 (softmax_shrpen(T =0.5)).

다양한 실시 예에서, 상기 이미지 및 분석 결과는 반려동물에 대한 신원 정보 중 하나로서 전자 장치(100) 및/또는 서버 장치(200)에 저장될 수 있다. 전자 장치(100)는 반려동물에 대한 신원 정보로서 상기 반려동물에 대한 복수의 이미지들은 획득할 수 있다. 복수의 이미지들은 상기 반려동물의 얼굴을 포함할 수 있다. 상기 복수의 이미지들은 상기 반려동물을 인식하는데, 즉 개별 개체 인식에 이용될 수 있다. 이하 도 5 및 도 6을 통해 후술한다.In various embodiments, the image and analysis results may be stored in the electronic device 100 and/or the server device 200 as one of the identification information about the companion animal. The electronic device 100 may obtain a plurality of images of the companion animal as identification information about the companion animal. The plurality of images may include the face of the companion animal. The plurality of images can be used to recognize the companion animal, that is, to recognize individual objects. This will be described later with reference to FIGS. 5 and 6.

도 5는 일 실시 예에 따라 반려동물 개별 개체를 인식하는 방법을 설명하기 위한 순서도이다. 도 6은 일 실시 예에 따라 개별 개체를 인식하기 위하여 사용되는 데이터를 설명하기 위한 도면이다. 이하 도 5 및 도 6을 참조하여, 반려동물 개별 개체를 인식하는 방법을 설명한다. 제3자가 신원 인증 서비스를 통해서 임의의 반려동물의 신원을 조회하는 과정에서 사용될 수 있다. 도 5 및 도 6에서 설명되는 제3 전자 장치(300)의 동작들은 제2 신경망 모델(126)을 이용하여 수행될 수 있고, 전자 장치(100)에 의하여도 동일한 동작들이 수행될 수 있다.Figure 5 is a flowchart illustrating a method for recognizing individual companion animals according to an embodiment. FIG. 6 is a diagram illustrating data used to recognize individual entities according to an embodiment. Hereinafter, a method for recognizing individual companion animals will be described with reference to FIGS. 5 and 6. It can be used by a third party to check the identity of any companion animal through an identity authentication service. The operations of the third electronic device 300 described in FIGS. 5 and 6 may be performed using the second neural network model 126, and the same operations may be performed by the electronic device 100.

일 실시 예에서, 제2 신경망 모델(126)은 소정의 개 얼굴 인증 및 인식(Dog Face Verification and Recognition) 모델을 포함할 수 있다. 개 얼굴 인증 및 인식 모델은 이미지에서 개의 얼굴을 검출하고, 검출된 얼굴 영역을 기초로 상기 얼굴에 대응하는 N차원 벡터 피쳐를 생성할 수 있다.In one embodiment, the second neural network model 126 may include a predetermined Dog Face Verification and Recognition model. The dog face authentication and recognition model can detect a dog's face in an image and generate an N-dimensional vector feature corresponding to the face based on the detected face area.

일 실시 예에서, 전자 장치(100)는 반려동물에 대한 신원 정보로서 상기 반려동물에 대한 복수의 이미지들은 획득할 수 있다. 복수의 이미지들은 상기 반려동물의 얼굴 영역을 포함할 수 있다. 전자 장치(100)는 제2 신경망 모델(126) 및 상기 복수의 이미지들의 얼굴 영역을 기초로 제1 복수의 벡터 피쳐를 생성할 수 있다. 상기 제1 복수의 벡터 피쳐는 상기 반려동물의 개체 인식을 위한 제1 비교 셋으로 이용될 수 있다. 상기 제1 비교 셋은 전자 장치(100)의 반려동물 DB(128) 및/또는 서버(200)에 저장될 수 있다. 상기 제1 비교 셋은 상기 반려동물에 대한 개체 인식을 하기 위한 레퍼런스 데이터로 이용될 수 있다.In one embodiment, the electronic device 100 may obtain a plurality of images of the companion animal as identification information about the companion animal. The plurality of images may include a facial area of the companion animal. The electronic device 100 may generate a first plurality of vector features based on the second neural network model 126 and the facial areas of the plurality of images. The first plurality of vector features may be used as a first comparison set for individual recognition of the companion animal. The first comparison set may be stored in the companion animal DB 128 and/or the server 200 of the electronic device 100. The first comparison set can be used as reference data for individual recognition of the companion animal.

일 실시 예에서, 제2 신경망 모델(126)은 소정의 개 비문 인식(Nose-Print Identification) 모델을 포함할 수 있다. 개 비문 인식 모델은 개 얼굴 인증 및 인식 모델에 의하여 검출된 얼굴 영역으로부터 비문 영역을 검출하고, 상기 검출된 비문 영역을 기초로 상기 비문에 대응하는 N차원 벡터 피쳐를 생성할 수 있다.In one embodiment, the second neural network model 126 may include a predetermined nose-print identification model. The dog inscription recognition model can detect an inscription area from the face area detected by the dog face authentication and recognition model, and generate an N-dimensional vector feature corresponding to the inscription based on the detected inscription area.

일 실시 예에서, 전자 장치(100)는 상기 제1 비교 셋의 기초가 된 상기 복수의 이미지들의 얼굴 영역으로부터 비문 영역을 검출할 수 있다. 전자 장치(100)는 제2 신경망 모델(126) 및 복수의 이미지들의 비문 영역을 기초로 제2 복수의 벡터 피쳐를 생성할 수 있다. 상기 제2 복수의 벡터 피쳐는 상기 반려동물의 개체 인식을 위한 제2 비교 셋으로 이용될 수 있다. 상기 제2 비교 셋은 전자 장치(100)의 반려동물 DB(128) 및/또는 서버(200)에 저장될 수 있다. 상기 제2 비교 셋은 상기 반려동물에 대한 개체 인식을 하기 위한 레퍼런스 데이터로 이용될 수 있다.In one embodiment, the electronic device 100 may detect an inscription area from the face area of the plurality of images that are the basis of the first comparison set. The electronic device 100 may generate a second plurality of vector features based on the second neural network model 126 and the inscription areas of the plurality of images. The second plurality of vector features may be used as a second comparison set for individual recognition of the companion animal. The second comparison set may be stored in the companion animal DB 128 and/or the server 200 of the electronic device 100. The second comparison set can be used as reference data for individual recognition of the companion animal.

도 6을 참조하면, 전자 장치(100)의 디스플레이(150)를 통해 상기 복수의 이미지들 중 하나의 이미지(600)로부터 제1 비교셋, 제2 비교셋을 생성하는 예시가 도시되었다. 전자 장치(100)는 이미지(600)으로부터 얼굴 영역(610)을 검출하고, 상기 얼굴 영역(610)에 대한 N차원 벡터 피쳐를 생성할 수 있다. 상기 얼굴 영역(610)의 이미지와 상기 얼굴 영역(610)에 대한 N차원 벡터 피쳐는 전자 장치(100)의 반려동물 DB(128) 및/또는 서버(200)에 제1 비교 셋(128-1)으로서 저장될 수 있다. 전자 장치(100)는 얼굴 영역(610)으로부터 비문 영역(620)을 검출하고, 상기 비문 영역(620)에 대한 N차원 벡터 피쳐를 생성할 수 있다. 상기 비문 영역(620)의 이미지와 상기 비문 영역(620)에 대한 N차원 벡터 피쳐는 반려동물 DB(128) 및/또는 서버(200)에 제2 비교 셋(128-2)으로서 저장될 수 있다.Referring to FIG. 6 , an example of generating a first comparison set and a second comparison set from one image 600 of the plurality of images through the display 150 of the electronic device 100 is shown. The electronic device 100 may detect a face area 610 from the image 600 and generate an N-dimensional vector feature for the face area 610. The image of the face area 610 and the N-dimensional vector feature for the face area 610 are stored in the companion animal DB 128 and/or the server 200 of the electronic device 100 in a first comparison set 128-1. ) can be stored as. The electronic device 100 may detect the inscription area 620 from the face area 610 and generate an N-dimensional vector feature for the inscription area 620. The image of the inscription area 620 and the N-dimensional vector feature for the inscription area 620 may be stored as a second comparison set 128-2 in the companion animal DB 128 and/or server 200. .

다양한 실시 예에서, 제3자 전자 장치(300)의 카메라(140)는 초점이 서로 다른 복수 개의 렌즈를 포함할 수 있다. 이 경우 초점 거리가 짧고 화각이 넓게 촬영되는 렌즈(예: 광각 렌즈)로 촬영된 이미지로부터 얼굴 영역(610)을 추출하고, 초점 거리가 길고 화각이 좁게 촬영되는 렌즈(예: 망원 렌즈)로 촬영된 이미지로부터 비문 영역(620)을 추출할 수 있다. 이를 통해 보다 해상도가 높은 비문 영역(620)에 대한 이미지를 얻을 수 있다. In various embodiments, the camera 140 of the third-party electronic device 300 may include a plurality of lenses with different focuses. In this case, the face area 610 is extracted from an image captured with a lens with a short focal length and a wide angle of view (e.g., a wide-angle lens), and the face area 610 is extracted with a lens with a long focal length and a narrow angle of view (e.g., a telephoto lens). The inscription area 620 can be extracted from the image. Through this, it is possible to obtain an image of the inscription area 620 with higher resolution.

제3자 전자 장치(300)는 신원 조회를 하고자 하는 제1 반려동물이 촬영된 제1 이미지를 획득할 수 있다(5010). 예를 들어, 제3자는 업체에 방문한 반려동물의 신원을 조회하기 위하여 제3자 전자 장치(300)를 통해 촬영하고, 제3자 전자 장치(300)는 제1 반려동물이 촬영된 제1 이미지를 획득할 수 있다. 제3자 전자 장치(300)는 제1 이미지에 포함된 얼굴 영역이 검출될 확률이 기 정해진 값 미만인 경우, 재촬영을 요청하는 알람을 출력할 수 있다(상술된 도 3의 단계 3010 내지 3030).The third-party electronic device 300 may acquire a first image in which a first companion animal for which an identity check is to be performed (5010). For example, a third party takes pictures through the third party electronic device 300 to check the identity of a pet that has visited the business, and the third party electronic device 300 captures the first image of the first pet. can be obtained. If the probability of detecting the face area included in the first image is less than a predetermined value, the third-party electronic device 300 may output an alarm requesting rephotography (steps 3010 to 3030 of FIG. 3 described above). .

제3자 전자 장치(300)는 상기 제1 이미지에 포함된 얼굴 영역에 기초하여 제1 벡터 피쳐를 생성할 수 있다(5020, 5030). 제3자 전자 장치(100)는 제1 이미지로부터 얼굴 영역을 검출하고, 검출된 얼굴 영역을 기초로 제1 벡터 피쳐를 생성할 수 있다.The third-party electronic device 300 may generate a first vector feature based on the facial area included in the first image (5020, 5030). The third-party electronic device 100 may detect a face area from the first image and generate a first vector feature based on the detected face area.

제3자 전자 장치(300)는 미리 저장된 제2 반려동물의 복수의 이미지들에 포함된 얼굴 영역에 기초하여 생성된 복수의 벡터 피쳐들을 포함하는 제1 비교 셋(128-1)과 상기 제1 벡터 피쳐를 비교할 수 있다(5040). The third-party electronic device 300 includes a first comparison set 128-1 including a plurality of vector features generated based on a facial area included in a plurality of pre-stored images of the second companion animal and the first comparison set 128-1. Vector features can be compared (5040).

제3자 전자 장치(300)는 상기 제1 이미지에 포함된 비문 영역에 기초하여 제2 벡터 피쳐를 생성하고(5050, 5060), 상기 미리 저장된 제2 반려동물의 복수의 이미지들에 포함된 비문 영역에 기초하여 생성된 복수의 벡터 피쳐들을 포함하는 제2 비교 셋(128-2)과 상기 제2 벡터 피쳐를 비교할 수 있다(5070).The third-party electronic device 300 generates a second vector feature based on the inscription area included in the first image (5050, 5060), and the inscription included in the plurality of pre-stored images of the second companion animal. The second vector feature may be compared with a second comparison set 128-2 including a plurality of vector features generated based on the region (5070).

예를 들어, 제3자 전자 장치(300)는 신원 인증 서비스에 등록된 보호자(전자 장치(100)의 소유자)의 아이디 혹은 제2 반려동물의 아이디에 기초하여, 상기 전자 장치(100)와 통신 채널을 형성하고, 상기 통신 채널을 통해 제1 비교 셋(128-1) 및 제2 비교 셋(128-2)을 전송받을 수 있다. 또는 제3자 전자 장치(100)는 신원 인증 서비스에 등록된 보호자(전자 장치(100)의 소유자)의 아이디 혹은 제2 반려동물의 아이디에 기초하여, 서버 장치(200)에 접속하여 제1 비교 셋(128-1) 및 제2 비교 셋(128-2)을 다운받을 수 있다.For example, the third-party electronic device 300 communicates with the electronic device 100 based on the ID of the guardian (owner of the electronic device 100) registered in the identity authentication service or the ID of the second companion animal. A channel can be formed, and the first comparison set 128-1 and the second comparison set 128-2 can be transmitted through the communication channel. Alternatively, the third-party electronic device 100 may access the server device 200 and perform a first comparison based on the ID of the guardian (owner of the electronic device 100) registered in the identity authentication service or the ID of the second companion animal. You can download the set (128-1) and the second comparison set (128-2).

제3자 전자 장치(300)는 상기 제1 비교 셋(128-1)과 상기 제1 벡터 피쳐의 제1 비교 결과 및 상기 제2 비교 셋(128-2)과 상기 제2 벡터 피쳐의 제2 비교 결과에 기초하여, 상기 반려동물과 상기 미리 저장된 반려동물이 동일한 객체인지 여부를 결정할 수 있다.The third-party electronic device 300 may compare a first comparison result between the first comparison set 128-1 and the first vector feature and a second comparison result between the second comparison set 128-2 and the second vector feature. Based on the comparison result, it may be determined whether the companion animal and the pre-stored companion animal are the same object.

다양한 실시 예에서, 제1 비교 셋(128-1) 및 제2 비교 셋(128-2)에 저장된 복수개의 벡터 피쳐들은 가우시안 분포 모델링 되어 제1 가우시안 분포 모델 및 제2 가우시안 분포 모델로 저장될 수 있다.In various embodiments, a plurality of vector features stored in the first comparison set 128-1 and the second comparison set 128-2 may be modeled with a Gaussian distribution and stored as a first Gaussian distribution model and a second Gaussian distribution model. there is.

일 실시 예에 따른 동작 5040에서, 제3자 전자 장치(300)은 제1 반려동물의 제1 벡터 피쳐와 제2 반려동물의 제1 가우시안 분포 모델을 기초로, 제1 반려동물과 제2 반려동물이 같은 개체일 확률 값을 생성할 수 있다. 이 때, 제3자 전자 장치(300)는 확률 값이 제1 값(예: 0.3) 이하인 경우에는 제1 반려동물과 제2 반려동물 다른 객체로 판단할 수 있고, 확률 값이 제2 값(예: 0.7) 이상인 경우에는 제1 반려동물과 제2 반려동물을 동일한 객체로 판단할 수 있다. 이 경우에는 제3자 전자 장치(300)는 판단 결과를 출력할 수 있다. In operation 5040 according to an embodiment, the third-party electronic device 300 stores the first companion animal and the second companion animal based on the first vector feature of the first companion animal and the first Gaussian distribution model of the second companion animal. You can generate a probability value that the animals are the same individual. At this time, the third-party electronic device 300 may determine that the first companion animal and the second companion animal are different objects if the probability value is less than or equal to the first value (e.g., 0.3), and the probability value may be determined to be different from the second value (e.g., 0.3). Example: If it is 0.7) or more, the first companion animal and the second companion animal can be judged to be the same object. In this case, the third-party electronic device 300 may output the determination result.

만약 확률 값이 제1 값 초과 제2 값 미만인 경우에는 동일 객체인지 여부를 판단할 수 없으므로, 제3자 전자 장치(300)는 비문 영역에 대한 비교 과정(5050, 5060, 5070)을 추가로 수행하도록 설정될 수 있다. 즉, 제3자 전자 장치(300)는 상기 제1 벡터 피쳐와 상기 제1 비교 셋에 기초하여 제1 반려동물과 제2 반려동물이 동일한 객체인지 여부를 판단할 수 없는 때에, 상기 제2 비교 셋과 상기 제2 벡터 피쳐를 비교할 수 있다.If the probability value is greater than the first value and less than the second value, it cannot be determined whether they are the same object, so the third-party electronic device 300 additionally performs comparison processes 5050, 5060, and 5070 for the inscription area. It can be set to do so. That is, when the third-party electronic device 300 cannot determine whether the first companion animal and the second companion animal are the same object based on the first vector feature and the first comparison set, the second comparison The three can be compared with the second vector feature.

일 실시 예에 따른 동작 5070에서, 제3자 전자 장치(300)은 제1 반려동물의 제2 벡터 피쳐와 제2 반려동물의 제2 가우시안 분포 모델을 기초로, 제1 반려동물과 제2 반려동물이 같은 개체일 확률 값을 생성할 수 있다.In operation 5070 according to an embodiment, the third-party electronic device 300 determines the first companion animal and the second companion animal based on the second vector feature of the first companion animal and the second Gaussian distribution model of the second companion animal. You can generate a probability value that the animals are the same individual.

이 때, 제3자 전자 장치(300)는 확률 값이 특정 값 미만인 경우에는 제1 반려동물과 제2 반려동물 다른 객체로 판단할 수 있고, 확률 값이 특정 값 이상인 경우에는 제1 반려동물과 제2 반려동물을 동일한 객체로 판단할 수 있고, 판단 결과를 출력할 수 있다.At this time, if the probability value is less than a certain value, the third-party electronic device 300 may determine that the first companion animal and the second companion animal are different objects, and if the probability value is greater than a certain value, the third-party electronic device 300 may determine that the first companion animal and the second companion animal are different objects. The second companion animal can be judged to be the same object, and the judgment result can be output.

다양한 실시 예에서, 제3자 전자 장치(300)는 제1 이미지에 대한 견속 분석 결과를 기초로 제1 반려동물과 제2 반려동물이 동일한 객체인지 여부를 결정할 수 있다. 예를 들어, 제3자 전자 장치(300)는 소정의 다중 클래스 분류 알고리즘(도 3의 견종 인식 방법) 및 상기 제1 이미지에서 검출된 얼굴 영역에 기초하여 견종 분석 결과를 생성할 수 있고, 상기 견종 분석 결과는 제1 클래스, 상기 제1 반려동물이 상기 제1 클래스에 속할 확률인 제1 확률 값을 포함할 수 있다. 제3자 전자 장치(100)에 의하여 수행되는 견종 인식 방법에 대하여 생략된 설명은 도 3, 도 4a 및 도 4b를 통해 상술된 전자 장치(100)에 대한 설명으로 갈음한다.In various embodiments, the third-party electronic device 300 may determine whether the first companion animal and the second companion animal are the same object based on the result of analysis of the first image. For example, the third-party electronic device 300 may generate a dog breed analysis result based on a predetermined multi-class classification algorithm (dog breed recognition method in FIG. 3) and the face area detected in the first image, The dog breed analysis result may include a first class and a first probability value, which is the probability that the first companion animal belongs to the first class. The omitted description of the dog breed recognition method performed by the third-party electronic device 100 is replaced with the description of the electronic device 100 described above through FIGS. 3, 4A, and 4B.

이때, 제3자 전자 장치(300)는 상기 제1 클래스와 전자 장치(300)에 저장된 제2 반려동물의 견종 정보가 일치하는지 여부, 상기 제1 비교 셋과 상기 제1 벡터 피쳐의 제1 비교 결과 및 상기 제2 비교 셋과 상기 제2 벡터 피쳐의 제2 비교 결과에 기초하여, 상기 제1 반려동물과 상기 제2 반려동물이 동일한 객체인지 여부를 결정할 수 있다. 예를 들어, 동작 5070에서, 제3자 전자 장치(300)가 제2 벡터 피쳐와 제2 반려동물의 제2 가우시안 분포 모델을 기초로 제1 반려동물과 제2 반려동물이 같은 개체일 확률 값을 생성한 결과, 생성된 확률 값이 동일한 개체로 판단하기에는 다소 애매한 경우(예: 확률 값이 0.5에서 0.7 사이인 경우), 제3자 전자 장치(300)는 제1 반려동물과 제2 반려동물이 동일한 견종으로 인식되면 양자를 동일한 개체로 판단하고, 다른 견종으로 인식되는 경우 양자를 다른 개체로 판단하도록 설정될 수 있다.다양한 실시 예에서, 전자 장치(100)의 제1 비교 셋(128-1) 및 제2 비교 셋(128-2)은 미리 설정된 주기마다 업데이트될 수 있다. 반려동물은 털이 자라거나, 미용을 하거나, 노화가 됨에 따라서 외형이 달라질 수 있다. 따라서 전자 장치(100)는 미리 설정된 주기마다 제1 비교 셋(128-1)과 제2 비교 셋(128-2)에 대한 업데이트 요청 알림을 디스플레이(150)를 통해 출력할 수 있다.At this time, the third-party electronic device 300 determines whether the first class and the dog breed information of the second companion animal stored in the electronic device 300 match, and performs a first comparison between the first comparison set and the first vector feature. Based on the result and the second comparison result of the second comparison set and the second vector feature, it may be determined whether the first companion animal and the second companion animal are the same object. For example, in operation 5070, the third-party electronic device 300 generates a probability value that the first companion animal and the second companion animal are the same entity based on the second vector feature and the second Gaussian distribution model of the second companion animal. As a result of generating, if the generated probability value is somewhat ambiguous to determine that they are the same entity (e.g., when the probability value is between 0.5 and 0.7), the third-party electronic device 300 connects the first companion animal and the second companion animal. If they are recognized as the same dog breed, the two can be set to be judged as the same individual, and if they are recognized as different dog breeds, the two can be set to be judged as different individuals. In various embodiments, the first comparison set 128 of the electronic device 100- 1) and the second comparison set 128-2 may be updated at preset intervals. Pets' appearance may change as their fur grows, they are groomed, or they age. Accordingly, the electronic device 100 may output an update request notification for the first comparison set 128-1 and the second comparison set 128-2 through the display 150 at a preset period.

다양한 실시 예에서, 비교할 대상인 제1 비교 셋(128-1) 및 제2 비교 셋(128-2)이 미리 정해진 기간 동안 업데이트가 되지 않은 경우, 제3자 전자 장치(300)가 그 반려동물에 대한 신원 인증을 불허가 하는 알림을 전자 장치(100)에 전송할 수 있다. 이 경우, 전자 장치(100)는 제1 비교 셋(128-1) 및 제2 비교 셋(128-2)을 업데이트한 후에 신원 인증 서비스를 이용할 수 있다.In various embodiments, when the first comparison set 128-1 and the second comparison set 128-2, which are objects of comparison, are not updated for a predetermined period of time, the third-party electronic device 300 A notification disallowing identity authentication may be transmitted to the electronic device 100. In this case, the electronic device 100 can use the identity authentication service after updating the first comparison set 128-1 and the second comparison set 128-2.

본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치(예: 전자 장치(100))는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.Electronic devices according to various embodiments disclosed in this document may be of various types. Electronic devices (e.g., electronic device 100) may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliance devices. there is. Electronic devices according to embodiments of this document are not limited to the above-described devices.

본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.The various embodiments of this document and the terms used herein are not intended to limit the technical features described in this document to specific embodiments, and should be understood to include various changes, equivalents, or replacements of the embodiments. In connection with the description of the drawings, similar reference numbers may be used for similar or related components. The singular form of a noun corresponding to an item may include one or more of the above items, unless the relevant context clearly indicates otherwise. In this document, “A or B,” “at least one of A and B,” “at least one of A or B,” “A, B, or C,” “at least one of A, B, and C,” and “A Each of the phrases such as “at least one of , B, or C” may include all possible combinations of the items listed together in the corresponding phrase. Terms such as "first", "second", or "first" or "second" may be used simply to distinguish one component from another, and to refer to that component in other respects (e.g., importance or order) is not limited. One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.” When mentioned, it means that any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.

본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다. The term “module” used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example. A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).

본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(100)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리(110))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 어플리케이션(122))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(100))의 프로세서(예: 프로세서(110))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of this document are software (e.g., software) including one or more instructions stored in a storage medium (e.g., memory 110) that can be read by a machine (e.g., electronic device 100). It may be implemented as an application 122). For example, a processor (e.g., processor 110) of a device (e.g., electronic device 100) may call at least one command among one or more commands stored from a storage medium and execute it. This allows the device to be operated to perform at least one function according to the at least one instruction called. The one or more instructions may include code generated by a compiler or code that can be executed by an interpreter. A storage medium that can be read by a device may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is stored semi-permanently in the storage medium. There is no distinction between temporary storage cases.

일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어^TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, methods according to various embodiments disclosed in this document may be included and provided in a computer program product. Computer program products are commodities and can be traded between sellers and buyers. The computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or via an application store (e.g. Play Store ^TM ) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online. In the case of online distribution, at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.

다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다. According to various embodiments, each component (eg, module or program) of the above-described components may include a single entity or a plurality of entities. According to various embodiments, one or more of the components or operations described above may be omitted, or one or more other components or operations may be added. Alternatively or additionally, multiple components (eg, modules or programs) may be integrated into a single component. In this case, the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. . According to various embodiments, operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

Claims

In electronic devices,
One or more memories that store instructions for performing predetermined operations; and
At least one processor operably connected to the one or more memories and configured to execute the instructions,
The at least one processor,
Acquire the first image in which the first companion animal is captured,
generate a first vector feature based on a facial area included in the first image;
Comparing the first vector feature with a first comparison set including a plurality of vector features generated based on the facial area included in the plurality of pre-stored images of the second companion animal,
generate a second vector feature based on the inscription area included in the first image,
Comparing the second vector feature with a second comparison set including a plurality of vector features generated based on an inscription area included in the plurality of pre-stored images of the second companion animal, and
Based on the first comparison result of the first comparison set and the first vector feature and the second comparison result of the second comparison set and the second vector feature, the first companion animal and the second companion animal are the same. set to determine whether it is an object,
Electronic devices.

In claim 1,
The at least one processor,
When it is impossible to determine whether the first companion animal and the second companion animal are the same object based on the first vector feature and the first comparison set, comparing the second comparison set and the second vector feature set to,
Electronic devices.

In claim 1,
The at least one processor,
If the probability of detecting the face area included in the first image is less than a predetermined value, an alarm requesting rephotography is set to be output,
Electronic devices.

In claim 3,
The at least one processor,
A dog breed analysis result is generated based on a predetermined multi-class classification algorithm and the face area detected in the first image, and the dog breed analysis result is a first class corresponding to the dog breed of the first companion animal. Contains,
Whether the first class and the pre-stored class of the second companion animal match, a first comparison result of the first comparison set and the first vector feature, and a second comparison result of the second comparison set and the second vector feature Based on the comparison result, set to determine whether the first companion animal and the second companion animal are the same object,
Electronic devices.

In claim 4,
The dog breed analysis result is the first class, a first probability value that is the probability that the first companion animal belongs to the first class, a second class, and a second probability that is the probability that the first companion animal belongs to the second class. contains the value,
The at least one processor,
When the difference between the first probability value and the second probability value is less than or equal to a predetermined value, the first probability value with a larger probability value is set to be adjusted larger and the second probability value is adjusted to be smaller.
Electronic devices.

In claim 5,
The predetermined multi-class classification algorithm is a softmax function,
The at least one processor,
If the difference between the first probability value and the second probability value is less than or equal to a predetermined value, set to use the temperament parameter of the softmax function,
Electronic devices.

In a method performed by a first electronic device and a second electronic device,
acquiring, by the first electronic device, a first image of a first companion animal;
generating, by the first electronic device, a first vector feature based on a facial area included in the first image;
The first electronic device uses a first comparison set including a plurality of vector features generated based on a facial area included in a plurality of images of a second companion animal stored in the second electronic device and the first vector feature. comparing;
generating, by the first electronic device, a second vector feature based on an inscription area included in the first image;
A second comparison set, wherein the first electronic device includes a plurality of vector features generated based on an inscription area included in a plurality of images of the second companion animal stored in the second electronic device, and the second vector feature comparing; and
The first electronic device is based on a first comparison result of the first comparison set and the first vector feature and a second comparison result of the second comparison set and the second vector feature, the first companion animal and the Including, determining whether the second companion animal is the same object.
method.

In claim 7,
When the first electronic device cannot determine whether the first companion animal and the second companion animal are the same object based on the first vector feature and the first comparison set, the second comparison set and the The method further comprising: comparing a second vector feature.

In claim 8,
The first electronic device acquires a second image of the second companion animal;
generating, by the first electronic device, a vector feature based on the facial area included in the second image and storing it in the first comparison set; and
Further comprising: generating, by the first electronic device, a vector feature based on the inscription area included in the face area and storing it in the second comparison set,
method.

In claim 9,
A plurality of vector features stored in the first comparison set are modeled with a Gaussian distribution and stored in the first electronic device as a first Gaussian distribution model; and
The plurality of vector features stored in the second comparison set are modeled with a Gaussian distribution and stored in the first electronic device as a second Gaussian distribution model,
Comparing the first comparison set and the first vector feature includes:
Based on the first vector feature and the first Gaussian distribution model, generating a first probability value that the first companion animal and the second companion animal are the same entity,
Comparing the second comparison set and the second vector feature includes:
Based on the second vector feature and the second Gaussian distribution model, generating a second probability value that the first companion animal and the second companion animal are the same entity,
method.

In claim 10,
Comparing the second comparison set and the second vector feature includes:
Is performed when the first probability value exceeds a predetermined first reference value and is less than a predetermined second reference value,
method.

In claim 9,
The step of the first electronic device acquiring the second image is:
Performed at predetermined intervals,
method.