KR102623605B1 - Electornic device for acquiring biometric information of and operating method thereof - Google Patents

Electornic device for acquiring biometric information of and operating method thereof Download PDF

Info

Publication number
KR102623605B1
KR102623605B1 KR1020220170852A KR20220170852A KR102623605B1 KR 102623605 B1 KR102623605 B1 KR 102623605B1 KR 1020220170852 A KR1020220170852 A KR 1020220170852A KR 20220170852 A KR20220170852 A KR 20220170852A KR 102623605 B1 KR102623605 B1 KR 102623605B1
Authority
KR
South Korea
Prior art keywords
front camera
image
display
companion animal
electronic device
Prior art date
Application number
KR1020220170852A
Other languages
Korean (ko)
Other versions
KR20230088280A (en
Inventor
박대현
임준호
Original Assignee
주식회사 펫나우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 펫나우 filed Critical 주식회사 펫나우
Priority to AU2022406037A priority Critical patent/AU2022406037A1/en
Priority to PCT/KR2022/019991 priority patent/WO2023106874A1/en
Priority to CA3238404A priority patent/CA3238404A1/en
Publication of KR20230088280A publication Critical patent/KR20230088280A/en
Application granted granted Critical
Publication of KR102623605B1 publication Critical patent/KR102623605B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

반려 동물의 생체 정보를 취득하는 전자 장치는, 디스플레이; 상기 디스플레이의 표시 방향을 향하여 영상을 촬영하는 전면 카메라; 상기 디스플레이 및 상기 전면 카메라와 기능적으로 결합된 프로세서; 및 상기 프로세서와 기능적으로 결합된 메모리를 포함한다. 상기 프로세서는, 상기 전면 카메라를 통해 촬영되는 상기 반려 동물의 영상을 촬영하고, 상기 반려 동물의 영상을 상기 디스플레이를 통해 표시하고, 상기 반려 동물의 영상에서 특징 객체를 추출하고, 상기 특징 객체의 영상을 상기 메모리에 저장한다. An electronic device for acquiring biometric information of a companion animal includes a display; a front camera that captures images facing the display direction of the display; a processor functionally coupled to the display and the front camera; and a memory functionally coupled to the processor. The processor captures an image of the companion animal captured through the front camera, displays the image of the companion animal on the display, extracts a feature object from the image of the companion animal, and extracts an image of the feature object. is stored in the memory.

Description

반려 동물의 생체 정보를 취득하는 전자 장치 및 그 동작 방법{ELECTORNIC DEVICE FOR ACQUIRING BIOMETRIC INFORMATION OF AND OPERATING METHOD THEREOF}Electronic device for acquiring biometric information of a companion animal and its operating method {ELECTORNIC DEVICE FOR ACQUIRING BIOMETRIC INFORMATION OF AND OPERATING METHOD THEREOF}

본 발명은 반려 동물의 생체 정보를 취득하는 전자 장치 및 전자 장치의 동작 방법에 관한 것이다. The present invention relates to an electronic device for acquiring biometric information of a companion animal and a method of operating the electronic device.

현대 사회에서 사람과 함께 생활하면서 정서적으로 의지할 수 있는 반려 동물에 대한 수요가 높아지고 있다. 반려 동물의 생애 주기 관리 및 건강 관리 등 다양한 부가 서비스를 위하여, 반려 동물에 대한 정보를 데이터베이스화 하여 관리할 필요성이 증가하고 있다. 여기에는 반려 동물의 개체 식별 정보가 필요하며, 반려 동물에 따라 사용될 수 있는 객체가 각각 정의될 수 있다. 예를 들어, 사람의 지문과 유사하게, 개의 비문(코 주름의 형상)은 개체별로 모두 상이한 것으로 알려져 있으며, 일반적으로 성견(생후 6개월)이 되면 남은 생애 주기 동안 그 특징이 변형되지 않는 것으로 알려져 있다. 따라서 개의 경우 비문을 신원을 식별하기 위한 수단으로 사용할 수 있다고 할 수 있다. In modern society, the demand for companion animals that can live with people and rely on them emotionally is increasing. In order to provide various additional services such as life cycle management and health management of companion animals, the need to manage information about companion animals in a database is increasing. This requires individual identification information for the companion animal, and objects that can be used depending on the companion animal can be defined. For example, similar to human fingerprints, dog inscriptions (shape of nose wrinkles) are known to be different for each individual, and it is generally known that once an adult dog reaches adulthood (6 months old), its characteristics do not change for the rest of its life cycle. there is. Therefore, it can be said that in the case of dogs, inscriptions can be used as a means of identification.

다만, 특정 자세를 취하거나 각종 센서를 사용할 수 있는 사람과 달리, 반려 동물은 특정 자세를 취하거나 센서를 사용하는 것이 용이하지 않다. 언어 소통이 불가능하므로 물리력 또는 고정 틀과 같은 도구를 동원하여 강제로 특정 자세로 고정하거나 센서에 접촉시키는 등의 방법을 고려할 수 있으나, 반려 동물의 권리 보호 및 반려 동물 보호자의 거부감 측면에서 바람직하지 못하다고 할 수 있다. 또한 반려 동물을 고정하는 사람과 생체 정보 취득 장치를 조작하는 사람이 필요하므로, 생체 정보 취득을 혼자서 진행하기에 어려움이 크다는 현실적인 문제점이 존재한다.However, unlike people who can assume certain postures or use various sensors, it is not easy for companion animals to assume certain postures or use sensors. Since verbal communication is impossible, methods such as using physical force or tools such as a fixing frame to forcibly fix the animal in a certain position or contact it with a sensor can be considered. However, this is not desirable in terms of protecting the rights of the pet and the resistance of the pet guardian. can do. In addition, since it requires a person to secure the companion animal and a person to operate the biometric information acquisition device, there is a practical problem that it is difficult to acquire biometric information alone.

본 발명은 카메라를 이용하여 반려 동물의 생체 정보를 취득함에 있어, 피촬영자로 하여금 촬영 중인 장면을 실시간으로 확인할 수 있도록 함으로써 촬영을 손쉽게 진행할 수 있도록 하는 전자 장치 및 전자 장치의 동작 방법을 제공한다.The present invention provides an electronic device and a method of operating the electronic device that enable easy filming by allowing the subject to check the scene being filmed in real time when acquiring biometric information of a companion animal using a camera.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확히 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.

반려 동물의 생체 정보를 취득하는 전자 장치는, 디스플레이; 상기 디스플레이의 표시 방향을 향하여 영상을 촬영하는 전면 카메라; 상기 디스플레이 및 상기 전면 카메라와 기능적으로 결합된 프로세서; 및 상기 프로세서와 기능적으로 결합된 메모리를 포함한다. 상기 프로세서는, 상기 전면 카메라를 통해 촬영되는 상기 반려 동물의 영상을 촬영하고, 상기 반려 동물의 영상을 상기 디스플레이를 통해 표시하고, 상기 반려 동물의 영상에서 특징 객체를 추출하고, 상기 특징 객체의 영상을 상기 메모리에 저장한다. An electronic device for acquiring biometric information of a companion animal includes a display; a front camera that captures images facing the display direction of the display; a processor functionally coupled to the display and the front camera; and a memory functionally coupled to the processor. The processor captures an image of the companion animal captured through the front camera, displays the image of the companion animal on the display, extracts a feature object from the image of the companion animal, and extracts an image of the feature object. is stored in the memory.

본 발명에 따르면, 상기 프로세서는, 상기 반려 동물의 영상에서 상기 특징 객체의 위치에 그래픽 또는 메시지를 오버랩하고, 상기 그래픽 또는 메시지가 오버랩된 반려 동물의 영상을 상기 디스플레이를 통해 출력한다. According to the present invention, the processor overlaps a graphic or message on the position of the feature object in the image of the companion animal, and outputs the image of the companion animal with the graphic or message overlapped through the display.

본 발명에 따르면, 상기 그래픽 또는 메시지는 상기 특징 객체의 촬영 상태를 나타낸다. According to the present invention, the graphic or message represents the photographed state of the feature object.

본 발명에 따르면, 상기 전자 장치는 상기 디스플레이의 표시 영역에 구비되는 터치 센서를 더 포함한다. 상기 프로세서는, 상기 터치 센서로부터 상기 디스플레이에 접촉한 접촉물 또는 부착물의 위치를 획득하고, 상기 접촉물 또는 부착물의 위치로 초점이 설정되도록 상기 전면 카메라를 제어한다. According to the present invention, the electronic device further includes a touch sensor provided in the display area of the display. The processor obtains the location of a contact or attachment that touches the display from the touch sensor and controls the front camera to set the focus to the location of the contact or attachment.

본 발명에 따르면, 상기 프로세서는, 상기 디스플레이의 표시 영역에 표식물을 표시하고, 상기 특징 객체의 위치를 추적하여 상기 표식물이 상기 특징 객체에 오버랩 되도록 상기 표식물을 이동하고, 상기 표식물의 위치로 초점이 설정되도록 상기 전면 카메라를 제어한다. According to the present invention, the processor displays a marker in the display area of the display, tracks the position of the feature object, moves the marker so that the marker overlaps the feature object, and focuses on the position of the marker. Control the front camera to be set.

본 발명에 따르면, 상기 프로세서는, 상기 반려 동물의 영상으로부터 상기 반려 동물의 위치 또는 자세를 판단하고, 상기 반려 동물의 위치 또는 자세에 기초하여 촬영 가이드를 위한 그래픽 또는 메시지를 상기 디스플레이를 통해 출력한다. According to the present invention, the processor determines the location or posture of the companion animal from the image of the companion animal, and outputs graphics or messages for a shooting guide through the display based on the location or posture of the companion animal. .

본 발명에 따르면, 상기 전자 장치는 상기 전자 장치의 자세를 측정하는 자이로 센서(gyroscope sensor)를 더 포함한다. 상기 프로세서는, 상기 자이로 센서로부터 상기 전자 장치의 자세 정보를 획득하고, 상기 자세 정보에 기초하여 상기 영상의 반전 방향을 결정한다. According to the present invention, the electronic device further includes a gyroscope sensor that measures the posture of the electronic device. The processor obtains posture information of the electronic device from the gyro sensor and determines a reversal direction of the image based on the posture information.

본 발명에 따르면, 상기 전자 장치는 상기 전자 장치 주변의 조도를 측정하는 조도 센서를 더 포함한다. 상기 프로세서는 상기 조도 센서로부터 상기 전자 장치 주변의 조도 정보를 획득하고, 상기 조도 정보에 따라 상기 전면 카메라의 노출(exposure)을 제어한다. According to the present invention, the electronic device further includes an illuminance sensor that measures the illuminance around the electronic device. The processor obtains illuminance information around the electronic device from the illuminance sensor and controls exposure of the front camera according to the illuminance information.

본 발명에 따르면, 상기 전자 장치는 상기 디스플레이의 표시 방향의 반대 방향의 영상을 촬영하는 후면 카메라를 더 포함한다. 상기 프로세서는, 상기 전면 카메라의 속성 정보를 확인하고, 상기 전면 카메라의 속성 정보에 기초하여 상기 전면 카메라의 활성화가 가능한지 여부를 판단한다. According to the present invention, the electronic device further includes a rear camera that captures an image in a direction opposite to the display direction of the display. The processor checks attribute information of the front camera and determines whether activation of the front camera is possible based on the attribute information of the front camera.

본 발명에 따르면, 상기 전면 카메라의 속성 정보는, 수동 초점 지원 여부, 촬영 포맷, 촬영 사이즈를 포함한다. According to the present invention, the attribute information of the front camera includes whether manual focus is supported, a shooting format, and a shooting size.

본 발명에 따르면, 상기 프로세서는 상기 전면 카메라의 속성 정보 및 상기 전면 카메라의 활성화가 가능한지 여부를 상기 디스플레이를 통해 출력한다. According to the present invention, the processor outputs attribute information of the front camera and whether activation of the front camera is possible through the display.

본 발명에 따르면, 상기 프로세서는 상기 전면 카메라의 활성화가 불가능한 경우 상기 후면 카메라를 활성화시킨다. According to the present invention, the processor activates the rear camera when activation of the front camera is impossible.

본 발명에 따르면, 상기 프로세서는, 상기 전면 카메라가 활성화 가능한 경우 상기 전면 카메라와 상기 후면 카메라 중 하나를 선택하도록 하는 인터페이스를 상기 디스플레이를 통해 출력한다. According to the present invention, the processor outputs, through the display, an interface for selecting one of the front camera and the rear camera when the front camera can be activated.

본 발명에 따르면, 상기 프로세서는 상기 특징 객체의 영상에 대한 품질을 평가하고, 품질 조건을 만족하는 상기 특징 객체의 영상을 통신 모듈을 통해 서버로 전송한다. 상기 품질 평가 조건은 상기 특징 객체의 영상을 촬영한 카메라가 상기 전면 카메라인지 또는 상기 후면 카메라인지 여부에 따라 상이하도록 설정된다. According to the present invention, the processor evaluates the quality of the image of the feature object and transmits the image of the feature object that satisfies the quality conditions to the server through a communication module. The quality evaluation conditions are set to differ depending on whether the camera that captured the image of the feature object is the front camera or the rear camera.

본 발명에 따른 반려 동물의 생체 정보를 취득하는 전자 장치의 동작 방법은, 전면 카메라를 통해 상기 반려 동물의 영상을 촬영하는 단계; 디스플레이를 통해 상기 영상을 출력하는 단계; 상기 영상에서 특징 객체를 추출하는 단계; 및 상기 특징 객체의 영상을 메모리에 저장하는 단계를 포함한다. 상기 전면 카메라는 상기 디스플레이의 표시 방향을 향하여 영상을 촬영한다. A method of operating an electronic device for acquiring biometric information of a companion animal according to the present invention includes capturing an image of the companion animal through a front camera; outputting the image through a display; extracting feature objects from the image; and storing the image of the feature object in memory. The front camera captures images toward the display direction of the display.

본 발명에 따르면, 반려 동물을 촬영함에 있어 디스플레이의 표시 방향을 향하여 영상을 촬영하는 전면 카메라를 통해 반려 동물의 영상을 촬영함으로써, 사용자가 촬영중인 반려 동물의 영상을 실시간으로 확인할 수 있고 보다 식별 또는 학습에 적합한 반려 동물의 생체 정보가 취득될 수 있다. According to the present invention, when photographing a companion animal, the image of the companion animal is captured through a front camera that captures the image toward the display direction of the display, allowing the user to check the image of the companion animal being captured in real time and to better identify or identify the animal. Biometric information of companion animals suitable for learning can be acquired.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 전면 카메라가 디스플레이 영역의 내부에 장착된 전자 장치의 예를 도시한다.
도 2는 전면 카메라가 디스플레이 영역의 외부에 장착된 전자 장치의 예를 도시한다.
도 3은 본 발명에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 4는 반려 동물의 생체 정보를 취득하는 전자 장치와 생체 정보를 처리하는 서버를 도시한다.
도 5는 본 발명에 따른 반려 동물의 생체 정보를 취득하기 위한 전자 장치의 동작 방법을 나타내는 흐름도이다.
도 6은 전면 카메라를 이용하여 반려 동물의 생체 정보를 취득하는 방법을 설명하기 위한 도면이다.
도 7은 반려 동물의 생체 인식을 위한 특징 객체의 위치에 그래픽이 오버랩되어 표시되는 경우를 도시한다.
도 8은 반려 동물의 영상에서 촬영 상태를 나타내는 그래픽 또는 메시지를 출력하는 과정을 나타내는 흐름도이다.
도 9는 반려 동물의 영상에서 촬영 상태를 나타내는 그래픽의 예를 도시한다.
도 10은 디스플레이에 부착된 부착물을 사용하여 전면 카메라의 초점을 제어하는 과정을 나타내는 흐름도이다.
도 11은 디스플레이에 부착된 부착물의 예를 도시한다.
도 12는 촬영 가이드를 위한 그래픽 또는 메시지를 출력하는 과정을 나타내는 흐름도이다.
도 13은 반려 동물의 위치에 따른 촬영 가이드를 위한 그래픽 및 메시지의 예를 도시한다.
도 14는 반려 동물의 자세에 따른 촬영 가이드를 위한 그래픽 및 메시지의 예를 도시한다.
도 15는 전자 장치의 자세 정보에 기초하여 반전 방향을 결정하는 과정을 나타내는 흐름도이다.
도 16 및 도 17은 전자 장치의 자세에 따라 영상을 반전시키는 과정을 도시한다.
도 18은 카메라의 노출을 제어하는 과정을 나타내는 흐름도이다.
도 19는 조도 센서가 구비된 전자 장치를 도시한다.
도 20는 전면 카메라 또는 후면 카메라를 활성화하는 과정을 나타내는 흐름도이다.
도 21은 전면 카메라 또는 후면 카메라를 선택하도록 하는 인터페이스의 예를 도시한다.
도 22는 품질 평가 및 영상 전송 과정을 포함하는 전자 장치의 동작 방법을 나타내는 흐름도이다.Figure 1 shows an example of an electronic device in which a front camera is mounted inside the display area.
Figure 2 shows an example of an electronic device in which the front camera is mounted outside the display area.
Figure 3 is a block diagram for explaining the configuration of an electronic device according to the present invention.
Figure 4 shows an electronic device that acquires biometric information of a companion animal and a server that processes the biometric information.
Figure 5 is a flowchart showing a method of operating an electronic device for acquiring biometric information of a companion animal according to the present invention.
Figure 6 is a diagram to explain a method of acquiring biometric information of a companion animal using a front camera.
Figure 7 shows a case where graphics are displayed overlapping the location of a feature object for biometric recognition of a companion animal.
Figure 8 is a flowchart showing the process of outputting a graphic or message indicating the shooting status from an image of a companion animal.
Figure 9 shows an example of graphics representing a shooting state in an image of a companion animal.
Figure 10 is a flow chart showing the process of controlling the focus of the front camera using an attachment attached to the display.
Figure 11 shows an example of an attachment attached to a display.
Figure 12 is a flowchart showing the process of outputting graphics or messages for a shooting guide.
Figure 13 shows an example of graphics and messages for a shooting guide according to the location of the companion animal.
Figure 14 shows an example of graphics and messages for a photography guide according to the posture of a companion animal.
Figure 15 is a flowchart showing the process of determining the reversal direction based on the posture information of the electronic device.
Figures 16 and 17 illustrate the process of inverting an image according to the posture of the electronic device.
Figure 18 is a flowchart showing the process of controlling exposure of a camera.
Figure 19 shows an electronic device equipped with an illumination sensor.
Figure 20 is a flowchart showing the process of activating the front camera or rear camera.
Figure 21 shows an example of an interface for selecting a front camera or rear camera.
Figure 22 is a flowchart showing a method of operating an electronic device including quality evaluation and image transmission processes.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.Hereinafter, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily practice the present invention. The invention may be implemented in many different forms and is not limited to the embodiments described herein.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly explain the present invention, parts that are not relevant to the description are omitted, and identical or similar components are assigned the same reference numerals throughout the specification.

또한, 여러 실시예들에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적인 실시예에서만 설명하고, 그 외의 다른 실시예에서는 대표적인 실시예와 다른 구성에 대해서만 설명하기로 한다.Additionally, in various embodiments, components having the same configuration will be described using the same symbols only in the representative embodiment, and in other embodiments, only components that are different from the representative embodiment will be described.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(또는 결합)"되어 있다고 할 때, 이는 "직접적으로 연결(또는 결합)"되어 있는 경우뿐만 아니라, 다른 부재를 사이에 두고 "간접적으로 연결(또는 결합)"된 것도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to be "connected (or combined)" with another part, this means not only "directly connected (or combined)" but also "indirectly connected (or combined)" with another member in between. Also includes “combined” ones. Additionally, when a part "includes" a certain component, this means that it may further include other components, rather than excluding other components, unless specifically stated to the contrary.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the technical field to which the present invention pertains. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and unless explicitly defined in the present application, should not be interpreted in an ideal or excessively formal sense. No.

본 발명은 반려 동물의 생체 정보를 취득하기 위한 전자 장치(1) 및 전자 장치(1)의 동작 방법을 제공하고자 한다. 반려 동물의 생체 정보는 반려 동물의 신원 확인을 위해 취득된다. 반려 동물의 생체 정보는 홍채, 안면 형상, 신체 형상, 코 주름 형상(비문)을 포함할 수 있다. 본 문서에서는 반려 동물의 생체 정보로서 강아지의 비문을 촬영하는 내용을 중심으로 설명하나, 본 발명에서 반려 동물의 범위는 강아지에 한정되지 않으며, 또한 식별 정보로 사용되는 특징으로서 비문에 한정되지 않고 다양한 반려 동물의 신체적 특징이 사용될 수 있다. The present invention seeks to provide an electronic device 1 and a method of operating the electronic device 1 for acquiring biometric information of a companion animal. The pet's biometric information is obtained to verify the pet's identity. The companion animal's biometric information may include iris, facial shape, body shape, and nose wrinkle shape (inscription). In this document, the explanation is centered on the content of photographing a dog's inscription as biometric information of a companion animal. However, in the present invention, the scope of a companion animal is not limited to dogs, and is not limited to the inscription as a feature used as identification information and is used in various ways. The pet's physical characteristics may be used.

본 발명에 따르면 전자 장치(1)는 전면 카메라(31)를 이용하여 반려 동물을 촬영하고, 촬영된 영상으로부터 반려 동물의 생체 정보를 취득한다. 전면 카메라(31)는 전자 장치(1)의 디스플레이(20)가 향하는 방향을 의미한다. 전자 장치(1)는 스마트폰, 태블릿과 같은 모바일 기기일 수 있다. 또한, 전자 장치(1)는 컴퓨팅 장치(예: 랩톱 컴퓨터, 데스크탑 컴퓨터)에 해당할 수도 있다. 폴더블 폰과 같이 접는 형태의 모바일 기기의 경우, 접히기 전 및 접힌 후 각각에 대하여 전면 카메라(31)가 존재할 수 있다. 본 발명에 따른 전자 장치(1)에서 전면 카메라(31)는 디스플레이(20)의 내부에 구비될 수도 있고 외부에 구비될 수도 있다. According to the present invention, the electronic device 1 uses the front camera 31 to photograph a companion animal and obtains biometric information of the companion animal from the captured image. The front camera 31 refers to the direction in which the display 20 of the electronic device 1 faces. The electronic device 1 may be a mobile device such as a smartphone or tablet. Additionally, the electronic device 1 may correspond to a computing device (eg, a laptop computer, a desktop computer). In the case of a foldable mobile device such as a foldable phone, a front camera 31 may be present before and after folding. In the electronic device 1 according to the present invention, the front camera 31 may be provided inside or outside the display 20.

도 1은 전면 카메라(31)가 디스플레이 영역의 내부에 장착된 전자 장치(1)의 예를 도시한다. 도 1의 (a)는 전면 카메라(31)가 디스플레이 영역의 내부에 장착된 전자 장치(1)의 전방(F)을 나타내며, 도 1의 (b)는 전자 장치(1)의 후방(R)을 나타낸다. 전자 장치(1)의 외관은 프레임(10), 디스플레이(20), 전면 카메라(31), 후면 카메라(32)으로 구성될 수 있다. 도 1에서, 전면 카메라(31)는 디스플레이(20)의 화면 영역의 내부에 구성될 수 있다. 전면 카메라(31) 및 후면 카메라(32)는 각각 복수개의 카메라로 구성될 수도 있다. 한편, 도 2와 같이 전면 카메라(31)가 디스플레이 영역의 외부에 장착될 수도 있다. Figure 1 shows an example of an electronic device 1 in which a front camera 31 is mounted inside the display area. Figure 1 (a) shows the front (F) of the electronic device 1 with the front camera 31 mounted inside the display area, and Figure 1 (b) shows the rear (R) of the electronic device 1. represents. The exterior of the electronic device 1 may consist of a frame 10, a display 20, a front camera 31, and a rear camera 32. In FIG. 1, the front camera 31 may be configured inside the screen area of the display 20. The front camera 31 and the rear camera 32 may each be composed of a plurality of cameras. Meanwhile, as shown in FIG. 2, the front camera 31 may be mounted outside the display area.

도 3을 참고하면, 본 발명에 따른 전자 장치(1)는, 디스플레이(20), 전면 카메라(31), 프로세서(40), 메모리(50)를 포함한다. 선택적으로, 전자 장치(1)는 후면 카메라(32)를 더 포함할 수 있다. 선택적으로, 전자 장치(1)는 자이로 센서(71), 터치 센서(72), 또는 조도 센서(73)를 더 포함할 수 있다. 선택적으로, 전자 장치(1)는 통신 모듈(60), 스피커(81), 또는 마이크(82)를 더 포함할 수 있다. Referring to FIG. 3, the electronic device 1 according to the present invention includes a display 20, a front camera 31, a processor 40, and a memory 50. Optionally, the electronic device 1 may further include a rear camera 32. Optionally, the electronic device 1 may further include a gyro sensor 71, a touch sensor 72, or an illumination sensor 73. Optionally, the electronic device 1 may further include a communication module 60, a speaker 81, or a microphone 82.

디스플레이(20)는 시각적 정보를 출력하는 장치이다. 디스플레이(20)는 패널 및 제어 회로를 포함할 수 있다. 패널에는 터치 센서(72)가 구비될 수 있다. 특히, 디스플레이(20)는 촬영중인 반려 동물의 영상(프리뷰 영상, 캡쳐된 프레임)을 출력할 수 있다. 또한, 디스플레이(20)는 반려 동물의 생체 정보를 취득하는 과정에서 사용자에게 정보를 제공하는 인터페이스를 출력할 수 있다. The display 20 is a device that outputs visual information. Display 20 may include a panel and control circuitry. The panel may be equipped with a touch sensor 72. In particular, the display 20 can output images (preview images, captured frames) of the companion animal being photographed. Additionally, the display 20 may output an interface that provides information to the user in the process of acquiring biometric information of a companion animal.

카메라(전면 카메라(31) 또는 후면 카메라(32))는 영상(정지 영상 또는 동영상)을 촬영하는 장치이다. 카메라는 하나 이상의 이미지 센서, 렌즈, 카메라 제어기, 영상 처리 프로세서, 플래시를 포함할 수 있다. 카메라는 반려 동물의 생체 정보를 취득하기 위한 영상을 촬영할 수 있다. 반려 동물의 생체 정보를 취득하기 위한 특징 객체가 적절히 식별될 수 있도록, 카메라의 특성(예: 초점, 노출)이 제어될 수 있다. 전면 카메라(31)는 도 1과 같이 디스플레이(20)의 표시 방향을 향하여 영상을 촬영하는 카메라이고, 후면 카메라(32)는 도 2와 같이 디스플레이(20)의 표시 방향의 반대 방향을 향하여 영상을 촬영하는 카메라이다. 카메라는 전자 장치(1)에 내장된 카메라 뿐만 아니라 전자 장치(1)에 유선 또는 무선으로 결합된 외장 카메라를 포함할 수도 있다. A camera (front camera 31 or rear camera 32) is a device that captures images (still images or moving images). A camera may include one or more image sensors, a lens, a camera controller, an image processing processor, and a flash. The camera can capture images to obtain biometric information of companion animals. Camera characteristics (e.g., focus, exposure) can be controlled so that feature objects for acquiring biometric information of a companion animal can be appropriately identified. The front camera 31 is a camera that captures images toward the display direction of the display 20, as shown in FIG. 1, and the rear camera 32 captures images toward the opposite direction of the display direction of the display 20, as shown in FIG. 2. It is a camera that takes pictures. The camera may include a camera built into the electronic device 1 as well as an external camera coupled to the electronic device 1 by wire or wirelessly.

프로세서(40)는 전자 장치(1)의 동작을 수행하기 위한 연산 및 데이터 처리, 그리고 전자 장치(1)의 각 모듈을 제어할 수 있다. 프로세서(40)는 메모리(50)에 저장된 하나 이상의 소프트웨어 프로그램들을 실행할 수 있다. 프로세서(40)는 전자 장치(1)의 전반적인 동작을 관리하는 운영 체제를 실행하는 범용 프로세서(예: CPU)를 포함할 수 있다. 또한, 프로세서(40)는 특정 연산 처리를 위한 전용 프로세서(예: GPU, NPU)를 포함할 수 있다. 프로세서(40)는 하나 또는 그 이상의 프로세싱 회로를 포함할 수 있다. 프로세서(40)는 반려 동물의 생체 정보를 취득하기 위한 데이터 처리 및 제어 동작을 수행할 수 있다. The processor 40 can perform calculations and data processing to perform operations of the electronic device 1, and control each module of the electronic device 1. Processor 40 may execute one or more software programs stored in memory 50. The processor 40 may include a general-purpose processor (eg, CPU) that runs an operating system that manages the overall operation of the electronic device 1. Additionally, the processor 40 may include a dedicated processor (eg, GPU, NPU) for specific calculation processing. Processor 40 may include one or more processing circuitry. The processor 40 may perform data processing and control operations to acquire biometric information of a companion animal.

메모리(50)는 전자 장치(1)의 동작을 위한 운영 체제, 어플리케이션과 같은 프로그램 및 프로그램의 실행 과정에서 사용되는 데이터를 저장할 수 있다. 메모리(50)는 휘발성 메모리(예: DRAM) 및 비휘발성 메모리(예: 플래시 메모리)를 포함할 수 있다. 메모리(50)는 반려 동물의 생체 정보를 취득하기 위한 영상을 저장할 수 있다. The memory 50 may store programs such as an operating system and applications for operating the electronic device 1, and data used in the execution of the program. Memory 50 may include volatile memory (eg, DRAM) and non-volatile memory (eg, flash memory). The memory 50 can store images for acquiring biometric information of a companion animal.

통신 모듈(60)은 전자 장치(1)와 외부 개체(예: 서버, 기지국, IoT 기기, 모바일 기기)와 통신할 수 있는 환경을 제공한다. 통신 모듈(60)은 안테나, RF 회로, 통신 프로세서를 포함할 수 있다. 통신 모듈(60)은 외부 개체로부터 수신된 데이터를 프로세서(40)로 제공할 수 있다. 통신 모듈(60)은 프로세서(40)로부터 제공된 데이터를 변환하여 외부 개체로 전송할 수 있다. 통신 모듈(60)은 프로세서(40)로부터 제공된 반려 동물의 생체 인증을 위한 영상 데이터를 수신하고, 영상 데이터를 서버(2)로 전송할 수 있다. 도 4에 도시된 것과 같이, 전자 장치(1)는 서버(2)와 통신할 수 있다. 전자 장치(1)는 반려 동물의 생체 정보를 취득하고, 취득된 생체 정보를 서버(2)로 전송할 수 있다. 서버(2)는 생체 정보를 데이터베이스에 저장할 수 있다. 서버(2)는 생체 정보로부터 반려 동물의 학습 또는 식별을 위한 데이터 처리를 수행할 수 있다. 서버(2)는 생체 정보로부터 반려 동물의 식별 정보를 생성하고, 반려 동물의 식별 정보를 전자 장치(1)로 전송할 수 있다. The communication module 60 provides an environment in which the electronic device 1 can communicate with external entities (e.g., servers, base stations, IoT devices, mobile devices). The communication module 60 may include an antenna, an RF circuit, and a communication processor. The communication module 60 may provide data received from an external entity to the processor 40. The communication module 60 may convert data provided from the processor 40 and transmit it to an external entity. The communication module 60 may receive image data for biometric authentication of the companion animal provided from the processor 40 and transmit the image data to the server 2 . As shown in FIG. 4, the electronic device 1 can communicate with the server 2. The electronic device 1 can acquire biometric information of a companion animal and transmit the acquired biometric information to the server 2. The server 2 may store biometric information in a database. The server 2 may perform data processing for learning or identification of a companion animal from biometric information. The server 2 may generate identification information about the companion animal from biometric information and transmit the identification information about the companion animal to the electronic device 1 .

즉, 본 발명에 따른 반려 동물의 생체 정보를 취득하는 전자 장치(1)는 디스플레이(20)와, 디스플레이(20)의 표시 방향을 향하여 영상을 촬영하는 전면 카메라(31)와, 디스플레이(20) 및 전면 카메라(31)와 기능적으로 결합된 프로세서(40)와, 프로세서(40)와 기능적으로 결합된 메모리(50)를 포함한다. 반려 동물의 생체 정보를 취득하기 위하여, 프로세서(40)는 전면 카메라(31)를 통해 반려 동물의 영상을 촬영하고, 반려 동물의 영상을 디스플레이(20)를 통해 출력하고, 반려 동물의 영상에서 특징 객체를 추출하고, 특징 객체의 영상을 메모리(50)에 저장한다. That is, the electronic device 1 for acquiring biometric information of a companion animal according to the present invention includes a display 20, a front camera 31 that captures an image in the display direction of the display 20, and a display 20. and a processor 40 functionally coupled to the front camera 31 and a memory 50 functionally coupled to the processor 40. In order to acquire the companion animal's biometric information, the processor 40 captures an image of the companion animal through the front camera 31, outputs the image of the companion animal through the display 20, and features the companion animal in the image. The object is extracted, and the image of the feature object is stored in the memory 50.

도 5는 본 발명에 따른 반려 동물의 생체 정보를 취득하기 위한 전자 장치(1)의 동작 방법을 나타내는 흐름도이다. 이하, 본 발명에 따른 반려 동물의 생체 정보를 취득하기 위한 전자 장치(1)의 동작 방법은 프로세서(40)에 의해 수행될 수 있다. 본 발명에 따른 반려 동물의 생체 정보를 취득하기 위한 전자 장치(1)의 동작 방법은, 전면 카메라(31)를 통해 반려 동물의 영상을 촬영하는 단계(S510)와, 디스플레이(20)를 통해 영상을 출력하는 단계(S520)와, 영상에서 특징 객체를 추출하는 단계(S530)와, 특징 객체의 영상을 메모리(50)에 저장하는 단계(S540)를 포함한다. 전면 카메라(31)는 디스플레이(20)의 표시 방향을 향하여 영상을 촬영한다. 여기서 전면 카메라(31)의 촬영 방향은 디스플레이(20)의 표시 방향과 동일한 방향에 해당할 수도 있고, 실질적으로 동일한 범위 이내의 방향(0도에서 90도 이내의 방향)에 해당할 수 있다. Figure 5 is a flowchart showing a method of operating the electronic device 1 for acquiring biometric information of a companion animal according to the present invention. Hereinafter, the method of operating the electronic device 1 for acquiring biometric information of a companion animal according to the present invention may be performed by the processor 40. The operating method of the electronic device 1 for acquiring biometric information of a companion animal according to the present invention includes the steps of taking an image of the companion animal through the front camera 31 (S510) and capturing the image through the display 20. It includes a step of outputting (S520), a step of extracting a feature object from the image (S530), and a step of storing the image of the feature object in the memory 50 (S540). The front camera 31 captures images toward the display direction of the display 20. Here, the shooting direction of the front camera 31 may correspond to the same direction as the display direction of the display 20, or may correspond to a direction within substantially the same range (direction within 0 degrees to 90 degrees).

전면 카메라(31)를 이용하여 반려 동물의 생체 정보를 취득하는 과정은 도 6에 도시된 것과 같이 사용자(HM)가 전자 장치(1)를 파지한 상태로 반려 동물(PT)을 촬영함으로써 수행될 수 있다. 후면 카메라(32)를 이용하는 경우와 비교하여, 전면 카메라(31)를 이용하여 반려 동물(PT)의 생체 정보 취득을 위한 촬영을 수행하면 여러 가지 장점이 있다. 일반적으로 강아지와 같은 반려 동물은 촬영을 인식하지 못하기 때문에 카메라를 응시하지 않고 다른 방향을 바라본다. 또한 대부분의 반려 동물은 가만히 있지 못하고 고개를 계속 움직이는 습성이 있기 때문에 생체 인식에 적합한 형태의 정면 사진이 촬영되기 매우 어렵다. 또한, 대부분의 사용자는 촬영에 숙련되지 않기 때문에 대부분의 사용자는 어떻게 반려 동물의 생체 인식에 적합한 형태의 영상을 촬영하기 어렵다. The process of acquiring biometric information of a companion animal using the front camera 31 is performed by photographing the companion animal (PT) while the user (HM) holds the electronic device 1, as shown in FIG. 6. You can. Compared to using the rear camera 32, there are several advantages when taking pictures to obtain biometric information of a companion animal (PT) using the front camera 31. Typically, pets such as dogs do not perceive filming, so they do not stare at the camera but look in a different direction. Additionally, since most companion animals cannot stay still and have a habit of constantly moving their heads, it is very difficult to take a frontal photo suitable for biometric identification. Additionally, since most users are not skilled in photography, it is difficult for most users to capture images in a form suitable for biometric identification of their companion animal.

반면, 도 6과 같이 전면 카메라(31)를 이용하여 반려 동물을 촬영하면 사용자가 현재 촬영중인 반려 동물의 영상을 실시간으로 확인할 수 있기 때문에 보다 반려 동물의 생체 인식에 적합한 형태의 영상이 취득될 수 있다. 또한, 사용자는 반려 동물을 안은 상태로 촬영할 수 있고 사용자와 반려 동물이 보다 편안한 상태로 촬영되기 때문에 보다 생체 인식에 적합한 형태의 영상이 취득될 수 있다. On the other hand, when filming a companion animal using the front camera 31 as shown in Figure 6, the user can check the image of the companion animal currently being filmed in real time, so an image in a form more suitable for biometric identification of the companion animal can be acquired. there is. Additionally, the user can take pictures while holding the companion animal, and since the user and the companion animal are taken in a more comfortable state, an image more suitable for biometric recognition can be obtained.

S510 단계에서, 전면 카메라(31)는 전자 장치(1)의 전방(디스플레이(20)의 표시 방향)을 향하여 영상을 촬영한다. 반려 동물의 생체 정보를 취득하기 위하여, 전면 카메라(31)는 반려 동물의 얼굴을 촬영할 수 있다. 전면 카메라(31)의 촬영에 앞서 프로세서(40)는 전면 카메라(31)의 활성화 여부를 결정할 수 있다. 즉, 프로세서(40)는 전면 카메라(31)를 이용하여 반려 동물의 생체 정보를 취득하기 위한 영상을 촬영할 지 여부를 결정할 수 있다. 전면 카메라(31)의 활성화 여부를 판단하는 과정은 이후 도 20을 참고하여 설명된다. 또한, 전면 카메라(31)의 촬영에 앞서 반려 동물의 생체 인식을 위한 어플리케이션 프로그램이 실행될 수 있다. In step S510, the front camera 31 captures an image toward the front of the electronic device 1 (the display direction of the display 20). In order to obtain biometric information of a companion animal, the front camera 31 can photograph the face of the companion animal. Prior to taking pictures with the front camera 31, the processor 40 may determine whether to activate the front camera 31. That is, the processor 40 can determine whether to capture an image to obtain biometric information of the companion animal using the front camera 31. The process of determining whether the front camera 31 is activated will be described later with reference to FIG. 20. Additionally, an application program for biometric identification of a companion animal may be executed prior to filming with the front camera 31.

S520 단계에서, 디스플레이(20)를 통해 반려 동물의 영상이 출력된다. 도 7에 도시된 것과 같이, 프로세서(40)는 디스플레이(20)를 통해 전면 카메라(31)를 통해 촬영된 반려 동물의 영상(프리뷰 영상)을 출력할 수 있다. 이때, 반려 동물의 생체 인식을 위한 어플리케이션 프로그램의 사용자 인터페이스가 함께 출력될 수 있다. 디스플레이(20)를 통해 반려 동물의 영상을 출력함으로써 사용자는 현재 반려 동물의 촬영 상태를 확인할 수 있다. In step S520, an image of the companion animal is output through the display 20. As shown in FIG. 7 , the processor 40 can output an image (preview image) of a companion animal captured through the front camera 31 through the display 20 . At this time, the user interface of the application program for biometric identification of the companion animal may be output together. By outputting an image of the companion animal through the display 20, the user can check the current shooting status of the companion animal.

S530 단계에서, 프로세서(40)는 반려 동물의 영상에서 특징 객체를 추출한다. 특징 객체는 반려 동물의 생체 인식을 위해 각 개체마다 다른 특징을 갖는 객체를 지칭한다. 예를 들어, 특징 객체는 얼굴 형상, 코 주름 형상, 홍채를 포함할 수 있다. 본 문서는 코 주름 형상(비문)을 특징 객체로 하여 강아지의 코 영상을 취득하는 과정을 예로서 설명한다. 프로세서(40)는 학습 데이터 및 객체 검출 알고리즘을 사용하여 동물의 특징 객체를 추출할 수 있다. 실시예에 따라, 프로세서(40)는 반려 동물의 얼굴 영역을 먼저 검출하고, 얼굴 영역 내에서 코 영역을 검출할 수 있다. 프로세서(40)는 촬영된 반려 동물의 영상 프레임 마다 특징 객체를 추출할 수 있다. 또한, 프로세서(40)는 N 번째 프레임(N은 2 이상의 자연수) 마다 특징 객체를 추출할 수도 있다. 예를 들어, 도 7과 같이 강아지의 코 영역(100)이 특징 객체로서 검출될 수 있다. In step S530, the processor 40 extracts feature objects from the image of the companion animal. A feature object refers to an object that has different characteristics for each individual for biometric identification of a companion animal. For example, feature objects may include face shape, nose wrinkle shape, and iris. This document explains the process of acquiring a dog's nose image using the shape of the nose wrinkles (inscriptions) as a feature object as an example. The processor 40 may extract characteristic objects of animals using learning data and an object detection algorithm. Depending on the embodiment, the processor 40 may first detect the face area of the companion animal and then detect the nose area within the face area. The processor 40 can extract feature objects for each image frame of a captured companion animal. Additionally, the processor 40 may extract a feature object every Nth frame (N is a natural number of 2 or more). For example, as shown in FIG. 7 , the dog's nose area 100 may be detected as a feature object.

S540 단계에서, 프로세서(40)는 추출된 특징 객체의 영상을 메모리(50)에 저장한다. 프로세서(40)는 특징 객체의 영상에 관련 정보를 함께 저장할 수 있다. 관련 정보는 사용자 정보, 촬영 시각, 카메라 정보, 조도 정보를 포함할 수 있다. 프로세서(40)는 특징 객체의 영상의 품질을 평가할 수 있다. 즉, 전자 장치(1)의 동작 방법은 특징 객체의 영상에 대한 품질 평가를 수행하는 단계를 더 포함할 수 있다. 프로세서(40)는 품질 평가를 위한 조건을 정의하고, 영상이 품질 조건을 만족하는 지 여부를 결정함으로써 해당 특징 객체의 영상이 생체 인식에 적합한 영상인지 여부를 판단할 수 있다. 품질 평가 조건은, 선명도, 밝기, 크기를 포함할 수 있다. 실시예에 따라, 프로세서(40)는 특징 객체의 영상이 반려 동물의 정면 사진인지 여부를 판단할 수 있다. 프로세서(40)는 품질 조건을 만족하는 특징 객체의 영상을 통신 모듈(60)을 통해 서버(2)로 전송할 수 있다. 즉, 전자 장치(1)의 동작 방법은 특징 객체의 영상 품질이 기준을 만족하는 경우 특징 객체의 영상을 서버(2)로 전송하는 단계를 더 포함할 수 있다. 또한, 프로세서(40)는 특징 객체의 영상을 생체 인식에 적합한 형태로 변환하는 영상 처리를 수행할 수 있다. In step S540, the processor 40 stores the image of the extracted feature object in the memory 50. The processor 40 may store related information together with the image of the feature object. Related information may include user information, shooting time, camera information, and illumination information. The processor 40 may evaluate the quality of the image of the feature object. That is, the method of operating the electronic device 1 may further include performing quality evaluation on the image of the feature object. The processor 40 can determine whether the image of the feature object is suitable for biometric recognition by defining conditions for quality evaluation and determining whether the image satisfies the quality conditions. Quality evaluation conditions may include clarity, brightness, and size. Depending on the embodiment, the processor 40 may determine whether the image of the feature object is a frontal photo of a companion animal. The processor 40 may transmit an image of a feature object that satisfies the quality conditions to the server 2 through the communication module 60. That is, the method of operating the electronic device 1 may further include transmitting the image of the feature object to the server 2 when the image quality of the feature object satisfies the standard. Additionally, the processor 40 may perform image processing to convert the image of the characteristic object into a form suitable for biometric recognition.

이후, 서버(2)가 특징 객체의 영상에 대한 처리, 학습, 또는 생체 인식을 수행할 수 있다. 서버(2)는 특징 객체의 영상에서 특징 값을 추출할 수 있다. 반려 동물의 등록 절차의 경우, 서버(2)는 특징 객체의 영상과 특징 값, 그리고 해당 반려 동물의 신원 정보를 데이터베이스에 저장할 수 있다. 반려 동물의 식별 절차의 경우, 서버(2)는 추출된 특징 값에 매칭되는(유사한) 반려 동물을 검색하고, 반려 동물의 식별 정보를 전자 장치(1)로 전송할 수 있다. Afterwards, the server 2 may process, learn, or perform biometric recognition on the image of the characteristic object. The server 2 can extract feature values from the image of the feature object. In the case of a companion animal registration procedure, the server 2 may store the image and feature value of the feature object and the identity information of the companion animal in the database. In the case of the companion animal identification procedure, the server 2 may search for a companion animal matching (similar to) the extracted feature value and transmit the companion animal's identification information to the electronic device 1.

본 발명에 따르면, 프로세서(40)는 반려 동물의 영상에서 특징 객체의 위치에 그래픽 또는 메시지를 오버랩하고, 그래픽 또는 메시지가 오버랩된 반려 동물의 영상을 디스플레이(20)를 통해 출력한다. 그래픽 또는 메시지는 특징 객체의 촬영 상태를 나타낸다. 도 8을 참고하면, 반려 동물의 영상을 출력하는 단계(S520)는 반려 동물의 영상에서 특징 객체의 위치에 그래픽 또는 메시지를 오버랩하는 단계(S710)와, 그래픽 또는 메시지가 오버랩된 반려 동물의 영상을 디스플레이(20)를 통해 출력하는 단계(S720)를 포함한다. 반려 동물의 생체 인식을 위한 특징 객체의 위치 및 해당 특징 객체의 촬영 상태를 그래픽 또는 메시지로 출력함으로써 사용자는 동물의 생체 인식을 위한 촬영이 적절하게 수행되고 있는지 판단할 수 있다. 예를 들어, 도 9에 도시된 것과 같이 프로세서(40)는 반려 동물의 특징 객체의 위치에 그래픽(150)을 표식물(200)로서 오버랩하여 표시할 수 있다. 그래픽(150)은 반려 동물의 촬영 상태를 나타내는 아이콘일 수 있다. 특징 객체의 품질 평가 결과에 따라 그래픽(150)의 형상 또는 색상이 상이하게 표시될 수 있다. 또한, 프로세서(40)는 반려 동물의 촬영 상태에 대한 정보를 나타내는 메시지(170)를 출력할 수 있다. According to the present invention, the processor 40 overlaps a graphic or message on the position of a feature object in an image of a companion animal and outputs the image of the companion animal with the graphic or message overlapped through the display 20. The graphic or message indicates the shooting state of the feature object. Referring to FIG. 8, the step of outputting the image of the companion animal (S520) includes the step of overlapping graphics or messages on the positions of feature objects in the image of the companion animal (S710), and the image of the companion animal with the graphics or messages overlapped. It includes a step (S720) of outputting through the display 20. By outputting the location of a feature object for biometric identification of a companion animal and the photographing state of the feature object as a graphic or message, the user can determine whether the photograph for biometric recognition of an animal is being properly performed. For example, as shown in FIG. 9 , the processor 40 may overlap and display the graphic 150 as a landmark 200 at the location of the characteristic object of the companion animal. The graphic 150 may be an icon representing the photographing state of a companion animal. The shape or color of the graphic 150 may be displayed differently depending on the quality evaluation result of the feature object. Additionally, the processor 40 may output a message 170 indicating information about the photographing status of the companion animal.

본 발명에 따르면, 전자 장치(1)는 디스플레이(20)의 표시 영역(20A)에 구비되는 터치 센서(72)를 더 포함한다. 프로세서(40)는, 터치 센서(72)로부터 디스플레이(20)에 접촉한 접촉물(210)의 위치를 획득하고, 접촉 물(210)의 위치로 초점이 설정되도록 전면 카메라(31)를 제어할 수 있다. 접촉물은, 예를 들어, 손이나 전자펜 등이 될 수 있다. 도 10에 도시된 것과 같이, 반려 동물의 영상을 촬영하는 단계(S510)는 터치 센서(72)로부터 디스플레이(20)에 접촉한 접촉물(210) 또는 부착물(220)의 위치를 획득하는 단계(S1010)와, 접촉물(210) 또는 부착물(220)의 위치로 초점이 설정되도록 전면 카메라(31)를 제어하는 단계(S1020)를 포함한다. 도 11에 도시된 것과 같이, 전자 장치(1)의 디스플레이(20)의 표시 영역(20A)에 부착물(220)이 부착될 수 있다. 부착물(220)은 디스플레이(20)의 표면에 물리적으로 부착될 수 있다. 표식물(200)과 부착물(220)은 사용자로 하여금 촬영중인 반려 동물의 특징 객체가 특정 영역으로 위치하도록 유도하는 물체이다. 물리적인 부착물(220) 뿐만 아니라 디스플레이(20)에 표시되는 아이콘 형태의 가이드가 표식물(200)로 사용될 수도 있다. 부착물(220)의 위치(X1, Y2)가 터치 센서(72)에 의해 검출되고, 프로세서(40)는 검출된 위치(X1, Y1)로 전면 카메라(31)의 초점이 설정되도록 제어할 수 있다. 프로세서(40)가 영상에서 특징 객체의 위치를 판별하면, 디스플레이에 표시되는 아이콘 형태의 표식물(200)은 검출된 객체의 위치를 추적 이동하며 특징 객체에 오버랩되어 표시될 수 있다. 이 경우 프로세서(40)는 표식물(200)의 위치에 전면 카메라(31)의 초점이 설정되도록 제어할 수 있다.According to the present invention, the electronic device 1 further includes a touch sensor 72 provided in the display area 20A of the display 20. The processor 40 acquires the position of the object 210 in contact with the display 20 from the touch sensor 72 and controls the front camera 31 to set the focus to the position of the object 210 in contact. You can. The contact object may be, for example, a hand or an electronic pen. As shown in FIG. 10, the step of capturing an image of a companion animal (S510) involves obtaining the location of the contact object 210 or attachment 220 in contact with the display 20 from the touch sensor 72 ( It includes S1010) and controlling the front camera 31 to set the focus to the position of the contact object 210 or attachment 220 (S1020). As shown in FIG. 11, an attachment 220 may be attached to the display area 20A of the display 20 of the electronic device 1. Attachment 220 may be physically attached to the surface of display 20. The marker 200 and the attachment 220 are objects that guide the user to locate the characteristic object of the companion animal being photographed in a specific area. In addition to the physical attachment 220, a guide in the form of an icon displayed on the display 20 may be used as the marker 200. The position (X1, Y2) of the attachment 220 is detected by the touch sensor 72, and the processor 40 can control the focus of the front camera 31 to be set to the detected position (X1, Y1). . When the processor 40 determines the location of the feature object in the image, the icon-shaped landmark 200 displayed on the display moves to track the location of the detected object and may be displayed to overlap the feature object. In this case, the processor 40 can control the focus of the front camera 31 to be set at the location of the marker 200.

일 실시예로서, 디스플레이(20)가 일부 광을 반사하도록 구성되어 거울과 같이 기능할 수도 있다. 동물의 형상이 디스플레이(20)에서 반사됨으로써 사용자는 반려 동물의 상태를 확인하면서 전면 카메라(31)를 이용해 생체 인식을 위한 촬영을 수행할 수 있다. In one embodiment, the display 20 may be configured to reflect some light and function like a mirror. As the shape of the animal is reflected on the display 20, the user can check the status of the pet and take photos for biometric identification using the front camera 31.

본 발명에 따르면, 프로세서(40)는, 반려 동물의 영상으로부터 반려 동물의 위치 또는 자세를 판단하고, 반려 동물의 위치 또는 자세에 기초하여 촬영 가이드를 위한 그래픽 또는 메시지를 디스플레이(20)를 통해 출력한다. 도 12를 참고하면, 디스플레이(20)를 통해 영상을 출력하는 단계(S520)는, 반려 동물의 영상으로부터 반려 동물의 위치 또는 자세를 판단하는 단계(S1210)와, 반려 동물의 위치 또는 자세에 기초하여 촬영 가이드를 위한 그래픽 또는 메시지를 디스플레이(20)를 통해 출력하는 단계(S1220)를 포함한다. 도 13을 참고하면, 촬영중인 반려 동물의 위치가 치우쳐 있어 특징 객체의 검출이 불가능한 경우, 프로세서(40)는 사용자로 하여금 반려 동물의 위치로 전자 장치(1)를 회전시키거나 이동시키도록 하는 가이드 그래픽(310)을 출력할 수 있다. 또한, 도 13에 도시된 것과 같이 사용자로 하여금 반려 동물의 위치로 전자 장치(1)를 회전시키거나 이동시키도록 하는 메시지(320)를 출력할 수 있다. According to the present invention, the processor 40 determines the location or posture of the companion animal from the image of the companion animal, and outputs graphics or messages for a shooting guide through the display 20 based on the location or posture of the companion animal. do. Referring to FIG. 12, the step of outputting an image through the display 20 (S520) includes the step of determining the position or posture of the companion animal from the image of the companion animal (S1210), and determining the position or posture of the companion animal based on the position or posture of the companion animal. It includes a step (S1220) of outputting graphics or messages for a shooting guide through the display 20. Referring to FIG. 13, when the location of the companion animal being photographed is biased and detection of a feature object is impossible, the processor 40 provides a guide that allows the user to rotate or move the electronic device 1 to the location of the companion animal. Graphics 310 can be output. Additionally, as shown in FIG. 13, a message 320 may be output to instruct the user to rotate or move the electronic device 1 to the location of the companion animal.

도 14에 도시된 것과 같이, 반려 동물이 고개를 돌리고 정면 사진이 취득될 수 없는 경우 프로세서(40)는 사용자로 하여금 반려 동물이 정면 사진이 취득될 수 있도록 유도하는 가이드 그래픽(330) 또는 가이드 메시지(340)를 출력할 수 있다. 프로세서(40)는 반려 동물의 얼굴 회전 방향을 검출할 수 있다. 프로세서(40)는 반려 동물의 얼굴 회전 방향의 반대 방향으로 고개를 돌리도록 유도하는 가이드 그래픽(330) 또는 가이드 메시지(340)를 출력할 수 있다. As shown in FIG. 14, when the companion animal turns its head and a frontal photo cannot be acquired, the processor 40 provides a guide graphic 330 or a guide message to guide the user so that a frontal photo of the companion animal can be acquired. (340) can be output. The processor 40 can detect the direction of rotation of the companion animal's face. The processor 40 may output a guide graphic 330 or a guide message 340 that induces the pet to turn its head in a direction opposite to the direction of face rotation.

본 발명에 따르면, 전자 장치(1)는 전자 장치(1)의 자세를 측정하는 자이로 센서(71)를 더 포함한다. 프로세서(40)는, 자이로 센서(71)로부터 전자 장치(1)의 자세 정보를 획득하고, 자세 정보에 기초하여 영상의 반전 방향을 결정할 수 있다. 도 15를 참고하면, 디스플레이(20)를 통해 영상을 출력하는 단계(S520)는, 자이로 센서(71)로부터 전자 장치(1)의 자세 정보를 획득하는 단계(S1510)와, 자세 정보에 기초하여 영상의 반전 방향을 결정하는 단계(S1520)를 포함한다. 전면 카메라(31)를 통해 촬영하는 경우, 사용자의 인식의 편의를 위하여 촬영된 영상을 반전시켜 디스플레이(20)로 출력하는 것이 바람직하다. 프로세서(40)는 전면 카메라(31)에서 촬영된 영상을 수직 축(Y 축) 또는 수평 축(X 축)에 대하여 반전시키고, 반전된 영상을 디스플레이(20)를 통해 출력할 수 있다. 자이로 센서(71)를 사용하지 않는 경우, 프로세서(40)는 촬영된 영상에서 반려 동물의 촬영 방향을 판단하고, 촬영 방향에 따라 반전 방향을 결정할 수도 있다. 또한, 사용자에 의해 입력된 촬영 방향에 따라 반전 방향이 결정될 수도 있다. According to the present invention, the electronic device 1 further includes a gyro sensor 71 that measures the posture of the electronic device 1. The processor 40 may obtain posture information of the electronic device 1 from the gyro sensor 71 and determine a reversal direction of the image based on the posture information. Referring to FIG. 15, the step of outputting an image through the display 20 (S520) includes the step of acquiring posture information of the electronic device 1 from the gyro sensor 71 (S1510), and based on the posture information It includes a step of determining the reversal direction of the image (S1520). When shooting through the front camera 31, it is desirable to reverse the captured image and output it to the display 20 for convenience of user recognition. The processor 40 may invert the image captured by the front camera 31 about the vertical axis (Y-axis) or the horizontal axis (X-axis) and output the inverted image through the display 20. When the gyro sensor 71 is not used, the processor 40 may determine the shooting direction of the companion animal in the captured image and determine the reversal direction according to the shooting direction. Additionally, the reversal direction may be determined according to the shooting direction input by the user.

예를 들어, 도 16에 도시된 것과 같이, 전자 장치(1)가 세워진 상태(세로 모드)로 반려 동물을 촬영하는 경우 프로세서(40)는 수직 축(YA)에 대하여 영상을 반전시키고 반전된 영상을 디스플레이(20)로 출력할 수 있다. 도 17에 도시된 것과 같이, 전자 장치(1)가 눕혀진 상태(가로 모드)로 반려 동물을 촬영하는 경우 프로세서(40)는 수평 축(XA)에 대하여 영상을 반전시키고 반전된 영상을 디스플레이(20)로 출력할 수 있다. For example, as shown in FIG. 16, when photographing a companion animal with the electronic device 1 standing upright (portrait mode), the processor 40 inverts the image with respect to the vertical axis YA and displays the inverted image. can be output to the display 20. As shown in FIG. 17, when photographing a companion animal with the electronic device 1 lying down (landscape mode), the processor 40 inverts the image with respect to the horizontal axis (XA) and displays the inverted image (FIG. 20).

본 발명에 따르면, 전자 장치(1)는 주변의 조도를 측정하는 조도 센서(73)를 더 포함한다. 프로세서(40)는 조도 센서(73)로부터 전자 장치(1) 주변의 조도 정보를 획득하고, 조도 정보에 따라 전면 카메라(31의 노출(exposure)을 제어한다. 도 18을 참고하면, 반려 동물의 영상을 촬영하는 단계(S510)는, 조도 센서(73)로부터 전자 장치(1) 주변의 조도 정보를 획득하는 단계(S1810)와, 조도 정보에 따라 전면 카메라(31의 노출을 제어하는 단계(S1820)를 포함한다. 조도 센서(73)는 도 19에 도시된 것과 같이 전자 장치(1)의 전면에 구비될 수 있다. 조도 센서(73)는 디스플레이(20), 전면 카메라(31)에 인접하게 설치되므로 전면 카메라(31)를 통해 반려 동물의 영상을 촬영할 때 프로세서(40)는 조도 센서(73)에 의해 측정된 조도 정보를 이용하여 전면 카메라(31)의 노출량을 제어할 수 있다. According to the present invention, the electronic device 1 further includes an illuminance sensor 73 that measures the ambient illuminance. The processor 40 obtains illuminance information around the electronic device 1 from the illuminance sensor 73, and controls the exposure of the front camera 31 according to the illuminance information. Referring to FIG. 18, the companion animal's The step of capturing an image (S510) includes obtaining illuminance information around the electronic device 1 from the illuminance sensor 73 (S1810) and controlling the exposure of the front camera 31 according to the illuminance information (S1820). ). The illuminance sensor 73 may be provided on the front of the electronic device 1 as shown in Figure 19. The illuminance sensor 73 is located adjacent to the display 20 and the front camera 31. Since it is installed, when capturing an image of a companion animal through the front camera 31, the processor 40 can control the exposure amount of the front camera 31 using the illuminance information measured by the illuminance sensor 73.

한편, 본 발명에 따르면 전자 장치(1)의 전면 카메라(31)를 이용하여 반려 동물의 생체 인식을 위한 촬영을 수행하기에 앞서 전면 카메라(31)의 활성화 가능 여부를 판단하는 과정이 수행될 수 있다. 전자 장치(1)의 전면 카메라(31)는 후면 카메라(32)에 비하여 저하된 기능을 갖는 경우가 많다. 따라서, 전면 카메라(31)를 이용하여 반려 동물을 촬영할 때 생체 인식에 적합하지 않은 영상이 취득될 가능성이 있다. 따라서, 프로세서(40)는 사전에 전면 카메라(31)가 반려 동물의 생체 인식에 적합한 카메라인지 여부를 먼저 판단하고, 전면 카메라(31)가 적합하다고 판단되는 경우 전면 카메라(31)를 활성화시키고 반려 동물을 촬영할 수 있다. 전면 카메라(31)의 활성화 여부를 판단하는 과정은 반려 동물의 생체 인식을 위한 어플리케이션 프로그램이 실행될 때 수행될 수 있다. 후면 카메라(32)는 전면 카메라(31)의 반대 방향의 영상을 촬영하는 카메라이다. Meanwhile, according to the present invention, before taking pictures for biometric identification of a companion animal using the front camera 31 of the electronic device 1, a process of determining whether the front camera 31 can be activated can be performed. there is. The front camera 31 of the electronic device 1 often has reduced functionality compared to the rear camera 32. Therefore, when photographing a companion animal using the front camera 31, there is a possibility that images unsuitable for biometric recognition may be acquired. Therefore, the processor 40 first determines in advance whether the front camera 31 is a camera suitable for biometric identification of a companion animal, and if the front camera 31 is determined to be suitable, activates the front camera 31 and You can photograph animals. The process of determining whether the front camera 31 is activated may be performed when an application program for biometric identification of a companion animal is executed. The rear camera 32 is a camera that captures images in the opposite direction of the front camera 31.

프로세서(40)는 먼저 전자 장치(1)의 메모리(50)에 저장된 카메라 관리 프로그램을 실행하고, 카메라 관리 프로그램을 통해 전자 장치(1)에 내장되거나 부착된 카메라의 리스트(카메라 ID 리스트)를 확인한다. 추출된 카메라 중에서 전면 카메라(31)가 존재하는 경우, 프로세서(40)는 전면 카메라(31)를 통해 영상을 촬영할지 여부를 결정할 수 있다. The processor 40 first executes the camera management program stored in the memory 50 of the electronic device 1 and checks the list of cameras built in or attached to the electronic device 1 (camera ID list) through the camera management program. do. If the front camera 31 exists among the extracted cameras, the processor 40 can determine whether to capture an image through the front camera 31.

본 발명에 따르면, 프로세서(40)는 전면 카메라(31)의 속성 정보를 확인하고, 전면 카메라의 속성 정보에 기초하여 전면 카메라(31)의 활성화가 가능한지 여부를 판단한다. 전면 카메라(31)의 속성 정보는 수동 초점(manual focus) 지원 여부, 촬영 포맷, 촬영 사이즈, 하드웨어 레벨 정보를 포함할 수 있다. 전면 카메라(31)의 속성 정보는 카메라 관리 프로그램의 데이터로 저장될 수 있다. 예를 들어, 프로세서(40)는 전면 카메라(31)가 수동 초점을 지원하는 카메라이고, 촬영 포맷과 촬영 사이즈가 사전에 설정된 조건을 만족하고, 카메라의 하드웨어 레벨이 기준 레벨을 충족하는 경우 전면 카메라(31)가 반려 동물의 생체 정보의 취득에 사용될 수 있는 카메라인 것으로 결정할 수 있다. According to the present invention, the processor 40 checks the attribute information of the front camera 31 and determines whether activation of the front camera 31 is possible based on the attribute information of the front camera. Attribute information of the front camera 31 may include whether manual focus is supported, shooting format, shooting size, and hardware level information. Attribute information of the front camera 31 may be saved as data in a camera management program. For example, if the front camera 31 is a camera that supports manual focus, the shooting format and shooting size meet preset conditions, and the hardware level of the camera meets the standard level, the processor 40 It can be determined that (31) is a camera that can be used to acquire biometric information of a companion animal.

프로세서(40)는 전면 카메라(31)의 속성 정보 및 전면 카메라(31)의 활성화가 가능한지 여부를 디스플레이(20)를 통해 출력할 수 있다. 전면 카메라(31)의 속성 정보 및 전면 카메라(31)의 활성화가 가능한지 여부를 표시함으로써 사용자가 반려 동물의 생체 정보 취득을 위해 전면 카메라(31)를 사용할 수 있는지 여부를 확인할 수 있다. The processor 40 may output attribute information of the front camera 31 and whether the front camera 31 can be activated through the display 20. By displaying attribute information of the front camera 31 and whether activation of the front camera 31 is possible, the user can check whether the front camera 31 can be used to obtain biometric information of a companion animal.

전면 카메라가 활성화 가능하지 않은 경우, 프로세서(40)는 후면 카메라(32)를 활성화시킬 수 있다. 즉, 프로세서(40)는 전면 카메라(31)를 활성화하지 않고 후면 카메라(32)를 이용하여 반려 동물의 생체 인식을 위한 촬영을 수행할 수 있다. If the front camera is not activable, the processor 40 can activate the rear camera 32. That is, the processor 40 can take photos for biometric identification of a companion animal using the rear camera 32 without activating the front camera 31.

프로세서(40)는 전면 카메라(31)가 활성화 가능한 경우 전면 카메라(31)와 후면 카메라(32) 중 하나를 선택하도록 하는 인터페이스를 출력할 수 있다. 예를 들어, 전면 카메라가 활성화 가능한 경우, 프로세서(40)는 사용자로 하여금 카메라를 선택하도록 하는 인터페이스를 출력할 수 있다. 예를 들어, 기본적으로 후면 카메라(32)를 활성화하여 프리뷰 이미지를 표시하면서 도 21과 같이 어플리케이션 화면의 우측 하단에 카메라를 전환할 수 있는 아이콘(400)을 출력할 수 있다. 아이콘(400)에 대한 터치 입력이 터치 센서(72)에 의해 검출되는 경우, 프로세서(40)는 전면 카메라(31)를 활성화하여 전면 카메라(31)에 의해 촬영되는 영상을 프리뷰 영상으로 디스플레이(20)에 표시할 수 있다. 전면 카메라(31)의 촬영 중 다시 아이콘(400)에 대한 터치 입력이 검출되면 프로세서(40)는 다시 후면 카메라(32)에 의해 촬영되는 영상을 프리뷰 영상으로 디스플레이(20)에 출력할 수 있다. 다른 예로서, 촬영을 시작하기 전에 사용자로 하여금 전면 카메라(31) 또는 후면 카메라(32) 중 하나를 선택하도록 하는 리스트를 출력할 수 있다. The processor 40 may output an interface for selecting one of the front camera 31 and the rear camera 32 when the front camera 31 is activated. For example, if the front camera can be activated, the processor 40 may output an interface that allows the user to select the camera. For example, by default, the rear camera 32 can be activated to display a preview image and an icon 400 for switching cameras can be displayed at the bottom right of the application screen as shown in FIG. 21. When a touch input to the icon 400 is detected by the touch sensor 72, the processor 40 activates the front camera 31 to display the image captured by the front camera 31 as a preview image (20). ) can be displayed. If a touch input to the icon 400 is detected again while the front camera 31 is filming, the processor 40 can output the image captured by the rear camera 32 to the display 20 as a preview image. As another example, a list that allows the user to select either the front camera 31 or the rear camera 32 may be output before starting shooting.

전면 카메라(31)가 선택되는 경우, 프로세서(40)는 전면 카메라(31)를 활성화하여 반려 동물의 생체 인식을 위한 영상을 취득한다. 후면 카메라(32)가 선택되는 경우, 프로세서(40)는 후면 카메라(32)를 활성화하여 반려 동물의 생체 인식을 위한 영상을 취득한다. When the front camera 31 is selected, the processor 40 activates the front camera 31 to acquire images for biometric identification of the companion animal. When the rear camera 32 is selected, the processor 40 activates the rear camera 32 to acquire images for biometric identification of the companion animal.

즉, 본 발명에 따른 전자 장치(1)의 동작 방법은 전면 카메라(31)의 활성화 여부를 판단하는 단계를 포함한다. 도 20에 도시된 것과 같이, 전면 카메라(31)의 활성화 여부를 판단하는 단계는, 전면 카메라(31)의 속성 정보를 확인하는 단계(S2005)와, 전면 카메라(31)의 속성 정보에 기초하여 전면 카메라(31)가 활성화 가능한지 여부를 판단하는 단계(S2010)를 포함한다. 전면 카메라(31)의 속성 정보 및 활성화 가능 여부를 디스플레이(20)를 통해 출력하는 단계(S2040)가 실행될 수 있다. 전면 카메라(31)의 활성화가 가능한 경우, 전면 카메라(31)와 후면 카메라(32) 중 하나를 선택하도록 하는 인터페이스를 출력하는 단계(S2015)가 실행될 수 있다. 인터페이스를 통해 전면 카메라(31)가 선택되는지 여부를 판단하는 단계(S2020)와, 전면 카메라(31)가 선택된 경우 전면 카메라(31)를 활성화하는 단계(S2025)와, 전면 카메라(31)가 선택되지 않은 경우 후면 카메라(32)를 활성화하는 단계(S2030)가 실행된다. 이후, 선택된 카메라를 통해 반려 동물의 생체 인식을 위한 영상을 촬영하는 과정이 실행될 수 있다. That is, the method of operating the electronic device 1 according to the present invention includes the step of determining whether the front camera 31 is activated. As shown in FIG. 20, the step of determining whether the front camera 31 is activated includes the step of checking the attribute information of the front camera 31 (S2005), and the step of determining whether the front camera 31 is activated based on the attribute information of the front camera 31. It includes a step of determining whether the front camera 31 can be activated (S2010). A step (S2040) of outputting attribute information of the front camera 31 and whether it can be activated through the display 20 may be performed. If the front camera 31 can be activated, a step S2015 of outputting an interface for selecting one of the front camera 31 and the rear camera 32 may be performed. A step of determining whether the front camera 31 is selected through the interface (S2020), a step of activating the front camera 31 if the front camera 31 is selected (S2025), and the front camera 31 is selected. If not, the step (S2030) of activating the rear camera 32 is executed. Afterwards, a process of capturing images for biometric identification of the companion animal may be performed through the selected camera.

한편, 전면 카메라(31) 또는 후면 카메라(32)를 통해 반려 동물의 생체 인식을 위한 특징 객체의 영상이 취득된 후, 해당 특징 객체의 영상이 반려 동물의 학습 또는 식별에 적합한지 여부를 판단하는 품질 평가가 수행될 수 있다. 본 발명에 따르면, 프로세서(40)는 특징 객체의 영상에 대한 품질을 평가할 수 있다. 특징 객체의 영상의 품질을 평가하기 위해 정의되는 조건은 선명도, 밝기, 사이즈를 포함할 수 있다. 품질 평가 조건은 특징 객체의 영상을 촬영한 카메라가 전면 카메라(31)인지 또는 후면 카메라(32)인지 여부에 따라 상이할 수 있다. 예를 들어, 특징 객체의 영상의 크기를 통해 영상 품질을 판단할 때, 전면 카메라(31)에서 촬영된 영상의 크기 조건은 후면 카메라(32) 보다 크도록 설정될 수 있다. 일반적으로 전면 카메라(31)는 후면 카메라(32)에 비하여 낮은 성능의 카메라로 구성된다. 예를 들어 전면 카메라(31)는 후면 카메라(32) 대비 전체적인 화질이 떨어지며, 손 떨림 방지 기능인 OIS(Optical Image Stabilization) 기능을 지원하지 않을 수 있다. 따라서, 전면 카메라(31)를 통해 영상을 촬영했을 때 보다 높은 수준의 품질 조건으로 특징 객체의 영상의 품질 평가가 수행될 수 있다. 그리하여 전면 카메라(31)를 통해 촬영된 경우에도 특징 객체의 영상을 통해 반려 동물의 생체 인식이 원활히 수행되도록 할 수 있다. Meanwhile, after the image of the feature object for biometric recognition of the companion animal is acquired through the front camera 31 or the rear camera 32, it is determined whether the image of the feature object is suitable for learning or identification of the companion animal. Quality assessment may be performed. According to the present invention, the processor 40 can evaluate the quality of the image of the feature object. Conditions defined to evaluate the image quality of a feature object may include clarity, brightness, and size. Quality evaluation conditions may differ depending on whether the camera that captured the image of the feature object is the front camera 31 or the rear camera 32. For example, when determining image quality through the size of the image of a feature object, the size condition for the image captured by the front camera 31 may be set to be larger than that of the rear camera 32. Generally, the front camera 31 is configured as a camera with lower performance than the rear camera 32. For example, the front camera 31 has lower overall image quality than the rear camera 32, and may not support the OIS (Optical Image Stabilization) function, which is an anti-shake function. Accordingly, quality evaluation of the image of the feature object can be performed under higher quality conditions than when the image is captured through the front camera 31. Therefore, even when captured through the front camera 31, the biometric identification of the companion animal can be smoothly performed through the image of the characteristic object.

도 22에 도시된 것과 같이, 전자 장치(1)의 동작 방법은, 전면 카메라(31)를 통해 반려 동물의 영상을 촬영하는 단계(S2210)와, 디스플레이(20)를 통해 영상을 출력하는 단계(S2220)와, 영상에서 특징 객체를 추출하는 단계(S2230)와, 특징 객체의 영상을 메모리(50)에 저장하는 단계(S2240)와, 특징 객체의 영상에 대한 품질을 평가하는 단계(S2250)와, 품질 조건을 만족하는 특징 객체의 영상을 통신 모듈(60)을 통해 서버(2)로 전송하는 단계(S2260)를 포함한다. 품질 평가 조건은 특징 객체의 영상을 촬영한 카메라가 전면 카메라(31)인지 또는 후면 카메라(32)인지 여부에 따라 상이하도록 설정된다. As shown in FIG. 22, the operating method of the electronic device 1 includes the steps of taking an image of a companion animal through the front camera 31 (S2210) and outputting the image through the display 20 (S2210). S2220), extracting the feature object from the image (S2230), storing the image of the feature object in the memory 50 (S2240), and evaluating the quality of the image of the feature object (S2250) , It includes a step (S2260) of transmitting an image of a feature object that satisfies the quality conditions to the server 2 through the communication module 60. Quality evaluation conditions are set to differ depending on whether the camera that captured the image of the feature object is the front camera 31 or the rear camera 32.

전자 장치(1)의 프로세서(40)는 서버(2)로 특징 객체의 영상을 전송할 때, 영상 데이터와 함께 관련 정보로서 해당 영상을 촬영한 카메라 정보를 전송할 수 있다. 서버(2)는 카메라 정보를 통해 어떤 카메라로 촬영되었는지 알 수 있다. 서버(2)는 카메라 정보를 통해 특징 객체의 처리하는 방법을 결정할 수 있다. 즉, 서버(2)는 영상을 촬영한 카메라가 전면 카메라(31)인지 후면 카메라(32)인지에 따라 다르게 영상을 처리할 수 있다. When transmitting an image of a feature object to the server 2, the processor 40 of the electronic device 1 may transmit information about the camera that captured the image as related information along with the image data. The server 2 can know which camera the photo was taken through through the camera information. The server 2 can determine how to process the feature object through camera information. That is, the server 2 may process the image differently depending on whether the camera that captured the image is the front camera 31 or the rear camera 32.

본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.This embodiment and the drawings attached to this specification only clearly show a part of the technical idea included in the present invention, and those skilled in the art can easily infer within the scope of the technical idea included in the specification and drawings of the present invention. It will be apparent that all possible modifications and specific embodiments are included in the scope of the present invention.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and the scope of the patent claims described below as well as all things that are equivalent or equivalent to the scope of the claims will be said to fall within the scope of the spirit of the present invention. .

Claims (15)

반려 동물의 생체 정보를 취득하는 전자 장치에 있어서,
디스플레이;
상기 디스플레이의 표시 방향을 향하여 영상을 촬영하는 전면 카메라;
상기 디스플레이 및 상기 전면 카메라와 기능적으로 결합된 프로세서;
상기 프로세서와 기능적으로 결합된 메모리; 및
상기 디스플레이의 표시 방향의 반대 방향의 영상을 촬영하는 후면 카메라를 포함하고,
상기 프로세서는,
상기 전면 카메라의 속성 정보를 확인하고,
상기 전면 카메라의 속성 정보에 기초하여 상기 전면 카메라의 활성화가 가능한지 여부를 판단하고,
상기 전면 카메라의 활성화가 가능한 경우 상기 전면 카메라와 상기 후면 카메라 중 하나를 선택하도록 하는 인터페이스를 상기 디스플레이를 통해 출력하고,
상기 전면 카메라가 선택되면 상기 전면 카메라를 통해 상기 반려 동물의 영상을 촬영하고,
상기 반려 동물의 영상을 상기 디스플레이를 통해 출력하고,
상기 반려 동물의 영상에서 특징 객체를 추출하고,
상기 특징 객체의 영상을 상기 메모리에 저장하는 전자 장치.
In the electronic device for acquiring biometric information of a companion animal,
display;
a front camera that captures images facing the display direction of the display;
a processor functionally coupled to the display and the front camera;
a memory functionally coupled to the processor; and
It includes a rear camera that captures an image in a direction opposite to the display direction of the display,
The processor,
Check the attribute information of the front camera,
Determine whether activation of the front camera is possible based on attribute information of the front camera,
If the front camera can be activated, output an interface for selecting one of the front camera and the rear camera through the display,
When the front camera is selected, an image of the companion animal is captured through the front camera,
Outputting an image of the companion animal through the display,
Extract feature objects from the image of the companion animal,
An electronic device that stores an image of the feature object in the memory.
 제1항에 있어서,
상기 프로세서는,
상기 반려 동물의 영상에서 상기 특징 객체의 위치에 그래픽 또는 메시지를 오버랩하고,
상기 그래픽 또는 메시지가 오버랩된 반려 동물의 영상을 상기 디스플레이를 통해 출력하는 전자 장치.
According to paragraph 1,
The processor,
Overlapping a graphic or message at the location of the feature object in the image of the companion animal,
An electronic device that outputs an image of a companion animal with the graphic or message overlapped through the display.
 제2항에 있어서,
상기 그래픽 또는 메시지는 상기 특징 객체의 촬영 상태를 나타내는 전자 장치.
According to paragraph 2,
The graphic or message represents a photographing state of the feature object.
 제1항에 있어서,
상기 디스플레이의 표시 영역에 구비되는 터치 센서를 더 포함하고, 상기 프로세서는,
상기 터치 센서로부터 상기 디스플레이에 접촉한 접촉물 또는 부착물의 위치를 획득하고,
상기 접촉물 또는 부착물의 위치로 초점이 설정되도록 상기 전면 카메라를 제어하는 전자 장치.
According to paragraph 1,
Further comprising a touch sensor provided in a display area of the display, wherein the processor,
Obtaining the location of a contact or attachment in contact with the display from the touch sensor,
An electronic device that controls the front camera to set focus to the location of the contact or attachment.
 제1항에 있어서,
상기 프로세서는,
상기 디스플레이의 표시 영역에 표식물을 표시하고,
상기 특징 객체의 위치를 추적하여 상기 표식물이 상기 특징 객체에 오버랩 되도록 상기 표식물을 이동하고,
상기 표식물의 위치로 초점이 설정되도록 상기 전면 카메라를 제어하는 전자 장치.
According to paragraph 1,
The processor,
Displaying a marker in the display area of the display,
Track the position of the feature object and move the marker so that the marker overlaps the feature object,
An electronic device that controls the front camera to set focus to the location of the landmark.
 제1항에 있어서,
상기 프로세서는,
상기 반려 동물의 영상으로부터 상기 반려 동물의 위치 또는 자세를 판단하고,
상기 반려 동물의 위치 또는 자세에 기초하여 촬영 가이드를 위한 그래픽 또는 메시지를 상기 디스플레이를 통해 출력하는 전자 장치.
According to paragraph 1,
The processor,
Determine the location or posture of the companion animal from the image of the companion animal,
An electronic device that outputs graphics or messages for a shooting guide through the display based on the position or posture of the companion animal.
 제1항에 있어서,
상기 전자 장치의 자세를 측정하는 자이로 센서(gyroscope sensor)를 더 포함하고,
상기 프로세서는,
상기 자이로 센서로부터 상기 전자 장치의 자세 정보를 획득하고,
상기 자세 정보에 기초하여 상기 영상의 반전 방향을 결정하는 전자 장치.
According to paragraph 1,
Further comprising a gyroscope sensor that measures the posture of the electronic device,
The processor,
Obtaining posture information of the electronic device from the gyro sensor,
An electronic device that determines a reversal direction of the image based on the posture information.
 제1항에 있어서,
상기 전자 장치 주변의 조도를 측정하는 조도 센서를 더 포함하고,
상기 프로세서는 상기 조도 센서로부터 상기 전자 장치 주변의 조도 정보를 획득하고,
상기 조도 정보에 따라 상기 전면 카메라의 노출(exposure)을 제어하는 전자 장치.
According to paragraph 1,
Further comprising an illuminance sensor that measures the illuminance around the electronic device,
The processor obtains illuminance information around the electronic device from the illuminance sensor,
An electronic device that controls exposure of the front camera according to the illuminance information.
 삭제delete 제1항에 있어서,
상기 전면 카메라의 속성 정보는, 수동 초점 지원 여부, 촬영 포맷, 촬영 사이즈를 포함하는 전자 장치.
According to paragraph 1,
The attribute information of the front camera includes whether manual focus is supported, a shooting format, and a shooting size.
 제1항에 있어서,
상기 프로세서는 상기 전면 카메라의 속성 정보 및 상기 전면 카메라의 활성화가 가능한지 여부를 상기 디스플레이를 통해 출력하는 전자 장치.
According to paragraph 1,
The processor outputs attribute information of the front camera and whether activation of the front camera is possible through the display.
 제1항에 있어서,
상기 프로세서는 상기 전면 카메라의 활성화가 불가능한 경우 상기 후면 카메라를 활성화시키는 전자 장치.
According to paragraph 1,
An electronic device wherein the processor activates the rear camera when activation of the front camera is impossible.
 삭제delete 제1항에 있어서,
상기 프로세서는 상기 특징 객체의 영상에 대한 품질을 평가하고,
품질 조건을 만족하는 상기 특징 객체의 영상을 통신 모듈을 통해 서버로 전송하고,
상기 품질 평가 조건은 상기 특징 객체의 영상을 촬영한 카메라가 상기 전면 카메라인지 또는 상기 후면 카메라인지 여부에 따라 상이하도록 설정되는 전자 장치.
According to paragraph 1,
The processor evaluates the quality of the image of the feature object,
Transmitting the image of the feature object that satisfies the quality conditions to the server through a communication module,
The quality evaluation condition is set to be different depending on whether the camera that captured the image of the feature object is the front camera or the rear camera.
 디스플레이의 표시 방향을 향하여 영상을 촬영하는 전면 카메라와 상기 디스플레이의 표시 방향의 반대 방향의 영상을 촬영하는 후면 카메라를 포함하며, 반려 동물의 생체 정보를 취득하는 전자 장치의 동작 방법에 있어서,
상기 전면 카메라의 속성 정보를 확인하는 단계;
상기 전면 카메라의 속성 정보에 기초하여 상기 전면 카메라의 활성화가 가능한지 여부를 판단하는 단계;
상기 전면 카메라의 활성화가 가능한 경우 상기 전면 카메라의 활성화가 가능한 경우 상기 전면 카메라와 상기 후면 카메라 중 하나를 선택하도록 하는 인터페이스를 상기 디스플레이를 통해 출력하는 단계;
상기 전면 카메라가 선택되면 상기 전면 카메라를 통해 상기 반려 동물의 영상을 촬영하는 단계;
디스플레이를 통해 상기 영상을 출력하는 단계;
상기 영상에서 특징 객체를 추출하는 단계; 및
상기 특징 객체의 영상을 메모리에 저장하는 단계를 포함하는 전자 장치의 동작 방법.
A method of operating an electronic device that acquires biometric information of a companion animal, comprising a front camera that captures an image in the display direction of the display and a rear camera that captures an image in a direction opposite to the display direction of the display,
Checking attribute information of the front camera;
determining whether activation of the front camera is possible based on attribute information of the front camera;
outputting, through the display, an interface for selecting one of the front camera and the rear camera when the front camera can be activated;
When the front camera is selected, taking an image of the companion animal through the front camera;
outputting the image through a display;
extracting feature objects from the image; and
A method of operating an electronic device including storing an image of the feature object in a memory.
KR1020220170852A 2021-12-10 2022-12-08 Electornic device for acquiring biometric information of and operating method thereof KR102623605B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
AU2022406037A AU2022406037A1 (en) 2021-12-10 2022-12-09 Electronic apparatus for obtaining biometric information of companion animal and operating method therefor
PCT/KR2022/019991 WO2023106874A1 (en) 2021-12-10 2022-12-09 Electronic apparatus for obtaining biometric information of companion animal and operating method therefor
CA3238404A CA3238404A1 (en) 2021-12-10 2022-12-09 Electronic apparatus for obtaining biometric information of companion animal and operation method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020210177064 2021-12-10
KR20210177064 2021-12-10
KR1020220113809 2022-09-07
KR20220113809 2022-09-07

Publications (2)

Publication Number Publication Date
KR20230088280A KR20230088280A (en) 2023-06-19
KR102623605B1 true KR102623605B1 (en) 2024-01-11

Family

ID=86988725

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220170852A KR102623605B1 (en) 2021-12-10 2022-12-08 Electornic device for acquiring biometric information of and operating method thereof

Country Status (1)

Country Link
KR (1) KR102623605B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019250B2 (en) * 2018-03-20 2021-05-25 Iscilab Corporation Method for implementing animal nose pattern biometric identification system on mobile devices

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101023339B1 (en) * 2009-07-16 2011-03-18 삼성전기주식회사 System for automatically tracking of moving subjects and method of same
KR102581179B1 (en) * 2018-05-14 2023-09-22 삼성전자주식회사 Electronic device for perfoming biometric authentication and operation method thereof
CN112887586B (en) * 2019-05-06 2022-05-10 苹果公司 User interface for capturing and managing visual media
KR20210074017A (en) * 2019-12-11 2021-06-21 대한민국(농촌진흥청장) System for authenticating the biological information of dog

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019250B2 (en) * 2018-03-20 2021-05-25 Iscilab Corporation Method for implementing animal nose pattern biometric identification system on mobile devices

Also Published As

Publication number Publication date
KR20230088280A (en) 2023-06-19

Similar Documents

Publication Publication Date Title
US11210796B2 (en) Imaging method and imaging control apparatus
CN110869944B (en) Reading test cards using mobile devices
KR20170010588A (en) Image capturing apparatus and method for the same
JP5652886B2 (en) Face authentication device, authentication method and program, information device
US10291843B2 (en) Information processing apparatus having camera function and producing guide display to capture character recognizable image, control method thereof, and storage medium
KR20150005270A (en) Method for previewing images captured by electronic device and the electronic device therefor
CN109478227A (en) Calculate the iris in equipment or the identification of other physical feelings
JP2019057036A (en) Information processing apparatus, control method thereof, and program
JP6096654B2 (en) Image recording method, electronic device, and computer program
US11284020B2 (en) Apparatus and method for displaying graphic elements according to object
KR20190085787A (en) Electronic device and method for processing image of the same
JP6794819B2 (en) Image print system
JP6794284B2 (en) Portable information processing device with camera function, its display control method, and program
KR102623605B1 (en) Electornic device for acquiring biometric information of and operating method thereof
JP2019118021A (en) Shooting control system, shooting control method, program, and recording medium
KR101742779B1 (en) System for making dynamic digital image by voice recognition
US20230154148A1 (en) Image capturing apparatus capable of suppressing detection of subject not intended by user, control method for image capturing apparatus, and storage medium
CN109804408B (en) Consistent spherical photo and video orientation correction
JP2012205089A (en) Information processing device, information processing method, and information processing program
JP2013149034A (en) Image display apparatus, image display method, and program
JP6399371B1 (en) Information processing apparatus, information processing apparatus control method, and program
JP2019113959A (en) Muzzle pattern collation system, muzzle pattern collation method and muzzle pattern collation program
CA3238404A1 (en) Electronic apparatus for obtaining biometric information of companion animal and operation method thereof
JP2013074451A (en) Image pickup apparatus
CN118266226A (en) Electronic device for acquiring biological information of pet and working method thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right