KR20230088280A - Electornic device for acquiring biometric information of and operating method thereof - Google Patents

Electornic device for acquiring biometric information of and operating method thereof Download PDF

Info

Publication number
KR20230088280A
KR20230088280A KR1020220170852A KR20220170852A KR20230088280A KR 20230088280 A KR20230088280 A KR 20230088280A KR 1020220170852 A KR1020220170852 A KR 1020220170852A KR 20220170852 A KR20220170852 A KR 20220170852A KR 20230088280 A KR20230088280 A KR 20230088280A
Authority
KR
South Korea
Prior art keywords
image
front camera
display
companion animal
electronic device
Prior art date
Application number
KR1020220170852A
Other languages
Korean (ko)
Other versions
KR102623605B1 (en
Inventor
박대현
임준호
Original Assignee
주식회사 펫나우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 펫나우 filed Critical 주식회사 펫나우
Priority to PCT/KR2022/019991 priority Critical patent/WO2023106874A1/en
Priority to CA3238404A priority patent/CA3238404A1/en
Priority to AU2022406037A priority patent/AU2022406037A1/en
Publication of KR20230088280A publication Critical patent/KR20230088280A/en
Application granted granted Critical
Publication of KR102623605B1 publication Critical patent/KR102623605B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

반려 동물의 생체 정보를 취득하는 전자 장치는, 디스플레이; 상기 디스플레이의 표시 방향을 향하여 영상을 촬영하는 전면 카메라; 상기 디스플레이 및 상기 전면 카메라와 기능적으로 결합된 프로세서; 및 상기 프로세서와 기능적으로 결합된 메모리를 포함한다. 상기 프로세서는, 상기 전면 카메라를 통해 촬영되는 상기 반려 동물의 영상을 촬영하고, 상기 반려 동물의 영상을 상기 디스플레이를 통해 표시하고, 상기 반려 동물의 영상에서 특징 객체를 추출하고, 상기 특징 객체의 영상을 상기 메모리에 저장한다. An electronic device for acquiring biometric information of a companion animal includes a display; a front camera for capturing images in the display direction of the display; a processor functionally coupled to the display and the front camera; and a memory functionally coupled with the processor. The processor captures an image of the companion animal captured through the front camera, displays the image of the companion animal through the display, extracts a feature object from the image of the companion animal, and images of the feature object. is stored in the memory.

Description

반려 동물의 생체 정보를 취득하는 전자 장치 및 그 동작 방법{ELECTORNIC DEVICE FOR ACQUIRING BIOMETRIC INFORMATION OF AND OPERATING METHOD THEREOF}Electronic device for obtaining biometric information of companion animal and its operating method

본 발명은 반려 동물의 생체 정보를 취득하는 전자 장치 및 전자 장치의 동작 방법에 관한 것이다. The present invention relates to an electronic device for acquiring biometric information of a companion animal and a method for operating the electronic device.

현대 사회에서 사람과 함께 생활하면서 정서적으로 의지할 수 있는 반려 동물에 대한 수요가 높아지고 있다. 반려 동물의 생애 주기 관리 및 건강 관리 등 다양한 부가 서비스를 위하여, 반려 동물에 대한 정보를 데이터베이스화 하여 관리할 필요성이 증가하고 있다. 여기에는 반려 동물의 개체 식별 정보가 필요하며, 반려 동물에 따라 사용될 수 있는 객체가 각각 정의될 수 있다. 예를 들어, 사람의 지문과 유사하게, 개의 비문(코 주름의 형상)은 개체별로 모두 상이한 것으로 알려져 있으며, 일반적으로 성견(생후 6개월)이 되면 남은 생애 주기 동안 그 특징이 변형되지 않는 것으로 알려져 있다. 따라서 개의 경우 비문을 신원을 식별하기 위한 수단으로 사용할 수 있다고 할 수 있다. In modern society, the demand for companion animals that can be emotionally relied on while living with people is increasing. For various additional services such as life cycle management and health management of companion animals, the need to manage information about companion animals in a database is increasing. Individual identification information of the companion animal is required here, and objects that can be used according to the companion animal may be defined respectively. For example, similar to human fingerprints, it is known that dog prints (nose wrinkles) are all different for each individual, and in general, it is known that when a dog becomes an adult (6 months old), its characteristics do not change for the rest of its life cycle. there is. Therefore, in the case of dogs, it can be said that inscriptions can be used as a means of identification.

다만, 특정 자세를 취하거나 각종 센서를 사용할 수 있는 사람과 달리, 반려 동물은 특정 자세를 취하거나 센서를 사용하는 것이 용이하지 않다. 언어 소통이 불가능하므로 물리력 또는 고정 틀과 같은 도구를 동원하여 강제로 특정 자세로 고정하거나 센서에 접촉시키는 등의 방법을 고려할 수 있으나, 반려 동물의 권리 보호 및 반려 동물 보호자의 거부감 측면에서 바람직하지 못하다고 할 수 있다. 또한 반려 동물을 고정하는 사람과 생체 정보 취득 장치를 조작하는 사람이 필요하므로, 생체 정보 취득을 혼자서 진행하기에 어려움이 크다는 현실적인 문제점이 존재한다.However, unlike a person who can take a specific posture or use various sensors, it is not easy for a companion animal to take a specific posture or use a sensor. Since verbal communication is impossible, methods such as forcibly fixing in a specific posture using tools such as physical force or a fixing frame or contacting a sensor can be considered, but it is considered undesirable in terms of protecting the rights of companion animals and the reluctance of companion animal guardians. can do. In addition, since a person fixing the companion animal and a person manipulating the biometric information acquisition device are required, there is a practical problem in that it is difficult to acquire the biometric information alone.

본 발명은 카메라를 이용하여 반려 동물의 생체 정보를 취득함에 있어, 피촬영자로 하여금 촬영 중인 장면을 실시간으로 확인할 수 있도록 함으로써 촬영을 손쉽게 진행할 수 있도록 하는 전자 장치 및 전자 장치의 동작 방법을 제공한다.The present invention provides an electronic device and an operating method of the electronic device that allow a person to be photographed to check a scene being photographed in real time when obtaining biometric information of a companion animal using a camera, thereby enabling easy photographing.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확히 이해될 수 있을 것이다.The problems of the present invention are not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.

반려 동물의 생체 정보를 취득하는 전자 장치는, 디스플레이; 상기 디스플레이의 표시 방향을 향하여 영상을 촬영하는 전면 카메라; 상기 디스플레이 및 상기 전면 카메라와 기능적으로 결합된 프로세서; 및 상기 프로세서와 기능적으로 결합된 메모리를 포함한다. 상기 프로세서는, 상기 전면 카메라를 통해 촬영되는 상기 반려 동물의 영상을 촬영하고, 상기 반려 동물의 영상을 상기 디스플레이를 통해 표시하고, 상기 반려 동물의 영상에서 특징 객체를 추출하고, 상기 특징 객체의 영상을 상기 메모리에 저장한다. An electronic device for acquiring biometric information of a companion animal includes a display; a front camera for capturing images in the display direction of the display; a processor functionally coupled to the display and the front camera; and a memory functionally coupled with the processor. The processor captures an image of the companion animal captured through the front camera, displays the image of the companion animal through the display, extracts a feature object from the image of the companion animal, and images of the feature object. is stored in the memory.

본 발명에 따르면, 상기 프로세서는, 상기 반려 동물의 영상에서 상기 특징 객체의 위치에 그래픽 또는 메시지를 오버랩하고, 상기 그래픽 또는 메시지가 오버랩된 반려 동물의 영상을 상기 디스플레이를 통해 출력한다. According to the present invention, the processor overlaps a graphic or message with a location of the feature object in the image of the companion animal, and outputs the image of the companion animal with the graphic or message overlapped through the display.

본 발명에 따르면, 상기 그래픽 또는 메시지는 상기 특징 객체의 촬영 상태를 나타낸다. According to the present invention, the graphic or message indicates the photographing state of the feature object.

본 발명에 따르면, 상기 전자 장치는 상기 디스플레이의 표시 영역에 구비되는 터치 센서를 더 포함한다. 상기 프로세서는, 상기 터치 센서로부터 상기 디스플레이에 접촉한 접촉물 또는 부착물의 위치를 획득하고, 상기 접촉물 또는 부착물의 위치로 초점이 설정되도록 상기 전면 카메라를 제어한다. According to the present invention, the electronic device further includes a touch sensor provided in a display area of the display. The processor obtains a position of a contact or attachment contacting the display from the touch sensor, and controls the front camera to set a focus to the position of the contact or attachment.

본 발명에 따르면, 상기 프로세서는, 상기 디스플레이의 표시 영역에 표식물을 표시하고, 상기 특징 객체의 위치를 추적하여 상기 표식물이 상기 특징 객체에 오버랩 되도록 상기 표식물을 이동하고, 상기 표식물의 위치로 초점이 설정되도록 상기 전면 카메라를 제어한다. According to the present invention, the processor displays a marker on the display area of the display, tracks the position of the feature object, moves the marker so that the marker overlaps the feature object, and focuses on the location of the marker. Control the front camera to be set.

본 발명에 따르면, 상기 프로세서는, 상기 반려 동물의 영상으로부터 상기 반려 동물의 위치 또는 자세를 판단하고, 상기 반려 동물의 위치 또는 자세에 기초하여 촬영 가이드를 위한 그래픽 또는 메시지를 상기 디스플레이를 통해 출력한다. According to the present invention, the processor determines the position or posture of the companion animal from the image of the companion animal, and outputs a graphic or message for a shooting guide through the display based on the position or posture of the companion animal. .

본 발명에 따르면, 상기 전자 장치는 상기 전자 장치의 자세를 측정하는 자이로 센서(gyroscope sensor)를 더 포함한다. 상기 프로세서는, 상기 자이로 센서로부터 상기 전자 장치의 자세 정보를 획득하고, 상기 자세 정보에 기초하여 상기 영상의 반전 방향을 결정한다. According to the present invention, the electronic device further includes a gyroscope sensor for measuring a posture of the electronic device. The processor obtains attitude information of the electronic device from the gyro sensor, and determines a reversal direction of the image based on the attitude information.

본 발명에 따르면, 상기 전자 장치는 상기 전자 장치 주변의 조도를 측정하는 조도 센서를 더 포함한다. 상기 프로세서는 상기 조도 센서로부터 상기 전자 장치 주변의 조도 정보를 획득하고, 상기 조도 정보에 따라 상기 전면 카메라의 노출(exposure)을 제어한다. According to the present invention, the electronic device further includes an illuminance sensor for measuring an illuminance around the electronic device. The processor obtains illumination information around the electronic device from the illumination sensor and controls exposure of the front camera according to the illumination information.

본 발명에 따르면, 상기 전자 장치는 상기 디스플레이의 표시 방향의 반대 방향의 영상을 촬영하는 후면 카메라를 더 포함한다. 상기 프로세서는, 상기 전면 카메라의 속성 정보를 확인하고, 상기 전면 카메라의 속성 정보에 기초하여 상기 전면 카메라의 활성화가 가능한지 여부를 판단한다. According to the present invention, the electronic device further includes a rear camera that captures an image in a direction opposite to the display direction of the display. The processor checks attribute information of the front camera, and determines whether the front camera can be activated based on the attribute information of the front camera.

본 발명에 따르면, 상기 전면 카메라의 속성 정보는, 수동 초점 지원 여부, 촬영 포맷, 촬영 사이즈를 포함한다. According to the present invention, the attribute information of the front camera includes whether manual focus is supported, a photographing format, and a photographing size.

본 발명에 따르면, 상기 프로세서는 상기 전면 카메라의 속성 정보 및 상기 전면 카메라의 활성화가 가능한지 여부를 상기 디스플레이를 통해 출력한다. According to the present invention, the processor outputs property information of the front camera and whether the front camera can be activated through the display.

본 발명에 따르면, 상기 프로세서는 상기 전면 카메라의 활성화가 불가능한 경우 상기 후면 카메라를 활성화시킨다. According to the present invention, the processor activates the rear camera when it is impossible to activate the front camera.

본 발명에 따르면, 상기 프로세서는, 상기 전면 카메라가 활성화 가능한 경우 상기 전면 카메라와 상기 후면 카메라 중 하나를 선택하도록 하는 인터페이스를 상기 디스플레이를 통해 출력한다. According to the present invention, when the front camera can be activated, the processor outputs an interface for selecting one of the front camera and the rear camera through the display.

본 발명에 따르면, 상기 프로세서는 상기 특징 객체의 영상에 대한 품질을 평가하고, 품질 조건을 만족하는 상기 특징 객체의 영상을 통신 모듈을 통해 서버로 전송한다. 상기 품질 평가 조건은 상기 특징 객체의 영상을 촬영한 카메라가 상기 전면 카메라인지 또는 상기 후면 카메라인지 여부에 따라 상이하도록 설정된다. According to the present invention, the processor evaluates the quality of the image of the feature object and transmits the image of the feature object that satisfies the quality condition to the server through a communication module. The quality evaluation condition is set to be different depending on whether a camera capturing an image of the feature object is the front camera or the rear camera.

본 발명에 따른 반려 동물의 생체 정보를 취득하는 전자 장치의 동작 방법은, 전면 카메라를 통해 상기 반려 동물의 영상을 촬영하는 단계; 디스플레이를 통해 상기 영상을 출력하는 단계; 상기 영상에서 특징 객체를 추출하는 단계; 및 상기 특징 객체의 영상을 메모리에 저장하는 단계를 포함한다. 상기 전면 카메라는 상기 디스플레이의 표시 방향을 향하여 영상을 촬영한다. An operating method of an electronic device for obtaining biometric information of a companion animal according to the present invention includes the steps of capturing an image of the companion animal through a front camera; outputting the image through a display; extracting a feature object from the image; and storing the image of the feature object in a memory. The front camera captures images in the display direction of the display.

본 발명에 따르면, 반려 동물을 촬영함에 있어 디스플레이의 표시 방향을 향하여 영상을 촬영하는 전면 카메라를 통해 반려 동물의 영상을 촬영함으로써, 사용자가 촬영중인 반려 동물의 영상을 실시간으로 확인할 수 있고 보다 식별 또는 학습에 적합한 반려 동물의 생체 정보가 취득될 수 있다. According to the present invention, in photographing a companion animal, by capturing an image of the companion animal through a front camera that captures an image in the display direction of the display, the user can check the image of the companion animal being photographed in real time, and more easily identify or Biometric information of a companion animal suitable for learning may be obtained.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 전면 카메라가 디스플레이 영역의 내부에 장착된 전자 장치의 예를 도시한다.
도 2는 전면 카메라가 디스플레이 영역의 외부에 장착된 전자 장치의 예를 도시한다.
도 3은 본 발명에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 4는 반려 동물의 생체 정보를 취득하는 전자 장치와 생체 정보를 처리하는 서버를 도시한다.
도 5는 본 발명에 따른 반려 동물의 생체 정보를 취득하기 위한 전자 장치의 동작 방법을 나타내는 흐름도이다.
도 6은 전면 카메라를 이용하여 반려 동물의 생체 정보를 취득하는 방법을 설명하기 위한 도면이다.
도 7은 반려 동물의 생체 인식을 위한 특징 객체의 위치에 그래픽이 오버랩되어 표시되는 경우를 도시한다.
도 8은 반려 동물의 영상에서 촬영 상태를 나타내는 그래픽 또는 메시지를 출력하는 과정을 나타내는 흐름도이다.
도 9는 반려 동물의 영상에서 촬영 상태를 나타내는 그래픽의 예를 도시한다.
도 10은 디스플레이에 부착된 부착물을 사용하여 전면 카메라의 초점을 제어하는 과정을 나타내는 흐름도이다.
도 11은 디스플레이에 부착된 부착물의 예를 도시한다.
도 12는 촬영 가이드를 위한 그래픽 또는 메시지를 출력하는 과정을 나타내는 흐름도이다.
도 13은 반려 동물의 위치에 따른 촬영 가이드를 위한 그래픽 및 메시지의 예를 도시한다.
도 14는 반려 동물의 자세에 따른 촬영 가이드를 위한 그래픽 및 메시지의 예를 도시한다.
도 15는 전자 장치의 자세 정보에 기초하여 반전 방향을 결정하는 과정을 나타내는 흐름도이다.
도 16 및 도 17은 전자 장치의 자세에 따라 영상을 반전시키는 과정을 도시한다.
도 18은 카메라의 노출을 제어하는 과정을 나타내는 흐름도이다.
도 19는 조도 센서가 구비된 전자 장치를 도시한다.
도 20는 전면 카메라 또는 후면 카메라를 활성화하는 과정을 나타내는 흐름도이다.
도 21은 전면 카메라 또는 후면 카메라를 선택하도록 하는 인터페이스의 예를 도시한다.
도 22는 품질 평가 및 영상 전송 과정을 포함하는 전자 장치의 동작 방법을 나타내는 흐름도이다.
1 illustrates an example of an electronic device in which a front camera is mounted inside a display area.
2 illustrates an example of an electronic device in which a front camera is mounted outside a display area.
3 is a block diagram for explaining the configuration of an electronic device according to the present invention.
4 illustrates an electronic device that acquires biometric information of a companion animal and a server that processes the biometric information.
5 is a flowchart illustrating a method of operating an electronic device for obtaining biometric information of a companion animal according to the present invention.
6 is a diagram for explaining a method of obtaining biometric information of a companion animal using a front camera.
7 illustrates a case in which graphics are overlapped and displayed at the location of a feature object for biometric recognition of a companion animal.
8 is a flowchart illustrating a process of outputting a graphic or message indicating a photographing state in an image of a companion animal.
9 illustrates an example of a graphic representing a photographing state in an image of a companion animal.
10 is a flowchart illustrating a process of controlling a focus of a front camera using an attachment attached to a display.
11 shows an example of an attachment attached to a display.
12 is a flowchart illustrating a process of outputting graphics or messages for a shooting guide.
13 illustrates an example of graphics and messages for a shooting guide according to the location of a companion animal.
14 illustrates an example of graphics and messages for a shooting guide according to a posture of a companion animal.
15 is a flowchart illustrating a process of determining a reversal direction based on posture information of an electronic device.
16 and 17 illustrate a process of inverting an image according to a posture of an electronic device.
18 is a flowchart illustrating a process of controlling exposure of a camera.
19 shows an electronic device equipped with an illuminance sensor.
20 is a flowchart illustrating a process of activating a front camera or a rear camera.
21 shows an example of an interface allowing selection of a front camera or a rear camera.
22 is a flowchart illustrating a method of operating an electronic device including quality evaluation and image transmission processes.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. This invention may be embodied in many different forms and is not limited to the embodiments set forth herein.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals are assigned to the same or similar components throughout the specification.

또한, 여러 실시예들에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적인 실시예에서만 설명하고, 그 외의 다른 실시예에서는 대표적인 실시예와 다른 구성에 대해서만 설명하기로 한다.In addition, in various embodiments, components having the same configuration will be described only in representative embodiments using the same reference numerals, and in other embodiments, only configurations different from the representative embodiments will be described.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(또는 결합)"되어 있다고 할 때, 이는 "직접적으로 연결(또는 결합)"되어 있는 경우뿐만 아니라, 다른 부재를 사이에 두고 "간접적으로 연결(또는 결합)"된 것도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to be "connected (or coupled)" to another part, this is not only the case where it is "directly connected (or coupled)", but also "indirectly connected (or coupled)" through another member. Combined)" is also included. In addition, when a part "includes" a certain component, it means that it may further include other components without excluding other components unless otherwise stated.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't

본 발명은 반려 동물의 생체 정보를 취득하기 위한 전자 장치(1) 및 전자 장치(1)의 동작 방법을 제공하고자 한다. 반려 동물의 생체 정보는 반려 동물의 신원 확인을 위해 취득된다. 반려 동물의 생체 정보는 홍채, 안면 형상, 신체 형상, 코 주름 형상(비문)을 포함할 수 있다. 본 문서에서는 반려 동물의 생체 정보로서 강아지의 비문을 촬영하는 내용을 중심으로 설명하나, 본 발명에서 반려 동물의 범위는 강아지에 한정되지 않으며, 또한 식별 정보로 사용되는 특징으로서 비문에 한정되지 않고 다양한 반려 동물의 신체적 특징이 사용될 수 있다. An object of the present invention is to provide an electronic device 1 for acquiring biometric information of a companion animal and an operating method of the electronic device 1 . The companion animal's biometric information is acquired to verify the companion animal's identity. The biometric information of the companion animal may include iris, facial shape, body shape, and nose wrinkle shape (inscription). Although this document focuses on photographing the dog's inscription as biometric information of the companion animal, the scope of the companion animal in the present invention is not limited to the dog, and as a feature used as identification information, it is not limited to the inscription and various Physical characteristics of companion animals may be used.

본 발명에 따르면 전자 장치(1)는 전면 카메라(31)를 이용하여 반려 동물을 촬영하고, 촬영된 영상으로부터 반려 동물의 생체 정보를 취득한다. 전면 카메라(31)는 전자 장치(1)의 디스플레이(20)가 향하는 방향을 의미한다. 전자 장치(1)는 스마트폰, 태블릿과 같은 모바일 기기일 수 있다. 또한, 전자 장치(1)는 컴퓨팅 장치(예: 랩톱 컴퓨터, 데스크탑 컴퓨터)에 해당할 수도 있다. 폴더블 폰과 같이 접는 형태의 모바일 기기의 경우, 접히기 전 및 접힌 후 각각에 대하여 전면 카메라(31)가 존재할 수 있다. 본 발명에 따른 전자 장치(1)에서 전면 카메라(31)는 디스플레이(20)의 내부에 구비될 수도 있고 외부에 구비될 수도 있다. According to the present invention, the electronic device 1 photographs a companion animal using the front camera 31 and acquires biometric information of the companion animal from the photographed image. The front camera 31 means a direction in which the display 20 of the electronic device 1 faces. The electronic device 1 may be a mobile device such as a smart phone or tablet. Also, the electronic device 1 may correspond to a computing device (eg, a laptop computer or a desktop computer). In the case of a foldable mobile device such as a foldable phone, a front camera 31 may exist before and after being folded. In the electronic device 1 according to the present invention, the front camera 31 may be provided inside or outside the display 20 .

도 1은 전면 카메라(31)가 디스플레이 영역의 내부에 장착된 전자 장치(1)의 예를 도시한다. 도 1의 (a)는 전면 카메라(31)가 디스플레이 영역의 내부에 장착된 전자 장치(1)의 전방(F)을 나타내며, 도 1의 (b)는 전자 장치(1)의 후방(R)을 나타낸다. 전자 장치(1)의 외관은 프레임(10), 디스플레이(20), 전면 카메라(31), 후면 카메라(32)으로 구성될 수 있다. 도 1에서, 전면 카메라(31)는 디스플레이(20)의 화면 영역의 내부에 구성될 수 있다. 전면 카메라(31) 및 후면 카메라(32)는 각각 복수개의 카메라로 구성될 수도 있다. 한편, 도 2와 같이 전면 카메라(31)가 디스플레이 영역의 외부에 장착될 수도 있다. 1 shows an example of an electronic device 1 in which a front camera 31 is mounted inside a display area. (a) of FIG. 1 shows the front (F) of the electronic device 1 in which the front camera 31 is mounted inside the display area, and (b) of FIG. 1 shows the rear (R) of the electronic device 1. indicates The exterior of the electronic device 1 may include a frame 10 , a display 20 , a front camera 31 , and a rear camera 32 . In FIG. 1 , the front camera 31 may be configured inside the screen area of the display 20 . Each of the front camera 31 and the rear camera 32 may include a plurality of cameras. Meanwhile, as shown in FIG. 2 , the front camera 31 may be mounted outside the display area.

도 3을 참고하면, 본 발명에 따른 전자 장치(1)는, 디스플레이(20), 전면 카메라(31), 프로세서(40), 메모리(50)를 포함한다. 선택적으로, 전자 장치(1)는 후면 카메라(32)를 더 포함할 수 있다. 선택적으로, 전자 장치(1)는 자이로 센서(71), 터치 센서(72), 또는 조도 센서(73)를 더 포함할 수 있다. 선택적으로, 전자 장치(1)는 통신 모듈(60), 스피커(81), 또는 마이크(82)를 더 포함할 수 있다. Referring to FIG. 3 , the electronic device 1 according to the present invention includes a display 20, a front camera 31, a processor 40, and a memory 50. Optionally, the electronic device 1 may further include a rear camera 32 . Optionally, the electronic device 1 may further include a gyro sensor 71 , a touch sensor 72 , or an illuminance sensor 73 . Optionally, the electronic device 1 may further include a communication module 60 , a speaker 81 , or a microphone 82 .

디스플레이(20)는 시각적 정보를 출력하는 장치이다. 디스플레이(20)는 패널 및 제어 회로를 포함할 수 있다. 패널에는 터치 센서(72)가 구비될 수 있다. 특히, 디스플레이(20)는 촬영중인 반려 동물의 영상(프리뷰 영상, 캡쳐된 프레임)을 출력할 수 있다. 또한, 디스플레이(20)는 반려 동물의 생체 정보를 취득하는 과정에서 사용자에게 정보를 제공하는 인터페이스를 출력할 수 있다. The display 20 is a device that outputs visual information. The display 20 may include a panel and control circuitry. A touch sensor 72 may be provided on the panel. In particular, the display 20 may output an image (preview image, captured frame) of the companion animal being photographed. In addition, the display 20 may output an interface providing information to the user in the process of obtaining the biometric information of the companion animal.

카메라(전면 카메라(31) 또는 후면 카메라(32))는 영상(정지 영상 또는 동영상)을 촬영하는 장치이다. 카메라는 하나 이상의 이미지 센서, 렌즈, 카메라 제어기, 영상 처리 프로세서, 플래시를 포함할 수 있다. 카메라는 반려 동물의 생체 정보를 취득하기 위한 영상을 촬영할 수 있다. 반려 동물의 생체 정보를 취득하기 위한 특징 객체가 적절히 식별될 수 있도록, 카메라의 특성(예: 초점, 노출)이 제어될 수 있다. 전면 카메라(31)는 도 1과 같이 디스플레이(20)의 표시 방향을 향하여 영상을 촬영하는 카메라이고, 후면 카메라(32)는 도 2와 같이 디스플레이(20)의 표시 방향의 반대 방향을 향하여 영상을 촬영하는 카메라이다. 카메라는 전자 장치(1)에 내장된 카메라 뿐만 아니라 전자 장치(1)에 유선 또는 무선으로 결합된 외장 카메라를 포함할 수도 있다. A camera (front camera 31 or rear camera 32) is a device for capturing images (still images or moving images). A camera may include one or more image sensors, lenses, camera controllers, image processing processors, and flashes. The camera may capture an image for obtaining biometric information of the companion animal. Camera characteristics (eg, focus and exposure) may be controlled so that a feature object for acquiring biometric information of a companion animal may be appropriately identified. The front camera 31 is a camera that captures images in the display direction of the display 20 as shown in FIG. 1 , and the rear camera 32 captures images in the opposite direction to the display direction of the display 20 as shown in FIG. 2 . It is a camera that shoots. The camera may include a camera built into the electronic device 1 as well as an external camera coupled to the electronic device 1 by wire or wirelessly.

프로세서(40)는 전자 장치(1)의 동작을 수행하기 위한 연산 및 데이터 처리, 그리고 전자 장치(1)의 각 모듈을 제어할 수 있다. 프로세서(40)는 메모리(50)에 저장된 하나 이상의 소프트웨어 프로그램들을 실행할 수 있다. 프로세서(40)는 전자 장치(1)의 전반적인 동작을 관리하는 운영 체제를 실행하는 범용 프로세서(예: CPU)를 포함할 수 있다. 또한, 프로세서(40)는 특정 연산 처리를 위한 전용 프로세서(예: GPU, NPU)를 포함할 수 있다. 프로세서(40)는 하나 또는 그 이상의 프로세싱 회로를 포함할 수 있다. 프로세서(40)는 반려 동물의 생체 정보를 취득하기 위한 데이터 처리 및 제어 동작을 수행할 수 있다. The processor 40 may control calculation and data processing for performing the operation of the electronic device 1 and each module of the electronic device 1 . Processor 40 may execute one or more software programs stored in memory 50 . The processor 40 may include a general-purpose processor (eg, CPU) that runs an operating system managing overall operations of the electronic device 1 . In addition, the processor 40 may include a dedicated processor (eg, GPU, NPU) for specific calculation processing. Processor 40 may include one or more processing circuits. The processor 40 may perform data processing and control operations for obtaining biometric information of a companion animal.

메모리(50)는 전자 장치(1)의 동작을 위한 운영 체제, 어플리케이션과 같은 프로그램 및 프로그램의 실행 과정에서 사용되는 데이터를 저장할 수 있다. 메모리(50)는 휘발성 메모리(예: DRAM) 및 비휘발성 메모리(예: 플래시 메모리)를 포함할 수 있다. 메모리(50)는 반려 동물의 생체 정보를 취득하기 위한 영상을 저장할 수 있다. The memory 50 may store programs such as an operating system and applications for operating the electronic device 1 and data used in the course of executing the programs. The memory 50 may include volatile memory (eg, DRAM) and non-volatile memory (eg, flash memory). The memory 50 may store an image for obtaining biometric information of a companion animal.

통신 모듈(60)은 전자 장치(1)와 외부 개체(예: 서버, 기지국, IoT 기기, 모바일 기기)와 통신할 수 있는 환경을 제공한다. 통신 모듈(60)은 안테나, RF 회로, 통신 프로세서를 포함할 수 있다. 통신 모듈(60)은 외부 개체로부터 수신된 데이터를 프로세서(40)로 제공할 수 있다. 통신 모듈(60)은 프로세서(40)로부터 제공된 데이터를 변환하여 외부 개체로 전송할 수 있다. 통신 모듈(60)은 프로세서(40)로부터 제공된 반려 동물의 생체 인증을 위한 영상 데이터를 수신하고, 영상 데이터를 서버(2)로 전송할 수 있다. 도 4에 도시된 것과 같이, 전자 장치(1)는 서버(2)와 통신할 수 있다. 전자 장치(1)는 반려 동물의 생체 정보를 취득하고, 취득된 생체 정보를 서버(2)로 전송할 수 있다. 서버(2)는 생체 정보를 데이터베이스에 저장할 수 있다. 서버(2)는 생체 정보로부터 반려 동물의 학습 또는 식별을 위한 데이터 처리를 수행할 수 있다. 서버(2)는 생체 정보로부터 반려 동물의 식별 정보를 생성하고, 반려 동물의 식별 정보를 전자 장치(1)로 전송할 수 있다. The communication module 60 provides an environment in which the electronic device 1 can communicate with external entities (eg, servers, base stations, IoT devices, mobile devices). The communication module 60 may include an antenna, an RF circuit, and a communication processor. The communication module 60 may provide data received from an external entity to the processor 40 . The communication module 60 may convert data provided from the processor 40 and transmit it to an external entity. The communication module 60 may receive image data for biometric authentication of a companion animal provided from the processor 40 and transmit the image data to the server 2 . As shown in FIG. 4 , the electronic device 1 may communicate with the server 2 . The electronic device 1 may acquire biometric information of the companion animal and transmit the acquired biometric information to the server 2 . The server 2 may store biometric information in a database. The server 2 may perform data processing for learning or identification of a companion animal from biometric information. The server 2 may generate companion animal identification information from biometric information and transmit the companion animal identification information to the electronic device 1 .

즉, 본 발명에 따른 반려 동물의 생체 정보를 취득하는 전자 장치(1)는 디스플레이(20)와, 디스플레이(20)의 표시 방향을 향하여 영상을 촬영하는 전면 카메라(31)와, 디스플레이(20) 및 전면 카메라(31)와 기능적으로 결합된 프로세서(40)와, 프로세서(40)와 기능적으로 결합된 메모리(50)를 포함한다. 반려 동물의 생체 정보를 취득하기 위하여, 프로세서(40)는 전면 카메라(31)를 통해 반려 동물의 영상을 촬영하고, 반려 동물의 영상을 디스플레이(20)를 통해 출력하고, 반려 동물의 영상에서 특징 객체를 추출하고, 특징 객체의 영상을 메모리(50)에 저장한다. That is, the electronic device 1 for obtaining biometric information of a companion animal according to the present invention includes a display 20, a front camera 31 for capturing an image in the display direction of the display 20, and the display 20. and a processor 40 functionally coupled to the front camera 31 and a memory 50 functionally coupled to the processor 40 . In order to acquire the biometric information of the companion animal, the processor 40 captures an image of the companion animal through the front camera 31, outputs the image of the companion animal through the display 20, and outputs the image of the companion animal through the display 20. The object is extracted, and the image of the feature object is stored in the memory 50.

도 5는 본 발명에 따른 반려 동물의 생체 정보를 취득하기 위한 전자 장치(1)의 동작 방법을 나타내는 흐름도이다. 이하, 본 발명에 따른 반려 동물의 생체 정보를 취득하기 위한 전자 장치(1)의 동작 방법은 프로세서(40)에 의해 수행될 수 있다. 본 발명에 따른 반려 동물의 생체 정보를 취득하기 위한 전자 장치(1)의 동작 방법은, 전면 카메라(31)를 통해 반려 동물의 영상을 촬영하는 단계(S510)와, 디스플레이(20)를 통해 영상을 출력하는 단계(S520)와, 영상에서 특징 객체를 추출하는 단계(S530)와, 특징 객체의 영상을 메모리(50)에 저장하는 단계(S540)를 포함한다. 전면 카메라(31)는 디스플레이(20)의 표시 방향을 향하여 영상을 촬영한다. 여기서 전면 카메라(31)의 촬영 방향은 디스플레이(20)의 표시 방향과 동일한 방향에 해당할 수도 있고, 실질적으로 동일한 범위 이내의 방향(0도에서 90도 이내의 방향)에 해당할 수 있다. 5 is a flowchart illustrating an operating method of the electronic device 1 for acquiring biometric information of a companion animal according to the present invention. Hereinafter, a method of operating the electronic device 1 for obtaining biometric information of a companion animal according to the present invention may be performed by the processor 40 . An operating method of an electronic device 1 for obtaining biometric information of a companion animal according to the present invention includes the steps of capturing an image of the companion animal through the front camera 31 (S510), and the image through the display 20. It includes a step of outputting (S520), a step of extracting a feature object from the image (S530), and a step of storing the image of the feature object in the memory 50 (S540). The front camera 31 captures images in the display direction of the display 20 . Here, the photographing direction of the front camera 31 may correspond to the same direction as the display direction of the display 20 or may correspond to a direction within a substantially same range (direction within 90 degrees from 0 degrees).

전면 카메라(31)를 이용하여 반려 동물의 생체 정보를 취득하는 과정은 도 6에 도시된 것과 같이 사용자(HM)가 전자 장치(1)를 파지한 상태로 반려 동물(PT)을 촬영함으로써 수행될 수 있다. 후면 카메라(32)를 이용하는 경우와 비교하여, 전면 카메라(31)를 이용하여 반려 동물(PT)의 생체 정보 취득을 위한 촬영을 수행하면 여러 가지 장점이 있다. 일반적으로 강아지와 같은 반려 동물은 촬영을 인식하지 못하기 때문에 카메라를 응시하지 않고 다른 방향을 바라본다. 또한 대부분의 반려 동물은 가만히 있지 못하고 고개를 계속 움직이는 습성이 있기 때문에 생체 인식에 적합한 형태의 정면 사진이 촬영되기 매우 어렵다. 또한, 대부분의 사용자는 촬영에 숙련되지 않기 때문에 대부분의 사용자는 어떻게 반려 동물의 생체 인식에 적합한 형태의 영상을 촬영하기 어렵다. The process of acquiring the biometric information of the companion animal using the front camera 31 may be performed by photographing the companion animal PT while the user HM is holding the electronic device 1 as shown in FIG. 6 . can Compared to the case of using the rear camera 32, there are several advantages in performing photography for acquiring biometric information of the companion animal PT using the front camera 31. In general, companion animals such as puppies don't stare at the camera because they don't recognize the shooting, but look in the other direction. In addition, since most companion animals have a tendency to keep moving their heads without being able to stay still, it is very difficult to take a frontal photo suitable for biometric recognition. In addition, since most users are not skilled in shooting, it is difficult for most users to take an image suitable for biometric recognition of companion animals.

반면, 도 6과 같이 전면 카메라(31)를 이용하여 반려 동물을 촬영하면 사용자가 현재 촬영중인 반려 동물의 영상을 실시간으로 확인할 수 있기 때문에 보다 반려 동물의 생체 인식에 적합한 형태의 영상이 취득될 수 있다. 또한, 사용자는 반려 동물을 안은 상태로 촬영할 수 있고 사용자와 반려 동물이 보다 편안한 상태로 촬영되기 때문에 보다 생체 인식에 적합한 형태의 영상이 취득될 수 있다. On the other hand, when the companion animal is photographed using the front camera 31 as shown in FIG. 6, since the user can check the image of the companion animal currently being photographed in real time, an image more suitable for biometric recognition of the companion animal can be obtained. there is. In addition, since the user can take a picture while holding the companion animal and the user and the companion animal are photographed in a more comfortable state, an image in a form more suitable for biometric recognition can be obtained.

S510 단계에서, 전면 카메라(31)는 전자 장치(1)의 전방(디스플레이(20)의 표시 방향)을 향하여 영상을 촬영한다. 반려 동물의 생체 정보를 취득하기 위하여, 전면 카메라(31)는 반려 동물의 얼굴을 촬영할 수 있다. 전면 카메라(31)의 촬영에 앞서 프로세서(40)는 전면 카메라(31)의 활성화 여부를 결정할 수 있다. 즉, 프로세서(40)는 전면 카메라(31)를 이용하여 반려 동물의 생체 정보를 취득하기 위한 영상을 촬영할 지 여부를 결정할 수 있다. 전면 카메라(31)의 활성화 여부를 판단하는 과정은 이후 도 20을 참고하여 설명된다. 또한, 전면 카메라(31)의 촬영에 앞서 반려 동물의 생체 인식을 위한 어플리케이션 프로그램이 실행될 수 있다. In step S510, the front camera 31 captures an image toward the front of the electronic device 1 (in the display direction of the display 20). In order to acquire the biometric information of the companion animal, the front camera 31 may capture the face of the companion animal. Prior to photographing of the front camera 31 , the processor 40 may determine whether to activate the front camera 31 . That is, the processor 40 may determine whether to capture an image for obtaining biometric information of the companion animal using the front camera 31 . A process of determining whether the front camera 31 is activated will be described later with reference to FIG. 20 . In addition, an application program for biometric recognition of a companion animal may be executed prior to photographing of the front camera 31 .

S520 단계에서, 디스플레이(20)를 통해 반려 동물의 영상이 출력된다. 도 7에 도시된 것과 같이, 프로세서(40)는 디스플레이(20)를 통해 전면 카메라(31)를 통해 촬영된 반려 동물의 영상(프리뷰 영상)을 출력할 수 있다. 이때, 반려 동물의 생체 인식을 위한 어플리케이션 프로그램의 사용자 인터페이스가 함께 출력될 수 있다. 디스플레이(20)를 통해 반려 동물의 영상을 출력함으로써 사용자는 현재 반려 동물의 촬영 상태를 확인할 수 있다. In step S520, an image of the companion animal is output through the display 20. As shown in FIG. 7 , the processor 40 may output an image (preview image) of the companion animal photographed through the front camera 31 through the display 20 . At this time, the user interface of the application program for biometric recognition of the companion animal may be output together. By outputting an image of the companion animal through the display 20, the user can check the current shooting state of the companion animal.

S530 단계에서, 프로세서(40)는 반려 동물의 영상에서 특징 객체를 추출한다. 특징 객체는 반려 동물의 생체 인식을 위해 각 개체마다 다른 특징을 갖는 객체를 지칭한다. 예를 들어, 특징 객체는 얼굴 형상, 코 주름 형상, 홍채를 포함할 수 있다. 본 문서는 코 주름 형상(비문)을 특징 객체로 하여 강아지의 코 영상을 취득하는 과정을 예로서 설명한다. 프로세서(40)는 학습 데이터 및 객체 검출 알고리즘을 사용하여 동물의 특징 객체를 추출할 수 있다. 실시예에 따라, 프로세서(40)는 반려 동물의 얼굴 영역을 먼저 검출하고, 얼굴 영역 내에서 코 영역을 검출할 수 있다. 프로세서(40)는 촬영된 반려 동물의 영상 프레임 마다 특징 객체를 추출할 수 있다. 또한, 프로세서(40)는 N 번째 프레임(N은 2 이상의 자연수) 마다 특징 객체를 추출할 수도 있다. 예를 들어, 도 7과 같이 강아지의 코 영역(100)이 특징 객체로서 검출될 수 있다. In step S530, the processor 40 extracts a feature object from the image of the companion animal. A feature object refers to an object having different characteristics for each object for biometric recognition of a companion animal. For example, the feature object may include a face shape, a nose wrinkle shape, and an iris. This document describes a process of acquiring a dog's nose image using the nose wrinkle shape (inscription) as a feature object as an example. The processor 40 may extract a feature object of an animal using the learning data and an object detection algorithm. Depending on the embodiment, the processor 40 may first detect a face region of the companion animal and then detect a nose region within the face region. The processor 40 may extract a feature object for each captured image frame of the companion animal. Also, the processor 40 may extract feature objects for every N-th frame (N is a natural number greater than or equal to 2). For example, as shown in FIG. 7 , the dog's nose area 100 may be detected as a feature object.

S540 단계에서, 프로세서(40)는 추출된 특징 객체의 영상을 메모리(50)에 저장한다. 프로세서(40)는 특징 객체의 영상에 관련 정보를 함께 저장할 수 있다. 관련 정보는 사용자 정보, 촬영 시각, 카메라 정보, 조도 정보를 포함할 수 있다. 프로세서(40)는 특징 객체의 영상의 품질을 평가할 수 있다. 즉, 전자 장치(1)의 동작 방법은 특징 객체의 영상에 대한 품질 평가를 수행하는 단계를 더 포함할 수 있다. 프로세서(40)는 품질 평가를 위한 조건을 정의하고, 영상이 품질 조건을 만족하는 지 여부를 결정함으로써 해당 특징 객체의 영상이 생체 인식에 적합한 영상인지 여부를 판단할 수 있다. 품질 평가 조건은, 선명도, 밝기, 크기를 포함할 수 있다. 실시예에 따라, 프로세서(40)는 특징 객체의 영상이 반려 동물의 정면 사진인지 여부를 판단할 수 있다. 프로세서(40)는 품질 조건을 만족하는 특징 객체의 영상을 통신 모듈(60)을 통해 서버(2)로 전송할 수 있다. 즉, 전자 장치(1)의 동작 방법은 특징 객체의 영상 품질이 기준을 만족하는 경우 특징 객체의 영상을 서버(2)로 전송하는 단계를 더 포함할 수 있다. 또한, 프로세서(40)는 특징 객체의 영상을 생체 인식에 적합한 형태로 변환하는 영상 처리를 수행할 수 있다. In step S540, the processor 40 stores the extracted image of the feature object in the memory 50. The processor 40 may store related information together with the image of the feature object. The related information may include user information, shooting time, camera information, and illuminance information. The processor 40 may evaluate the quality of the image of the feature object. That is, the operating method of the electronic device 1 may further include performing quality evaluation on the image of the feature object. The processor 40 may determine whether an image of a corresponding feature object is suitable for biometric recognition by defining conditions for quality evaluation and determining whether an image satisfies the quality condition. Quality evaluation conditions may include sharpness, brightness, and size. Depending on the embodiment, the processor 40 may determine whether the image of the feature object is a frontal picture of a companion animal. The processor 40 may transmit an image of a feature object that satisfies the quality condition to the server 2 through the communication module 60 . That is, the operating method of the electronic device 1 may further include transmitting the image of the feature object to the server 2 when the image quality of the feature object satisfies the criterion. In addition, the processor 40 may perform image processing to convert the image of the feature object into a form suitable for biometric recognition.

이후, 서버(2)가 특징 객체의 영상에 대한 처리, 학습, 또는 생체 인식을 수행할 수 있다. 서버(2)는 특징 객체의 영상에서 특징 값을 추출할 수 있다. 반려 동물의 등록 절차의 경우, 서버(2)는 특징 객체의 영상과 특징 값, 그리고 해당 반려 동물의 신원 정보를 데이터베이스에 저장할 수 있다. 반려 동물의 식별 절차의 경우, 서버(2)는 추출된 특징 값에 매칭되는(유사한) 반려 동물을 검색하고, 반려 동물의 식별 정보를 전자 장치(1)로 전송할 수 있다. Thereafter, the server 2 may perform processing, learning, or biometric recognition on the image of the feature object. The server 2 may extract a feature value from an image of a feature object. In the case of a companion animal registration procedure, the server 2 may store the image of a feature object, feature values, and identification information of the corresponding companion animal in a database. In the case of a companion animal identification procedure, the server 2 may search for a companion animal matching (similar to) the extracted feature value and transmit identification information of the companion animal to the electronic device 1 .

본 발명에 따르면, 프로세서(40)는 반려 동물의 영상에서 특징 객체의 위치에 그래픽 또는 메시지를 오버랩하고, 그래픽 또는 메시지가 오버랩된 반려 동물의 영상을 디스플레이(20)를 통해 출력한다. 그래픽 또는 메시지는 특징 객체의 촬영 상태를 나타낸다. 도 8을 참고하면, 반려 동물의 영상을 출력하는 단계(S520)는 반려 동물의 영상에서 특징 객체의 위치에 그래픽 또는 메시지를 오버랩하는 단계(S710)와, 그래픽 또는 메시지가 오버랩된 반려 동물의 영상을 디스플레이(20)를 통해 출력하는 단계(S720)를 포함한다. 반려 동물의 생체 인식을 위한 특징 객체의 위치 및 해당 특징 객체의 촬영 상태를 그래픽 또는 메시지로 출력함으로써 사용자는 동물의 생체 인식을 위한 촬영이 적절하게 수행되고 있는지 판단할 수 있다. 예를 들어, 도 9에 도시된 것과 같이 프로세서(40)는 반려 동물의 특징 객체의 위치에 그래픽(150)을 표식물(200)로서 오버랩하여 표시할 수 있다. 그래픽(150)은 반려 동물의 촬영 상태를 나타내는 아이콘일 수 있다. 특징 객체의 품질 평가 결과에 따라 그래픽(150)의 형상 또는 색상이 상이하게 표시될 수 있다. 또한, 프로세서(40)는 반려 동물의 촬영 상태에 대한 정보를 나타내는 메시지(170)를 출력할 수 있다. According to the present invention, the processor 40 overlaps a graphic or message with a location of a feature object in an image of a companion animal, and outputs the image of the companion animal with the graphic or message overlapped through the display 20 . The graphic or message indicates the photographing state of the feature object. Referring to FIG. 8 , outputting an image of a companion animal (S520) includes overlapping a graphic or a message with a location of a feature object in the image of the companion animal (S710), and an image of the companion animal in which the graphic or message is overlapped. and outputting through the display 20 (S720). By outputting the location of the feature object for biometric recognition of the companion animal and the photographing state of the corresponding feature object as a graphic or a message, the user can determine whether photographing for biometric recognition of the animal is properly performed. For example, as shown in FIG. 9 , the processor 40 may overlap and display a graphic 150 as a marker 200 at a position of a feature object of a companion animal. The graphic 150 may be an icon representing a photographing state of a companion animal. The shape or color of the graphic 150 may be displayed differently according to the quality evaluation result of the feature object. In addition, the processor 40 may output a message 170 indicating information about the photographing state of the companion animal.

본 발명에 따르면, 전자 장치(1)는 디스플레이(20)의 표시 영역(20A)에 구비되는 터치 센서(72)를 더 포함한다. 프로세서(40)는, 터치 센서(72)로부터 디스플레이(20)에 접촉한 접촉물(210)의 위치를 획득하고, 접촉 물(210)의 위치로 초점이 설정되도록 전면 카메라(31)를 제어할 수 있다. 접촉물은, 예를 들어, 손이나 전자펜 등이 될 수 있다. 도 10에 도시된 것과 같이, 반려 동물의 영상을 촬영하는 단계(S510)는 터치 센서(72)로부터 디스플레이(20)에 접촉한 접촉물(210) 또는 부착물(220)의 위치를 획득하는 단계(S1010)와, 접촉물(210) 또는 부착물(220)의 위치로 초점이 설정되도록 전면 카메라(31)를 제어하는 단계(S1020)를 포함한다. 도 11에 도시된 것과 같이, 전자 장치(1)의 디스플레이(20)의 표시 영역(20A)에 부착물(220)이 부착될 수 있다. 부착물(220)은 디스플레이(20)의 표면에 물리적으로 부착될 수 있다. 표식물(200)과 부착물(220)은 사용자로 하여금 촬영중인 반려 동물의 특징 객체가 특정 영역으로 위치하도록 유도하는 물체이다. 물리적인 부착물(220) 뿐만 아니라 디스플레이(20)에 표시되는 아이콘 형태의 가이드가 표식물(200)로 사용될 수도 있다. 부착물(220)의 위치(X1, Y2)가 터치 센서(72)에 의해 검출되고, 프로세서(40)는 검출된 위치(X1, Y1)로 전면 카메라(31)의 초점이 설정되도록 제어할 수 있다. 프로세서(40)가 영상에서 특징 객체의 위치를 판별하면, 디스플레이에 표시되는 아이콘 형태의 표식물(200)은 검출된 객체의 위치를 추적 이동하며 특징 객체에 오버랩되어 표시될 수 있다. 이 경우 프로세서(40)는 표식물(200)의 위치에 전면 카메라(31)의 초점이 설정되도록 제어할 수 있다.According to the present invention, the electronic device 1 further includes a touch sensor 72 provided in the display area 20A of the display 20 . The processor 40 obtains the location of the object 210 that has touched the display 20 from the touch sensor 72 and controls the front camera 31 to set the focus to the location of the object 210 in contact. can The contact object may be, for example, a hand or an electronic pen. As shown in FIG. 10, the step of capturing an image of a companion animal (S510) is a step of acquiring the location of the contact 210 or attachment 220 that has contacted the display 20 from the touch sensor 72 ( S1010) and controlling the front camera 31 to set the focus to the position of the contact 210 or attachment 220 (S1020). As shown in FIG. 11 , an attachment 220 may be attached to the display area 20A of the display 20 of the electronic device 1 . The attachment 220 may be physically attached to the surface of the display 20 . The landmark 200 and the attachment 220 are objects that induce a user to locate a feature object of a companion animal being photographed in a specific area. A guide in the form of an icon displayed on the display 20 as well as the physical attachment 220 may be used as the marker 200 . The location (X1, Y2) of the attachment 220 is detected by the touch sensor 72, and the processor 40 can control the focus of the front camera 31 to be set to the detected location (X1, Y1). . When the processor 40 determines the location of the feature object in the image, the marker 200 in the form of an icon displayed on the display may track and move the location of the detected object and overlap the feature object to be displayed. In this case, the processor 40 may control the focus of the front camera 31 to be set at the position of the landmark 200 .

일 실시예로서, 디스플레이(20)가 일부 광을 반사하도록 구성되어 거울과 같이 기능할 수도 있다. 동물의 형상이 디스플레이(20)에서 반사됨으로써 사용자는 반려 동물의 상태를 확인하면서 전면 카메라(31)를 이용해 생체 인식을 위한 촬영을 수행할 수 있다. As an example, the display 20 may be configured to reflect some light to act like a mirror. Since the shape of the animal is reflected on the display 20, the user can take a picture for biometric recognition using the front camera 31 while checking the state of the companion animal.

본 발명에 따르면, 프로세서(40)는, 반려 동물의 영상으로부터 반려 동물의 위치 또는 자세를 판단하고, 반려 동물의 위치 또는 자세에 기초하여 촬영 가이드를 위한 그래픽 또는 메시지를 디스플레이(20)를 통해 출력한다. 도 12를 참고하면, 디스플레이(20)를 통해 영상을 출력하는 단계(S520)는, 반려 동물의 영상으로부터 반려 동물의 위치 또는 자세를 판단하는 단계(S1210)와, 반려 동물의 위치 또는 자세에 기초하여 촬영 가이드를 위한 그래픽 또는 메시지를 디스플레이(20)를 통해 출력하는 단계(S1220)를 포함한다. 도 13을 참고하면, 촬영중인 반려 동물의 위치가 치우쳐 있어 특징 객체의 검출이 불가능한 경우, 프로세서(40)는 사용자로 하여금 반려 동물의 위치로 전자 장치(1)를 회전시키거나 이동시키도록 하는 가이드 그래픽(310)을 출력할 수 있다. 또한, 도 13에 도시된 것과 같이 사용자로 하여금 반려 동물의 위치로 전자 장치(1)를 회전시키거나 이동시키도록 하는 메시지(320)를 출력할 수 있다. According to the present invention, the processor 40 determines the position or posture of the companion animal from the image of the companion animal, and outputs a graphic or message for a shooting guide through the display 20 based on the position or posture of the companion animal. do. Referring to FIG. 12 , outputting an image through the display 20 (S520) includes determining the location or posture of the companion animal from the image of the companion animal (S1210) and based on the location or posture of the companion animal. and outputting a graphic or message for a photographing guide through the display 20 (S1220). Referring to FIG. 13 , when it is impossible to detect a feature object because the location of the companion animal being photographed is biased, the processor 40 guides the user to rotate or move the electronic device 1 to the location of the companion animal. A graphic 310 may be output. In addition, as shown in FIG. 13 , a message 320 that prompts the user to rotate or move the electronic device 1 to the location of the companion animal may be output.

도 14에 도시된 것과 같이, 반려 동물이 고개를 돌리고 정면 사진이 취득될 수 없는 경우 프로세서(40)는 사용자로 하여금 반려 동물이 정면 사진이 취득될 수 있도록 유도하는 가이드 그래픽(330) 또는 가이드 메시지(340)를 출력할 수 있다. 프로세서(40)는 반려 동물의 얼굴 회전 방향을 검출할 수 있다. 프로세서(40)는 반려 동물의 얼굴 회전 방향의 반대 방향으로 고개를 돌리도록 유도하는 가이드 그래픽(330) 또는 가이드 메시지(340)를 출력할 수 있다. As shown in FIG. 14, when the companion animal turns its head and a frontal picture cannot be obtained, the processor 40 provides a guide graphic 330 or a guide message for inducing the user to obtain a frontal picture of the companion animal. (340) can be output. The processor 40 may detect the rotation direction of the companion animal's face. The processor 40 may output a guide graphic 330 or a guide message 340 that induces the companion animal to turn its head in the direction opposite to the rotation direction of its face.

본 발명에 따르면, 전자 장치(1)는 전자 장치(1)의 자세를 측정하는 자이로 센서(71)를 더 포함한다. 프로세서(40)는, 자이로 센서(71)로부터 전자 장치(1)의 자세 정보를 획득하고, 자세 정보에 기초하여 영상의 반전 방향을 결정할 수 있다. 도 15를 참고하면, 디스플레이(20)를 통해 영상을 출력하는 단계(S520)는, 자이로 센서(71)로부터 전자 장치(1)의 자세 정보를 획득하는 단계(S1510)와, 자세 정보에 기초하여 영상의 반전 방향을 결정하는 단계(S1520)를 포함한다. 전면 카메라(31)를 통해 촬영하는 경우, 사용자의 인식의 편의를 위하여 촬영된 영상을 반전시켜 디스플레이(20)로 출력하는 것이 바람직하다. 프로세서(40)는 전면 카메라(31)에서 촬영된 영상을 수직 축(Y 축) 또는 수평 축(X 축)에 대하여 반전시키고, 반전된 영상을 디스플레이(20)를 통해 출력할 수 있다. 자이로 센서(71)를 사용하지 않는 경우, 프로세서(40)는 촬영된 영상에서 반려 동물의 촬영 방향을 판단하고, 촬영 방향에 따라 반전 방향을 결정할 수도 있다. 또한, 사용자에 의해 입력된 촬영 방향에 따라 반전 방향이 결정될 수도 있다. According to the present invention, the electronic device 1 further includes a gyro sensor 71 that measures the posture of the electronic device 1 . The processor 40 may obtain attitude information of the electronic device 1 from the gyro sensor 71 and determine an image reversal direction based on the attitude information. Referring to FIG. 15 , outputting an image through the display 20 (S520) includes obtaining posture information of the electronic device 1 from the gyro sensor 71 (S1510) and based on the posture information and determining a reverse direction of the image (S1520). When photographing through the front camera 31, it is preferable to invert the photographed image and output it to the display 20 for convenience of user recognition. The processor 40 may invert an image captured by the front camera 31 with respect to a vertical axis (Y axis) or a horizontal axis (X axis) and output the inverted image through the display 20 . When the gyro sensor 71 is not used, the processor 40 may determine a photographing direction of the companion animal in the photographed image and determine a reversal direction according to the photographing direction. Also, the reversal direction may be determined according to the photographing direction input by the user.

예를 들어, 도 16에 도시된 것과 같이, 전자 장치(1)가 세워진 상태(세로 모드)로 반려 동물을 촬영하는 경우 프로세서(40)는 수직 축(YA)에 대하여 영상을 반전시키고 반전된 영상을 디스플레이(20)로 출력할 수 있다. 도 17에 도시된 것과 같이, 전자 장치(1)가 눕혀진 상태(가로 모드)로 반려 동물을 촬영하는 경우 프로세서(40)는 수평 축(XA)에 대하여 영상을 반전시키고 반전된 영상을 디스플레이(20)로 출력할 수 있다. For example, as shown in FIG. 16 , when a companion animal is photographed with the electronic device 1 upright (portrait mode), the processor 40 inverts the image with respect to the vertical axis YA and inverts the image. can be output to the display 20. As shown in FIG. 17, when the electronic device 1 photographs a companion animal in a lying state (landscape mode), the processor 40 inverts the image with respect to the horizontal axis XA and displays the inverted image ( 20) can be output.

본 발명에 따르면, 전자 장치(1)는 주변의 조도를 측정하는 조도 센서(73)를 더 포함한다. 프로세서(40)는 조도 센서(73)로부터 전자 장치(1) 주변의 조도 정보를 획득하고, 조도 정보에 따라 전면 카메라(31의 노출(exposure)을 제어한다. 도 18을 참고하면, 반려 동물의 영상을 촬영하는 단계(S510)는, 조도 센서(73)로부터 전자 장치(1) 주변의 조도 정보를 획득하는 단계(S1810)와, 조도 정보에 따라 전면 카메라(31의 노출을 제어하는 단계(S1820)를 포함한다. 조도 센서(73)는 도 19에 도시된 것과 같이 전자 장치(1)의 전면에 구비될 수 있다. 조도 센서(73)는 디스플레이(20), 전면 카메라(31)에 인접하게 설치되므로 전면 카메라(31)를 통해 반려 동물의 영상을 촬영할 때 프로세서(40)는 조도 센서(73)에 의해 측정된 조도 정보를 이용하여 전면 카메라(31)의 노출량을 제어할 수 있다. According to the present invention, the electronic device 1 further includes an illuminance sensor 73 that measures ambient illuminance. The processor 40 obtains illumination information around the electronic device 1 from the illumination sensor 73, and controls the exposure of the front camera 31 according to the illumination information. Referring to FIG. 18, The step of photographing an image (S510) includes obtaining illuminance information around the electronic device 1 from the illuminance sensor 73 (S1810), and controlling the exposure of the front camera 31 according to the illuminance information (S1820). As shown in Fig. 19, the illuminance sensor 73 may be provided on the front of the electronic device 1. The illuminance sensor 73 is adjacent to the display 20 and the front camera 31. Therefore, when capturing an image of a companion animal through the front camera 31, the processor 40 may control the amount of exposure of the front camera 31 using the illuminance information measured by the illuminance sensor 73.

한편, 본 발명에 따르면 전자 장치(1)의 전면 카메라(31)를 이용하여 반려 동물의 생체 인식을 위한 촬영을 수행하기에 앞서 전면 카메라(31)의 활성화 가능 여부를 판단하는 과정이 수행될 수 있다. 전자 장치(1)의 전면 카메라(31)는 후면 카메라(32)에 비하여 저하된 기능을 갖는 경우가 많다. 따라서, 전면 카메라(31)를 이용하여 반려 동물을 촬영할 때 생체 인식에 적합하지 않은 영상이 취득될 가능성이 있다. 따라서, 프로세서(40)는 사전에 전면 카메라(31)가 반려 동물의 생체 인식에 적합한 카메라인지 여부를 먼저 판단하고, 전면 카메라(31)가 적합하다고 판단되는 경우 전면 카메라(31)를 활성화시키고 반려 동물을 촬영할 수 있다. 전면 카메라(31)의 활성화 여부를 판단하는 과정은 반려 동물의 생체 인식을 위한 어플리케이션 프로그램이 실행될 때 수행될 수 있다. 후면 카메라(32)는 전면 카메라(31)의 반대 방향의 영상을 촬영하는 카메라이다. Meanwhile, according to the present invention, a process of determining whether activation of the front camera 31 is possible may be performed prior to performing a photograph for biometric recognition of a companion animal using the front camera 31 of the electronic device 1. there is. The front camera 31 of the electronic device 1 often has lower functions than the rear camera 32 . Therefore, when a companion animal is photographed using the front camera 31, there is a possibility that an image unsuitable for biometric recognition may be obtained. Therefore, the processor 40 first determines whether the front camera 31 is suitable for the biometric recognition of the companion animal in advance, and activates the front camera 31 when it is determined that the front camera 31 is suitable for the companion animal's biometric recognition. You can photograph animals. The process of determining whether the front camera 31 is activated may be performed when an application program for biometric recognition of a companion animal is executed. The rear camera 32 is a camera that captures images in the opposite direction to the front camera 31 .

프로세서(40)는 먼저 전자 장치(1)의 메모리(50)에 저장된 카메라 관리 프로그램을 실행하고, 카메라 관리 프로그램을 통해 전자 장치(1)에 내장되거나 부착된 카메라의 리스트(카메라 ID 리스트)를 확인한다. 추출된 카메라 중에서 전면 카메라(31)가 존재하는 경우, 프로세서(40)는 전면 카메라(31)를 통해 영상을 촬영할지 여부를 결정할 수 있다. The processor 40 first executes a camera management program stored in the memory 50 of the electronic device 1 and checks a list of cameras built into or attached to the electronic device 1 (camera ID list) through the camera management program. do. If there is a front camera 31 among the extracted cameras, the processor 40 may determine whether to capture an image through the front camera 31 .

본 발명에 따르면, 프로세서(40)는 전면 카메라(31)의 속성 정보를 확인하고, 전면 카메라의 속성 정보에 기초하여 전면 카메라(31)의 활성화가 가능한지 여부를 판단한다. 전면 카메라(31)의 속성 정보는 수동 초점(manual focus) 지원 여부, 촬영 포맷, 촬영 사이즈, 하드웨어 레벨 정보를 포함할 수 있다. 전면 카메라(31)의 속성 정보는 카메라 관리 프로그램의 데이터로 저장될 수 있다. 예를 들어, 프로세서(40)는 전면 카메라(31)가 수동 초점을 지원하는 카메라이고, 촬영 포맷과 촬영 사이즈가 사전에 설정된 조건을 만족하고, 카메라의 하드웨어 레벨이 기준 레벨을 충족하는 경우 전면 카메라(31)가 반려 동물의 생체 정보의 취득에 사용될 수 있는 카메라인 것으로 결정할 수 있다. According to the present invention, the processor 40 checks attribute information of the front camera 31 and determines whether the front camera 31 can be activated based on the attribute information of the front camera. Attribute information of the front camera 31 may include whether manual focus is supported, a photographing format, a photographing size, and hardware level information. Attribute information of the front camera 31 may be stored as data of a camera management program. For example, the processor 40 determines whether the front camera 31 is a camera that supports manual focus, the shooting format and the shooting size satisfy preset conditions, and the hardware level of the camera meets the reference level. It can be determined that (31) is a camera that can be used to acquire biometric information of a companion animal.

프로세서(40)는 전면 카메라(31)의 속성 정보 및 전면 카메라(31)의 활성화가 가능한지 여부를 디스플레이(20)를 통해 출력할 수 있다. 전면 카메라(31)의 속성 정보 및 전면 카메라(31)의 활성화가 가능한지 여부를 표시함으로써 사용자가 반려 동물의 생체 정보 취득을 위해 전면 카메라(31)를 사용할 수 있는지 여부를 확인할 수 있다. The processor 40 may output attribute information of the front camera 31 and whether or not activation of the front camera 31 is possible through the display 20 . By displaying attribute information of the front camera 31 and whether or not the front camera 31 can be activated, it is possible for the user to check whether the front camera 31 can be used to acquire the biometric information of the companion animal.

전면 카메라가 활성화 가능하지 않은 경우, 프로세서(40)는 후면 카메라(32)를 활성화시킬 수 있다. 즉, 프로세서(40)는 전면 카메라(31)를 활성화하지 않고 후면 카메라(32)를 이용하여 반려 동물의 생체 인식을 위한 촬영을 수행할 수 있다. If the front camera is not activatable, the processor 40 may activate the rear camera 32 . That is, the processor 40 may perform photographing for biometric recognition of the companion animal using the rear camera 32 without activating the front camera 31 .

프로세서(40)는 전면 카메라(31)가 활성화 가능한 경우 전면 카메라(31)와 후면 카메라(32) 중 하나를 선택하도록 하는 인터페이스를 출력할 수 있다. 예를 들어, 전면 카메라가 활성화 가능한 경우, 프로세서(40)는 사용자로 하여금 카메라를 선택하도록 하는 인터페이스를 출력할 수 있다. 예를 들어, 기본적으로 후면 카메라(32)를 활성화하여 프리뷰 이미지를 표시하면서 도 21과 같이 어플리케이션 화면의 우측 하단에 카메라를 전환할 수 있는 아이콘(400)을 출력할 수 있다. 아이콘(400)에 대한 터치 입력이 터치 센서(72)에 의해 검출되는 경우, 프로세서(40)는 전면 카메라(31)를 활성화하여 전면 카메라(31)에 의해 촬영되는 영상을 프리뷰 영상으로 디스플레이(20)에 표시할 수 있다. 전면 카메라(31)의 촬영 중 다시 아이콘(400)에 대한 터치 입력이 검출되면 프로세서(40)는 다시 후면 카메라(32)에 의해 촬영되는 영상을 프리뷰 영상으로 디스플레이(20)에 출력할 수 있다. 다른 예로서, 촬영을 시작하기 전에 사용자로 하여금 전면 카메라(31) 또는 후면 카메라(32) 중 하나를 선택하도록 하는 리스트를 출력할 수 있다. When the front camera 31 can be activated, the processor 40 may output an interface for selecting one of the front camera 31 and the rear camera 32 . For example, if the front camera can be activated, the processor 40 may output an interface allowing the user to select the camera. For example, while displaying a preview image by basically activating the rear camera 32, an icon 400 capable of switching a camera may be displayed at the lower right corner of the application screen as shown in FIG. 21 . When a touch input to the icon 400 is detected by the touch sensor 72, the processor 40 activates the front camera 31 and displays an image captured by the front camera 31 as a preview image (20). ) can be displayed. If a touch input to the icon 400 is detected again while the front camera 31 is capturing, the processor 40 may output the image captured by the rear camera 32 to the display 20 as a preview image. As another example, a list allowing the user to select one of the front camera 31 and the rear camera 32 may be output before shooting starts.

전면 카메라(31)가 선택되는 경우, 프로세서(40)는 전면 카메라(31)를 활성화하여 반려 동물의 생체 인식을 위한 영상을 취득한다. 후면 카메라(32)가 선택되는 경우, 프로세서(40)는 후면 카메라(32)를 활성화하여 반려 동물의 생체 인식을 위한 영상을 취득한다. When the front camera 31 is selected, the processor 40 activates the front camera 31 to obtain an image for biometric recognition of the companion animal. When the rear camera 32 is selected, the processor 40 activates the rear camera 32 to obtain an image for biometric recognition of the companion animal.

즉, 본 발명에 따른 전자 장치(1)의 동작 방법은 전면 카메라(31)의 활성화 여부를 판단하는 단계를 포함한다. 도 20에 도시된 것과 같이, 전면 카메라(31)의 활성화 여부를 판단하는 단계는, 전면 카메라(31)의 속성 정보를 확인하는 단계(S2005)와, 전면 카메라(31)의 속성 정보에 기초하여 전면 카메라(31)가 활성화 가능한지 여부를 판단하는 단계(S2010)를 포함한다. 전면 카메라(31)의 속성 정보 및 활성화 가능 여부를 디스플레이(20)를 통해 출력하는 단계(S2040)가 실행될 수 있다. 전면 카메라(31)의 활성화가 가능한 경우, 전면 카메라(31)와 후면 카메라(32) 중 하나를 선택하도록 하는 인터페이스를 출력하는 단계(S2015)가 실행될 수 있다. 인터페이스를 통해 전면 카메라(31)가 선택되는지 여부를 판단하는 단계(S2020)와, 전면 카메라(31)가 선택된 경우 전면 카메라(31)를 활성화하는 단계(S2025)와, 전면 카메라(31)가 선택되지 않은 경우 후면 카메라(32)를 활성화하는 단계(S2030)가 실행된다. 이후, 선택된 카메라를 통해 반려 동물의 생체 인식을 위한 영상을 촬영하는 과정이 실행될 수 있다. That is, the operating method of the electronic device 1 according to the present invention includes determining whether the front camera 31 is activated. As shown in FIG. 20, the step of determining whether the front camera 31 is activated is the step of checking the attribute information of the front camera 31 (S2005), based on the attribute information of the front camera 31 A step of determining whether the front camera 31 can be activated (S2010) is included. A step of outputting attribute information of the front camera 31 and whether or not it can be activated through the display 20 ( S2040 ) may be executed. When the activation of the front camera 31 is possible, a step of outputting an interface for selecting one of the front camera 31 and the rear camera 32 (S2015) may be executed. Determining whether the front camera 31 is selected through the interface (S2020), activating the front camera 31 when the front camera 31 is selected (S2025), and selecting the front camera 31 If not, the step of activating the rear camera 32 (S2030) is executed. Thereafter, a process of capturing an image for biometric recognition of the companion animal may be executed through the selected camera.

한편, 전면 카메라(31) 또는 후면 카메라(32)를 통해 반려 동물의 생체 인식을 위한 특징 객체의 영상이 취득된 후, 해당 특징 객체의 영상이 반려 동물의 학습 또는 식별에 적합한지 여부를 판단하는 품질 평가가 수행될 수 있다. 본 발명에 따르면, 프로세서(40)는 특징 객체의 영상에 대한 품질을 평가할 수 있다. 특징 객체의 영상의 품질을 평가하기 위해 정의되는 조건은 선명도, 밝기, 사이즈를 포함할 수 있다. 품질 평가 조건은 특징 객체의 영상을 촬영한 카메라가 전면 카메라(31)인지 또는 후면 카메라(32)인지 여부에 따라 상이할 수 있다. 예를 들어, 특징 객체의 영상의 크기를 통해 영상 품질을 판단할 때, 전면 카메라(31)에서 촬영된 영상의 크기 조건은 후면 카메라(32) 보다 크도록 설정될 수 있다. 일반적으로 전면 카메라(31)는 후면 카메라(32)에 비하여 낮은 성능의 카메라로 구성된다. 예를 들어 전면 카메라(31)는 후면 카메라(32) 대비 전체적인 화질이 떨어지며, 손 떨림 방지 기능인 OIS(Optical Image Stabilization) 기능을 지원하지 않을 수 있다. 따라서, 전면 카메라(31)를 통해 영상을 촬영했을 때 보다 높은 수준의 품질 조건으로 특징 객체의 영상의 품질 평가가 수행될 수 있다. 그리하여 전면 카메라(31)를 통해 촬영된 경우에도 특징 객체의 영상을 통해 반려 동물의 생체 인식이 원활히 수행되도록 할 수 있다. On the other hand, after the image of the feature object for biometric recognition of the companion animal is acquired through the front camera 31 or the rear camera 32, it is determined whether the image of the feature object is suitable for learning or identification of the companion animal. A quality assessment may be performed. According to the present invention, the processor 40 may evaluate the quality of an image of a feature object. Conditions defined to evaluate the image quality of the feature object may include sharpness, brightness, and size. The quality evaluation condition may be different depending on whether the camera that captures the image of the feature object is the front camera 31 or the rear camera 32 . For example, when determining the image quality through the size of the image of the feature object, the size condition of the image captured by the front camera 31 may be set to be larger than that of the rear camera 32 . In general, the front camera 31 is composed of a camera with lower performance than the rear camera 32 . For example, the overall image quality of the front camera 31 is lower than that of the rear camera 32, and may not support an Optical Image Stabilization (OIS) function, which is a hand shake prevention function. Accordingly, quality evaluation of the image of the feature object may be performed with a higher quality condition than when the image is captured through the front camera 31 . Thus, even when photographed through the front camera 31, the biometric recognition of the companion animal can be smoothly performed through the image of the feature object.

도 22에 도시된 것과 같이, 전자 장치(1)의 동작 방법은, 전면 카메라(31)를 통해 반려 동물의 영상을 촬영하는 단계(S2210)와, 디스플레이(20)를 통해 영상을 출력하는 단계(S2220)와, 영상에서 특징 객체를 추출하는 단계(S2230)와, 특징 객체의 영상을 메모리(50)에 저장하는 단계(S2240)와, 특징 객체의 영상에 대한 품질을 평가하는 단계(S2250)와, 품질 조건을 만족하는 특징 객체의 영상을 통신 모듈(60)을 통해 서버(2)로 전송하는 단계(S2260)를 포함한다. 품질 평가 조건은 특징 객체의 영상을 촬영한 카메라가 전면 카메라(31)인지 또는 후면 카메라(32)인지 여부에 따라 상이하도록 설정된다. As shown in FIG. 22, the operating method of the electronic device 1 includes capturing an image of a companion animal through the front camera 31 (S2210) and outputting the image through the display 20 (S2210). S2220), extracting a feature object from the image (S2230), storing the image of the feature object in the memory 50 (S2240), evaluating the quality of the image of the feature object (S2250), , Transmitting the image of the feature object that satisfies the quality condition to the server 2 through the communication module 60 (S2260). The quality evaluation condition is set to be different depending on whether the front camera 31 or the rear camera 32 captures the image of the feature object.

전자 장치(1)의 프로세서(40)는 서버(2)로 특징 객체의 영상을 전송할 때, 영상 데이터와 함께 관련 정보로서 해당 영상을 촬영한 카메라 정보를 전송할 수 있다. 서버(2)는 카메라 정보를 통해 어떤 카메라로 촬영되었는지 알 수 있다. 서버(2)는 카메라 정보를 통해 특징 객체의 처리하는 방법을 결정할 수 있다. 즉, 서버(2)는 영상을 촬영한 카메라가 전면 카메라(31)인지 후면 카메라(32)인지에 따라 다르게 영상을 처리할 수 있다. When transmitting the image of the feature object to the server 2, the processor 40 of the electronic device 1 may transmit information about the camera that captured the image as related information together with the image data. The server 2 can know which camera was taken through the camera information. The server 2 may determine a method of processing a feature object through camera information. That is, the server 2 may process the image differently depending on whether the camera that captured the image is the front camera 31 or the rear camera 32 .

본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.The present embodiment and the drawings accompanying this specification clearly represent only a part of the technical idea included in the present invention, and can be easily inferred by those skilled in the art within the scope of the technical idea included in the specification and drawings of the present invention. It will be apparent that all possible modifications and specific embodiments are included in the scope of the present invention.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and it will be said that not only the claims to be described later, but also all modifications equivalent or equivalent to these claims belong to the scope of the present invention. .

Claims (15)

반려 동물의 생체 정보를 취득하는 전자 장치에 있어서,
디스플레이;
상기 디스플레이의 표시 방향을 향하여 영상을 촬영하는 전면 카메라;
상기 디스플레이 및 상기 전면 카메라와 기능적으로 결합된 프로세서; 및
상기 프로세서와 기능적으로 결합된 메모리를 포함하고,
상기 프로세서는,
상기 전면 카메라를 통해 상기 반려 동물의 영상을 촬영하고,
상기 반려 동물의 영상을 상기 디스플레이를 통해 출력하고,
상기 반려 동물의 영상에서 특징 객체를 추출하고,
상기 특징 객체의 영상을 상기 메모리에 저장하는 전자 장치.
In an electronic device for acquiring biometric information of a companion animal,
display;
a front camera for capturing images in the display direction of the display;
a processor functionally coupled to the display and the front camera; and
a memory functionally coupled to the processor;
the processor,
Taking an image of the companion animal through the front camera,
Outputting an image of the companion animal through the display;
Extracting a feature object from the image of the companion animal;
An electronic device that stores the image of the feature object in the memory.
제1항에 있어서,
상기 프로세서는,
상기 반려 동물의 영상에서 상기 특징 객체의 위치에 그래픽 또는 메시지를 오버랩하고,
상기 그래픽 또는 메시지가 오버랩된 반려 동물의 영상을 상기 디스플레이를 통해 출력하는 전자 장치.
According to claim 1,
the processor,
Overlapping a graphic or message on the location of the feature object in the image of the companion animal;
An electronic device that outputs an image of a companion animal overlapped with the graphic or message through the display.
제2항에 있어서,
상기 그래픽 또는 메시지는 상기 특징 객체의 촬영 상태를 나타내는 전자 장치.
According to claim 2,
The graphic or message indicates a photographing state of the feature object.
제1항에 있어서,
상기 디스플레이의 표시 영역에 구비되는 터치 센서를 더 포함하고, 상기 프로세서는,
상기 터치 센서로부터 상기 디스플레이에 접촉한 접촉물 또는 부착물의 위치를 획득하고,
상기 접촉물 또는 부착물의 위치로 초점이 설정되도록 상기 전면 카메라를 제어하는 전자 장치.
According to claim 1,
Further comprising a touch sensor provided in a display area of the display, the processor,
Obtaining a position of a contact or attachment that has contacted the display from the touch sensor;
An electronic device that controls the front camera to set a focus to the location of the contact or attachment.
제1항에 있어서,
상기 프로세서는,
상기 디스플레이의 표시 영역에 표식물을 표시하고,
상기 특징 객체의 위치를 추적하여 상기 표식물이 상기 특징 객체에 오버랩 되도록 상기 표식물을 이동하고,
상기 표식물의 위치로 초점이 설정되도록 상기 전면 카메라를 제어하는 전자 장치.
According to claim 1,
the processor,
Displaying a marker in the display area of the display;
Tracking the position of the feature object and moving the marker so that the marker overlaps the feature object;
An electronic device that controls the front camera to set a focus to the location of the landmark.
제1항에 있어서,
상기 프로세서는,
상기 반려 동물의 영상으로부터 상기 반려 동물의 위치 또는 자세를 판단하고,
상기 반려 동물의 위치 또는 자세에 기초하여 촬영 가이드를 위한 그래픽 또는 메시지를 상기 디스플레이를 통해 출력하는 전자 장치.
According to claim 1,
the processor,
Determining the position or posture of the companion animal from the image of the companion animal;
An electronic device that outputs a graphic or message for a shooting guide through the display based on the position or posture of the companion animal.
제1항에 있어서,
상기 전자 장치의 자세를 측정하는 자이로 센서(gyroscope sensor)를 더 포함하고,
상기 프로세서는,
상기 자이로 센서로부터 상기 전자 장치의 자세 정보를 획득하고,
상기 자세 정보에 기초하여 상기 영상의 반전 방향을 결정하는 전자 장치.
According to claim 1,
Further comprising a gyroscope sensor for measuring the attitude of the electronic device;
the processor,
obtaining position information of the electronic device from the gyro sensor;
An electronic device that determines a reversal direction of the image based on the attitude information.
제1항에 있어서,
상기 전자 장치 주변의 조도를 측정하는 조도 센서를 더 포함하고,
상기 프로세서는 상기 조도 센서로부터 상기 전자 장치 주변의 조도 정보를 획득하고,
상기 조도 정보에 따라 상기 전면 카메라의 노출(exposure)을 제어하는 전자 장치.
According to claim 1,
Further comprising an illuminance sensor for measuring illuminance around the electronic device,
The processor obtains illumination information around the electronic device from the illumination sensor,
An electronic device that controls exposure of the front camera according to the illuminance information.
제1항에 있어서,
상기 디스플레이의 표시 방향의 반대 방향의 영상을 촬영하는 후면 카메라를 더 포함하고,
상기 프로세서는,
상기 전면 카메라의 속성 정보를 확인하고,
상기 전면 카메라의 속성 정보에 기초하여 상기 전면 카메라의 활성화가 가능한지 여부를 판단하는 전자 장치.
According to claim 1,
Further comprising a rear camera for taking an image in a direction opposite to the display direction of the display,
the processor,
Check the property information of the front camera,
An electronic device that determines whether the front camera can be activated based on the attribute information of the front camera.
제9항에 있어서,
상기 전면 카메라의 속성 정보는, 수동 초점 지원 여부, 촬영 포맷, 촬영 사이즈를 포함하는 전자 장치.
According to claim 9,
The attribute information of the front camera includes whether manual focus is supported, a shooting format, and a shooting size.
제9항에 있어서,
상기 프로세서는 상기 전면 카메라의 속성 정보 및 상기 전면 카메라의 활성화가 가능한지 여부를 상기 디스플레이를 통해 출력하는 전자 장치.
According to claim 9,
The processor outputs attribute information of the front camera and whether the front camera can be activated through the display.
제9항에 있어서,
상기 프로세서는 상기 전면 카메라의 활성화가 불가능한 경우 상기 후면 카메라를 활성화시키는 전자 장치.
According to claim 9,
The processor activates the rear camera when it is impossible to activate the front camera.
제9항에 있어서,
상기 프로세서는, 상기 전면 카메라가 활성화 가능한 경우 상기 전면 카메라와 상기 후면 카메라 중 하나를 선택하도록 하는 인터페이스를 상기 디스플레이를 통해 출력하는 전자 장치.
According to claim 9,
The electronic device of claim 1 , wherein the processor outputs, through the display, an interface for selecting one of the front camera and the rear camera when the front camera can be activated.
제9항에 있어서,
상기 프로세서는 상기 특징 객체의 영상에 대한 품질을 평가하고,
품질 조건을 만족하는 상기 특징 객체의 영상을 통신 모듈을 통해 서버로 전송하고,
상기 품질 평가 조건은 상기 특징 객체의 영상을 촬영한 카메라가 상기 전면 카메라인지 또는 상기 후면 카메라인지 여부에 따라 상이하도록 설정되는 전자 장치.
According to claim 9,
The processor evaluates the quality of the image of the feature object,
Transmitting an image of the feature object that satisfies a quality condition to a server through a communication module;
The quality evaluation condition is set to be different depending on whether a camera capturing an image of the feature object is the front camera or the rear camera.
반려 동물의 생체 정보를 취득하는 전자 장치의 동작 방법에 있어서,
전면 카메라를 통해 상기 반려 동물의 영상을 촬영하는 단계;
디스플레이를 통해 상기 영상을 출력하는 단계;
상기 영상에서 특징 객체를 추출하는 단계; 및
상기 특징 객체의 영상을 메모리에 저장하는 단계를 포함하고,
상기 전면 카메라는 상기 디스플레이의 표시 방향을 향하여 영상을 촬영하는 전자 장치의 동작 방법.

A method of operating an electronic device for obtaining biometric information of a companion animal,
Taking an image of the companion animal through a front camera;
outputting the image through a display;
extracting a feature object from the image; and
Storing the image of the feature object in a memory;
The method of operating an electronic device in which the front camera captures an image in the display direction of the display.

KR1020220170852A 2021-12-10 2022-12-08 Electornic device for acquiring biometric information of and operating method thereof KR102623605B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2022/019991 WO2023106874A1 (en) 2021-12-10 2022-12-09 Electronic apparatus for obtaining biometric information of companion animal and operating method therefor
CA3238404A CA3238404A1 (en) 2021-12-10 2022-12-09 Electronic apparatus for obtaining biometric information of companion animal and operation method thereof
AU2022406037A AU2022406037A1 (en) 2021-12-10 2022-12-09 Electronic apparatus for obtaining biometric information of companion animal and operating method therefor

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020210177064 2021-12-10
KR20210177064 2021-12-10
KR1020220113809 2022-09-07
KR20220113809 2022-09-07

Publications (2)

Publication Number Publication Date
KR20230088280A true KR20230088280A (en) 2023-06-19
KR102623605B1 KR102623605B1 (en) 2024-01-11

Family

ID=86988725

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220170852A KR102623605B1 (en) 2021-12-10 2022-12-08 Electornic device for acquiring biometric information of and operating method thereof

Country Status (1)

Country Link
KR (1) KR102623605B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110007437A (en) * 2009-07-16 2011-01-24 삼성전기주식회사 System for automatically tracking of moving subjects and method of same
KR20190130448A (en) * 2018-05-14 2019-11-22 삼성전자주식회사 Electronic device for perfoming biometric authentication and operation method thereof
US11019250B2 (en) * 2018-03-20 2021-05-25 Iscilab Corporation Method for implementing animal nose pattern biometric identification system on mobile devices
KR20210074017A (en) * 2019-12-11 2021-06-21 대한민국(농촌진흥청장) System for authenticating the biological information of dog
KR20210145278A (en) * 2019-05-06 2021-12-01 애플 인크. User interfaces for capturing and managing visual media

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110007437A (en) * 2009-07-16 2011-01-24 삼성전기주식회사 System for automatically tracking of moving subjects and method of same
US11019250B2 (en) * 2018-03-20 2021-05-25 Iscilab Corporation Method for implementing animal nose pattern biometric identification system on mobile devices
KR20190130448A (en) * 2018-05-14 2019-11-22 삼성전자주식회사 Electronic device for perfoming biometric authentication and operation method thereof
KR20210145278A (en) * 2019-05-06 2021-12-01 애플 인크. User interfaces for capturing and managing visual media
KR20210074017A (en) * 2019-12-11 2021-06-21 대한민국(농촌진흥청장) System for authenticating the biological information of dog

Also Published As

Publication number Publication date
KR102623605B1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
JP5652886B2 (en) Face authentication device, authentication method and program, information device
US8577098B2 (en) Apparatus, method and program for designating an object image to be registered
JP2006115406A (en) Imaging apparatus
CN109478227A (en) Calculate the iris in equipment or the identification of other physical feelings
JP2006319610A (en) Camera
TWI586160B (en) Real time object scanning using a mobile phone and cloud-based visual search engine
JP2019057036A (en) Information processing apparatus, control method thereof, and program
KR101104656B1 (en) Pet image detection system and method for controlling operation thereof
JP6381361B2 (en) DATA PROCESSING DEVICE, DATA PROCESSING SYSTEM, DATA PROCESSING DEVICE CONTROL METHOD, AND PROGRAM
US11284020B2 (en) Apparatus and method for displaying graphic elements according to object
KR20190085787A (en) Electronic device and method for processing image of the same
KR102623605B1 (en) Electornic device for acquiring biometric information of and operating method thereof
KR101742779B1 (en) System for making dynamic digital image by voice recognition
JP2013149034A (en) Image display apparatus, image display method, and program
JP6399371B1 (en) Information processing apparatus, information processing apparatus control method, and program
JP2012205089A (en) Information processing device, information processing method, and information processing program
CA3238404A1 (en) Electronic apparatus for obtaining biometric information of companion animal and operation method thereof
JP2019113959A (en) Muzzle pattern collation system, muzzle pattern collation method and muzzle pattern collation program
CN118266226A (en) Electronic device for acquiring biological information of pet and working method thereof
JP7264675B2 (en) processor and program
JP5791557B2 (en) Contact operation support system, contact operation support device, and contact operation method
JP5477025B2 (en) Image display device and program
KR20200111144A (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
JP2006238362A (en) Apparatus and method for determining image top and bottom, and program
JP2014220555A (en) Imaging apparatus, control method of the same, and program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right