KR102420100B1 - Electronic apparatus for providing health status information, method for controlling the same, and computer-readable storage medium - Google Patents
Electronic apparatus for providing health status information, method for controlling the same, and computer-readable storage medium Download PDFInfo
- Publication number
- KR102420100B1 KR102420100B1 KR1020140098639A KR20140098639A KR102420100B1 KR 102420100 B1 KR102420100 B1 KR 102420100B1 KR 1020140098639 A KR1020140098639 A KR 1020140098639A KR 20140098639 A KR20140098639 A KR 20140098639A KR 102420100 B1 KR102420100 B1 KR 102420100B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- user
- image
- information
- face image
- Prior art date
Links
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
사용자의 얼굴 영상을 획득하고, 사용자의 얼굴 영상을 정규화하고, 정규화된 사용자의 얼굴 영상으로부터 사용자의 얼굴의 상태를 나타내는 얼굴 상태 정보를 추출하고, 얼굴 상태 정보를 이용하여 사용자의 건강 상태를 나타내는 건강 상태 정보를 획득하는 제어부 및 건강 상태 정보를 디스플레이하는 디스플레이부를 포함하는 일 실시예에 따른 디바이스가 개시된다.Health that obtains a user's face image, normalizes the user's face image, extracts facial state information indicating the user's face state from the normalized user's face image, and uses the facial state information to indicate the user's health state Disclosed is a device according to an embodiment including a control unit for obtaining status information and a display unit for displaying health status information.
Description
본 발명의 실시예들은 건강 상태 정보를 제공하는 전자 장치, 및 전자 장치를 제어하는 방법, 및 전자 장치 제어 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 저장매체에 관한 것이다.
Embodiments of the present invention relate to an electronic device that provides health state information, a method for controlling the electronic device, and a computer-readable storage medium storing computer program codes for performing the electronic device control method.
최근 다양한 전자 장치들에서 사용자에게 건강과 관련된 기능들을 제공하고 있다. 건강 관련 정보는 이를 측정하는데 다양한 장비들이 필요하다. 예를 들면, 초음파, CT, MRI 등을 이용하여 피검자를 촬영하거나, 혈압계를 이용하여 혈압을 측정하거나, 체중계를 이용하여 체중을 측정하는 등 건강 관련 정보를 측정하기 위한 특수 장치들이 요구된다. 그러나 이와 같은 장비들은 일반 사용자가 쉽게 이용하기 어렵기 때문에, 일반 사용자들이 건강 상태 정보를 획득하는데 어려움이 있다.Recently, various electronic devices have provided health-related functions to users. Various devices are needed to measure health-related information. For example, special devices for measuring health-related information such as photographing a subject using ultrasound, CT, MRI, measuring blood pressure using a blood pressure monitor, or measuring body weight using a scale are required. However, since such devices are difficult for general users to use, it is difficult for general users to obtain health status information.
또한, 최근 사용자의 얼굴이 촬영된 영상 내에서 얼굴 영역을 검출하고, 검출된 얼굴을 식별하는 기술이 발전하고 있다.In addition, technologies for detecting a face region in an image of a user's face and identifying the detected face have recently been developed.
이에 따라, 사용자의 얼굴이 촬영된 영상에 기초하여, 사용자의 건강 상태를 체크할 수 있다면, 특수한 장치 없이도 사용자에게 건강 상태 정보를 제공할 수 있다.
Accordingly, if the user's health status can be checked based on the image in which the user's face is captured, health status information can be provided to the user without a special device.
얼굴 영상을 이용하여 사용자에게 건강 상태 정보를 제공하고, 사용자가 용이하게 건강 상태 정보를 획득할 수 있도록 하기 위한 다양한 실시예가 제공된다.Various embodiments are provided for providing health state information to a user using a face image and enabling the user to easily obtain health state information.
용이하게 얼굴 영상을 수집하여, 건강 상태 정보를 획득하기 위한 다양한 실시예가 제공된다.Various embodiments are provided for easily collecting a face image to obtain health state information.
시간에 따른 건강 상태 정보의 변화를 사용자에게 편리하게 제공하기 위한 다양한 실시예가 제공된다.Various embodiments are provided for conveniently providing a user with a change in health state information over time.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은, 사용자의 얼굴 영상을 획득하고, 사용자의 얼굴 영상을 정규화하고, 정규화된 사용자의 얼굴 영상으로부터 사용자의 얼굴의 상태를 나타내는 얼굴 상태 정보를 추출하고, 얼굴 상태 정보를 이용하여 사용자의 건강 상태를 나타내는 건강 상태 정보를 획득하는 제어부, 및 건강 상태 정보를 디스플레이하는 디스플레이부를 포함하는 디바이스를 제공할 수 있다.As a technical means for achieving the above technical problem, a first aspect of the present disclosure is to obtain a user's face image, normalize the user's face image, and represent the state of the user's face from the normalized user's face image It is possible to provide a device including a controller for extracting facial state information and obtaining health state information indicating a health state of a user by using the facial state information, and a display unit for displaying the health state information.
또한, 디바이스는, 사용자의 얼굴을 촬영하는 촬상부를 더 포함하고, 디스플레이부는, 미리 설정된 얼굴 영상 획득 조건에 따라, 사용자의 얼굴 촬영을 안내하는 촬영 가이드 정보를 디스플레이하고, 제어부는, 촬상부가 얼굴 영상 획득 조건에 맞게 사용자의 얼굴을 촬영하였는지 여부를 판단하고, 촬상부가 얼굴 영상 획득 조건에 맞게 사용자의 얼굴을 촬영한 경우, 촬영에 의해 획득된 영상을 사용자의 얼굴 영상으로 결정할 수 있다.In addition, the device further includes an imaging unit for photographing the user's face, the display unit displays photographing guide information for guiding the user's face photographing according to a preset face image acquisition condition, and the control unit includes the imaging unit for the face image It is determined whether or not the user's face is photographed according to the acquisition condition, and when the imaging unit captures the user's face according to the face image acquisition condition, the image obtained by photographing may be determined as the user's face image.
또한, 제어부는, 얼굴 영상의 크기를 기 설정된 크기로 확대 또는 축소함으로써, 얼굴 영상을 정규화할 수 있다.Also, the controller may normalize the face image by enlarging or reducing the size of the face image to a preset size.
또한, 제어부는, 얼굴 영상이 촬영된 시점에 사용자의 얼굴을 비춘 빛의 색온도를 획득하고, 획득된 색온도에 기초하여 얼굴 영상의 색조값을 조정함으로써, 얼굴 영상을 정규화할 수 있다.In addition, the controller may normalize the face image by obtaining a color temperature of light illuminating the user's face at the time the face image is captured and adjusting a color tone value of the face image based on the obtained color temperature.
또한, 디바이스는, 얼굴 영상이 촬영된 시점에 사용자의 생체 정보를 감지하는 센싱부를 더 포함하며, 디스플레이부는, 감지된 사용자의 생체 정보를 선택하기 위한 사용자 인터페이스를 디스플레이하며, 제어부는, 생체 정보를 선택하는 사용자 입력을 수신함에 따라, 선택된 생체 정보 및 얼굴 상태 정보를 함께 이용하여 사용자의 건강 상태 정보를 획득할 수 있다. In addition, the device further includes a sensing unit that detects the user's biometric information at the time the face image is captured, the display unit displays a user interface for selecting the detected user's biometric information, and the controller displays the biometric information Upon receiving the selected user input, the user's health state information may be acquired by using the selected biometric information and facial state information together.
또한, 제어부는, 사용자의 기 획득된 복수의 얼굴 영상으로부터 얼굴 상태 정보를 추출하고, 디바이스는, 복수의 얼굴 영상의 촬영 날짜에 대응하여, 추출된 얼굴 상태 정보로부터 획득된 건강 상태 정보를 저장하는 저장부를 더 포함하고, 제어부는, 사용자의 얼굴 영상의 파일로부터 얼굴이 촬영된 날짜를 획득하고, 기 획득된 복수의 얼굴 영상 중 날짜 보다 이전에 촬영된 얼굴 영상과 관련된 사용자의 건강 상태 정보를 고려하여, 얼굴 상태 정보로부터 건강 상태 정보를 획득할 수 있다.In addition, the control unit extracts facial state information from a plurality of pre-obtained facial images of the user, and the device stores the health state information obtained from the extracted facial state information in response to a photographing date of the plurality of facial images. The storage unit further includes, wherein the control unit obtains the date the face was captured from the file of the face image of the user, and considers the user's health status information related to the face image captured before the date among the plurality of pre-acquired face images Thus, it is possible to obtain health state information from the face state information.
또한, 디스플레이부는, 얼굴 영상 및 얼굴 영상에 대응하는 건강 상태 정보를 함께 디스플레이하고, 얼굴 영상의 전체 영역 중에서 디스플레이된 건강 상태 정보와 관련된 영역 상에, 디스플레이된 건강 상태 정보와 관련된 영역임을 나타내는 이미지를 디스플레이할 수 있다.In addition, the display unit displays the face image and health state information corresponding to the face image together, and displays an image indicating that the displayed health state information is a region related to the displayed health state information on a region related to the displayed health state information among the entire region of the face image. can be displayed.
또한, 사용자의 얼굴 영상은 사용자의 복수의 얼굴 영상을 포함하고, 디스플레이부는, 복수의 얼굴 영상의 촬영 날짜 및 촬영 시간에 기초하여, 촬영 날짜 및 촬영 시간의 순서에 따라 복수의 얼굴 영상 및 복수의 얼굴 영상에 대응하는 사용자의 건강 상태 정보를 디스플레이할 수 있다.In addition, the face image of the user includes a plurality of face images of the user, and the display unit includes a plurality of face images and a plurality of face images in the order of the shooting date and shooting time, based on the shooting date and shooting time of the plurality of face images. The user's health state information corresponding to the face image may be displayed.
또한, 사용자의 건강 상태 정보는 사용자의 질병을 포함하고, 디스플레이부는, 복수의 얼굴 영상과 관련된 복수의 질병 중 적어도 하나를 선택하기 위한 사용자 인터페이스를 디스플레이하고, 적어도 하나의 질병을 선택하는 사용자 입력이 수신됨에 따라, 복수의 얼굴 영상 중 선택된 질병과 관련된 얼굴 영상을 촬영 날짜 및 촬영 시간 순서에 따라 디스플레이할 수 있다. In addition, the health status information of the user includes the user's disease, and the display unit displays a user interface for selecting at least one of a plurality of diseases related to a plurality of face images, and receives a user input for selecting the at least one disease. Upon reception, a face image related to a disease selected from among a plurality of face images may be displayed according to a photographing date and photographing time order.
또한, 디스플레이부는, 일정 기간 동안의 날짜 및 요일을 함께 나타내는 캘린더 및 캘린더 내의 각각의 날짜에 대응하는 영역에 복수의 얼굴 영상 중 각각의 날짜에 촬영된 얼굴 영상에 대응하는 건강 상태 정보를 디스플레이할 수 있다. In addition, the display unit may display health status information corresponding to a face image captured on each date among a plurality of face images in a calendar indicating dates and days of the week for a certain period and an area corresponding to each date in the calendar. have.
또한, 본 개시의 제 2 측면은, 디바이스가 사용자의 얼굴 영상을 획득하는 단계, 사용자의 얼굴 영상을 정규화하는 단계, 정규화된 사용자의 얼굴 영상으로부터 사용자의 얼굴의 상태를 나타내는 얼굴 상태 정보를 추출하는 단계, 얼굴 상태 정보를 이용하여 사용자의 건강 상태를 나타내는 건강 상태 정보를 획득하는 단계, 및 건강 상태 정보를 디스플레이하는 단계를 포함하는 건강 상태 정보 제공 방법을 제공할 수 있다. In addition, a second aspect of the present disclosure includes the steps of obtaining, by the device, a face image of a user, normalizing the face image of the user, and extracting face state information indicating the state of the user's face from the normalized face image of the user. It is possible to provide a method for providing health state information, comprising the steps of: obtaining health state information indicating a user's health state by using the face state information; and displaying the health state information.
또한, 사용자의 얼굴 영상을 획득하는 단계는, 미리 설정된 얼굴 영상 획득 조건에 따라, 사용자의 얼굴 촬영을 안내하는 촬영 가이드 정보를 디스플레이하는 단계, 디바이스에 구비된 촬상부를 이용하여 사용자의 얼굴을 촬영하는 단계, 촬상부가 얼굴 영상 획득 조건에 맞게 사용자의 얼굴을 촬영하였는지 여부를 판단하는 단계, 및 촬상부가 얼굴 영상 획득 조건에 맞게 사용자의 얼굴을 촬영한 경우, 촬영에 의해 획득된 영상을 사용자의 얼굴 영상으로 결정하는 단계를 포함할 수 있다.In addition, the step of obtaining the user's face image may include, according to a preset face image acquisition condition, displaying photographing guide information guiding photographing of the user's face, photographing the user's face using an image capturing unit provided in the device. Step, determining whether the image capturing unit has captured the user's face according to the face image obtaining condition, and when the capturing unit has captured the user's face according to the face image obtaining condition, the image obtained by the capturing is the user's face image It may include the step of determining
또한, 얼굴 영상을 정규화하는 단계는, 얼굴 영상의 크기를 기 설정된 크기로 확대 또는 축소하는 단계를 포함할 수 있다.Also, the normalizing of the face image may include enlarging or reducing the size of the face image to a preset size.
또한, 얼굴 영상을 정규화하는 단계는, 얼굴 영상이 촬영된 시점에 사용자의 얼굴을 비춘 빛의 색온도를 획득하는 단계, 및 획득된 색온도에 기초하여 얼굴 영상의 색조값을 조정하는 단계를 포함할 수 있다.In addition, the step of normalizing the face image may include obtaining the color temperature of the light illuminating the user's face at the time the face image was taken, and adjusting the color tone value of the face image based on the obtained color temperature. have.
또한, 사용자의 얼굴 영상을 획득하는 단계는, 얼굴 영상이 촬영된 시점에 감지된 사용자의 생체 정보를 획득하는 단계를 포함하고, 얼굴 상태 정보를 이용하여 사용자의 건강과 관련된 건강 상태 정보를 획득하는 단계는, 감지된 사용자의 생체 정보를 선택하기 위한 사용자 인터페이스를 디스플레이하는 단계, 및 생체 정보를 선택하는 사용자 입력을 수신함에 따라, 선택된 생체 정보 및 얼굴 상태 정보를 함께 이용하여 사용자의 건강 상태 정보를 획득하는 단계를 포함할 수 있다.In addition, the step of obtaining the user's face image includes obtaining the user's biometric information sensed at the time the face image is captured, and obtaining health condition information related to the user's health by using the face condition information. The steps include displaying a user interface for selecting the detected biometric information of the user, and upon receiving a user input for selecting the biometric information, use the selected biometric information and facial state information together to obtain the user's health state information It may include the step of obtaining.
또한, 얼굴 상태 정보를 이용하여 사용자의 건강과 관련된 건강 상태 정보를 획득하는 단계는, 사용자의 얼굴 영상의 파일로부터 얼굴 영상이 촬영된 날짜를 획득하는 단계, 기 획득된 복수의 얼굴 영상 중 날짜 보다 이전에 촬영된 얼굴 영상과 관련된 사용자의 건강 상태 정보를 획득하는 단계, 및 날짜 보다 이전에 촬영된 얼굴 영상과 관련된 사용자의 건강 상태 정보 및 얼굴 상태 정보를 함께 이용하여 건강 상태 정보를 획득하는 단계를 포함할 수 있다.In addition, the step of acquiring health status information related to the user's health by using the face status information includes: acquiring the date the face image was captured from the file of the user's face image; obtaining health state information of a user related to a previously photographed face image, and obtaining health state information by using the user's health state information and facial state information related to a face image photographed earlier than the date may include
또한, 건강 상태 정보를 디스플레이하는 단계는, 얼굴 영상 및 얼굴 영상에 대응하는 건강 상태 정보를 디스플레이하는 단계, 및 얼굴 영상의 전체 영역 중에서 디스플레이된 건강 상태 정보와 관련된 영역 상에, 디스플레이된 건강 상태 정보와 관련된 영역임을 나타내는 이미지를 디스플레이하는 단계를 포함할 수 있다.In addition, the displaying of the health state information may include displaying a face image and health state information corresponding to the face image, and the displayed health state information on a region related to the displayed health state information among the entire region of the face image. and displaying an image indicating that the region is related to the .
또한, 사용자의 얼굴 영상은 사용자의 복수의 얼굴 영상을 포함하고, 건강 상태 정보를 디스플레이하는 단계는, 복수의 얼굴 영상의 촬영 날짜 및 촬영 시간에 기초하여, 촬영 날짜 및 촬영 시간의 순서에 따라 복수의 얼굴 영상 및 복수의 얼굴 영상에 대응하는 사용자의 건강 상태 정보를 디스플레이 하는 단계를 포함할 수 있다.In addition, the face image of the user includes a plurality of face images of the user, and the step of displaying the health state information includes: based on the shooting date and shooting time of the plurality of face images, the plurality of face images in the order of the shooting date and shooting time and displaying the user's health state information corresponding to the face image and the plurality of face images.
또한, 사용자의 건강 상태 정보는 사용자의 질병을 포함하고, 건강 상태 정보를 디스플레이하는 단계는, 복수의 얼굴 영상과 관련된 복수의 질병 중 적어도 하나를 선택하기 위한 사용자 인터페이스를 디스플레이하는 단계, 적어도 하나의 질병을 선택하는 사용자 입력이 수신됨에 따라, 복수의 얼굴 영상 중 선택된 질병과 관련된 얼굴 영상을 촬영 날짜 및 촬영 시간 순서에 따라 디스플레이하는 단계를 포함할 수 있다. In addition, the health state information of the user includes the user's disease, and the displaying of the health state information includes: displaying a user interface for selecting at least one of a plurality of diseases related to a plurality of face images; In response to a user input for selecting a disease is received, the method may include displaying a face image related to a disease selected from among a plurality of face images according to a shooting date and shooting time order.
또한, 사용자의 건강 상태 정보를 디스플레이하는 단계는, 일정 기간 동안의 날짜 및 요일을 함께 나타내는 캘린더를 디스플레이하는 단계, 및 캘린더 내의 각각의 날짜에 대응하는 영역에, 복수의 얼굴 영상 중 각각의 날짜에 촬영된 얼굴 영상에 대응하는 건강 상태 정보를 디스플레이하는 단계를 포함할 수 있다.
In addition, the displaying of the user's health status information may include displaying a calendar indicating dates and days of the week together for a certain period, and in an area corresponding to each date in the calendar, on each date of the plurality of face images. The method may include displaying health state information corresponding to the photographed face image.
도 1은 일 실시예에 따른, 사용자의 얼굴이 포함된 영상으로부터 사용자의 건강 상태 정보를 추출하는 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른, 디바이스가 사용자의 얼굴 영상에 기초하여, 사용자의 건강 상태 정보를 획득하는 방법을 설명하는 흐름도이다.
도 3은, 일 실시예에 따른, 사용자의 얼굴을 등록하기 위한 방법을 설명하는 도면이다.
도 4는 일 실시예에 따른, 사용자에 관한 정보를 등록하기 위한 방법을 설명하는 도면이다.
도 5는 일 실시예에 따른, 디바이스가 사용자의 선택에 기초하여, 건강 진단 시 고려할 정보를 설정하는 방법을 설명하는 도면이다.
도 6은 일 실시예에 따른, 디바이스가 얼굴 영상을 획득하는 방법을 설명하기 위한 흐름도를 도시한다.
도 7은 본 발명의 일 실시예에 따른, 디바이스가 입력 영상으로부터 얼굴 영상를 획득하는 방법을 설명하기 위한 흐름도를 도시한다.
도 8은 일 실시예에 따른, 디바이스가 템플릿 촬영을 통해 얼굴 영상을 획득하는 방법을 설명하는 흐름도를 도시한다.
도 9는 일 실시예에 따른, 템플릿 촬영 시, 디바이스가 가이드 정보를 제공하는 방법을 설명하는 도면이다.
도 10은 다른 실시예에 따라 템플릿 촬영 시, 디바이스가 가이드 정보를 제공하는 방법을 설명하는 도면이다.
도 11은 다른 실시예에 따른, 템플릿 촬영 시, 디바이스가 카메라로부터 일정 거리 내에서 얼굴을 촬영하기 위한 방법을 설명하는 도면이다.
도 12는 일 실시예에 따른, 템플릿 촬영 시, 디바이스가 입력 영상 내에서 얼굴의 방향이 카메라를 정면으로 바라보는 방향이 되도록 얼굴을 촬영하기 위한 방법을 설명하기 위한 도면이다.
도 13는 다른 실시예에 따른, 템플릿 촬영 시, 디바이스가 사용자의 얼굴에 화장이 되어 있는지 여부에 기초하여, 입력 영상을 획득하는 방법을 설명하기 위한 도면이다.
도 14는 다른 실시예에 따른, 템플릿 촬영 시, 디바이스가 미리 결정된 조도값에 따라 입력 영상을 획득하는 방법을 설명하기 위한 도면이다.
도 15a 내지 15b는 일 실시예에 따라 템플릿 촬영 시, 디바이스가 얼굴 인증 모드에서 얼굴 영상을 획득하는 방법을 나타낸 도면이다.
도 16은 일 실시예에 따른, 디바이스가 화상 통화를 실행하는 중에 사용자의 얼굴 영상을 획득하는 방법을 나타내는 도면이다.
도 17은 일 실시예에 따른, 디바이스가 어플리케이션을 실행하는 중에 사용자의 얼굴 영상을 획득하는 방법을 나타내는 도면이다.
도 18는, 일 실시예에 따른, 디바이스가 손목에 착용되어 사용되는 경우, 디바이스가 사용자의 얼굴 영상을 획득하는 방법을 나타내는 도면이다.
도 19은 다른 실시예에 따른, 디바이스가 안경 형태인 경우, 디바이스가 사용자의 얼굴 영상을 획득하는 방법을 나타내는 도면이다.
도 20은 일 실시예에 따른, 디바이스가 촬상부를 통해 얼굴 영상 획득시 함께 획득하는 촬영 상황 정보를 설명하는 도면을 도시한다.
도 21은 일 실시예에 따른, 디바이스가 외부로부터 수신된 영상에서 얼굴 영상을 획득하는 방법을 설명하는 흐름도를 도시한다.
도 22는 일 실시예에 따른, 디바이스가 외부 서버로부터 얼굴 영상을 획득하는 방법을 설명하기 위한 도면을 도시한다.
도 23은 일 실시예에 따른, 디바이스가 사용자에 의해 선택된 영상으로부터 사용자의 얼굴 영상을 획득하는 방법을 나타내는 도면이다.
도 24는 일 실시예에 따른 디바이스가 디바이스에 저장된 영상으로부터 얼굴 영상을 획득하는 과정을 설명하는 도면이다.
도 25은 일 실시예에 따라, 디바이스가 사용자에 의해 선택된 영상으로부터 얼굴 영상을 추출하는 방법을 설명하기 위한 도면이다.
도 26는 일 실시예에 따라, 디바이스가 동영상으로부터 얼굴 영상을 추출하는 방법을 설명한 도면이다.
도 27은 일 실시예에 따라, 디바이스가 얼굴 영상에 식별자를 할당하는 과정을 나타낸 도면이다.
도 28은 일 실시예에 따라 디바이스가 영상의 파일에 건강 상태 정보가 획득된 영상임을 나타내는 정보를 기록하는 방법을 나타낸 도면이다.
도 29은 일 실시예에 따른 디바이스가 얼굴 영상을저장하는 방법을 나타낸 도면이다.
도 30은 일 실시예에 따른, 디바이스가 얼굴 영상을 정규화하는 방법을 나타내는 흐름도를 도시한다.
도 31은 일 실시예에 따른, 디바이스가 얼굴 영상의 크기를 정규화하는 방법을 나타내는 도면이다.
도 32는 일 실시예에 따른, 디바이스가 얼굴 영상으로부터 빛의 색온도에 의한 영향을 조정하는 방법의 흐름도를 도시한다.
도 33는 일 실시예에 따른, 디바이스가 정규화된 사용자의 얼굴 영상으로부터 사용자의 얼굴의 상태를 나타내는 얼굴 상태 정보를 추출하는 방법을 나타내는 흐름도이다.
도 34은 일 실시예에 따른, 디바이스가 정규화된 얼굴 영상으로부터 얼굴에 나타난 얼굴 상태 정보를 추출하는 방법을 설명하는 흐름도이다.
도 35는 일 실시예에 따른, 디바이스가 진단 영역의 위치를 결정하는 방법을 설명하는 도면이다.
도 36는 일 실시예에 따른, 디바이스가 진단 영역으로부터 얼굴 상태 정보를 추출하는 방법을 나타내는 도면이다.
도 37는 일 실시예에 따른, 디바이스가 얼굴 상태 정보에 기초하여, 사용자의 건강과 관련된 건강 상태 정보를 획득하는 방법을 나타내는 흐름도이다.
도 38는 일 실시예에 따른, 디바이스가 얼굴 영상으로부터 추출된 얼굴 상태 정보에 기초하여, 사용자의 건강 상태 정보를 추출하는 방법을 나타내는 도면이다.
도 39는 일 실시예에 따른, 디바이스가 얼굴 촬영시 획득된 촬영 상황 정보를 고려하여 얼굴 상태 정보로부터 건강 상태 정보를 획득하는 방법을 나타내는 흐름도이다.
도 40은 일 실시예에 따른, 디바이스가 사용자의 건강 상태 정보와 함께 영상 촬영시 획득한 촬영 상황 정보를 디스플레이하는 방법을 나타내는 도면이다.
도 41는 일 실시예에 따른, 디바이스가 얼굴 상태 정보로부터 건강 상태 정보 획득 시, 복수의 촬영 상황 정보 중 디바이스가 고려해야 할 촬영 상황 정보를 선택하는 기능을 제공하는 방법을 나타내는 도면이다.
도 42는 일 실시예에 따른, 디바이스가 얼굴 영상이 촬영된 시점에 기초하여, 얼굴 상태 정보로부터 건강 상태 정보를 획득하는 방법을 나타내는 흐름도이다.
도 43은 일 실시예에 따라 디바이스가 건강 상태 정보를 획득하는 과정을 설명하기 위한 도면이다.
도 44은 다른 실시예에 따라 디바이스가 서비스 서버를 이용하여 건강 상태 정보를 획득하는 과정을 나타낸 도면이다.
도 45은 일 실시예에 따른, 디바이스가 사용자의 건강 상태 정보를 디스플레이하는 방법을 나타내는 흐름도이다.
도 46은 일 실시예에 따른, 디바이스에 저장된 영상을 디스플레이함에 따라, 디바이스가 디스플레이된 사용자의 얼굴로부터 산출된 건강 상태 정보를 제공하기 위한 사용자 인터페이스를 제공하는 방법을 나타내는 도면이다.
도 47은 일 실시예에 따른, 디바이스가 디스플레이된 영상 상에 건강 상태 정보를 디스플레이하는 방법을 나타내는 도면이다.
도 48a은 일 실시예에 따른, 디바이스가 복수의 인물에 대한 건강 상태 정보 중 화면에 디스플레이할 인물을 선택하는 사용자 인터페이스를 제공하는 방법을 나타내는 도면이다.
도 48b는 일 실시예에 따른, 디바이스가 사용자에 의해 선택된 인물의 입력 영상 및 입력 영상에 대응하는 건강 상태 정보를 디스플레이하는 방법을 나타내는 도면이다.
도 49a 내지 49c는 일 실시예에 따른, 디바이스가 사용자에 의해 선택된 기간 또는 질병에 대한 건강 상태 정보를 제공하기 위한 방법을 나타내는 도면이다.
도 50a은 일 실시예에 따라 건강 상태 정보를 제공하는 화면을 나타낸 도면이다.
도 50b는 일 실시예에 따라 건강 상태 정보를 제공하는 화면을 나타낸 도면이다.
도 51는 일 실시예에 따라 건강 상태 정보를 제공하는 화면을 나타낸 도면이다.
도 52은 일 실시예에 따라 건강 상태 정보를 제공하는 화면을 나타낸 도면이다.
도 53a 및 53b는 일 실시예에 따른, 디바이스가 캘린더 형식으로 사용자의 건강 상태 정보를 제공하는 방법을 설명하는 도면이다.
도 54는 일 실시예에 따른, 디바이스가 소셜 네트워크 어플리케이션 실행 시 사용자의 건강 상태 정보를 표시하는 방법을 설명하는 도면이다.
도 55는 일 실시예에 따른, 디바이스에 대한 블록도를 도시한다.
도 56는 본 개시의 다른 실시 예에 따른 디바이스의 구성을 나타내는 블록도이다.1 is a diagram for explaining a method of extracting health state information of a user from an image including a user's face, according to an exemplary embodiment.
2 is a flowchart illustrating a method in which a device obtains health state information of a user based on a face image of the user, according to an exemplary embodiment.
3 is a diagram for describing a method for registering a user's face, according to an embodiment.
4 is a view for explaining a method for registering information about a user, according to an embodiment.
FIG. 5 is a diagram for describing a method for a device to set information to be considered during a health diagnosis based on a user's selection, according to an exemplary embodiment.
6 is a flowchart illustrating a method for a device to acquire a face image, according to an embodiment.
7 is a flowchart illustrating a method for a device to acquire a face image from an input image, according to an embodiment of the present invention.
8 is a flowchart illustrating a method for a device to acquire a face image through template capturing, according to an embodiment.
9 is a view for explaining a method for a device to provide guide information when capturing a template, according to an embodiment.
10 is a view for explaining a method for a device to provide guide information when capturing a template, according to another embodiment.
11 is a diagram for describing a method for a device to photograph a face within a predetermined distance from a camera when photographing a template, according to another exemplary embodiment.
12 is a diagram for explaining a method for photographing a face by a device so that a direction of a face in an input image is a direction facing a camera in the front, when photographing a template, according to an embodiment.
13 is a diagram for explaining a method of acquiring an input image based on whether a device has applied makeup on a user's face when a template is photographed, according to another embodiment.
FIG. 14 is a diagram for describing a method for a device to acquire an input image according to a predetermined illuminance value when capturing a template, according to another exemplary embodiment.
15A to 15B are diagrams illustrating a method in which a device acquires a face image in a face authentication mode when a template is captured, according to an exemplary embodiment.
16 is a diagram illustrating a method for a device to acquire a user's face image while performing a video call, according to an embodiment.
17 is a diagram illustrating a method for a device to acquire a user's face image while an application is running, according to an exemplary embodiment.
18 is a diagram illustrating a method for a device to acquire a face image of a user when the device is worn on a wrist and used, according to an embodiment.
19 is a diagram illustrating a method for a device to acquire a user's face image when the device is in the form of glasses, according to another embodiment.
20 is a diagram for describing photographing situation information that a device acquires together when acquiring a face image through an imaging unit, according to an embodiment.
21 is a flowchart illustrating a method for a device to acquire a face image from an image received from the outside, according to an embodiment.
22 is a diagram for describing a method for a device to acquire a face image from an external server, according to an embodiment.
23 is a diagram illustrating a method for a device to obtain a user's face image from an image selected by the user, according to an exemplary embodiment.
24 is a diagram for describing a process in which a device acquires a face image from an image stored in the device, according to an exemplary embodiment.
25 is a diagram for describing a method for a device to extract a face image from an image selected by a user, according to an exemplary embodiment.
26 is a diagram for explaining a method for a device to extract a face image from a video, according to an embodiment.
27 is a diagram illustrating a process in which a device allocates an identifier to a face image, according to an embodiment.
28 is a diagram illustrating a method for a device to record information indicating that health state information is an acquired image in an image file, according to an exemplary embodiment.
29 is a diagram illustrating a method for a device to store a face image according to an embodiment.
30 is a flowchart illustrating a method for a device to normalize a face image, according to an embodiment.
31 is a diagram illustrating a method for a device to normalize a size of a face image, according to an embodiment.
32 is a flowchart of a method for a device to adjust an effect of a color temperature of light from a face image, according to an embodiment.
33 is a flowchart illustrating a method for a device to extract facial state information indicating a state of a user's face from a normalized user's face image, according to an embodiment.
34 is a flowchart illustrating a method for a device to extract face state information appearing on a face from a normalized face image, according to an embodiment.
35 is a diagram for describing a method for a device to determine a location of a diagnostic area, according to an exemplary embodiment.
36 is a diagram illustrating a method for a device to extract facial state information from a diagnosis area, according to an exemplary embodiment.
37 is a flowchart illustrating a method for a device to obtain health state information related to a user's health based on facial state information, according to an embodiment.
38 is a diagram illustrating a method in which a device extracts health state information of a user based on facial state information extracted from a face image, according to an embodiment.
39 is a flowchart illustrating a method for a device to obtain health state information from facial state information in consideration of photographing situation information obtained when photographing a face, according to an embodiment.
40 is a diagram illustrating a method of displaying, by a device, photographing situation information obtained when capturing an image together with health state information of a user, according to an exemplary embodiment.
41 is a diagram illustrating a method of providing a function for selecting, by the device, photographing situation information to be considered by the device from among a plurality of photographing situation information, when the device obtains health state information from facial state information, according to an embodiment.
42 is a flowchart illustrating a method for a device to obtain health state information from facial state information based on a time point at which a face image is captured, according to an embodiment.
43 is a diagram for describing a process in which a device acquires health state information according to an embodiment.
44 is a diagram illustrating a process in which a device acquires health state information using a service server according to another embodiment.
45 is a flowchart illustrating a method for a device to display health state information of a user, according to an embodiment.
46 is a diagram illustrating a method of providing, by a device, a user interface for providing health state information calculated from a displayed user's face when displaying an image stored in a device, according to an embodiment.
47 is a diagram illustrating a method for a device to display health state information on a displayed image, according to an embodiment.
48A is a diagram illustrating a method of providing, by a device, a user interface for selecting a person to be displayed on a screen from among health status information about a plurality of persons, according to an exemplary embodiment;
48B is a diagram illustrating a method of displaying, by a device, an input image of a person selected by a user and health state information corresponding to the input image, according to an exemplary embodiment.
49A to 49C are diagrams illustrating a method for a device to provide health status information for a period or disease selected by a user, according to an exemplary embodiment.
50A is a diagram illustrating a screen for providing health state information according to an exemplary embodiment.
50B is a diagram illustrating a screen for providing health state information according to an exemplary embodiment.
51 is a diagram illustrating a screen for providing health state information according to an exemplary embodiment.
52 is a diagram illustrating a screen for providing health state information according to an exemplary embodiment.
53A and 53B are diagrams illustrating a method for a device to provide health status information of a user in a calendar format, according to an exemplary embodiment.
54 is a diagram for describing a method of displaying, by a device, health state information of a user when a social network application is executed, according to an embodiment.
55 shows a block diagram for a device, according to one embodiment.
56 is a block diagram illustrating a configuration of a device according to another embodiment of the present disclosure.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. Terms used in this specification will be briefly described, and the present invention will be described in detail.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, but these may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.In the entire specification, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated. Also, as used herein, the term “unit” refers to a hardware component such as software, FPGA, or ASIC, and “unit” performs certain roles. However, "part" is not meant to be limited to software or hardware. A “unit” may be configured to reside on an addressable storage medium and may be configured to refresh one or more processors. Thus, by way of example, “part” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. The functionality provided within components and “parts” may be combined into a smaller number of components and “parts” or further divided into additional components and “parts”.
명세서 전체에서, “정규화”란 얼굴 영상의 속성값을 기 설정된 기준으로 조정하는 것을 의미할 수 있다. 얼굴 영상의 속성값은 얼굴 영상의 크기, 얼굴 영상의 명도 및 조명의 영향에 의한 색조 변화값 등을 포함할 수 있다.Throughout the specification, “normalization” may mean adjusting an attribute value of a face image based on a preset standard. The attribute value of the face image may include the size of the face image, the brightness of the face image, and a color tone change value due to the influence of lighting.
명세서 전체에서, “얼굴 영상 획득 조건”은 디바이스가 입력 영상의 얼굴 영역으로부터 얼굴 상태 정보를 추출하기 위해 입력 영상 내의 얼굴 영역이 만족해야 하는 조건을 의미할 수 있다.Throughout the specification, a “facial image acquisition condition” may refer to a condition that a face region in an input image must satisfy in order for a device to extract face state information from the face region of the input image.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
Hereinafter, with reference to the accompanying drawings, the embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the embodiments of the present invention. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description will be omitted.
도 1은 일 실시예에 따른, 사용자의 얼굴이 포함된 영상으로부터 사용자의 건강 상태 정보를 추출하는 방법을 설명하기 위한 도면이다.1 is a diagram for explaining a method of extracting health state information of a user from an image including a user's face, according to an exemplary embodiment.
도 1을 참조하면, 디바이스(100)는 입력 영상(10)으로부터 얼굴 영상(20)을 획득할 수 있다. 입력 영상(10)은, 사용자의 일반적인 사진 촬영에 의해 획득된 영상일 수 있다. 또한, 입력 영상(10)은 외부 디바이스(100)로부터 수신한 영상일 수 있다. 또한, 입력 영상(10)은 얼굴을 촬영하기 위한 템플릿 촬영(예를 들어, 얼굴 인식 잠금 해제)에 의해 획득된 영상일 수도 있다.Referring to FIG. 1 , the
디바이스(100)는 입력 영상(10) 중 미리 설정된 얼굴 영상 획득 조건을 만족하는 입력 영상(10)으로부터 얼굴 영상(20)을 획득할 수 있다. 미리 설정된 얼굴 영상 획득 조건은, 예를 들면 얼굴이 검출되었는지 여부에 대한 조건, 얼굴 방향에 대한 조건, 촬영 시의 조도에 대한 조건, 촬영 시 흔들렸는지 여부에 대한 조건, 눈을 떴는지 여부에 대한 조건, 얼굴 표정에 대한 조건, 귀가 보이는지 여부에 대한 조건, 얼굴이 중앙에 위치하였는지 여부에 대한 조건 및 얼굴 크기에 대한 조건 등을 포함할 수 있다. The
얼굴 영상(20)은 입력 영상(10)의 전체 영역 중 얼굴 영역 만을 포함하는 영상을 의미할 수 있다. 예를 들어, 얼굴 영상(20)은 입력 영상(10) 내의 피사체의 얼굴 중 이마가 시작되는 지점부터 턱 끝점까지의 영역을 세로 영역으로, 양 귀 사이의 영역을 가로 영역으로 하는 직사각형의 영역을 의미할 수 있다.The
디바이스(100)는 입력 영상(10)으로부터 얼굴 영역을 검출하고, 검출된 얼굴 영역의 이미지를 얼굴 영상(20)으로 저장할 수 있다. 디바이스(100)가 입력 영상(10)을 획득하고, 입력 영상(10)으로부터 얼굴 영상(20)을 획득하는 실시예는, 도 8 내지 도 29를 참조하여 아래에서 상세히 설명한다.The
얼굴 영상(20)을 획득함에 따라, 디바이스(100)는 얼굴 영상(20)을 기 설정된 기준으로 정규화할 수 있다. 예를 들어, 디바이스(100)는 얼굴 영상(20)의 크기를 기 설정된 크기로 변경할 수 있다. 또한, 디바이스(100)는 얼굴 영상(20)으로부터 빛의 색온도에 의한 영향을 조정할 수도 있다. 또한, 디바이스(100)는 얼굴 영상(20)의 명도를 기 설정된 명도값으로 변경할 수도 있다. 디바이스(100)가 얼굴 영상(20)을 기 설정된 기준에 기초하여 정규화하는 실시예는 도 30 내지 32를 참조하여, 아래에서 상세히 설명한다.As the
얼굴 영상(20)을 정규화함에 따라, 디바이스(100)는 정규화된 얼굴 영상(20)으로부터 얼굴 상태 정보를 추출할 수 있다. 디바이스(100)가 정규화된 얼굴 영상(20)으로부터 얼굴 상태 정보를 추출하는 실시예는, 도 33 내지 도 36을 참조하여, 아래에서 상세히 설명한다.As the
얼굴 상태 정보를 획득함에 따라, 디바이스(100)는 추출된 얼굴 상태 정보를 이용하여 사용자의 건강 상태를 나타내는 건강 상태 정보(40)를 획득할 수 있다. 디바이스(100)가 추출된 얼굴 상태 정보를 이용하여 사용자의 건강 상태를 나타내는 건강 상태 정보(40)를 획득하는 실시예는, 도 37 내지 도 44를 참조하여, 아래에서 상세히 설명한다.As the facial state information is acquired, the
또한, 디바이스(100)는 획득한 건강 상태 정보를 다양한 방법으로 사용자에게 제공할 수 있다. 디바이스가(100)가 건강 상태 정보를 제공하는 실시예는, 도 45 내지 54를 참조하여, 아래에서 상세히 설명한다.
Also, the
도 2는 일 실시예에 따른, 디바이스(100)가 사용자의 얼굴 영상에 기초하여, 사용자의 건강 상태 정보를 획득하는 방법을 설명하는 흐름도이다.2 is a flowchart illustrating a method for the
단계 S210에서, 디바이스(100)는 사용자의 얼굴 영상을 획득할 수 있다. In step S210, the
디바이스는 입력 영상을 획득하고, 획득된 입력 영상으로부터 얼굴 영상을 획득할 수 있다.The device may acquire an input image and acquire a face image from the acquired input image.
예를 들어, 디바이스(100)는 사용자의 일반적인 사진 촬영에 의해 입력 영상을 획득할 수 있다. 디바이스(100)는 외부 디바이스로부터 입력 영상을 수신할 수도 있다. For example, the
또한, 예를 들어, 디바이스(100)는 얼굴을 촬영하기 위한 템플릿 촬영(예를 들어, 얼굴 인식 잠금 해제)을 이용하여 입력 영상을 획득할 수도 있다. 템플릿 촬영에서, 디바이스(100)는 미리 설정된 얼굴 영상 획득 조건에 따라, 사용자의 얼굴 촬영을 안내하는 촬영 가이드 정보를 디스플레이할 수 있다. Also, for example, the
입력 영상을 획득함에 따라, 디바이스(100)는 입력 영상이 미리 설정된 얼굴 영상 획득 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 디바이스(100)는 입력 영상의 촬영 시의 조도가 기준 범위 내인지 여부를 판단할 수 있다. 또한, 디바이스(100)는 입력 영상 촬영 시 카메라가 흔들렸는지 여부를 판단할 수 있다. As the input image is acquired, the
또한, 디바이스(100)는 입력 영상의 얼굴 영역 내의 얼굴이 미리 설정된 얼굴 영상 획득 조건을 만족하는지 여부를 판단할 수도 있다. 예를 들어, 디바이스(100)는 얼굴의 각도가 정면 얼굴로부터 기준 각도 범위 이내에 위치하는지 여부를 판단할 수 있다. 또한, 디바이스(100)는 입력 영상 내의 얼굴이 눈을 떴는지 여부를 판단할 수 있다. 또한, 디바이스(100)는 입력 영상 내의 얼굴이 표정을 나타내는지 여부를 판단할 수 있다. 또한, 디바이스(100)는 입력 영상 내의 얼굴에 귀가 있는지 여부를 판단할 수 있다. 또한, 디바이스(100)는 입력 영상 내의 얼굴이 기준 크기 이상인지 여부를 판단할 수 있다. Also, the
입력 영상이 미리 설정된 얼굴 영상 획득 조건을 만족하는 경우, 디바이스(100)는 입력 영상으로부터 얼굴 영역의 이미지를 얼굴 영상으로 획득할 수 있다.When the input image satisfies a preset face image acquisition condition, the
단계 S220에서, 디바이스(100)는 사용자의 얼굴 영상을 정규화할 수 있다. In step S220 , the
예를 들어, 디바이스(100)는 얼굴 영상의 크기를 기 설정된 크기로 확대 또는 축소함으로써 사용자의 얼굴 영상을 정규화할 수 있다. 또한, 디바이스(100)는 얼굴 영상에서 빛의 색온도에 의한 영향을 배제할 수 있다. 예를 들어, 얼굴 영상이 촬영된 시점에 사용자의 얼굴을 비춘 빛의 색온도를 획득하고, 획득된 색온도에 기초하여 얼굴 영상의 색조값을 조정함으로써 사용자의 얼굴 영상을 정규화할 수 있다. 또한, 디바이스(100)는 얼굴 영상의 명도를 기 설정된 명도값으로 변경함으로써 사용자의 얼굴 영상을 정규화할 수도 있다.For example, the
단계 S230에서 디바이스(100)는 정규화된 얼굴 영상으로부터 사용자의 얼굴의 상태를 나타내는 얼굴 상태 정보를 추출할 수 있다.In step S230 , the
얼굴 상태 정보는 사용자의 얼굴이 증상을 나타내는지 여부에 관한 정보를 의미할 수 있다. 얼굴 상태 정보는 예를 들면, 얼굴의 색, 잡티 또는 여드름의 개수 및 크기, 눈의 충혈 여부, 눈의 색, 동공의 크기, 동공의 움직임, 얼굴 크기, 얼굴 윤곽선의 형태, 입술의 색, 입술의 갈라짐 여부, 얼굴의 각 기관(눈, 코, 입, 귀, 눈썹)의 위치, 모발의 색, 모발의 윤기, 모발의 갈라짐 여부, 얼굴 근육의 움직임 등을 포함할 수 있다.The face state information may refer to information regarding whether the user's face exhibits symptoms. The facial state information may include, for example, the color of the face, the number and size of blemishes or acne, whether the eyes are red, the color of the eyes, the size of the pupil, the movement of the pupil, the size of the face, the shape of the face outline, the color of the lips, the lips It may include whether or not the skin is split, the position of each organ (eyes, nose, mouth, ears, eyebrows) of the face, the color of the hair, the gloss of the hair, whether the hair is split, the movement of the facial muscles, and the like.
얼굴 영상을 정규화함에 따라, 디바이스(100)는 정규화된 얼굴 영상에서 얼굴 상태 정보를 추출할 영역을 결정할 수 있다. 예를 들어, 디바이스(100)는 얼굴 영상에서 눈 밑 영역, 코 영역 및 입 주변 영역 등의 위치를 결정할 수 있다. As the face image is normalized, the
얼굴 상태 정보를 추출할 영역을 결정함에 따라, 디바이스(100)는 각각의 영역으로부터 얼굴 상태 정보를 추출할 수 있다. 예를 들어, 디바이스(100)는 눈 아래 영역이 부풀었는지 여부를 확인할 수 있다. 또한, 디바이스(100)는 눈 아래 영역의 색깔이 이전 색과 비교하여 보다 검게 변하였는지 여부를 판단할 수 있다. As the region from which the facial state information is to be extracted is determined, the
단계 S240에서, 디바이스(100)는 얼굴 상태 정보를 이용하여 사용자의 건강 상태를 나타내는 건강 상태 정보를 획득할 수 있다. In operation S240 , the
건강 상태 정보는 얼굴 상태 정보로부터 예측되는 사용자의 질병, 기능이 저하된 장기 또는 사용자의 컨디션에 관한 정보를 포함할 수 있다. The health state information may include information about a user's disease, a function-degraded organ, or a user's condition predicted from the facial state information.
예를 들어, 얼굴 영상에서 눈 아래 영역이 부푼 것으로 판단된 경우, 디바이스(100)는 사용자가 갑상선 기능 항진증 또는 알레르기 질환이 발생한 것으로 판단할 수 있다. 또한, 얼굴 영상에서 눈 아래 영역이 검게 변한것으로 판단된 경우, 디바이스(100)는 사용자가 알레르기성 비염이 발생한 것으로 판단할 수 있다.For example, when it is determined that the area under the eyes is swollen in the face image, the
디바이스(100)는 추출된 얼굴 상태 정보에 더하여, 촬영 시 획득된 사용자의 생체 정보를 고려하여 건강 상태 정보를 획득할 수 있다. 이 경우, 디바이스(100)는 획득된 복수의 생체 정보 중 적어도 하나를 선택하기 위한 사용자 인터페이스를 디스플레이할 수 있다. 생체 정보를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 추출된 얼굴 상태 정보 및 선택된 생체 정보를 함께 고려하여 사용자의 건강과 관련된 건강 상태 정보를 획득할 수 있다.In addition to the extracted face state information, the
또한, 디바이스(100)는 얼굴 상태 정보로부터 건강 상태 정보 획득 시, 얼굴 영상이 촬영된 시점 이전의 사용자의 건강 상태 정보를 사용자의 얼굴 상태 정보와 함께 이용하여 사용자의 건강 상태 정보를 획득할 수 있다. In addition, when obtaining health state information from the face state information, the
예를 들어, 임의의 얼굴 상태 정보로부터 건강 상태 정보를 획득할 때, 디바이스(100)는 임의의 얼굴 영상의 메타데이터로부터 얼굴이 촬영된 날짜를 획득할 수 있다. 디바이스(100)는 얼굴 영상이 촬영된 날짜 보다 이전에 촬영된 복수의 얼굴 영상들로부터 사용자의 이전 얼굴 상태 정보를 추출할 수 있다. 디바이스(100)는 이전 얼굴 상태 정보에 기초하여 사용자의 이전 건강 상태 정보를 획득할 수 있다. 디바이스(100)는 획득된 이전 건강 상태 정보 및 추출된 얼굴 상태 정보를 함께 이용하여, 건강 상태 정보를 획득할 수 있다. For example, when obtaining health state information from arbitrary face state information, the
단계 S250에서, 디바이스(100)는 획득된 건강 상태 정보를 제공할 수 있다.In step S250 , the
디바이스(100)는 획득된 건강 상태 정보를 다양한 방법으로 화면에 디스플레이할 수 있다. The
예를 들어, 디바이스(100)는 얼굴 영상 및 얼굴 영상에 대응하는 건강 상태 정보를 함께 디스플레이할 수 있다. 이 경우, 디바이스(100)는 얼굴 영상의 전체 영역 중에서, 디스플레이된 건강 상태 정보가 획득된 얼굴 상태 정보가 추출된 영역 상에, 디스플레이된 건강 상태 정보와 관련된 영역임을 나타내는 이미지를 디스플레이할 수도 있다.For example, the
또한, 복수의 얼굴 영상을 디스플레이하는 경우, 디바이스(100)는 얼굴 영상의 촬영 날짜 및 촬영 시간에 기초하여, 촬영 날짜 및 촬영 시간의 순서에 따라 복수의 얼굴 영상 및 복수의 얼굴 영상에 대응하는 사용자의 건강 상태 정보를 디스플레이 할 수 있다.In addition, when displaying a plurality of face images, the
또한, 디바이스(100)는 복수의 얼굴 영상으로부터 추출된 사용자의 얼굴 상태 정보로부터 획득된 질병 중 적어도 하나를 선택하기 위한 사용자 인터페이스를 디스플레이할 수 있다. 적어도 하나의 질병을 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 복수의 얼굴 영상 중 선택된 질병과 관련된 영상을 촬영 날짜 및 촬영 시간 순서에 따라 디스플레이할 수 있다. Also, the
또한, 디바이스(100)는 일정 기간 동안의 날짜 및 요일을 함께 나타내는 캘린더를 디스플레이할 수 있다. 또한, 디바이스(100)는 캘린더 내의 날짜에 대응하는 영역에, 복수의 얼굴 영상 중 날짜에 촬영된 얼굴 영상으로부터 추출된 얼굴 상태 정보로부터 획득된 건강 상태 정보를 디스플레이할 수 있다.
Also, the
도 3은, 일 실시예에 따른, 사용자의 얼굴을 등록하기 위한 방법을 설명하는 도면이다.3 is a diagram for describing a method for registering a user's face, according to an embodiment.
도 3을 참조하면, 디바이스(100)는 사용자의 얼굴을 촬영하고, 촬영된 얼굴을 사용자의 얼굴로 등록할 수 있는 사용자 얼굴 등록 인터페이스(310)를 제공할 수 있다.Referring to FIG. 3 , the
사용자 얼굴 등록 인터페이스(310)는 사용자 얼굴의 앞면 및 옆면 등 다양한 방향의 얼굴 영상을 촬영하기 위한 인터페이스를 포함할 수 있다.The user face
또한, 사용자 얼굴 등록 인터페이스(310)는 사용자의 얼굴을 미리 정해진 크기에 맞추어 촬영하기 위한 가이드 이미지(320)를 포함할 수 있다.Also, the user
촬영된 얼굴 영상을 등록하는 사용자 입력을 수신함에 따라, 디바이스(100)는 촬영된 얼굴 영상을 사용자의 식별 정보에 대응하여 저장할 수 있다. 사용자의 얼굴 영상이 등록됨에 따라, 디바이스(100)는 등록된 얼굴 영상에 기초하여, 얼굴의 특징을 추출할 수 있다. 디바이스(100)는 추출된 특징을 사용자의 식별 정보에 대응하여 저장할 수 있다. 이에 따라, 디바이스(100)는 임의의 영상으로부터 얼굴의 특징을 추출하고, 추출된 얼굴의 특징과 기 저장된 사용자의 얼굴의 특징을 비교하여, 유사도가 임계치 이상인 경우, 임의의 영상 내의 얼굴을 사용자의 얼굴로써 결정할 수 있다. Upon receiving a user input for registering a photographed face image, the
실시예에 따라, 디바이스(100)는 디바이스(100)에 저장된 영상 중 사용자에 의해 선택된 영상에 기초하여, 사용자의 얼굴을 등록할 수도 있다.
According to an embodiment, the
도 4는 일 실시예에 따른, 사용자에 관한 정보를 등록하기 위한 방법을 설명하는 도면이다.4 is a view for explaining a method for registering information about a user, according to an embodiment.
도 4를 참조하면, 디바이스(100)는 사용자에 관한 정보를 등록하기 위한 인터페이스를 제공할 수 있다. Referring to FIG. 4 , the
사용자에 관한 정보는 사용자의 신체 정보 및 사용자의 병력에 관한 정보 등을 포함할 수 있다. 예를 들어, 사용자에 관한 정보는 사용자의 나이, 몸무게, 키, 성별, 현재 질병에 관한 정보, 과거 질병에 관한 정보 및 얼굴색에 관한 정보를 포함할 수 있다.The information about the user may include information about the user's body and the user's medical history. For example, the information about the user may include the user's age, weight, height, gender, information about a current disease, information about a past disease, and information about a face color.
디바이스(100)는 사용자로부터 사용자에 관한 정보를 수신할 수 있다. 또한, 디바이스(100)는 사용자의 식별 정보에 대응하여 사용자에 관한 정보를 저장할 수 있다. 디바이스(100)는 사용자에 관한 정보를 고려하여, 사용자의 얼굴 상태 정보로부터 사용자의 건강 상태를 보다 정확히 획득할 수 있다.
The
도 5는 일 실시예에 따른, 디바이스(100)가 사용자의 선택에 기초하여, 건강 진단 시 고려할 정보를 설정하는 방법을 설명하는 도면이다.FIG. 5 is a diagram for explaining a method of setting, by the
도 5를 참조하면, 디바이스(100)는 건강 진단 시 고려할 정보를 선택하기 위한 사용자의 인터페이스를 제공할 수 있다.Referring to FIG. 5 , the
건강 진단시 고려될 수 있는 정보는 촬영 시간, 촬영 날짜, 촬영 장소, 생체 정보 및 사용자에 관한 정보를 포함할 수 있다. 생체 정보는 심박수, 혈압, 혈당량, 수면량 및 뇌파 정보를 포함할 수 있다. 생체 정보는 촬영시 디바이스(100)에 구비된 센서로부터 획득될 수 있다. 또한, 생체 정보는 입력 영상에 메타데이터 형식으로 기록되어 있을 수 있다. The information that may be considered during the health diagnosis may include a photographing time, a photographing date, a photographing location, biometric information, and information about a user. The biometric information may include heart rate, blood pressure, blood sugar level, sleep amount, and EEG information. The biometric information may be obtained from a sensor provided in the
건강 진단시 고려될 수 있는 정보가 선택됨에 따라, 디바이스(100)는 선택된 정보를 고려하여, 사용자의 얼굴 상태 정보로부터 건강 상태 정보를 획득할 수 있다.
As information that can be considered during health diagnosis is selected, the
도 6은 일 실시예에 따른, 디바이스(100)가 얼굴 영상을 획득하는 방법을 설명하기 위한 흐름도를 도시한다.6 is a flowchart illustrating a method for the
단계 S610에서 디바이스(100)는 사용자의 얼굴 영상을 획득할 수 있다. In step S610, the
디바이스(100)는 입력 영상을 획득할 수 있다. 입력 영상을 획득함에 따라, 디바이스(100)는 입력 영상 내의 얼굴 영역을 검출할 수 있다. 입력 영상 내의 얼굴 영역을 검출함에 따라, 디바이스(100)는 얼굴 영역이 얼굴 영상 획득 조건을 만족하는지 여부를 판단할 수 있다. 얼굴 영역이 얼굴 영상 획득 조건을 만족하는 경우, 디바이스(100)는 얼굴 영역의 데이터를 얼굴 영상으로 저장할 수 있다.
The
도 7은 본 발명의 일 실시예에 따른, 디바이스(100)가 입력 영상으로부터 얼굴 영상를 획득하는 방법을 설명하기 위한 흐름도를 도시한다.7 is a flowchart illustrating a method for the
단계 S710에서, 디바이스(100)는 입력 영상을 획득할 수 있다.In step S710 , the
디바이스(100)는 다양한 방법으로 입력 영상을 획득할 수 있다. The
예를 들어, 디바이스(100)는 디바이스(100)에 구비된 촬상부로부터 얼굴을 포함하는 입력 영상을 수신할 수 있다. 이 경우, 디바이스(100)는 미리 설정된 얼굴 영상 획득 조건을 만족하는 입력 영상을 획득하기 위한 템플릿 촬영 인터페이스를 제공할 수 있다. 이러한 실시예에 대하여 도8 내지 도 14를 참조하여 아래에서 상세히 설명한다. For example, the
또한, 디바이스(100)는 디바이스(100)가 사용자의 얼굴을 촬영할 수 있는 조건을 만족하는 경우, 사용자의 입력이 없더라도 사용자의 얼굴을 촬영할 수도 있다. 이러한 실시예에 대하여 도15 내지 도 19를 참조하여 아래에서 상세히 설명한다.Also, when the
또한, 디바이스(100)는 디바이스(100)에 저장된 영상 중 사용자가 선택한 사진을 입력 영상으로 획득할 수 있다. 이러한 실시예에 대하여 도21 내지 도 25를 참조하여 아래에서 상세히 설명한다. 또한, 디바이스(100)는 외부 디바이스(100)로부터 다운받은 영상을 입력 영상으로 획득할 수도 있다. 이러한 실시예에 대하여 도22를 참조하여 아래에서 상세히 설명한다.Also, the
단계 S720에서, 디바이스(100)는 입력 영상 내의 얼굴 영역을 검출할 수 있다.In operation S720 , the
디바이스(100)는 다양한 알고리즘에 따라 입력 영상 내의 얼굴 영역을 검출할 수 있다. 예를 들어, 디바이스는 지식 기반 방법(Knowledge-based Methods), 특징 기반 방법 (Feature-based Methods), 템플릿 매칭 방법(Template-matching Methods) 및 외형 기반 방법(Appearance-based Methods)에 기초하여, 입력 영상 내의 얼굴 영역의 위치를 결정할 수 있다. The
단계 S730에서, 디바이스(100)는 얼굴 영역이 얼굴 영상 획득 조건을 만족하는지 여부를 판단할 수 있다.In operation S730, the
얼굴 영상 획득 조건은 디바이스(100)가 입력 영상의 얼굴 영역으로부터 얼굴 상태 정보를 추출하기 위해 입력 영상 내의 얼굴 영역이 만족해야 하는 조건을 의미할 수 있다. 얼굴 영상 획득 조건은 예를 들면 얼굴이 검출되었는지 여부에 대한 조건, 얼굴 방향에 대한 조건, 촬영 시의 조도에 대한 조건, 촬영 시 흔들렸는지 여부에 대한 조건, 눈을 떴는지 여부에 대한 조건, 얼굴 표정에 대한 조건, 귀가 보이는지 여부에 대한 조건, 얼굴이 중앙에 위치하였는지 여부에 대한 조건, 얼굴 크기에 대한 조건 등 다양한 기준들의 조합으로 결정될 수 있다.The face image acquisition condition may mean a condition that a face region in the input image must satisfy in order for the
얼굴이 검출되었는지 여부에 대한 조건은, 입력 영상으로부터 얼굴이 검출된 경우, 상기 얼굴 영상으로 채택하고, 얼굴이 검출되지 않은 경우, 해당 입력 영상을 얼굴 영상으로 채택하지 않는 조건이다. 디바이스(100)는 입력 영상으로부터 얼굴 영상을 검출하기 위해, Adaboost 알고리즘 등 다양한 얼굴 검출 알고리즘을 이용할 수 있다.The condition for whether or not a face is detected is a condition that, when a face is detected from the input image, is adopted as the face image, and when no face is detected, the corresponding input image is not adopted as the face image. The
얼굴 방향에 대한 조건은, 입력 영상에서 소정 방향의 얼굴이 검출되면 해당 입력 영상을 얼굴 영상으로 채택하는 조건이다. 예를 들면, 얼굴 정면을 촬영한 영상이 요구되는 경우, 디바이스(100)는 입력 영상에서 얼굴 정면이 검출되면 해당 입력 영상을 상기 얼굴 영상으로 채택한다. 다른 예로서, 얼굴 옆면을 촬영한 영상이 요구되는 경우, 디바이스(100)는 입력 영상에서 얼굴 옆면이 검출되면 해당 입력 영상을 상기 얼굴 영상으로 채택한다.The condition for the face direction is a condition for adopting the input image as a face image when a face in a predetermined direction is detected from the input image. For example, when an image obtained by photographing a front face is requested, the
촬영 시의 조도에 대한 조건은 예를 들면, 촬영 시의 조도가 제1 조도 이상이고 제2 조도 이하인 조건일 수 있다. 디바이스(100)는 입력 영상이 상기 촬영 시의 조도에 대한 조건을 만족하지 않는 경우, 해당 입력 영상을 상기 얼굴 영상으로 채택하지 않을 수 있다. 상기 촬영 시의 조도에 대한 조건은 촬영 시에 디바이스(100)에 구비된 조도 센서를 이용하여 측정될 수 있다. 만약 상기 입력 영상이 저장된 영상인 경우, 해당 입력 영상의 영상 파일에 저장된 촬영 시의 조도 조건을 이용할 수 있다. The condition for illuminance during photographing may be, for example, a condition in which the illuminance during photographing is equal to or greater than the first illuminance and less than or equal to the second illuminance. When the input image does not satisfy the condition for illuminance during the photographing, the
촬영 시 흔들렸는지 여부에 대한 조건은, 입력 영상에서 흔들림이 소정 수준 이상 발생한 경우, 해당 입력 영상을 얼굴 영상으로 채택하지 않는 조건이다. 일 실시예에 따르면, 입력 영상이 흔들렸는지 여부는, 촬영 시에 흔들림 센서를 이용하여 측정될 수 있다. 다른 실시예에 따르면, 입력 영상이 흔들렸는지 여부는, 상기 입력 영상으로부터 흔들림 정도를 판단할 수 있다.The condition for whether the image is shaken during photographing is a condition in which the input image is not used as a face image if the input image shakes more than a predetermined level. According to an embodiment, whether the input image is shaken may be measured using a shake sensor when photographing. According to another exemplary embodiment, whether the input image is shaken may be determined from the input image.
눈을 떴는지 여부에 대한 조건은, 입력 영상에서 얼굴이 검출되었지만, 눈을 감은 경우, 해당 입력 영상을 얼굴 영상으로 채택하지 않는 조건이다. 예를 들면, 입력 영상에서 눈을 검출하고, 눈의 흰자와 검은자 영역을 검출하여, 눈의 흰자와 검은자 영역의 넓이가 소정 값 이하인 경우, 눈을 감은 것으로 판단할 수 있다.The condition for whether the eyes are open is a condition in which a face is detected in the input image, but when the eyes are closed, the corresponding input image is not adopted as the face image. For example, the eyes may be detected from the input image, the whites and the black regions of the eyes are detected, and when the areas of the whites and the black regions are equal to or less than a predetermined value, it may be determined that the eyes are closed.
얼굴 표정에 대한 조건은, 측정하고자 하는 건강 상태 정보에 따라 소정의 얼굴 표정이 검출되는 경우 해당 입력 영상을 얼굴 영상으로 채택하는 조건이다. 디바이스(100)는 입력 영상으로부터 얼굴을 검출하고, 표정 인식을 수행하여, 해당 입력 영상에서 소정의 얼굴 표정이 검출되는지 여부를 판단할 수 있다. 상기 소정의 얼굴 표정은, 웃는 얼굴, 무표정한 얼굴, 눈을 감은 얼굴 등으로 설정될 수 있다.The condition for the facial expression is a condition for adopting a corresponding input image as a facial image when a predetermined facial expression is detected according to health state information to be measured. The
귀가 보이는지 여부에 대한 조건은, 입력 영상에서 얼굴이 검출되고, 귀가 보이는 경우, 해당 입력 영상을 얼굴 영상으로 채택하는 조건이다.The condition for whether the ears are visible is a condition in which a face is detected in the input image and, when the ears are visible, the corresponding input image is adopted as the face image.
단계 S740에서, 얼굴 영역이 얼굴 영상 획득 조건을 만족하는 경우, 디바이스(100)는 얼굴 영역의 데이터를 얼굴 영상으로 저장할 수 있다.In operation S740 , when the face region satisfies the face image acquisition condition, the
얼굴 영역이 얼굴 영상 획득 조건을 만족하는 경우, 디바이스(100)는 입력 영상 내의 얼굴 영역의 데이터를 추출하고, 추출된 데이터를 얼굴 영상으로 저장할 수 있다.
When the face region satisfies the face image acquisition condition, the
도 8은 일 실시예에 따른, 디바이스(100)가 템플릿 촬영을 통해 얼굴 영상을 획득하는 방법을 설명하는 흐름도를 도시한다.8 is a flowchart illustrating a method in which the
단계 S810에서, 디바이스(100)는 미리 설정된 얼굴 영상 획득 조건에 따라 사용자의 얼굴 촬영을 안내하기 위한 촬영 가이드 정보를 화면에 디스플레이할 수 있다.In operation S810 , the
예를 들어, 디바이스(100)는 템플릿 촬영을 통해 사용자의 건강을 진단하는 어플리케이션을 제공할 수 있다. 템플릿 촬영을 위한 어플리케이션을 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 건강 진단 모드로 진입할 수 있다. 건강 진단 모드에서, 디바이스(100)는 미리 설정된 얼굴 영상 획득 조건에 따라 얼굴 촬영을 안내하는 촬영 가이드 정보를 디스플레이할 수 있다.For example, the
일 실시예에 따르면, 디바이스(100)에 저장된 영상들을 재생할 수 있는 사진 앨범 기능을 실행 중에, 사용자가 메뉴 조작을 통해 건강 진단 모드로 진입하면, 디바이스(100)는 얼굴 영상을 촬영하는 동작이 수행되도록 할 수 있다. 다른 예로서, 사용자가 디바이스(100)에 설치된 건강 진단용 어플리케이션을 실행하면, 디바이스(100)는 얼굴 영상을 촬영하는 동작이 수행되도록 할 수 있다.According to an embodiment, when a user enters a health examination mode through a menu operation while a photo album function capable of reproducing images stored in the
일 실시예에 따르면, 디바이스(100)는 건강 진단 모드에서 얼굴 영상을 촬영하기 위해, 촬영 가이드를 제공할 수 있다. 상기 촬영 가이드는 화면, 소리, LED등 점멸 등의 방식으로 제공될 수 있다.According to an embodiment, the
일 실시예에 따르면, 상기 촬영 가이드는 건강 진단 모드에서 프리뷰 영상이 표시되는 동안 제공될 수 있다. 디바이스(100)는 프리뷰 영상으로부터 얼굴 영상 획득 조건 충족 여부를 계속 판단하여, 상기 촬영 가이드를 업데이트할 수 있다. According to an embodiment, the photographing guide may be provided while a preview image is displayed in the health examination mode. The
다른 실시예에 따르면, 상기 촬영 가이드는 사용자로부터 촬영 가이드 제공을 요청하는 제어 신호가 입력되면, 제공될 수 있다. 예를 들면, 사용자는 건강 진단 모드에서 특정 메뉴 또는 버튼을 선택함에 의해 촬영 가이드를 제공해줄 것을 디바이스(100)에 요청할 수 있다.According to another embodiment, the photographing guide may be provided when a control signal requesting provision of the photographing guide is input from the user. For example, the user may request the
다른 실시예에 따르면, 디바이스(100)가 셔터 릴리즈 신호를 입력 받기 위한 셔터 버튼(미도시)을 구비하고, 상기 셔터 버튼은 반누름 상태와 완전 누름 상태의 두 단계로 눌릴 수 있는 경우, 디바이스(100)는 셔터 버튼이 반누름 상태로 눌렸을 때, 상기 촬영 가이드를 산출하고 제공할 수 있다. 여기서 셔터 버튼이 반누름 상태로 눌리면, AF를 명령하는 S1 신호가 생성되고, 완전 누름 상태로 눌리면 셔터 릴리즈 신호에 해당하는 S2 신호가 생성될 수 있다.According to another embodiment, when the
촬영 가이드 정보는 얼굴 영상 획득 조건에 따라 얼굴을 촬영하기 위한 가이드 이미지 또는 가이드 문구를 포함할 수 있다. 가이드 정보에 대하여 도 9 내지 도 14를 참조하여 아래에서 상세히 설명한다.The photographing guide information may include a guide image or guide phrase for photographing a face according to a face image acquisition condition. The guide information will be described in detail below with reference to FIGS. 9 to 14 .
단계 S820에서, 디바이스(100)는 디바이스(100)에 구비된 촬상부로부터 사용자의 얼굴을 포함하는 영상을 수신할 수 있다.In operation S820 , the
촬상부로부터 사용자의 얼굴을 포함하는 영상을 수신함에 따라, 디바이스(100)는 수신된 영상을 디스플레이할 수 있다.As the image including the user's face is received from the imaging unit, the
단계 S830에서, 디바이스(100)는 수신된 영상 내의 얼굴 영역이 얼굴 영상 획득 조건을 만족하는지 여부를 판단할 수 있다. In operation S830, the
예를 들어, 디바이스(100)는 얼굴 검출 알고리즘에 기초하여 수신된 영상 내에서 얼굴이 검출되는지 여부를 판단할 수 있다.For example, the
또한, 예를 들어, 디바이스(100)는 수신된 영상 내의 얼굴의 향을 검출하고, 검출된 얼굴의 방향이 기준 방향을 만족하는지 여부를 판단할 수 있다. 예를 들어, 디바이스(100)는 수신된 영상으로부터 얼굴의 좌우 회전 방향(Yaw Direction), 상하 회전 방향(Tilt Direction) 및 얼굴 자체의 기울기 방향(Roll Direction)을 산출할 수 있다. 기준 방향은 수신된 영상에 나타난 얼굴이 정면으로 카메라를 바라보았을 때 촬영되는 방향일 수 있다.Also, for example, the
수신된 영상 내의 얼굴의 향을 검출함에 따라, 디바이스(100)는 산출한 방향이 기준 방향으로부터 기 설정된 범위 내인 경우, 검출된 얼굴의 방향이 기준 방향을 만족하는 것으로 판단할 수 있다.Upon detecting the “‡ direction of the face in the received image, the
또한, 예를 들어, 디바이스(100)는 촬영 시의 조도값을 검출할 수 있다. 디바이스(100)는 디바이스(100)에 구비된 조도 센서로부터 촬영시의 조도값을 획득할 수 있다. 촬영시의 조도값을 획득함에 따라, 디바이스(100)는 촬영시의 조도값이 기 설정된 범위내인지 여부를 판단할 수 있다. Also, for example, the
또한, 예를 들어, 디바이스(100)는 촬영 시 피사체 또는 카메라가 흔들렸는지 여부를 판단할 수 있다. 예를 들어, 디바이스(100)는 디바이스(100)에 구비된 흔들림 센서로부터 흔들림 정도를 나타내는 값을 획득할 수 있다. 디바이스(100)는 흔들림 정도를 나타내는 값이 기 설정된 범위 내인지 여부를 판단할 수 있다. Also, for example, the
또한, 예를 들어, 디바이스(100)는 수신된 영상 내의 얼굴의 크기가 기 설정된 기준 크기 이상인지 여부를 판단할 수 있다.Also, for example, the
단계 S830에서 수신된 영상 내의 얼굴 영역이 얼굴 영상 획득 조건을 만족하는 경우, 단계 S840에서, 디바이스(100)는 수신된 영상을 입력 영상으로 저장할 수 있다.When the face region in the image received in operation S830 satisfies the face image acquisition condition, in operation S840 , the
디바이스(100)는 입력 영상 중 검출된 얼굴 영역만을 얼굴 영상으로 저장할 수 있다. 또한, 디바이스(100)는 입력 영상 전체를 얼굴 영상으로 저장할 수도 있다.The
단계 S830에서 수신된 영상이 얼굴 영상 획득 조건을 만족하지 않는 경우, 디바이스(100)는 만족되지 않는 얼굴 영상 획득 조건을 나타내기 위한 가이드 정보를 화면에 디스플레이할 수 있다. When the image received in step S830 does not satisfy the face image acquisition condition, the
예를 들어, 얼굴의 각도가 기 설정된 각도 범위 내에 위치하지 않는 경우, 디바이스(100)는 사용자가 얼굴을 돌려야 할 방향 및 각도를 화면에 나타낼 수 있다.
For example, when the angle of the face is not located within the preset angle range, the
도 9는 일 실시예에 따른, 템플릿 촬영 시, 디바이스(100)가 가이드 정보를 제공하는 방법을 설명하는 도면이다.9 is a diagram illustrating a method of providing guide information by the
건강 진단을 위한 템플릿 촬영이 시작되면, 도 9에 도시된 바와 같이 프리뷰 영상이 표시될 수 있다. 본 실시예에 따르면, 프리뷰 영상에서, 얼굴 영상 획득 조건에 충족되도록 촬영하기 위한 가이드를 제공할 수 있다. When the photographing of the template for the health diagnosis is started, a preview image may be displayed as shown in FIG. 9 . According to the present embodiment, in the preview image, it is possible to provide a guide for photographing so that a condition for obtaining a face image is satisfied.
디바이스(100)는 얼굴 영상 획득 조건이 충족되었는지 여부를 프리뷰 영상으로부터 판단하고, 얼굴 영상 획득 조건이 충족되었는지 여부에 대한 촬영 가이드, 또는 얼굴 영상 획득 조건이 충족되기 위해 사용자가 어떻게 촬영해야 하는지에 대한 촬영 가이드를 제공할 수 있다. The
상기 촬영 가이드는 도 9에 도시된 바와 같이 화면에 표시될 수 있다. 다른 실시예로서 상기 촬영 가이드는 소리로 출력될 수 있다. The shooting guide may be displayed on the screen as shown in FIG. 9 . In another embodiment, the photographing guide may be output as a sound.
촬영 가이드는 예를 들면, 도 9에 도시된 바와 같이 얼굴 크기를 조절하기 위해 얼굴을 가깝게 하라는 지시, 또는 얼굴을 멀리 하라는 지시를 포함할 수 있다. 또한 촬영 가이드는 예를 들면, 측정된 조도에 따라, 조명을 밝게 또는 어둡게 하라는 가이드를 포함할 수 있다. 또한 촬영 가이드는 예를 들면, 촬영된 얼굴에서 귀가 보이지 않는 경우, 귀가 보이게 하라는 가이드를 포함할 수 있다. 또한 촬영 가이드는 표정에 대한 가이드, 얼굴 위치에 대한 가이드 등을 포함할 수 있다.The photographing guide may include, for example, an instruction to bring the face closer or an instruction to move the face away in order to adjust the face size as shown in FIG. 9 . Also, the photographing guide may include, for example, a guide to brighten or darken the lighting according to the measured illuminance. Also, the photographing guide may include, for example, a guide to make the ears visible when the ears are not visible in the photographed face. In addition, the photographing guide may include a guide for facial expressions, a guide for facial positions, and the like.
일 실시예예 따르면, 디바이스(100)는, 상기 얼굴 영상 획득 조건 중 충족되지 않은 조건들에 대해 촬영 가이드를 제공하고, 얼굴 영상 획득 조건이 충족될 때마다, 해당 얼굴 영상 획득 조건에 대한 가이드의 제공을 종료할 수 있다. 다른 실시예에 따르면, 디바이스(100)는 모든 얼굴 영상 획득 조건들을 표시부(120)에 표시하고, 각 얼굴 영상 획득 조건이 충족되었는지 여부에 대한 정보를 제공할 수 있다.
According to an embodiment, the
도 10은 다른 실시예에 따라 템플릿 촬영 시, 디바이스(100)가 가이드 정보를 제공하는 방법을 설명하는 도면이다.10 is a view for explaining a method for the
본 실시예에 따르면, 디바이스(100)는 프리뷰 화면 상에 얼굴 영상 획득 조건에 따른 얼굴의 크기 및 위치를 알려주기 위한 얼굴 박스(1010)를 표시할 수 있다. 사용자는 프리뷰 화면에서 얼굴이 얼굴 박스(1010)에 배치되도록 하여 얼굴 영상을 용이하게 촬영할 수 있다.According to the present embodiment, the
일 실시예에 따르면, 디바이스(100)는 프리뷰 영상에서 얼굴의 위치 및 크기를 검출하고, 얼굴 영상 획득 조건과 비교하여, 얼굴 영상 획득 조건이 충족되는지 여부에 대한 정보를 얼굴 박스(1010)를 통해 출력할 수 있다. 예를 들면, 디바이스(100)는 얼굴의 위치 및 크기에 대한 얼굴 영상 획득 조건이 충족되었는지 여부에 따라 얼굴 박스(1010)의 색깔, 선의 종류, 존재 여부 등을 변경하여, 얼굴 영상 획득 조건이 충족되었는지 여부에 대한 정보를 사용자에게 제공할 수 있다.According to an embodiment, the
디바이스(100)는 촬영을 통해 얼굴 영상을 획득하는 경우, 촬영된 얼굴 영상을 저장하는 영상 파일을 생성하고, 상기 영상 파일을 디바이스(100)에 저장할 수 있다. 디바이스(100)는, 영상 파일에 해당 영상 파일의 컨텐츠가 건강 진단을 위해 이용되는 얼굴 영상이라는 정보를 함께 저장할 수 있다. When a face image is obtained through photographing, the
일 실시예에 따르면, 해당 영상 파일에 저장된 영상이 상기 얼굴 영상이라는 정보는 상기 영상 파일의 헤더부에 저장될 수 있다.According to an embodiment, information that the image stored in the image file is the face image may be stored in the header of the image file.
다른 실시예에 따르면, 디바이스(100)는, 상기 영상 파일이 얼굴 영상이라는 정보를 별도의 데이터로 저장하여 관리할 수 있다. 예를 들면, 디바이스(100)는 상기 얼굴 영상에 해당하는 영상 파일의 파일명, 저장 경로 등을 별도의 파일로 저장할 수 있다.According to another embodiment, the
일 실시예에 따르면, 디바이스(100)는, 영상 파일에 상기 얼굴 영상 획득 조건과 관련된 정보를 함께 저장할 수 있다. 예를 들면, 디바이스(100)는, 영상 파일에 얼굴 위치, 얼굴 크기, 얼굴 표정, 촬영시의 조도, 얼굴 방향, 촬영 시의 흔들림에 대한 정보 등을 상기 영상 파일에 상기 얼굴 영상과 함께 저장할 수 있다. 저장된 영상이 얼굴 영상이라는 정보와, 상기 얼굴 영상 획득 조건과 관련된 정보는 예를 들면, 상기 영상 파일의 헤더부에 저장될 수 있다.
According to an embodiment, the
도 11은 다른 실시예에 따른, 템플릿 촬영 시, 디바이스(100)가 카메라로부터 일정 거리 내에서 얼굴을 촬영하기 위한 방법을 설명하는 도면이다.11 is a diagram for describing a method for photographing a face by the
도 11을 참조하면, 디바이스(100)는 카메라로부터 일정 거리 내에서 얼굴을 촬영하기 위한 사용자 인터페이스를 디스플레이할 수 있다.Referring to FIG. 11 , the
예를 들어, 디바이스(100)는 카메라로부터 기 설정된 거리만큼 떨어진 위치에서 얼굴을 촬영하기 위한 가이드 이미지(1110)를 화면에 디스플레이할 수 있다. 가이드 이미지(1110)는 사각형, 얼굴 모양의 타원 이미지일 수 있다.For example, the
또한, 예를 들어, 디바이스(100)는 가이드 이미지(1110)와 함께 가이드 이미지(1110)에 얼굴을 맞출 것을 요구하는 안내 문구(1120)를 디스플레이 할 수 있다. Also, for example, the
디바이스(100)는 사용자의 얼굴이 가이드 이미지(1110) 영역 내에 위치하는지 여부에 기초하여, 사용자의 얼굴이 카메라로부터 기 설정된 거리만큼 떨어진 위치에 있는 것으로 판단할 수 있다. 예를 들어, 디바이스(100)는 촬상부로부터 수신된 영상에서 사용자의 얼굴의 윤곽을 검출하고, 검출된 윤곽이 가이드 이미지(1110) 영역 내에 위치하는지를 판단할 수 있다. 디바이스(100)는 사용자의 얼굴의 윤곽이 가이드 이미지(1110) 영역 내에 위치하는 경우, 사용자의 얼굴이 카메라로부터 기 설정된 거리만큼 떨어진 위치에 있는 것으로 판단할 수 있다.The
사용자의 얼굴 영역이 가이드 이미지(1110) 영역 내에 위치하는 경우, 디바이스(100)는 수신된 영상을 입력 영상으로 결정할 수 있다. 사용자의 얼굴 영역이 가이드 이미지(1110) 영역 내에 위치하지 않는 경우, 디바이스(100)는 사용자의 얼굴의 위치에 기초하여, 얼굴을 특정 방향으로 움직일 것을 안내하는 안내 문구를 디스플레이할 수 있다.
When the user's face region is located within the
도 12는 일 실시예에 따른, 템플릿 촬영 시, 디바이스(100)가 입력 영상 내에서 얼굴의 방향이 카메라를 정면으로 바라보는 방향이 되도록 얼굴을 촬영하기 위한 방법을 설명하기 위한 도면이다.12 is a diagram for explaining a method for photographing a face by the
도 12를 참조하면, 디바이스(100)는 얼굴의 방향이 좌 또는 우로 회전하지 않고 카메라를 정면으로 바라보는 방향인지 여부를 판단할 수 있다. Referring to FIG. 12 , the
예를 들어, 디바이스(100)는 촬상부로부터 수신된 영상에서 얼굴 영역을 검출할 수 있다. 얼굴 영역이 검출됨에 따라, 디바이스(100)는 얼굴 영역 내의 눈, 코 또는 입의 위치를 검출할 수 있다. 두 눈의 위치를 검출함에 따라, 디바이스(100)는 두 눈 사이의 중심점을 결정할 수 있다. 이 때, 두 눈의 사이의 중심이 박스 이미지를 좌우로 2 등분하는 세로 중심선(1220)으로부터 좌우방향으로 기 설정됨 범위 내에 위치하는 경우, 디바이스(100)는 사용자의 얼굴이 좌 또는 우로 회전하지 않고 카메라를 정면으로 바라보는 방향인 것으로 판단할 수 있다.For example, the
디바이스(100)는 두 눈의 사이의 중심이 박스 이미지를 좌우로 2 등분하는 세로 중심선(1220)에서 기 설정됨 범위 내에 위치하지 않는 경우, 디바이스(100)는 얼굴을 좌 또는 우로 회전할 것을 안내하는 안내 문구를 디스플레이할 수 있다.
When the center between the two eyes is not located within a preset range on the
도 13는 다른 실시예에 따른, 템플릿 촬영 시, 디바이스(100)가 사용자의 얼굴에 화장이 되어 있는지 여부에 기초하여, 입력 영상을 획득하는 방법을 설명하기 위한 도면이다.13 is a diagram for explaining a method of acquiring an input image based on whether or not the
도 13을 참조하면, 디바이스(100)는 촬상부로부터 수신된 영상 내의 얼굴 영역을 검출하고, 검출된 얼굴 영역의 컬러 데이터에 기초하여, 사용자의 얼굴에 인공적인 화장이 되었는지 유무를 판단할 수 있다.Referring to FIG. 13 , the
디바이스(100)는 얼굴 영역의 데이터가 나타내는 색상, 명도 또는 채도를 기준으로, 사용자의 얼굴에 화장이 되었는지 유무를 판단할 수 있다. The
예를 들어, 검출된 얼굴 영역으로부터 눈두덩 영역을 검출할 수 있다. 검출된 눈두덩 영역의 색 데이터가 얼굴의 다른 부위의 피부색과 기준값 이상 차이가 나는 경우, 눈두덩 영역에 화장이 된 것으로 판단할 수 있다. For example, the eyelid region may be detected from the detected face region. When the detected color data of the eyelid region differs from the skin color of other parts of the face by more than a reference value, it may be determined that makeup is applied to the eyelid region.
또한, 예를 들어, 디바이스(100)는 얼굴 영역으로부터 입술 영역을 검출할 수 있다. 입술 영역의 색 데이터가 기준 범위를 초과하는 명도 또는 채도를 나타내는 경우, 사용자 본래의 입술 색이 아닌 것으로 판단할 수 있다. Also, for example, the
또한, 디바이스(100)는 화장하지 않은 상태의 사용자 본래의 얼굴을 나타내는 얼굴 영상을 기준 영상으로 저장하고 있을 수 있다. 예를 들어, 디바이스(100)는 최근 촬영된 사용자의 얼굴 영상 중 잡티, 여드름 또는 점의 개수가 가장 많은 얼굴 영상을 기준 영상으로 저장하고 있을 수 있다. Also, the
디바이스(100)는 입력 영상으로부터 얼굴 영역을 검출함에 따라, 검출된 얼굴 영역 내의 잡티, 여드름 또는 점의 위치를 검출할 수 있다. 그리고, 디바이스(100)는 기준 영상의 잡티, 여드름 또는 점의 개수와, 검출된 얼굴 영역 내의 잡티, 여드름 또는 점의 개수가 기준 개수 이상 차이가 나는 경우, 사용자의 얼굴에 화장이 된 것으로 판단할 수도 있다. 이 경우, 디바이스(100)는 검출된 얼굴 영역의 부위별로 기준 영상과 비교할 수 있다. 또한, 디바이스(100)는 미리 결정된 특정 부위만을 기준 영상과 비교할 수도 있다. As the
디바이스(100)는, 사용자의 얼굴에 화장이 된 것으로 판단한 경우, 화장을 지울 것을 안내하는 안내 문구를 디스플레이할 수 있다. When it is determined that the user's face has makeup applied, the
또한, 디바이스(100)는 사용자의 얼굴에 화장이 되지 않은 것으로 판단한 경우, 촬상부로부터 수신된 영상을 입력 영상으로 결정할 수 있다. 또한, 디바이스(100)는, 특정 부위만이 화장된 것으로 판단한 경우, 촬상부로부터 수신된 영상을 입력 영상으로 결정하고, 입력 영상으로부터 얼굴 영상을 획득하고, 획득된 얼굴 영상 중 화장된 부위만을 제외한 나머지 얼굴 영역으로부터 건강 상태 정보를 획득할 수도 있다.
Also, when it is determined that the user's face is not made-up, the
도 14는 다른 실시예에 따른, 템플릿 촬영 시, 디바이스(100)가 미리 결정된 조도값에 따라 입력 영상을 획득하는 방법을 설명하기 위한 도면이다.14 is a diagram for explaining a method of acquiring an input image according to a predetermined illuminance value by the
도 14를 참조하면, 디바이스(100)는 사용자의 얼굴 촬영 시 조도값이 기준 범위 내인지 여부를 판단할 수 있다.Referring to FIG. 14 , the
디바이스(100)는 디바이스(100)에 구비된 조도 센서를 이용하여, 촬영시의 조도값을 측정할 수 있다. 디바이스(100)는 측정된 조도값이 기준 범위 내인지 판단할 수 있다.The
측정된 조도값이 기준 범위 보다 작거나 큰 경우, 디바이스(100)는 사용자가 보다 밝은 곳 또는 보다 어두운 곳으로 이동할 것을 요구하는 안내 문구를 디스플레이할 수 있다.
When the measured illuminance value is less than or greater than the reference range, the
도 15a 내지 15b는 일 실시예에 따라 템플릿 촬영 시, 디바이스(100)가 얼굴 인증 모드에서 얼굴 영상을 획득하는 방법을 나타낸 도면이다.15A to 15B are diagrams illustrating a method in which the
도 15a를 참조하면, 얼굴 인증을 이용하여 잠금 상태를 해제하는 디바이스(100)의 경우, 얼굴 인증을 위해 사용자의 얼굴을 촬영하는 모드에서 촬영된 영상이 건강 진단을 위한 얼굴 영상으로 이용될 수 있다. Referring to FIG. 15A , in the case of the
예를 들어, 디바이스(100)의 잠금 상태에서, 얼굴 인증을 이용하여, 잠금 해제를 수행할 것을 선택하는 사용자 입력을 수신한 경우, 디바이스(100)는 얼굴 인증 모드로 진입할 수 있다. 얼굴 인증 모드로 진입한 함에 따라, 디바이스(100)는 이미지 센서로부터 사용자의 얼굴이 포함된 영상을 수신할 수 있다. 디바이스(100)는 수신된 영상으로부터 얼굴 영역을 검출하고, 검출된 얼굴 영역이 얼굴 영상 획득 조건을 만족하는지 여부를 판단할 수 있다. 검출된 얼굴 영역이 얼굴 영상 획득 조건을 만족하는 경우, 디바이스(100)는 검출된 얼굴 영역의 데이터를 얼굴 영상으로써 획득할 수 있다. For example, in the locked state of the
본 실시예에 따르면, 사용자의 추가적인 조작 없이도 용이하게 얼굴 영상을 수집할 수 있다. 또한 얼굴 인증을 위해 촬영되는 얼굴 영상은 비교적 얼굴 영상 획득 조건과 유사한 조건으로 촬영되기 때문에, 얼굴 영상 획득 조건을 충족하는 얼굴 영상을 용이하게 수집할 수 있다. 더욱이 얼굴 인증을 위해 촬영하는 경우, 캡쳐 영상에 대해 얼굴 인증 처리를 수행하는데, 인증 처리의 결과로 촬영된 얼굴의 식별 정보를 얻을 수 있기 때문에, 추가적인 로드를 거의 발생시키지 않으면서 용이하게 얼굴 영상 및 식별 정보를 얻을 수 있다.According to the present embodiment, it is possible to easily collect a face image without additional manipulation by the user. In addition, since the face image captured for face authentication is captured under conditions similar to those of the face image obtaining condition, it is possible to easily collect a face image that satisfies the face image obtaining condition. Furthermore, when shooting for face authentication, face authentication processing is performed on the captured image, and since identification information of a photographed face can be obtained as a result of the authentication process, it is easy to perform face image and identification information can be obtained.
본 실시예에 따르면, 도 15b에 도시된 바와 같이, 얼굴 인증 모드에서 얼굴 인증에 성공한 경우, 얼굴 인증에 이용된 얼굴 영상으로부터 추출된 건강 상태 정보가 잠금 해제 후 첫 화면에서 제공될 수 있다.
According to the present embodiment, as shown in FIG. 15B , when face authentication is successful in the face authentication mode, health state information extracted from a face image used for face authentication may be provided on the first screen after unlocking.
도 16은 일 실시예에 따른, 디바이스(100)가 화상 통화를 실행하는 중에 사용자의 얼굴 영상을 획득하는 방법을 나타내는 도면이다.16 is a diagram illustrating a method in which the
도 16을 참조하면, 디바이스(100)는, 화상 통화 어플리케이션을 실행하는 중에, 사용자의 얼굴 영상을 획득할 수 있다.Referring to FIG. 16 , the
예를 들어, 디바이스(100)는 디바이스(100)에 구비된 화상 통화 기능이 실행되고 있는지 여부를 판단할 수 있다. 디바이스(100)에 구비된 화상 통화 기능이 실행된 경우, 디바이스(100)는 이미지 센서로부터 사용자의 얼굴이 포함된 영상을 수신할 수 있다. 디바이스(100)는 수신된 영상으로부터 얼굴 영역을 검출할 수 있다. 얼굴 영역을 검출함에 따라, 디바이스(100)는 얼굴 영역이 얼굴 영상 획득 조건을 만족하는지 여부를 판단할 수 있다. 검출된 얼굴 영역이 얼굴 영상 획득 조건을 만족하는 경우, 디바이스(100)는 검출된 얼굴 영역의 데이터를 얼굴 영상으로써 획득할 수 있다.For example, the
디바이스(100)는 화상 통화 중에 계속적으로 사용자의 얼굴이 포함된 영상을 수신할 수 있다. 디바이스(100)는 계속적으로 수신되는 영상 중 일정 시간 간격으로 수신된 영상을 선택하고, 선택된 영상 내의 얼굴 영역이 얼굴 영상 획득 조건을 만족하는지 여부를 판단할 수 있다.
The
도 17은 일 실시예에 따른, 디바이스(100)가 어플리케이션을 실행하는 중에 사용자의 얼굴 영상을 획득하는 방법을 나타내는 도면이다.17 is a diagram illustrating a method in which the
도 17을 참조하면, 디바이스(100)는, 어플리케이션 실행 시 기 설정된 시간 간격으로 사용자의 얼굴 영상을 획득할 수 있다.Referring to FIG. 17 , the
예를 들어, 디바이스(100)는, 디바이스(100)에 구비된 게임, 동영상 또는 웹 브라우져가 실행되는지 여부를 판단할 수 있다. 디바이스(100)에 구비된 게임, 동영상 또는 웹 브라우져가 실행되는 경우, 디바이스(100)는 디바이스(100)에 구비된 촬상부를 구동하여 영상을 촬영할 수 있다. 디바이스(100)는 어플리케이션의 실행이 시작될 때 촬상부를 구동하여 영상을 촬영할 수 있으며, 주기적으로 촬상부를 구동하여 영상을 촬영할 수도 있다. For example, the
그리고, 디바이스(100)는 촬영된 영상내에 얼굴 영역이 존재하는지 여부를 판단할 수 있다. 얼굴 영역이 검출된 경우, 디바이스(100)는 얼굴 영역이 얼굴 영상 획득 조건을 만족하는지 여부를 판단할 수 있다. 검출된 얼굴 영역이 얼굴 영상 획득 조건을 만족하는 경우, 디바이스(100)는 검출된 얼굴 영역의 데이터를 얼굴 영상으로써 획득할 수 있다.
Then, the
도 18는, 일 실시예에 따른, 디바이스(100)가 손목에 착용되어 사용되는 경우, 디바이스(100)가 사용자의 얼굴 영상을 획득하는 방법을 나타내는 도면이다.18 is a diagram illustrating a method in which the
도 18를 참조하면, 사용자가 손목을 올려 디바이스(100)를 바라봄에 따라, 사용자의 손목에 착용된 디바이스(100)는 사용자의 얼굴 영상을 획득할 수 있다. Referring to FIG. 18 , as the user raises the wrist to look at the
디바이스(100)는 디바이스(100)가 사용자의 얼굴에 가까워졌는지 여부를 판단할 수 있다. 예를 들어, 디바이스(100)는 디바이스(100)에 구비된 모션 센서를 이용하여, 디바이스(100)의 이동 방향 또는 이동 거리를 측정할 수 있다. 측정된 이동 방향은 지면으로부터 높이, 상, 하, 좌, 우 및 손목의 회전 방향을 포함할 수 있다. The
측정된 이동 방향 또는 이동 거리에 기초하여, 디바이스(100)는 디바이스(100)가 사용자의 얼굴로부터 기준 거리 내에 위치해 있음을 판단할 수 있다. Based on the measured movement direction or movement distance, the
디바이스(100)가 사용자의 얼굴로부터 기준 거리 내에 위치한 것으로 판단된 경우, 디바이스(100)는 디바이스(100)에 구비된 촬상부를 구동하여 영상을 캡쳐할 수 있다. 그리고, 디바이스(100)는 캡쳐된 영상 내에 얼굴 영역이 존재하는지 여부를 판단할 수 있다. 얼굴 영역이 검출된 경우, 디바이스(100)는 얼굴 영역이 얼굴 영상 획득 조건을 만족하는지 여부를 판단할 수 있다. 검출된 얼굴 영역이 얼굴 영상 획득 조건을 만족하는 경우, 디바이스(100)는 검출된 얼굴 영역의 데이터를 얼굴 영상으로써 획득할 수 있다. When it is determined that the
또한, 디바이스(100)는, 사용자의 얼굴로부터 디바이스(100)가 기준 거리 내에 위치한 것으로 판단된 상태에서, 디바이스(100)를 조작하는 사용자의 입력을 수신하는 경우, 디바이스(100)에 구비된 촬상부를 구동하여 영상을 캡쳐할 수도 있다.
In addition, when it is determined that the
도 19은 다른 실시예에 따른, 디바이스(100)가 안경 형태인 경우, 디바이스(100)가 사용자의 얼굴 영상을 획득하는 방법을 나타내는 도면이다.19 is a diagram illustrating a method in which the
도 19를 참조하면, 사용자가 안경 형태로 구성된 디바이스(100)를 얼굴에 착용한 상태로 거울을 바라봄에 따라, 디바이스(100)는 사용자의 얼굴 영상을 획득할 수 있다. Referring to FIG. 19 , as the user looks at the mirror while wearing the
디바이스(100)는 디바이스(100)에 구비된 촬상부를 이용하여, 사용자의 시야에 위치하는 환경을 촬영할 수 있다. 사용자가 디바이스(100)를 착용한 상태에서 거울을 보는 경우, 디바이스(100)는 사용자의 얼굴이 거울에 반사되어 수신되는 영상을 획득할 수 있다. The
디바이스(100)는 촬상부를 통해 수신되는 영상 내에 얼굴이 존재하는지 여부를 판단할 수 있다. 얼굴이 존재하는 경우, 디바이스(100)는 수신된 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역이 사용자의 얼굴인지 여부를 판단할 수 있다. 검출된 얼굴 영역이 사용자의 얼굴인 경우, 디바이스(100)는 검출된 얼굴 영역이 얼굴 영상 획득 조건을 만족하는지 여부를 판단할 수 있다. 검출된 얼굴 영역이 얼굴 영상 획득 조건을 만족하는 경우, 디바이스(100)는 검출된 얼굴 영역의 데이터를 얼굴 영상으로써 획득할 수 있다.
The
도 20은 일 실시예에 따른, 디바이스(100)가 촬상부를 통해 얼굴 영상 획득시 함께 획득하는 촬영 상황 정보를 설명하는 도면을 도시한다. 20 is a diagram illustrating photographing situation information that the
도 20을 참조하면, 디바이스(100)는 디바이스(100)에 구비된 촬상부를 통해 사용자의 얼굴 영상 획득시에, 촬영 상황 정보를 획득하여 저장할 수 있다. Referring to FIG. 20 , the
촬영 상황 정보는 촬영시 조도, 촬영 시간, 촬영 장소 및 생체 센서로부터 획득된 생체 정보 등을 포함할 수 있다.The photographing situation information may include illuminance during photographing, photographing time, photographing location, and biometric information obtained from a biometric sensor.
예를 들어, 디바이스(100)는 디바이스(100)에 부착된 조도 센서를 이용하여 촬영시 조도 정보를 획득할 수 있다. 또한, 디바이스(100)는 얼굴 영상이 촬영된 시간 정보를 획득할 수 있다. 또한, 디바이스(100)는 GPS 등의 장치를 이용하여 촬영 장소 정보를 획득할 수 있다. For example, the
또한, 디바이스(100)는 사용자의 신체에 부착된 생체 센서로부터 정보를 수신하여, 촬영시 사용자의 생체 정보를 획득할 수 있다. 예를 들어, 디바이스(100)는 사용자의 신체에 부착된 만보계로부터 사용자의 움직임량에 관한 정보를 수신할 수 있다. 또한, 디바이스(100)는 사용자의 신체에 부착된 온도계로부터 사용자의 체온에 관한 정보를 수신할 수 있다. 또한, 디바이스(100)는 사용자의 신체에 부착된 심전도로부터 사용자의 심박수에 관한 정보를 수신할 수도 있다.In addition, the
또한, 디바이스(100)는 촬영 시점에서 사용자가 하고 있는 활동에 관한 정보를 획득할 수 있다.Also, the
예를 들어, 촬영 장소 또는 촬영 시간에 기초하여 사용자의 활동 정보를 추정할 수 있다. 예를 들어, 촬영 장소가 학교이고, 촬영 시간이 오전 10시 인 경우, 사용자의 활동은 학교 생활로 추정될 수 있다.For example, the user's activity information may be estimated based on the shooting location or the shooting time. For example, when the shooting location is a school and the shooting time is 10 am, the user's activity may be estimated as school life.
또한, 예를 들어, 얼굴 영상이 검출된 사진을 분석하여 사용자의 활동 정보를 추정할 수 있다. 예를 들어, 얼굴 영상이 검출된 사진에 음식물이 촬영된 경우, 사용자의 활동은 식사로 추정될 수 있다.Also, for example, the user's activity information may be estimated by analyzing a photo in which a face image is detected. For example, when food is captured in a photo in which a face image is detected, the user's activity may be estimated as a meal.
또한, 디바이스(100)는 얼굴 영상이 검출된 사진뿐만 아니라, 얼굴 영상이 촬영된 시점의 전후로 촬영된 영상을 더 고려하여 사용자의 활동 정보를 추정할 수도 있다.In addition, the
촬영 상황 정보는 입력 영상에 대응하여 저장될 수 있다. 예를 들어, 촬영 상황 정보는 메타데이터 형태로 영상 파일에 기록될 수 있다. 또한, 촬영 상황 정보는 입력 영상의 식별 정보에 대응하여 별도의 저장 공간에 저장될 수도 있다. 촬영 상황 정보는 디바이스(100)가 얼굴 상태 정보로부터 사용자의 건강 상태 정보를 획득할 때 사용될 수 있다.
The shooting situation information may be stored corresponding to the input image. For example, the shooting situation information may be recorded in the image file in the form of metadata. In addition, the shooting situation information may be stored in a separate storage space in response to the identification information of the input image. The photographing context information may be used when the
도 21은 일 실시예에 따른, 디바이스(100)가 외부로부터 수신된 영상에서 얼굴 영상을 획득하는 방법을 설명하는 흐름도를 도시한다.21 is a flowchart illustrating a method for the
단계 S2110에서, 디바이스(100)는 디바이스(100)와 연결된 외부 네트워크로부터 입력 영상을 수신할 수 있다. In step S2110 , the
디바이스(100)는 사진을 선택하는 사용자 입력을 수신함에 따라, 외부 서버로부터 선택된 사진을 다운로드 할 수 있다. 외부 서버는 SNS(Social Network service) 서버, 클라우드 스토리지(Cloud Storage) 서버 및 디바이스(100)와 근거리 통신 또는 유선으로 연결된 다른 디바이스(100) 등을 포함할 수 있다. As the
단계 S2120에서, 디바이스(100)는 입력 영상 내의 얼굴 영역을 검출할 수 있다. In operation S2120, the
디바이스(100)는 외부 네트워크로부터 입력 영상을 수신함에 따라, 입력 영상 내에서 얼굴 영역을 검출할 수 있다. 디바이스(100)는 수신된 입력 영상에서 사람의 얼굴 영역을 검출하고, 검출된 얼굴 영역의 위치를 추출할 수 있다.As the
단계 S2130에서, 디바이스(100)는 기 등록된 사용자의 얼굴의 특징에 기초하여, 입력 영상 내에서 검출된 얼굴 영역 중 사용자의 얼굴을 나타내는 얼굴 영역을 추출할 수 있다.In operation S2130, the
예를 들어, 디바이스(100)는 수신된 영상 내의 검출된 얼굴 영역으로부터 얼굴의 특징을 추출할 수 있다. 얼굴 영역에서 얼굴의 특징을 추출하는 방법은 Gabor 필터(Gabor Filter) 또는 LBP(Local Binary Pattern)등 다양한 방법이 사용될 수 있다. For example, the
디바이스(100)는 입력 영상 내의 얼굴 영역으로부터 추출된 얼굴의 특징을 기 등록된 사용자의 얼굴의 특징과 비교하여, 유사도가 기 설정된 범위내인 얼굴 영역을 사용자의 얼굴 영역으로써 결정할 수 있다.The
단계 S2140에서, 디바이스(100)는 사용자의 얼굴 영역이 얼굴 영상 획득 조건을 만족하는지 여부를 판단할 수 있다. 단계 S2150에서, 디바이스(100)는 사용자의 얼굴 영역이 얼굴 영상 획득 조건을 만족하는 경우, 사용자의 얼굴 영역을 얼굴 영상으로 획득할 수 있다.
In operation S2140, the
도 22는 일 실시예에 따른, 디바이스(100)가 외부 서버로부터 얼굴 영상을 획득하는 방법을 설명하기 위한 도면을 도시한다.22 is a diagram illustrating a method for the
도 22를 참조하면, 디바이스(100)는 외부 장치 또는 서버와 얼굴 영상, 얼굴 상태 정보, 건강 상태 정보 등의 데이터를 교환할 수 있다.Referring to FIG. 22 , the
디바이스(100)는 수신 받은 데이터를 건강 상태 정보를 획득하는데 이용하거나, 얼굴 영상, 얼굴 상태 정보, 건강 상태 정보 등을 외부 장치 또는 서버로 전송할 수 있다.The
일 실시예에 따르면, 디바이스(100)는 얼굴 영상을 외부의 서버로부터 다운로드 받을 수 있다.According to an embodiment, the
일 실시예에 따르면, 디바이스(100)는 클라우드 서버로부터 얼굴 영상을 다운로드 받을 수 있다. According to an embodiment, the
다른 예로서, 해당 영상이 얼굴 영상이라는 정보가 포함된 영상이 미리 지정된 클라우드 계정에 추가될 때마다, 디바이스(100)는 해당 영상을 다운로드 받아 얼굴 영상으로 이용할 수 있다. 클라우드 서버에 새로운 영상이 추가되었는지 여부는, 예를 들면, 해당 클라우드 서버로부터 푸시되는 알림, 또는 클라우드 서버와의 주기적인 통신에 의해 알 수 있다.As another example, whenever an image including information that the corresponding image is a face image is added to a predefined cloud account, the
일 실시예에 따르면, 디바이스(100)는 SNS(social network service) 서버로부터 얼굴 영상을 다운로드 받을 수 있다. 예를 들면, 디바이스(100)는 미리 지정된 SNS 계정에 영상이 추가될 때마다, 해당 영상이 얼굴 영상 획득 조건을 충족하는지 여부를 판단하고, 얼굴 영상 획득 조건을 충족하는 경우, 해당 영상을 상기 얼굴 영상으로 이용할 수 있다. According to an embodiment, the
다른 예로서, 해당 영상이 얼굴 영상이라는 정보가 포함된 영상이 미리 지정된 SNS 계정에 추가될 때마다, 디바이스(100)는 해당 영상을 다운로드 받아 얼굴 영상으로 이용할 수 있다. As another example, whenever an image including information that the corresponding image is a face image is added to a predetermined SNS account, the
다른 실시예에 따르면, 디바이스(100)는 미리 지정된 SNS 계정을 이용하여 열람 가능한 영상들로부터 얼굴 영상을 추출할 수 있다. 예를 들면, 디바이스(100)는 미리 지정된 SNS 계정에 친구로 등록된 다른 계정에 등록된 사진, 다른 계정의 사용자에 의해 공유되어 상기 미리 지정된 SNS 계정에서 열람 가능한 사진, 내 계정이 태깅된 사진 등으로부터 상기 얼굴 영상을 추출할 수 있다. 디바이스(100)는 상기 미리 지정된 SNS 계정을 이용하여 열람 가능한 영상들이 얼굴 영상 획득 조건을 충족하는지 여부를 판단하고, 얼굴 영상 획득 조건을 충족하는 경우, 해당 영상을 상기 얼굴 영상으로 이용할 수 있다.According to another embodiment, the
미리 지정된 SNS 계정 또는 친구로 등록된 다른 계정에 새로운 영상이 등록되었는지 여부는, 예를 들면, 해당 SNS 서버로부터 푸시되는 알림, 또는 SNS 서버와의 주기적인 통신에 의해 알 수 있다.Whether a new image is registered in a pre-specified SNS account or another account registered as a friend can be known by, for example, a notification pushed from the corresponding SNS server or periodic communication with the SNS server.
다른 실시예에 따르면, 디바이스(100)는, 건강 상태 정보를 제공하는 기능을 제공하는 서비스 서버로부터 상기 얼굴 영상을 다운로드 받을 수 있다. 예를 들면, 상기 서비스 서버에는 사용자 계정 별로 얼굴 영상이 저장되어 있고, 디바이스(100)는 소정의 계정에 접속하여, 해당 계정으로부터 상기 얼굴 영상을 다운로드 받을 수 있다. 일 실시예에 따르면, 상기 서비스 서버는 상기 얼굴 영상과 함께 해당 얼굴 영상과 관련된 얼굴 상태 정보 및/또는 건강 상태 정보를 디바이스(100)에 제공할 수 있다.According to another embodiment, the
일 실시예에 따르면, 디바이스(100)는 소정의 알고리즘에 따라 얼굴 영상을 보정한 후, 보정된 얼굴 영상으로부터 얼굴 상태 정보를 추출하고, 추출된 얼굴 상태 정보로부터 건강 상태 정보를 획득할 수 있다.
According to an embodiment, after correcting the face image according to a predetermined algorithm, the
도 23은 일 실시예에 따른, 디바이스(100)가 사용자에 의해 선택된 영상으로부터 사용자의 얼굴 영상을 획득하는 방법을 나타내는 도면이다.23 is a diagram illustrating a method in which the
도 23을 참조하면, 디바이스(100)는 사용자에 의해 선택된 영상으로부터 사용자의 얼굴 영상을 획득할 수 있다.Referring to FIG. 23 , the
디바이스(100)는 디바이스(100)에 저장된 복수의 영상 중 사용자가 선택한 영상(2310)을 화면에 디스플레이할 수 있다. 또한, 디바이스(100)는 화면에 디스플레이된 영상(2310) 내의 사용자의 얼굴로부터 사용자의 건강 상태 정보를 제공하기 위한 메뉴(2315)를 디스플레이할 수 있다.The
사용자의 건강 상태 정보를 제공하는 메뉴(2315)를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 화면에 디스플레이된 영상(2310)을 입력 영상으로 결정할 수 있다. 화면에 디스플레이된 영상(2310)을 입력 영상으로 결정함에 따라, 화면에 디스플레이된 입력 영상(2310) 내에서 얼굴 영역(2320 내지 2340)을 검출할 수 있다. 디바이스(100)는 입력 영상(2310)에서 사람의 얼굴 영역(2320 내지 2340)을 검출하고, 검출된 얼굴 영역(2320 내지 2340)의 위치를 추출할 수 있다.Upon receiving the user input for selecting the
얼굴 영역(2320 내지 2340)의 위치를 추출함에 따라, 디바이스(100)는 검출된 얼굴 영역(2320 내지 2340)으로부터 얼굴의 특징을 추출할 수 있다. 디바이스(100)는 각각의 얼굴 영역(2320 내지 2340)으로부터 추출된 얼굴의 특징을 기 등록된 사용자의 얼굴의 특징과 비교하여, 각각의 얼굴 영역(2320 내지 2340)이 나타내는 사용자를 결정할 수 있다. 예를 들어, 디바이스(100)는 하나의 얼굴 영역으로부터 추출된 얼굴의 특징과 기 등록된 사용자의 얼굴의 특징의 유사도가 기 설정된 범위내인 경우, 해당 얼굴 영역을 사용자의 얼굴 영역(2330)으로 결정할 수 있다.As the positions of the
각각의 얼굴 영역(2320 내지 2340)이 나타내는 사용자를 결정함에 따라, 디바이스(100)는 각각의 얼굴 영역(2320 내지 2340)에 대응하여 사용자의 식별 정보를 표시할 수 있다.As the user indicated by each of the
또한, 각각의 얼굴 영역(2320 내지 2340) 중 하나를 선택하는 사용자 입력을 선택함에 따라, 디바이스(100)는 사용자의 얼굴 영역(2330)이 얼굴 영상 획득 조건을 만족하는지 여부를 판단할 수 있다. 디바이스(100)는 사용자의 얼굴 영역(2330)이 얼굴 영상 획득 조건을 만족하는 경우, 사용자의 얼굴 영역(2330)을 얼굴 영상으로 획득할 수 있다.Also, as a user input for selecting one of the
또한, 디바이스(100)는 획득된 얼굴 영상을 기 설정된 기준으로 정규화할 수 있다. 디바이스(100)는 정규화된 얼굴 영상으로부터 얼굴에 나타난 얼굴 상태 정보를 추출할 수 있다. 디바이스(100)는 얼굴 상태 정보를 이용하여 선택된 사용자에 대한 건강 상태 정보를 획득하고, 획득된 건강 상태 정보를 제공할 수도 있다.
Also, the
도 24는 일 실시예에 따른 디바이스(100)가 디바이스(100)에 저장된 영상으로부터 얼굴 영상을 획득하는 과정을 설명하는 도면이다.24 is a diagram for describing a process in which the
도 24를 참조하면, 디바이스(100)는 디바이스(100)에 저장된 영상들로부터 얼굴 영상을 추출할 수 있다. 디바이스(100)는, 디바이스(100)에 저장된 영상들 각각에 대해 얼굴 영상 획득 조건에 부합하는지 여부를 판단하여, 얼굴 영상 획득 조건에 부합하는 영상들을 상기 얼굴 영상으로 추출할 수 있다.Referring to FIG. 24 , the
일 실시예에 따르면, 디바이스(100)는, 영상이 촬영되어 디바이스(100)에 저장될 때마다, 또는 외부 장치로부터 영상이 입력되어 디바이스(100)에 저장될 때마다, 새롭게 저장된 영상이 상기 얼굴 영상 획득 조건에 부합하는지 여부를 판단할 수 있다.According to an embodiment, whenever an image is captured and stored in the
다른 실시예에 따르면, 디바이스(100)는, 주기적으로, 디바이스(100)에 저장된 영상들 중, 아직 얼굴 영상 획득 조건에 부합하는지 여부를 판단하지 않은 영상들에 대해, 얼굴 영상 획득 조건에 부합하는지 여부를 판단할 수 있다. 예를 들면, 디바이스(100)는 1주일마다, 1주일 동안 새롭게 저장된 영상들에 대해 얼굴 영상 획득 조건에 부합하는지 여부를 판단할 수 있다.According to another embodiment, the
다른 실시예에 따르면, 디바이스(100)는, 사용자가 건강 상태 정보를 요청하는 요청 신호를 입력할 때마다, 아직 얼굴 영상 획득 조건에 부합하는지 여부를 판단하지 않은 영상들에 대해, 얼굴 영상 획득 조건에 부합하는지 여부를 판단할 수 있다. 예를 들면, 전자 장치에 100개의 영상들이 저장되어 있고, 90개의 영상들에 대해서는 얼굴 영상 획득 조건에 부합하는지 여부가 판단된 상태에서, 사용자가 건강 상태 정보를 요청하는 요청 신호를 입력하면, 디바이스(100)는 나머지 10개의 영상들로부터 얼굴 영상을 추출하고, 얼굴 상태 정보를 추출한 후, 건강 상태 정보를 제공할 수 있다.
According to another embodiment, whenever the user inputs a request signal for requesting health state information, the
도 25은 일 실시예에 따라, 디바이스(100)가 사용자에 의해 선택된 영상으로부터 얼굴 영상을 추출하는 방법을 설명하기 위한 도면이다.25 is a diagram for explaining a method of extracting, by the
도 25를 참조하면, 사용자가 디바이스(100)에 저장된 영상들 중, 얼굴 영상으로 이용할 영상을 직접 선택할 수 있다. 예를 들면, 사용자는 사진 앨범, 갤러리 등의 기능을 실행한 상태에서, 얼굴 영상으로 이용할 영상을 선택할 수 있다. 이러한 경우, 도 25에 도시된 바와 같이, 디바이스(100)에 저장된 영상들의 썸네일 영상들이 표시된 상태에서, 사용자가 얼굴 영상으로 이용할 영상을 선택할 수 있다. Referring to FIG. 25 , a user may directly select an image to be used as a face image among images stored in the
일 실시예에 따르면, 디바이스(100)는 사용자가 선택한 영상을 모두 얼굴 영상으로 이용할 수 있다.According to an embodiment, the
다른 실시예에 따르면, 디바이스(100)는 사용자가 선택한 영상들에 대해, 얼굴 영상 획득 조건 충족 여부를 판단하여, 얼굴 영상 획득 조건을 충족하는 영상들을 얼굴 영상으로 추출할 수 있다.According to another embodiment, the
일 실시예에 따르면, 도 25에 도시된 바와 같이 복수의 영상들이 선택된 상태에서, 사용자가 건강 상태 정보를 요청하는 제어 신호를 입력하면, 디바이스(100)는 선택된 영상들을 이용하여 얼굴 상태 정보를 추출하고, 건강 상태 정보를 추출하여 제공할 수 있다. 사용자가 건강 상태 정보를 요청하는 제어 신호는 예를 들면, 도 25에 도시된 바와 같은 헬스케어 버튼을 누름에 의해 생성되어 입력될 수 있다.According to an embodiment, as shown in FIG. 25 , when a user inputs a control signal requesting health state information while a plurality of images are selected, the
다른 실시예에 따르면, 사진 앨범, 갤러리 등의 기능이 실행된 상태에서, 사용자가 건강 상태 정보를 요청하는 제어 신호를 입력하면, 디바이스(100)는 자동으로 사진 앨범 또는 갤러리에 포함된 영상이 얼굴 영상 획득 조건을 충족시키는지 여부를 판단하고, 얼굴 영상을 추출한 후, 상기 얼굴 영상으로부터 얼굴 상태 정보 및 건강 상태 정보를 획득하여 제공할 수 있다. 이러한 경우, 사용자는 얼굴 영상으로 이용할 영상을 선택하지 않더라도, 한번의 선택 신호만으로 건강 상태 정보를 얻을 수 있다.
According to another embodiment, when a user inputs a control signal requesting health status information while a function such as a photo album or a gallery is executed, the
도 26는 일 실시예에 따라, 디바이스(100)가 동영상으로부터 얼굴 영상을 추출하는 방법을 설명한 도면이다.26 is a diagram illustrating a method of extracting a face image from a video by the
도 26을 참조하면, 디바이스(100)는 동영상으로부터 얼굴 영상을 추출할 수 있다. 이러한 경우, 동영상 프레임들 각각에 대해 얼굴 영상 획득 조건 충족 여부를 판단하여, 얼굴 영상 획득 조건을 충족하는 동영상 프레임을 추출하여 얼굴 영상으로 이용할 수 있다. 일 실시예에 따르면, 연속적인 동영상 프레임들에서 얼굴 영상 획득 조건이 충족되는 경우, 상기 연속적인 동영상 프레임들 중 하나를 상기 얼굴 영상으로 추출할 수 있다.Referring to FIG. 26 , the
일 실시예에 따르면, 사용자는 동영상 재생 중에 건강 진단 기능을 선택하여, 동영상으로부터 건강 상태 정보를 추출할 수 있다. 디바이스(100)는 동영상 재생 중에 사용자로부터 건강 진단 기능을 선택하는 입력이 검출된 경우, 재생중인 동영상에 포함된 동영상 프레임들에 대해 얼굴 영상 획득 조건 충족 여부를 판단하여, 얼굴 영상을 추출하고, 얼굴 상태 정보를 추출한 후, 건강 상태 정보를 추출하여 제공할 수 있다.According to an embodiment, the user may select a health diagnosis function while playing the video and extract health status information from the video. When an input for selecting a health diagnosis function from the user is detected during video playback, the
다른 실시예에 따르면, 디바이스(100)는 동영상을 이용하여 얼굴 상태 정보 및 건강 상태 정보를 획득할 수 있다. 예를 들면, 디바이스(100)는 동영상을 이용하여, 얼굴 근육의 움직임, 눈의 깜빡임 정도, 목의 유연성 등의 얼굴 상태 정보를 추출할 수 있다. 또한 디바이스(100)는 상기 얼굴 근육의 움직임, 눈의 깜빡임 정도, 목의 유연성 등을 이용하여 사용자의 컨디션을 판단할 수 있다.
According to another embodiment, the
도 27은 일 실시예에 따라, 디바이스(100)가 얼굴 영상에 식별자를 할당하는 과정을 나타낸 도면이다.27 is a diagram illustrating a process in which the
본 실시예에 따르면, 얼굴 영상이 입력되면, 등록된 식별자들의 얼굴에 대한 정보와 상기 입력된 얼굴 영상을 비교하여, 입력된 얼굴 영상에 대한 식별 정보를 결정할 수 있다. 예를 들면, 디바이스(100)에는 각 식별자에 대한 대표 얼굴 영상, 또는 각 식별자에 대한 얼굴 특징점 정보가 저장되어 있을 수 있다. 이러한 경우, 디바이스(100)는 디바이스(100)에 저장된 대표 얼굴 영상 또는 얼굴 특징점 정보와 상기 입력된 얼굴 영상을 비교하여, 상기 입력된 얼굴 영상이 어느 식별자에 대응되는지를 결정할 수 있다.According to the present embodiment, when a face image is input, identification information on the input face image may be determined by comparing information on the face of the registered identifiers with the input face image. For example, the
본 실시예에 따르면, 상기 얼굴 영상과 함께, 상기 얼굴 영상에 대한 분류 정보 및 식별자가 함께 저장될 수 있다. 상기 분류 정보는, 상기 얼굴 영상이, 건강 상태 정보 진단을 위해 이용되는 얼굴 영상에 해당함을 나타내는 정보이다. 또한, 일 실시예에 따르면, 상기 얼굴 영상, 상기 식별자와 함께 부가 정보가 함께 저장될 수 있다.
According to the present embodiment, classification information and an identifier for the face image may be stored together with the face image. The classification information is information indicating that the face image corresponds to a face image used for diagnosing health state information. Also, according to an embodiment, additional information may be stored together with the face image and the identifier.
도 28은 일 실시예에 따라 디바이스(100)가 영상의 파일에 건강 상태 정보가 획득된 영상임을 나타내는 정보를 기록하는 방법을 나타낸 도면이다. 28 is a diagram illustrating a method for the
본 실시예에 따르면, 디바이스(100)는 분류 정보, 식별자, 부가 정보 중 적어도 하나 또는 이들의 조합을 상기 얼굴 영상에서 가시적인(visible) 형태로 픽셀 값으로서 기록할 수 있다. 예를 들면, 도 28에 도시된 바와 같이, 상기 얼굴 영상 상에 “HEALTH CARE”라는 마크(2810)를 픽셀 값으로 삽입할 수 있다. 가시적인 형태로 픽셀 값으로서 기록되는 것은, 글자, 아이콘, 바코드, QR(quick response) 코드 등일 수 있다. 본 실시예에 따르면, 사용자가 직관적으로 해당 영상이 건강 진단을 위한 얼굴 영상임을 알 수 있는 효과가 있다. 또한 아이콘, 바코드, QR 코드 등을 영상에 삽입함으로써, 이들을 이용해 보다 상세한 얼굴 상태 정보 또는 건강 상태 정보를 요청하거나, 건강 진단 모드로 진입하는 등의 기능을 제공할 수 있다.According to the present embodiment, the
일 실시예에 따르면, 디바이스(100)는 상기 분류 정보, 식별자, 부가 정보 중 적어도 하나 또는 이들의 조합을 상기 얼굴 영상에 비가시적인(non-visible) 형태로 픽셀 값으로서 기록할 수 있다. 예를 들면, 상기 얼굴 영상에 건강 진단 기능에 이용되는 얼굴 영상이라는 코드 또는 표식이 비가시적인 형태로 픽셀 값으로서 기록될 수 있다. 비가시적인 형태로 픽셀 값으로서 기록되는 것은, 글자, 아이콘, 바코드, QR(quick response) 코드 등일 수 있다. 비가시적인 형태의 정보는 이를 판독하기 위한 알고리즘을 이용하여 판독될 수 있다.According to an embodiment, the
가시적인 형태 또는 비가시적인 형태로 분류 정보, 식별자, 부가 정보 중 적어도 하나 또는 이들을 조합을 픽셀 값으로서 기록하는 본 실시예에 따르면, 추가적인 저장 공간 없이도 소정의 정보를 상기 얼굴 영상에 저장할 수 있는 효과가 있다. 또한, 본 실시예에 따르면, 파일 형식에 구애 받지 않고 분류 정보, 식별자, 부가 정보 등을 저장할 수 있는 효과가 있다. 본 실시예에 따르면, 픽셀 값으로서 분류 정보, 식별자, 부가 정보 자체를 기록하지 않고, 분류 정보, 식별자, 부가 정보가 저장된 저장 경로에 대한 정보 또는 링크를 기록하는 것도 가능하다.According to the present embodiment in which at least one or a combination of classification information, identifier, and additional information is recorded as a pixel value in a visible or invisible form, it is possible to store predetermined information in the face image without additional storage space. have. In addition, according to the present embodiment, there is an effect that classification information, identifiers, additional information, etc. can be stored regardless of the file format. According to the present embodiment, it is also possible to record information or a link to a storage path in which the classification information, the identifier, and the additional information are stored, without recording the classification information, the identifier, and the additional information themselves as pixel values.
일 실시예에 따르면, 디바이스(100)는 상기 분류 정보, 식별자, 부가 정보 등 적어도 하나 또는 이들의 조합을 상기 얼굴 영상의 파일의 헤더부에 저장할 수 있다. 예를 들면, 상기 영상 파일을 Exif(Exchangeable Image File Format) 형식으로 저장하는 경우, Exif 파일의 헤더부에 상기 분류 정보, 식별자, 부가 정보 등 적어도 하나 또는 이들의 조합이 저장될 수 있다.
According to an embodiment, the
도 29은 일 실시예에 따른 디바이스(100)가 얼굴 영상을저장하는 방법을 나타낸 도면이다.29 is a diagram illustrating a method in which the
일 실시예에 따르면, 디바이스(100)는 건강 진단 기능에 이용되는 얼굴 영상들의 파일들에 대한 분류 정보, 식별자, 부가 정보 등 적어도 하나 또는 이들의 조합을 별개의 데이터로 저장하여 관리할 수 있다. 예를 들면, 디바이스(100)는 얼굴 영상들의 파일들에 대한 분류 정보, 식별자, 부가 정보 등 적어도 하나 또는 이들의 조합을, 별개의 관리용 파일로 저장할 수 있다. 일 실시예에 따르면, 상기 관리용 파일은 상기 얼굴 영상이 저장된 사진 앨범, 갤러리 등의 저장 공간에 저장될 수 있다. 다른 실시예에 따르면, 상기 관리용 파일은, 상기 건강 관리 기능을 제공하는 애플리케이션을 위한 저장 공간에 저장될 수 있다. 상기 관리용 파일은 도 29에 도시된 바와 같이, 각 파일의 저장 경로, 식별자 등의 정보를 각각 저장할 수 있다.
According to an embodiment, the
도 30은 일 실시예에 따른, 디바이스(100)가 얼굴 영상을 정규화하는 방법을 나타내는 흐름도를 도시한다.30 is a flowchart illustrating a method in which the
단계 S3010에서, 디바이스(100)는 얼굴 영상을 정규화할 수 있다. In operation S3010, the
정규화란 얼굴 영상의 속성값을 기 설정된 기준으로 조정하는 것을 의미할 수 있다. 얼굴 영상의 속성값은 얼굴 영상의 크기, 얼굴 영상의 명도 및 조명의 영향에 의한 색조 변화값 등을 포함할 수 있다.Normalization may mean adjusting an attribute value of a face image based on a preset standard. The attribute value of the face image may include the size of the face image, the brightness of the face image, and a color tone change value due to the influence of lighting.
입력 영상 마다 촬영 환경 또는 촬영 방법이 상이하기 때문에, 입력 영상으로부터 획득된 얼굴 영상 마다 속성값이 상이할 수 있다. 이에 따라, 디바이스(100)는 얼굴 영상을 정규화하여, 동일한 사용자에 대한 건강 상태 정보를 동일한 조건에서 획득할 수 있다. Since a photographing environment or photographing method is different for each input image, an attribute value may be different for each face image obtained from the input image. Accordingly, the
또한, 입력 영상은 서로 다른 촬영 조건에서 촬영되기 때문에, 촬영 조건에 따라, 얼굴 상태 정보가 잘못 추출되어, 건강 상태 정보의 정확도가 떨어질 수 있다. 얼굴 영상에서 촬영 조건에 따른 변수를 최대한 배제시키기 위해, 디바이스(100)는 얼굴 영상을 보정하여, 획득된 건강 상태 정보의 정확도를 향상시킬 수 있다. In addition, since the input images are photographed under different photographing conditions, face state information may be erroneously extracted depending on the photographing conditions, and thus the accuracy of the health state information may be deteriorated. In order to maximally exclude a variable according to the shooting condition from the face image, the
일 실시예에 따르면, 디바이스(100)는 촬영 조건에 따라 상기 얼굴 영상을 보정할 수 있다. 예를 들면, 촬영시의 조도에 대한 정보를 이용하여, 상기 얼굴 영상의 밝기를 조절할 수 있다. 상기 조도에 대한 정보는, 전자 장치에 구비된 조도 센서에 의해 검출될 수 있다. 다른 예로서, 촬영시의 화이트 밸런스에 대한 정보를 이용하여, 상기 얼굴 영상의 화이트 밸런스를 조절할 수 있다.According to an embodiment, the
일 실시예에 따르면, 디바이스(100)는 얼굴 영상에서 특정 기관 또는 영역의 색채를 기준으로, 상기 얼굴 영상의 색채를 보정할 수 있다. 예를 들면, 얼굴 영상에서 목의 색채는 건강 상태에 따라 큰 변화가 없기 때문에, 목의 색채를 기준으로 상기 얼굴 영상의 색채를 보정할 수 있다. 이러한 경우, 상기 얼굴 영상에 대응되는 사용자에 대한 목의 색채 정보를 미리 저장하고, 해당 사용자의 얼굴 영상이 획득되면, 미리 저장된 목의 색채 정보를 기준으로, 상기 얼굴 영상의 색채를 보정한다. 얼굴 영상의 색채의 보정은, 해당 얼굴 영상에서 목의 색채가 상기 미리 저장된 목의 색채로 보정되도록 얼굴 영상 전체의 색채를 보정할 수 있다.According to an embodiment, the
일 실시예에 따르면, 디바이스(100)는 상기 얼굴 영상에서 적목 현상이 나타난 경우, 적목 보정을 수행할 수 있다.According to an embodiment, when the red-eye phenomenon appears in the face image, the
일 실시예에 따르면, 디바이스(100)는 상기 얼굴 영상에서 흔들림이 발생한 경우, 흔들림 보정을 수행할 수 있다.According to an exemplary embodiment, when shake occurs in the face image, the
일 실시예에 따르면, 건강 진단 모드로 진입하여 얼굴 영상을 촬영하는 경우, 촬영 단계에서, 화이트 밸런스에 대한 정보를 얻기 위해, 흰색 피사체를 촬영할 것을 요청할 수 있다. 흰색 피사체는 예를 들면 백지(白紙)일 수 있다.According to an embodiment of the present disclosure, when entering the health examination mode and photographing a face image, in the photographing step, a request may be made to photograph a white subject in order to obtain information on white balance. The white subject may be, for example, white paper.
촬영 조건에 따라 얼굴 영상을 보정하는 방식, 특정 기관 또는 영역의 색채를 기준으로 얼굴 영상의 색채를 보정하는 방식, 적목 보정을 하는 방식, 흔들림 보정을 하는 방식은, 실시예에 따라 이들 중 일부 방식만 이용되거나, 전부 이용될 수 있다.The method of correcting the face image according to the shooting conditions, the method of correcting the color of the face image based on the color of a specific organ or region, the method of red-eye correction, and the method of stabilizing the shake are some of these methods depending on the embodiment. Only or all of them can be used.
상기 얼굴 영상에 대해 보정이 수행되면, 디바이스(100)는 보정된 얼굴 영상으로부터 얼굴 상태 정보를 추출하고, 건강 상태 정보를 획득한 후, 건강 상태 정보를 제공할 수 있다.
When correction is performed on the face image, the
도 31은 일 실시예에 따른, 디바이스(100)가 얼굴 영상의 크기를 정규화하는 방법을 나타내는 도면이다.31 is a diagram illustrating a method in which the
도 31을 참조하면, 디바이스(100)는 입력 영상으로부터 얼굴 영상을 획득하고, 획득된 얼굴 영상의 크기를 기준 크기로 정규화할 수 있다. Referring to FIG. 31 , the
디바이스(100)에는 얼굴 영상의 기준 크기가 저장되어 있을 수 있다. 예를 들어, 디바이스(100)에는 얼굴 영상의 기준 크기가 200 * 300의 해상도로 설정되어 있을 수 있다.The
얼굴 영상의 크기가 기준 영상 보다 작은 경우, 디바이스(100)는 얼굴 영상의 픽셀 데이터에 업 샘플링(Upsampling) 또는 보간(Interpolation)법을 적용하여, 얼굴 영상을 기준 크기로 늘릴 수 있다. 또한, 얼굴 영상의 크기가 기준 영상 보다 큰 경우, 디바이스(100)는 얼굴 영상의 픽셀 데이터에 서브 샘플링(Subsampling) 또는 다운 샘플링(Downsampling)하여, 얼굴 영상의 크기를 기준 크기로 줄일 수 있다. When the size of the face image is smaller than the reference image, the
얼굴 영상의 크기를 기준 크기로 정규화함에 따라, 얼굴 영상 내의 얼굴 영역의 크기 또한 정규화 될 수 있다. 또한, 얼굴 영상은 입력 영상으로부터 얼굴 영역만이 검출된 영상이므로, 얼굴 영상의 크기는 얼굴 영역의 크기로 간주될 수 있다. 얼굴 영상의 크기를 기준 크기로 조정함에 따라, 동일한 사용자에 대하여 동일한 얼굴 크기 조건에서, 얼굴 영상으로부터 사용자의 얼굴에 나타난 얼굴 상태 정보를 추출할 수 있다.
As the size of the face image is normalized to the reference size, the size of the face region in the face image may also be normalized. Also, since the face image is an image in which only the face region is detected from the input image, the size of the face image may be regarded as the size of the face region. As the size of the face image is adjusted to the reference size, face state information displayed on the user's face may be extracted from the face image under the same face size condition for the same user.
도 32는 일 실시예에 따른, 디바이스(100)가 얼굴 영상으로부터 빛의 색온도에 의한 영향을 조정하는 방법의 흐름도를 도시한다.32 is a flowchart of a method for the
동일한 사용자의 얼굴 영상이라도, 얼굴을 비추는 조명(Illuminance)의 종류가 상이한 경우, 영상 내의 얼굴의 색이 상이할 수 있다. 색온도란 어떠한 물체가 빛을 띄고 있을 때, 물체가 띄고 있는 빛과 동일한 빛을 띄는 흑체의 온도를 이용하여, 물체가 띄고 있는 빛의 색을 표현하는 수치를 의미할 수 있다. Even in the face image of the same user, when the types of illumination illuminating the face are different, the color of the face in the image may be different. The color temperature may refer to a numerical value expressing the color of the light of an object by using the temperature of a black body that emits the same light as that of the object when the object is lit.
예를 들어, 4000K의 색온도를 갖는 형광등은 흰색 물체를 약간 붉게 나타내며, 5200K의 색온도를 갖는 일광은 흰색 물체를 그대로 흰색으로 나타내며, 7000K의 색온도를 갖는 그늘은 흰색 물체를 약간 푸르게 나타낼 수 있다. For example, a fluorescent lamp having a color temperature of 4000K may make a white object slightly reddish, sunlight having a color temperature of 5200K may represent a white object as it is white, and a shade having a color temperature of 7000K may make a white object slightly blue.
이에 따라, 동일한 물체라도 형광등 아래에서는 붉은색을 띄지만, 태양 아래에서는 푸른색을 띌 수 있다. 따라서, 동일한 사용자의 얼굴이라도, 촬영시 얼굴을 비추는 조명에 따라, 얼굴 영상 내의 얼굴의 색은 상이하게 측정될 수 있다. 디바이스(100)는 얼굴 영상으로부터 빛의 색온도에 의한 영향을 배제함으로써 사용자 얼굴의 본연의 색조값을 획득할 수 있다. Accordingly, even the same object may have a red color under a fluorescent lamp but a blue color under the sun. Accordingly, even for the same user's face, the color of the face in the face image may be measured differently depending on the illumination that illuminates the face during photographing. The
단계 S3210에서, 디바이스(100)는 사용자의 얼굴 촬영시 사용자의 얼굴을 비춘 빛의 색온도를 획득할 수 있다. In operation S3210 , the
예를 들어, 입력 영상에는 촬영시 색온도 감지 센서로부터 획득된 빛의 색온도가 메타 데이터로써 기록되어 있을 수 있다. 디바이스(100)는 입력 영상의 메타 데이터로부터 입력 영상에 기록된 빛의 색온도를 획득할 수 있다. For example, in the input image, the color temperature of light obtained from a color temperature sensor during photographing may be recorded as metadata. The
또한, 디바이스(100)는 입력 영상 자체로부터 입력 영상이 촬영된 시점의 빛의 색온도를 추출할 수도 있다. 예를 들어, 디바이스(100)는 입력 영상 내에서 가장 밝은 영역을 본래의 흰색이 촬영된 영역으로 결정할 수 있다. 입력 영상 내에서 가장 밝은 영역을 검출함에 따라, 디바이스(100)는 검출된 영역의 평균적인 색조값을 검출할 수 있다. 그리고, 디바이스(100)는 검출된 색조값에 기초하여, 촬영된 시점의 빛의 색온도를 획득할 수 있다. 색조값에 대응하는 빛의 색온도는 디바이스에 기 저장되어 있을 수 있다.Also, the
단계 S3220에서, 디바이스(100)는 획득된 색온도에 기초하여, 얼굴 영상의 색조값을 조정할 수 있다. In operation S3220, the
빛의 색온도를 획득함에 따라, 디바이스(100)는 기 저장된 색온도에 관한 정보에 기초하여, 획득된 색온도를 가진 조명이 흰색을 비췄을 때 나타내는 색조(Hue)값을 획득할 수 있다. 색조값은 빨강, 녹색 및 파랑 색의 이득에 의해 결정될 수 있으므로, 디바이스(100)는 획득된 색온도를 가진 조명이 흰색을 비췄을 때 나타내는 색조값에 대응하는 빨강, 녹색 및 파랑 색의 이득을 결정할 수 있다.As the color temperature of the light is obtained, the
디바이스(100)는 결정된 빨강, 녹색 및 파랑 색의 이득에 기초하여, 얼굴 영상으로부터 촬영시 빛의 색온도에 의한 영향을 배제할 수 있다. 예를 들어, 디바이스(100)는 본래의 흰색이 흰색으로 표현되도록, 결정된 빨강, 녹색 및 파랑 색의 이득을 조정할 수 있다. 그리고, 디바이스(100)는 조정된 이득만큼 얼굴 영상의 전체 픽셀값에 대한 빨강, 녹색 및 파랑 색의 이득을 조정함으로써 빛의 색온도에 의한 영향을 배제할 수 있다. The
이에 따라, 얼굴 영상으로부터 빛의 색온도에 의한 영향을 배제함으로써 사용자 얼굴의 본래의 색조값을 획득할 수 있다. 실시예에 따라, 이러한 방법은 화이트밸런스(White Balance)조정 방법으로 언급될 수 있다.
Accordingly, the original color tone value of the user's face can be obtained by excluding the effect of the color temperature of light from the face image. According to an embodiment, this method may be referred to as a white balance adjustment method.
도 33는 일 실시예에 따른, 디바이스(100)가 정규화된 사용자의 얼굴 영상으로부터 사용자의 얼굴의 상태를 나타내는 얼굴 상태 정보를 추출하는 방법을 나타내는 흐름도이다.33 is a flowchart illustrating a method of extracting, by the
단계 S3310에서, 디바이스(100)는 정규화된 사용자의 얼굴 영상으로부터 사용자의 얼굴의 상태를 나타내는 얼굴 상태 정보를 추출할 수 있다.In operation S3310, the
얼굴 상태 정보는 사용자의 얼굴이 증상을 나타내는지 여부에 관한 정보를 의미할 수 있다. 얼굴 상태 정보는 예를 들면, 얼굴의 색, 잡티 또는 여드름의 개수 및 크기, 눈의 충혈 여부, 눈의 색, 동공의 크기, 동공의 움직임, 얼굴 크기, 얼굴 윤곽선의 형태, 입술의 색, 입술의 갈라짐 여부, 얼굴의 각 기관(눈, 코, 입, 귀, 눈썹)의 위치, 모발의 색, 모발의 윤기, 모발의 갈라짐 여부, 얼굴 근육의 움직임 등을 포함할 수 있다. The face state information may refer to information regarding whether the user's face exhibits symptoms. The facial state information may include, for example, the color of the face, the number and size of blemishes or acne, whether the eyes are red, the color of the eyes, the size of the pupil, the movement of the pupil, the size of the face, the shape of the face outline, the color of the lips, the lips It may include whether or not the skin is split, the position of each organ (eyes, nose, mouth, ears, eyebrows) of the face, the color of the hair, the gloss of the hair, whether the hair is split, the movement of the facial muscles, and the like.
얼굴 영상을 정규화함에 따라, 디바이스(100)는 정규화된 얼굴 영상에서 얼굴 상태 정보를 추출할 영역을 결정할 수 있다. 예를 들어, 디바이스(100)는 얼굴 영상에서 눈 밑 영역, 코 영역 및 입 주변 영역 등의 위치를 결정할 수 있다. As the face image is normalized, the
얼굴 상태 정보를 추출할 영역을 결정함에 따라, 디바이스(100)는 각각의 영역으로부터 얼굴 상태 정보를 추출할 수 있다. 예를 들어, 디바이스(100)는 눈 아래 영역이 부풀었는지 여부를 확인할 수 있다. 또한, 디바이스(100)는 눈 아래 영역의 색깔이 이전 색과 비교하여 보다 검게 변하였는지 여부를 판단할 수 있다. As the region from which the facial state information is to be extracted is determined, the
얼굴 상태 정보를 추출할 영역에 대응하여 얼굴 상태 정보를 추출할 영역의 위치를 결정하는 방법, 확인할 증상 및 증상을 확인하는 방법이 디바이스(100)에 저장되어 있을 수 있다. 이에 따라, 디바이스(100)는 각각의 얼굴 상태 정보를 추출할 영역으로부터 증상이 나타나는지 여부를 판단할 수 있다.A method of determining a location of a region from which face state information is to be extracted corresponding to a region from which face state information is to be extracted, a symptom to be confirmed, and a method of identifying a symptom may be stored in the
인체에 이상이 발생하였을 때 얼굴에 나타나는 증상은 얼굴의 특정 부위에 나타날 수 있다. 예를 들어, 갑상선 기능 항진증 또는 알레르기 질환이 발생한 경우, 이전 보다 눈 아래에 지방이 많아졌을 수도 있다. 또한, 예를 들어, 알레르기성 비염이 발생한 경우, 눈 아래에 다크 서클이 생길 수 있다. When an abnormality occurs in the human body, the symptoms appearing on the face may appear on a specific part of the face. For example, if you have hyperthyroidism or an allergic disease, you may have more fat under your eyes than before. Also, for example, when allergic rhinitis occurs, dark circles under the eyes may form.
디바이스(100)는 얼굴의 특정 부위에 대응하여 증상 정보를 저장하고 있을 수 있다. 예를 들어, 디바이스(100)에는 눈 아래 영역에 대응하여 눈 아래 영역이 부풀었는지 여부 또는 눈 아래의 색깔이 검게 변했는지 여부가 증상 정보로써 저장되어 있을 수 있다. The
이에 따라, 디바이스(100)는 얼굴의 전체 영역 중 눈 아래 영역을 얼굴 상태 정보를 추출할 영역으로 결정하고, 눈 아래 영역으로부터, 눈 아래 영역이 부풀었는지 여부 또는 눈 아래의 색깔이 검게 변했는지 여부를 얼굴 상태 정보로써 추출할 수 있다.
Accordingly, the
도 34은 일 실시예에 따른, 디바이스(100)가 정규화된 얼굴 영상으로부터 얼굴에 나타난 얼굴 상태 정보를 추출하는 방법을 설명하는 흐름도이다. 34 is a flowchart illustrating a method for the
단계 S3410에서, 디바이스(100)는 얼굴 영상에서 얼굴 영역 내의 얼굴 구성 요소의 위치를 결정할 수 있다.In operation S3410 , the
얼굴 구성 요소는 눈, 코 및 입 등을 포함할 수 있다. 디바이스(100)는 다양한 방법으로 얼굴 영상에서 얼굴 구성 요소의 위치를 결정할 수 있다.Facial components may include eyes, nose and mouth, and the like. The
예를 들어, 디바이스(100)는, 사람의 얼굴에서 눈, 눈썹, 입 등의 밝기가 얼굴 피부에 비해 어두운 특성을 이용하여, 얼굴 영상을 이진화화고, 어두운 영역의 위치를 눈, 눈썹 및 입 등의 위치로 결정할 수 있다. For example, the
또한, 디바이스(100)는, 얼굴 영상으로부터 피부색 영역을 추출하고, 추출된 영역에서 눈, 눈썹 및 입 등의 위치를 결정할 수 있다. Also, the
또한, 디바이스(100)는, 얼굴에서 눈, 눈썹, 코 및 입 등의 위치는 일정한 패턴을 나타내므로, 얼굴의 패턴에 기초하여 얼굴 구성 요소의 위치를 결정하는 AAM(Active Appearance Models) 방법을 이용하여 얼굴 구성 요소의 위치를 결정할 수도 있다.In addition, the
단계 S3420에서, 디바이스(100)는 얼굴 구성 요소의 위치를 기준으로, 얼굴 상태 정보를 추출할 영역인 진단 영역의 위치를 결정할 수 있다. In operation S3420, the
진단 영역은 디바이스(100)에 기 저장되어 있을 수 있다. 예를 들어, 디바이스(100)에는 이마, 눈 밑 아래, 코, 입 주변 및 턱 영역이 진단 영역으로 설정되어 있을 수 있다. The diagnosis area may be pre-stored in the
또한, 진단 영역에 대응하여 진단 영역의 위치를 결정하는 방법 또한 디바이스(100)에 기 저장되어 있을 수 있다. 예를 들어, 코 영역은 콧망울의 양끝 점 및 코 시작점을 연결하는 삼각혁 영역으로 결정될 수 있다. 진단 영역의 위치를 결정하는 방법 도 35(b)를 참조하여 아래에서 상세히 설명한다.Also, a method of determining the location of the diagnostic area corresponding to the diagnostic area may also be previously stored in the
단계 S3430에서, 디바이스(100)는 결정된 진단 영역에서 얼굴 상태 정보를 추출할 수 있다. In operation S3430, the
상기 얼굴 상태 정보의 추출은 상기 얼굴 영상을 분석하여 수행될 수 있다. 예를 들면, 디바이스(100)는 상기 얼굴 영상의 얼굴 영역의 색 정보, 얼굴 인식 알고리즘, 얼굴 표정 인식 알고리즘 등을 이용하여 상기 얼굴 상태 정보를 추출할 수 있다. 진단 영역에 대응하여 추출할 수 있는 얼굴 상태 정보의 종류 및 얼굴 상태 정보를 추출하는 방법은 디바이스(100)에 기 저장되어 있을 수 있다. The extraction of the face state information may be performed by analyzing the face image. For example, the
디바이스(100)는, 얼굴 영역의 색 정보를 이용하여, 상기 얼굴의 색, 잡티 또는 여드름의 개수, 눈의 색, 입술의 색 등의 정보를 추출할 수 있다. 또한, 예를 들면, 디바이스(100)는, 얼굴 인식 알고리즘 또는 얼굴 표정 인식 알고리즘 등을 이용하여, 눈의 충혈 여부, 동공의 크기, 동공의 움직임, 얼굴 크기, 얼굴 윤곽선의 형태, 입술의 갈라짐 여부, 얼굴의 각 기관의 위치, 얼굴 근육의 움직임 등의 정보를 추출할 수 있다. 이외에도, 상기 얼굴 상태 정보를 추출하기 위해 다양한 알고리즘 및 방법들이 이용될 수 있다.The
피부 상태는 얼굴의 색, 잡티 또는 여드름의 개수 및 크기, 얼굴 윤곽선의 형태 등을 이용하여 판단될 수 있다. 예를 들면, 얼굴의 색이 어둡고, 잡티 또는 여드름의 개수가 많고, 잡티 또는 여드름의 개수가 크고, 얼굴 윤곽선이 처진 것으로 판단되면, 피부 상태가 나쁘다고 판단할 수 있다.The skin condition may be determined using the color of the face, the number and size of blemishes or acne, the shape of the facial contour, and the like. For example, if it is determined that the color of the face is dark, the number of blemishes or acne is large, the number of blemishes or acne is large, and the outline of the face is sagging, it may be determined that the skin condition is bad.
눈의 상태는 눈의 충혈 여부, 눈의 색, 동공의 크기, 동공의 움직임 등을 이용하여 판단할 수 있다. 예를 들면, 디바이스(100)는, 눈이 충혈되고, 눈의 흰자의 색이 어둡고, 동공의 반응 속도가 늦은 경우, 눈의 상태가 나쁘다고 판단할 수 있다. 또한 디바이스(100)는, 눈의 흰자의 색에 따라 간이 좋지 않은 경우, 눈에 질환이 생긴 경우 등을 판단할 수 있다.The state of the eye may be determined using whether the eye is red, the color of the eye, the size of the pupil, the movement of the pupil, and the like. For example, the
체중 변화 여부는, 얼굴 크기 및 얼굴 윤곽선의 형태를 이용하여 판단될 수 있다. 예를 들면, 얼굴 크기가 커지고, 얼굴 윤곽선에서 볼 부분의 윤곽선이 이전에 촬영된 얼굴 영상에 비해 바깥쪽으로 이동한 경우, 체중이 증가한 것으로 판단될 수 있다.Whether or not the weight has changed may be determined using the face size and the shape of the face outline. For example, when the size of the face increases and the contour of the cheek portion in the face contour moves outward compared to a previously captured face image, it may be determined that the body weight has increased.
입술의 상태는 입술의 색 및 입술의 갈라짐 여부를 이용하여 판단될 수 있다. 예를 들면, 입술의 색이 붉은 색이면서 채도가 높고 입술의 갈라짐이 없는 경우에는 입술 상태가 좋은 것으로 판단되고, 입술의 색의 채도가 낮거나 푸른색이고, 입술의 갈라짐이 발견되는 경우 입술 상태가 좋지 않은 것으로 판단될 수 있다. 또한 디바이스(100)는 입술 색이 검붉은 색인지, 푸른 색인지, 살색인지, 채도가 낮은지 여부에 따라 몸의 이상을 판단할 수 있다.The state of the lips may be determined using the color of the lips and whether the lips are cracked. For example, if the color of the lips is red and saturated and there is no cracking of the lips, the condition of the lips is judged to be good. may be considered bad. In addition, the
모발의 상태는 모발의 색, 모발의 윤기, 모발의 갈라짐 여부 등을 이용하여 판단될 수 있다. 예를 들면, 디바이스(100)는, 모발의 색이 진하고, 모발에 윤기가 있고, 모발이 갈라지지 않은 경우, 모발의 상태고 좋고, 그렇지 않은 경우 모발의 상태가 좋지 않다고 판단할 수 있다. 모발의 윤기는 모발 영역 중 모발에 굴곡이 있는 영역에서 나타나는 밝은 색 영역을 검출하여 판단될 수 있다.The state of the hair may be determined using the color of the hair, the gloss of the hair, whether the hair is split or not. For example, the
신체 컨디션은, 피부 상태, 눈의 상태, 입술의 상태, 모발의 상태, 얼굴 근육의 움직임 등을 종합하여 판단될 수 있다. 예를 들면, 디바이스(100)는 눈의 상태, 입술의 상태, 모발의 상태, 얼굴 근육의 움직임이 좋을수록 컨디션이 좋다고 판단할 수 있다.The physical condition may be determined by synthesizing the skin condition, the eye condition, the lips condition, the hair condition, the movement of the facial muscles, and the like. For example, the
도 35는 일 실시예에 따른, 디바이스(100)가 진단 영역의 위치를 결정하는 방법을 설명하는 도면이다.35 is a diagram for describing a method of determining a location of a diagnosis area by the
도 35의(a)를 참조하면, 디바이스(100)는 얼굴 영상에서 얼굴 구성 요소의 위치를 결정할 수 있다.Referring to FIG. 35A , the
예를 들어, 디바이스(100)는 눈 사이의 양끝 점(3420 내지 3426), 눈썹 사이의 양끝 점(3410 내지 3416), 콧망울의 양끝 점(3430 내지 3434), 입술의 양끝 점(3440 내지 3442) 및 코 끝점(3434)과 코 시작점(3436) 등을 결정할 수 있다. For example, the
도 35의(b)를 참조하면, 디바이스(100)는 얼굴 구성 요소의 위치를 기준으로, 진단 영역의 위치를 결정할 수 있다. Referring to FIG. 35B , the
예를 들어, 디바이스(100)에는 이마, 눈 밑 아래, 코, 입 주변 및 턱 영역이 진단 영역으로 설정되어 있을 수 있다. For example, in the
또한, 디바이스(100)에는 각각의 진단 영역의 위치를 결정하는 방법이 설정되어 있을 수 있다. 예를 들어, 코 영역은 콧망울의 양끝 점(3430 내지 3434) 및 코 시작점(3436)을 연결하는 삼각혁 영역(3450)으로 결정될 수 있다. 또한, 입 주변 영역(3460)의 윗쪽 경계는 코 끝점(3434)과 입술 중심 점(3444) 사이의 중간 지점(3446)의 Y축 좌표로 결정될 수 있다.
Also, a method for determining the location of each diagnostic area may be set in the
도 36는 일 실시예에 따른, 디바이스(100)가 진단 영역으로부터 얼굴 상태 정보를 추출하는 방법을 나타내는 도면이다.36 is a diagram illustrating a method for the
도 36를 참조하면, 디바이스(100)는 진단 영역으로부터 진단 영역에 대응하는 얼굴 상태 정보를 추출할 수 있다. Referring to FIG. 36 , the
디바이스(100)에는 입 영역에 대응하여, 입술의 색 및 입 주변 영역에 뾰루지가 발생했는지 여부가 증상으로써 설정되어 있을 수 있다. In the
도 36의(a)를 참조하면, 디바이스(100)는 입술 영역의 위치를 결정하고, 입술 영역으로부터 입술의 색조값 또는 입술의 채도값을 얼굴 상태 정보로써 추출할 수 있다. 예를 들어, 디바이스(100)는 입술 영역을 구성하는 픽셀의 색조값을 평균하여 입술의 색조값을 추출할 수 있다. Referring to FIG. 36A , the
또한, 디바이스(100)는 입 주변 영역의 위치를 결정하고, 입 주변 영역으로부터 피부 트러블의 정도를 얼굴 상태 정보로써 추출할 수 있다.Also, the
도 36의(b)를 참조하면, 디바이스(100)는 피부에 나타난 뾰루지를 검출하기 위하여 다양한 영상 처리 방법을 사용할 수도 있다.Referring to FIG. 36B , the
예를 들어, 디바이스(100)는 입 영역의 대조도(Contrast)를 높임으로써, 피부에 대비하여 뾰루지를 부각시킬 수 있다. 또한, 뾰루지나 피부 트러블이 발생한 부위는 정상 피부에 비하여 어둡게 나타나므로, 디바이스(100)는 입 영역을 이진화하고, 이진화된 입 영역에서 뾰루지나 피부 트러블이 발생한 부위의 위치를 결정할 수 있다. 또한, 뾰루지나 피부 트러블이 발생한 부위는 붉은색을 띄므로, 붉은색을 나타내는 픽셀의 위치를 뾰루지나 피부 트러블이 발생한 부위의 위치로써 결정할 수 있다.For example, the
디바이스(100)는 뾰루지나 피부 트러블이 발생한 영역의 넓이의 변화에 따라 뾰루지나 피부 트러블의 증가 또는 감소 여부를 결정할 수 있다.
The
도 37는 일 실시예에 따른, 디바이스(100)가 얼굴 상태 정보에 기초하여, 사용자의 건강과 관련된 건강 상태 정보를 획득하는 방법을 나타내는 흐름도이다.37 is a flowchart illustrating a method for the
단계 S3710에서, 디바이스(100)는 얼굴 상태 정보를 이용하여 사용자의 건강 상태를 나타내는 건강 상태 정보를 획득할 수 있다.In operation S3710, the
디바이스(100)는 얼굴 영상 내의 진단 영역에서 추출한 얼굴 상태 정보를 이용하여, 사용자의 건강 상태를 나타내는 건강 상태 정보를 획득할 수 있다.The
건강 상태 정보는 얼굴 상태 정보로부터 예측되는 사용자의 질병, 기능이 저하된 장기 또는 사용자의 컨디션에 관한 정보를 포함할 수 있다. 사용자의 건강 상태를 나타내는 건강 상태 정보는 디바이스(100)에 저장될 수 있다.The health state information may include information about a user's disease, a function-degraded organ, or a user's condition predicted from the facial state information. Health state information indicating the user's health state may be stored in the
디바이스(100)는 얼굴 촬영시 획득된 촬영 상황 정보를 고려하여 얼굴 상태 정보로부터 건강 상태 정보를 획득할 수 있다. 촬영 상황 정보는 촬영 시간, 촬영 장소, 촬영시 사용자의 활동 및 촬영시 획득된 사용자의 생체 정보 등을 포함할 수 있다.The
또한, 디바이스(100)는 사용자의 키, 몸무게, 나이, 성별 등의 신체 조건 또는 현재 질병, 과거 질병 등의 병력을 고려하여, 얼굴 상태 정보로부터 건강 상태 정보를 획득할 수도 있다.
In addition, the
도 38는 일 실시예에 따른, 디바이스(100)가 얼굴 영상으로부터 추출된 얼굴 상태 정보에 기초하여, 사용자의 건강 상태 정보를 추출하는 방법을 나타내는 도면이다.38 is a diagram illustrating a method of extracting, by the
도 38의(a)를 참조하면, 디바이스(100)에는 얼굴 색에 따른 예상 질병에 관한 정보가 저장되어 있을 수 있다.Referring to FIG. 38A , the
이에 따라, 디바이스(100)는 얼굴이 검푸른색일 경우 간, 검은색인 경우 신장, 흰색인 경우 폐, 붉은색인 경우 심장에 이상이 있는 것으로 판단할 수 있다. Accordingly, the
도 38의 (b)를 참조하면, 디바이스(100)에는 진단 영역으로부터 추출된 증상에 대응하여 예상 질병 또는 증상의 원인에 관한 정보가 저장되어 있을 수 있다. Referring to (b) of FIG. 38 , the
이에 따라, 디바이스(100)는 각각의 진단 영역으로부터 추출된 증상에 기초하여, 예상 질병 또는 증상의 원인을 결정할 수 있다. 예를 들어, 눈으로부터 추출된 얼굴 상태 정보가 눈이 충혈된 상태인 경우, 디바이스(100)는 사용자의 간과 심장에 이상이 있는 것으로 판단할 수 있다.
Accordingly, the
도 39는 일 실시예에 따른, 디바이스(100)가 얼굴 촬영시 획득된 촬영 상황 정보를 고려하여 얼굴 상태 정보로부터 건강 상태 정보를 획득하는 방법을 나타내는 흐름도이다.39 is a flowchart illustrating a method for the
단계 S3910에서, 디바이스(100)는 얼굴 촬영 시 획득된 촬영 상황 정보를 획득할 수 있다. In step S3910 , the
촬영 상황 정보는 입력 영상의 메타데이터 형태로 입력 영상의 파일에 저장되어 있을 수 있다. 또한, 디바이스(100)가 입력 영상 생성시, 입력 영상의 식별 정보에 대응하여 촬영 상황 정보를 디바이스(100)에 저장할 수도 있다. The shooting situation information may be stored in a file of the input image in the form of metadata of the input image. Also, when the
촬영 상황 정보는 촬영 시간, 촬영 장소, 촬영시 사용자의 활동 및 촬영시 획득된 사용자의 생체 정보 등을 포함할 수 있다.The photographing situation information may include a photographing time, a photographing location, a user's activity during photographing, and user's biometric information obtained during photographing.
단계 S3920에서, 디바이스(100)는 얼굴 상태 정보 및 촬영 상황 정보를 함께 고려하여, 사용자의 건강과 관련된 건강 상태 정보를 획득할 수 있다.In operation S3920, the
예를 들어, 얼굴 촬영 시간이 오전 3시인 경우, 디바이스(100)는 얼굴 영상으로부터 추출된 얼굴 상태가 기 설정된 기준 보다 심각하더라도, 일시적인 과로에 의한 악화로 판단할 수 있다. 이 경우, 디바이스(100)는 얼굴 상태 정보로부터 건강 상태 정보 획득 시, 추출된 얼굴 상태의 정도를 보다 경감하여 판단할 수 있다.For example, when the face photographing time is 3 am, the
또한, 예를 들어, 촬영 시간이 새벽인 경우, 디바이스(100)는 사용자의 얼굴이 화장되지 않은 상태로 판단하고, 다른 시간대 보다 가중치를 두어 건강 상태 정보를 획득할 수도 있다. Also, for example, when the photographing time is dawn, the
또한, 예를 들어, 사용자의 맥박수가 평소보다 높은 수치인 경우, 디바이스(100)는 사용자가 운동 직후 촬영한 것으로 판단하고, 사용자의 얼굴 색 등을 얼굴 상태 정보에서 배제할 수도 있다. Also, for example, when the user's pulse rate is a higher value than usual, the
또한, 예를 들어, 얼굴 촬영 시 사용자의 수면량이 2시간인 경우, 디바이스(100)는 얼굴 영상으로부터 추출된 얼굴 상태의 정도가 기준 보다 심하더라도, 일시적인 과로에 의한 악화로 판단할 수 있다. 이 경우, 디바이스(100)는 얼굴 상태 정보로부터 건강 상태 정보 획득 시, 추출된 얼굴 상태의 정도를 보다 경감하여 판단할 수 있다.Also, for example, when the amount of sleep of the user is 2 hours when photographing the face, the
또한, 예를 들어, 얼굴 촬영 장소가 술집이고, 얼굴 영상으로부터 추출된 증상이 얼굴 홍조인 경우, 디바이스(100)는 일시적인 음주로 인한 얼굴 홍조로 판단하고, 얼굴 영상으로부터 추출된 얼굴 홍조 증상를 제외하여, 건강 상태 정보를 획득할 수 있다.In addition, for example, when the location of the face photographing is a bar, and the symptom extracted from the face image is redness, the
또한, 예를 들어, 얼굴 촬영 시 사용자의 활동량이 높거나, 심박수가 높고, 얼굴 영상으로부터 추출된 증상이 얼굴 홍조인 경우, 디바이스(100)는 일시적인 운동으로 인한 얼굴 홍조로 판단하고, 얼굴 영상으로부터 추출된 얼굴 홍조 증상를 제외하고, 건강 상태 정보를 획득할 수 있다.
Also, for example, when the user's activity level is high, the heart rate is high, and the symptom extracted from the face image is redness when photographing the face, the
도 40은 일 실시예에 따른, 디바이스(100)가 사용자의 건강 상태 정보와 함께 영상 촬영시 획득한 촬영 상황 정보를 디스플레이하는 방법을 나타내는 도면이다.40 is a diagram illustrating a method of displaying, by the
도 40를 참조하면, 디바이스(100)는 화면에 얼굴 영상을 디스플레이하고, 디스플레이된 얼굴 영상으로부터 추출된 사용자의 건강 상태 정보를 디스플레이할 수 있다. 또한, 사용자의 건강 상태 정보와 함께 얼굴 영상으로부터 건강 상태 정보를 획득 시 고려한 촬영 상황 정보를 디스플레이할 수도 있다. Referring to FIG. 40 , the
디바이스(100)는 얼굴 영상으로부터 건강 상태 정보 추출 시, 촬영 장소, 촬영 시간, 카메라로부터 얼굴까지의 거리, 촬영시 심박수, 촬영시 활동량 및 촬영시 수면량 등을 고려할 수 있다. When extracting health state information from a face image, the
또한, 디바이스(100)는 원본 영상으로부터 사용자의 건강 상태 정보를 추출하기 위하기 원본 입력 영상에 적용된 영상 처리 방법을 디스플레이할 수도 있다. 예를 들어, 디바이스(100)는 영상을 확대한 비율 및 조도 조정 여부 등을 디스플레이할 수 있다.
Also, the
도 41는 일 실시예에 따른, 디바이스(100)가 얼굴 상태 정보로부터 건강 상태 정보 획득 시, 복수의 촬영 상황 정보 중 디바이스(100)가 고려해야 할 촬영 상황 정보를 선택하는 기능을 제공하는 방법을 나타내는 도면이다.41 is a diagram illustrating a method of providing, by the
디바이스(100)는 얼굴 상태 정보로부터 건강 상태 정보를 획득 시 고려할 촬영 상황 정보를 선택하기 위한 사용자 인터페이스를 디스플레이할 수 있다. 화면에 디스플레이된 촬영 상황 정보 중 적어도 하나를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 선택된 촬영 상황 정보에 기초하여, 얼굴 상태 정보로부터 건강 상태 정보를 획득할 수 있다. The
또한, 디바이스(100)는 얼굴 상태 정보로부터 건강 상태 정보를 획득 시, 얼굴 영상에 적용할 영상 처리 방법을 선택하기 위한 사용자 인터페이스를 디스플레이할 수도 있다. 화면에 디스플레이된 영상 처리 방법 중 적어도 하나를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 선택된 영상 처리 방법에 기초하여, 얼굴 영상을 보정하고, 보정된 얼굴 영상으로부터 얼굴 상태 정보를 획득할 수도 있다.Also, the
도 41의(a)를 참조하면, 디바이스(100)는 얼굴 영상으로부터 입 주변의 피부 트러블을 얼굴 상태 정보로써 추출할 수 있다. 또한, 디바이스(100)는 얼굴 영상 내의 얼굴의 색을 검은색으로 결정할 수 있다. 디바이스(100)는 입 주변의 피부 트러블 및 검은 얼굴 색에 기초하여, 사용자의 신장 기능이 저하된 것으로써 건강 상태 정보를 획득할 수 있다.Referring to FIG. 41A , the
도 41(b)를 참조하면, 디바이스(100)는 얼굴 영상에서 빛의 색온도를 조정하기 위한 사용자 인터페이스, 건강 상태 정보 획득시 심박수, 활동량 및 수면량을 고려하기 위한 사용자 인터페이스를 디스플레이할 수 있다. Referring to FIG. 41B , the
빛의 색온도를 조정 및 심박수, 활동량 및 수면량을 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 빛의 색온도를 고려하여 얼굴 영상 내의 색조값을 조정할 수 있다. Upon receiving a user input for adjusting the color temperature of light and selecting a heart rate, an activity amount, and an amount of sleep, the
얼굴 영상 내의 색조값을 조정함에 따라, 디바이스(100)는 얼굴 영상 내의 얼굴색을 검은색에서 노란색으로 변경할 수 있다. 또한, 디바이스(100)는 노란 얼굴색 및 촬영시 사용자의 수면량이 2시간인 것을 고려하여, 입 주변의 피부 트러블이 신장 기능 저하가 아닌 수면 부족으로 인한 호르몬의 불균형 때문인 것으로써 사용자의 건강 상태 정보를 획득할 수 있다.
As the color tone value in the face image is adjusted, the
도 42는 일 실시예에 따른, 디바이스(100)가 얼굴 영상이 촬영된 시점에 기초하여, 얼굴 상태 정보로부터 건강 상태 정보를 획득하는 방법을 나타내는 흐름도이다.42 is a flowchart illustrating a method for the
단계 S4210에서, 디바이스(100)는 얼굴 영상의 파일로부터 얼굴이 촬영된 날짜를 획득할 수 있다.In operation S4210, the
예를 들어, 얼굴 영상에는 얼굴이 촬영된 날짜가 메타데이터 형식으로 기록되어 있을 수 있다. 이에 따라, 디바이스(100)는 얼굴 영상의 메타데이터로부터 얼굴이 촬영된 날짜를 획득할 수 있다.For example, in the face image, the date the face was captured may be recorded in the form of metadata. Accordingly, the
단계 S4220에서, 디바이스(100)는 획득된 날짜 보다 이전에 촬영된 얼굴 영상과 관련된 건강 상태 정보를 고려하여, 얼굴 상태 정보로부터 건강 상태 정보를 획득할 수 있다. In operation S4220 , the
디바이스(100)는 사용자의 기 획득된 복수의 얼굴 영상으로부터 얼굴 상태 정보를 추출할 수 있다. 기 획득된 복수의 얼굴 영상으로부터 얼굴 상태 정보를 추출함에 따라, 디바이스(100)는 복수의 얼굴 영상의 촬영 날짜에 대응하여, 추출된 얼굴 상태 정보로부터 획득된 건강 상태 정보를 저장할 수 있다. 이에 따라, 디바이스(100)는 날짜에 따른 사용자의 건강 상태를 획득할 수 있다. The
디바이스(100)는 단계 S4210에서 획득된 촬영 날짜에 기초하여, 얼굴 영상의 촬영 날짜 보다 이전에 촬영된 얼굴 영상과 관련된 사용자의 건강 상태 정보를 획득할 수 있다. 디바이스(100)는 날짜에 따른 사용자의 건강 상태에 기초하여, 얼굴 영상의 촬영 날짜 보다 이전의 건강 상태 정보를 획득할 수 있다.The
이에 따라, 디바이스(100)는 얼굴 영상이 촬영된 시점 이전에 사용자가 겪었던 질병 또는 이상 소견을 획득할 수 있다. Accordingly, the
얼굴 영상의 촬영 날짜 보다 이전의 건강 상태 정보를 획득함에 따라, 디바이스(100)는 얼굴 영상의 촬영 날짜 보다 이전의 건강 상태 정보를 고려하여, 얼굴 영상의 얼굴 상태 정보로부터 사용자의 건강 상태 정보를 획득할 수 있다. As health state information before the photographing date of the face image is obtained, the
디바이스(100)는 얼굴 영상이 촬영된 시점 이전에 사용자가 가지고 있는 질병 또는 이상 소견에 기초하여, 얼굴 상태 정보로부터 건강 상태 정보를 획득할 수 있다.The
얼굴 영상으로부터 추출된 하나의 증상이 복수의 질병 또는 이상 소견으로 판단될 수 있는 경우, 디바이스(100)는, 입력 영상이 촬영된 시점 이전에 촬영된 얼굴 영상들로부터 추출된 사용자의 건강 상태 정보에 기초하여, 얼굴 상태 정보로부터 건강 상태 정보를 판단할 수 있다. When one symptom extracted from the face image can be determined to be a plurality of diseases or abnormal findings, the
예를 들어, 얼굴 영상이 촬영된 시점 이전 한달 동안에 촬영된 사용자의 얼굴 영상들로부터 추출된 질병 또는 이상 소견이 위장염이고, 얼굴 영상으로부터 추출한 하나의 얼굴 상태 정보로부터 위장염, 과로 또는 음주가 원인으로써 추출될 수 있는 경우, 디바이스(100)는 증상의 원인을 위장염으로 결정할 수 있다. For example, a disease or abnormality extracted from the user's face images taken during the month before the face image was taken is gastroenteritis, and gastroenteritis, overwork or drinking is extracted from one facial condition information extracted from the face image. If possible, the
또한, 획득된 질병 또는 이상 소견이 촬영 시점 이전에 나타난 빈도수가 기준 횟수 미만인 경우, 디바이스(100)는 획득된 질병 또는 이상 소견을 사용자의 건강 상태 정보로써 결정하지 않을 수도 있다. In addition, when the frequency of the acquired disease or abnormality appearing before the time of photographing is less than the reference number, the
또한, 디바이스(100)는 얼굴 영상이 촬영된 시점 이전에 촬영된 얼굴 영상들로부터 추출된 사용자의 건강 상태 정보에 기초하여, 특정 질병이 악화되었는지 또는 호전되었는지 여부를 판단할 수도 있다. Also, the
시간적으로 연속하는 얼굴 영상으로부터 추출된 건강 상태 정보는 서로 유사할 수 있다. 예를 들어, 한달 동안 촬영된 동일인의 얼굴로부터 추출된 건강 상태 정보는 유사한 질병 또는 이상 소견을 나타낼 수 있다. 따라서, 디바이스(100)는 얼굴 영상의 촬영 시점 이전에 사용자가 가지고 있는 질병 또는 이상 소견을 이용하여 얼굴 상태 정보로부터 보다 정확한 건강 상태 정보를 획득할 수 있다.
Health state information extracted from temporally continuous face images may be similar to each other. For example, health state information extracted from the face of the same person photographed for a month may indicate similar diseases or abnormalities. Accordingly, the
도 43은 일 실시예에 따라 디바이스(100)가 건강 상태 정보를 획득하는 과정을 설명하기 위한 도면이다.43 is a diagram for describing a process in which the
일 실시예에 따르면, 디바이스(100)는 평소 상태와 현재 상태를 비교하여, 건강 상태 정보를 획득할 수 있다. 예를 들면, 디바이스(100)는 특정 사용자의 과거에 촬영되어 저장된 얼굴 영상들로부터 얼굴 상태 정보를 추출하고, 추출된 얼굴 상태 정보의 평균값을 계산하여, 해당 사용자의 평소 상태를 산출할 수 있다. According to an embodiment, the
또한 디바이스(100)는 상기 사용자의 촬영된 영상으로부터 얼굴 상태 정보를 추출하여, 해당 사용자의 현재 상태를 산출할 수 있다. 상기 평소 상태와 상기 현재 상태는 얼굴 상태 정보의 종류 별로 산출될 수 있다. 상기 얼굴 상태 정보의 종류는 예를 들면, 얼굴의 색, 잡티 또는 여드름의 개수 및 크기, 눈의 충혈 여부, 눈의 색, 동공의 크기, 동공의 움직임, 얼굴 크기, 얼굴 윤곽선의 형태, 입술의 색, 입술의 갈라짐 여부, 얼굴의 각 기관(눈, 코, 입, 귀, 눈썹)의 위치, 모발의 색, 모발의 윤기, 모발의 갈라짐 여부, 얼굴 근육의 움직임 등을 포함할 수 있다.In addition, the
디바이스(100)는 평소 상태와 현재 상태의 비교 결과에 따라, 얼굴 상태 정보의 종류 별로 건강 상태를 평가하거나, 얼굴 상태 정보들에 대한 비교 결과를 종합하여 건강 상태를 평가할 수 있다.The
다른 실시예에 따르면, 디바이스(100)는 미리 저장된 정상 상태와, 현재 상태의 차이를 산출하여, 상기 건강 상태 정보를 획득할 수 있다. 예를 들면, 사용자의 연령, 성별, 키, 체중, 시간대, 계절 등에 따라 각 얼굴 상태 정보에 대한 정상 상태가 정의될 수 있다. According to another embodiment, the
디바이스(100)는 상기 정상 상태와 상기 현재 상태의 차이를 상기 얼굴 상태 정보의 종류 별로 산출할 수 있다. 디바이스(100)는 정상 상태와 현재 상태의 비교 결과에 따라, 얼굴 상태 정보의 종류 별로 건강 상태를 평가하거나, 얼굴 상태 정보들에 대한 비교 결과를 종합하여 건강 상태를 평가할 수 있다.The
일 실시예에 따르면, 상기 건강 상태 정보를 획득하고 제공하는 동작은 디바이스(100)의 사진 앨범, 갤러리 등의 기능이 실행된 상태에서 수행될 수 있다. 예를 들면, 사용자가 사진 앨범에 저장된 영상들 중 얼굴 영상으로 사용할 영상들을 선택하고 건강 진단 기능을 실행시키면, 선택된 얼굴 영상들로부터 건강 상태 정보가 산출되고, 제공될 수 있다. According to an embodiment, the operation of obtaining and providing the health state information may be performed while a function such as a photo album or a gallery of the
다른 예로서, 사용자가 사진 앨범이 실행된 상태에서 건강 진단 기능을 실행시키면, 저장된 영상들 중 얼굴 영상 획득 조건을 충족하는 얼굴 영상을 추출하고, 추출된 얼굴 영상들을 이용하여 건강 상태 정보가 산출되고, 제공될 수 있다. 이러한 경우, 상기 얼굴 영상들을 사용자 별로 분류하여, 각 사용자에 대한 건강 상태 정보가 제공될 수 있다. As another example, when the user executes the health diagnosis function while the photo album is running, a face image satisfying the face image acquisition condition is extracted from among the stored images, and health status information is calculated using the extracted face images. , can be provided. In this case, by classifying the face images for each user, health status information for each user may be provided.
다른 예로서, 디바이스(100)는 상기 얼굴 영상들에 포함된 사용자들의 리스트를 제공하고, 사용자가 선택한 사용자에 대해 건강 상태 정보를 획득하고 제공할 수 있다.As another example, the
본 발명의 다른 실시예에 따르면, 상기 건강 상태 정보를 획득하고 제공하는 동작은 디바이스(100)에서 특정 애플리케이션이 실행된 상태에서 수행될 수 있다. 예를 들면, 사용자는 디바이스(100)의 건강 진단 기능의 애플리케이션을 수행하여, 건강 상태 정보를 얻을 수 있다.According to another embodiment of the present invention, the operation of obtaining and providing the health state information may be performed while a specific application is executed in the
본 발명의 일 실시예에 따르면, 상기 건강 상태 정보는 디바이스(100)에서 산출될 수 있다. 이러한 경우, 디바이스(100)는, 건강 상태 정보를 획득하기 위한 소정의 알고리즘을 이용할 수 있다.
According to an embodiment of the present invention, the health state information may be calculated by the
디바이스(100)는 건강 상태 정보가 산출되면, 산출된 건강 상태 정보를 사용자에게 제공한다. 건강 상태 정보를 사용자에게 제공하는 방식은, 디바이스(100)에 표시, 소리로 출력, 외부 장치로 출력, 메모리에 저장 등 다양한 방식으로 수행될 수 있다.When the health state information is calculated, the
건강 상태 정보디바이스(100)는 실시예에 따라 상기 얼굴 영상과 상기 건강 상태 정보를 한 화면에서 함께 표시하거나, 상기 건강 상태 정보만 표시할 수 있다.
The health
도 44은 다른 실시예에 따라 디바이스(100)가 서비스 서버를 이용하여 건강 상태 정보를 획득하는 과정을 나타낸 도면이다.44 is a diagram illustrating a process in which the
본 실시예에 따르면, 건강 상태 정보를 획득하는 과정은, 디바이스(100)와 통신하는 서비스 서버(2100)에 의해 수행될 수 있다. 서비스 서버(2100)는 예를 들면, 건강 상태 정보를 획득하는 서비스를 제공하는 서버로서, 의료 서비스 서버, 애플리케이션 서버, 웹사이트 서버 등일 수 있다.According to the present embodiment, the process of acquiring health state information may be performed by the
우선, 디바이스(100)에서 얼굴 영상을 획득한다(S4410). 다음으로 디바이스(100)는 획득된 얼굴 영상을 서비스 서버(2100)로 전송한다(S4420). 디바이스(100)는 인터넷, 전화망, 무선 통신망 등을 통해 서비스 서버(2100)에 접속할 수 있다. 예를 들어, 디바이스(100)가 휴대용 통신 단말인 경우, 디바이스(100)는 와이파이, 3세대 이동통신(Third generation mobile communication), 4세대 이동통신(Fourth generation mobile communication), LTE(long term evolution), LTE-A(long term evolution-advanced) 등의 이동 통신 방식을 이용하여 네트워크에 접속하고, 서비스 서버(2100)에 접속할 수 있다. 또한 디바이스(100)는 실시예에 따라 사진 앨범 기능 내에서 얼굴 영상을 서비스 서버(2100)로 전송하거나, 애플리케이션 내에서 얼굴 영상을 서비스 서버(2100)로 전송하거나, SMS 메시지를 통해 얼굴 영상을 서비스 서버(2100)로 전송하거나, 메신저 애플리케이션을 이용하여 얼굴 영상을 서비스 서버(2100)로 전송하거나, 이메일을 통해 얼굴 영상을 서비스 서버(2100)로 전송하는 등 다양한 방법으로 얼굴 영상을 서비스 서버(2100)로 전송할 수 있다.First, the
일 실시예에 따르면, 디바이스(100)는 획득된 얼굴 영상의 영상 파일을 서비스 서버(2100)로 전송할 수 있다. 이러한 경우, 서비스 서버(2100)에서 상기 영상 파일에 포함된 얼굴의 식별 정보를 추출할 수 있다. 서비스 서버(2100)는 각 식별 정보에 대응하는 얼굴 특징점 정보를 보유하고, 보유한 얼굴 특징점 정보를 이용하여 상기 얼굴 영상의 식별 정보를 추출할 수 있다. 또한 일 실시예에 따르면, 서비스 서버(2100)는 추출된 상기 식별 정보를 이용하여, 해당 식별 정보에 대해 서비스 서버(2100)에 저장된 정보들을 검색할 수 있다. 예를 들면, 서비스 서버(2100)는 해당 식별 정보에 대해 얼굴 상태 정보, 건강 상태 정보, 개인 정보, 의료 기록 정보, 다른 얼굴 영상 등을 보유하고, 식별 정보를 이용하여 이들 정보를 검색할 수 있다. According to an embodiment, the
다른 실시예에 따르면, 디바이스(100)는 획득된 얼굴 영상의 영상 파일 및 식별 정보를 서비스 서버(2100)로 전송할 수 있다. 상기 식별 정보는 예를 들면, 아이디, 휴대폰 번호, IP 주소, 및 MAC 주소 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 서비스 서버(2100)는 상기 식별 정보를 이용하여, 해당 식별 정보에 대응되고 서비스 서버(2100)에 저장된 얼굴 상태 정보, 건강 상태 정보, 개인 정보, 의료 기록 정보, 다른 얼굴 영상 등을 검색할 수 있다.According to another embodiment, the
다른 실시예에 따르면, 디바이스(100)는 획득된 얼굴 영상의 영상 파일, 식별 정보, 해당 식별 정보에 대한 얼굴 상태 정보와 건강 상태 정보를 서비스 서버(2100)로 전송할 수 있다. 또한 다른 실시예에 따르면, 디바이스(100)는 상기 식별 정보에 대한 개인 정보 및 부가 정보를 상기 영상 파일과 함께 서비스 서버(2100)로 전송할 수 있다. 상기 개인 정보는 예를 들면, 이름, 연락처, 직업 등의 정보일 수 있다. 상기 부가 정보는 예를 들면, 의료 기록, 병력, 키, 체중, 나이, 혈압, 혈당, 허리둘레, 엉덩이 둘레, 가슴 둘레 등의 정보일 수 있다.According to another embodiment, the
서비스 서버(2100)는 얼굴 영상을 전송 받으면(S4420), 해당 얼굴 영상으로부터, 얼굴 상태 정보를 추출한다(S4430). 상기 얼굴 상태 정보의 추출은 상기 얼굴 영상을 분석하여 수행될 수 있다. 예를 들면, 서비스 서버(2100)는 얼굴 영역의 색 정보, 얼굴 인식 알고리즘, 얼굴 표정 인식 알고리즘 등을 이용하여 상기 얼굴 상태 정보를 추출할 수 있다. 예를 들면, 서비스 서버(2100)는, 얼굴 영역의 색 정보를 이용하여, 상기 얼굴의 색, 잡티 또는 여드름의 개수, 눈의 색, 입술의 색 등의 정보를 추출할 수 있다. 또한, 예를 들면, 서비스 서버(2100)는, 얼굴 인식 알고리즘 또는 얼굴 표정 인식 알고리즘 등을 이용하여, 눈의 충혈 여부, 동공의 크기, 동공의 움직임, 얼굴 크기, 얼굴 윤곽선의 형태, 입술의 갈라짐 여부, 얼굴의 각 기관의 위치, 얼굴 근육의 움직임 등의 정보를 추출할 수 있다. 이외에도, 상기 얼굴 상태 정보를 추출하기 위해 다양한 알고리즘 및 방법들이 이용될 수 있다.When the
다음으로, 서비스 서버(2100)는 상기 얼굴 상태 정보를 이용하여 건강 상태 정보를 추출한다(S4440). 예를 들면, 서비스 서버(2100)는 앞서 설명한 전자 장치에서 피부 상태, 눈의 상태, 체중 변화 여부, 입술의 상태, 모발의 상태, 신체 컨디션 등을 판단하는 방식으로 건강 상태 정보를 추출할 수 있다.Next, the
서비스 서버(2100)의 얼굴 상태 정보 추출 방식 및 건강 상태 정보 추출 방식은 해당 서버의 관리자 또는 의료진에 따라 업데이트될 수 있다. The facial condition information extraction method and the health condition information extraction method of the
일 실시예에 따르면, 서비스 서버(2100)는 의료 전문가가 직접 얼굴 영상으로부터 추출한 얼굴 상태 정보 및/또는 건강 상태 정보를 제공할 수 있다. 이러한 경우, 얼굴 상태 정보 및/또는 건강 상태 정보는 얼굴 영상이 전송된 이후 수 시간 또는 수 일 이후에 디바이스(100)로 제공될 수 있다.According to an embodiment, the
서비스 서버(2100)에서 건강 상태 정보가 산출되면(S4440), 서비스 서버(2100)는 얼굴 상태 정보 및/또는 건강 상태 정보를 디바이스(100)로 전송한다(S4450). 얼굴 상태 정보 및/또는 건강 상태 정보는, 애플이케이션 메시지, SMS 메시지, 메신저 애플리케이션의 메시지, 이메일 등의 다양한 방법으로 전송될 수 있다(S4450).When the health state information is calculated by the service server 2100 ( S4440 ), the
디바이스(100)는 서비스 서버(2100)로부터 전송된 얼굴 상태 정보 및/또는 건강 상태 정보를 사용자에게 제공한다(S4460). 예를 들면, 디바이스(100)는 건강 상태 정보를 디바이스(100)의 화면에 표시할 수 있다.
The
도 45은 일 실시예에 따른, 디바이스(100)가 사용자의 건강 상태 정보를 디스플레이하는 방법을 나타내는 흐름도이다.45 is a flowchart illustrating a method for the
단계 S4510에서, 디바이스(100)는 사용자의 건강 상태 정보를 디스플레이할 수 있다. In step S4510, the
디바이스(100)는 얼굴 상태 정보를 이용하여 획득된 건강 상태 정보를 디스플레이할 수 있다. 또한, 디바이스(100)는 건강 상태 정보뿐만 아니라 얼굴 영상으로부터 추출된 증상 자체에 관한 정보, 증상의 원인에 관한 정보, 추출된 증상과 함께 나타날 수 있는 다른 증상에 관한 정보, 증상을 호전시키기 위해 필요한 조치에 관한 정보 등을 디스플레이할 수 있다.
The
도 46은 일 실시예에 따른, 디바이스(100)에 저장된 영상을 디스플레이함에 따라, 디바이스(100)가 디스플레이된 사용자의 얼굴로부터 산출된 건강 상태 정보를 제공하기 위한 사용자 인터페이스를 제공하는 방법을 나타내는 도면이다.46 is a diagram illustrating a method of providing a user interface for providing, by the
도 46을 참조하면, 디바이스(100)는 디바이스(100)에 저장된 영상 중 사용자가 선택한 영상을 디스플레이할 수 있다.Referring to FIG. 46 , the
저장된 영상 중 하나를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 선택된 영상이, 얼굴 상태 정보가 추출된 영상인지 여부를 판단할 수 있다. 선택된 영상이 얼굴 상태 정보가 추출된 영상인 경우, 디바이스(100)는 얼굴 영상에 대응하는 건강 상태 정보를 제공하기 위한 사용자 인터페이스(4610)를 디스플레이할 수 있다.Upon receiving a user input for selecting one of the stored images, the
건강 상태 정보를 제공하기 위한 버튼(4610)을 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 선택된 영상에 대응하여 저장된 건강 상태 정보를 디스플레이할 수 있다.
Upon receiving a user input for selecting the
도 47은 일 실시예에 따른, 디바이스(100)가 디스플레이된 영상 상에 건강 상태 정보를 디스플레이하는 방법을 나타내는 도면이다.47 is a diagram illustrating a method in which the
도 47을 참조하면, 디바이스(100)는 디스플레이된 영상 상에 건강 상태 정보를 디스플레이할 수 있다.Referring to FIG. 47 , the
디바이스(100)는 디스플레이된 영상의 식별 정보를 획득할 수 있다. 디바이스(100)는 획득된 식별 정보에 대응하여 저장된 건강 상태 정보를 획득할 수 있다. 디바이스(100)에는 영상의 식별 정보에 대응하여 예상 질병 및 예상 질병이 추출된 진단 영역의 위치가 저장되어 있을 수 있다. 이에 따라, 디바이스(100)는 화면에 디스플레이된 영상 상에, 예상 질병을 나타내는 문구(4720) 및 예상 질병이 추출된 진단 영역을 나타내는 이미지(4710)를 디스플레이 할 수 있다.The
또한, 디바이스(100)는 화면에 디스플레이된 영상에 대하여 건강 상태 정보를 추출하지 않기 위한 사용자 인터페이스(4730)를 제공할 수도 있다. 화면에 디스플레이된 영상에 대하여 건강 상태 정보를 추출하지 않기 위한 사용자 인터페이스(4730)를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 선택된 영상에 대응하여 저장된 건강 상태 정보를 삭제할 수 있다.Also, the
이에 따라, 촬영시 외부 환경에 의해 사용자의 얼굴이 명확히 촬영되지 않아 사용자의 건강 상태 정보가 왜곡된 경우, 왜곡된 건강 상태 정보가 삭제될 수 있다.
Accordingly, when the user's health status information is distorted because the user's face is not clearly photographed due to an external environment during shooting, the distorted health status information may be deleted.
도 48a은 일 실시예에 따른, 디바이스(100)가 복수의 인물에 대한 건강 상태 정보 중 화면에 디스플레이할 인물을 선택하는 사용자 인터페이스를 제공하는 방법을 나타내는 도면이다.48A is a diagram illustrating a method of providing, by the
도 48a를 참조하면, 디바이스(100)는 복수의 인물에 대한 건강 상태 정보 중 화면에 디스플레이할 인물을 선택하는 사용자 인터페이스(4810)를 디스플레이할 수 있다.디바이스(100)는 얼굴 영상으로부터 얼굴 영상에 나타난 복수의 인물에 대한 건강 상태 정보를 추출할 수 있다. 또한, 디바이스(100)는 얼굴 상태 정보가 추출된 입력 영상의 식별 정보 및 얼굴 상태 정보로부터 획득된 건강 상태 정보를 인물의 식별 정보에 대응하여 저장할 수 있다. 복수의 인물 중 하나를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 선택된 인물의 입력 영상 및 건강 상태 정보를 디스플레이할 수 있다.
Referring to FIG. 48A , the
도 48b는 일 실시예에 따른, 디바이스(100)가 사용자에 의해 선택된 인물의 입력 영상 및 입력 영상에 대응하는 건강 상태 정보를 디스플레이하는 방법을 나타내는 도면이다.48B is a diagram illustrating a method for the
도 48b를 참조하면, 디바이스(100)는 도 48b에서 사용자에 의해 선택된 인물의 입력 영상 및 입력 영상에 대응하는 건강 상태 정보를 디스플레이할 수 있다. Referring to FIG. 48B , the
디바이스(100)는 입력 영상이 촬영된 시간 순서에 따라, 입력 영상(4820)을 디스플레이할 수 있다. 또한, 디바이스(100)는 입력 영상(4820)과 함께 입력 영상(4820)이 생성된 날짜 정보(4830)를 디스플레이할 수 있다. 또한, 디바이스(100)는 각각의 입력 영상(4820)에 대응하는 건강 상태 정보(4840)를 디스플레이할 수 있다. The
이에 따라, 사용자는 선택한 인물에 대하여 시간 순서에 따라 건강 상태 정보를 확인할 수 있다.
Accordingly, the user can check the health status information of the selected person in chronological order.
도 49a 내지 49c는 일 실시예에 따른, 디바이스(100)가 사용자에 의해 선택된 기간 또는 질병에 대한 건강 상태 정보를 제공하기 위한 방법을 나타내는 도면이다.49A to 49C are diagrams illustrating a method for the
도 49a를 참조하면, 디바이스(100)는 기간을 선택하기 위한 사용자 인터페이스(4910)를 디스플레이할 수 있다. 기간을 선택하기 위한 사용자 인터페이스(4910)는 현재 시점으로부터 과거로 단위 기간을 선택할 수 있는 사용자 인터페이스일 수 있다.Referring to FIG. 49A , the
현재 시점으로부터 과거로 단위 기간을 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 선택된 단위 기간 동안 촬영된 영상으로부터 추출된 건강 상태 정보를 디스플레이할 수 있다.Upon receiving a user input for selecting a unit period from the current time to the past, the
도 49b를 참조하면, 디바이스(100)는 질병을 선택하기 위한 사용자 인터페이스(4920)를 디스플레이할 수 있다. 디바이스(100)는 디바이스(100)에 저장된 영상과 관련된 사용자의 질병을 디스플레이할 수 있다. 또한, 디바이스(100)에 저장된 영상들 중 사용자에 의해 선택된 단위 기간 동안 촬영된 영상과 관련된 사용자의 질병을 디스플레이할 수 있다.Referring to FIG. 49B , the
도 49c를 참조하면, 기간을 선택하는 사용자의 입력 및 질병을 선택하는 사용자의 입력을 수신함에 따라, 디바이스(100)는 선택된 기간 동안 발생한 질병과 관련된 입력 영상을 시간 순서로 디스플레이할 수 있다.
Referring to FIG. 49C , upon receiving a user input for selecting a period and a user input for selecting a disease, the
도 50a은 일 실시예에 따라 건강 상태 정보를 제공하는 화면을 나타낸 도면이다.50A is a diagram illustrating a screen for providing health state information according to an exemplary embodiment.
일 실시예에 따르면, 디바이스(100)에서 산출된 건강 상태 정보는 디바이스(100)의 화면에 표시될 수 있다. 또한, 디바이스(100)는 건강 상태에 변화가 있는 경우에, 건강 상태 정보의 변화에 대한 정보를 사용자에게 제공할 수 있다. 예를 들면, 도 50에 도시된 바와 같이, 잡티 개수가 증가하여 피부 상태가 악화되었다는 메시지가 화면에 표시될 수 있다.
According to an embodiment, the health state information calculated by the
도 50b는 일 실시예에 따라 건강 상태 정보를 제공하는 화면을 나타낸 도면이다.50B is a diagram illustrating a screen for providing health state information according to an exemplary embodiment.
일 실시예에 따르면, 시간에 따른 건강 상태 정보의 변화를 알려주는 형태로 건강 상태 정보가 제공될 수 있다. 캡쳐 영상을 이용하여 얼굴 영상을 추출한 경우, 상기 시간은 캡쳐 시간 또는 현재 시간을 이용하여 알 수 있다. 저장 영상을 이용하여 얼굴 영상을 추출한 경우, 상기 시간은 상기 저장 영상의 영상 파일에 저장된 촬영 일시에 대한 정보를 이용하여 알 수 있다. 예를 들면, 도 50b에 도시된 바와 같이, 날짜에 따라 잡티 개수가 어떻게 변하고 있는지를 보여주어, 피부 상태를 알려줄 수 있다. 다른 예로서, 디바이스(100)는 시간에 따른 혈압, 피부색, 눈의 상태, 피부 상태 변화 등을 제공할 수 있다. 본 실시예에 따르면, 사용자가 시간에 따른 건강 상태의 변화를 용이하게 파악할 수 있도록 하는 효과가 있다.
According to an embodiment, the health state information may be provided in a form of notifying a change in the health state information over time. When a face image is extracted using a captured image, the time may be known using the capture time or the current time. When a face image is extracted using a stored image, the time can be known by using information about a photographing date and time stored in an image file of the stored image. For example, as shown in FIG. 50B , it is possible to show how the number of blemishes changes according to the date, thereby indicating the skin condition. As another example, the
도 51는 일 실시예에 따라 건강 상태 정보를 제공하는 화면을 나타낸 도면이다.51 is a diagram illustrating a screen for providing health state information according to an exemplary embodiment.
일 실시예에 따르면, 디바이스(100)는 얼굴 영상과 함께 건강 상태 정보를 표시할 수 있다. 예를 들면, 도 51에 도시된 바와 같이, 1주일 전과 오늘의 잡티 개수 변화를 얼굴 영상을 이용하여 보여줄 수 있다. 본 실시예에 따르면 직관적이고 시각적으로 건강 상태의 변화를 알려주는 효과가 있다.According to an embodiment, the
또한 본 실시예에 따르면, 디바이스(100)는 최상의 상태와 현재의 상태를 비교하여 얼굴 영상과 건강 상태 정보를 함께 제공할 수 있다. 예를 들면, 최상의 피부 상태를 나타내는 얼굴 영상과, 현재 상태를 나타내는 얼굴 영상을 함께 표시할 수 있다. 본 실시예에 따르면, 사용자가 현재의 상태를 최상의 상태와 비교하여, 현재의 상태를 직관적으로 파악할 수 있는 효과가 있다.Also, according to the present embodiment, the
또한 본 실시예에 따르면, 디바이스(100)는 해당 사용자의 얼굴 영상이 아니더라도, 정상 상태를 나타내는 기준 얼굴 영상과 해당 사용자의 현재 상태를 나타내는 얼굴 영상을 함께 표시하여 건강 상태 정보를 제공할 수 있다. 본 실시예에 따르면, 사용자는 자신의 건강 상태를 직관적으로 파악할 수 있는 효과가 있다.
Also, according to the present embodiment, the
도 52은 일 실시예에 따라 건강 상태 정보를 제공하는 화면을 나타낸 도면이다.52 is a diagram illustrating a screen for providing health state information according to an exemplary embodiment.
일 실시예에 따르면, 디바이스(100)는 건강 상태 정보에 기초한 어드바이스를 사용자에게 제공할 수 있다. 예를 들면, 사용자의 피부 상태가 좋지 않은 경우, 비타민 C를 보충하라는 어드바이스가 제공될 수 있다. 이러한 경우, 사용자가 비타민 C를 하루 2회 보충하도록 유도하기 위하여, 하루 2회 소정의 시간에 비타민 C를 보충하라는 알림을 팝업 메시지 등의 형태로 제공할 수 있다. 또한 예를 들면, 디바이스(100)는 사용자에게 소정 시간에 운동을 유도하는 메시지 또는 알림을 제공할 수 있다.According to an embodiment, the
또한, 디바이스(100)는 사용자의 건강 상태 정보에 기초하여, 사용자에게 필요한 음식, 생활 습관 및 운동 등을 알리는 정보를 제공할 수 있다.
In addition, the
도 53a 및 53b는 일 실시예에 따른, 디바이스(100)가 캘린더 형식으로 사용자의 건강 상태 정보를 제공하는 방법을 설명하는 도면이다.53A and 53B are diagrams illustrating a method for the
도 53a를 참조하면, 디바이스(100)는 주 또는 달 별로 날짜를 하나의 화면에 나타내는 캘린더를 디스플레이할 수 있다. 또한, 디바이스(100)는 날짜에 대응하는 건강 상태 정보를 디스플레이하기 위한 사용자 인터페이스(5310)를 디스플레이할 수 있다.Referring to FIG. 53A , the
도 53b를 참조하면, 디바이스(100)는, 날짜에 대응하는 건강 상태 정보를 디스플레이하기 위한 사용자 인터페이스(5310)를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 각각의 날짜에 대응하는 영역에 복수의 얼굴 영상 중 각각의 날짜에 촬영된 얼굴 영상에 대응하는 건강 상태 정보를 디스플레이할 수 있다. Referring to FIG. 53B , as the
디바이스(100)에는 날짜에 대응하여 얼굴 영상에 대응하는 건강 상태 정보 및 해당 날짜에 촬영된 얼굴 영상의 식별 정보가 저장되어 있을 수 있다. 이 경우, 각각의 날짜에 대응하는 건강 상태 정보는 해당 날짜에 촬영된 얼굴 영상으로부터 추출된 얼굴 상태 정보로부터 획득된 건강 상태 정보일 수 있다. The
또한, 하나의 날짜를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 선택된 날짜에 촬영된 얼굴 영상(5340) 및 선택된 날짜에 촬영된 얼굴 영상으로부터 추출된 얼굴 상태 정보로부터 획득된 건강 상태 정보(5330)를 함께 디스플레이할 수 도 있다.
In addition, upon receiving the user input for selecting one date, the
도 54는 일 실시예에 따른, 디바이스(100)가 소셜 네트워크 어플리케이션 실행 시 사용자의 건강 상태 정보를 표시하는 방법을 설명하는 도면이다.54 is a diagram illustrating a method of displaying, by the
도 54를 참조하면, 디바이스(100)는 소셜 네트워크 어플리케이션 실행 시 사용자의 건강 상태 정보를 표시할 수 있다.Referring to FIG. 54 , the
예를 들어, 디바이스(100)는 얼굴 영상에 대응하는 사용자의 건강 상태 정보를 저장할 수 있다. 디바이스(100)는 가장 최근에 촬영된 사용자의 얼굴 영상에 대응하는 건강 상태 정보를 사용자의 현재 건강 상태 정보로써 저장할 수 있다. 이 경우, 사용자의 현재 건강 상태 정보는 기 결정된 위치에 저장될 수 있다. 이에 따라, 디바이스(100)에서 실행되는 어플리케이션은 기 결정된 위치로부터 사용자의 현재 건강 상태 정보를 추출할 수 있다. For example, the
또한, 디바이스(100)에서 실행되는 어플리케이션은 사용자의 현재 건강 상태 정보에 따라, 사용자의 상태를 나타내는 이미지(5410)를 달리하여 디스플레이할 수도 있다. 예를 들어, 디바이스(100)에서 실행되는 어플리케이션은 사용자의 건강 상태가 기준 이하인 경우, 사용자를 나타내는 이미지로써 아픈 사람을 나타내는 이미지를 디스플레이할 수 있다.
Also, the application executed on the
도 55는 일 실시예에 따른, 디바이스(100)에 대한 블록도를 도시한다.55 shows a block diagram of
도 55에 도시된 바와 같이, 일 실시예에 따른, 디바이스(100)는 디스플레이부(110), 센싱부(190), 통신부(130), 촬상부(155), 메모리(120) 및 제어부(170)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수 구성 요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 디바이스(100)는 구현될 수 있다.As shown in FIG. 55 , according to an embodiment, the
디바이스(100)는 사용자의 얼굴이 나타난 입력 영상을 획득할 수 있다. 예를 들어, 디바이스(100)는 사용자가 미리 설정된 얼굴 영상 획득 조건에 맞추어 사용자의 얼굴을 촬영하는 템플릿 촬영을 통해 입력 영상을 획득할 수 있다. 이 경우, 디스플레이부(110)는, 미리 설정된 얼굴 영상 획득 조건에 따라 얼굴을 촬영하기 위한 가이드 정보를 화면에 디스플레이할 수 있다. 사용자의 얼굴이 촬상부(155)에 접근함에 따라, 디바이스(100)는 촬상부(155)를 통해 사용자의 얼굴을 포함하는 입력 영상을 수신할 수 있다.The
촬영부촬상부(155)는 입사광을 광전 변환하여 전기적인 촬상 신호를 생성한다. 촬상부(155)는 렌즈, 조리개, 및 촬상 소자를 포함할 수 있다. 또한 촬상부(155)는 기계식 셔터 또는 전자식 셔터 방식으로 구현될 수 있다.The imaging
본 실시예에 따르면, 상기 입력 영상은 촬상부(155)를 이용하여 촬영된 영상일 수 있다. 상기 입력 영상은 예를 들면, 촬상부(155)에서 촬영된 캡쳐 영상, 프리뷰 영상, 동영상 중 적어도 하나를 포함할 수 있다.According to the present embodiment, the input image may be an image photographed using the
일 실시예에 따르면, 사용자가 촬상부(155)를 이용하여 영상을 촬영하고, 캡쳐 영상이 상기 얼굴 영상 획득 조건을 충족하는 경우, 제어부(170)는 캡쳐 영상을 얼굴 영상으로 이용할 수 있다. 다른 예로서, 상기 캡쳐 영상이 상기 얼굴 영상 획득 조건을 충족하는 경우, 해당 캡쳐 영상을 건강 진단을 위한 얼굴 영상으로 이용할지 여부를 사용자에게 문의하는 메시지를 출력하고, 사용자 선택에 따라 상기 캡쳐 영상을 상기 얼굴 영상으로 이용할 수 있다. 본 실시예에 따르면, 일반 모드에서 촬영한 경우에도, 특별한 조작 없이 건강 진단을 위한 얼굴 영상을 수집할 수 있다.According to an embodiment, when a user takes an image by using the
다른 실시예에 따르면, 디바이스(100)에서 제공되는 기존의 특정 모드 내에서 얼굴 영상이 촬영될 수 있다. 상기 특정 모드는 예를 들면, 얼굴 인증을 통해 디바이스(100)의 잠금 상태를 해제하는 얼굴 인증 모드, 셀프 촬영 모드, 인물 촬영 모드 등을 포함한다.According to another embodiment, a face image may be captured in an existing specific mode provided by the
촬상부(155)에는미리 결정된 촬영 파라미터가 설정되어 있을 수 있다. 상기 미리 결정된 촬영 파라미터는 예를 들면, 조리개 값, 플래시 발광 여부, 화이트밸런스 조건 등을 포함할 수 있다. A predetermined shooting parameter may be set in the
제어부(170)는 건강 진단 모드의 프리뷰 영상에서 상기 얼굴 영상 획득 조건이 충족되면 자동으로 영상 캡쳐를 수행하고, 캡쳐된 영상을 얼굴 영상으로 이용할 수 있다.When the condition for obtaining the face image is satisfied in the preview image of the health diagnosis mode, the
제어부(170)는 건강 진단 모드에서 셔터 릴리즈 신호의 입력에 의해 촬영이 수행되면, 처리부(110)는 캡쳐 영상이 얼굴 영상 획득 조건을 충족하는지 여부를 판단하여, 얼굴 영상 획득 조건 충족 여부에 대한 정보를 사용자에게 제공할 수도 있다. 또한, 제어부(170)는 캡쳐 영상이 얼굴 영상 획득 조건을 충족하면, 캡쳐 영상을 상기 얼굴 영상으로 이용할 수 있다.When photographing is performed by the input of a shutter release signal in the health diagnosis mode, the
또한, 디바이스(100)는 통신부(130)를 통해 디바이스(100)와 연결된 외부 네트워크로부터 입력 영상을 수신할 수도 있다.Also, the
입력 영상을 수신함에 따라, 제어부(180)는 입력 영상을 메모리(120)에 저장할 수 있다. 또한, 제어부(180)는 입력 영상으로부터 얼굴 영상을 획득할 수 있다.Upon receiving the input image, the controller 180 may store the input image in the
제어부(180)는 영상 처리부(185)를 통해 입력 영상으로부터 얼굴 영상을 획득할 수 있다. 영상 처리부(185)는 사용자 얼굴 검출부(181), 얼굴 영상 획득 조건 판단부(182), 얼굴 정규화부(183 를 포함할 수 있다.The controller 180 may obtain a face image from the input image through the
사용자 얼굴 검출부(181) 입력 영상에서 사람의 얼굴 영역을 검출하고, 검출된 얼굴 영역의 위치를 추출할 수 있다. 얼굴 영역의 위치를 검출함에 따라, 사용자 얼굴 검출부(181)는 검출된 얼굴 영역으로부터 얼굴의 특징을 추출할 수 있다. 얼굴 영역에서 얼굴의 특징을 추출하는 방법은 Gabor 필터 또는 LBP등 다양한 방법이 사용될 수 있다. The user
사용자 얼굴 검출부(181)는 각각의 얼굴 영역으로부터 추출된 얼굴의 특징을 기 등록된 사용자의 얼굴의 특징과 비교하여, 유사도가 기 설정된 범위내인 얼굴 영역을 사용자의 얼굴 영역으로 결정할 수 있다.The user
사용자의 얼굴 영역을 검출함에 따라, 얼굴 영상 획득 조건 판단부(182)는 입력 영상이 미리 설정된 얼굴 영상 획득 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 디바이스(100)는 입력 영상의 촬영 시의 조도가 기준 범위 내인지 여부를 판단할 수 있다. 또한, 디바이스(100)는 입력 영상 촬영 시 카메라가 흔들렸는지 여부를 판단할 수 있다. Upon detecting the user's face region, the face image acquisition
또한, 얼굴 영상 획득 조건 판단부(182)는 입력 영상의 얼굴 영역 내의 얼굴이 미리 설정된 얼굴 영상 획득 조건을 만족하는지 여부를 판단할 수 있다.Also, the face image
예를 들어, 얼굴 영상 획득 조건 판단부(182)는 얼굴의 각도가 정면 얼굴로부터 기준 각도 범위 이내에 위치하는지 여부를 판단할 수 있다. 또한, 얼굴 영상 획득 조건 판단부(182)는 입력 영상 내의 얼굴이 눈을 떴는지 여부를 판단할 수 있다. 또한, 얼굴 영상 획득 조건 판단부(182)는 입력 영상 내의 얼굴이 표정을 나타내는지 여부를 판단할 수 있다. 또한, 얼굴 영상 획득 조건 판단부(182)는 입력 영상 내의 얼굴에 귀가 있는지 여부를 판단할 수 있다. 또한, 얼굴 영상 획득 조건 판단부(182)는 입력 영상 내의 얼굴이 기준 크기 이상인지 여부를 판단할 수 있다. For example, the face image acquisition
입력 영상이 미리 설정된 얼굴 영상 획득 조건을 만족하는 경우, 제어부(186)는 입력 영상으로부터 얼굴 영역의 이미지를 얼굴 영상으로 획득할 수 있다.When the input image satisfies a preset face image acquisition condition, the
입력 영상으로부터 얼굴 영역의 이미지를 얼굴 영상으로 획득함에 따라, 얼굴 정규화부(183)는 얼굴 영상을 기 설정된 기준으로 정규화할 수 있다. As the image of the face region is acquired from the input image as the face image, the
예를 들어, 얼굴 정규화부(183)는 얼굴 영상의 크기를 기 설정된 크기로 변경할 수 있다. 또한, 얼굴 정규화부(183)는 얼굴 영상으로부터 빛의 색온도에 의한 영향을 조정할 수 있다. 또한, 얼굴 정규화부(183)는 얼굴 영상의 명도를 기 설정된 명도값으로 변경할 수 있다.For example, the
얼굴 영상을 정규화함에 따라, 제어부(180)는 건강 상태 정보 판단부(189)를 통해 얼굴 영상에 기초하여, 건강 상태 정보를 판단할 수 있다. 건강 상태 정보 판단부(189)는 진단 영역 추출부(186), 얼굴 상태 정보 추출부(187) 및 건강 상태 정보 추출부(188)를 포함할 수 있다.As the face image is normalized, the controller 180 may determine the health state information based on the face image through the health
진단 영역 추출부(186)는 얼굴 영상에서 기 설정된 얼굴 상태 정보를 추출할 진단 영역을 결정할 수 있다. The
예를 들어, 진단 영역 추출부(186)는 얼굴 영상에서 얼굴 구성 요소의 위치를 결정할 수 있다. 얼굴 구성 요소는 눈, 코 및 입 등을 포함할 수 있다. 진단 영역 추출부(186)는, 사람의 얼굴에서 눈, 눈썹, 입 등의 밝기가 얼굴 피부에 비해 어두운 특성을 이용하여, 얼굴 영상을 이진화화고, 어두운 영역의 위치를 눈, 눈썹 및 입 등의 위치로 결정할 수 있다. 또한, 진단 영역 추출부(186)는, 얼굴의 피부색 정보를 이용하여 얼굴 영상으로부터 살색이 아닌 영역을 추출하고, 추출된 영역을 눈, 눈썹 및 입 등의 위치로 결정할 수 있다. 또한, 얼굴에서 눈, 눈썹, 코 및 입 등의 위치는 일정한 패턴을 나타내므로, 진단 영역 추출부(186)는 얼굴의 패턴에 기초하여 얼굴 구성 요소의 위치를 결정하는 AAM방법을 이용하여 얼굴 구성 요소의 위치를 결정할 수도 있다.For example, the
얼굴 구성 요소의 위치를 결정함에 따라, 진단 영역 추출부(186)는 얼굴 구성 요소의 위치를 기준으로, 진단 영역의 위치를 결정할 수 있다. As the location of the facial component is determined, the
진단 영역의 위치가 결정됨에 따라, 얼굴 상태 정보 추출부(178)는 결정된 진단 영역에서 얼굴 상태 정보를 추출할 수 있다. As the location of the diagnosis region is determined, the facial state information extractor 178 may extract facial state information from the determined diagnosis region.
얼굴 상태 정보는 인체에 이상이 발생하였을 때 얼굴에 나타나는 증상에 관한 정보일 수 있다. 얼굴 상태 정보는 예를 들면, 얼굴의 색, 잡티 또는 여드름의 개수 및 크기, 눈의 충혈 여부, 눈의 색, 동공의 크기, 동공의 움직임, 얼굴 크기, 얼굴 윤곽선의 형태, 입술의 색, 입술의 갈라짐 여부, 얼굴의 각 기관(눈, 코, 입, 귀, 눈썹)의 위치, 모발의 색, 모발의 윤기, 모발의 갈라짐 여부, 얼굴 근육의 움직임 등을 포함할 수 있다.The face state information may be information about a symptom appearing on the face when an abnormality occurs in the human body. The facial state information may include, for example, the color of the face, the number and size of blemishes or acne, whether the eyes are red, the color of the eyes, the size of the pupil, the movement of the pupil, the size of the face, the shape of the face outline, the color of the lips, the lips It may include whether or not the skin is split, the position of each organ (eyes, nose, mouth, ears, eyebrows) of the face, the color of the hair, the gloss of the hair, whether the hair is split, the movement of the facial muscles, and the like.
진단 영역에 대응하여 추출할 수 있는 얼굴 상태 정보의 종류 및 얼굴 상태 정보를 추출하는 방법은 메모리(120)에 기 저장되어 있을 수 있다.A type of facial state information that can be extracted corresponding to the diagnosis area and a method of extracting the facial state information may be pre-stored in the
얼굴 상태 정보의 추출은 상기 얼굴 영상을 분석하여 수행될 수 있다. 예를 들면, 얼굴 상태 정보 추출부(178)는 얼굴 영상의 얼굴 영역의 색 정보, 얼굴 인식 알고리즘, 얼굴 표정 인식 알고리즘 등을 이용하여 얼굴 상태 정보를 추출할 수 있다. Extraction of face state information may be performed by analyzing the face image. For example, the face state information extractor 178 may extract face state information using color information of a face region of a face image, a face recognition algorithm, a face expression recognition algorithm, and the like.
얼굴 영상으로부터 얼굴 상태 정보가 추출됨에 따라, 건강 상태 정보 추출부(188)는 얼굴 상태 정보를 이용하여 사용자의 건강과 관련된 건강 상태 정보를 획득할 수 있다. As the face state information is extracted from the face image, the health
건강 상태 정보는 얼굴 상태 정보로부터 예측되는 사용자의 질병 또는 생활 습관에 관한 정보를 의미할 수 있다. 예를 들어, 얼굴 영상에서 눈 아래 영역이 부푼 것으로 판단된 경우, 디바이스(100)는 사용자가 갑상선 기능 항진증 또는 알레르기 질환이 발생한 것으로 판단할 수 있다. 또한, 얼굴 영상에서 눈 아래 영역이 검게 변한것으로 판단된 경우, 디바이스(100)는 사용자가 알레르기성 비염이 발생한 것으로 판단할 수 있다.The health state information may refer to information about a user's disease or lifestyle predicted from the face state information. For example, when it is determined that the area under the eyes is swollen in the face image, the
제어부(180)는 산출된 건강 상태 정보를 디스플레이부(110)를 통해 제공할 수 있다.
The controller 180 may provide the calculated health state information through the
제어부(170)는 메모리(120)에 저장된 영상 파일로부터 상기 얼굴 영상을 획득할 수 있다. 또한, 제어부(170)는 사진 앨범, 갤러리 등의 기능을 통해 메모리(120)에 저장된 영상 파일을 열람할 수 있는 인터페이스를 제공할 수 있다.The
메모리(120)는 하나 이상의 영상 파일을 저장할 수 있다. 영상 파일은 정지 영상 파일 및 동영상 파일을 포함한다. 메모리(120)는 촬영 영상으로부터 생성된 영상 파일 및/또는 외부 장치로부터 수신한 영상 파일을 저장할 수 있다. 상기 영상 파일은 JPEG(joint photographic coding experts group), MPEG(moving picture expert group), MP4, AVI(audio visual interleaving), ASF(advanced streaming format) 등의 형식을 가질 수 있다.The
일 실시예에 따른, 디바이스(100)는 센싱부(190)를 포함할 수 있다. 또한, 디바이스(100)는 센싱부(190)에서 검출된 생체 파라미터를 이용하여 얼굴 상태 정보 및 건강 상태 정보를 획득할 수 있다. 상기 생체 파라미터는 예를 들면 혈압, 심박동수, 혈당, 산성도, 혈중 헤모글로빈 농도, 산소 포화도 등을 포함할 수 있다 센싱부(190)부는 예를 들면, 심박동수를 검출하는 센서, 혈압 측정 센서, 산성도를 측정하는 센서 등으로 구현될 수 있다.According to an embodiment, the
일 실시예에 따르면, 제어부(170)는 사용자 입력부(미도시)를 통해 상기 얼굴 상태 정보 및 건강 상태 정보를 사용자로부터 입력 받고, 입력 받은 얼굴 상태 정보 및 건강 상태 정보를 얼굴 영상과 함께 이용하여, 새로운 얼굴 상태 정보 및 건강 상태 정보를 획득할 수 있다. 사용자로부터 입력 받을 수 있는 얼굴 상태 정보는, 예를 들면 키, 몸무게, 나이, 혈압 등을 포함할 수 있다. 사용자로부터 입력 받을 수 있는 건강 상태 정보는 예를 들면, 지병, 과거 병력, 가족력, 현재 컨디션 정보 등을 포함할 수 있다.According to an embodiment, the
사용자로부터 입력 받은 얼굴 상태 정보 및 건강 상태 정보는 별도의 파일로 저장되어 관리되거나, 어플리케이션에서 관리되거나, 서비스 서버 등에서 관리될 수 있다. 또한 사용자로부터 입력 받은 얼굴 상태 정보 및 건강 상태 정보는 사용자 별로 관리될 수 있다.The facial state information and health state information input by the user may be stored and managed as separate files, managed in an application, or managed in a service server. In addition, face state information and health state information input from a user may be managed for each user.
통신부(130)는 외부 장치와 통신을 수행할 수 있다. 통신부(130)는 유선 또는 무선으로 외부 장치와 통신을 행할 수 있다. 일 실시예에 따르면, 통신부(130)는 클라우드 서버, SNS(social network service) 서버, 건강 진단 서비스를 제공하는 서비스 서버 등과 통신할 수 있다. 또한, 통신부(130)는 스마트폰, 카메라, 태블릿 PC, PDA, 노트북, 휴대폰 등 다른 전자 장치와 통신할 수 있다.The
디바이스(100)는 스마트폰, 태블릿 PC, 휴대폰, 카메라, 노트북, PDA(personal digital assistants) 등의 형태로 구현될 수 있다.
The
도 56는 본 개시의 다른 실시 예에 따른 디바이스(100)의 구성을 나타내는 블록도이다.56 is a block diagram illustrating the configuration of the
도 56에 도시된 바와 같이, 디바이스(100) 의 구성은, 예를 들어,카메라, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 네비게이션 장치, 디지털 TV, 손목 시계(Wrist watch) 또는 HMD(Head-Mounted Display)와 같은 웨어러블 디바이스(100)(Wearable device) 등과 같은 다양한 유형의 장치에 적용될 수 있다. As shown in FIG. 56 , the configuration of the
도 56에 따르면, 디바이스(100) 는 디스플레이부(110), 제어부(170), 메모리(120), GPS 칩(125), 통신부(130), 비디오 프로세서(135), 오디오 프로세서(140), 사용자 입력부(145), 마이크부(150), 촬상부(155), 스피커부(160), 움직임 감지부(165) 중 적어도 하나를 포함 할 수 있다. Referring to FIG. 56 , the
또한, 디스플레이부(110)는 표시패널(111) 및 표시 패널(111)을 제어하는 컨트롤러(미도시)를 포함할 수 있다. 표시패널(111)에는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 표시패널(111)은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 디스플레이부(110)는 사용자 입력부(145)의 터치 패널(147)과 결합되어 터치 스크린(미도시)으로 제공될 수 있다. 예를 들어, 터치 스크린(미도시)은 표시 패널(111)과 터치 패널(147)이 적층 구조로 결합된 일체형의 모듈을 포함할 수 있다.Also, the
메모리(120)는 내장 메모리(Internal Memory)(미도시) 및 외장 메모리(External Memory)(미도시) 중 적어도 하나를 포함할 수 있다. The
내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 제어부(170)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 제어부(170)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다.The built-in memory includes, for example, a volatile memory (eg, dynamic RAM (DRAM), static RAM (SRAM), synchronous dynamic RAM (SDRAM), etc.), a non-volatile memory (eg, One Time Programmable ROM (OTPROM)). ), Programmable ROM (PROM), Erasable and Programmable ROM (EPROM), Electrically Erasable and Programmable ROM (EEPROM), Mask ROM, Flash ROM, etc.), hard disk drive (HDD), or solid state drive (SSD). may include According to an embodiment, the
외장 메모리는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.The external memory includes, for example, at least one of CF (Compact Flash), SD (Secure Digital), Micro-SD (Micro Secure Digital), Mini-SD (Mini Secure Digital), xD (extreme Digital), and Memory Stick. may include
메모리(120)는 디바이스(100) 의 동작에 사용되는 각종 프로그램 및 데이터를 저장할 수 있다. 예를 들어, 메모리(120)에는 잠금 화면에 표시될 컨텐츠의 적어도 일부를 임시 또는 반영구적으로 저장할 수 있다.The
제어부(170)는 메모리(120)에 저장된 컨텐츠의 일부가 디스플레이부(110)에 표시되도록 디스플레이부(110)를 제어할 수 있다. 다시 말하자면, 제어부(170)는 메모리(120)에 저장된 컨텐츠의 일부를 디스플레이부(110)에 표시할 수 있다. 또는, 제어부(170)는 디스플레이부(110)의 일 영역에서 사용자 제스처가 이루어지면, 사용자의 제스처에 대응되는 제어 동작을 수행할 수 있다. The
제어부(170)는 RAM(171), ROM(172), CPU(173), GPU(Graphic Processing Unit)(174) 및 버스(175) 중 적어도 하나를 포함 할 수 있다. RAM(171), ROM(172), CPU(173) 및 GPU(174) 등은 버스(175)를 통해 서로 연결될 수 있다. The
CPU(173)는 메모리(120)에 액세스하여, 메모리(120)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메모리(120)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.The
ROM(172)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 예로, 휴대 단말기(100)는 턴온 명령이 입력되어 전원이 공급되면, CPU(173)가 ROM(172)에 저장된 명령어에 따라 메모리(120)에 저장된 O/S를 RAM(171)에 복사하고, O/S를 실행시켜 시스템을 부팅시킬 수 있다. 부팅이 완료되면, CPU(173)는 메모리(120)에 저장된 각종 프로그램을 RAM(171)에 복사하고, RAM(171)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU(174)는 디바이스(100)(100)의 부팅이 완료되면, 디스플레이부(110)의 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU(174)는 컨텐츠, 아이콘, 메뉴 등과 같은 다양한 객체를 포함하는 전자문서가 표시된 화면을 생성할 수 있다. GPU(174)는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 그리고, GPU(174)는 연산된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. GPU(174)에서 생성된 화면은 디스플레이부(110)로 제공되어, 디스플레이부(110)의 각 영역에 각각 표시될 수 있다. The
GPS 칩(125)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 디바이스(100)의 현재 위치를 산출할 수 있다. 제어부(170)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(125)을 이용하여 사용자 위치를 산출할 수 있다.The
통신부(130)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 디바이스(100)와 통신을 수행할 수 있다. 통신부(130)는 와이파이칩(131), 블루투스 칩(132), 무선 통신 칩(133), NFC 칩(134) 중 적어도 하나를 포함할 수 있다. 제어부(170)는 통신부(130)를 이용하여 각종 외부 디바이스(100)와 통신을 수행할 수 있다.The
와이파이 칩(131), 블루투스 칩(132)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩(131)이나 블루투스 칩(132)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(133)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(134)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.The Wi-
비디오 프로세서(135)는 통신부(130)를 통해 수신된 컨텐츠 또는, 메모리(120)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리할 수 있다. 비디오 프로세서(135)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다. The
오디오 프로세서(140)는 통신부(130)를 통해 수신된 컨텐츠 또는, 메모리(120)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리할 수 있다. 오디오 프로세서(140)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.The
제어부(170)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(135) 및 오디오 프로세서(140)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 스피커부(160)는 오디오 프로세서(140)에서 생성한 오디오 데이터를 출력할 수 있다.When a playback program for multimedia content is executed, the
사용자 입력부(145)는 사용자로부터 다양한 명령어를 입력 받을 수 있다. 사용자 입력부(145)는 키(146), 터치 패널(147) 및 펜 인식 패널(148) 중 적어도 하나를 포함할 수 있다. The
키(146)는 디바이스(100)의 본체 외관의 전면부나 측면부, 배면부 등의 다양한 영역에 형성된 기계적 버튼, 휠 등과 같은 다양한 유형의 키를 포함할 수 있다.The key 146 may include various types of keys, such as mechanical buttons and wheels, which are formed in various areas, such as the front, side, or rear of the main body of the
터치 패널(147)은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널(147)이 표시 패널(111)과 결합하여 터치 스크린(미도시)을 구성한 경우, 터치 스크린은 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다. 정전식은 터치 스크린 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 터치 스크린 표면에 터치되었을 때 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 스크린에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 터치 스크린에서 발생하는 터치 이벤트는 주로 사람의 손가락에 의하여 생성될 수 있으나, 정전 용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있다.The
펜 인식 패널(148)은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 펜의 근접 입력 또는 터치 입력을 감지하고 감지된 펜 근접 이벤트 또는 펜 터치 이벤트를 출력할 수 있다. 펜 인식 패널(148)은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널(148)은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널(148)의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널(148)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다. 펜 인식 패널(148)은 표시 패널(111)의 하부에 일정 면적, 예를 들어, 표시 패널(111)의 표시 영역을 커버할 수 있는 면적을 가지고 마련될 수 있다. The
마이크부(150)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환할 수 있다. 제어부(170)는 마이크 부(150)를 통해 입력되는 사용자 음성을 통화 동작에서 이용하거나, 오디오 데이터로 변환하여 메모리(120)에 저장할 수 있다.The
촬상부(155)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상할 수 있다. 촬상부(155)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수도 있다. The
촬상부(155) 및 마이크부(150)가 마련된 경우, 제어부(170)는 마이크부(150)를 통해 입력되는 사용자 음성이나 촬상부(155)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 예컨대, 디바이스(100)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(170)는 촬상부(155)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행할 수 있다. 음성 제어 모드로 동작하는 경우 제어부(170)는 마이크부(150)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수 있다. When the
움직임 감지부(165)는 디바이스(100)의 본체 움직임을 감지할 수 있다. 디바이스(100)는 다양한 방향으로 회전되거나 기울어질 수 있다. 이 때, 움직임 감지부(165)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다. The
그 밖에, 도 68에 도시하지는 않았으나, 실시예에는, 디바이스(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있다. In addition, although not shown in FIG. 68, in the embodiment, a USB port to which a USB connector can be connected in the
전술한 디바이스(100)의 구성 요소들의 명칭은 달라질 수 있다. 또한, 본 개시에 따른 디바이스(100)는 전술한 구성요소들 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다.Names of components of the above-described
한편, 본 발명은 컴퓨터 판독가능 저장매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 저장매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.On the other hand, the present invention can be implemented by storing a computer-readable code in a computer-readable storage medium. The computer readable storage medium includes all kinds of storage devices in which data readable by a computer system is stored.
상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 저장매체로부터 프로세서에 의하여 독출되어 실행될 때, 본 발명에 따른 전자 장치 제어 방법을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 발명의 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다. When the computer readable code is read from the computer readable storage medium by a processor and executed, the computer readable code is configured to perform the steps of implementing the electronic device control method according to the present invention. The computer readable code may be implemented in various programming languages. And functional programs, codes, and code segments for implementing the embodiments of the present invention may be easily programmed by those skilled in the art to which the present invention pertains.
컴퓨터 판독가능 저장매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 반송파(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터 판독가능 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행되는 것도 가능하다.Examples of the computer-readable storage medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and includes implementation in the form of a carrier wave (eg, transmission over the Internet). In addition, the computer-readable storage medium may be distributed in network-connected computer systems, so that the computer-readable code is stored and executed in a distributed manner.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although embodiments of the present invention have been described with reference to the above and the accompanying drawings, those of ordinary skill in the art to which the present invention pertains can implement the present invention in other specific forms without changing the technical spirit or essential features. You will understand that there is Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
Claims (20)
디스플레이;
GPS 센서;
조도 센서;
사용자의 생체 정보를 감지하는 생체 센서;
명령어들을 저장하는 메모리; 및
상기 명령어들을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하고,
상기 적어도 하나의 프로세서는 상기 명령어들을 실행하여:
상기 카메라를 통해 상기 사용자의 복수의 제1 얼굴 영상들을 획득하고,
상기 복수의 제1 얼굴 영상들로부터 획득된 복수의 제1 얼굴 상태 정보들의 평균값을 획득하고,
상기 카메라를 통해 상기 사용자의 얼굴을 촬영함으로써 제2 얼굴 영상을 획득하고, 상기 제2 얼굴 영상으로부터 상기 사용자의 얼굴의 상태를 나타내는 제2 얼굴 상태 정보를 획득하고,
상기 조도 센서를 이용하여 상기 제2 얼굴 영상을 획득하는 상황에서의 조도 정보를 획득하고,
상기 GPS 센서를 이용하여 상기 제2 얼굴 영상을 획득하는 촬영 장소 정보 및 촬영 시간 정보를 획득하고,
상기 생체 센서로부터 상기 제2 얼굴 영상을 획득하는 시점에서 감지된 상기 사용자의 생체 정보를 획득하고,
상기 획득된 조도 정보, 촬영 장소 정보, 촬영 시간 정보, 및 생체 정보 중 적어도 하나를 포함하는 촬영 상황 정보 및 상기 제2 얼굴 상태 정보를 상기 복수의 제1 얼굴 상태 정보들의 상기 평균값과 비교한 비교 결과에 기초하여, 상기 사용자의 건강 상태를 나타내는 건강 상태 정보를 획득하고,
상기 획득된 건강 상태 정보를 상기 디스플레이를 통해 디스플레이하는, 디바이스.
camera;
display;
GPS sensor;
light sensor;
a biometric sensor that detects the user's biometric information;
a memory storing instructions; and
at least one processor configured to execute the instructions;
including,
The at least one processor executes the instructions to:
Obtaining a plurality of first face images of the user through the camera,
obtaining an average value of a plurality of first face state information obtained from the plurality of first face images,
obtaining a second face image by photographing the user's face through the camera, and obtaining second face state information indicating the state of the user's face from the second face image;
Obtaining illuminance information in a situation in which the second face image is acquired using the illuminance sensor,
Obtaining photographing location information and photographing time information for obtaining the second face image by using the GPS sensor,
Obtaining the user's biometric information detected at the time of acquiring the second face image from the biometric sensor,
A comparison result of comparing the obtained photographing situation information including at least one of the obtained illuminance information, photographing location information, photographing time information, and biometric information and the second facial condition information with the average value of the plurality of first facial condition information to obtain health state information indicating the health state of the user,
A device for displaying the obtained health state information through the display.
상기 적어도 하나의 프로세서는 상기 명령어들을 실행하여:
미리 설정된 얼굴 영상 획득 조건에 따라, 상기 사용자의 얼굴 촬영을 안내하는 촬영 가이드 정보를 상기 디스플레이를 통해 디스플레이하고,
상기 카메라가 상기 얼굴 영상 획득 조건에 맞게 상기 사용자의 얼굴을 촬영하였는지 여부를 판단하고, 상기 카메라가 상기 얼굴 영상 획득 조건에 맞게 상기 사용자의 얼굴을 촬영한 경우, 상기 촬영에 의해 획득된 영상을 상기 사용자의 제2 얼굴 영상으로 결정하는, 디바이스.
The method of claim 1,
The at least one processor executes the instructions to:
according to a preset face image acquisition condition, displaying shooting guide information for guiding the user's face shooting through the display,
It is determined whether the camera has photographed the user's face according to the face image acquisition condition, and when the camera has photographed the user's face according to the face image acquisition condition, the image obtained by the photographing is used as the Determining the user's second face image, the device.
상기 적어도 하나의 프로세서는 상기 명령어들을 실행하여:
상기 제2 얼굴 영상의 크기를 기 설정된 크기로 확대 또는 축소함으로써, 상기 제2 얼굴 영상을 정규화하도록 구성된, 디바이스.
The method of claim 1,
The at least one processor executes the instructions to:
and normalize the second face image by enlarging or reducing the size of the second face image to a preset size.
상기 적어도 하나의 프로세서는 상기 명령어들을 실행하여:
상기 제2 얼굴 영상이 촬영된 시점에 상기 사용자의 얼굴을 비춘 빛(Illumination)의 색온도를 획득하고, 상기 획득된 색온도에 기초하여 상기 제2 얼굴 영상의 색조값을 조정함으로써, 상기 제2 얼굴 영상을 정규화하도록 구성된, 디바이스.
The method of claim 1,
The at least one processor executes the instructions to:
The second face image is obtained by obtaining a color temperature of illumination on the user's face at a time point at which the second face image is captured, and adjusting a hue value of the second face image based on the obtained color temperature. A device configured to normalize .
상기 적어도 하나의 프로세서는 상기 명령어들을 실행하여:
상기 획득된 생체 정보를 선택하기 위한 사용자 인터페이스를 상기 디스플레이를 통해 디스플레이하고,
상기 생체 정보를 선택하는 사용자 입력을 수신함에 따라, 상기 선택된 생체 정보에 더 기초하여 상기 사용자의 상기 건강 상태 정보를 상기 디스플레이를 통해 디스플레이하도록 구성된, 디바이스.
The method of claim 1,
The at least one processor executes the instructions to:
displaying a user interface for selecting the obtained biometric information through the display;
and display, through the display, the health state information of the user further based on the selected biometric information, upon receiving a user input for selecting the biometric information.
상기 복수의 제1 얼굴 영상들은, 상기 제2 얼굴 영상이 촬영되기 이전의 날짜들에 촬영된 영상들인, 디바이스.
The method of claim 1,
The device, wherein the plurality of first face images are images captured on dates before the second face image is captured.
상기 적어도 하나의 프로세서는 상기 명령어들을 실행하여:
상기 디스플레이를 통해, 상기 제2 얼굴 영상 및 상기 건강 상태 정보를 함께 디스플레이하고, 상기 제2 얼굴 영상의 전체 영역 중에서 상기 디스플레이된 건강 상태 정보와 관련된 영역 상에, 상기 디스플레이된 건강 상태 정보와 관련된 영역임을 나타내는 이미지를 디스플레이하도록 구성된, 디바이스.
The method of claim 1,
The at least one processor executes the instructions to:
Through the display, the second face image and the health status information are displayed together, and on an area related to the displayed health status information among the entire area of the second face image, an area related to the displayed health status information A device configured to display an image indicating that
상기 복수의 제1 얼굴 상태 정보들의 상기 평균값과 상기 제2 얼굴 상태 정보는 얼굴 부위에 따라 비교되는, 디바이스.
The method of claim 1,
and the average value of the plurality of first facial state information and the second facial state information are compared according to a face part.
상기 복수의 제1 얼굴 상태 정보들의 상기 평균값과 상기 제2 얼굴 상태 정보는, 얼굴의 색, 눈의 색, 입술의 색, 및 모발의 색 중 적어도 하나에 따라 비교되는, 디바이스.
The method of claim 1,
The device, wherein the average value of the plurality of first facial state information and the second facial state information are compared according to at least one of a face color, an eye color, a lip color, and a hair color.
상기 복수의 제1 얼굴 상태 정보의 상기 평균값과 상기 제2 얼굴 상태 정보는 얼굴 크기, 동공의 크기, 잡티의 크기, 여드름의 크기, 잡티의 수, 여드름의 개수, 얼굴 윤곽선의 형태, 입술의 갈라짐, 및 모발의 갈라짐 중 적어도 하나에 따라 비교되는, 디바이스.
The method of claim 1,
The average value of the plurality of first facial condition information and the second facial condition information may include a face size, a size of a pupil, a size of a blemish, a size of a pimple, a number of blemishes, a number of acne, a shape of a facial contour, and a cracked lip. , and splitting of the hair.
상기 복수의 제1 얼굴 영상들로부터 획득된 복수의 제1 얼굴 상태 정보들의 평균값을 획득하는 단계;
상기 카메라를 통해 상기 사용자의 얼굴을 촬영함으로써 제2 얼굴 영상을 획득하는 단계;상기 제2 얼굴 영상으로부터 상기 사용자의 얼굴의 상태를 나타내는 제2 얼굴 상태 정보를 획득하는 단계;
상기 제2 얼굴 영상을 획득하는 시점에서의 조도 정보, 촬영 장소 정보, 촬영 시간 정보, 및 상기 사용자의 생체 정보 중 적어도 하나를 포함하는 촬영 상황 정보를 획득하는 단계;
상기 제2 얼굴 상태 정보를 상기 복수의 제1 얼굴 상태 정보들의 상기 평균값과 비교한 비교 결과 및 상기 획득된 촬영 상황 정보에 기초하여, 상기 사용자의 건강 상태를 나타내는 건강 상태 정보를 획득하는 단계; 및
상기 획득된 건강 상태 정보를 상기 디바이스의 디스플레이를 통해 디스플레이하는 단계;
를 포함하고,
상기 촬영 상황 정보를 획득하는 단계는,
조도 센서를 이용하여 상기 제2 얼굴 영상을 획득하는 시점에서의 조도 정보를 획득하는 단계;
GPS 센서를 이용하여 상기 제2 얼굴 영상을 획득하는 촬영 장소 정보 및 촬영 시간 정보를 획득하는 단계; 및
상기 사용자의 신체에 부착된 생체 센서로부터 상기 제2 얼굴 영상을 획득하는 시점에서 감지된 상기 사용자의 생체 정보를 획득하는 단계;
를 포함하는, 건강 상태 정보 제공 방법.
acquiring, by a device, a plurality of first face images of a user through a camera of the device;
obtaining an average value of a plurality of first face state information obtained from the plurality of first face images;
obtaining a second face image by photographing the user's face through the camera; obtaining second face state information indicating the state of the user's face from the second face image;
obtaining photographing situation information including at least one of illuminance information, photographing location information, photographing time information, and biometric information of the user at the time of acquiring the second face image;
obtaining health state information indicating the health state of the user based on a comparison result of comparing the second facial state information with the average value of the plurality of first facial state information and the obtained photographing situation information; and
displaying the acquired health state information through a display of the device;
including,
The step of obtaining the shooting situation information includes:
acquiring illuminance information at the time of acquiring the second face image using an illuminance sensor;
obtaining photographing location information and photographing time information for obtaining the second face image by using a GPS sensor; and
acquiring the user's biometric information detected at the time of acquiring the second face image from the biometric sensor attached to the user's body;
A method of providing health condition information, comprising:
상기 사용자의 제2 얼굴 영상을 획득하는 단계는,
미리 설정된 얼굴 영상 획득 조건에 따라, 상기 사용자의 얼굴 촬영을 안내하는 촬영 가이드 정보를 상기 디스플레이를 통해 디스플레이하는 단계; 및
상기 카메라가 상기 얼굴 영상 획득 조건에 맞게 상기 사용자의 얼굴을 촬영하였는지 여부를 판단하고, 상기 카메라가 상기 얼굴 영상 획득 조건에 맞게 상기 사용자의 얼굴을 촬영한 경우, 상기 촬영에 의해 획득된 영상을 상기 사용자의 제2 얼굴 영상으로 결정하는 단계를 포함하는, 방법.
12. The method of claim 11,
The step of obtaining a second face image of the user comprises:
displaying, through the display, photographing guide information for guiding photographing of the user's face according to a preset face image acquisition condition; and
It is determined whether the camera has photographed the user's face according to the face image acquisition condition, and when the camera has photographed the user's face according to the face image acquisition condition, the image obtained by the photographing is used as the and determining the second face image of the user.
상기 제2 얼굴 영상의 크기를 기 설정된 크기로 확대 또는 축소함으로써, 상기 제2 얼굴 영상을 정규화하는 단계를 더 포함하는, 방법.
12. The method of claim 11,
Normalizing the second face image by enlarging or reducing the size of the second face image to a preset size.
상기 제2 얼굴 영상이 촬영된 시점에 상기 사용자의 얼굴을 비춘 빛의 색온도를 획득하는 단계; 및
상기 획득된 색온도에 기초하여 상기 제2 얼굴 영상의 색조값을 조정함으로써 상기 제2 얼굴 영상을 정규화하는 단계를 더 포함하는, 방법.
12. The method of claim 11,
obtaining a color temperature of light illuminating the user's face at the time the second face image is captured; and
Normalizing the second face image by adjusting a hue value of the second face image based on the obtained color temperature.
상기 건강 상태 정보를 디스플레이하는 단계는,
상기 획득된 생체 정보를 선택하기 위한 사용자 인터페이스를 상기 디스플레이를 통해 디스플레이하는 단계; 및
상기 생체 정보를 선택하는 사용자 입력을 수신함에 따라, 상기 선택된 생체 정보에 더 기초하여 상기 사용자의 상기 건강 상태 정보를 상기 디스플레이를 통해 디스플레이하는 단계;
를 포함하는, 방법.
12. The method of claim 11,
The step of displaying the health status information includes:
displaying a user interface for selecting the obtained biometric information through the display; and
in response to receiving a user input for selecting the biometric information, displaying the health state information of the user through the display further based on the selected biometric information;
A method comprising
The method of claim 11 , wherein the plurality of first face images are images captured on dates before the second face image is captured.
상기 건강 상태 정보를 디스플레이하는 단계는,
상기 디스플레이를 통해, 상기 제2 얼굴 영상 및 상기 건강 상태 정보를 함께 디스플레이하는 단계; 및
상기 제2 얼굴 영상의 전체 영역 중에서 상기 디스플레이된 건강 상태 정보와 관련된 영역 상에, 상기 디스플레이된 건강 상태 정보와 관련된 영역임을 나타내는 이미지를 디스플레이하는 단계를 포함하는, 방법.
12. The method of claim 11,
The step of displaying the health status information includes:
displaying the second face image and the health state information together through the display; and
and displaying an image indicating the area related to the displayed health state information on a region related to the displayed health state information among the entire region of the second face image.
상기 복수의 제1 얼굴 상태 정보들의 상기 평균값과 상기 제2 얼굴 상태 정보는 얼굴 부위에 따라 비교되는, 방법.
12. The method of claim 11,
and the average value of the plurality of first facial condition information and the second facial condition information are compared according to a face part.
상기 복수의 제1 얼굴 상태 정보들의 상기 평균값과 상기 제2 얼굴 상태 정보는, 얼굴의 색, 눈의 색, 입술의 색, 및 모발의 색 중 적어도 하나에 따라 비교되는, 방법.12. The method of claim 11,
and the average value of the plurality of first facial state information and the second facial state information are compared according to at least one of a face color, an eye color, a lip color, and a hair color.
상기 복수의 제1 얼굴 상태 정보들의 상기 평균값과 상기 제2 얼굴 상태 정보는, 얼굴 크기, 동공의 크기, 잡티의 크기, 여드름의 크기, 잡티의 수, 여드름의 개수, 얼굴 윤곽선의 형태, 입술의 갈라짐, 및 모발의 갈라짐 중 적어도 하나에 따라 비교되는, 방법.12. The method of claim 11,
The average value of the plurality of first facial condition information and the second facial condition information may include a face size, a size of a pupil, a size of a blemish, a size of acne, the number of blemishes, the number of acne, a shape of a facial contour, and a shape of a lip. and splitting according to at least one of splitting and splitting of the hair.
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15159294.6A EP2919142B1 (en) | 2014-03-14 | 2015-03-16 | Electronic apparatus and method for providing health status information |
AU2015201759A AU2015201759B2 (en) | 2014-03-14 | 2015-03-16 | Electronic apparatus for providing health status information, method of controlling the same, and computer readable storage medium |
US14/658,666 US10366487B2 (en) | 2014-03-14 | 2015-03-16 | Electronic apparatus for providing health status information, method of controlling the same, and computer-readable storage medium |
CN201580001465.1A CN105431852A (en) | 2014-03-14 | 2015-03-16 | Electronic apparatus for providing health status information, method of controlling the same, and computer-readable storage medium |
PCT/KR2015/002535 WO2015137788A1 (en) | 2014-03-14 | 2015-03-16 | Electronic apparatus for providing health status information, method of controlling the same, and computer-readable storage medium |
US14/853,285 US20160006941A1 (en) | 2014-03-14 | 2015-09-14 | Electronic apparatus for providing health status information, method of controlling the same, and computer-readable storage |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140030457 | 2014-03-14 | ||
KR20140030457 | 2014-03-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150107565A KR20150107565A (en) | 2015-09-23 |
KR102420100B1 true KR102420100B1 (en) | 2022-07-13 |
Family
ID=54246037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140098639A KR102420100B1 (en) | 2014-03-14 | 2014-07-31 | Electronic apparatus for providing health status information, method for controlling the same, and computer-readable storage medium |
Country Status (3)
Country | Link |
---|---|
KR (1) | KR102420100B1 (en) |
CN (1) | CN105431852A (en) |
AU (1) | AU2015201759B2 (en) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102446329B1 (en) * | 2016-12-01 | 2022-09-22 | 삼성전자주식회사 | Device For Providing Health Management Service and Method Thereof |
US10945637B2 (en) | 2016-12-28 | 2021-03-16 | Ajou University Industry-Academic Cooperation Foundation | Image based jaundice diagnosing method and apparatus and image based jaundice diagnosis assisting apparatus |
CN108334801A (en) * | 2017-01-20 | 2018-07-27 | 杭州海康威视系统技术有限公司 | A kind of method for recognizing fire disaster, device and fire alarm system |
CN107115100A (en) * | 2017-04-28 | 2017-09-01 | 苏州商信宝信息科技有限公司 | A kind of Intelligent mirror device detected for medical treatment & health and its detection method |
JP6298919B1 (en) * | 2017-06-07 | 2018-03-20 | スマート ビート プロフィッツ リミテッド | Database construction method and database |
CN107705245A (en) * | 2017-10-13 | 2018-02-16 | 北京小米移动软件有限公司 | Image processing method and device |
CN108198618A (en) * | 2018-01-02 | 2018-06-22 | 联想(北京)有限公司 | A kind of health analysis method and electronic equipment |
KR102487926B1 (en) * | 2018-03-07 | 2023-01-13 | 삼성전자주식회사 | Electronic device and method for measuring heart rate |
CN108509905B (en) * | 2018-03-30 | 2020-06-19 | 百度在线网络技术(北京)有限公司 | State evaluation device, electronic apparatus, and storage medium |
KR102199397B1 (en) * | 2018-04-23 | 2021-01-06 | (주)블라우비트 | System and method for diagnosing and analyzing disease |
CN108766548A (en) * | 2018-05-17 | 2018-11-06 | 安徽昱康智能科技有限公司 | Physical-examination machine auxiliary operation method and system |
CN108932493B (en) * | 2018-06-29 | 2022-01-28 | 东北大学 | Facial skin quality evaluation method |
CN108968920A (en) * | 2018-07-12 | 2018-12-11 | 维沃移动通信有限公司 | A kind of data detection method and electronic equipment |
CN109544551A (en) * | 2018-12-06 | 2019-03-29 | 合肥鑫晟光电科技有限公司 | The detection method and device of health status |
WO2020218754A1 (en) * | 2019-04-22 | 2020-10-29 | 주식회사 엠티에스컴퍼니 | Physical examination method and system using health check query performed by chatbot, and physical examination method and system |
CN110248450B (en) * | 2019-04-30 | 2021-11-12 | 广州富港生活智能科技有限公司 | Method and device for controlling light by combining people |
KR102293824B1 (en) * | 2019-05-21 | 2021-08-24 | (의) 삼성의료재단 | Method and system for monitoring related disease using face perception of mobile phone |
CN111477307A (en) * | 2019-08-13 | 2020-07-31 | 上海新约信息技术有限公司 | Hospital diagnosis and treatment management system and method |
KR102381549B1 (en) * | 2019-11-29 | 2022-03-31 | 건국대학교 글로컬산학협력단 | Product information providing system and product information providing kiosk device |
CN111325746A (en) * | 2020-03-16 | 2020-06-23 | 维沃移动通信有限公司 | Skin detection method and electronic equipment |
CN111627519B (en) * | 2020-05-22 | 2023-08-22 | 江苏妈咪家健康科技有限公司 | Postpartum rehabilitation monitoring management system and method based on mobile terminal |
CN113749614B (en) * | 2020-06-05 | 2023-03-10 | 华为技术有限公司 | Skin detection method and apparatus |
CN112603834A (en) * | 2020-12-18 | 2021-04-06 | 南通市第一人民医院 | Control system and method for enteral nutrition input of patient |
KR102540755B1 (en) | 2021-04-30 | 2023-06-07 | 성균관대학교산학협력단 | Method of estimating hemoglobin concentration using skin image, or health information and body information, and hemoglobin concentration estimating device performing method |
WO2023277548A1 (en) * | 2021-06-30 | 2023-01-05 | 주식회사 타이로스코프 | Method for acquiring side image for eye protrusion analysis, image capture device for performing same, and recording medium |
WO2023277622A1 (en) | 2021-06-30 | 2023-01-05 | 주식회사 타이로스코프 | Method for guiding hospital visit for treating active thyroid ophthalmopathy and system for performing same |
WO2023277589A1 (en) | 2021-06-30 | 2023-01-05 | 주식회사 타이로스코프 | Method for guiding visit for active thyroid eye disease examination, and system for performing same |
US20230353885A1 (en) * | 2022-04-27 | 2023-11-02 | Sonic Star Global Limited | Image processing system and method for processing images |
CN117909002A (en) * | 2022-10-17 | 2024-04-19 | 抖音视界有限公司 | Method, apparatus, device and storage medium for content presentation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080294017A1 (en) * | 2007-05-22 | 2008-11-27 | Gobeyn Kevin M | Image data normalization for a monitoring system |
JP2009053328A (en) * | 2007-08-24 | 2009-03-12 | Nec Corp | Image display device |
JP2009172181A (en) * | 2008-01-25 | 2009-08-06 | Seiko Epson Corp | Health checkup method and health checkup apparatus |
JP2013050927A (en) * | 2011-08-31 | 2013-03-14 | Toshiba Tec Corp | Health degree notification device, program and health degree notification method |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060133607A (en) * | 2005-06-21 | 2006-12-27 | 주식회사 팬택 | Mobile communication terminal for self-checking user's health, system and method for offering multimedia contents using mobile communication terminal for self-checking user's health |
KR20070063195A (en) * | 2005-12-14 | 2007-06-19 | 주식회사 케이티 | Health care system and method thereof |
KR20080040803A (en) * | 2006-11-03 | 2008-05-09 | 이민화 | Method, apparatus, and system for diagnosing health status of mobile terminal users |
JP2012010955A (en) * | 2010-06-30 | 2012-01-19 | Terumo Corp | Health condition monitoring device |
CN102096810B (en) * | 2011-01-26 | 2017-06-30 | 北京中星微电子有限公司 | The detection method and device of a kind of fatigue state of user before computer |
JP2013101242A (en) * | 2011-11-09 | 2013-05-23 | Sony Corp | Image processor, display control method and program |
KR20130100806A (en) * | 2012-01-31 | 2013-09-12 | 삼성전자주식회사 | Method for managing quantity of exercise, display apparatus, and server thereof |
KR101899978B1 (en) * | 2012-07-11 | 2018-09-19 | 엘지전자 주식회사 | Mobile terminal and control method thereof |
-
2014
- 2014-07-31 KR KR1020140098639A patent/KR102420100B1/en active IP Right Grant
-
2015
- 2015-03-16 AU AU2015201759A patent/AU2015201759B2/en not_active Ceased
- 2015-03-16 CN CN201580001465.1A patent/CN105431852A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080294017A1 (en) * | 2007-05-22 | 2008-11-27 | Gobeyn Kevin M | Image data normalization for a monitoring system |
JP2009053328A (en) * | 2007-08-24 | 2009-03-12 | Nec Corp | Image display device |
JP2009172181A (en) * | 2008-01-25 | 2009-08-06 | Seiko Epson Corp | Health checkup method and health checkup apparatus |
JP2013050927A (en) * | 2011-08-31 | 2013-03-14 | Toshiba Tec Corp | Health degree notification device, program and health degree notification method |
Also Published As
Publication number | Publication date |
---|---|
KR20150107565A (en) | 2015-09-23 |
AU2015201759B2 (en) | 2017-01-12 |
AU2015201759A1 (en) | 2015-10-01 |
CN105431852A (en) | 2016-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102420100B1 (en) | Electronic apparatus for providing health status information, method for controlling the same, and computer-readable storage medium | |
EP2919142B1 (en) | Electronic apparatus and method for providing health status information | |
US10341554B2 (en) | Method for control of camera module based on physiological signal | |
KR102349428B1 (en) | Method for processing image and electronic device supporting the same | |
US10617301B2 (en) | Information processing device and information processing method | |
US20220180485A1 (en) | Image Processing Method and Electronic Device | |
CN108513060B (en) | Photographing method using external electronic device and electronic device supporting the same | |
CN109101873A (en) | For providing the electronic equipment for being directed to the characteristic information of external light source of object of interest | |
US9886454B2 (en) | Image processing, method and electronic device for generating a highlight content | |
US20160357578A1 (en) | Method and device for providing makeup mirror | |
CN104933344A (en) | Mobile terminal user identity authentication device and method based on multiple biological feature modals | |
US11847798B2 (en) | Pigment detection method and electronic device | |
JP2014048937A (en) | Gesture recognition device, control method thereof, display equipment, and control program | |
CN204791017U (en) | Mobile terminal users authentication device based on many biological characteristics mode | |
CN111566693B (en) | Wrinkle detection method and electronic equipment | |
KR102423364B1 (en) | Method for providing image and electronic device supporting the same | |
WO2022037479A1 (en) | Photographing method and photographing system | |
CN114983338A (en) | Skin detection method and electronic equipment | |
WO2022111704A1 (en) | Heart rate measurement method and electronic device | |
WO2024087980A1 (en) | Dial interface display method and electronic device | |
KR20230168094A (en) | Method, system and non-transitory computer-readable recording medium for processing image for analysis of nail |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) |