KR20230040151A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20230040151A
KR20230040151A KR1020210123405A KR20210123405A KR20230040151A KR 20230040151 A KR20230040151 A KR 20230040151A KR 1020210123405 A KR1020210123405 A KR 1020210123405A KR 20210123405 A KR20210123405 A KR 20210123405A KR 20230040151 A KR20230040151 A KR 20230040151A
Authority
KR
South Korea
Prior art keywords
mask
region
feature points
identified
emotion
Prior art date
Application number
KR1020210123405A
Other languages
English (en)
Inventor
이영인
곽지영
류찬하
오성우
최기쁨
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210123405A priority Critical patent/KR20230040151A/ko
Publication of KR20230040151A publication Critical patent/KR20230040151A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

전자 장치 및 그 제어 방법이 개시된다. 전자 장치는 입력 인터페이스 및 프로세서를 포함하고, 프로세서는 마스크를 착용한 사용자의 얼굴 이미지를 입력받도록 입력 인터페이스를 제어하고, 마스크의 형태를 식별하며, 식별된 마스크의 특징점, 마스크의 영역 이외의 영역에 위치하는 제1 얼굴 영역의 특징점을 추출하고, 추출된 마스크의 특징점에 기초하여 마스크에 의해 가려진 제2 얼굴 영역에 위치하는 객체의 좌표를 식별하며, 사람의 감정을 식별하는 AI 모델 및 제1 얼굴 영역의 특징점에 기초하여 사용자의 감정을 식별하고, 식별된 사용자의 감정 및 제2 얼굴 영역에 위치하는 객체의 특징점에 기초하여 식별된 감정에 대응되도록 제2 얼굴 영역에 위치하는 객체의 모양을 변형한다.

Description

전자 장치 및 그 제어 방법{ELECTRONIC APPARATUS AND CONTROLLING METHOD THEREOF}
본 개시는 사용자의 얼굴 표정을 인식하고 인식된 얼굴 표정에 대응되도록 얼굴에 포함된 객체를 변형시키는 전자 장치 및 그 제어 방법에 관한 것이다.
이미지에 포함된 사람의 얼굴을 인식하는 기술에 대한 연구가 진행됨에 따라 얼굴 인식과 관련된 응용 기술이 적용되고 있다. 예를 들어, 사람의 얼굴을 인식하는 기술은 얼굴에 포함된 객체(예, 눈, 코, 입 등)을 인식하여 이미지에 포함된 사람이 누구인지 판별하거나 감정을 판단할 수 있다.
한편, 최근 전염병의 대유행으로 인해 사람들이 마스크를 착용하고 생활하는 경우가 많아짐에 따라 마스크를 쓴 얼굴 이미지가 늘어나고 있다. 마스크를 쓴 얼굴 이미지에는 코 및 입 영역이 마스크에 의해 가려지게 된다. 사람의 얼굴을 인식하는 기술은 얼굴에 포함된 객체를 인식하여 얼굴을 인식하기 때문에 마스크에 의해 가려진 코 및 입 영역을 인식할 수 없다.
따라서, 기존의 기술은 마스크를 쓴 얼굴 이미지로부터 정확한 얼굴의 형태와 감정을 판단하기 어려운 문제점이 있으므로 마스크를 쓴 얼굴 이미지로부터 정확한 감정을 판단하고 응용하는 기술에 대한 필요성이 존재한다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 마스크를 쓴 얼굴 이미지로부터 가려진 입 및 코 영역을 추정하고, 사람의 감정을 판단하기 위한 것이다.
본 개시의 일 실시 예에 따른 전자 장치는 입력 인터페이스 및 프로세서를 포함하고, 상기 프로세서는 마스크를 착용한 사용자의 얼굴 이미지를 입력받도록 상기 입력 인터페이스를 제어하고, 상기 마스크의 형태를 식별하며, 상기 식별된 마스크의 특징점, 상기 마스크의 영역 이외의 영역에 위치하는 제1 얼굴 영역의 특징점을 추출하고, 상기 추출된 마스크의 특징점에 기초하여 상기 마스크에 의해 가려진 제2 얼굴 영역에 위치하는 객체의 좌표를 식별하며, 사람의 감정을 식별하는 AI 모델 및 상기 제1 얼굴 영역의 특징점에 기초하여 상기 사용자의 감정을 식별하고, 상기 식별된 사용자의 감정 및 상기 제2 얼굴 영역에 위치하는 객체의 특징점에 기초하여 상기 식별된 감정에 대응되도록 상기 제2 얼굴 영역에 위치하는 객체의 모양을 변형한다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 마스크를 착용한 사용자의 얼굴 이미지를 입력받는 단계, 상기 마스크의 형태를 식별하는 단계, 상기 식별된 마스크의 특징점, 상기 마스크의 영역 이외의 영역에 위치하는 제1 얼굴 영역의 특징점을 추출하는 단계, 상기 추출된 마스크의 특징점에 기초하여 상기 마스크에 의해 가려진 제2 얼굴 영역에 위치하는 객체의 좌표를 식별하는 단계, 사람의 감정을 식별하는 AI 모델 및 상기 제1 얼굴 영역의 특징점에 기초하여 상기 사용자의 감정을 식별하는 단계 및 상기 식별된 사용자의 감정 및 상기 제2 얼굴 영역에 위치하는 객체의 특징점에 기초하여 상기 식별된 감정에 대응되도록 상기 제2 얼굴 영역에 위치하는 객체의 모양을 변형하는 단계를 포함한다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 수행하는 프로그램이 기록된 비일시적 컴퓨터 판독 가능 저장 매체는 마스크를 착용한 사용자의 얼굴 이미지를 입력받는 단계, 상기 마스크의 형태를 식별하고, 상기 식별된 마스크의 특징점, 상기 마스크의 영역 이외의 영역에 위치하는 제1 얼굴 영역의 특징점을 추출하는 단계, 상기 추출된 마스크의 특징점에 기초하여 상기 마스크에 의해 가려진 제2 얼굴 영역에 위치하는 객체의 좌표를 식별하는 단계 및 사람의 감정을 식별하는 AI 모델 및 상기 제1 얼굴 영역의 특징점에 기초하여 상기 사용자의 감정을 식별하고, 상기 식별된 사용자의 감정 및 상기 제2 얼굴 영역에 위치하는 객체의 특징점에 기초하여 상기 식별된 감정에 대응되도록 상기 제2 얼굴 영역에 위치하는 객체의 모양을 변형하는 단계를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하는 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구체적인 구성을 설명하는 블록도이다.
도 3 내지 도 4b는 본 개시의 일 실시 예에 따른 얼굴의 객체를 추정하는 과정을 설명하는 도면이다.
도 5 및 도 6은 본 개시의 일 실시 예에 따른 사람의 감정을 판단하고 객체를 변형하는 과정을 설명하는 도면이다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하는 흐름도이다.
이하에서는 첨부된 도면을 참조하여 다양한 실시 예를 보다 상세하게 설명한다. 본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시 예가 도면에서 묘사되고 상세한 설명에서 자세하게 설명될 수 있다. 그러나, 첨부된 도면에 개시된 특정한 실시 예는 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서, 첨부된 도면에 개시된 특정 실시 예에 의해 기술적 사상이 제한되는 것은 아니며, 개시의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
한편, 본 명세서에서 사용되는 구성요소에 대한 "모듈" 또는 "부"는 적어도 하나의 기능 또는 동작을 수행한다. 그리고, "모듈" 또는 "부"는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 기능 또는 동작을 수행할 수 있다. 또한, 특정 하드웨어에서 수행되어야 하거나 적어도 하나의 프로세서에서 수행되는 "모듈" 또는 "부"를 제외한 복수의 "모듈들" 또는 복수의 "부들"은 적어도 하나의 모듈로 통합될 수도 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉, 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행단계로 설명된 과정보다 앞서서 수행되더라도 개시의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다. 그리고 본 명세서에서 "A 또는 B"라고 기재한 것은 A와 B 중 어느 하나를 선택적으로 가리키는 것뿐만 아니라 A와 B 모두를 포함하는 것도 의미하는 것으로 정의된다. 또한, 본 명세서에서 "포함"이라는 용어는 포함하는 것으로 나열된 요소 이외에 추가로 다른 구성요소를 더 포함하는 것도 포괄하는 의미를 가진다.
본 명세서에서는 본 개시의 설명에 필요한 필수적인 구성요소만을 설명하며, 본 개시의 본질과 관계가 없는 구성요소는 언급하지 아니한다. 그리고 언급되는 구성요소만을 포함하는 배타적인 의미로 해석되어서는 아니되며 다른 구성요소도 포함할 수 있는 비배타적인 의미로 해석되어야 한다.
그 밖에도, 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다. 한편, 각 실시 예는 독립적으로 구현되거나 동작될 수도 있지만, 각 실시 예는 조합되어 구현되거나 동작될 수도 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하는 블록도이다.
도 1을 참조하면, 전자 장치(100)는 입력 인터페이스(110) 및 프로세서(120)를 포함할 수 있다. 예를 들어, 전자 장치(100)는 스마트폰, 태블릿 PC, 네비게이션, 슬레이트 PC, 웨어러블 디바이스, 디지털 TV, 데스크탑 컴퓨터, 랩탑 컴퓨터, 가전기기, 키오스크 등을 포함할 수 있다.
입력 인터페이스(110)는 마스크를 착용한 사용자의 얼굴 이미지를 입력받을 수 있다. 예를 들어, 입력 인터페이스(110)는 통신 인터페이스, 카메라, 입출력 포트 등을 포함할 수 있다. 입력 인터페이스(110)는 외부 장치로부터 이미지와 같은 데이터를 제공받는 기능을 수행하고, 입력부, 입력 장치, 입력 모듈 등으로 불릴 수 있다.
입력 인터페이스(110)가 통신 인터페이스로 구현되는 경우, 입력 인터페이스(110)는 외부 장치와 통신을 수행할 수 있다. 입력 인터페이스(110)는 외부 장치로부터 유무선 통신 방식을 이용하여 이미지를 제공받을 수 있다. 일 실시 예로서, 이미지는 웹 서버, 클라우드 등을 통해 전자 장치(100)로 제공될 수 있다. 예를 들어, 통신 인터페이스는 3G, LTE(Long Term Evolution), 5G, 와이파이, 블루투스, DMB(Digital Multimedia Broadcasting), ATSC(Advanced Television Systems Committee), DVB(Digital Video Broadcasting), LAN(Local Area Network) 등의 방식으로 통신을 수행할 수 있는 모듈을 포함할 수 있다. 또한, 통신 인터페이스는 GPS(Global Positioning System) 모듈을 포함할 수 있다. 외부 장치와 통신을 수행하는 통신 인터페이스는 통신부, 통신 장치, 통신 모듈, 송수신부 등으로 불릴 수도 있다.
입력 인터페이스(110)가 카메라로 구현되는 경우, 입력 인터페이스(110)는 카메라는 마스크를 착용한 사용자의 얼굴을 촬영하고, 촬영된 이미지를 입력받을 수 있다. 예를 들어, 카메라는 CCD 센서, CMOS 센서를 포함할 수 있다. 또한, 카메라는 RGB 카메라, 뎁스 카메라를 포함할 수도 있다.
입력 인터페이스(110)가 입출력 포트로 구현되는 경우, 입력 인터페이스(110)는 외부 장치(외장형 메모리 포함)로부터 이미지를 제공받을 수 있다. 예를 들어, 입력 인터페이스(110)가 입출력 포트로 구현되는 경우, 입출력 포트는 HDMI(High-Definition Multimedia Interface), DP(DisplayPort), RGB, DVI(Digital Visual Interface), USB(Universal Serial Bus), 썬더볼트, LAN 등의 포트를 포함할 수 있다.
한편, 입력 인터페이스(110)는 사용자로부터 제어 명령을 입력받을 수 있다. 예를 들어, 입력 인터페이스(110)는 키 패드, 터치 패드, 터치 스크린 등을 포함할 수 있다. 입력 인터페이스(150)는 사용자로부터 명령을 입력받는 기능을 수행하며, 입력부, 입력 모듈 등으로 불릴 수도 있다.
프로세서(120)는 전자 장치(100)의 각 구성을 제어할 수 있다. 예를 들어, 프로세서(120)는 이미지를 입력받도록 입력 인터페이스(110)를 제어할 수 있다. 프로세서(120)는 입력된 이미지로부터 마스크의 형태를 식별할 수 있다. 사용자는 다양한 종류의 마스크를 착용할 수 있고, 다양한 종류의 마스크는 형태가 다를 수 있다. 예를 들어, 마스크는 비말 마스크, 황사 마스크 또는 면 마스크를 포함할 수 있다. 프로세서(120)는 마스크의 형태를 식별하는 AI 모델을 이용하여 사용자가 착용한 마스크의 종류 또는 형태를 식별할 수 있다.
프로세서(120)는 식별된 마스크의 특징점(랜드마크), 마스크의 영역 이외의 영역에 위치하는 제1 얼굴 영역의 특징점을 추출할 수 있다. 예를 들어, 프로세서(120)는 마스크의 외곽 라인을 따라 특징점을 추출할 수 있다. 그리고, 프로세서(120)는 마스크 영역 이외의 영역에서 눈, 눈썹, 머리 등의 특징점을 추출할 수 있다.
프로세서(120)는 추출된 마스크의 특징점에 기초하여 마스크에 의해 가려진 제2 얼굴 영역에 위치하는 객체의 좌표를 식별할 수 있다. 일 실시 예로서, 프로세서(120)는 추출된 마스크의 특징점 중 기 설정된 개수의 좌측 특징점 및 기 설정된 개수의 우측 특징점을 획득할 수 있다. 그리고, 프로세서(120)는 획득된 좌측 특징점과 우측 특징점의 중앙 영역의 좌표를 산출하고, 산출된 좌표를 코 및 입 영역으로 식별할 수 있다. 또는, 프로세서(120)는 제1 얼굴 영역의 특징점 중 눈 영역의 특징점 및 식별된 마스크의 특징점 중 기 설정된 위치의 특징점을 식별할 수 있다. 그리고, 프로세서(120)는 식별된 눈 영역의 특징점, 기 설정된 위치의 특징점 및 기 설정된 얼굴 영역의 모델에 기초하여 코 및 입 영역을 식별할 수 있다. 마스크로 가려진 제2 얼굴 영역에 위치하는 객체(예, 코, 입 등)를 식별하는 구체적인 예는 후술하기로 한다.
프로세서(120)는 제1 얼굴 영역의 특징점에 기초하여 이미지에 포함된 사용자의 감정을 식별할 수 있다. 예를 들어, 프로세서(120)는 사람의 감정을 식별하는 AI 모델을 이용하여 이미지에 포함된 사용자의 감정을 식별할 수 있다.
프로세서(120)는 식별된 사용자의 감정 및 제2 얼굴 영역에 위치하는 객체의 특징점에 기초하여 식별된 감정에 대응되도록 제2 얼굴 영역에 위치하는 객체의 모양을 변형할 수 있다.
예를 들어, 프로세서(120)는 식별된 감정이 행복한 감정과 관련된 경우, 제2 얼굴에 위치하는 객체 중 입 영역의 좌우측 최외각 특징점을 위쪽 방향으로 이동시켜 제2 얼굴 영역에 위치하는 객체의 모양을 변형할 수 있다. 즉, 프로세서(120)는 식별된 행복한 감정에 대응되는 웃는 얼굴의 형태로 얼굴에 포함된 객체의 모양을 변형할 수 있다. 또는, 프로세서(120)는 식별된 감정이 화난(또는, 슬픈) 감정과 관련된 경우, 제2 얼굴에 위치하는 객체 중 입 영역의 좌우측 최외각 특징점을 아래쪽 방향으로 이동시켜 제2 얼굴 영역에 위치하는 객체의 모양을 변형할 수 있다. 즉, 프로세서(120)는 식별된 화난 감정에 대응되는 우는 얼굴의 형태로 얼굴에 포함된 객체의 모양을 변형할 수 있다.
또한, 프로세서(120)는 사용자의 감정에 대응되는 눈 영역의 모양 데이터 중 제1 얼굴 영역 중 눈 영역의 특징점에 대응되는 눈 영역의 모양 데이터 및 사용자의 감정을 식별할 수 있다. 그리고, 프로세서(120)는 식별된 사용자의 감정 및 식별된 눈 영역의 모양 데이터에 기초하여 사용자의 감정에 대응되는 입 영역의 모양 데이터 중 대응되는 입 영역의 모양 데이터를 식별할 수 있다. 프로세서(120)는 식별된 입 영역의 모양 데이터에 대응되도록 제2 얼굴 영역에 위치하는 객체 중 입 영역의 특징점을 이동시켜 제2 얼굴 영역에 위치하는 객체의 모양을 변형할 수도 있다. 객체의 모양을 변형하는 구체적인 예는 후술하기로 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구체적인 구성을 설명하는 블록도이다.
도 2를 참조하면, 전자 장치(100)는 입력 인터페이스(110), 프로세서(120), 마이크(130), 센서(140), 스피커(150), 디스플레이(160) 및 메모리(170)를 포함할 수 있다. 입력 인터페이스(110)는 도 1에서 설명한 바와 동일하므로 구체적인 설명을 생략한다.
마이크(130)는 외부의 사운드 신호를 입력받을 수 있다. 프로세서(120)는 입력된 사운드 신호를 처리하고 대응되는 동작을 수행할 수 있다. 예를 들어, 외부의 사운드 신호가 사용자의 음성인 경우, 프로세서(120)는 입력된 음성에 기초하여 제어 명령을 인식하고, 인식된 제어 명령에 대응되는 제어 동작을 수행할 수 있다.
센서(140)는 사용자의 동작, 거리, 위치 등을 감지할 수 있다. 프로세서(120)는 센서(140)에서 감지된 사용자의 동작, 거리, 위치 등에 기초하여 제어 명령을 인식하고, 인식된 제어 명령에 대응되는 제어 동작을 수행할 수 있다. 또는, 센서(140)는 전자 장치(100)의 주변 환경 정보를 감지할 수 있다. 프로세서(120)는 센서(140)에서 감지된 주변 환경 정보에 기초하여 대응되는 제어 동작을 수행할 수 있다. 예를 들어, 센서(140)는 가속도 센서, 중력 센서, 자이로 센서, 지자기 센서, 방향 센서, 모션 인식 센서, 근접 센서, 전압계, 전류계, 기압계, 습도계, 온도계, 조도 센서, 열 감지 센서, 터치 센서, 적외선 센서, 초음파 센서 등을 포함할 수 있다.
스피커(150)는 음성 처리가 수행된 음성 신호를 출력한다. 또한, 스피커(150)는 사용자의 입력 명령, 전자 장치(100)의 상태 관련 정보 또는 동작 관련 정보 등을 음성이나 알림음으로 출력할 수 있다.
디스플레이(160)는 영상 처리가 수행된 영상 신호를 출력할 수 있다. 일 실시 예로서, 디스플레이(160)는 프로세서(120)의 제어에 의해 입력된 얼굴 이미지, 객체가 변형되는 과정의 얼굴 이미지, 객체가 변형된 얼굴 이미지 등을 출력할 수 있다. 예를 들어, 디스플레이(160)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 플렉서블 디스플레이, 터치 스크린 등으로 구현될 수 있다. 디스플레이(130)가 터치 스크린으로 구현되는 경우, 전자 장치(100)는 터치 스크린을 통해 제어 명령을 입력받을 수 있다.
메모리(170)는 전자 장치(100)의 기능을 수행하는 데이터 등을 저장하고, 전자 장치(100)에서 구동되는 프로그램, 명령어 등을 저장할 수 있다. 예를 들어, 메모리(170)는 입력된 마스크를 착용한 사용자의 얼굴 이미지, 특징점을 추출하는 프로그램, 사용자의 감정을 식별하는 프로그램, 객체의 모양을 변형하는 프로그램, 사람의 감정을 식별하는 AI 모델, 마스크의 형태를 식별하는 AI 모델, 사람의 감정에 대응되는 객체의 모양 데이터, 기 설정된 얼굴 영역의 모델 등을 저장할 수 있다. 메모리(170)에 저장된 프로그램, AI 모델, 데이터 등은 프로세서(120)로 로딩되어 동작을 수행할 수 있다. 예를 들어, 메모리(170)는 롬, 램, HDD, SSD, 메모리 카드 등의 타입으로 구현될 수 있다.
지금까지, 전자 장치(100)의 각 구성을 설명하였다. 아래에서는 얼굴 이미지에서 객체를 추정하고, 객체를 변형하는 과정을 설명한다.
도 3 내지 도 4b는 본 개시의 일 실시 예에 따른 얼굴의 객체를 추정하는 과정을 설명하는 도면이다. 도 3 내지 도 4b를 참조하여 설명한다.
도 3을 참조하면, 마스크를 착용한 얼굴 이미지가 도시되어 있다. 전자 장치(100)는 마스크를 착용한 얼굴 이미지를 입력받고, 얼굴 이미지로부터 특징점을 추출할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 전자 장치(100)는 마스크로 가려지지 않은 제1 얼굴 영역으로부터 얼굴의 객체(예, 머리, 눈, 귀 등)에 기초하여 특징점을 추출할 수 있다. 그리고, 전자 장치(100)는 마스크로 가려진 제2 얼굴 영역으로부터 마스크의 외곽 라인을 따라 특징점을 추출할 수 있다. 일 실시 예로서, 얼굴 이미지로부터 특징점을 추출하는 과정은 마스크를 착용한 얼굴 이미지로부터 특징점을 추출하는 AI 모델을 이용할 수 있다. 전자 장치(100)는 제2 얼굴 영역으로부터 마스크로 가려진 얼굴의 객체(예, 코, 입 등)의 좌표를 식별할 수 있다. 전자 장치(100)는 추출된 마스크의 특징점 중 기 설정된 개수의 좌측 특징점 및 기 설정된 개수의 우측 특징점을 식별하고, 좌측 특징점과 우측 특징점의 중앙 영역의 좌표를 산출할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 전자 장치(100)는 좌측 영역의 n개 특징점(A1, A2, A3, …, An) 및 우측 영역의 n개 특징점(B1, B2, B3, …, Bn)에 기초하여 좌측 영역의 특징점과 우측 영역의 특징점의 관계를 이용하여 좌표를 산출할 수 있다. 일 실시 예로서, 좌우측 영역의 특징점의 관계는 아래와 같다.
(1) x_C1 = (x_A1 + ((x_A1 + x_B1) / 2)) / 2
(2) y_C1 = (y_A1 + y_A2) / 2
(3) x_C2 = (x_C1 + ((x_C1 + x_C4) / 2)) / 2
(4) y_C2 = (y_A1 + ((y_A1 + y_A2) / 2)) / 2
(5) x_C3 = (x_C4 + ((x_C1 + x_C4) / 2)) / 2
(6) y_C3 = (y_B1 + ((y_B1 + y_B2) / 2)) / 2
(7) x_C4 = (x_B1 + ((x_B1 + x_A1) / 2)) / 2
(8) y_C4 = (y_B1 + y_B2) / 2
(9) x_C5 = (x_C1 + ((x_C1 + x_C4) / 2)) / 2
(10) y_C5 = (y_B2 + ((y_B1 + y_B2) / 2)) / 2
(11) x_C6 = (x_C4 + ((x_C1 + x_C4) / 2)) / 2
(12) y_C6 = (y_A2 + ((y_A1 + y_A2) / 2)) / 2
(13) x_D1 = (x_A0 + x_B0) / 2
(14) y_D1 = (y_A0 + y_A1) / 2
식 (1) 내지 식 (12)는 각각 입 영역의 특징점의 좌표이고, 식 (13) 내지 식 (14)는 코 영역의 특징점의 좌표이다. 산출된 좌표는 마스크 외곽의 특징점의 중앙 영역의 좌표로서, Cn은 입 영역의 특징점의 좌표이고, Dn은 코 영역의 특징점의 좌표이다. 전자 장치(100)는 산출된 좌표를 코 및 입 영역으로 식별할 수 있다. 전자 장치(100)는 식별된 코 및 입 영역의 특징점을 얼굴 이미지에 추가할 수 있다.
또는, 전자 장치(100)는 마스크에 따라 특징점을 추출하는 AI 모델을 이용하여 마스크의 형태를 식별하고, 제1 영역에 포함된 객체의 특징점을 추출하며, 제2 영역에 포함된 객체의 특징점을 추출할 수 있다.
또는, 도 4a에 도시된 바와 같이, 전자 장치(100)는 얼굴 이미지에서 추출된 특징점 및 기 설정된 얼굴 영역의 모델에 기초하여 코 및 입 영역을 식별할 수 있다. 예를 들어, 전자 장치(100)는 기 설정된 얼굴 영역의 모델을 저장할 수 있다. 기 설정된 얼굴 영역의 모델은 마스크를 착용하지 않은 얼굴 영역의 모델일 수 있다. 예를 들어, 기 설정된 얼굴 영역의 모델은 평균적인 일반인의 얼굴 영역의 모델일 수 있고, 연령별, 성별, 인종별에 따라 각각 서로 다른 얼굴 영역의 모델일 수 있다. 또는, 기 설정된 얼굴 영역의 모델은 황금비율로 설정된 얼굴 모델일 수도 있다. 전자 장치(100)는 제1 영역에 위치한 눈 영역의 특징점 및 마스크의 특징점 중 기 설정된 위치의 특징점을 추출할 수 있다. 전자 장치(100)가 추출하는 기 설정된 위치의 특징점은 기 설정된 얼굴 영역의 모델에 대응시키기 위한 최소한의 특징점일 수 있다.
도 4b에 도시된 바와 같이, 전자 장치(100)는 입력된 얼굴 이미지로부터 추출된 특징점을 기 설정된 얼굴 모델의 대응되는 위치의 특징점에 매칭시킬 수 있다. 전자 장치(100)는 특징점에 기초하여 매칭된 입력된 얼굴 이미지와 기 설정된 얼굴 모델에 기초하여 마스크로 가려진 코 및 입 영역을 식별할 수 있다.
전자 장치(100)는 상술한 다양한 방법으로 마스크를 착용한 얼굴 이미지로부터 코 및 입 영역을 식별할 수 있다. 그리고, 전자 장치(100)는 식별된 코 및 입 영역 및 판단된 사용자의 감정에 기초하여 객체의 모양을 변형시킬 수 있다.
도 5 및 도 6은 본 개시의 일 실시 예에 따른 사람의 감정을 판단하고 객체를 변형하는 과정을 설명하는 도면이다.
도 5를 참조하면, 판단된 감정에 기초하여 얼굴 영역의 객체를 변형하는 예가 도시되어 있다. 전자 장치(100)는 사람의 감정을 식별하는 AI 모델 및 제1 얼굴 영역의 특징점(예, 눈, 머리 영역 등)에 기초하여 얼굴 이미지로부터 감정을 식별할 수 있다. 예를 들어, 감정은 기본 감정, 행복한 감정, 화난 감정 등으로 분류될 수 있다. 상술한 감정의 예는 일 실시 예일 뿐, 다양한 감정으로 분류될 수 있다. 전자 장치(100)는 식별된 감정에 기초하여 얼굴 영역의 객체의 모양을 변형할 수 있다.
일 실시 예로서, 아래와 같은 수식에 기초하여 입 모양을 변형할 수 있다.
- Default: No movement
- Happy:
(21) x_C1 -= α1
(22) y_C1 += α2
(23) x_C4 += α1
(24) y_C4 += α2
(25) y_C5 += α3
(26) y_C6 += α3
- Angry:
(31) x_C1 -= α1
(32) y_C1 -= α2
(33) x_C4 += α1
(34) y_C4 -= α2
(35) y_C5 += α3
(36) y_C6 += α3
전자 장치(100)는 식별된 감정이 기본 감정과 관련된 경우, 객체의 모양을 변형하지 않을 수 있다. 또는, 전자 장치(100)는 식별된 감정이 행복한 감정과 관련된 경우, 제2 얼굴에 위치하는 객체 중 입 영역의 좌우측 최외각 특징점을 위쪽 방향으로 이동시켜 제2 얼굴 영역에 위치하는 객체의 모양을 변형할 수 있다. 또는, 전자 장치(100)는 식별된 감정이 화난 감정과 관련된 경우, 제2 얼굴 영역에 위치하는 객체 중 입 영역의 좌우측 최외각 특징점을 아래쪽 방향으로 이동시켜 제2 얼굴 영역에 위치하는 객체의 모양을 변형할 수 있다. 한편, 전자 장치(100)는 좌우측 최외각 특징점을 가장 많이 변형시키지만, 다른 특징점도 좌우측 최외각 특징점의 변형에 기초하여 변형시킬 수 있다.
일 실시 예로서, 도 6에 도시된 바와 같이, 전자 장치(100)는 눈 영역 및 입 영역 모양 데이터에 기초하여 객체의 모양을 변형할 수 있다. 전자 장치(100)는 각종 감정에 대응되는 눈 영역의 모양 데이터와 대응되는 입 영역의 모양 데이터를 저장할 수 있다. 전자 장치(100)는 입력된 얼굴 이미지로부터 눈 영역(11)의 특징점을 추출할 수 있다. 그리고, 전자 장치(10)는 눈 영역(11)의 특징점에 기초하여 대응되는 눈 모양의 모양 데이터(12)를 식별하고, 사용자의 감정을 식별할 수 있다. 전자 장치(100)는 식별된 사용자의 감정 및 식별된 눈 영역의 모양 데이터(12)에 대응되는 입 영역의 모양 데이터(13)를 식별할 수 있다. 그리고, 전자 장치(100)는 식별된 입 영역의 모양 데이터(13)에 기초하여 얼굴 이미지에서 추정된 입 영역(14)의 특징점을 변형할 수 있다.
지금까지 마스크를 착용한 사용자의 객체를 추정하고, 감정에 따라 사용자의 객체를 변형하는 다양한 실시 예를 설명하였다. 아래에서는 전자 장치의 제어 방법을 설명한다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하는 흐름도이다.
도 7을 참조하면, 전자 장치(100)는 마스크를 착용한 사용자의 얼굴 이미지를 입력받는다(S710).
전자 장치(100)는 마스크의 형태를 식별한다(S720). 예를 들어, 전자 장치(100)는 마스크의 형태를 식별하는 AI 모델을 이용하여 비말 마스크, 황사 마스크 또는 면 마스크의 형태 중 하나로 마스크의 형태를 식별할 수 있다.
전자 장치(100)는 식별된 마스크의 특징점, 마스크의 영역 이외의 영역에 위치하는 제1 얼굴 영역의 특징점을 추출하고(S730), 추출된 마스크의 특징점에 기초하여 마스크에 의해 가려진 제2 얼굴 영역에 위치하는 객체의 좌표를 식별한다(S740). 예를 들어, 전자 장치(100)는 추출된 마스크의 특징점 중 기 설정된 개수의 좌측 특징점 및 기 설정된 개수의 우측 특징점에 기초하여 좌측 특징점과 우측 특징점의 중앙 영역의 좌표를 산출하고, 산출된 좌표를 제2 얼굴 영역에 위치하는 객체 중 코 및 입 영역으로 식별할 수 있다.
또는, 전자 장치(100)는 제1 얼굴 영역의 특징점 중 눈 영역의 특징점 및 식별된 마스크의 특징점 중 기 설정된 위치의 특징점을 식별하고, 식별된 눈 영역의 특징점, 기 설정된 위치의 특징점 및 기 설정된 얼굴 영역의 모델에 기초하여 제2 얼굴 영역에 위치하는 객체 중 코 및 입 영역을 식별할 수 있다.
전자 장치(100)는 사람의 감정을 식별하는 AI 모델 및 제1 얼굴 영역의 특징점에 기초하여 사용자의 감정을 식별하고(S750), 식별된 사용자의 감정 및 제2 얼굴 영역에 위치하는 객체의 특징점에 기초하여 식별된 감정에 대응되도록 제2 얼굴 영역에 위치하는 객체의 모양을 변형한다(S760). 예를 들어, 전자 장치(100)는 식별된 감정이 행복한 감정과 관련된 경우, 제2 얼굴 영역에 위치하는 객체 중 입 영역의 좌우측 최외각 특징점을 위쪽 방향으로 이동시켜 제2 얼굴 영역에 위치하는 객체의 모양을 변형할 수 있다. 또는, 전자 장치(100)는 식별된 감정이 화난 감정과 관련된 경우, 제2 얼굴 영역에 위치하는 객체 중 입 영역의 좌우측 최외각 특징점을 아래쪽 방향으로 이동시켜 제2 얼굴 영역에 위치하는 객체의 모양을 변형할 수 있다. 또는, 전자 장치(100)는 저장된 사용자의 감정에 대응되는 눈 영역의 모양 데이터 중 제1 얼굴 영역 중 눈 영역의 특징점과 대응되는 눈 영역의 모양 데이터와 사용자의 감정을 식별하고, 식별된 사용자의 감정 및 식별된 눈 영역의 모양 데이터에 기초하여 저장된 사용자의 감정에 대응되는 입 영역의 모양 데이터 중 대응되는 입 영역의 모양 데이터를 식별하며, 식별된 입 영역의 모양 데이터에 대응되도록 제2 얼굴 영역에 위치하는 객체 중 입 영역의 특징점을 이동시켜 제2 얼굴 영역에 위치하는 객체의 모양을 변형할 수 있다.
상술한 다양한 실시 예에 따른 전자 장치의 제어 방법은 컴퓨터 프로그램 제품으로 제공될 수도 있다. 컴퓨터 프로그램 제품은 S/W 프로그램 자체 또는 S/W 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)를 포함할 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자 장치
110: 입력 인터페이스 120: 프로세서

Claims (15)

  1. 입력 인터페이스; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    마스크를 착용한 사용자의 얼굴 이미지를 입력받도록 상기 입력 인터페이스를 제어하고,
    상기 마스크의 형태를 식별하며,
    상기 식별된 마스크의 특징점, 상기 마스크의 영역 이외의 영역에 위치하는 제1 얼굴 영역의 특징점을 추출하고,
    상기 추출된 마스크의 특징점에 기초하여 상기 마스크에 의해 가려진 제2 얼굴 영역에 위치하는 객체의 좌표를 식별하며,
    사람의 감정을 식별하는 AI 모델 및 상기 제1 얼굴 영역의 특징점에 기초하여 상기 사용자의 감정을 식별하고,
    상기 식별된 사용자의 감정 및 상기 제2 얼굴 영역에 위치하는 객체의 특징점에 기초하여 상기 식별된 감정에 대응되도록 상기 제2 얼굴 영역에 위치하는 객체의 모양을 변형하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    마스크의 형태를 식별하는 AI 모델을 이용하여 비말 마스크, 황사 마스크 또는 면 마스크의 형태 중 하나로 상기 마스크의 형태를 식별하는, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 추출된 마스크의 특징점 중 기 설정된 개수의 좌측 특징점 및 기 설정된 개수의 우측 특징점에 기초하여 상기 좌측 특징점과 상기 우측 특징점의 중앙 영역의 좌표를 산출하고, 상기 산출된 좌표를 상기 제2 얼굴 영역에 위치하는 객체 중 코 및 입 영역으로 식별하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 얼굴 영역의 특징점 중 눈 영역의 특징점 및 상기 식별된 마스크의 특징점 중 기 설정된 위치의 특징점을 식별하고, 상기 식별된 눈 영역의 특징점, 상기 기 설정된 위치의 특징점 및 기 설정된 얼굴 영역의 모델에 기초하여 상기 제2 얼굴 영역에 위치하는 객체 중 코 및 입 영역을 식별하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 식별된 감정이 행복한 감정과 관련된 경우, 상기 제2 얼굴 영역에 위치하는 객체 중 입 영역의 좌우측 최외각 특징점을 위쪽 방향으로 이동시켜 상기 제2 얼굴 영역에 위치하는 객체의 모양을 변형하는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 식별된 감정이 화난 감정과 관련된 경우, 상기 제2 얼굴 영역에 위치하는 객체 중 입 영역의 좌우측 최외각 특징점을 아래쪽 방향으로 이동시켜 상기 제2 얼굴 영역에 위치하는 객체의 모양을 변형하는, 전자 장치.
  7. 제1항에 있어서,
    메모리;를 더 포함하고,
    상기 프로세서는,
    상기 메모리에 저장된 사용자의 감정에 대응되는 눈 영역의 모양 데이터 중 상기 제1 얼굴 영역 중 눈 영역의 특징점과 대응되는 눈 영역의 모양 데이터와 사용자의 감정을 식별하고,
    상기 식별된 사용자의 감정 및 상기 식별된 눈 영역의 모양 데이터에 기초하여 상기 메모리에 저장된 사용자의 감정에 대응되는 입 영역의 모양 데이터 중 대응되는 입 영역의 모양 데이터를 식별하며,
    상기 식별된 입 영역의 모양 데이터에 대응되도록 상기 제2 얼굴 영역에 위치하는 객체 중 입 영역의 특징점을 이동시켜 상기 제2 얼굴 영역에 위치하는 객체의 모양을 변형하는, 전자 장치.
  8. 마스크를 착용한 사용자의 얼굴 이미지를 입력받는 단계;
    상기 마스크의 형태를 식별하는 단계;
    상기 식별된 마스크의 특징점, 상기 마스크의 영역 이외의 영역에 위치하는 제1 얼굴 영역의 특징점을 추출하는 단계;
    상기 추출된 마스크의 특징점에 기초하여 상기 마스크에 의해 가려진 제2 얼굴 영역에 위치하는 객체의 좌표를 식별하는 단계;
    사람의 감정을 식별하는 AI 모델 및 상기 제1 얼굴 영역의 특징점에 기초하여 상기 사용자의 감정을 식별하는 단계; 및
    상기 식별된 사용자의 감정 및 상기 제2 얼굴 영역에 위치하는 객체의 특징점에 기초하여 상기 식별된 감정에 대응되도록 상기 제2 얼굴 영역에 위치하는 객체의 모양을 변형하는 단계;를 포함하는 전자 장치의 제어 방법.
  9. 제8항에 있어서,
    상기 마스크의 형태를 식별하는 단계는,
    마스크의 형태를 식별하는 AI 모델을 이용하여 비말 마스크, 황사 마스크 또는 면 마스크의 형태 중 하나로 상기 마스크의 형태를 식별하는, 전자 장치의 제어 방법.
  10. 제8항에 있어서,
    상기 제2 얼굴 영역에 위치하는 객체의 좌표를 식별하는 단계는,
    상기 추출된 마스크의 특징점 중 기 설정된 개수의 좌측 특징점 및 기 설정된 개수의 우측 특징점에 기초하여 상기 좌측 특징점과 상기 우측 특징점의 중앙 영역의 좌표를 산출하고, 상기 산출된 좌표를 상기 제2 얼굴 영역에 위치하는 객체 중 코 및 입 영역으로 식별하는, 전자 장치의 제어 방법.
  11. 제8항에 있어서,
    상기 제2 얼굴 영역에 위치하는 객체의 좌표를 식별하는 단계는,
    상기 제1 얼굴 영역의 특징점 중 눈 영역의 특징점 및 상기 식별된 마스크의 특징점 중 기 설정된 위치의 특징점을 식별하고, 상기 식별된 눈 영역의 특징점, 상기 기 설정된 위치의 특징점 및 기 설정된 얼굴 영역의 모델에 기초하여 상기 제2 얼굴 영역에 위치하는 객체 중 코 및 입 영역을 식별하는, 전자 장치의 제어 방법.
  12. 제8항에 있어서,
    상기 제2 얼굴 영역에 위치하는 객체의 모양을 변형하는 단계는,
    상기 식별된 감정이 행복한 감정과 관련된 경우, 상기 제2 얼굴 영역에 위치하는 객체 중 입 영역의 좌우측 최외각 특징점을 위쪽 방향으로 이동시켜 상기 제2 얼굴 영역에 위치하는 객체의 모양을 변형하는, 전자 장치의 제어 방법.
  13. 제8항에 있어서,
    상기 제2 얼굴 영역에 위치하는 객체의 모양을 변형하는 단계는,
    상기 식별된 감정이 화난 감정과 관련된 경우, 상기 제2 얼굴 영역에 위치하는 객체 중 입 영역의 좌우측 최외각 특징점을 아래쪽 방향으로 이동시켜 상기 제2 얼굴 영역에 위치하는 객체의 모양을 변형하는, 전자 장치의 제어 방법.
  14. 제8항에 있어서,
    상기 제2 얼굴 영역에 위치하는 객체의 모양을 변형하는 단계는,
    저장된 사용자의 감정에 대응되는 눈 영역의 모양 데이터 중 상기 제1 얼굴 영역 중 눈 영역의 특징점과 대응되는 눈 영역의 모양 데이터와 사용자의 감정을 식별하고, 상기 식별된 사용자의 감정 및 상기 식별된 눈 영역의 모양 데이터에 기초하여 저장된 사용자의 감정에 대응되는 입 영역의 모양 데이터 중 대응되는 입 영역의 모양 데이터를 식별하며, 상기 식별된 입 영역의 모양 데이터에 대응되도록 상기 제2 얼굴 영역에 위치하는 객체 중 입 영역의 특징점을 이동시켜 상기 제2 얼굴 영역에 위치하는 객체의 모양을 변형하는, 전자 장치의 제어 방법.
  15. 마스크를 착용한 사용자의 얼굴 이미지를 입력받는 단계;
    상기 마스크의 형태를 식별하고, 상기 식별된 마스크의 특징점, 상기 마스크의 영역 이외의 영역에 위치하는 제1 얼굴 영역의 특징점을 추출하는 단계;
    상기 추출된 마스크의 특징점에 기초하여 상기 마스크에 의해 가려진 제2 얼굴 영역에 위치하는 객체의 좌표를 식별하는 단계; 및
    사람의 감정을 식별하는 AI 모델 및 상기 제1 얼굴 영역의 특징점에 기초하여 상기 사용자의 감정을 식별하고, 상기 식별된 사용자의 감정 및 상기 제2 얼굴 영역에 위치하는 객체의 특징점에 기초하여 상기 식별된 감정에 대응되도록 상기 제2 얼굴 영역에 위치하는 객체의 모양을 변형하는 단계;를 포함하는 전자 장치의 제어 방법을 수행하는 프로그램이 기록된 비일시적 컴퓨터 판독 가능 저장 매체.
KR1020210123405A 2021-09-15 2021-09-15 전자 장치 및 그 제어 방법 KR20230040151A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210123405A KR20230040151A (ko) 2021-09-15 2021-09-15 전자 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210123405A KR20230040151A (ko) 2021-09-15 2021-09-15 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20230040151A true KR20230040151A (ko) 2023-03-22

Family

ID=86005782

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210123405A KR20230040151A (ko) 2021-09-15 2021-09-15 전자 장치 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR20230040151A (ko)

Similar Documents

Publication Publication Date Title
US10860850B2 (en) Method of recognition based on iris recognition and electronic device supporting the same
KR102333101B1 (ko) 관심 객체에 대한 외부 광원의 속성 정보를 제공하는 방법을 지원하는 전자 장치
US9349039B2 (en) Gesture recognition device and control method for the same
US20150029092A1 (en) Systems and methods of interpreting complex gestures
KR20200020319A (ko) 전자 장치 및 그 제어 방법
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
KR102636243B1 (ko) 이미지를 처리하기 위한 방법 및 그 전자 장치
JP6221505B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN104516499B (zh) 利用用户接口的事件的设备和方法
US9746919B2 (en) Information processing device and information processing method
US11803233B2 (en) IMU for touch detection
WO2019095117A1 (zh) 一种人脸图像检测方法及终端设备
US20210209342A1 (en) Human face detcetion method
CN111684782B (zh) 电子设备及其控制方法
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20230300290A1 (en) Information display system, information display method, and non-transitory recording medium
US20190005546A1 (en) Augmented reality advertisements on objects
CN109241942B (zh) 图像处理方法、装置、人脸识别设备及存储介质
KR20230040151A (ko) 전자 장치 및 그 제어 방법
JP2007048232A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US20170109569A1 (en) Hybrid face recognition based on 3d data
US11340706B2 (en) Gesture recognition based on depth information and computer vision
KR102074977B1 (ko) 전자 장치 및 그의 제어 방법
US10496873B2 (en) Body information analysis apparatus and method of detecting face shape by using same
KR20170067398A (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템