KR102004287B1 - 이모티콘 생성 장치 및 이모티콘 생성 방법 - Google Patents

이모티콘 생성 장치 및 이모티콘 생성 방법 Download PDF

Info

Publication number
KR102004287B1
KR102004287B1 KR1020120115473A KR20120115473A KR102004287B1 KR 102004287 B1 KR102004287 B1 KR 102004287B1 KR 1020120115473 A KR1020120115473 A KR 1020120115473A KR 20120115473 A KR20120115473 A KR 20120115473A KR 102004287 B1 KR102004287 B1 KR 102004287B1
Authority
KR
South Korea
Prior art keywords
outline
image data
emoticon
face
region
Prior art date
Application number
KR1020120115473A
Other languages
English (en)
Other versions
KR20140049340A (ko
Inventor
김광철
박윤서
송혜원
배정만
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020120115473A priority Critical patent/KR102004287B1/ko
Publication of KR20140049340A publication Critical patent/KR20140049340A/ko
Application granted granted Critical
Publication of KR102004287B1 publication Critical patent/KR102004287B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명인 이모티콘 생성 장치의 이모티콘 생성 방법은, 얼굴을 포함하는 영상 데이터를 상기 데이터의 포맷에 따라 로딩하는 영상 로딩부, 상기 영상 데이터로부터 얼굴의 미리 정해진 부위의 특징 정보를 검출하고, 상기 영상 데이터로부터 얼굴 부위를 인식하는 영상 인식부, 상기 영상 데이터로부터 상기 얼굴 부위의 미리 정해진 부위 및 얼굴 부위의 아웃라인을 검출하는 아웃라인 검출부, 상기 아웃라인으로부터 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터로부터 이모티콘을 생성하는 이모티콘 생성부를 포함한다.
본 발명은 사용자의 실제 사진을 로딩한 후 얼굴 부위를 인식하여 원하는 표정의 이모티콘을 생성함으로써, 제한된 이모티콘의 캐릭터를 넘어서 사용자의 개성을 반영할 수 있고, 사용자가 직접 자유롭게 원하는 표정의 이모티콘을 생성 가능한 이모티콘 생성 장치 및 생성 방법을 제공할 수 있다.

Description

이모티콘 생성 장치 및 이모티콘 생성 방법 {APPARATUS AND METHODS OF MAKING USER EMOTICON}
본 발명은 이모티콘 생성 장치 및 그 장치의 이모티콘 생성 방법에 관한 것으로서, 보다 상세하게는, 사용자의 실제 사진을 이용하여 사용자가 원하는 다양한 표정의 이모티콘을 생성할 수 있도록 하고, 생성된 이모티콘을 메신져 등 다른 어플리케이션으로 바로 전송하여 사용 가능하게 함으로써, 사용자가 자신의 사진으로 원하는 이모티콘을 생성할 수 있는 장치 및 그 이모티콘 생성 방법에 관한 것이다.
근래 많은 사람들이 인터넷에 접속 가능하거나 또는 다양한 컨텐츠의 이용을 지원하는 다양한 모바일 기기를 사용하고 있고, 해당 기기에서 다양한 메신져 및 메일 등의 어플리케이션을 사용한다.
사용자들은 메신져 등의 어플리케이션에서 다양한 이모티콘(Emoticon)을 사용하여 자신의 상태 또는 기분을 표현한다. 이모티콘은 감정을 뜻하는 단어(Emotion)과 아이콘(Icon)의 합성어를 의미한다.
인터넷 초기에는 초기에는 사용자들이 문자와 기호, 숫자 등을 조합하여 만든 텍스트(Text) 기반의 이모티콘이 사용되었다. 예를 들어, 웃는 표정은 “;-)” 또는 “^_^”등을 사용하고, 우는 표정은 “:-(“, “T_T”등과 같이 문자를 조합하여 사용하는 방식이었다.
하지만, 최근에 멀티미디어 방식을 지원하는 메신져 등의 다양한 어플리케이션에서 그림 형식의 이모티콘을 지원하고 있고, 사용자들은 감정을 나타내는 다양한 종류의 이모티콘을 이용하여 서로 교류하고 있다.
종래 메신져 등의 어플리케이션은 캐릭터에 기반한 이모티콘들을 지원한다. 상기 그림 방식의 이모티콘들은 캐릭터의 웃는 표정, 찡그린 표정, 우는 표정 등 캐릭터에 기반한 것이다. 또한, 종래 메신져 등의 어플리케이션에서 사용되는 이모티콘의 종류 및 표정은 한정되어 있다.
하지만, 사용자들은 다양한 이모티콘을 원하고 있으며, 특히 자신의 실제 얼굴 사진을 이용하여 생성된 이모티콘을 사용할 경우 자신의 개성을 반영하여 감정을 표현할 수 있다.
또한, 사용자들은 미리 정해진 표정뿐만 아니라 다양한 표정에 대한 이모티콘을 스스로 만들고 싶은 욕구를 가지고 있다.
따라서, 사용자가 자신의 실제 사진을 가지고 이모티콘을 생성할 수 있으며, 사용자가 원하는 표정의 이모티콘을 생성할 수 있는 이모티콘 생성 장치 및 방법이 필요하다.
국내등록특허 제 0471594호(2005.02.02) 발명의 명칭: 사용자 정의 이모티콘 이미지를 이용한 컴퓨터 네트워크상에서의 데이터 전송 서비스 제공 방법 및 그를 구현하기 위한 응용 프로그램을 기록한 컴퓨터가 읽을 수 있는 기록매체
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 사용자가 자신의 실제 사진을 이용하여 이모티콘을 생성 가능하도록 함으로써, 제한된 이모티콘의 캐릭터를 넘어서 사용자의 개성을 반영할 수 있는 이모티콘 생성 장치 및 생성 방법을 제공하는데 그 기술적 과제가 있다.
또한, 사용자가 정해진 표정뿐만 아니라 표정을 자유롭게 생성할 수 있는 이모티콘 생성 장치 및 생성 방법을 제공하는데 그 기술적 과제가 있다.
또한, 사용자가 생성한 이모티콘을 원하는 어플리케이션에 바로 전송 가능하도록 함으로써, 보다 사용이 편리한 이모티콘 생성 장치 및 생성 방법을 제공하는데 그 기술적 과제가 있다.
상술한 과제를 해결하기 위한 본 발명인 이모티콘 생성 장치의 이모티콘 생성 방법은, (a) 얼굴을 포함하는 영상 데이터를 로딩하는 단계, (b) 상기 영상 데이터로부터 얼굴의 미리 정해진 부위의 특징 정보를 검출하고, 상기 영상 데이터로부터 얼굴 부위를 인식하는 단계, (c)상기 영상 데이터로부터 상기 얼굴 부위의 미리 정해진 부위 및 얼굴 부위의 아웃라인을 검출하는 단계 및 (d)상기 아웃라인으로부터 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터로부터 이모티콘을 생성하는 단계를 포함한다.
이모티콘 생성 방법은 상기 (b) 단계에서 상기 미리 정해진 부위는 눈, 코, 입 또는 귀 중에서 적어도 어느 하나를 포함할 수 있다.
또한, 이모티콘 생성 방법은 상기 (d) 단계에서 미리 정해진 필터에 대한 선택 입력을 받고, 상기 필터를 상기 아웃라인 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터에 적용하여 이모티콘을 생성할 수 있다.
상기 (d) 단계에서 상기 필터는 상기 아웃라인 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터의 형상을 바꾸는 것일 수 있다.
상기 (d) 단계에서 상기 필터는 웃는 표정, 우는 표정 또는 화난 표정 중 적어도 어느 하나의 표정으로 상기 아웃라인 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터의 형상을 바꾸는 것일 수 있다.
이모티콘 생성 방법은 상기 (d) 단계에서 상기 (c) 단계의 검출된 상기 얼굴 부위의 미리 정해진 부위 또는 얼굴 부위의 상기 아웃라인에 컨트롤 포인트를 표시하고, 사용자로부터 상기 컨트롤 포인트의 이동 입력을 받은 후에, 상기 컨트롤 포인트의 상기 이동 입력에 따라 상기 미리 정해진 부위 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터를 변형하여 이모티콘을 생성하는 것일 수 있다.
이모티콘 생성 방법은 상기 (d) 단계 이후에, (e)미리 정해져 있거나 사용자로부터 선택 받은 어플리케이션 또는 외부 장치로 상기 (d) 단계에서 생성된 상기 이모티콘을 전송하는 단계를 더 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 측면에 따르면, 상술한 과제를 해결하기 위한 본 발명인 이모티콘 생성 장치는 얼굴을 포함하는 영상 데이터를 상기 데이터의 포맷에 따라 로딩하는 영상 로딩부, 기 영상 데이터로부터 얼굴의 미리 정해진 부위의 특징 정보를 검출하고, 상기 영상 데이터로부터 얼굴 부위를 인식하는 영상 인식부, 상기 영상 데이터로부터 상기 얼굴 부위의 미리 정해진 부위 및 얼굴 부위의 아웃라인을 검출하는 아웃라인 검출부 및 상기 아웃라인으로부터 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터로부터 이모티콘을 생성하는 이모티콘 생성부를 포함한다.
상기 미리 정해진 부위는 눈, 코, 입 또는 귀 중에서 적어도 어느 하나를 포함할 수 있다.
상기 이모티콘 생성부는, 미리 정해진 필터에 대한 선택 입력을 받고, 상기 필터를 상기 아웃라인 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터에 적용하여 이모티콘을 생성할 수 있다.
상기 이모티콘 생성부의 상기 필터는 상기 아웃라인 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터의 형상을 바꾸는 것일 수 있다.
상기 이모티콘 생성부의 상기 필터는 웃는 표정, 우는 표정 또는 화난 표정 중 적어도 어느 하나의 표정으로 상기 아웃라인 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터의 형상을 바꾸는 것일 수 있다.
상기 이모티콘 생성부는,
상기 아웃라인 검출부가 검출한 상기 얼굴 부위의 미리 정해진 부위 또는 얼굴 부위의 상기 아웃라인에 컨트롤 포인트를 표시하고,
사용자로부터 상기 컨트롤 포인트의 이동 입력을 받은 후에, 상기 컨트롤 포인트의 상기 이동 입력에 따라 상기 미리 정해진 부위 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터를 변형하여 이모티콘을 생성하는 것일 수 있다.
상기 이모티콘 생성부는 상기 이모티콘 생성 이후에, 미리 정해져 있거나 사용자로부터 선택 받은 어플리케이션 또는 외부 장치로 생성된 상기 이모티콘을 전송할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 측면에 따르면, 얼굴을 포함하는 영상 데이터를 로딩하는 단계, 얼굴의 미리 정해진 부위의 특징 정보를 검출하고, 상기 영상 데이터로부터 얼굴 부위를 인식하는 단계, 상기 영상 데이터로부터 상기 얼굴 부위의 미리 정해진 부위 및 얼굴 부위의 아웃라인을 검출하는 단계 및 상기 아웃라인으로부터 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터로부터 이모티콘을 생성하는 단계를 포함하는 이모티콘 생성 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공된다.
상술한 바와 같이 본 발명의 이모티콘 생성 장치 및 생성 방법은 사용자의 실제 사진을 로딩한 후 얼굴 부위를 인식하여 원하는 표정의 이모티콘을 생성함으로써, 제한된 이모티콘의 캐릭터를 넘어서 사용자의 개성을 반영할 수 있는 이모티콘 생성 장치 및 생성 방법을 제공할 수 있다.
또한, 사용자가 직접 자유롭게 원하는 표정의 이모티콘을 생성 가능한 이모티콘 생성 장치 및 생성 방법을 제공할 수 있다.
또한, 사용자가 생성한 이모티콘을 원하는 어플리케이션에 바로 전송 가능하도록 함으로써, 보다 사용이 편리한 이모티콘 생성 장치 및 생성 방법을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 이모티콘 생성 장치의 제어 블럭도이다.
도 2는 본 발명의 실시예에 따른 이모티콘 생성 장치의 이모티콘 생성 방법의 흐름도이다.
도 3은 본 발명의 실시예에서 로딩된 실제 사진을 표시한 예이다.
도 4는 도 3의 실제 사진에서 얼굴 부위 및 미리 설정된 부위들을 검출한 예이다.
도 5는 도 3의 실제 사진에서 얼굴 부위 및 미리 설정된 부위들을 검출한 다른 예이다.
도 6은 도 3의 실제 사진에서 얼굴 부위 및 미리 설정된 부위들에 사용자가 직접 표정을 생성할 수 있도록 제어 포인트(Control Point)를 표시한 예이다.
도 7은 도 4 또는 도 5의 검출된 얼굴 부위로부터 캐릭터로 생성된 이모티콘의 예이다.
도 8은 도 4 또는 도 5의 검출된 얼굴 부위로부터 실제 사진으로 생성된 이모티콘의 예이다.
도 9는 사용자가 원하는 표정의 이모티콘으로 생성하기 위한 선택 방법의 예이다.
도 10은 사용자가 생성한 이모티콘을 메신져 프로그램으로 전송하여 사용하는 예이다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하의 상세한 설명에 의해 보다 명확하게 이해될 것이다. 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
이 분야의 통상의 기술자는 본 명세서의 실시예들을 통해서 본 발명의 다양한 응용을 구현 가능하므로, 본 발명의 상세한 설명에 기재된 임의의 실시예들은 본 발명을 보다 잘 설명하기 위한 예시적인 것으로서 본 발명의 범위가 실시예들로 한정되는 것을 의도하는 것은 아니다.
본 명세서에서 표현되는 각 기능부는 본 발명 구현에 대한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능부가 사용될 수 있다. 또한, 각 기능부는 순전히 하드웨어 또는 소프트웨어의 구성으로만 구현될 수도 있지만, 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합으로 구현될 수도 있다.
본 명세서에서 이모티콘 생성 장치는 통상적으로 적어도 하나의 연산수단, 저장수단 및 디스플레이수단을 포함하는 장치를 의미한다. 상기 연산수단은 범용적인 중앙연산장치(CPU)일 수도 있으나, 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA)나 주문형 반도체 연산장치(ASIC)일 수도 있다. 상기 저장수단은 휘발성 메모리 소자이거나 비휘발성 메모리 또는 비휘발성 전자기적 저장장치일 수 있다.
상기 이모티콘 생성 장치는 컴퓨터뿐만 아니라 이동통신 단말기, 스마트폰, 태블릿 컴퓨터 등의 휴대단말 장치를 포함한다.
상기 이모티콘 생성 장치는 통신부 또는 입력수단을 가질 수 있다.
통신부는 통신망과의 통신 채널 형성을 위하여 다양한 통신 방식 중 적어도 하나의 통신 방식에 따른 통신 모듈로 구성될 수 있다. 예를 들어 통신부는 CDMA, GSM, WCDMA, OFDMA 방식 등 다양한 이동 통신 방식을 지원하는 통신 모듈 중 적어도 하나로 구성될 수 있다. 또한, 통신부는 IP 기반의 유무선 통신 모듈로 구현될 수 있다. 따라서, 통신부는 WiFi, LAN 등의 인터넷 기반 통신 방식에 따른 통신 모듈로 구성될 수 있다.
입력수단은 사용자로부터 다양한 데이터(문자, 숫자, 기호 등)를 입력 받거나 이모티콘 생성 방법을 제어하기 위한 수단으로서, 키보드, 키패드, 마우스, 모션 센서 등과 같은 다양한 종류의 입력 수단으로 형성될 수 있으며, 이모티콘 생성 장치가 터치스크린으로 제작되는 경우, 터치스크린 상에 구현되는 소프트 키 및 사이드 키나 별도의 핫 키, 단축 키 등을 포함하여 구성될 수 있다. 입력수단은 숫자 또는 문자 정보를 입력 받고 각종 기능들을 설정하기 위한 다수의 입력키 및 기능키들을 포함할 수 있다.
디스플레이 수단은 휴대단말 장치의 처리 결과를 표시하거나 정보를 사용자에게 제공하기 위한 출력 수단으로서, 각종 메뉴를 비롯하여 사용자가 입력한 정보 또는 사용자에게 제공하는 정보를 표시한다. 디스플레이 수단은 이모티콘 생성 장치에서 이모티콘이 생성되는 실행 화면을 제공할 수 있다.
디스플레이 수단은 액정 표시 장치(Liquid Crystal Display), OLED(Organic Light Emitted Diode) 등의 평판 표시 패널의 형태로 형성될 수 있고, 터치 패널을 포함하는 구조로 제작될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 이모티콘 생성 장치의 제어 블록도이다.
도 1을 참조하면, 이모티콘 생성 장치는 영상 로딩부(210), 영상 인식부(220), 아웃라인 검출부(230), 이모티콘 생성부(240)를 포함한다.
영상 로딩부(210)는 사용자의 선택을 받아 얼굴을 포함하는 영상 데이터를 로딩한다.
영상 인식부(220)는 영상 로딩부(210)에서 로딩된 영상 데이터로부터 얼굴의 미리 정해진 부위의 특징 정보를 검출하고, 상기 영상 데이터로부터 얼굴 부위를 인식한다.
아웃라인 검출부(230)는 상기 영상 데이터로부터 상기 얼굴 부위의 미리 정해진 부위 및 얼굴 부위의 아웃라인을 검출한다.
이모티콘 생성부(240)는 아웃라인 검출부(230)에서 검출된 아웃라인으로부터 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터로부터 이모티콘을 생성한다.
도 2는 본 발명의 실시예에 따른 이모티콘 생성 장치의 이모티콘 생성 방법의 흐름도이다.
도 2에 도시된 바와 같이, 이모티콘 생성 장치의 이모티콘 생성 방법은 영상 데이터 로딩(Loading) 단계(S110), 특징정보 검출 단계(S120), 얼굴 부위 인식 단계(S130), 아웃라인 검출 단계(S140), 이모티콘 생성 단계(S150)를 포함한다.
도 3을 참조하면 이모티콘 생성 장치는 영상 데이터 로딩 단계(S110)에서 사용자의 선택을 받아 실제 얼굴을 포함하는 영상 데이터를 로딩한다. 상기 영상 데이터는 저장된 영상 데이터거나 이치에 연결되어 있는 카메라로부터 바로 생성되어 전송된 것일 수 있다.
상기 영상 데이터는 다양한 포맷일 수 있으며, 이치는 상기 영상 데이터의 포맷을 한정하지 않는다.
이치는 로딩된 영상 데이터를 사용자에게 디스플레이 할 수 있으며, 또는 디스플레이 하지 않고 바로 로딩된 영상 데이터로부터 상기 영상 데이터에 포함된 얼굴 부위를 인식할 수 있다.
얼굴 부위 인식은 특징 정보 검출 단계(S120)에서 미리 정해진 특정 부위의 특징 정보를 검출하여 가능할 수 있다.
종래의 얼굴을 인식하는 일반적인 기술로서 얼굴이 포함된 영상 데이터로부터 아이겐 벡터(Eigen vector), PCA (Principle Component Analysis) 특징 벡터 등을 이용하여 얼굴 부위를 인식하는 기술들이 존재한다.
또한, 얼굴 부위에서 특정 부위, 예를 들면 눈, 코, 입 등을 별도로 구별하기 위하여 상기 특정 부위에 따라 별도의 특징 벡터를 이용하거나 얼굴 부위 인식과 다른 기술을 이용할 수 있다.
상기 얼굴 부위 인식 기술 또는 얼굴에 포함된 특정 부위를 인식하는 기술은 공지된 기술에 해당되는 것으로서 이에 대한 상세한 설명은 생략하기로 한다.
이치는 상기 얼굴 부위 인식 기술 또는 얼굴에 포함된 특정 부위를 인식하는 기술의 종류를 한정하지 않는다.
이치는 얼굴 부위 인식 전에 영상 데이터에 대하여 전처리(Pre-processing) 과정을 거칠 수 있다.
예를 들어, 영상 데이터의 윤곽선을 보다 강조하기 위하여 하이패스(High-Pass) 필터를 적용할 수 있다. 또한 얼굴 부위 또는 얼굴에 포함된 특정 부위를 검출하기 위한 특징 정보를 검출하기 전에 소벨(Sobel) 필터와 같은 윤곽선을 검출하는 필터를 영상 데이터에 적용할 수도 있다.
이치는 특징 정보 검출 단계(S120)에서 얼굴에서 미리 정해진 부위의 특징 정보를 검출한다.
얼굴에서 상기 미리 정해진 부위는 눈, 코, 입 중에서 적어도 어느 하나를 포함한다.
예를 들면, 이모티콘 생성을 위해서 얼굴 부위 및 상기 얼굴 부위에 포함된 눈, 코, 입, 귀가 검출될 수 있고, 다른 예를 들면, 이모티콘 생성을 위해서 얼굴 부위 및 상기 얼굴 부위에 포함된 눈, 입이 검출될 수 있다.
즉, 이모티콘의 생성을 위해서 검출될 얼굴 부위를 이치에서 미리 설정할 수 있다. 이치의 한 예로서 코의 변형을 허락하지 않는다면 이치는 얼굴 부위에서 눈, 입만 검출되도록 미리 설정할 수 있다.
또한, 이치는 이모티콘 생성을 위해서 검출될 부위를 사용자로 하여금 선택하도록 할 수 있다.
즉, 사용자가 눈, 입의 변형만 원하는 경우 사용자에게 원하는 부위를 영상 데이터의 로딩 전 또는 얼굴 부위 인식 이후에 선택하도록 하고, 사용자가 선택한 해당 부위만 이모티콘 생성에 사용할 수도 있다.
사용자가 특정 부위를 선택하는 인터페이스(Interface)는 체크박스형(Check-Box Type)의 일반적인 인터페이스거나 영상 데이터로부터 인식된 특정 부위들 중에서 사용자가 직접 터치 또는 마우스 클릭을 통한 선택 인터페이스 일 수 있다.
이치는 얼굴 부위 인식 단계(S130)에서 검출된 특징 정보를 이용하여 얼굴 부위를 인식한다.
얼굴 부위 인식에는 종래의 얼굴 인식 기술들을 이용할 수 있다.
이치는 인식된 얼굴 부위에서 아웃라인을 검출한다.
도 4 및 도 5를 참조하여 예를 들면 얼굴 부위 및 얼굴에 포함된 특정 부위가 검출되고 인식된 후에, 이치는 아웃라인 검출 단계(S140)에서 상기 영상 데이터로부터 얼굴 부위의 미리 정해진 부위 및 얼굴 부위의 아웃라인을 검출한다.
만약 이전 단계에서 사용자가 눈, 입만 선택하였거나, 이치의 설정에서 눈, 입만 검출하도록 설정되어 있다면 도 5와 같이 이치는 얼굴 부위와 눈, 입의 아웃라인만 검출한다.
또는 얼굴 부위에 포함된 눈, 코, 입, 귀가 모두 설정되거나 선택되었다면 이치는 도 4와 같이 얼굴 부위와 눈, 코, 입, 귀 모두의 아웃라인을 검출한다.
도 4 및 도 5에서는 검출된 아웃라인을 디스플레이 수단에 표시하는 것처럼 예를 들었지만, 이치는 사용자가 볼 수 있는 디스플레이 수단에 검출된 아웃라인을 표시하지 않을 수도 있다.
즉, 내부적으로 아웃라인을 검출한 후에 바로 사용자로부터 원하는 표정을 선택 받고 검출된 아웃라인을 이용하여 실제 사진으로부터 이모티콘을 생성할 수 있다.
이치는 사용자가 볼 수 있는 디스플레이 수단에 검출된 아웃라인을 표시하는 경우에, 보다 정밀한 이모티콘 생성을 위하여 사용자가 검출된 아웃라인을 조정하도록 할 수 있다.
종래에 다양한 아웃라인 검출 기술들이 존재하지만 영상 데이터의 조명, 얼굴의 포즈, 주변 환경에 따라 아웃라인 검출 결과가 정확하지 않거나 사용자가 만족하지 않을 수 있다.
도 6을 예로 들면, 이치는 도 5와 같이 검출된 아웃라인에 제어 포인트를 표시하여 사용자로 하여금 아웃라인을 조정하도록 할 수 있다. 사용자는 얼굴 부위 또는 눈, 입에 해당하는 아웃라인의 제어 포인트를 움직여서 상기 아웃라인이 영상 데이터의 각 부위의 형태를 정확하게 반영하도록 조정할 수 있다.
상기 제어 포인트는 각 부위에 따라 숫자를 달리하여 사용자로 하여금 미세하게 조정할 수 있는 인터페이스를 제공할 수 있다.
이치는 이모티콘 생성 단계(S150)에서 검출된 얼굴 부위 또는 얼굴에서 미리 설정된 부위에 해당하는 아웃라인을 이용하여 이모티콘을 생성한다.
이치는 이모티콘을 생성하기 위하여 사용자로부터 원하는 표정을 선택 입력받을 수 있다.
도 9를 예로 들면, 이치는 사용자에게 웃는 표정, 우는 표정, 윙크하는 표정, 화난 표정을 선택하도록 할 수 있다. 도 9에서는 사용자가 직관적으로 원하는 표정을 선택하도록 하기 위하여 표정을 그래픽적으로 표시하였지만, 일반적인 텍스트 형태의 리스트로 사용자의 선택을 입력받을 수도 있다.
생성되는 이모티콘은 상기 아웃라인으로 구성된 캐릭터(또는 캐리 커쳐, caricature) 형태일 수 있으며, 또는 실제 얼굴 모습을 변형한 형태일 수 있다.
도 7은 상기 아웃라인으로부터 생성된 웃는 표정의 캐릭터 형태의 이모티콘의 예이다.
이치는 사용자가 선택한 표정에 해당하는 변환 모델을 미리 저장할 수 있다.
사용자가 표정을 선택하면, 이치는 선택한 표정의 변환 모델을 로딩하여 검출된 아웃라인을 해당 변환 모델을 이용하여 원하는 표정으로 변환한다.
예를 들어, 웃는 표정의 변환 모델은 좌우 입 꼬리가 상향으로 올라가는 형태일 수 있다. 이 경우, 검출된 아웃라인에서 입에 해당하는 아웃라인을 변환 모델에 포함되어 있는 입의 스플라인(Spline)곡선에 매칭시킨 후 상기 입에 해당하는 아웃라인을 변형시킬 수 있다.
또한 이 경우, 자연스러운 이모티콘을 생성하기 위해 입에 해당하는 아웃라인의 변화 정도를 포스(Force) 모델로 측정하고, 입 주변의 얼굴 부위에 해당하는 아웃라인도 함께 상기 포스를 적용하여 같이 변환할 수 있다.
검출된 아웃라인에서 미리 특정된 부위가 변환 모델의 스플라인 곡선과의 차이가 적은 경우 상기 변형은 작을 수 있다.
상기 변환 모델에 따른 변환은 얼굴에서 미리 설정된 부위에만 적용하거나, 변환 모델에서 설정된 부위에만 적용할 수 있다.
도 8은 도 5의 검출된 얼굴 부위로부터 실제 사진으로 생성된 이모티콘의 예이다.
이치는 사용자가 선택한 표정에 해당하는 변환 모델을 미리 저장할 수 있다.
사용자가 표정을 선택하면, 이치는 선택한 표정의 변환 모델을 로딩하여 검출된 아웃라인 및 아웃라인에 해당하는 영상 데이터 부위를 해당 변환 모델을 이용하여 원하는 표정으로 변환한다.
예를 들어, 웃는 표정의 변환 모델은 좌우 입 꼬리가 상향으로 올라가는 형태일 수 있다. 이 경우, 검출된 아웃라인에서 입에 해당하는 아웃라인을 변환 모델에 포함되어 있는 입의 스플라인(Spline)곡선에 매칭시킨 후 상기 입에 해당하는 아웃라인을 변형시킬 수 있다.
또한, 상기 아웃라인의 변형에 따른 포스를 측정하여 상기 포스에 따라 아웃라인에 해당하는 영상 데이터 또한 변형할 수 있다.
또한 이 경우, 자연스러운 영상 데이터 변형된 이모티콘을 생성하기 위해, 입에 해당하는 아웃라인과의 거리에 따라 주변 얼굴 부위에 해당하는 영상 데이터도 함께 상기 포스를 적용하여 같이 변환할 수 있다. 예를 들어, 입에 해당하는 아웃라인과 가까운 부위는 변환 모델에 따라 큰 힘을 받도록 영상 데이터를 변형하고, 입에 해당하는 아웃라인과 먼 분위는 변환 모델에 따라 작은 힘을 받도록 영상 데이터를 변형할 수 있다.
또한, 검출된 아웃라인의 부위에 따라 변환되는 힘의 방향이 서로 다를 수 있으므로, 입에 해당하는 아웃라인 근처의 영상 데이터 또한 변환되는 방향이 다를 수 있다.
검출된 아웃라인에서 미리 특정된 부위가 변환 모델의 스플라인 곡선과의 차이가 적은 경우 상기 변형은 작을 수 있다.
상기 변환 모델에 따른 변환은 얼굴에서 미리 설정된 부위에만 적용하거나, 변환 모델에서 설정된 부위에만 적용할 수 있다.
따라서, 이치는 아웃라인 만으로 구성된 캐릭터 형태의 이모티콘 뿐만 아니라 실제 사진으로 구성된 개성적인 이모티콘을 생성할 수 있다.
상기 이모티콘 생성 단계는 필터를 적용하여 생성될 수도 있다. 스플라인 곡선 모델은 포스를 측정하여 자연스러운 변형을 이끌어 낼 수 있으나, 마스크(Mask)형태의 필터는 보다 용이하게 영상 데이터 또는 아웃라인을 변형할 수 있다.
이 경우 상기 필터는 사용자가 선택한 표정에 따라 미리 정해진 것일 수 있고, 선택된 표정에 따라 상기 아웃라인 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터의 형상을 바꾸는 것일 수 있다.
또한, 이치는 사용자가 선택한 표정에 따라 아웃라인 또는 아웃라인에 해당하는 얼굴 부위 영상 데이터의 형상을 자동적으로 바꿀 수 있을 뿐만 아니라, 사용자가 직접 자신이 원하는 부위를 변형할 수 있는 인터페이스를 제공할 수 있다.
도 6은 이치가 검출된 아웃라인에 컨트롤 포인터(610)들을 제공하는 예이다.
사용자는 원하는 컨트롤 포인터(610)를 움직여서 자신이 원하는 표정으로 아웃라인 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터를 변환할 수 있다. 입에 해당하는 아웃라인 또는 입 아웃라인에 해당하는 얼굴 부위 영상 데이터를 변환하는 경우, 입 꼬리의 컨트롤 포인터(603)를 움직여서 형태를 변환시킬 수 있으며, 눈에 해당하는 아웃라인 또는 눈 아웃라인에 해당하는 얼굴 부위 영상 데이터를 변환하는 경우, 눈 꼬리의 컨트롤 포인터(602)를 움직여서 형태를 변환시킬 수 있다. 또는 얼굴 형태 자체를 변환시키려는 경우 얼굴 형태의 아웃라인의 컨트롤 포인터(601)를 움직일 수도 있다.
이치는 컨트롤 포인터(610)의 움직임에 따라 아웃라인 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터를 변환시킬 수 있으며, 사용자가 이동시키는 컨트롤 포인터뿐만 아니라 주위의 컨트롤 포인터도 움직이는 컨트롤 포인터의 이동에 따라 함께 움직여서 자연스러운 이모티콘을 생성할 수 있다.
이치는 이모티콘이 생성된 후에, 미리 정해져 있거나 사용자로부터 선택 받은 어플리케이션 또는 외부 장치로 생성된 이모티콘을 전송할 수 있다.
따라서, 도 10과 같이 생성된 이모티콘을 바로 다른 어플리케이션에서 이모티콘으로 사용할 수 있다.
한편, 본 발명의 또 다른 측면에 따르면, 얼굴을 포함하는 영상 데이터를 로딩하는 단계, 얼굴의 미리 정해진 부위의 특징 정보를 검출하고, 상기 영상 데이터로부터 얼굴 부위를 인식하는 단계, 상기 영상 데이터로부터 상기 얼굴 부위의 미리 정해진 부위 및 얼굴 부위의 아웃라인을 검출하는 단계 및 상기 아웃라인으로부터 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터로부터 이모티콘을 생성하는 단계를 포함하는 휴대단말 장치의 입력 처리 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체에 기록될 수 있다.
이러한 이모티콘 생성 장치의 이모티콘 생성 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 휴대단말 장치의 입력 처리 방법에 관한 프로그램은 전자장치가 읽을 수 있는 정보저장매체(Readable Media)에 저장되고, 전자장치에 의하여 읽혀지고 실행될 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 사용자의 실제 사진을 이용하여 사용자가 원하는 다양한 표정의 이모티콘을 생성할 수 있도록 하고, 생성된 이모티콘을 메신져 등 다른 어플리케이션으로 바로 전송하여 사용 가능하게 함으로써, 사용자가 자신의 사진으로 원하는 이모티콘을 생성할 수 있는 이모티콘 생성 장치 및 이모티콘 생성 방법에 이용될 수 있다.
210 : 영상 로딩부 220 : 영상 인식부
230 : 아웃라인 검출부 240 : 이모티콘 생성부
310, 410, 510: 실제 사진에 해당하는 영상 데이터
420, 520: 검출된 아웃라인
601, 602, 603, 610: 컨트롤 포인터

Claims (15)

  1. 얼굴을 포함하는 영상 데이터를 데이터의 포맷에 따라 로딩하는 영상 로딩부;
    상기 영상 데이터로부터 얼굴의 미리 정해진 부위의 특징 정보를 검출하고, 검출된 상기 특징 정보를 이용하여 상기 영상 데이터로부터 얼굴 부위를 인식하는 영상 인식부;
    상기 영상 데이터로부터 상기 얼굴 부위의 미리 정해진 부위 및 상기 얼굴 부위의 아웃라인을 검출하는 아웃라인 검출부; 및
    대상 표정에 상응하는 변환 모델을 로딩하고, 상기 아웃라인 및 상기 아웃라인에 해당하는 상기 영상 데이터의 부위 중 적어도 어느 하나에 상기 변환 모델을 적용하여, 상기 영상 데이터로부터 상기 대상 표정의 이모티콘을 생성하는 이모티콘 생성부를 포함하고,
    상기 이모티콘 생성부는 상기 아웃라인의 변형에 따른 포스를 측정하고, 상기 측정된 포스에 따라 상기 아웃라인에 대응하는 영상 데이터를 변형하는 것을 특징으로 하는 이모티콘 생성 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 이모티콘 생성부는,
    미리 정해진 하나 이상의 변환 모델 중에서 상기 대상 표정에 상응하는 변환 모델에 대한 선택 입력을 받고,
    검출된 상기 아웃라인을 상기 변환 모델의 스플라인 곡선에 매칭시키고, 상기 스플라인 곡선에 상응하도록 상기 아웃라인을 변형하여 상기 대상 표정의 이모티콘을 생성하는 것을 특징으로 하는 이모티콘 생성 장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. (a) 얼굴을 포함하는 영상 데이터를 로딩하는 단계;
    (b) 상기 영상 데이터로부터 얼굴의 미리 정해진 부위의 특징 정보를 검출하고, 검출된 상기 특징 정보를 이용하여 상기 영상 데이터로부터 얼굴 부위를 인식하는 단계;
    (c) 상기 영상 데이터로부터 상기 얼굴 부위의 미리 정해진 부위 및 상기 얼굴 부위의 아웃라인을 검출하는 단계; 및
    (d) 대상 표정에 상응하는 변환 모델을 로딩하고, 상기 아웃라인 및 상기 아웃라인에 해당하는 상기 영상 데이터의 부위 중 적어도 어느 하나에 상기 변환 모델을 적용하여, 상기 영상 데이터로부터 상기 대상 표정의 이모티콘을 생성하는 단계를 포함하고,
    상기 (d) 단계는 상기 아웃라인의 변형에 따른 포스를 측정하고, 상기 측정된 포스에 따라 상기 아웃라인에 대응하는 영상 데이터를 변형하는 단계를 포함하는 이모티콘 생성 장치의 이모티콘 생성 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제8항에 있어서,
    상기 (d) 단계는,
    상기 (c) 단계에서 검출된 상기 얼굴 부위의 미리 정해진 부위 또는 얼굴 부위의 상기 아웃라인에 컨트롤 포인트를 표시하고,
    사용자로부터 상기 컨트롤 포인트의 이동 입력을 받은 후에,
    상기 컨트롤 포인트의 상기 이동 입력에 따라 상기 미리 정해진 부위 또는 상기 아웃라인에 해당하는 얼굴 부위 영상 데이터를 변형하여 이모티콘을 생성하는 단계인 것을 특징으로 하는 이모티콘 생성 장치의 이모티콘 생성 방법.
  14. 삭제
  15. 삭제
KR1020120115473A 2012-10-17 2012-10-17 이모티콘 생성 장치 및 이모티콘 생성 방법 KR102004287B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120115473A KR102004287B1 (ko) 2012-10-17 2012-10-17 이모티콘 생성 장치 및 이모티콘 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120115473A KR102004287B1 (ko) 2012-10-17 2012-10-17 이모티콘 생성 장치 및 이모티콘 생성 방법

Publications (2)

Publication Number Publication Date
KR20140049340A KR20140049340A (ko) 2014-04-25
KR102004287B1 true KR102004287B1 (ko) 2019-07-26

Family

ID=50654971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120115473A KR102004287B1 (ko) 2012-10-17 2012-10-17 이모티콘 생성 장치 및 이모티콘 생성 방법

Country Status (1)

Country Link
KR (1) KR102004287B1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US9576175B2 (en) * 2014-05-16 2017-02-21 Verizon Patent And Licensing Inc. Generating emoticons based on an image of a face
KR101535574B1 (ko) * 2014-07-18 2015-07-10 오용운 3d 캐릭터를 이용한 소셜 네트워크 이모티콘 제공 시스템 및 방법
KR102337072B1 (ko) * 2014-09-12 2021-12-08 삼성전자 주식회사 이모티콘을 생성하는 방법 및 이를 지원하는 전자장치
KR101672691B1 (ko) * 2015-07-23 2016-11-07 주식회사 시어스랩 소셜 네트워크 서비스 플랫폼에서 이모티콘 생성 방법 및 장치
EP3128486A1 (fr) * 2015-08-06 2017-02-08 Bruno Echalier Procédé de traitement d'une image numérique
DK201670608A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US20180024726A1 (en) 2016-07-21 2018-01-25 Cives Consulting AS Personified Emoji
CN117193617A (zh) * 2016-09-23 2023-12-08 苹果公司 头像创建和编辑
WO2019142127A1 (en) * 2018-01-17 2019-07-25 Feroz Abbasi Method and system of creating multiple expression emoticons
KR20190101832A (ko) * 2018-02-23 2019-09-02 삼성전자주식회사 전자 장치 및 아바타 기반의 커스텀 객체 운용 방법
CN111742351A (zh) 2018-02-23 2020-10-02 三星电子株式会社 用于生成包括通过与面部相对应的3d化身反映面部运动的3d化身的图像的电子设备及操作其的方法
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
KR102318111B1 (ko) * 2020-11-17 2021-10-27 주식회사 일루니 사용자의 얼굴을 캐릭터에 반영하는 스티커 제공 스토리북 생성 방법 및 장치
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100471594B1 (ko) 2002-11-26 2005-03-10 엔에이치엔(주) 사용자 정의 이모티콘 이미지를 이용한 컴퓨터 네트워크상에서의 데이터 전송 서비스 제공방법 및 그를 구현하기위한 응용 프로그램을 기록한 컴퓨터가 읽을 수 있는기록매체
KR100690295B1 (ko) 2005-09-20 2007-03-09 삼성전자주식회사 휴대용 단말기용 얼굴 영상 정규화 방법 및 얼굴 인식시스템

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272887A (ja) * 1998-03-19 1999-10-08 Nissan Motor Co Ltd 塑性変形解析用モデルの要素再分割方法
KR20030042403A (ko) * 2001-11-22 2003-05-28 조윤석 윤곽선 정합에 의한 이용한 얼굴 캐릭터 생성 방법
KR20030068509A (ko) * 2002-10-11 2003-08-21 (주)아이엠에이테크놀로지 실사인식을 통한 캐릭터 생성방법 및 이를 이용한서비스방법
KR100512567B1 (ko) * 2003-08-12 2005-09-06 학교법인고려중앙학원 얼굴 애니메이션을 위한 디에스엠 복원 방법
KR20100028689A (ko) * 2008-09-05 2010-03-15 고광현 개인 실사 캐릭터 생성 시스템 및 그 방법
KR101596724B1 (ko) * 2011-03-25 2016-02-26 에스케이플래닛 주식회사 캐릭터 커스터마이징을 지원하는 멀티미디어 콘텐츠 제작을 위한 시스템, 이를 위한 장치, 이를 위한 단말, 이를 위한 방법 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록 매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100471594B1 (ko) 2002-11-26 2005-03-10 엔에이치엔(주) 사용자 정의 이모티콘 이미지를 이용한 컴퓨터 네트워크상에서의 데이터 전송 서비스 제공방법 및 그를 구현하기위한 응용 프로그램을 기록한 컴퓨터가 읽을 수 있는기록매체
KR100690295B1 (ko) 2005-09-20 2007-03-09 삼성전자주식회사 휴대용 단말기용 얼굴 영상 정규화 방법 및 얼굴 인식시스템

Also Published As

Publication number Publication date
KR20140049340A (ko) 2014-04-25

Similar Documents

Publication Publication Date Title
KR102004287B1 (ko) 이모티콘 생성 장치 및 이모티콘 생성 방법
US11557075B2 (en) Body pose estimation
US20200412975A1 (en) Content capture with audio input feedback
US20220284656A1 (en) Semantic texture mapping system
US11798261B2 (en) Image face manipulation
US20200310601A1 (en) Dynamic media selection menu
US20240104815A1 (en) Augmented expression system
US20230154121A1 (en) Side-by-side character animation from realtime 3d body motion capture
KR20220108162A (ko) 컨텍스트 감지 아바타 캡션
US11593997B2 (en) Context based augmented reality communication
US20230171211A1 (en) Personalized avatar notification
US11594025B2 (en) Skeletal tracking using previous frames
US20200412864A1 (en) Modular camera interface
WO2023070021A1 (en) Mirror-based augmented reality experience
US20220319078A1 (en) Customizable avatar generation system
US11847528B2 (en) Modulated image segmentation
US20230336514A1 (en) Messaging system
WO2020205197A1 (en) Contextual media filter search
US20230377223A1 (en) Hand-tracked text selection and modification
US11922096B1 (en) Voice controlled UIs for AR wearable devices
US20230018205A1 (en) Message composition interface
WO2023212633A1 (en) Fingerspelling text entry

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant