KR101968723B1 - 카메라 이펙트를 제공하는 방법 및 시스템 - Google Patents

카메라 이펙트를 제공하는 방법 및 시스템 Download PDF

Info

Publication number
KR101968723B1
KR101968723B1 KR1020170135369A KR20170135369A KR101968723B1 KR 101968723 B1 KR101968723 B1 KR 101968723B1 KR 1020170135369 A KR1020170135369 A KR 1020170135369A KR 20170135369 A KR20170135369 A KR 20170135369A KR 101968723 B1 KR101968723 B1 KR 101968723B1
Authority
KR
South Korea
Prior art keywords
effect
emotion
camera image
selecting
electronic device
Prior art date
Application number
KR1020170135369A
Other languages
English (en)
Inventor
김현수
박지영
이경은
최영옥
김은솔
김성호
조성택
김정명
박기수
송유섭
Original Assignee
네이버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사 filed Critical 네이버 주식회사
Priority to KR1020170135369A priority Critical patent/KR101968723B1/ko
Priority to US16/163,332 priority patent/US10742900B2/en
Priority to CN201811210847.7A priority patent/CN109688451B/zh
Priority to JP2018196434A priority patent/JP6684883B2/ja
Application granted granted Critical
Publication of KR101968723B1 publication Critical patent/KR101968723B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2747—Remote storage of video programs received via the downstream path, e.g. from the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Abstract

카메라 이펙트를 제공하는 방법 및 시스템이 개시된다. 컴퓨터로 구현되는 전자 기기에서의 이펙트 제공 방법은, 상기 전자 기기의 카메라 영상에 반영할 이펙트(effect)를 선정하기 위한 기준으로서 상기 카메라 영상에 대한 감정을 결정하는 단계; 및 상기 결정된 감정에 따라 해당 감정을 나타내는 이펙트 중에서 랜덤하게 선정된 이펙트를 상기 카메라 영상에 바로 반영하는 단계를 포함한다.

Description

카메라 이펙트를 제공하는 방법 및 시스템{METHOD AND SYSTEM FOR PROVIDING CAMERA EFFECT}
아래의 설명은 AR(Augmented Reality) 카메라 이펙트(camera effect)를 제공하는 기술에 관한 것이다.
최근 스마트폰(smart phone), 태블릿(tablet), 웨어러블 디바이스(wearable device) 등 개인 정보 단말기를 이용한 모바일 데이터 통신 서비스가 많이 이용되고 있다.
이러한 모바일 데이터 통신 서비스 중에서 가장 각광을 받고 있는 분야 중 하나로서 각종 컨텐츠를 개인 정보 단말기로 제공하는 무선 방송 서비스 분야가 손꼽히고 있다.
일례로, 한국공개특허공보 제10-2003-0029556호(공개일 2003년 04월 14일)에는 모바일 단말기로 촬영된 촬영 정보를 인터넷 방송 또는 무선 방송 또는 공중파 방송으로 제공하는 기술이 개시되어 있다.
라이브 방송 상황을 고려하여 방송의 흐름을 끊지 않고 빠르게 카메라 이펙트를 제공할 수 있는 방법 및 시스템을 제공한다.
라이브 방송 중 사용자에 의해 선택된 감정이나 영상에서 자동으로 인식된 감정에 맞는 카메라 이펙트를 제공할 수 있는 방법 및 시스템을 제공한다.
컴퓨터로 구현되는 전자 기기에서의 이펙트 제공 방법에 있어서, 상기 전자 기기의 카메라 영상에 반영할 이펙트(effect)를 선정하기 위한 기준으로서 상기 카메라 영상에 대한 감정을 결정하는 단계; 및 상기 결정된 감정에 따라 해당 감정을 나타내는 이펙트 중에서 랜덤하게 선정된 이펙트를 상기 카메라 영상에 바로 반영하는 단계를 포함하는 이펙트 제공 방법을 제공한다.
일 측면에 따르면, 상기 결정하는 단계는, 상기 전자 기기의 사용자에 의해 선택된 감정을 이펙트 선정 기준으로 결정할 수 있다.
다른 측면에 따르면, 상기 결정하는 단계는, 상기 카메라 영상의 얼굴 표정으로부터 인식된 감정을 이펙트 선정 기준으로 결정할 수 있다.
또 다른 측면에 따르면, 상기 이펙트 제공 방법은, 상기 전자 기기의 사용자와 관련된 상황 정보를 수집하는 단계를 더 포함하고, 상기 반영하는 단계는, 상기 결정된 감정에 대응되는 이펙트 중에서 랜덤하게 선정하되 상기 상황 정보에 매칭되는 이펙트를 선정하는 단계를 포함한다.
또 다른 측면에 따르면, 상기 수집하는 단계는, 상기 카메라 영상과 관련된 시간 정보, 상기 카메라 영상과 관련된 장소 정보, 상기 카메라 영상과 관련된 색상 정보, 상기 카메라 영상과 관련된 촬영 모드 정보, 상기 사용자가 사용한 이펙트에 대한 이력 정보, 상기 카메라 영상에 대한 피드백 정보, 상기 카메라 영상과 관련된 타겟 정보, 상기 카메라 영상에서 인식된 표정 정보 중 적어도 하나의 상황 정보를 수집할 수 있다.
또 다른 측면에 따르면, 상기 선정하는 단계는, 상기 결정된 감정에 대응되는 이펙트에 대해 상기 상황 정보에 따른 가중치를 부여하여 상기 가중치에 따라 상기 카메라 영상에 반영할 이펙트를 선정할 수 있다.
또 다른 측면에 따르면, 상기 선정하는 단계는, 상기 결정된 감정에 따라 서로 다른 상황 정보를 선택하여 이펙트 선정 기준으로 이용할 수 있다.
또 다른 측면에 따르면, 상기 선정하는 단계는, 상기 결정된 감정에 대응되는 이펙트에 대해 상기 상황 정보에 따른 가중치를 부여하여 상기 가중치에 따라 상기 카메라 영상에 반영할 이펙트를 선정하되, 상기 결정된 감정에 따라 상기 상황 정보 별로 다른 가중치를 부여할 수 있다.
또 다른 측면에 따르면, 상기 결정하는 단계는, 복수의 감정 아이콘으로 구성된 감정 선택 메뉴를 제공하는 단계; 및 상기 감정 선택 메뉴를 통해 선택된 감정을 이펙트 선정 기준으로 결정하는 단계를 포함한다.
또 다른 측면에 따르면, 상기 반영하는 단계는, 상기 감정 선택 메뉴에 대한 사용자 제스처 유형에 따라 상기 결정된 감정에 대응되는 이펙트 중에서 상기 카메라 영상에 반영할 이펙트 선정 대상을 달리 선정할 수 있다.
컴퓨터와 결합되어 상기 이펙트 제공 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
상기 이펙트 제공 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체를 제공한다.
컴퓨터로 구현되는 전자 기기에서의 이펙트 제공 시스템에 있어서, 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 전자 기기의 카메라 영상에 반영할 이펙트(effect)를 선정하기 위한 기준으로서 상기 카메라 영상에 대한 감정을 결정하는 감정 결정부; 및 상기 결정된 감정에 따라 해당 감정을 나타내는 이펙트 중에서 랜덤하게 선정된 이펙트를 상기 카메라 영상에 바로 반영하는 이펙트 선정부를 포함하는 이펙트 제공 시스템을 제공한다.
본 발명의 실시예들에 따르면, 라이브 방송 상황을 고려하여 방송의 흐름을 끊지 않고 빠르게 카메라 이펙트를 제공할 수 있고 라이브 방송 중 사용자에 의해 선택된 감정이나 영상에서 자동으로 인식된 감정에 맞는 카메라 이펙트를 제공할 수 있다.
본 발명의 실시예들에 따르면, 사용자에 의해 선택된 감정이나 영상에서 자동으로 인식된 감정에 맞는 카메라 이펙트를 제공하되 사용자의 상황을 고려한 가중치 모델링을 통해서 제공함으로써 해당 감정을 더욱 극대화 하여 표현할 수 있는 이펙트를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 있어서 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 전자 기기의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 전자 기기가 수행할 수 있는 이펙트 제공 방법의 예를 도시한 흐름도이다.
도 5는 본 발명의 일실시예에 있어서 이펙트 선정 기준으로 이용되는 상황 정보를 설명하기 위한 도면이다.
도 6 내지 도 10은 본 발명의 일실시예에 있어서 감정에 대응되는 이펙트를 제공하는 과정을 설명하기 위한 예시 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시예들은 카메라 이펙트를 제공하는 기술에 관한 것으로, 더욱 상세하게는 라이브 방송 상황을 고려하여 감정에 맞는 카메라 이펙트를 빠르게 제공할 수 있는 방법 및 시스템에 관한 것이다.
본 명세서에서 구체적으로 개시되는 것들을 포함하는 실시예들은 비디오 영상 촬영이나 라이브 방송 중 카메라 이펙트를 빠르게 제공할 수 있고, 이를 통해 신속성, 효율성, 다양성, 재미 요소 등의 측면에 있어서 상당한 장점들을 달성할 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다.
복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 태블릿 PC, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등이 있다. 일례로 제1 전자 기기(110)는 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있다.
통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 일례로, 서버(160)는 네트워크(170)를 통해 접속한 제1 전자 기기(110)로 어플리케이션의 설치를 위한 파일을 제공할 수 있다. 이 경우 제1 전자 기기(110)는 서버(160)로부터 제공된 파일을 이용하여 어플리케이션을 설치할 수 있다. 또한, 제1 전자 기기(110)가 포함하는 운영체제(Operating System, OS)나 적어도 하나의 프로그램(일례로 브라우저나 상기 설치된 어플리케이션)의 제어에 따라 서버(150)에 접속하여 서버(150)가 제공하는 서비스나 컨텐츠를 제공받을 수 있다. 예를 들어, 제1 전자 기기(110)가 어플리케이션의 제어에 따라 네트워크(170)를 통해 서비스 요청 메시지를 서버(150)로 전송하면, 서버(150)는 서비스 요청 메시지에 대응하는 코드를 제1 전자 기기(110)로 전송할 수 있고, 제1 전자 기기(110)는 어플리케이션의 제어에 따라 코드에 따른 화면을 구성하여 표시함으로써 사용자에게 컨텐츠를 제공할 수 있다.
도 2는 본 발명의 일실시예에 있어서 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다. 도 2에서는 하나의 전자 기기에 대한 예로서 제1 전자 기기(110), 그리고 하나의 서버에 대한 예로서 서버(150)의 내부 구성을 설명한다. 다른 전자 기기들(120, 130, 140)이나 서버(160) 역시 동일한 또는 유사한 내부 구성을 가질 수 있다.
제1 전자 기기(110)와 서버(150)는 메모리(211, 221), 프로세서(212, 222), 통신 모듈(213, 223) 그리고 입출력 인터페이스(214, 224)를 포함할 수 있다. 메모리(211, 221)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(211, 221)에는 운영체제나 적어도 하나의 프로그램 코드(일례로 제1 전자 기기(110)에 설치되어 구동되는 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(211, 221)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신 모듈(213, 223)을 통해 메모리(211, 221)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로 상술한 서버(160))이 네트워크(170)를 통해 제공하는 파일들에 의해 설치되는 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(211, 221)에 로딩될 수 있다.
프로세서(212, 222)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(211, 221) 또는 통신 모듈(213, 223)에 의해 프로세서(212, 222)로 제공될 수 있다. 예를 들어, 프로세서(212, 222)는 메모리(211, 221)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 모듈(213, 223)은 네트워크(170)를 통해 제1 전자 기기(110)와 서버(150)가 서로 통신하기 위한 기능을 제공할 수 있으며, 다른 전자 기기(일례로 제2 전자 기기(120)) 또는 다른 서버(일례로 서버(160))와 통신하기 위한 기능을 제공할 수 있다. 일례로, 제1 전자 기기(110)의 프로세서(212)가 메모리(211)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청(일례로 검색 요청)이 통신 모듈(213)의 제어에 따라 네트워크(170)를 통해 서버(150)로 전달될 수 있다. 역으로, 서버(150)의 프로세서(222)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 통신 모듈(223)과 네트워크(170)를 거쳐 제1 전자 기기(110)의 통신 모듈(213)을 통해 제1 전자 기기(110)로 수신될 수 있다. 예를 들어 통신 모듈(213)을 통해 수신된 서버(150)의 제어 신호나 명령 등은 프로세서(212)나 메모리(211)로 전달될 수 있고, 컨텐츠나 파일 등은 제1 전자 기기(110)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.
입출력 인터페이스(214)는 입출력 장치(215)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(214)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 제1 전자 기기(110)의 프로세서(212)는 메모리(211)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 서버(150)나 제2 전자 기기(120)가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(214)를 통해 디스플레이에 표시될 수 있다. 입출력 인터페이스(224) 또한 마찬가지로 서버(150)의 프로세서(222)가 메모리(221)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어 서버(150)가 제공하는 데이터를 이용하여 구성되는 정보를 출력할 수 있다.
또한, 다른 실시예들에서 제1 전자 기기(110) 및 서버(150)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 예를 들어, 제1 전자 기기(110)는 상술한 입출력 장치(215) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 제1 전자 기기(110)가 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 제1 전자 기기(110)에 더 포함되도록 구현될 수 있음을 알 수 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다.
도 3은 본 발명의 일실시예에 따른 전자 기기의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 블록도이고, 도 4는 본 발명의 일실시예에 따른 전자 기기가 수행할 수 있는 방법의 예를 도시한 흐름도이다.
본 실시예에 따른 제1 전자 기기(110)에는 컴퓨터로 구현된 이펙트 제공 시스템이 구성될 수 있다. 이펙트 제공 시스템은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 실시예에서의 이펙트 제공 시스템은 독립적으로 동작하는 프로그램 형태로 구현되거나, 혹은 특정 어플리케이션(예컨대, 카메라 기능 등)의 인-앱(in-app) 형태로 구성되어 상기 특정 어플리케이션 상에서 동작이 가능하도록 구현될 수 있다. 이펙트 제공 시스템은 제1 전자 기기(110) 상에 설치되는 어플리케이션 형태로 구현되어 서버(150)와의 연동을 통한 라이브 방송 중 감정에 맞는 랜덤 이펙트를 카메라 상에 즉시 적용할 수 있다.
예를 들어, 제1 전자 기기(110)에 설치된 어플리케이션이 제공하는 명령에 기반하여 제1 전자 기기(110)에 구현된 이펙트 제공 시스템은 이펙트 제공 방법을 수행할 수 있다. 도 4에 따른 이펙트 제공 방법을 수행하기 위해, 제1 전자 기기(110)의 프로세서(212)는 구성요소로서 도 3에 도시된 바와 같이, 감정 결정부(310), 상황 수집부(320), 및 이펙트 선정부(330)를 포함할 수 있다. 실시예에 따라 프로세서(212)의 구성요소들은 선택적으로 프로세서(212)에 포함되거나 제외될 수도 있다. 또한, 실시예에 따라 프로세서(212)의 구성요소들은 프로세서(212)의 기능의 표현을 위해 분리 또는 병합될 수도 있다.
이러한 프로세서(212) 및 프로세서(212)의 구성요소들은 도 4의 이펙트 제공 방법이 포함하는 단계들(S410 내지 S440)을 수행하도록 제1 전자 기기(110)을 제어할 수 있다. 예를 들어, 프로세서(212) 및 프로세서(212)의 구성요소들은 메모리(211)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.
여기서, 프로세서(212)의 구성요소들은 제1 전자 기기(110)에 저장된 프로그램 코드가 제공하는 명령(일례로, 제1 전자 기기(110)에서 구동된 어플리케이션이 제공하는 명령)에 따라 프로세서(212)에 의해 수행되는 프로세서(212)의 서로 다른 기능들(different functions)의 표현들일 수 있다. 예를 들어, 제1 전자 기기(110)이 카메라 영상에 대한 감정을 결정하도록 상술한 명령에 따라 제1 전자 기기(110)을 제어하는 프로세서(212)의 기능적 표현으로서 감정 결정부(310)가 이용될 수 있다.
단계(S410)에서 프로세서(212)는 제1 전자 기기(110)의 제어와 관련된 명령이 로딩된 메모리(211)로부터 필요한 명령을 읽어들일 수 있다. 이 경우, 상기 읽어들인 명령은 프로세서(212)가 이후 설명될 단계들(S420 내지 S440)을 실행하도록 제어하기 위한 명령을 포함할 수 있다.
본 발명의 실시예들은 라이브 방송이나 인터넷 전화(VoIP) 등과 같이 제1 전자 기기(110)의 카메라로 촬영된 영상을 인터넷 회선을 통해 실시간으로 송출하는 스트리밍(streaming) 환경에서 카메라 영상에 AR(augmented reality) 이미지로서 소정의 이펙트를 합성하여 하나의 영상으로 제공할 수 있으며, 특히 카메라 영상에 반영하고자 하는 이펙트를 직접 지정하지 않고 카메라 영상을 실시간으로 송출하는 환경의 상황을 고려하여 더욱 빠르게 이펙트를 자동 선정하여 제공할 수 있다. 상기한 라이브 스트리밍 환경뿐만 아니라, 비디오 영상 촬영 환경 등을 포함한 카메라 영상에 대해 이펙트를 자동 선정하여 제공할 수 있다.
단계(S420)에서 감정 결정부(310)는 제1 전자 기기(110)의 카메라 영상에 반영할 이펙트를 선정하기 위한 기준으로서 카메라 영상에 대한 감정을 결정할 수 있다. 본 명세서에서 이펙트는 이미지 객체로 구성된 컨텐츠로서 카메라 영상에 합성 가능한 필터, 스티커나 이모지 등을 모두 포괄하여 의미할 수 있으며, 이는 고정된 형태의 객체는 물론, 플래시나 애니메이션 등이 적용된 움직이는 이미지 객체로도 구현 가능하다. 이러한 이펙트는 감정 정보를 나타내는 것으로 감정 별로 사전 분류될 수 있으며, 다시 말해 복수 개의 감정(예컨대, 6가지 감정: 기쁨, 사랑, 슬픔, 화남, 쿨함, 크레이지)이 사전에 정의되고 각 감정 별로 해당 감정을 나타내는 이펙트들이 그룹핑 되어 관리될 수 있다. 일례로, 감정 결정부(310)는 제1 전자 기기(110)의 사용자가 사전에 정의된 복수 개의 감정 중 어느 하나의 특정 감정을 선택할 수 있고 사용자에 의해 선택된 감정으로 카메라 영상에 대한 감정을 결정할 수 있다. 다른 예로, 감정 결정부(310)는 카메라 영상을 기반으로 얼굴 표정으로부터 감정 정보를 추출함으로써 카메라 영상에 대한 감정을 결정할 수 있다. 얼굴 표정은 눈썹, 눈, 코, 입, 피부와 같은 얼굴 요소들의 변형이 일어날 때 발생하는 얼굴 근육의 수축에 의하여 나타나며, 얼굴 표정의 강도는 얼굴 특징의 기하학적 변화 또는 근육 표현의 밀도에 따라서 결정될 수 있다. 예를 들어, 감정 결정부(310)는 표정에 따른 특징을 추출하기 위한 관심 영역(예컨대, 눈 영역, 눈썹 영역, 코 영역, 입 영역 등)을 추출한 후 관심 영역에서 특징점(point)을 추출하고 특징점을 이용하여 일정한 특징값을 결정할 수 있다. 특징값은 특징점 사이의 거리 등을 기반으로 사람의 표정을 나타내는 특정한 수치에 해당한다. 감정 결정부(310)는 결정한 특징값을 감정 감응치 모델에 적용하기 위하여 영상에 나타난 특징값에 대한 수치의 정도에 따라 일정한 세기값을 결정하고, 미리 마련한 맵핑 테이블을 이용하여 각 특정값의 수치에 매칭하는 일정한 세기값을 결정한다. 맵핑 테이블은 감정 감응치 모델에 따라 사전에 마련된다. 감정 결정부(310)는 감정 감응치 모델과 세기값을 맵핑하고 해당 세기값을 감정 감응치 모델에 적용한 결과에 따라 결정한 감정의 종류와 강도를 추출할 수 있다. 상기한 감정 정보를 추출하는 기술은 예시적인 것으로 이에 한정되는 것은 아니며, 이미 잘 알려진 다른 기술들을 이용하는 것 또한 가능하다.
따라서, 감정 결정부(310)는 사용자에 의해 선택된 감정 또는 영상에서 자동으로 인식된 감정을 카메라 영상에 반영할 이펙트를 선정하기 위한 기준 중 하나로 결정할 수 있다.
단계(S430)에서 상황 수집부(320)는 제1 전자 기기(110)의 사용자와 관련된 적어도 하나의 상황 정보(context)를 수집할 수 있다. 다시 말해, 상황 수집부(320)는 카메라 영상에 반영할 이펙트를 선정하기 위한 추가 기준으로서 사용자의 상황 정보를 수집할 수 있다. 일례로, 상황 수집부(320)는 카메라 영상과 관련된 시간 정보를 수집하는 것으로, 영상 촬영 시점에 제1 전자 기기(110)에 획득한 날짜와 시각 등을 포함한 시간 정보를 수집할 수 있다. 다른 예로, 상황 수집부(320)는 카메라 영상과 관련된 장소 정보를 수집하는 것으로, 예를 들어 영상 촬영 시점에 제1 전자 기기(110)로부터 GPS 좌표와 같은 위치 정보 등을 수집할 수 있다. 또 다른 예로, 상황 수집부(330)는 카메라 영상과 관련된 색상 정보를 수집하는 것으로, 영상 촬영 시점에 카메라 스크린 내에 포함된 색상 값을 분석하거나 또는 카메라 영상 속 얼굴의 피부톤, 카메라 조명 색상 등을 인지함으로써 색상 정보를 수집할 수 있다. 또 다른 예로, 상황 수집부(330)는 카메라 영상과 관련된 촬영 모드 정보를 수집하는 것으로, 예를 들어 전면 카메라 촬영 모드/후면 카메라 촬영 모드, 혹은 인물 촬영 모드/배경 촬영 모드 등 영상이 촬영된 모드 정보를 수집할 수 있다. 또 다른 예로, 상황 수집부(330)는 제1 전자 기기(110)의 사용자가 사용한 이펙트에 대한 이력 정보(history)를 수집하는 것으로, 예를 들어 사용자가 평소 자주 사용했던 이펙트나 해당 이펙트와 유사한 이펙트에 대한 정보를 수집할 수 있다. 또 다른 예로, 상황 수집부(330)는 카메라 영상에 대한 뷰어(viewer)의 피드백 정보를 수집하는 것으로, 사용자와 뷰어 간에 주고 받는 대화, 뷰어에 의해 등록된 댓글(comment)이나 반응 등의 컨텍스트를 수집할 수 있다. 또 다른 예로, 상황 수집부(330)는 카메라 영상과 관련된 타겟(target) 정보를 수집하는 것으로, 예를 들어 사용자가 특정 커뮤니티를 선택하여 카메라 영상을 제공하고자 하는 경우 커뮤니티의 주제나 카테고리 등 해당 커뮤니티에 대한 정보를 수집할 수 있다. 또 다른 예로, 상황 수집부(330)는 카메라 영상에서 감정 강도(정도)를 포함한 표정 정보를 수집하는 것으로, 카메라 영상 속 얼굴 표정으로부터 감정 종류는 물론 감정 강도를 함께 수집할 수 있다. 감정의 종류뿐 아니라 강도 표현이 가능한 이펙트를 대상으로 영상 속 실제 표정을 파악하여 이펙트 선정 기준으로 활용할 수 있다.
따라서, 상황 수집부(320)는 카메라 영상에 반영할 이펙트를 선정하기 위한 추가 기준으로서 사용자의 상황, 즉 시간 정보, 장소 정보, 색상 정보, 촬영 모드 정보, 이력 정보, 피드백 정보, 타겟 정보, 표정 정보 중 적어도 하나를 수집할 수 있다.
단계(S440)에서 이펙트 선정부(330)는 단계(S420)에서 결정된 감정으로 분류된 복수의 이펙트 중에서 카메라 영상에 반영할 이펙트를 랜덤하게 선정할 수 있다. 예를 들어, 사전에 정의된 복수 개의 감정(예컨대, 6가지 감정: 기쁨, 사랑, 슬픔, 화남, 쿨함, 크레이지) 중에서 사용자가 '기쁨'을 선택한 경우 '기쁨'으로 분류된 이펙트 그룹 내에서 랜덤으로 특정 이펙트를 선정하여 카메라에 즉시 적용할 수 있다. 따라서, 사용자가 선택한 감정에 따라 해당 감정의 이펙트를 랜덤하게 선정하여 실시간으로 송출되는 영상에 바로 제공할 수 있다.
더 나아가, 이펙트 선정부(330)는 카메라 영상에 반영할 이펙트를 단계(S420)에서 결정된 감정에 대응되는 이펙트 중에서 랜덤하게 선정하되, 단계(S430)에서 수집된 상황 정보에 매칭되는 이펙트를 선정할 수 있다. 이러한 랜덤 이펙트는 시간 정보, 장소 정보, 색상 정보, 촬영 모드 정보, 이력 정보, 피드백 정보, 타겟 정보, 표정 정보 중 적어도 하나의 상황 정보에 따른 가중치 모델링을 통해서 선정될 수 있다. 도 5에 도시한 바와 같이, 이펙트 선정부(330)는 이펙트를 선정하기 위한 기준으로서 사용자에 의해 선택된 감정 또는 영상에서 자동으로 인식된 감정(501)을 이용하되, 사용자의 컨텍스트를 고려한 상황 정보(시간 정보(time), 장소 정보(place), 색상 정보(color), 촬영 모드 정보(mode), 이력 정보(history), 피드백 정보(feedback), 타겟 정보(target), 표정 정보(facial expression) 중 적어도 하나)(502)를 추가 선정 기준으로 이용할 수 있다. 각각의 이펙트는 해당 이펙트와 관련된 속성 정보로서 메타 데이터나 각종 태그, 디자인 요소에 대한 정보 등이 포함될 수 있다. 이에, 이펙트 선정부(330)는 상황 정보와 속성 정보를 비교하여 이펙트에 대한 상황 별 가중치를 부여하고 가중치로 계산된 점수가 가장 높은 이펙트를 제공하거나 가중치로 계산된 점수가 일정 레벨 이상인 이펙트 중에서 랜덤하게 선정된 이펙트를 제공할 수 있다.
상황 별 가중치를 부여하는 방법 중 일례로, 이펙트 선정부(330)는 감정(501)과 무관하게 모든 상황 정보(502)를 추가 선정 기준으로 이용하고 상황 정보(502) 별로 동일한 가중치를 부여할 수 있다. 다른 예로, 이펙트 선정부(330)는 감정(501)에 따라 추가 선정 기준이 되는 상황 정보(502)를 달리 선택하여 이용할 수 있다. 예를 들어, '기쁨'의 경우 상황 정보(502) 중 시간 정보(time)와 장소 정보(place)를 추가 선정 기준으로 이용하고, '슬픔'의 경우 상황 정보(502) 중 장소 정보(place)를 추가 선정 기준으로 이용할 수 있다. 또 다른 예로, 이펙트 선정부(330)는 감정(501)에 따라 상황 정보(502) 별로 다른 가중치를 부여할 수 있다. 예를 들어, '기쁨'의 경우 상황 정보(502) 중 시간 정보(time)와 장소 정보(place)에 더 높은 가중치를 부여하고, '슬픔'의 경우 상황 정보(502) 중 장소 정보(place)에 더 높은 가중치를 부여할 수 있다.
추가 선정 기준이 되는 상황 정보(502) 중 시간 정보의 경우: 사용자의 촬영 날짜 또는 촬영 시간대와 특화된 이펙트에 가중치를 부여할 수 있으며, 예를 들어 크리스마스, 발렌타인데이, 늦은밤 시간대 등 특정 시간에 특화된 이펙트를 선정할 수 있다.
추가 선정 기준이 되는 상황 정보(502) 중 장소 정보의 경우: 사용자의 촬영 위치 또는 카메라 영상에서 특정 장소를 인지하여 해당 장소에 특화된 이펙트에 가중치를 부여할 수 있으며, 예를 들어 에펠탑, 남산, 명동 등 특정 장소에 특화된 이펙트를 선정할 수 있다.
추가 선정 기준이 되는 상황 정보(502) 중 색상 정보의 경우: 카메라 스크린 내에 포함되는 색상 값을 분석하거나 또는 영상 속 인물의 피부톤, 조명 색상 등을 인지하여 해당 색상에 적합한 이펙트에 가중치를 부여할 수 있으며, 예를 들어 카메라 내 전체적인 배경 색상이 아주 밝은 경우 유사한 색상을 피하고 대조되는 색상의 카메라 이펙트를 선정할 수 있다.
추가 선정 기준이 되는 상황 정보(502) 중 촬영 모드 정보의 경우: 전면 카메라 촬영 모드/후면 카메라 촬영 모드, 혹은 인물 촬영 모드/배경 촬영 모드 등 영상 촬영 모드를 인식하여 해당 모드에 적합한 이펙트에 가중치를 부여할 수 있으며, 예를 들어 전면 카메라를 이용한 셀피 모드 시에는 마스크 위주의 이펙트를 선정하고, 다수의 인원을 촬영하는 경우에는 얼굴 스와핑 효과 등과 같이 여러 인물에 적용할 수 있는 형태의 카메라 이펙트를 선정하고, 후면 카메라를 이용한 배경 촬영 모드 시에는 배경 장소에 특화된 이펙트를 선정할 수 있다.
추가 선정 기준이 되는 상황 정보(502) 중 이력 정보의 경우: 사용자가 자주 사용한 이펙트 또는 유사한 이펙트에 가중치를 부여할 수 있으며, 예를 들어 사용자가 가장 최근에 사용한 이펙트, 최근 일정 기간 동안 자주 사용했던 이펙트 등을 선정할 수 있다.
추가 선정 기준이 되는 상황 정보(502) 중 피드백 정보의 경우: 사용자와 뷰어 간의 대화 또는 뷰어들의 반응 등의 컨텍스트를 분석하여 해당 내용과 매칭되는 이펙트에 가중치를 부여할 수 있으며, 예를 들어 사용자와 뷰어 간에 주고 받는 대화 주제에 적합한 이펙트 등을 선정할 수 있다.
추가 선정 기준이 되는 상황 정보(502) 중 타겟 정보의 경우: 사용자가 카메라 영상을 제공하고자 하는 타겟 대상의 특성에 적합한 이펙트에 가중치를 부여할 수 있으며, 예를 들어 스쿠버 동호회 커뮤니티 그룹에 라이브 방송을 제공하는 경우 스쿠버 다이빙과 관련된 카메라 이펙트를 선정하고, 애견 커뮤니티 그룹에 라이브 방송을 제공하는 경우 동물과 관련된 카메라 이펙트를 선정할 수 있다.
추가 선정 기준이 되는 상황 정보(502) 중 표정 정보의 경우: 영상 속 얼굴 표정에 적합한 이펙트에 가중치를 부여할 수 있으며, 예를 들어 영상 속 인물이 웃고 있는 경우 웃는 표정에 특화된 이펙트를 선정할 수 있다. 다른 예로, 영상 속 얼굴 표정에서 감정 강도를 분석하여 해당 강도에 특화된 이펙트를 선정하는 것 또한 가능하며, 예를 들어 사용자가 '기쁨'을 선택하고 영상에서 감동 강도 '3'이 인식된 경우 '기쁨' 그룹에 속하는 이펙트 중에서 감정 강도 '3'에 적합한 이펙트를 선정할 수 있다.
도 6 내지 도 10은 본 발명의 일실시예에 있어서 감정에 대응되는 이펙트를 제공하는 과정을 설명하기 위한 예시 도면이다.
도 6은 라이브 방송으로 제공되는 카메라 영상 화면(600)을 예시적으로 도시한 것이다. 카메라 영상 화면(600)에는 복수 개의 감정으로 분류된 이펙트 그룹을 선택하기 위한 감정 선택 메뉴(601)가 포함될 수 있다. 예를 들어, 이펙트 그룹은 6가지 감정, 즉 기쁨, 사랑, 슬픔, 화남, 쿨함, 크레이지로 분류될 수 있으며, 이펙트 선정 기준으로 감정을 선택할 수 있도록 6개의 감정 아이콘으로 구성된 감정 선택 메뉴(601)가 카메라 영상 화면(600) 상에 노출될 수 있다.
도 7을 참조하면, 사용자가 카메라 영상 화면(600) 상의 감정 선택 메뉴(601)에서 '기쁨' 아이콘을 선택한 경우 '기쁨' 그룹에 속하는 이펙트 중에서 랜덤 이펙트를 선정하여 카메라에 즉시 적용함으로써 감정 '기쁨'에 적합한 이펙트, 예컨대 하트 모양 효과가 반영된 영상(710)을 라이브 방송으로 제공할 수 있다.
한편, 도 8에 도시한 바와 같이 사용자가 카메라 영상 화면(600) 상의 감정 선택 메뉴(601)에서 '슬픔' 아이콘을 선택한 경우 '슬픔' 그룹에 속하는 이펙트 중에서 랜덤 이펙트를 선정하여 카메라에 즉시 적용함으로써 감정 '슬픔'에 적합한 이펙트, 예컨대 눈물 효과가 반영된 영상(810)을 라이브 방송으로 제공할 수 있다.
앞서 설명한 바와 같이, 이펙트를 선정하는 기준으로서 사용자에 의해 선택된 감정과 함께, 적어도 하나의 상황 정보를 추가로 이용하여 사용자의 상황에 맞는 랜덤 이펙트를 선정할 수 있다. 따라서, 사용자가 선택한 감정 그룹에 속한 이펙트를 선정하되 사용자의 실제 상황에 보다 적합한 이펙트를 선정하여 라이브 방송에 제공할 수 있다.
그리고, 감정 선택 메뉴(601)에 대한 사용자 제스처 유형에 따라 카메라에 반영할 이펙트 선정 대상을 달리 적용할 수 있다. 예를 들어, 감정 선택 메뉴(601)에 대한 사용자 제스처를 싱글 탭(single tap), 더블 탭(double tap), 롱 탭(long tap)을 구분하여 싱글 탭의 경우 특정 감정 그룹 내에서 랜덤하게 선정된 이펙트를 제공하고, 더블 탭의 경우 가장 최근에 사용된 이펙트를 제공하고, 롱 탭의 경우 소정의 추천 기준에 따라 추천된 이펙트 목록에서 사용자가 직접 선택한 이펙트를 제공할 수 있다.
사용자가 카메라 영상 화면(600) 상의 감정 선택 메뉴(601)에서 '기쁨' 아이콘을 싱글 탭 하는 경우 도 7에서 설명한 바와 같이 '기쁨' 그룹 내에서 랜덤으로 선정된 이펙트, 예컨대 하트 모양 효과가 반영된 영상(710)을 라이브 방송으로 제공할 수 있다.
'기쁨' 그룹 내에서 별 모양 효과가 가장 최근에 사용된 이펙트라고 가정할 때, 도 9에 도시한 바와 같이 사용자가 카메라 영상 화면(600) 상의 감정 선택 메뉴(601)에서 '기쁨' 아이콘을 더블 탭 하는 경우 해당 감정 그룹 내에서 랜덤 이펙트가 아닌 가장 최근에 사용된 이펙트인 별 모양 효과를 카메라에 바로 적용함으로써 '기쁨' 그룹의 이펙트 중에서 가장 최근에 사용된 이펙트가 반영된 영상(910)을 라이브 방송으로 제공할 수 있다.
도 10을 참조하면, 사용자가 카메라 영상 화면(600) 상의 감정 선택 메뉴(601)에서 '기쁨' 아이콘을 롱 탭 하는 경우 '기쁨' 그룹 내에서 소정 조건에 맞는 일부 이펙트를 추천 이펙트 목록(1011)으로 구성하여 제공할 수 있다. 일례로, 추천 이펙트는 이펙트에 대한 사용자 이력 정보에 기초한 기준에 따라 선정될 수 있으며, 예를 들어 사용자가 자주 이용한 이펙트를 추천할 수 있다. 사용자가 '기쁨' 그룹 내에서 자주 이용한 이펙트로 구성된 추천 이펙트 목록(1011)에서 카메라에 반영할 이펙트를 직접 선택할 수 있고 랜덤 이펙트가 아닌 사용자에 의해 직접 선택된 이펙트(예컨대, 입술 모양 효과)가 반영된 영상(1010)을 라이브 방송으로 제공할 수 있다.
이처럼 본 발명의 실시예들에 따르면, 라이브 방송 상황을 고려하여 방송의 흐름을 끊지 않고 빠르게 카메라 이펙트를 제공할 수 있고 라이브 방송 중 사용자에 의해 선택된 감정이나 영상에서 자동으로 인식된 감정에 맞는 카메라 이펙트를 제공할 수 있다. 또한, 본 발명의 실시예들에 따르면, 사용자에 의해 선택된 감정이나 영상에서 자동으로 인식된 감정에 맞는 카메라 이펙트를 제공하되 사용자의 상황을 고려한 가중치 모델링을 통해서 제공함으로써 해당 감정을 더욱 극대화 하여 표현할 수 있는 이펙트를 제공할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 컴퓨터로 구현되는 전자 기기에서의 이펙트 제공 방법에 있어서,
    상기 전자 기기의 카메라 영상에 반영할 이펙트(effect)를 선정하기 위한 기준으로서 상기 카메라 영상에 대한 감정을 결정하는 단계; 및
    상기 결정된 감정에 따라 해당 감정을 나타내는 이펙트 중에서 랜덤하게 선정된 이펙트를 상기 카메라 영상에 바로 반영하는 단계
    를 포함하고,
    상기 이펙트 제공 방법은,
    상기 전자 기기의 사용자와 관련된 상황 정보로서, 상기 카메라 영상과 관련된 시간 정보, 상기 카메라 영상과 관련된 장소 정보, 상기 카메라 영상과 관련된 색상 정보, 상기 카메라 영상과 관련된 촬영 모드 정보, 상기 사용자가 사용한 이펙트에 대한 이력 정보, 상기 카메라 영상에 대한 피드백 정보, 상기 카메라 영상과 관련된 타겟 정보 중 적어도 하나를 수집하는 단계
    를 더 포함하고,
    상기 반영하는 단계는,
    상기 결정된 감정에 대응되는 이펙트 중에서 랜덤하게 선정하되 상기 상황 정보에 매칭되는 이펙트를 선정하는 단계
    를 포함하는 이펙트 제공 방법.
  2. 제1항에 있어서,
    상기 결정하는 단계는,
    상기 전자 기기의 사용자에 의해 선택된 감정을 이펙트 선정 기준으로 결정하는 것
    을 특징으로 하는 이펙트 제공 방법.
  3. 제1항에 있어서,
    상기 결정하는 단계는,
    상기 카메라 영상의 얼굴 표정으로부터 인식된 감정을 이펙트 선정 기준으로 결정하는 것
    을 특징으로 하는 이펙트 제공 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 선정하는 단계는,
    상기 결정된 감정에 대응되는 이펙트에 대해 상기 상황 정보에 따른 가중치를 부여하여 상기 가중치에 따라 상기 카메라 영상에 반영할 이펙트를 선정하는 것
    을 특징으로 하는 이펙트 제공 방법.
  7. 제1항에 있어서,
    상기 선정하는 단계는,
    상기 결정된 감정에 따라 서로 다른 상황 정보를 선택하여 이펙트 선정 기준으로 이용하는 것
    을 특징으로 하는 이펙트 제공 방법.
  8. 제1항에 있어서,
    상기 선정하는 단계는,
    상기 결정된 감정에 대응되는 이펙트에 대해 상기 상황 정보에 따른 가중치를 부여하여 상기 가중치에 따라 상기 카메라 영상에 반영할 이펙트를 선정하되,
    상기 결정된 감정에 따라 상기 상황 정보 별로 다른 가중치를 부여하는 것
    을 특징으로 하는 이펙트 제공 방법.
  9. 제1항에 있어서,
    상기 결정하는 단계는,
    복수의 감정 아이콘으로 구성된 감정 선택 메뉴를 제공하는 단계; 및
    상기 감정 선택 메뉴를 통해 선택된 감정을 이펙트 선정 기준으로 결정하는 단계
    를 포함하는 이펙트 제공 방법.
  10. 제9항에 있어서,
    상기 반영하는 단계는,
    상기 감정 선택 메뉴에 대한 사용자 제스처 유형에 따라 상기 결정된 감정에 대응되는 이펙트 중에서 상기 카메라 영상에 반영할 이펙트 선정 대상을 달리 선정하는 것
    을 특징으로 하는 이펙트 제공 방법.
  11. 컴퓨터와 결합되어 제1항 내지 제3항, 제6항 내지 제10항 중 어느 한 항의 이펙트 제공 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  12. 제1항 내지 제3항, 제6항 내지 제10항 중 어느 한 항의 이펙트 제공 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체.
  13. 컴퓨터로 구현되는 전자 기기에서의 이펙트 제공 시스템에 있어서,
    컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 전자 기기의 카메라 영상에 반영할 이펙트(effect)를 선정하기 위한 기준으로서 상기 카메라 영상에 대한 감정을 결정하는 감정 결정부; 및
    상기 결정된 감정에 따라 해당 감정을 나타내는 이펙트 중에서 랜덤하게 선정된 이펙트를 상기 카메라 영상에 바로 반영하는 이펙트 선정부
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 전자 기기의 사용자와 관련된 상황 정보로서, 상기 카메라 영상과 관련된 시간 정보, 상기 카메라 영상과 관련된 장소 정보, 상기 카메라 영상과 관련된 색상 정보, 상기 카메라 영상과 관련된 촬영 모드 정보, 상기 사용자가 사용한 이펙트에 대한 이력 정보, 상기 카메라 영상에 대한 피드백 정보, 상기 카메라 영상과 관련된 타겟 정보 중 적어도 하나를 수집하는 상황 수집부
    를 더 포함하고,
    상기 이펙트 선정부는,
    상기 결정된 감정에 대응되는 이펙트 중에서 랜덤하게 선정하되 상기 상황 정보에 매칭되는 이펙트를 선정하는 것
    을 특징으로 하는 이펙트 제공 시스템.
  14. 제13항에 있어서,
    상기 감정 결정부는,
    상기 전자 기기의 사용자에 의해 선택된 감정 또는 상기 카메라 영상의 얼굴 표정으로부터 인식된 감정을 이펙트 선정 기준으로 결정하는 것
    을 특징으로 하는 이펙트 제공 시스템.
  15. 삭제
  16. 삭제
  17. 제13항에 있어서,
    상기 이펙트 선정부는,
    상기 결정된 감정에 대응되는 이펙트에 대해 상기 상황 정보에 따른 가중치를 부여하여 상기 가중치에 따라 상기 카메라 영상에 반영할 이펙트를 선정하는 것
    을 특징으로 하는 이펙트 제공 시스템.
  18. 제13항에 있어서,
    상기 이펙트 선정부는,
    상기 결정된 감정에 따라 서로 다른 상황 정보를 선택하여 이펙트 선정 기준으로 이용하는 것
    을 특징으로 하는 이펙트 제공 시스템.
  19. 제13항에 있어서,
    상기 이펙트 선정부는,
    상기 결정된 감정에 대응되는 이펙트에 대해 상기 상황 정보에 따른 가중치를 부여하여 상기 가중치에 따라 상기 카메라 영상에 반영할 이펙트를 선정하되,
    상기 결정된 감정에 따라 상기 상황 정보 별로 다른 가중치를 부여하는 것
    을 특징으로 하는 이펙트 제공 시스템.
  20. 제13항에 있어서,
    상기 감정 결정부는,
    복수의 감정 아이콘으로 구성된 감정 선택 메뉴를 제공하고 상기 감정 선택 메뉴를 통해 선택된 감정을 이펙트 선정 기준으로 결정하고,
    상기 이펙트 선정부는,
    상기 감정 선택 메뉴에 대한 사용자 제스처 유형에 따라 상기 결정된 감정에 대응되는 이펙트 중에서 상기 카메라 영상에 반영할 이펙트 선정 대상을 달리 선정하는 것
    을 특징으로 하는 이펙트 제공 시스템.
KR1020170135369A 2017-10-18 2017-10-18 카메라 이펙트를 제공하는 방법 및 시스템 KR101968723B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170135369A KR101968723B1 (ko) 2017-10-18 2017-10-18 카메라 이펙트를 제공하는 방법 및 시스템
US16/163,332 US10742900B2 (en) 2017-10-18 2018-10-17 Method and system for providing camera effect
CN201811210847.7A CN109688451B (zh) 2017-10-18 2018-10-17 摄像机效应的提供方法及系统
JP2018196434A JP6684883B2 (ja) 2017-10-18 2018-10-18 カメラエフェクトを提供する方法およびシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170135369A KR101968723B1 (ko) 2017-10-18 2017-10-18 카메라 이펙트를 제공하는 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101968723B1 true KR101968723B1 (ko) 2019-04-12

Family

ID=66097086

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170135369A KR101968723B1 (ko) 2017-10-18 2017-10-18 카메라 이펙트를 제공하는 방법 및 시스템

Country Status (4)

Country Link
US (1) US10742900B2 (ko)
JP (1) JP6684883B2 (ko)
KR (1) KR101968723B1 (ko)
CN (1) CN109688451B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110233840A (zh) * 2019-06-06 2019-09-13 广州虎牙信息科技有限公司 一种业务处理方法、装置、设备和存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305317B (zh) * 2017-08-04 2020-03-17 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
DE112017008174B4 (de) * 2017-11-27 2022-02-17 Mitsubishi Electric Corporation Ausdruckserkennungseinrichtung
JP7374430B2 (ja) * 2019-07-26 2023-11-07 株式会社オレンジテクラボ 動画像処理装置、動画像処理方法及び動画像処理プログラム
CN112307816A (zh) * 2019-07-29 2021-02-02 北京地平线机器人技术研发有限公司 车内图像获取方法、装置以及电子设备、存储介质
KR20190106850A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 Xr 컨텐츠 제공 방법 및 xr 컨텐츠 제공 디바이스
CN111144266B (zh) * 2019-12-20 2022-11-22 北京达佳互联信息技术有限公司 人脸表情的识别方法及装置
JP7316664B2 (ja) * 2020-02-03 2023-07-28 マルコムホールディングス株式会社 対話ユーザの感情情報の提供装置
CN113434223A (zh) 2020-03-23 2021-09-24 北京字节跳动网络技术有限公司 特效处理方法及装置
US11604562B2 (en) 2020-06-10 2023-03-14 Snap Inc. Interface carousel for use with image processing software development kit
JP7385289B2 (ja) 2021-08-03 2023-11-22 株式会社フロンティアチャンネル プログラム及び情報処理装置
US20230396729A1 (en) * 2022-06-04 2023-12-07 Jeshurun de Rox System and methods for evoking authentic emotions from live photographic and video subjects
CN115439307B (zh) * 2022-08-08 2023-06-27 荣耀终端有限公司 风格转换方法、风格转换模型的生成方法和风格转换系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060022494A (ko) * 2004-09-07 2006-03-10 엘지전자 주식회사 이동단말기로 화상 통화시의 이펙트 화면 제공 장치 및방법
KR20100062207A (ko) * 2008-12-01 2010-06-10 삼성전자주식회사 화상통화 중 애니메이션 효과 제공 방법 및 장치
KR20110100059A (ko) * 2010-03-03 2011-09-09 엘지전자 주식회사 감정 정보 생성 방법, 감정 정보 생성 장치 및 이를 포함하는 영상표시장치
KR20170090417A (ko) * 2014-12-03 2017-08-07 소니 주식회사 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4291963B2 (ja) * 2000-04-13 2009-07-08 富士フイルム株式会社 画像処理方法
KR20030029556A (ko) 2003-03-11 2003-04-14 이상광 모바일 단말기를 이용한 방송컨텐츠 제공방법 및 그프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP4352380B2 (ja) * 2003-08-29 2009-10-28 株式会社セガ 動画像双方向通信端末、コンピュータプログラム及び通話制御方法
JP2005202854A (ja) * 2004-01-19 2005-07-28 Nec Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2010066844A (ja) * 2008-09-09 2010-03-25 Fujifilm Corp 動画コンテンツの加工方法及び装置、並びに動画コンテンツの加工プログラム
JP4623200B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
KR20110030223A (ko) 2009-09-17 2011-03-23 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9747495B2 (en) * 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
JP6369073B2 (ja) * 2014-03-20 2018-08-08 フリュー株式会社 管理サーバ、写真シール作成装置、画像管理システム、画像管理方法、画像送信方法、プログラム、及び、記録媒体
US9277180B2 (en) * 2014-06-30 2016-03-01 International Business Machines Corporation Dynamic facial feature substitution for video conferencing
CN105791692B (zh) * 2016-03-14 2020-04-07 腾讯科技（深圳）有限公司 一种信息处理方法、终端及存储介质
US10554908B2 (en) * 2016-12-05 2020-02-04 Facebook, Inc. Media effect application

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060022494A (ko) * 2004-09-07 2006-03-10 엘지전자 주식회사 이동단말기로 화상 통화시의 이펙트 화면 제공 장치 및방법
KR20100062207A (ko) * 2008-12-01 2010-06-10 삼성전자주식회사 화상통화 중 애니메이션 효과 제공 방법 및 장치
KR20110100059A (ko) * 2010-03-03 2011-09-09 엘지전자 주식회사 감정 정보 생성 방법, 감정 정보 생성 장치 및 이를 포함하는 영상표시장치
KR20170090417A (ko) * 2014-12-03 2017-08-07 소니 주식회사 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110233840A (zh) * 2019-06-06 2019-09-13 广州虎牙信息科技有限公司 一种业务处理方法、装置、设备和存储介质
CN110233840B (zh) * 2019-06-06 2022-02-25 广州虎牙信息科技有限公司 一种业务处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN109688451B (zh) 2021-04-02
US10742900B2 (en) 2020-08-11
US20190116323A1 (en) 2019-04-18
CN109688451A (zh) 2019-04-26
JP6684883B2 (ja) 2020-04-22
JP2019075124A (ja) 2019-05-16

Similar Documents

Publication Publication Date Title
KR101968723B1 (ko) 카메라 이펙트를 제공하는 방법 및 시스템
US10606609B2 (en) Context-based discovery of applications
CN112738408B (zh) 图像修改器的选择性识别和排序
US9081419B2 (en) Natural gesture based user interface methods and systems
KR101989089B1 (ko) 클라우드 소싱 기반의 ａｒ 컨텐츠 템플릿을 수집하여 ａｒ 컨텐츠를 자동으로 생성하는 방법 및 시스템
TWI615776B (zh) 移動物件的虛擬訊息建立方法、搜尋方法與應用系統
KR101787248B1 (ko) 메신저 서비스를 이용한 키워드 검색 방법 및 시스템
JP7167187B2 (ja) 仮想アシスタントのための入力モードの選択
WO2019177181A1 (ko) 뉴럴 네트워크를 이용하여 상황을 인지하는 증강 현실 제공 장치, 제공 방법 및 상기 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
JP2018190413A (ja) ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム
KR20180111467A (ko) 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법
TWI617930B (zh) 空間物件搜尋排序方法、系統與電腦可讀取儲存裝置
KR20190035116A (ko) Ar 객체를 표시하기 위한 장치 및 방법
KR102199735B1 (ko) 영상을 위한 효과 공유 방법 및 시스템
JP7278307B2 (ja) コンピュータプログラム、サーバ装置、端末装置及び表示方法
KR20190079791A (ko) 인공지능 기기에서의 복수의 호출 용어를 이용한 서비스 제공 방법 및 그 시스템
JP7393487B2 (ja) プロフィール写真を推薦する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体
US10606886B2 (en) Method and system for remote management of virtual message for a moving object
KR102277691B1 (ko) 얼굴 이미지와 메신저 계정의 연동에 기반한 이미지 관리 방법 및 시스템
KR101724143B1 (ko) 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램
CN108052506B (zh) 自然语言处理方法、装置、存储介质及电子设备
CN115202481A (zh) 对象的交互方法、智能终端、电子设备及存储介质
KR20190020281A (ko) 시각적 입력의 처리
KR102147485B1 (ko) 촬영 가이드 방법 및 시스템
KR102485811B1 (ko) 이미지에서 추출된 키워드를 이용하여 이미지를 필터링하기 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant