KR20200020319A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20200020319A
KR20200020319A KR1020180095881A KR20180095881A KR20200020319A KR 20200020319 A KR20200020319 A KR 20200020319A KR 1020180095881 A KR1020180095881 A KR 1020180095881A KR 20180095881 A KR20180095881 A KR 20180095881A KR 20200020319 A KR20200020319 A KR 20200020319A
Authority
KR
South Korea
Prior art keywords
electronic device
camera
user
information
coordinates
Prior art date
Application number
KR1020180095881A
Other languages
English (en)
Other versions
KR102537784B1 (ko
Inventor
유병욱
김덕호
이건일
이원우
이재웅
임성훈
정지원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180095881A priority Critical patent/KR102537784B1/ko
Priority to US16/294,530 priority patent/US10986265B2/en
Priority to CN201980042105.4A priority patent/CN112334869B/zh
Priority to EP19849994.9A priority patent/EP3785103A4/en
Priority to PCT/KR2019/009506 priority patent/WO2020036343A1/en
Publication of KR20200020319A publication Critical patent/KR20200020319A/ko
Application granted granted Critical
Publication of KR102537784B1 publication Critical patent/KR102537784B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G06K9/00201—
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H04M1/72522—
    • H04M1/72583—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는, 카메라, 저장부, 디스플레이 및 카메라를 통해 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득하고, 획득된 3D 좌표 및 저장부에 저장된 기준 3D 좌표 정보의 차이에 기초하여 카메라의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득하고, 획득된 위치 조정 정보에 기초하여 카메라의 촬영 위치를 조정하기 위한 가이드 GUI(Graphic User Interface)를 제공하도록 디스플레이를 제어하는 프로세서를 포함할 수 있다.

Description

전자 장치 및 그 제어 방법 {Electronic device and control method thereof}
본 개시는 촬영 위치를 가이드하는 전자 장치 및 그 제어 방법에 관한 것이다.
소셜네트워크 서비스가 일상화되면서 셀카(셀프 카메라, Selfie) 촬영의 이용 및 관심이 늘고 있는 추세이다.
이와 같은 소셜네트워크 서비스의 사용 증가로 최적의 셀카를 촬영하려는 필요성이 증대되면서 셀카 사진의 구도를 추천하는 어플리케이션 및 셀카 사진의 필터, 얼굴 보정, 스티커 등의 셀카 사진을 편집하는 부가 기능을 제공하는 어플리케이션의 사용이 증가하고 있다.
하지만 종래에 이러한 기능들은 셀카 사진을 정확하게 분석할 수 없으므로 사용자 의도대로 셀카 구도를 추천하지 못하거나 사용자 의도대로 정밀하게 셀카 사진을 편집하지 못하는 문제점이 있었다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은, 촬영 이미지에 포함된 사용자 이미지에 대응되는 3D 좌표를 분석하여 촬영 위치를 조정하는 가이드를 제공하거나 사용자 이미지에 부가될 스티커와 같은 편집 기능을 제공하는 전자 장치 및 그 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치는, 카메라, 저장부, 디스플레이 및 상기 카메라를 통해 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득하고, 상기 획득된 3D 좌표 및 상기 저장부에 저장된 기준 3D 좌표 정보의 차이에 기초하여 상기 카메라의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득하고, 상기 획득된 위치 조정 정보에 기초하여 상기 카메라의 촬영 위치를 조정하기 위한 가이드 GUI(Graphic User Interface)를 제공하도록 상기 디스플레이를 제어하는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 획득된 3D 좌표 및 상기 저장부에 저장된 기준 3D 좌표 정보의 차이에 기초하여 상기 사용자의 얼굴 영역을 이동시키기 위한 정보를 획득하고, 상기 획득된 정보에 기초하여 상기 사용자의 얼굴 영역의 이동을 위한 가이드 GUI를 제공하도록 상기 디스플레이를 제어할 수 있다.
상기 카메라의 촬영 위치는, 상기 사용자의 얼굴 영역과 상기 카메라 간 촬영 거리, 촬영 방향 및 촬영 각도 중 적어도 하나를 포함할 수 있다.
상기 가이드 GUI는, 상기 카메라의 이동 거리, 상기 카메라의 이동 방향, 상기 카메라의 회전 방향 및 상기 카메라의 회전 정도 중 적어도 하나를 포함할 수 있다.
상기 프로세서는, 상기 사용자의 얼굴 영역에서 복수의 특징점을 식별하고, 상기 특징점 간 거리 정보를 픽셀 수에 기초하여 산출하고, 상기 산출된 거리 정보에 기초하여 상기 3D 좌표를 획득할 수 있다.
상기 전자 장치는 통신부를 더 포함할 수 있다.
상기 프로세서는, 상기 통신부를 통해 상기 촬영되는 이미지에 포함되는 외부 장치로부터 상기 외부 장치의 위치 정보가 수신되면, 상기 수신된 위치 정보에 기초하여 상기 전자 장치 및 상기 외부 장치 간 제1 거리 정보를 획득하고, 상기 촬영되는 이미지에 상기 외부 장치 및 상기 사용자의 얼굴 영역에 포함되는 적어도 하나의 특징점 간 제2 거리 정보를 획득하고, 상기 제1 거리 정보 및 제2 거리 정보에 기초하여 상기 3D 좌표를 획득할 수 있다.
상기 프로세서는, 상기 통신부를 통해 외부 전자 장치로부터 상기 전자 장치를 포함하는 이미지가 수신되면, 상기 수신된 이미지로부터 획득된 상기 전자 장치의 크기 및 상기 저장부에 저장된 전자 장치의 실제 크기를 비교하여 상기 3D 좌표를 획득할 수 있다.
상기 외부 전자 장치는, 카메라를 포함하는 AR(Augmented Reality) 글래스일 수 있다.
상기 프로세서는, 상기 획득된 3D 좌표에 기초하여 상기 촬영 이미지에 포함되는 사용자 이미지에 부가될 스티커의 크기, 방향 및 형상 중 적어도 하나를 조정하여 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
상기 프로세서는, 상기 카메라의 촬영 위치가 타겟 위치로 조정되면, 자동으로 촬영을 수행할 수 있다.
또한, 본 개시의 일 실시 예에 따른 기준 3D 좌표 정보가 저장된 전자 장치의 제어 방법은, 기준 3D 좌표 정보가 저장된 전자 장치의 제어 방법에 있어서, 카메라를 통해 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득하는 단계, 상기 획득된 3D 좌표 및 상기 기준 3D 좌표 정보의 차이에 기초하여 상기 카메라의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득하는 단계 및 상기 획득된 위치 조정 정보에 기초하여 상기 카메라의 촬영 위치를 조정하기 위한 가이드 GUI(Graphic User Interface)를 제공하는 단계를 포함할 수 있다.
상기 제어 방법은, 상기 획득된 3D 좌표 및 상기 기준 3D 좌표 정보의 차이에 기초하여 상기 사용자의 얼굴 영역을 이동시키기 위한 정보를 획득하는 단계 및 상기 획득된 정보에 기초하여 상기 사용자의 얼굴 영역의 이동을 위한 가이드 GUI를 제공하는 단계를 더 포함할 수 있다.
상기 카메라의 촬영 위치는, 상기 사용자의 얼굴 영역과 상기 카메라 간 촬영 거리, 촬영 방향 및 촬영 각도 중 적어도 하나를 포함할 수 있다.
상기 가이드 GUI는, 상기 카메라의 이동 거리, 상기 카메라의 이동 방향, 상기 카메라의 회전 방향 및 상기 카메라의 회전 정도 중 적어도 하나를 포함할 수 있다.
상기 3D 좌표를 획득하는 단계는, 상기 사용자의 얼굴 영역에서 복수의 특징점을 식별하고, 상기 특징점 간 거리 정보를 픽셀 수에 기초하여 산출하고, 상기 산출된 거리 정보에 기초하여 상기 3D 좌표를 획득할 수 있다.
상기 3D 좌표를 획득하는 단계는, 상기 촬영되는 이미지에 포함되는 외부 장치로부터 상기 외부 장치의 위치 정보가 수신되면, 상기 수신된 위치 정보에 기초하여 상기 전자 장치 및 상기 외부 장치 간 제1 거리 정보를 획득하고, 상기 촬영되는 이미지에 상기 외부 장치 및 상기 사용자의 얼굴 영역에 포함되는 적어도 하나의 특징점 간 제2 거리 정보를 획득하고, 상기 제1 거리 정보 및 제2 거리 정보에 기초하여 상기 3D 좌표를 획득할 수 있다.
상기 3D 좌표를 획득하는 단계는, 외부 전자 장치로부터 상기 전자 장치를 포함하는 이미지가 수신되면, 상기 수신된 이미지로부터 획득된 상기 전자 장치의 크기 및 기 저장된 전자 장치의 실제 크기를 비교하여 상기 3D 좌표를 획득할 수 있다.
상기 외부 전자 장치는, 카메라를 포함하는 AR(Augmented Reality) 글래스일 수 있다.
상기 제어 방법은 상기 획득된 3D 좌표에 기초하여 상기 촬영 이미지에 포함되는 사용자 이미지에 부가될 스티커의 크기, 방향 및 형상 중 적어도 하나를 조정하여 디스플레이하는 단계를 더 포함할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은, 카메라를 통해 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득하는 단계, 상기 획득된 3D 좌표 및 기저장된 기준 3D 좌표 정보의 차이에 기초하여 상기 카메라의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득하는 단계 및 상기 획득된 위치 조정 정보에 기초하여 상기 카메라의 촬영 위치를 조정하기 위한 가이드 GUI(Graphic User Interface)를 제공하는 단계를 포함할 수 있다.
상술한 바와 같이 본 개시의 다양한 실시 예에 따르면 전자 장치는 3D 좌표 정보에 기초하여 촬영 위치를 조정하는 가이드를 제공하므로 사용자가 의도한 구도로 촬영을 수행할 수 있다. 또한, 전자 장치는 3D 좌표 정보에 기초하여 사용자 이미지에 부가될 스티커를 정밀하게 조정하는 등 정밀한 편집 기능을 제공할 수 있다.
도 1은 본 개시의 일 실시 예에 전자 장치를 이용하여 셀카 촬영을 수행하는 동작을 설명하는 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 3은 도 2의 전자 장치의 세부 구성의 일 예를 나타내는 블럭도이다.
도 4는 본 개시의 일 실시 예에 따른 위치 조정 정보를 획득하는 과정을 설명하기 위한 도면이다.
도 5는 본 개시의 다른 실시 예에 따른 외부 장치로부터 수신된 위치 정보에 기초하여 3D 좌표를 획득하는 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 또 다른 실시 예에 따른 외부 전자 장치로부터 수신된 이미지에 기초하여 3D 좌표를 획득하는 과정을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 가이드 GUI의 종류를 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 카메라 이동 정도에 비례하는 가이드 GUI를 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 사용자 이미지에 부가되는 스티커의 조정을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 3D 좌표를 비교하여 카메라의 움직임을 가이드하는 동작을 설명하기 위한 시퀀스도이다.
도 11은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
A 및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 개시의 일 실시 예에 전자 장치를 이용하여 셀카 촬영을 수행하는 동작을 설명하는 도면이다.
도 1에 도시된 바와 같이 전자 장치(100)는 스마트폰과 같은 휴대폰으로 구현될 수 있으나, 이에 한정되는 것은 아니며 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 전자북(e-book), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 캠코더(camcorder), 전자 액자 또는 웨어러블 장치(wearable device)(예를 들어, head-mounted-device(HMD) 스마트 와치(smart watch), 전자 의복, 전자 팔찌, 전자 목걸이 등), NED(Near Eye Display), LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 비디오 월(video wall) 등과 같이 카메라 기능 및 디스플레이 기능을 갖춘 다양한 유형의 장치로 구현될 수 있다. 또한, 디스플레이 장치(100)는 터치스크린을 내장하고 있어, 손가락 또는 펜(예를 들어, 스타일러스 펜)을 이용하여 프로그램을 실행시킬 수 있도록 구현될 수 있다.
본 개시의 일 실시 예에 따르면, 전자 장치(100)를 통해 사용자를 촬영 대상으로 하는 셀카(셀프 카메라, Selfie)를 촬영하는 경우, 전자 장치(100)는 바람직할 셀카 이미지를 획득할 수 있도록 가이드 정보를 제공할 수 있다. 예를 들어, 실시간 촬영 이미지에서 사용자의 얼굴 영역에 대응되는 3D 좌표에 기초하여 가이드 정보를 제공할 수 있는데, 이하에서는 도면을 참조하여 본 개시의 다양한 실시 예에 대해 자세히 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2에 따르면, 전자 장치(100)는 카메라(110), 저장부(120), 디스플레이(130) 및 프로세서(140)를 포함한다.
카메라(110)는 사용자 명령에 따라 피사체를 촬영하여 이미지를 획득할 수 있다. 여기서, 사용자 명령은 터치 입력, 버튼 입력, 음성 입력, 모션 입력 등 다양한 형태가 될 수 있다.
카메라(110)를 통해 피사체가 촬영되면, 피사체는 반도체 광학소자(CCD; Charge Coupled Device)를 통해 전기적인 영상신호로 변환되고, 이와 같이 변환된 영상신호는 아날로그 신호처리부(미도시)에서 증폭 및 디지털신호로 변환된다. 이와 같이 변환된 디지털 신호는 디지털 신호처리부(미도시)에서 디지털 신호처리되고, 프로세서(140)의 제어를 받아 그 색과 밝기를 조정하여 디스플레이(130)를 통해 표시된다.
여기서, 표시되는 이미지는 정지 영상 또는 동영상일 수 있다. 카메라(110)는 특정 시점에서의 정지 영상을 촬영할 수 있으나, 연속적으로 정지 영상을 촬영할 수도 있다. 카메라(110)는 프로세서(140)의 제어에 따라 획득한 영상을 디스플레이(130)로 제공할 수 있다.
카메라(110)는 전자 장치(100)에 전면에 구비된 전면 카메라, 전자 장치(100)에 후면에 구비된 후면 카메라와 같이 복수 개로 구현될 수도 있다. 예를 들어, 전면 카메라를 통해 사용자를 대상으로 하는 셀카 촬영이 이루어 질 수 있다.
저장부(120)는 전자 장치(100)를 구동/제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 저장부(120)는 전자 장치(100) 및 프로세서(140)의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
특히, 저장부(120)는 기준 3D 좌표 정보 및 기준 이미지 정보 중 적어도 하나를 저장할 수 있다. 여기서, 기준 3D 좌표 정보는 기준 이미지로부터 획득된 3D 좌표이며, 기준 이미지에 포함된 얼굴 영역에 대응되는 3D 좌표 정보이다. 기준 이미지란 사용자에 의해 선택된 이미지 및 전자 장치(100)가 제공하는 이미지 중 적어도 하나이며, 사용자에 의해 촬영되는 이미지가 목표하는 타겟 이미지일 수 있다.
또한, 저장부(120)는 전자 장치(100)의 실제 크기에 대한 정보를 저장할 수 있다. 구체적으로, 저장부(120)는 전자 장치(100)의 가로 길이, 세로 길이 및 두께 등 크기 정보를 저장할 수 있다.
저장부(120)는 프로세서(140)에 포함된 롬(ROM), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(140)와 별도의 메모리로 구현될 수도 있다. 이 경우, 저장부(120)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등과 같은 형태로 구현될 수 있다.
다만, 본 발명의 다른 실시 예에 따르면, 기준 3D 좌표 정보 및 기준 이미지 정보 중 적어도 하나를 서버(미도시)로부터 수신하는 것도 가능하다. 여기서, 서버(미도시)는 클라우드 서버로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 서버는 물리적 구현 형태에 따라 외부 서버 또는 전자 장치(100) 내에 구비되는 임베디드 서버로 구현될 수도 있다.
디스플레이(110)는 정지 영상, 동영상, 텍스트, 음악 등과 같은 다양한 컨텐츠, 다양한 컨텐츠를 포함하는 어플리케이션 실행 화면, GUI(Graphic User Interface) 화면 등을 디스플레이한다.
또한, 디스플레이(110)는 카메라(110)을 통해 촬영 중인 이미지 즉, 프리뷰 이미지 또는 촬영 이미지를 디스플레이 할 수 있다. 또한, 디스플레이(130)는 프로세서(140)의 제어에 의해 카메라(110)의 촬영 위치를 조정하기 위한 가이드 GUI(Graphic User Interface) 및 사용자의 얼굴 영역의 이동을 위한 가이드 GUI를 제공할 수 있다. 또한, 디스플레이(130)는 프로세서(140)의 제어에 의해 촬영 이미지에 포함되는 사용자 이미지에 부가될 스티커와 같은 필터 효과를 제공할 수 있다.
디스플레이(130)는 LCD(liquid crystal display), OLED(organic light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), QD(quantum dot), 마이크로 LED(Micro light-emitting diode) 디스플레이 등과 같은 다양한 형태로 구현될 수 있다. 특히, 디스플레이(130)는 터치패드와 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있다. 이 경우, 디스플레이(130)는 출력 장치 이외에 상술한 사용자 인터페이스(미도시)로 사용될 수 있게 된다. 여기서, 터치스크린은 터치 입력 위치 및 면적뿐만 아니라 터치 입력 압력까지도 검출할 수 있도록 구성될 수 있다.
프로세서(140)는 전자 장치(100)의 전반적인 동작을 제어한다.
일 실시 예에 따라 프로세서(140)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(140)는 카메라(110)를 통해 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득할 수 있다. 여기서, 촬영되는 이미지는, 디스플레이(130)를 통해 사용자의 얼굴 영역을 확인할 수 있는 프리뷰(preview) 상태의 이미지일 수 있다. 또한, 3D 좌표는 카메라(110)를 원점으로 하는 좌표이며, 직교 좌표계(rectangular coordinate system), 극 좌표계(Polar coordinate system), 구면 좌표계(Spherical coordinate system) 등의 다양한 형태의 좌표계로 표현될 수 있다.
한편, 프로세서(140)는 다양한 방법을 이용하여 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득할 수 있다.
일 예에 따라, 프로세서(140)는 촬영되는 2D 이미지로부터 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득할 수 있다. 예를 들어, 프로세서(140)는 사용자 얼굴 영역의 특징점 간 거리 정보를 픽셀 수에 기초하여 산출하여 3D 좌표를 획득할 수 있다.
다른 예에 따라, 프로세서(140)는 촬영되는 이미지에 포함된 센서를 구비한 외부 장치(예를 들어, 사용자에 부착된 장신구)로부터 위치 정보를 수신하여 3D 좌표를 획득할 수 있다. 예를 들어, 프로세서(140)는 외부 장치로부터 수신된 위치 정보에 기초하여 산출된 전자 장치(100) 및 외부 장치 간 거리에 기초하여 3D 좌표를 획득할 수 있다.
또 다른 예에 따라, 프로세서(140)는 사용자가 착용하는 AR 글래스와 같은 외부 전자 장치로부터 수신된 이미지에 기초하여 3D 좌표를 획득할 수도 있다. 예를 들어, 프로세서(140)는 수신된 이미지로부터 산출된 전자 장치(100)의 크기 정보 및 전자 장치(100)의 실제 크기 정보를 비교하여 전자 장치(100) 및 사용자 얼굴 영역 간 거리를 산출하여 3D 좌표를 획득할 수 있다.
프로세서(140)는 획득된 3D 좌표 및 저장부(120)에 저장된 기준 3D 좌표 정보의 차이에 기초하여 카메라(110)의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득할 수 있다. 여기서, 기준 3D 좌표 정보는 기준 이미지로부터 획득된 3D 좌표이며, 기준 이미지에 포함된 얼굴 영역에 대응되는 3D 좌표 정보이다. 기준 이미지란 사용자에 의해 선택된 이미지 및 전자 장치(100)가 제공하는 이미지 중 적어도 하나이며, 사용자에 의해 촬영되는 이미지가 목표하는 타겟 이미지일 수 있다.
위치 조정 정보는, 획득된 3D 좌표 및 기준 3D 좌표 정보의 차이에 따라 카메라(110)가 이동되어야 할 이동 거리, 이동 방향, 회전 방향 및 회전 정도에 관한 정보를 포함할 수 있다. 위치 조정 정보는, 획득된 3D 좌표 및 기준 3D 좌표 정보의 차이에 대응되는 3D 좌표 정보일 수 있다.
프로세서(140)는 획득된 위치 조정 정보에 기초하여 카메라(110)의 촬영 위치를 조정하기 위한 가이드 GUI(Graphic User Interface)를 제공하도록 디스플레이(130)를 제어할 수 있다.
여기서, 카메라(110)의 촬영 위치는, 사용자의 얼굴 영역과 카메라(110) 간 촬영 거리, 촬영 방향 및 촬영 각도 중 적어도 하나를 포함할 수 있다.
또한, 가이드 GUI는, 카메라(110)의 이동 거리, 카메라(110)의 이동 방향, 카메라(110)의 회전 방향 및 카메라(110)의 회전 정도 중 적어도 하나를 포함하는 표식(sign)일 수 있다. 예를 들어, 가이드 GUI는 이동 방향 및 화전 방향을 표시하기 위해 디스플레이(130) 상에 방향을 표시하는 화살표 모양의 표식으로 제공될 수 있다. 또한, 가이드 GUI는 화살표 모양을 통해 시계 방향 또는 반 시계 방향을 표시하는 형태로 제공될 수도 있다.
프로세서(140)는 XYZ 축을 디스플레이(130)의 일 영역에 표시하고, XYZ 축 상에 가이드 GUI를 표시할 수 있다. 이에 따라, 가이드 GUI가 좀 더 입체적으로 표시될 수 있다.
프로세서(140)는 화살표의 길이를 조정하여 카메라(110)의 이동 거리 및 회전 정도를 나타낼 수 있다. 즉, 프로세서(140)는 화살표의 길이를 카메라(110)의 이동 거리 및 회전 정도에 비례하여 표시할 수 있다. 예를 들어, 획득된 위치 조정 정보에 기초하여 카메라(110)가 우측으로 20cm만큼 이동되어야 하는 경우, 프로세서(140)는 2cm 길이의 우측 화살표를 디스플레이(130) 상에 표시할 수 있다. 이후 카메라(110)가 우측으로 10cm 이동된 경우, 프로세서(140)는 우측 화살표의 길이를 1cm로 조정하여 표시할 수 있다.
다른 실시 예에 따르면, 프로세서(140)는 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 3D 좌표 및 저장부(120)에 저장된 기준 3D 좌표 정보의 차이에 기초하여 사용자의 얼굴 영역을 이동시키기 위한 정보를 획득하고, 획득된 정보에 기초하여 사용자의 얼굴 영역의 이동을 위한 가이드 GUI를 제공하도록 디스플레이(130)를 제어할 수 있다. 여기서, 사용자의 얼굴 영역을 이동시키기 위한 정보는, 획득된 3D 좌표 및 기준 3D 좌표 정보의 차이에 따라 사용자의 얼굴 영역이 이동되어야 할 이동 거리, 이동 방향, 회전 방향 및 회전 정도에 관한 정보를 포함할 수 있다. 사용자의 얼굴 영역을 이동시키기 위한 정보는, 획득된 3D 좌표 및 기준 3D 좌표 정보의 차이에 대응되는 3D 좌표 정보일 수 있다.
즉, 프로세서(140)는 카메라(110)의 촬영 위치를 조정하는 것이 아닌 사용자의 얼굴 영역의 이동을 가이드 하기 위한 가이드 GUI를 디스플레이(130) 상에 제공할 수 있다.
구체적으로, 프로세서(140)는 사용자의 얼굴 영역을 이동시키기 위한 정보에 기초한 타겟 위치에 사용자 얼굴에 대응되는 가이드 GUI를 디스플레이(130) 상에 제공할 수 있다. 예를 들어, 가이드 GUI는 원 또는 타원 모양의 형태로 구현되며, 사용자의 얼굴 영역이 가이드 GUI에 위치되도록 가이드할 수 있다. 또는, 사용자의 얼굴 이미지를 타겟 위치 상에 표시하여 사용자 얼굴 영역이 가이드 GUI에 위치되도록 가이드할 수 있다. 다만, 이에 한정되는 것은 아니며, 가이드 GUI는 사용자 신체의 이동을 가이드하는 역할을 수행하는 구성이면 다양한 형태로 구현될 수 있음은 물론이다.
또 다른 실시 예에 따르면, 프로세서(140)는 카메라(110)의 촬영 위치 조정을 위한 가이드 또는 사용자의 얼굴 영역의 이동을 위한 가이드를 음성으로 제공할 수도 있다. 예를 들어, 프로세서(140)는 획득된 위치 조정 정보 또는 사용자의 얼굴 영역을 이동시키기 위한 정보에 기초하여 "카메라를 우측으로 10cm 이동하세요" 또는 "얼굴을 좌측으로 15도 기울여주세요"와 같은 음성을 스피커(미도시)를 통해 제공할 수 있다.
예를 들어, 사용자가 카메라(110)를 응시하지 않는 기준 이미지로부터 기준 3D 좌표 정보가 획득된 경우, 프로세서(140)는 사용자가 디스플레이(130)를 응시할 수 없는 자세를 가이드할 수 있다. 이와 같이 사용자가 카메라(110)를 응시할 수 없는 경우, 사용자는 디스플레이(130) 상에 제공되는 가이드 GUI를 인지할 수 없으므로 음성 가이드가 유용하게 이용될 수 있다.
프로세서(140)는 카메라(110)의 촬영 위치 조정을 위한 가이드 GUI 또는 사용자의 얼굴 영역의 이동을 위한 가이드 GUI를 디스플레이(130) 상에 제공함과 동시에 음성 가이드를 추가적으로 제공할 수도 있다.
이하에서는 촬영되는 이미지로부터 3D 좌표를 획득하는 다양한 실시 예에 대해 설명한다.
본 개시의 일 실시 예에 따르면, 프로세서(140)는 사용자의 얼굴 영역에서 복수의 특징점을 식별하고, 특징점 간 거리 정보를 픽셀 수에 기초하여 산출하고, 산출된 거리 정보에 기초하여 3D 좌표를 획득할 수 있다. 여기서, 특징점은 사용자의 눈, 코 및 입 중 적어도 하나일 수 있다. 일 예로, 프로세서(140)는 촬영되는 이미지 내의 전체 픽셀들을 n*m 개의 픽셀로 이루어진 블록들로 구분하고, 각 블록들에서 특징점 여부를 식별하여 사용자 얼굴 영역에서 특징점을 식별할 수 있다. 예를 들어, Face detection, Face recognition 등의 기술이 이용될 수 있는데, 이러한 기술은 종래 기술이므로 자세한 설명은 생략하도록 한다.
프로세서(140)는 픽셀 수에 기초하여 눈의 크기, 눈의 거리, 코의 길이, 입술의 길이 등의 거리 정보를 산출할 수 있다. 프로세서(140)는 산출된 거리 정보를 저장부(120)에 저장된 평균적인 얼굴 정보 또는 저장된 사용자 얼굴 정보와 비교함으로써 거리 정보를 좀 더 정확하게 보정하여 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득할 수도 있다. 예를 들어, 프로세서(140)는 촬영되는 이미지의 픽셀 수에 기초하여 눈의 크기에 대한 거리 정보를 산출하고, 저장된 평균적인 눈의 크기에 대한 거리 정보와 비교하여 눈의 크기 정보를 획득할 수 있다.
또한, 프로세서(140)는 양 눈의 크기 비교, 양 눈을 연결하는 선의 각도, 코 라인의 각도, 입술 라인의 각도에 기초하여 각도 정보를 산출할 수도 있다.
예를 들어, 3D 좌표가 카메라(110)를 원점으로 하는 직교 좌표계로 표현되는 경우를 상정한다. 프로세서(140)는 사용자 얼굴 영역에서 특징점으로서 눈, 코, 입을 식별하고, 픽셀 수에 기초하여 카메라(110)를 원점으로 하는 직교 좌표 값을 획득할 수 있다. 일 예로, 프로세서(140)는 눈, 코, 입에 대한 {Xeye = 6 cm, Yeye = 8 cm, Zeye = 20 cm}, {Xnose = 7 cm, Ynose = 5 cm, Znose = 18 cm} 및 {Xlip = 5 cm, Ylip = 13 cm, Zlip = 22 cm}와 같은 3D 좌표를 획득할 수 있다.
프로세서(140)는 획득된 3D 좌표 및 저장부(120)에 저장된 기준 3D 좌표 정보의 차이에 기초하여 카메라(110)의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득할 수 있다.
예를 들어, 프로세서(140)는 눈, 코, 입에 대한 획득된 3D 좌표 및 기준 3D 좌표 정보의 차이 값에 대응되는 {Xeye = 4 cm, Yeye = -1 cm, Zeye = 9 cm}, {Xnose = 2 cm, Ynose = 3 cm, Znose = 7 cm} 및 {Xlip = 3 cm, Ylip = 6 cm, Zlip = 8 cm}을 위치 조정 정보로서 획득할 수 있다.
전자 장치(100)는 하기와 같은 회전 변환 행렬식을 이용하여 가이드 GUI가 가이드하는 카메라(110)의 타겟 위치를 산출할 수 있다.
Figure pat00001
Figure pat00002
Figure pat00003
=
Figure pat00004
,
Figure pat00005
=
Figure pat00006
,
여기서, θ(X축), Φ(Y축) 및 Ψ(Z축)은 위치 조정 정보에 기초하여 변화되어야 하는 카메라(110)의 각도이고, Xcam, Ycam 및 Zcam은 이동되어야 하는 카메라(110)의 거리이다. 또한, X, Y 및 Z는 위치 조정 정보에 대응되는 3D 좌표이고, X', Y' 및 Z'는 가이드 GUI가 가이드하는 타겟 위치에 대응되는 3D 좌표이다.
전자 장치(100)는 상술한 수학식 1에 기초하여 카메라(110)의 타겟 위치를 산출할 수 있다.
카메라(110)의 위치가 가이드 GUI에 따라 타겟 위치로 이동되는 경우, 타겟 위치에서 획득된 3D 좌표 및 기준 3D 좌표 정보는 일치할 수 있다.
프로세서(140)는 획득된 위치 조정 정보에 기초하여 카메라(110)의 위치를 조정하기 위한 가이드 GUI를 디스플레이(130) 상에 제공할 수 있다.
도 5는 본 개시의 다른 실시 예에 따른 외부 장치로부터 수신된 위치 정보에 기초하여 3D 좌표를 획득하는 과정을 설명하기 위한 도면이다.
도 5에 따르면, 프로세서(140)는 통신부(미도시)를 통해 촬영되는 이미지에 포함된 외부 장치(510)로부터 외부 장치(510)의 위치 정보가 수신되면, 수신된 위치 정보에 기초하여 전자 장치(100) 및 외부 장치(510) 간 제1 거리 정보를 획득할 수 있다. 프로세서(140)는 촬영되는 이미지에 외부 장치(510) 및 사용자의 얼굴 영역에 포함된 적어도 하나의 특징점 간 제2 거리 정보를 획득할 수 있다. 프로세서(140)는 제1 거리 정보 및 제2 거리 정보에 기초하여 3D 좌표를 획득할 수 있다.
여기서, 외부 장치(510)는 전자 장치(100)와의 거리를 산출할 수 있는 센서(미도시)를 구비하는 장치이다. 예를 들어, 외부 장치(510)는 귀걸이(510-1), 목걸이와 같은 장신구 또는 이어폰(510-2) 등으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며 외부 장치(510)는 전자 장치(100)와의 거리를 산출할 수 있는 센서를 구비하고 사용자에 부착되는 장치라면 다양한 형태로 구현될 수 있음은 물론이다.
또한, 위치 정보는 전자 장치(100) 및 외부 장치(510) 간 거리, 각도 중 적어도 하나를 포함하는 정보일 수 있다.
또한, 센서는 IR 센서, 가속도 센서, 각속도 센서, 자이로 센서, 홀센서, 초음파 센서 등으로 구현될 수 있다.
IR(Infrared Ray) 센서는 적외선을 발광하여 반사물에 반사되는 적외선의 양에 따라 거리를 측정하는 센서이다. IR 센서에 의해 측정된 값에 기초하여 전자 장치(100) 및 외부 장치(510) 간 거리가 측정될 수 있다.
가속도 센서는 중력 방향을 감지할 수 있다. 그리고, 가속도 센서는 움직이지 않는 상태에서의 기울기를 감지할 수 있다. 가속도 센서는 단위 시간에 대한 속도의 변화량을 감지한다. 가속도 센서는 3축으로 구현될 수 있다. 3축 가속도 센서로 구현된 경우에는 가속도 센서는 서로 다른 방향으로 배치되어 서로 직교하는 X, Y, Z축 가속도 센서를 구비한다. 가속도센서는 X, Y, Z축 가속도 센서 각각의 출력값을 디지털 값으로 변환하여 전처리부로 제공한다. 이때 전처리부는 쵸핑회로, 증폭회로, 필터, 및 A/D 컨버터(A/D converter) 등을 포함할 수 있다. 이에 따라, 3축 가속도 센서로부터 출력된 전기적 신호를 쵸핑, 증폭, 필터링한 후, 디지털 전압값으로 변환한다. 가속도 센서에 의해 측정된 값에 기초하여 전자 장치(100) 및 외부 장치(510) 간 각도가 측정될 수 있다.
자이로 센서는 단위 시간 동안 사용자 단말 장치(200)의 기설정된 방향의 변화량을 감지하여 각속도를 감지하는 구성이다. 자이로 센서는 3축을 갖는 자이로스코프가 사용될 수 있다. 자이로 센서에 의해 감지된 각속도의 정적분 값을 통해 전자 장치(100) 및 외부 장치(510) 간 각도를 측정할 수 있다.
홀 센서는 자기장을 측정하는 센서이다. 홀 센서에서 측정되는 자기장의 크기에 기초하여 전자 장치(100) 및 외부 장치(510) 간 거리가 측정될 수 있다.
프로세서(140)는 픽셀 수에 기초하여 외부 장치(510) 및 사용자의 얼굴 영역에 포함된 적어도 하나의 특징점 간 거리 정보인 제2 거리 정보를 획득할 수 있다. 프로세서(140)는 산출된 제2 거리 정보를 저장부(120)에 저장된 평균적인 신체 정보 또는 저장된 사용자 신체 정보와 비교함으로써 제2 거리 정보를 좀 더 정확하게 보정할 수도 있다. 예를 들어, 외부 장치(510)가 센서를 구비하는 이어폰(510-2)인 경우, 프로세서(140)는 픽셀 수에 기초하여 이어폰(510-2)이 부착된 귀 및 코 간 거리를 산출할 수 있다. 이후, 프로세서(140)는 픽셀 수에 기초하여 산출된 거리를 저장부(120)에 저장된 귀 및 코 간 거리와 비교하여 제2 거리 정보를 좀 더 정확하게 보정할 수도 있다.
프로세서(140)는 제1 거리 정보 및 제2 거리 정보에 기초하여 3D 좌표를 획득할 수 있다. 이후, 프로세서(140)는 획득된 3D 좌표 및 저장부(120)에 저장된 기준 3D 좌표 정보의 차이에 기초하여 카메라(110)의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득하고, 획득된 위치 조정 정보에 기초하여 카메라(110)의 촬영 위치를 조정하기 위한 가이드 GUI를 제공할 수 있다.
이와 같이 외부 장치(510)로부터 수신된 정보에 기초하여 3D 좌표를 획득하는 실시 예는 전자 장치(100) 및 외부 장치(510) 간 거리 정보가 상대적으로 정확하므로 사용자 얼굴 영역에 대응되는 정확한 3D 좌표를 획득할 수 있다.
도 6은 본 개시의 또 다른 실시 예에 따른 외부 전자 장치로부터 수신된 이미지에 기초하여 3D 좌표를 획득하는 과정을 설명하기 위한 도면이다.
도 6에 따르면, 프로세서(140)는 통신부를 통해 외부 전자 장치(610)로부터 전자 장치(100)를 포함하는 이미지(620)가 수신되면, 수신된 이미지(620)로부터 획득된 전자 장치(100)의 크기 및 저장부(120)에 저장된 전자 장치(100)의 실제 크기를 비교하여 3D 좌표를 획득할 수 있다.
여기서, 외부 전자 장치(610)는 카메라(110)를 포함하는 AR(Augmented Reality) 글래스로 구현될 수 있다. 또한, 크기는, 전자 장치(100)의 가로 길이, 세로 길이 및 두께 등을 포함하는 정보일 수 있다.
프로세서(140)는 외부 전자 장치(610)로부터 수신된 이미지(620)로부터 산출된 전자 장치(100)의 크기 및 전자 장치(100)의 실제 크기를 비교하여 전자 장치(100) 및 사용자 얼굴 영역 간 거리를 산출할 수 있다. 프로세서(140)는 수신된 이미지(620)로부터 픽셀 수에 기초하여 전자 장치(100)의 크기를 산출할 수 있다.
예를 들어, 저장부(120)에 저장된 전자 장치(100)의 실제 크기가 가로 길이 6cm, 세로 길이 15cm인 경우를 상정한다. 프로세서(140) 수신된 이미지(620)에 포함된 전자 장치(100)의 가로 길이 6cm, 세로 길이 15cm로 가정한 상태에서 전자 장치(100)의 가로 길이 픽셀 수 및 세로 길이 픽셀 수를 산출할 수 있다. 프로세서(140)는 픽셀 수 및 실제 길이 관계를 산출하고, 산출된 정보에 기초하여 전자 장치(100) 및 사용자 얼굴 영역 간 거리를 산출할 수 있다.
프로세서(140)는 전자 장치(100) 및 사용자 얼굴 영역 간 산출된 거리에 기초하여 3D 좌표를 획득할 수 있다. 이후, 프로세서(140)는 획득된 3D 좌표 및 저장부(120)에 저장된 기준 3D 좌표 정보의 차이에 기초하여 카메라(110)의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득하고, 획득된 위치 조정 정보에 기초하여 카메라(110)의 촬영 위치를 조정하기 위한 가이드 GUI를 제공할 수 있다.
이와 같이 외부 전자 장치(610)로부터 수신된 이미지(620)로부터 산출된 전자 장치(100)의 크기 및 전자 장치(100)의 실제 크기를 비교하여 전자 장치(100) 및 사용자 얼굴 영역 간 거리를 상대적으로 정확하게 산출할 수 있으므로, 프로세서(140)는 사용자의 얼굴 영역에 대응되는 정확한 3D 좌표를 획득할 수 있다.
여기서, 외부 전자 장치(610)는 AR 글래스 이외에도 전자 장치(100)를 촬영하여 전자 장치(100)로 전송할 수 있는 장치라면 다양한 형태로 구현될 수 있다.
다시 도 2로 돌아가서, 프로세서(140)는 카메라(110)의 촬영 위치가 타겟 위치로 조정되면, 자동으로 촬영을 수행할 수 있다. 프로세서(140)는 촬영 이미지에 포함된 사용자의 얼굴 영역에 대응되는 3D 좌표 및 기준 3D 좌표 정보의 차이에 기초한 위치 조정 정보를 실시간으로 획득할 수 있다. 프로세서(140)는 실시간으로 측정되는 위치 조정 정보에 기초하여 3D 좌표 및 기준 3D 좌표 정보의 정보가 일치하는 것으로 식별되면, 즉 촬영 위치가 타겟 위치로 조정되거나 사용자 얼굴 영역이 타겟 위치로 이동되면 자동으로 촬영을 수행할 수 있다.
카메라(110)의 촬영 위치 또는 사용자 얼굴 영역이 타겟 위치로 조정되면 사용자의 조작없이 촬영이 수행되므로 사용자가 촬영 준비가 안된 상태에서 촬영이 수행될 수 있다. 따라서, 프로세서(140)는 타겟 위치로 조정되었음을 알리는 피드백을 제공하거나 피드백 제공 후 기설정된 시간 경과 후에 자동으로 촬영을 수행할 수도 있다. 여기서, 피드백은, 예를 들어, 전자 장치(100)를 진동시키거나, 특정 음향이나 음성을 출력하는 형태일 수 있다. 또는 피드백은 LED 광원이 발광하는 형태일 수도 있다.
프로세서(140)는 촬영되는 이미지에 포함된 사용자의 얼굴 영역에 대응되는 3D 좌표에 기초하여 촬영 이미지에 포함된 사용자 이미지에 부가될 스티커의 크기, 방향 및 형상 중 적어도 하나를 조정하여 디스플레이하도록 디스플레이(130)를 제어할 수 있다. 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득하는 다양한 실시 예에 대해서는 전술한 바 있으므로 자세한 설명은 생략한다.
여기서, 스티커는 촬영 이미지에 포함되는 사용자 이미지를 꾸미기 위해 사용자 이미지에 부가되는 모든 객체일 수 있다. 예를 들어, 스티커는 사용자 이미지의 얼굴 영역에 토끼 귀 모양의 형상이 부가되는 형태로 구현되거나 사용자 이미지에 화장 효과를 적용하는 형태로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며 스티커는 사용자 이미지를 꾸밀 수 있는 객체이면 다양한 형태로 구현될 수 있음은 물론이다.
프로세서(140)는 획득된 3D 좌표에 기초하여 사용자 이미지에 부가될 스티커의 크기, 방향 및 형상 중 적어도 하나를 조정할 수 있다.
예를 들어, 사용자 얼굴 영역 중 머리 부분에 좌, 우측 토끼 귀 모양의 스티커가 부가되는 경우를 상정한다. 프로세서(140)는 3D 좌표에 기초하여 사용자 이미지의 상태에 기초하여 스티커를 부가할 수 있다. 일 예로, 프로세서(140)는 사용자가 좌측을 응시하는 경우 이에 매칭되도록 좌, 우측 토끼 귀 모양의 크기를 조정하여 입체감을 표현할 수 있다. 이후, 사용자 우측을 응시하는 경우, 프로세서(140)는 스티커 상의 좌, 우측 토끼 귀의 모양의 크기를 재조정할 수 있다.
이와 같이 본 개시의 일 실시 예에 따라 3D 좌표에 기초하여 스티커를 적용하므로 상대적으로 정확하게 스티커를 조정하여 사용자 이미지에 적용할 수 있다.
한편, 전자 장치(100)가 AR 글래스로 구현되는 경우, AR 글래스는 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 3D 좌표 및 저장된 기준 3D 좌표 정보의 차이에 기초하여 스마트 폰의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득할 수 있다. AR 글래스는 획득된 위치 조정 정보에 기초하여 스마트 폰의 위치를 조정하기 위한 가이드 GUI를 AR 오브젝트로서 글래스 상에 제공할 수 있다. 즉, AR 글래스는 위치 조정 정보에 기초한 스마트 폰의 타겟 위치를 글래스 상에 제공하여 가이드할 수 있다. 여기서, AR 오브젝트란 이미지에 포함된 실제 오브젝트와 관련된 가상의 오브젝트이며, 본 개시에서는 스마트 폰의 위치를 조정하기 위한 가이드 GUI를 나타내는데 이용될 수 있다.
일 실시 예에 따라, AR 오브젝트는 카메라를 통해 촬영되는 이미지에 제공될 수 있다. 예를 들어, AR 오브젝트는 촬영 이미지에 함께 렌더링되어 디스플레이되거나, 촬영 이미지 상에 OSD 형태로 디스플레이되거나, 촬영 이미지가 디스플레이된 Layer와 다른 Layer에 디스플레이되는 등 다양한 형태로 제공될 수 있다.
다른 실시 예에 따라, AR 오브젝트는 투명 디스플레이로 구현된 글래스를 통해 사용자에게 보여지는 객체의 위치에 기초하여 제공될 수 있다. 예를 들어, DLP(Digital Light Processing), LSP(Laser Scanning Projector) 와 같은 방식에 기초하여 글래스 상에 AR 오브젝트가 제공될 수 있다.
이상에서는 전면 카메라로 촬영되는 셀카 촬영의 경우를 상정하여 설명하였으나, 후면 카메라로 촬영되는 실시 예에서도 본 개시가 적용될 수 있음은 물론이다.
도 3은 도 2의 전자 장치의 세부 구성의 일 예를 나타내는 블럭도이다.
도 3에 따르면, 전자 장치(100)는 카메라(110), 저장부(120), 디스플레이(130), 프로세서(140), 통신부(150) 및 스피커(160)를 포함한다. 도 3에 도시된 구성 중 도 2에 도시된 구성과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
프로세서(140)는 CPU(141), 전자 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 또는 비 휘발성 메모리) 및 전자 장치(100)의 외부에서부터 입력되는 데이터를 저장하거나 전자 장치(100)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM, 또는 휘발성 메모리)을 포함할 수 있다.
프로세서(140)는 기설정된 이벤트가 발생되면 저장부(120)에 저장된 OS(Operating System), 프로그램 및 다양한 어플리케이션을 실행할 수 있다. 프로세서(140)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
CPU(141)는 저장부(120)에 액세스하여, 저장부(120)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(120)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
통신부(150)는 외부 장치(예를 들어, 센서를 포함하는 장신구) 또는 외부 전자 장치(예를 들어, AR 글래스)와 통신을 수행한다. 여기서, 통신부(150)는 BT(BlueTooth), WI-FI(Wireless Fidelity), Zigbee, IR(Infrared) 와 같은 통신 방식으로 사용자 단말 장치(200)와 무선 통신을 수행할 수 있으나, Serial Interface, USB(Universal Serial Bus), NFC(Near Field Communication) 등과 같은 다양한 통신 방식을 통해 외부 장치 또는 외부 전자 장치와 통신을 수행할 수도 있다.
예를 들어, 통신부(150)는 기설정된 이벤트가 발생하면, 외부 장치 또는 외부 전자 장치와의 기정의된 통신 방식에 따라 통신을 수행하여 연동 상태가 될 수 있다. 여기서, 연동은 전자 장치(100)와 외부 장치 또는 외부 전자 장치 간에 통신이 초기화되는 동작, 네트워크가 형성되는 동작, 기기 페어링이 수행되는 동작 등 통신이 가능한 상태가 되는 모든 상태를 의미할 수 있다. 예를 들어, 외부 장치 또는 외부 전자 장치의 기기 식별 정보가 전자 장치(100)로 제공되고, 그에 따라 양 기기 간의 페어링 절차가 수행될 수 있다. 예를 들어, 전자 장치(100) 또는 외부 장치 또는 외부 전자 장치에서 기설정된 이벤트가 발생하면, DLNA(Digital Living Network Alliance) 기술을 통해 주변 기기를 탐색하고 탐색된 기기와 페어링을 수행하여 연동 상태가 될 수 있다.
특히, 통신부(150)를 통해 외부 장치로부터 위치 정보가 수신되고, 외부 전자 장치로부터 전자 장치(100)를 포함하는 이미지가 수신될 수 있다.
스피커(160)는 각종 사운드를 출력하기 위한 구성이다. 특히, 스피커(160)는 프로세서(140)의 제어에 따라 카메라(110)의 촬영 위치 조정을 위한 음성 가이드 또는 사용자의 얼굴 영역의 이동을 위한 음성 가이드를 출력할 수 있다. 또한, 스피커(160)는 카메라(110)의 촬영 위치 또는 사용자 얼굴 영역이 타겟 위치로 조정되면 프로세서(140)의 제어에 따라 이를 알리는 음성 피드백을 출력할 수도 있다.
마이크(170)는 사용자로부터 발화되는 음성을 수신하기 위한 구성이다. 마이크(170)는 촬영과 관련된 음성을 수신하여 프로세서(140)로 전송할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 위치 조정 정보를 획득하는 과정을 설명하기 위한 도면이다.
전자 장치(100)는 카메라(110)를 통해 촬영되는 이미지(410)에 포함된 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득할 수 있다.
본 개시의 일 실시 예에 따르면, 전자 장치(100)는 사용자의 얼굴 영역에서 복수의 특징점을 식별할 수 있다(420). 여기서, 특징점은 사용자의 눈, 코 및 입 중 적어도 하나에 포함된 특징점일 수 있다. 사용자 얼굴 영역에서 특징점을 식별하기 위해 Face detection, Face recognition 등의 기술이 이용될 수 있다. 전자 장치(100)는 특징점 간 거리 정보를 픽셀 수에 기초하여 산출하고, 산출된 거리 정보에 기초하여 3D 좌표를 획득할 수 있다.
전자 장치(100)는 픽셀 수에 기초하여 눈의 크기, 눈의 거리, 코의 길이, 입술의 길이 등의 거리 정보를 산출할 수 있다. 전자 장치(100)는 산출된 거리 정보를 저장된 평균적인 얼굴 정보 또는 저장된 사용자 얼굴 정보와 비교함으로써 거리 정보를 좀 더 정확하게 보정하여 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득할 수도 있다. 예를 들어, 전자 장치(100)는 촬영되는 이미지로부터 산출된 눈 사이의 거리 정보에 기초하여 사용자의 얼굴 및 카메라(110) 간 거리를 산출할 수 있다.
또한, 전자 장치(100)는 양 눈의 크기 비교, 양 눈을 연결하는 선의 각도, 코 라인의 각도, 입술 라인의 각도에 기초하여 각도 정보를 산출할 수도 있다.
예를 들어, 3D 좌표는 카메라(110)를 원점으로 하는 직교 좌표계로 표현되는 경우를 상정한다. 전자 장치(100)는 사용자 얼굴 영역에서 특징점으로서 눈, 코, 입을 식별하고, 픽셀 수에 기초하여 카메라(110)를 원점으로 하는 직교 좌표 값을 획득할 수 있다. 일 예로, 전자 장치(100)는 눈, 코, 입에 대한 {Xeye = 6 cm, Yeye = 8 cm, Zeye = 20 cm}, {Xnose = 7 cm, Ynose = 5 cm, Znose = 18 cm} 및 {Xlip = 5 cm, Ylip = 13 cm, Zlip = 22 cm}와 같은 3D 좌표를 획득할 수 있다(430).
전자 장치(100)는 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 3D 좌표 및 기준 3D 좌표 정보를 비교할 수 있다. 여기서, 기준 3D 좌표 정보(450)는 기준 이미지(440)로부터 획득된 3D 좌표 정보일 수 있다. 전자 장치(100)는 기준 이미지(440)를 저장하거나 기준 3D 좌표 정보(450)만을 저장할 수 있다.
전자 장치(100)는 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 의 3D 좌표 및 기준 3D 좌표 정보의 차이를 산출하여 카메라(110)의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득할 수 있다(460).
예를 들어, 전자 장치(100)는 눈, 코, 입에 대한 획득된 3D 좌표 및 기준 3D 좌표 정보의 차이 값에 대응되는 {Xeye = 4 cm, Yeye = -1 cm, Zeye = 9 cm}, {Xnose = 2 cm, Ynose = 3 cm, Znose = 7 cm} 및 {Xlip = 3 cm, Ylip = 6 cm, Zlip = 8 cm}을 위치 조정 정보로서 획득할 수 있다.
카메라(110)의 위치가 가이드 GUI에 따라 타겟 위치로 이동되는 경우, 타겟 위치에서 획득된 3D 좌표 및 기준 3D 좌표 정보는 일치할 수 있다.
전자 장치(100)는 획득된 위치 조정 정보에 기초하여 카메라(110)의 위치를 조정하기 위한 가이드 GUI를 디스플레이(130) 상에 제공할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 가이드 GUI의 종류를 설명하기 위한 도면이다.
도 7a에 따르면, 전자 장치(100)는 카메라(110)의 촬영 위치를 조정하기 위한 위치 조정 정보에 기초하여 가이드 GUI(710 내지 730)를 제공할 수 있다.
여기서, 위치 조정 정보는, 획득된 3D 좌표 및 기준 3D 좌표 정보의 차이에 따라 카메라(110)가 이동되어야 할 이동 거리, 이동 방향, 회전 방향 및 회전 정도에 관한 정보를 포함할 수 있다. 위치 조정 정보는, 획득된 3D 좌표 및 기준 3D 좌표 정보의 차이에 대응되는 3D 좌표 정보일 수 있다.
또한, 가이드 GUI(710 내지 730)는, 카메라(110)의 이동 거리, 카메라(110)의 이동 방향, 카메라(110)의 회전 방향 및 카메라(110)의 회전 정도 중 적어도 하나를 포함하는 표식(sign)일 수 있다. 예를 들어, 가이드 GUI(710 내지 730)는 이동 방향 및 화전 방향을 표시하기 위해 방향을 표시하는 화살표 모양의 표식으로 제공될 수 있다. 또한, 가이드 GUI(710 내지 730)는 회전 방향을 나타내기 위해 시계 방향 또는 반 시계 방향을 표시하는 화살표 모양의 표식으로 제공될 수 있다.
예를 들어, 전자 장치(100)는 전자 장치(100)의 하단을 좌상측으로 이동을 가이드하는 가이드 GUI(710), 전자 장치(100)를 우측으로 가이드하는 가이드 GUI(720) 및 회전을 가이드하는 회전 가이드 GUI(730)를 제공할 수 있다.
도 7b에 따르면, 전자 장치(100)는 가이드 GUI를 XYZ 축 상에 표시할 수 있다.
구체적으로, 전자 장치(100)는 XYZ 축을 디스플레이(130)의 일 영역에 표시하고, XYZ 축 상에 가이드 GUI를 표시할 수 있다.
도 7a에 도시된 가이드 GUI(710 내지 730)를 XYZ 축 상에 표시하는 경우를 상정한다. 예를 들어, 전자 장치(100)는 XZ축 상에서의 이동을 나타내기 위해 XZ축 상에 점선을 표시하고 화살표를 표시하여 전자 장치(100)를 좌상측으로 이동을 가이드하는 가이드 GUI(710)를 제공할 수 있다. 또한, 전자 장치(100)는 이동을 가이드하는 화살표를 X축 상에 표시하여 전자 장치(100)를 우측으로 가이드하는 가이드 GUI(720)를 제공할 수 있다. 또한, 전자 장치(100)는 회전 이동을 가이드하는 시계 방향의 화살표를 표시하여 회전 가이드 GUI(730)를 제공할 수 있다. 전자 장치(100)는 회전축을 별도로 표시하여 회전 방향을 명확하게 표시할 수 있다. 일 예로, 전자 장치(100)는 Y축에 대응되는 회전축을 표시하고 시계 방향의 화살표를 이용하여 회전 가이드 GUI(730)를 제공할 수 있다. 또한, 전자 장치(100)는 별도의 회전축 없이 XYZ 축 상에 회전 가이드 GUI(730)를 제공할 수도 있다.
전자 장치(100)는 회전 가이드 GUI에 전자 장치(100)가 회전되어야 할 각도를 표시할 수도 있다.
가이드 GUI가 XYZ 축 상에 표시되어 좀 더 입체적으로 제공되므로, 사용자는 위치 조정 정보에 따른 타겟 위치로 용이하게 전자 장치(100)를 이동시킬 수 있다.
도 7c에 따르면, 전자 장치(100)는 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 3D 좌표 및 저장된 기준 3D 좌표 정보의 차이에 기초하여 사용자의 얼굴 영역을 이동시키기 위한 정보를 획득하고, 획득된 정보에 기초하여 사용자의 얼굴 영역의 이동을 위한 가이드 GUI(740)를 제공할 수 있다.
여기서, 사용자의 얼굴 영역을 이동시키기 위한 정보는, 획득된 3D 좌표 및 기준 3D 좌표 정보의 차이에 따라 사용자의 얼굴 영역이 이동되어야 할 이동 거리, 이동 방향, 회전 방향 및 회전 정도에 관한 정보를 포함할 수 있다. 사용자의 얼굴 영역을 이동시키기 위한 정보는, 획득된 3D 좌표 및 기준 3D 좌표 정보의 차이에 대응되는 3D 좌표 정보일 수 있다.
즉, 전자 장치(100)는 카메라(110)의 촬영 위치를 조정하는 것이 아닌 사용자의 얼굴 영역의 이동을 가이드하는 가이드 GUI(740)를 디스플레이(130) 상에 제공할 수 있다.
여기서, 사용자 얼굴에 대응되는 가이드 GUI(740)는, 촬영되는 사용자의 얼굴 영역을 가상으로 이동시켜 표시되는 형태일 수 있다. 일 예로 도 7c와 같이, 전자 장치(100)는 촬영되는 사용자의 얼굴 영역을 타겟 위치 상에 점선으로 표시하는 형태로 가이드 GUI를 제공할 수 있다. 또한, 사용자 얼굴에 대응되는 가이드 GUI(740)는, 원 또는 타원 모양의 형태로 표시될 수 있으나 이에 한정되는 것은 아니며, 사용자 신체의 이동을 가이드하는 역할을 수행하는 구성이면 다양한 형태로 구현될 수 있음은 물론이다.
도 7d는 전자 장치(100)가 AR 글래스로 구현되는 경우에 가이드 GUI를 설명하기 위한 도면이다.
전자 장치(100)가 AR 글래스로 구현되는 경우, AR 글래스는 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 3D 좌표 및 저장된 기준 3D 좌표 정보의 차이에 기초하여 스마트 폰의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득할 수 있다. AR 글래스는 획득된 위치 조정 정보에 기초하여 스마트 폰의 위치를 조정하기 위한 가이드 GUI(750)를 글래스(디스플레이) 상에 제공할 수 있다.
즉, AR 글래스는 위치 조정 정보에 기초한 스마트 폰의 타겟 위치를 글래스 상에 제공하여 가이드할 수 있다.
또한, AR 글래스는 화살표 모양의 가이드 GUI(760)를 제공하여 스마트 폰이 이동되어야 하는 방향 및 거리를 가이드할 수도 있다.
도 8은 본 개시의 일 실시 예에 따른 카메라 이동 정도에 비례하는 가이드 GUI를 설명하기 위한 도면이다.
도 8은 화살표가 가이드 GUI로서 제공되는 도면이며, 전자 장치(100)는 화살표의 길이를 조정하여 카메라(110)의 이동 거리를 나타낼 수 있다. 즉, 전자 장치(100)는 화살표의 길이를 카메라(110)의 이동 거리에 비례하여 표시할 수 있다. 예를 들어, 획득된 위치 조정 정보에 기초하여 카메라(110)가 우측으로 20cm만큼 이동되어야 하는 경우, 전자 장치(100)는 2cm 길이의 우측 화살표를 디스플레이(130) 상에 표시할 수 있다. 이후 카메라(110)가 우측으로 10cm 이동된 경우, 전자 장치(100)는 우측 화살표의 길이를 1cm로 조정하여 표시할 수 있다.
전자 장치(100)는 카메라(110)의 이동거리뿐만 아니라 회전 정도를 나타내기 위해 화살표의 길이를 조정할 수도 있다.
다만, 카메라(110)의 이동 거리 또는 화살표의 이동 거리에 관한 수치는 예를 든 것이며, 이에 한정되지 않음은 물론이다.
도 9는 본 개시의 일 실시 예에 따른 사용자 이미지에 부가되는 스티커의 조정을 설명하기 위한 도면이다.
스티커는 촬영 이미지에 포함되는 사용자 이미지를 꾸미기 위해 사용자 이미지에 부가되는 모든 객체일 수 있다.
도 9에 따르면, 스티커는 사용자 이미지의 얼굴 영역에 토끼 귀 모양의 형상으로 구현될 수 있다.
전자 장치(100)는 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 3D 좌표에 기초하여 사용자 이미지에 부가될 스티커의 크기, 방향 및 형상 중 적어도 하나를 조정할 수 있다. 여기서, 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득하는 다양한 실시 예에 대해서는 전술한 바 있으므로 자세한 설명은 생략한다.
도 9a와 같이, 사용자가 좌측을 응시하는 경우, 전자 장치(100)는 이에 대응되는 3D 좌표를 획득할 수 있다. 획득된 3D 좌표에 기초하여 전자 장치(100)는 좌, 우측 토끼 귀 모양의 크기를 조정할 수 있다. 일 예로, 전자 장치(100)는 우측 토끼 귀의 크기를 좌측 귀보다 크게 조정하여 입체감을 표현할 수 있다.
이후, 사용자가 자세를 바꿔 우측을 응시하는 경우를 상정한다. 사용자의 움직임에 따른 3D 좌표를 정확하게 획득하지 못하는 경우, 도 9b와 같이, 사용자의 자세는 변경되었으나 스티커의 크기 및 방향이 이에 대응되도록 조정되지 못하는 문제가 있다.
다만, 본 개시의 일 실시 예에 따라, 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 3D 좌표를 실시간으로 획득할 수 있으므로, 도 9c와 같이, 전자 장치(100)는 스티커의 크기 및 방향을 사용자 이미지에 대응되도록 조정할 수 있다. 일 예로, 도 9c와 같이, 사용자가 좌측을 응시하는 경우, 전자 장치(100)는 좌측 토끼 귀의 크기를 우측 귀보다 크게 조정하여 입체감을 표현할 수 있다.
이와 같이 본 개시의 일 실시 예에 따라 3D 좌표에 기초하여 스티커를 적용하므로 상대적으로 정확하게 스티커를 조정하여 사용자 이미지에 적용할 수 있다.
도 9에서는 사용자 이미지의 얼굴 영역에 토끼 귀 모양의 형상을 부가하는 실시 예를 설명하였으나, 사용자 이미지에 화장 효과를 적용하는 형태와 같이 3D 좌표에 기초하여 다양한 스티커가 적용될 수 있다.
도 10은 본 개시의 일 실시 예에 따른 3D 좌표를 비교하여 카메라의 움직임을 가이드하는 동작을 설명하기 위한 시퀀스도이다.
전자 장치(100)는 기준 이미지를 저장하고 있을 수 있다(S1010). 여기서, 기준 이미지는, 사용자에 의해 선택된 이미지 및 전자 장치(100)가 제공하는 이미지 중 적어도 하나이며, 사용자에 의해 촬영되는 이미지가 목표하는 타겟 이미지일 수 있다.
전자 장치(100)는 기준 이미지로부터 3D 좌표를 획득하여 3D 좌표 정보를 저장할 수 있다(S1020). 여기서, 기준 3D 좌표 정보는, 기준 이미지에 포함된 얼굴 영역에 대응되는 3D 좌표 정보이다. 다만, 전자 장치(100)는 기준 이미지를 별도로 저장하지 않고 기준 이미지로부터 획득된 기준 3D 좌표 정보만을 저장할 수도 있다.
전자 장치(100)는 사용자의 얼굴 영역을 포함하는 이미지를 촬영할 수 있다(S1030). 전자 장치(100)는 촬영되는 이미지로부터 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득할 수 있다. 여기서, 촬영되는 이미지는, 사용자의 얼굴 영역을 확인할 수 있는 프리뷰(preview) 상태의 이미지일 수 있다. 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득하는 다양한 실시 예에 대해서는 전술한 바 있으므로 자세한 설명은 생략한다.
전자 장치(100)는 두 3D 좌표의 차이를 식별할 수 있다(S1050). 구체적으로, 전자 장치(100)는 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 3D 좌표 및 저장된 기준 3D 좌표 정보의 차이에 기초하여 카메라(110)의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득할 수 있다.
여기서, 위치 조정 정보는, 획득된 3D 좌표 및 기준 3D 좌표 정보의 차이에 따라 카메라(110)가 이동되어야 할 이동 거리, 이동 방향, 회전 방향 및 회전 정도에 관한 정보를 포함할 수 있다. 위치 조정 정보는, 획득된 3D 좌표 및 기준 3D 좌표 정보의 차이에 대응되는 3D 좌표 정보일 수 있다.
전자 장치(100)는 획득된 위치 조정 정보에 기초하여 카메라(110)의 촬영 위치를 조정하기 위한 가이드 GUI를 제공할 수 있다(S1070). 여기서, 가이드 GUI는, 카메라(110)의 이동 거리, 카메라(110)의 이동 방향, 카메라(110)의 회전 방향 및 카메라(110)의 회전 정도 중 적어도 하나를 포함하는 표식(sign)일 수 있다. 예를 들어, 가이드 GUI는 이동 방향 및 화전 방향을 표시하기 위해 방향을 표시하는 화살표 모양의 표식으로 제공될 수 있다. 또한, 가이드 GUI는 회전 방향을 나타내기 위해 시계 방향 또는 반 시계 방향을 표시하는 화살표 모양의 표식으로 제공될 수 있다. 가이드 GUI는, XYZ 축 상에 표시될 수도 있다.
카메라(110)의 촬영 위치가 사용자 조작에 기초하여 조정될 수 있다(S1080). 이와 같이 카메라(110)의 촬영 위치가 변함에 따라 촬영되는 프리뷰 상태의 이미지가 변경될 수 있다.
카메라(110)의 촬영 위치가 가이드 GUI가 나타내는 타겟 위치로 조정되면, 전자 장치(100)는 자동으로 촬영을 수행할 수 있다.
도 11은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
전자 장치(100)는, 카메라(110)를 통해 촬영되는 이미지에 포함된 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득할 수 있다(S1110).
본 개시의 일 실시 예에 따르면, 전자 장치(100)는 사용자의 얼굴 영역에서 복수의 특징점을 식별하고, 특징점 간 거리 정보를 픽셀 수에 기초하여 산출하고, 산출된 거리 정보에 기초하여 3D 좌표를 획득할 수 있다. 여기서, 특징점은 사용자의 눈, 코 및 입 중 적어도 하나일 수 있다.
본 개시의 다른 실시 예에 따르면, 전자 장치(100)는 촬영되는 이미지에 포함된 외부 장치로부터 외부 장치의 위치 정보가 수신되면, 수신된 위치 정보에 기초하여 전자 장치 및 외부 장치 간 제1 거리 정보를 획득하고, 촬영되는 이미지에 외부 장치 및 사용자의 얼굴 영역에 포함된 적어도 하나의 특징점 간 제2 거리 정보를 획득하고, 제1 거리 정보 및 제2 거리 정보에 기초하여 3D 좌표를 획득할 수 있다. 여기서, 외부 장치는 전자 장치(100)와의 거리를 산출할 수 있는 센서를 구비하는 장치일 수 있다. 위치 정보는 전자 장치(100) 및 외부 장치 간 거리, 각도 중 적어도 하나를 포함하는 정보일 수 있다. 센서는 IR 센서, 가속도 센서, 각속도 센서, 자이로 센서, 홀센서, 초음파 센서 등으로 구현될 수 있다.
본 개시의 또 다른 실시 예에 따르면, 전자 장치(100)는 외부 전자 장치로부터 전자 장치(100)를 포함하는 이미지가 수신되면, 수신된 이미지로부터 획득된 전자 장치(100)의 크기 및 기 저장된 전자 장치(100)의 실제 크기를 비교하여 3D 좌표를 획득할 수 있다. 여기서, 외부 전자 장치는 카메라를 포함하는 AR(Augmented Reality) 글래스로 구현될 수 있다. 또한, 크기는, 전자 장치(100)의 가로 길이, 세로 길이 및 두께 등을 포함하는 정보일 수 있다.
전자 장치(100)는 외부 전자 장치로부터 수신된 이미지로부터 산출된 전자 장치(100)의 크기 및 전자 장치(100)의 실제 크기를 비교하여 전자 장치(100) 및 사용자 얼굴 영역 간 거리를 산출할 수 있다. 전자 장치(100)는 수신된 이미지로부터 픽셀 수에 기초하여 전자 장치(100)의 크기를 산출할 수 있다.
전자 장치(100)는 획득된 3D 좌표 및 기준 3D 좌표 정보의 차이에 기초하여 카메라(110)의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득할 수 있다(S1120). 여기서, 카메라(110)의 촬영 위치는, 사용자의 얼굴 영역과 카메라(11) 간 촬영 거리, 촬영 방향 및 촬영 각도 중 적어도 하나를 포함할 수 있다.
전자 장치(100)는 획득된 위치 조정 정보에 기초하여 카메라(110)의 촬영 위치를 조정하기 위한 가이드 GUI를 제공할 수 있다(S1130). 여기서, 가이드 GUI는, 카메라(110)의 이동 거리, 카메라(110)의 이동 방향, 카메라(110)의 회전 방향 및 카메라(110)의 회전 정도 중 적어도 하나를 포함할 수 있다.
본 개시의 다른 실시 예에 따르면, 전자 장치(100)는 촬영되는 이미지에 포함된 사용자의 얼굴 영역에 대응되는 3D 좌표 및 기준 3D 좌표 정보의 차이에 기초하여 사용자의 얼굴 영역을 이동시키기 위한 정보를 획득하고, 획득된 정보에 기초하여 사용자의 얼굴 영역의 이동을 위한 가이드 GUI를 제공할 수 있다.
또 다른 실시 예에 따르면, 전자 장치(100)는 카메라(110)의 촬영 위치 조정을 위한 가이드 또는 사용자의 얼굴 영역의 이동을 위한 가이드를 음성으로 제공할 수도 있다. 예를 들어, 전자 장치(100)는 획득된 위치 조정 정보 또는 사용자의 얼굴 영역을 이동시키기 위한 정보에 기초하여 "카메라를 우측으로 10cm 이동하세요" 또는 "얼굴을 좌측으로 15도 기울여주세요"와 같은 음성을 스피커를 통해 제공할 수 있다.
각 단계의 상세 동작에 대해서는 상술한 바 있으므로 자세한 설명은 생략하도록 한다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들 중 적어도 일부 구성은 기존 전자 장치에 설치 가능하며, OS 상에서 사용자가 직접 사용하게 되는 소프트웨어인 어플리케이션 형태로 구현될 수 있다. 어플리케이션은 전자 장치(100) 화면 상에서 아이콘 인터페이스 형태로 제공될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들 중 적어도 일부 구성은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들 중 적어도 일부 구성은 전자 장치 에 구비된 임베디드 서버, 또는 전자 장치의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.
전자 장치의 프로세서에 의해 실행되는 경우, 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체의 동작은, 카메라를 통해 촬영되는 이미지에 포함된 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득하는 동작, 획득된 3D 좌표 및 기준 3D 좌표 정보의 차이에 기초하여 카메라의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득하는 동작 및 획득된 위치 조정 정보에 기초하여 카메라의 촬영 위치를 조정하기 위한 가이드 GUI(Graphic User Interface)를 제공하는 동작을 포함할 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
한편, 전자 장치는 상술한 다른 식별 명칭을 획득하는 동작을 Convolutional Neural Network 또는 Recurrent Neural Network에 기초하여 수행할 수도 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치 110: 카메라
120: 저장부 130: 디스플레이
140: 프로세서 150: 통신부
160: 스피커 170: 마이크

Claims (20)

  1. 카메라;
    저장부;
    디스플레이; 및
    상기 카메라를 통해 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 3D(Three Dimensional) 좌표를 획득하고,
    상기 획득된 3D 좌표 및 상기 저장부에 저장된 기준 3D 좌표 정보의 차이에 기초하여 상기 카메라의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득하고,
    상기 획득된 위치 조정 정보에 기초하여 상기 카메라의 촬영 위치를 조정하기 위한 가이드 GUI(Graphic User Interface)를 제공하도록 상기 디스플레이를 제어하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 3D 좌표 및 상기 저장부에 저장된 기준 3D 좌표 정보의 차이에 기초하여 상기 사용자의 얼굴 영역을 이동시키기 위한 정보를 획득하고,
    상기 획득된 정보에 기초하여 상기 사용자의 얼굴 영역의 이동을 위한 가이드 GUI를 제공하도록 상기 디스플레이를 제어하는, 전자 장치.
  3. 제1항에 있어서,
    상기 카메라의 촬영 위치는,
    상기 사용자의 얼굴 영역과 상기 카메라 간 촬영 거리, 촬영 방향 및 촬영 각도 중 적어도 하나를 포함하는, 전자 장치.
  4. 제1항에 있어서,
    상기 가이드 GUI는,
    상기 카메라의 이동 거리, 상기 카메라의 이동 방향, 상기 카메라의 회전 방향 및 상기 카메라의 회전 정도 중 적어도 하나를 포함하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자의 얼굴 영역에서 복수의 특징점을 식별하고, 상기 특징점 간 거리 정보를 픽셀 수에 기초하여 산출하고, 상기 산출된 거리 정보에 기초하여 상기 3D 좌표를 획득하는, 전자 장치.
  6. 제1항에 있어서,
    통신부;를 더 포함하고,
    상기 프로세서는,
    상기 통신부를 통해 상기 촬영되는 이미지에 포함되는 외부 장치로부터 상기 외부 장치의 위치 정보가 수신되면, 상기 수신된 위치 정보에 기초하여 상기 전자 장치 및 상기 외부 장치 간 제1 거리 정보를 획득하고,
    상기 촬영되는 이미지에 상기 외부 장치 및 상기 사용자의 얼굴 영역에 포함되는 적어도 하나의 특징점 간 제2 거리 정보를 획득하고,
    상기 제1 거리 정보 및 제2 거리 정보에 기초하여 상기 3D 좌표를 획득하는, 전자 장치.
  7. 제1항에 있어서,
    통신부;를 더 포함하고,
    상기 프로세서는,
    상기 통신부를 통해 외부 전자 장치로부터 상기 전자 장치를 포함하는 이미지가 수신되면, 상기 수신된 이미지로부터 획득된 상기 전자 장치의 크기 및 상기 저장부에 저장된 전자 장치의 실제 크기를 비교하여 상기 3D 좌표를 획득하는, 전자 장치.
  8. 제7항에 있어서,
    상기 외부 전자 장치는,
    카메라를 포함하는 AR(Augmented Reality) 글래스인, 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 3D 좌표에 기초하여 상기 촬영 이미지에 포함되는 사용자 이미지에 부가될 스티커의 크기, 방향 및 형상 중 적어도 하나를 조정하여 디스플레이하도록 상기 디스플레이를 제어하는, 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 카메라의 촬영 위치가 타겟 위치로 조정되면, 자동으로 촬영을 수행하는, 전자 장치.
  11. 기준 3D 좌표 정보가 저장된 전자 장치의 제어 방법에 있어서,
    카메라를 통해 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득하는 단계;
    상기 획득된 3D 좌표 및 상기 기준 3D 좌표 정보의 차이에 기초하여 상기 카메라의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득하는 단계; 및
    상기 획득된 위치 조정 정보에 기초하여 상기 카메라의 촬영 위치를 조정하기 위한 가이드 GUI(Graphic User Interface)를 제공하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 획득된 3D 좌표 및 상기 기준 3D 좌표 정보의 차이에 기초하여 상기 사용자의 얼굴 영역을 이동시키기 위한 정보를 획득하는 단계; 및
    상기 획득된 정보에 기초하여 상기 사용자의 얼굴 영역의 이동을 위한 가이드 GUI를 제공하는 단계;를 더 포함하는, 제어 방법.
  13. 제11항에 있어서,
    상기 카메라의 촬영 위치는,
    상기 사용자의 얼굴 영역과 상기 카메라 간 촬영 거리, 촬영 방향 및 촬영 각도 중 적어도 하나를 포함하는, 제어 방법.
  14. 제11항에 있어서,
    상기 가이드 GUI는,
    상기 카메라의 이동 거리, 상기 카메라의 이동 방향, 상기 카메라의 회전 방향 및 상기 카메라의 회전 정도 중 적어도 하나를 포함하는, 제어 방법.
  15. 제11항에 있어서,
    상기 3D 좌표를 획득하는 단계는,
    상기 사용자의 얼굴 영역에서 복수의 특징점을 식별하고, 상기 특징점 간 거리 정보를 픽셀 수에 기초하여 산출하고, 상기 산출된 거리 정보에 기초하여 상기 3D 좌표를 획득하는, 제어 방법.
  16. 제11항에 있어서,
    상기 3D 좌표를 획득하는 단계는,
    상기 촬영되는 이미지에 포함되는 외부 장치로부터 상기 외부 장치의 위치 정보가 수신되면, 상기 수신된 위치 정보에 기초하여 상기 전자 장치 및 상기 외부 장치 간 제1 거리 정보를 획득하고,
    상기 촬영되는 이미지에 상기 외부 장치 및 상기 사용자의 얼굴 영역에 포함되는 적어도 하나의 특징점 간 제2 거리 정보를 획득하고,
    상기 제1 거리 정보 및 제2 거리 정보에 기초하여 상기 3D 좌표를 획득하는, 제어 방법.
  17. 제11항에 있어서,
    상기 3D 좌표를 획득하는 단계는,
    외부 전자 장치로부터 상기 전자 장치를 포함하는 이미지가 수신되면, 상기 수신된 이미지로부터 획득된 상기 전자 장치의 크기 및 기 저장된 전자 장치의 실제 크기를 비교하여 상기 3D 좌표를 획득하는, 제어 방법.
  18. 제17항에 있어서,
    상기 외부 전자 장치는,
    카메라를 포함하는 AR(Augmented Reality) 글래스인, 제어 방법.
  19. 제11항에 있어서,
    상기 획득된 3D 좌표에 기초하여 상기 촬영 이미지에 포함되는 사용자 이미지에 부가될 스티커의 크기, 방향 및 형상 중 적어도 하나를 조정하여 디스플레이하는 단계;를 더 포함하는, 제어 방법.
  20. 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은,
    카메라를 통해 촬영되는 이미지에 포함되는 사용자의 얼굴 영역에 대응되는 3D 좌표를 획득하는 단계;
    상기 획득된 3D 좌표 및 기저장된 기준 3D 좌표 정보의 차이에 기초하여 상기 카메라의 촬영 위치를 조정하기 위한 위치 조정 정보를 획득하는 단계; 및
    상기 획득된 위치 조정 정보에 기초하여 상기 카메라의 촬영 위치를 조정하기 위한 가이드 GUI(Graphic User Interface)를 제공하는 단계;를 포함하는 비일시적 컴퓨터 판독 가능 매체.
KR1020180095881A 2018-08-17 2018-08-17 전자 장치 및 그 제어 방법 KR102537784B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180095881A KR102537784B1 (ko) 2018-08-17 2018-08-17 전자 장치 및 그 제어 방법
US16/294,530 US10986265B2 (en) 2018-08-17 2019-03-06 Electronic device and control method thereof
CN201980042105.4A CN112334869B (zh) 2018-08-17 2019-07-31 电子设备及其控制方法
EP19849994.9A EP3785103A4 (en) 2018-08-17 2019-07-31 ELECTRONIC DEVICE AND CORRESPONDING CONTROL PROCEDURE
PCT/KR2019/009506 WO2020036343A1 (en) 2018-08-17 2019-07-31 Electronic device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180095881A KR102537784B1 (ko) 2018-08-17 2018-08-17 전자 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20200020319A true KR20200020319A (ko) 2020-02-26
KR102537784B1 KR102537784B1 (ko) 2023-05-30

Family

ID=69523606

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180095881A KR102537784B1 (ko) 2018-08-17 2018-08-17 전자 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US10986265B2 (ko)
EP (1) EP3785103A4 (ko)
KR (1) KR102537784B1 (ko)
CN (1) CN112334869B (ko)
WO (1) WO2020036343A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114300A1 (ko) * 2020-11-27 2022-06-02 변주영 전자장치 및 라이다 센서를 이용한 전자장치 제어 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679446B (zh) * 2017-08-17 2019-03-15 平安科技（深圳）有限公司 人脸姿态检测方法、装置及存储介质
JP6881188B2 (ja) * 2017-09-27 2021-06-02 オムロン株式会社 位置検出装置およびプログラム
JP7378934B2 (ja) * 2019-01-29 2023-11-14 キヤノン株式会社 情報処理装置、情報処理方法及びシステム
US11308618B2 (en) 2019-04-14 2022-04-19 Holovisions LLC Healthy-Selfie(TM): a portable phone-moving device for telemedicine imaging using a mobile phone
US12014500B2 (en) 2019-04-14 2024-06-18 Holovisions LLC Healthy-Selfie(TM): methods for remote medical imaging using a conventional smart phone or augmented reality eyewear
CN110428390B (zh) * 2019-07-18 2022-08-26 北京达佳互联信息技术有限公司 一种素材展示方法、装置、电子设备和存储介质
US11595632B2 (en) * 2019-12-20 2023-02-28 Samsara Networks Inc. Camera configuration system
CN113542575A (zh) * 2020-04-15 2021-10-22 荣耀终端有限公司 设备位姿调整方法和图像拍摄方法及电子设备
EP4137930A4 (en) * 2020-05-13 2023-10-18 Huawei Technologies Co., Ltd. IMAGE DISPLAY METHOD AND DEVICE, TERMINAL DEVICE, STORAGE MEDIUM AND PROGRAM PRODUCT
CN111914693A (zh) * 2020-07-16 2020-11-10 上海云从企业发展有限公司 一种人脸姿态调整方法、系统、装置、设备及介质
KR20230124703A (ko) 2020-12-29 2023-08-25 스냅 인코포레이티드 증강 현실 컴포넌트들을 위한 신체 ui
US11500454B2 (en) * 2020-12-29 2022-11-15 Snap Inc. Body UI for augmented reality components
US11509819B2 (en) * 2021-01-19 2022-11-22 Adobe Inc. Providing contextual augmented reality photo pose guidance
CN113010020A (zh) * 2021-05-25 2021-06-22 北京芯海视界三维科技有限公司 一种时序控制器和显示设备
CN114355627B (zh) * 2022-01-05 2023-06-30 北京蜂巢世纪科技有限公司 一种镜腿长度调整方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150172531A1 (en) * 2013-12-12 2015-06-18 Canon Kabushiki Kaisha Image capturing apparatus, communication apparatus, and control method therefor
US20160134803A1 (en) * 2014-11-07 2016-05-12 Intel Corporation Production of face images having preferred perspective angles
US20160148384A1 (en) * 2014-11-21 2016-05-26 iProov Real-time Visual Feedback for User Positioning with Respect to a Camera and a Display
US20180176459A1 (en) * 2015-06-11 2018-06-21 Samsung Electronics Co., Ltd. Method and device for changing focal point of camera

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535223B1 (en) * 2000-05-31 2003-03-18 Schmidt Laboratories, Inc. Method and system for determining pupiltary distant and element height
JP4587166B2 (ja) * 2004-09-14 2010-11-24 キヤノン株式会社 移動体追跡システム、撮影装置及び撮影方法
US10109315B2 (en) * 2005-03-01 2018-10-23 Eyesmatch Ltd Devices, systems and methods for auto-delay video presentation
KR100700872B1 (ko) 2006-02-07 2007-03-29 엘지전자 주식회사 이동 통신 단말기의 3차원 개인 캐릭터 표정 표시 방법 및이를 위한 이동 통신 단말기
KR20080021441A (ko) 2006-09-04 2008-03-07 엘지전자 주식회사 이동 단말기의 촬영 장치 및 방법
KR101477182B1 (ko) 2007-06-01 2014-12-29 삼성전자주식회사 단말 및 그의 이미지 촬영 방법
JP2009055449A (ja) 2007-08-28 2009-03-12 Fujifilm Corp 撮影装置
KR100840023B1 (ko) 2007-11-13 2008-06-20 (주)올라웍스 셀프 촬영 시 얼굴의 구도를 잡도록 도와주는 방법 및시스템
US10096161B2 (en) * 2010-06-15 2018-10-09 Live Nation Entertainment, Inc. Generating augmented reality images using sensor and location data
US8908008B2 (en) * 2010-07-16 2014-12-09 Hewlett-Packard Development Company, L.P. Methods and systems for establishing eye contact and accurate gaze in remote collaboration
KR101740231B1 (ko) * 2010-11-17 2017-05-26 삼성전자주식회사 3차원 얼굴 위치 추정 방법 및 장치
KR20120103363A (ko) * 2011-03-11 2012-09-19 에스케이플래닛 주식회사 가상 헤어 스타일링 서비스 시스템과 방법 및 이를 지원하는 단말기
JP2012239566A (ja) 2011-05-18 2012-12-10 Nikon Corp 眼鏡用測定装置及び三次元測定装置
KR20130008334A (ko) * 2011-07-12 2013-01-22 삼성전자주식회사 입체 영상 표시 제어를 위한 주시각 제어 방법 및 이를 지원하는 단말기
KR101832959B1 (ko) * 2011-08-10 2018-02-28 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
KR101874494B1 (ko) * 2011-11-25 2018-07-06 삼성전자주식회사 특징점의 삼차원 위치 계산 장치 및 방법
US9530232B2 (en) * 2012-09-04 2016-12-27 Qualcomm Incorporated Augmented reality surface segmentation
US9106821B1 (en) 2013-03-13 2015-08-11 Amazon Technologies, Inc. Cues for capturing images
CN103197491B (zh) * 2013-03-28 2016-03-30 华为技术有限公司 快速自动聚焦的方法和图像采集装置
TWI494680B (zh) * 2014-01-28 2015-08-01 Altek Semiconductor Corp 影像擷取裝置及其影像形變校正方法
WO2015137645A1 (ko) * 2014-03-13 2015-09-17 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10430985B2 (en) * 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US10073493B2 (en) * 2014-03-19 2018-09-11 Sony Corporation Device and method for controlling a display panel
US20150277686A1 (en) * 2014-03-25 2015-10-01 ScStan, LLC Systems and Methods for the Real-Time Modification of Videos and Images Within a Social Network Format
US9537934B2 (en) * 2014-04-03 2017-01-03 Facebook, Inc. Systems and methods for interactive media content exchange
KR20150121284A (ko) 2014-04-17 2015-10-29 한국지질자원연구원 안경 착탈식 거리 및 방위 측정장치
US20190333161A1 (en) * 2014-07-08 2019-10-31 Google Inc. Recommending actions for photos
US20160091139A1 (en) * 2014-09-26 2016-03-31 The Cellfie, LLC Selfie device holder
US9817248B2 (en) * 2014-12-23 2017-11-14 Multimedia Image Solution Limited Method of virtually trying on eyeglasses
CN105774679B (zh) * 2014-12-25 2019-01-29 比亚迪股份有限公司 一种汽车、车载抬头显示系统及其投影图像高度调节方法
WO2016111561A1 (en) * 2015-01-07 2016-07-14 Samsung Electronics Co., Ltd. Display device and operating method thereof
US20170078585A1 (en) 2015-09-14 2017-03-16 Melinda Wells Process and system in which the user can enhance their selfie photos before they are taken
KR101619838B1 (ko) * 2015-12-09 2016-05-13 공간정보기술 주식회사 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템
CN105592418A (zh) * 2015-12-23 2016-05-18 周岩 一种AR眼镜通过WIFI和G-sensor的室内精确定位方法
US20170192651A1 (en) * 2015-12-30 2017-07-06 Facebook, Inc. Editing photos over an online social network
CN107102540A (zh) * 2016-02-23 2017-08-29 芋头科技（杭州）有限公司 一种唤醒智能机器人的方法及智能机器人
US9933855B2 (en) * 2016-03-31 2018-04-03 Intel Corporation Augmented reality in a field of view including a reflection
EP3349178A1 (de) * 2017-01-17 2018-07-18 Zechner, Stefan Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers
JP6963820B2 (ja) * 2016-08-12 2021-11-10 国立大学法人静岡大学 視線検出装置
US10743131B2 (en) * 2016-09-06 2020-08-11 Flying Eye Reality, Inc. Social media systems and methods and mobile devices therefor
KR102584981B1 (ko) * 2016-09-13 2023-10-05 삼성전자주식회사 포스 입력에 따른 화면 출력 방법 및 이를 지원하는 전자 장치
KR20180035434A (ko) * 2016-09-29 2018-04-06 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US20180137660A1 (en) * 2016-11-11 2018-05-17 Microsoft Technology Licensing, Llc Responsive customized digital stickers
JP6699898B2 (ja) * 2016-11-11 2020-05-27 株式会社東芝 処理装置、撮像装置、及び自動制御システム
US20180158246A1 (en) * 2016-12-07 2018-06-07 Intel IP Corporation Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays
US10203855B2 (en) * 2016-12-09 2019-02-12 Snap Inc. Customized user-controlled media overlays
US20180183738A1 (en) * 2016-12-22 2018-06-28 Tevian Parnell Online social media interaction system
KR102316327B1 (ko) * 2017-04-04 2021-10-22 엘지전자 주식회사 가상 공간의 캡쳐 방법 및 그 전자장치
US20180300917A1 (en) * 2017-04-14 2018-10-18 Facebook, Inc. Discovering augmented reality elements in a camera viewfinder display
KR101987749B1 (ko) 2017-04-21 2019-06-11 에스케이플래닛 주식회사 가상 헤어 스타일링 서비스 방법 및 이를 지원하는 단말기
US10469819B2 (en) * 2017-08-17 2019-11-05 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd Augmented reality display method based on a transparent display device and augmented reality display device
US10867161B2 (en) * 2017-09-06 2020-12-15 Pixart Imaging Inc. Auxiliary filtering device for face recognition and starting method for electronic device
US10645272B2 (en) * 2017-12-04 2020-05-05 Qualcomm Incorporated Camera zoom level and image frame capture control
US10594925B2 (en) * 2017-12-04 2020-03-17 Qualcomm Incorporated Camera zoom level and image frame capture control
CN108230438B (zh) * 2017-12-28 2020-06-19 清华大学 声音驱动辅助侧脸图像的人脸重建方法及装置
CN108169842B (zh) * 2018-01-02 2020-06-26 京东方科技集团股份有限公司 用于智能显示穿戴设备的波导组件及智能显示穿戴设备
CN108287609B (zh) * 2018-01-26 2021-05-11 成都科木信息技术有限公司 用于ar眼镜的图像绘制方法
US10706577B2 (en) * 2018-03-06 2020-07-07 Fotonation Limited Facial features tracker with advanced training for natural rendering of human faces in real-time
US10320962B1 (en) * 2018-04-20 2019-06-11 Zte Corporation Dual screen smartphone and portable devices with a full display screen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150172531A1 (en) * 2013-12-12 2015-06-18 Canon Kabushiki Kaisha Image capturing apparatus, communication apparatus, and control method therefor
US20160134803A1 (en) * 2014-11-07 2016-05-12 Intel Corporation Production of face images having preferred perspective angles
US20160148384A1 (en) * 2014-11-21 2016-05-26 iProov Real-time Visual Feedback for User Positioning with Respect to a Camera and a Display
US20180176459A1 (en) * 2015-06-11 2018-06-21 Samsung Electronics Co., Ltd. Method and device for changing focal point of camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114300A1 (ko) * 2020-11-27 2022-06-02 변주영 전자장치 및 라이다 센서를 이용한 전자장치 제어 방법

Also Published As

Publication number Publication date
EP3785103A4 (en) 2021-06-09
US20200059596A1 (en) 2020-02-20
CN112334869B (zh) 2024-06-18
CN112334869A (zh) 2021-02-05
KR102537784B1 (ko) 2023-05-30
WO2020036343A1 (en) 2020-02-20
US10986265B2 (en) 2021-04-20
EP3785103A1 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
KR102537784B1 (ko) 전자 장치 및 그 제어 방법
US11886633B2 (en) Virtual object display interface between a wearable device and a mobile device
US11087728B1 (en) Computer vision and mapping for audio applications
US20210405761A1 (en) Augmented reality experiences with object manipulation
US20210407203A1 (en) Augmented reality experiences using speech and text captions
US12108011B2 (en) Marker-based guided AR experience
EP3419024B1 (en) Electronic device for providing property information of external light source for interest object
CN112789578A (zh) 用于可穿戴或移动设备上的姿势、穿戴、活动或携带检测的神经网络系统
US11563886B2 (en) Automated eyewear device sharing system
US20240211057A1 (en) Augmented reality eyewear 3d painting
US11302077B2 (en) Augmented reality guidance that generates guidance markers
US11089427B1 (en) Immersive augmented reality experiences using spatial audio
US11508130B2 (en) Augmented reality environment enhancement
US20210405363A1 (en) Augmented reality experiences using social distancing
CN114531951A (zh) 自动视频捕捉和合成系统
US11803234B2 (en) Augmented reality with eyewear triggered IoT
US20240129617A1 (en) Image capture eyewear with context-based sending
US20240144533A1 (en) Multi-modal tracking of an input device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant