KR102570009B1 - Ar 객체 생성 방법 및 전자 장치 - Google Patents

Ar 객체 생성 방법 및 전자 장치 Download PDF

Info

Publication number
KR102570009B1
KR102570009B1 KR1020190092906A KR20190092906A KR102570009B1 KR 102570009 B1 KR102570009 B1 KR 102570009B1 KR 1020190092906 A KR1020190092906 A KR 1020190092906A KR 20190092906 A KR20190092906 A KR 20190092906A KR 102570009 B1 KR102570009 B1 KR 102570009B1
Authority
KR
South Korea
Prior art keywords
electronic device
user
area
input
space
Prior art date
Application number
KR1020190092906A
Other languages
English (en)
Other versions
KR20210014892A (ko
Inventor
최대웅
김현진
김홍일
박래정
손병준
이상훈
박지윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190092906A priority Critical patent/KR102570009B1/ko
Priority to US16/934,256 priority patent/US11403848B2/en
Priority to EP20846219.2A priority patent/EP3973514A4/en
Priority to PCT/KR2020/010155 priority patent/WO2021020940A1/en
Publication of KR20210014892A publication Critical patent/KR20210014892A/ko
Application granted granted Critical
Publication of KR102570009B1 publication Critical patent/KR102570009B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명은 사용자가 AR 객체를 쉽고 다양하게 생성할 수 있도록 하여 주는 방법 및 전자 장치에 관한 것으로, 전자 장치의 동작 방법은 적어도 하나의 카메라 모듈을 이용하여 프리뷰 영상을 획득하는 동작, 상기 프리뷰 영상에서 객체영역 및/또는 공간영역을 설정하는 동작, 사용자의 AR 객체 입력에 대응하여 객체기반 드로잉을 적용할 것인지 공간기반 드로잉을 적용할 것인지를 결정하는 동작 및 상기 결정에 기초하여, 상기 사용자의 AR 객체 입력에 대해 객체기반 드로잉 또는 공간기반 드로잉을 적용하는 동작을 포함할 수 있으며, 이로 인하여 공간 기반 드로잉 및 객체 기반 드로잉을 함께 제공하고, 드로잉 방법에 따라 다른 추적 방법을 제공함으로써 향상된 증강현실 몰입감과 효과적인 AR 드로잉 방법을 제공할 수 있다.

Description

AR 객체 생성 방법 및 전자 장치 {ELECTRONIC DEVICE AND METHOD FOR GENERATING ARGUMENT REALITY OBJECT}
다양한 실시 예는 사용자가 AR 객체를 쉽고 다양하게 생성할 수 있도록 하여 주는 방법 및 전자 장치에 관한 것이다.
사용자가 사용하는 통신 단말이 급속도로 진화하면서 음성 통화 이외에도 사용자에게 즐거움을 줄 수 있는 다양한 기능들이 탑재되어 가고 있다. 그 중에서도 카메라를 이용한 단순 이미지 촬영에 머무르지 않고, 촬영된 이미지에 스티커, 도형, 텍스트 등과 같은 사용자가 원하는 재미 요소를 결합시킬 수 있도록 함으로써 좀 더 사용자 경험 만족도를 높여 주는 기능들도 포함되어 있다. 이러한 기능은 단순 2D에 머무르지 않고, 증강 현실(argument reality, AR) 개념이 도입되어 3D 객체가 촬영되는 이미지 또는 영상에 삽입될 수 있도록 하고 있다.
AR 개념이 도입된 사용자 경험 만족도를 높이기 위한 다양한 기능의 개발되고 있다.
종래에도 AR 스티커를 촬영된 이미지나 영상에 삽입할 수 있었으나, 이는 미리 생성해 놓은 스티커만을 사용할 수 있고, 스티커의 변형 혹은 생성없이 정해진 스티커와 효과만을 사용할 수 있어 쉽게 지루해질 수 있었다. 또한, 사용자가 원하는 스티커가 존재하지 않아 사용자의 경험 만족도를 높이는 데 한계가 있었다.
따라서, 본 발명의 다양한 실시 예는 사용자가 직접 AR 객체를 이미지 또는 프리뷰 영상에 삽입할 수 있는 방법 및 전자 장치를 제공할 수 있다.
또한, 본 발명의 다양한 실시 예는, 객체영역과 공간영역을 구분하여, 객체에 고정되어 위치함으로써 객체와 함께 움직일 수 있는 AR 객체와, 공간영역의 특정 좌표에 고정되어 전자 장치의 움직임에 따라 변경될 수 있는 AR 객체를 생성하는 방법 및 전자 장치를 제공할 수 있다.
또한, 본 발명의 다양한 실시 예는, 6자유도를 기반으로 공간 정보를 생성하고, 프리뷰상의 복수의 객체들을 개별 추적하여 공간과 객체 간의 드로잉(drawing) 영역을 실시간으로 개별 활성화시켜 AR 객체를 드로잉할 수 있는 방법 및 전자 장치를 제공할 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 프리뷰 영상을 획득하는 적어도 하나의 카메라 모듈, 상기 프리뷰 영상을 표시하고, 사용자 입력을 획득하기 위한 터치 회로를 구비한 표시 장치, 상기 전자 장치의 움직임을 검출하는 6자유도 검출 모듈, 상기 적어도 하나의 카메라 모듈, 상기 표시 장치 및 상기 6자유도 검출 모듈과 작동적으로 연결되는 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서와 작동적으로 연결되는 적어도 하나의 메모리를 포함하고, 상기 적어도 하나의 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가, 상기 적어도 하나의 카메라 모듈을 제어하여 프리뷰 영상을 획득하고, 상기 프리뷰 영상에서 객체영역 및/또는 공간영역을 설정하고, 상기 프리뷰 영상을 상기 표시 장치에 표시하고, 상기 표시 장치의 상기 터치 회로에 기반하여 사용자의 입력을 획득하고, 사용자의 입력에 대응하여 객체기반 드로잉을 적용할 것인지 공간기반 드로잉을 적용할 것인지를 결정하고, 상기 결정에 기초하여, 상기 사용자의 입력에 대해 객체기반 드로잉 또는 공간기반 드로잉을 적용하도록 하는 인스트럭션들을 저장할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치의 동작 방법은 적어도 하나의 카메라 모듈을 이용하여 프리뷰 영상을 획득하는 동작, 상기 프리뷰 영상에서 객체영역 및/또는 공간영역을 설정하는 동작, 상기 프리뷰 영상을 표시 장치에 표시하는 동작, 상기 표시 장치를 이용한 사용자의 입력에 대응하여 객체기반 드로잉을 적용할 것인지 공간기반 드로잉을 적용할 것인지를 결정하는 동작 및 상기 결정에 기초하여, 상기 사용자의 AR 객체 입력에 대해 객체기반 드로잉 또는 공간기반 드로잉을 적용하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 전자 장치는 공간 기반 드로잉 및 객체 기반 드로잉을 함께 제공하고, 드로잉 방법에 따라 다른 추적 방법을 제공함으로써 향상된 증강현실 몰입감과 효과적인 AR 드로잉 방법을 제공할 수 있다.
또한, 다양한 실시 예들에 따르면, 복수 개의 객체에 대해 개별 객체 별로의 드로잉과 추적에 따른 효과를 제공함으로써 사용자에게 향상된 몰입감과 재미 요소를 제공할 수 있다.
다양한 실시 예들에 기초하여 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은, 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시 예에 따른 전자 장치의 구성을 도시한 도면이다.
도 3은 다양한 실시 예에 따른 6 자유도를 도시한 도면이다.
도 4a 및 도 4b는 다양한 실시 예에 따른 6 자유도에 기초하여 화면에 표시되는 AR 객체가 변화하는 예를 도시한 도면이다.
도 5는 다양한 실시 예에 따른 6 자유도에 기초하여 표시 장치에 삽입될 AR 객체의 위치가 결정되는 예를 도시한 도면이다.
도 6은 다양한 실시 예에 따른 적어도 하나의 프로세서(210)가 수행하는 기능 블록도이다.
도 7은 다양한 실시 예에 따른 객체영역을 설정한 예들을 도시한 도면이다.
도 8a는 다양한 실시 예에 따라 사용자 입력에 따라 AR 객체를 프리뷰 영상에 삽입하는 객체기반 드로잉부의 동작을 도시한 도면이다.
도 8b는 다양한 실시 예에 따라 얼굴에 대해 사용자가 드로잉할 수 있는 복수 개의 서브영역으로 분할하여 제공하는 예를 도시한 도면이다.
도 9은 다양한 실시 예에 따라 객체 인식 및 추적부의 동작에 의해 AR 객체가 표시되는 것을 도시한 도면이다.
도 10은 다양한 실시 예에 따라 객체기반 드로잉 또는 공간기반 드로잉에 의해 AR 객체를 생성하는 예를 도시한 도면이다.
도 11은 다양한 실시 예들에 따른 전자 장치에서 AR 객체를 생성하는 동작의 흐름도이다.
도 12는 다양한 실시 예들에 따른 전자 장치에서 객체영역 및 공간영역을 설정하는 동작을 도시한 흐름도이다.
도 13은 다양한 실시 예들에 따른 전자 장치에서 객체를 검출하는 동작을 도시한 흐름도이다.
도 14은 다양한 실시 예들에 따른 전자 장치에서 객체영역을 설정하는 동작을 도시한 흐름도이다.
도 15는 다양한 실시 예들에 따른 전자 장치에서 객체기반 드로잉 동작을 도시한 흐름도이다.
도 16는 다양한 실시 예들에 따른 전자 장치에서 객체기반 드로잉된 AR 객체를 표시하는 동작을 도시한 흐름도이다.
도 17는 다양한 실시 예들에 따른 전자 장치에서 공간기반 드로잉 동작을 도시한 흐름도이다.
도 18은 다양한 실시 예들에 따른 전자 장치에서 공간기반 드로잉된 AR 객체를 표시하는 동작을 도시한 흐름도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하 다양한 실시 예들이 첨부된 도면을 참고하여 상세히 설명된다.
도 1은, 다양한 실시예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)은 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150) 를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)이 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, or 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시 예에 따른 전자 장치의 구성을 도시한 도면(200)이다. 도 2는 본 발명에서 제시하는 방법을 실현하기 위하여 필요한 기능적 구성을 간략하게 도시한다.
도 2를 참조하면, 전자 장치(101)는, 적어도 하나의 프로세서(210)(예: 도 1의 프로세서(120)), 카메라 모듈(220)(예: 도 1의 카메라 모듈(180)), 6자유도 검출 모듈(230)(예: 도 1의 센서 모듈(176)), 메모리(240)(예: 도 1의 메모리(130)) 및/또는 표시 장치(250)(예: 도 1의 표시 장치(160))를 포함할 수 있다. 다만 이에 한정되지 않으며, 전자 장치(101)에는 이 구성요소들 중 적어도 하나가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다.
다양한 실시 예들에 따르면, 카메라 모듈(220)은 정지 영상 및/또는 동영상을 촬영할 수 있다. 일 실시 예에 따라, 카메라 모듈(220)은 하나 이상의 렌즈, 하나 이상의 이미지 센서, 하나 이상의 이미지 시그널 프로세서, 또는 하나 이상의 플래시를 포함할 수 있다. 일 실시 예에 따라, 카메라 모듈(220)은 전자 장치(101)의 전면에 구비되고, 주로 사용자를 포함하는 영상을 촬영하는 전면 카메라 모듈 및/또는 전자 장치(101)의 후면에 구비되고, 주로 사용자 이외의 다른 객체를 포함하는 영상을 촬영하는 후면 카메라 모듈을 포함할 수 있다. 카메라 모듈(220)은 일 실시 예에 따라 광각(wide angle) 렌즈, 초광각(ultra-wide angle) 렌즈를 채용할 수 있으며, 다른 일 실시 예에 따라 객체까지의 거리까지도 판단할 수 있는 ToF(time-of-flight) 카메라를 포함할 수 있다. ToF 카메라를 사용하는 경우, 공간 좌표계 생성의 안정성이 높아지고, 객체의 영역 추출 성능이 향상될 수 있다.
다양한 실시 예들에 따르면, 표시 장치(250)는 전자 장치(101)의 외부로 정보를 시각적으로 제공할 수 있는 장치로, 예를 들면, 디스플레이 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 표시 장치(250)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다. 상기 카메라 모듈(220)에 의해 촬영된 정지 영상 및/또는 동영상은 표시 장치(250)에 표시될 수 있다. 또한, 전자 장치(101)는 표시 장치(250)에 포함된 터치 회로 또는 센서 회로에 기초하여 사용자의 AR 객체 입력과 같은 터치 입력을 인식할 수 있다.
다양한 실시 예들에 따르면, 6 자유도 검출 모듈(230)은 전자 장치(101)의 6자유도 정보를 검출할 수 있다. 6 자유도 중 3 자유도는 위치(position) 또는 이동(movement)에 대한 정보를 나타내며 나머지 3 자유도는 자세(orientation)에 대한 정보를 나타낼 수 있다.
다양한 실시 예들에 따르면, 6 자유도 검출 모듈(230)은 자이로 센서, 가속도 센서, 관성 센서, 지자기 센서 중 적어도 하나를 포함할 수 있다.
도 3은 다양한 실시 예에 따른 6 자유도를 도시한 도면(300)이다.
도 3을 참조하면, 6 자유도 중 3 자유도는 X, Y, Z 값으로 나타낼 수 있으며, 전자 장치(101)의 위치 정보를 제공할 수 있다. 나머지 3 자유도는 X축을 중심으로 한 회전(pitch), Y축을 중심으로 한 회전(yaw), 및 Z축을 중심으로 한 회전(roll) 값으로 나타낼 수 있으며, 전자 장치(101)의 자세 정보를 제공할 수 있다.
6 자유도 검출 모듈(230)은 전자 장치(101)의 6 자유도를 검출하여 전자 장치(101)의 위치 정보 및 그에 따른 이동 정보를 검출할 수 있을 뿐만 아니라 전자 장치(101)의 자세 정보를 획득할 수 있다. 검출된 6 자유도 정보는 화면에 AR 객체를 표시하기 위한 기초가 될 수 있다.
도 4a 및 도 4b는 다양한 실시 예에 따른 6 자유도에 기초하여 전자 장치(101)의 표시 장치(160)에 표시되는 AR 객체가 변화하는 예를 도시한 도면(400, 450)이다.
도 4a는 전자 장치(101)의 위치 변화에 따라 전자 장치(101)의 표시 장치(250)에 표시되는 AR 객체의 변화 예를 도시한다.
도 4a를 참조하면, 401a에 도시된 전자 장치(101)의 위치(예: X=0, Y=0, Z=0) 및 자세(예: Roll=0, Pitch=0, Yaw=0)를 기준으로 가상의 특정 위치(예: X=0, Y=0, Z=-2)에 있는 AR 객체(420)가 전자 장치(101)의 표시 장치(250)에 도시(410a)될 수 있다.
전자 장치(101)가 움직여 401b에 도시된 새로운 위치(예: X=0, Y=0, Z=1)로 이동한 경우에, 전자 장치(101)는 가상의 특정 위치(예: X=0, Y=0, Z=-2)에 있는 AR 객체(420)에서 멀어진 것일 수 있다. 따라서, 전자 장치(101)의 표시 장치(250)에 표시되는 AR 객체(410b)는 멀어진 거리에 기반하여 그 크기가 작아질 수 있다. 전자 장치(101)가 +Z 방향으로 점차적으로 움직인다면 전자 장치(101)의 표시 장치(250)에 표시되는 AR 객체(410b)는 전자 장치(101)의 움직임에 맞추어 점차적으로 작아질 수 있다.
전자 장치(101)가 -Z 방향으로 움직여 401c에 도시된 새로운 위치(예: X=0, Y=0, Z=-1)로 이동한 경우에, 전자 장치(101)는 가상의 특정 위치(예: X=0, Y=0, Z=-2)에 있는 AR 객체(420)와 가까워진 것일 수 있다. 따라서, 전자 장치(101)의 표시 장치(250)에 표시되는 AR 객체(410c)는 가까워진 거리에 기반하여 전자 장치(101)가 401a의 기준 위치에 있을 때보다 그 크기가 커질 수 있다. 전자 장치(101)가 -Z 방향으로 점차적으로 움직인다면 전자 장치(101)의 표시 장치(250)에 표시되는 AR 객체(410c)는 전자 장치(101)의 움직임에 맞추어 점차적으로 커질 수 있다. 상술한 내용은 Z 방향으로의 전자 장치(101)의 이동에 따른 전자 장치(101)의 표시 장치(250)에 표시되는 AR 객체의 변화에 대하여 기술하고 있으며, 이러한 기술은 전자 장치(101)가 X 방향 및/또는 Y 방향으로 이동하는 경우에도 유사하게 적용될 수 있다.
도 4b는 전자 장치(101)의 자세 변화에 따라 전자 장치(101)의 표시 장치(250)에 표시되는 AR 객체의 변화 예를 도시한다.
도 4b를 참조하면, 전자 장치(101)가 430a의 위치(예: X=0, Y=0, Z=0) 및 자세(예: Roll=0, Pitch=0, Yaw=0)를 기준으로 가상의 특정 위치(예: X=0, Y=0, Z=-2)에 있는 AR 객체(420)가 전자 장치(101)의 표시 장치(250)에 도시(460a)될 수 있다.
전자 장치(101)가 자세를 변경하여 피치만이 변경된 경우에, 그에 따라 전자 장치(101)의 표시 장치(250)에 표시되는 AR 객체(460b, 460c)는 보여지는 자세가 변경되어 표시될 수 있다. 일 실시 예로 전자 장치(101)의 피치가 430b에 도시된 바와 같이 X축을 기준으로 오른쪽 방향으로 변경되는 경우, 전자 장치(101)의 표시 장치(250)에 표시되는 AR 객체(460b)가 430b에 도시된 바처럼 변경될 수 있다. 또 다른 실시 예로, 전자 장치(101)의 피치가 430c에 도시된 바와 같이 X축을 기준으로 왼쪽 방향으로 변경되는 경우, 전자 장치(101)의 표시 장치(250)에 표시되는 AR 객체(460c)는 401c에 도시된 바처럼 변경될 수 있다.
전자 장치(101)가 자세를 변경하여 요가 변경된 경우에, 그에 따라 전자 장치(101)의 표시 장치(250)에 표시되는 AR 객체(460d, 460e)는 보여지는 자세가 변경되어 표시될 수 있다. 일 실시 예로 전자 장치(101)의 요가 430d에 도시된 바와 같이 Y축을 기준으로 오른쪽 방향으로 변경되는 경우, 전자 장치(101)의 표시 장치(250)에 표시되는 AR 객체(460d)가 430d에 도시된 바처럼 변경될 수 있다. 또 다른 실시 예로, 전자 장치(101)의 요가 430e에 도시된 바와 같이 Y축을 기준으로 왼쪽 방향으로 변경되는 경우, 전자 장치(101)의 표시 장치(250)에 표시되는 AR 객체(460e)가 430e에 도시된 바처럼 변경될 수 있다.
상술한 바처럼 전자 장치(101) 내에 있는 AR 객체의 형상(크기 및 자세)은 전자 장치(101)의 위치 및/또는 자세의 움직임에 기초하여 변경될 수 있다.
다양한 실시 예에 따라, 6 자유도 검출 모듈(230)에 의해 검출된 전자 장치(101)의 6 자유도 정보는 또한, 카메라 모듈(220)로부터 획득한 프리뷰에 AR 객체가 삽입될 위치 정보 및 자세 정보의 기초가 될 수 있다.
도 5는 다양한 실시예에 따른 6 자유도에 기초하여 표시 장치(250)에 삽입될 AR 객체의 위치가 결정되는 예를 도시한 도면(500)이다.
도 5를 참조하면, 전자 장치(101)는 (a)에 도시된 특정 위치(520a)(예: X=0, Y=0, Z=0)에서 (b)에 도시된 바와 같은 사용자의 AR 객체(510a) 입력을 식별할 수 있다. 이 경우 사용자에 의해 입력되는 AR 객체(510a)는 전자 장치(101)의 현 위치를 기준으로 특정 위치(예: X==0, Y=0, Z=-1)에 위치하는 것으로 설정할 수 있다. 일 실시 예로, 전자 장치(101)의 현재 위치(520a)를 기준으로 한 월드 좌표계 상의 특정 위치(예: X==0, Y=0, Z=-1)에 사용자가 입력한 AR 객체(510a)가 위치하는 것으로 설정할 수 있다. 최초 설정 위치는 임의로 정해질 수 있다. 이후 전자 장치(101)가 제2 위치(520b)(예: X=0, Y=0, Z=1)로 이동하면, 도 4a에서 설명한 바와 같이, AR 객체(510a)는 (c)에 도시된 바와 같이 작게 표시될 수 있다. 그리고 사용자가 제2 AR 객체(510b)를 입력할 수 있다. 이때 입력되는 제2 AR 객체(510b)는 전자 장치(101))의 이동된 위치(520b)가 반영될 수 있다. 일 실시 예로, 전자 장치(101)의 현재 위치(520b) (예: X=0, Y=0, Z=1)에서 상기 최초 설정 시의 AR 객체(510a)의 위치 벡터(예: X=0, Y=0, Z=-1)를 더한 결과가 새로 입력한 제2 AR 객체(510b)의 월드 좌표계 상의 위치(예: X=0, Y=0, Z=0)가 될 수 있다.
다른 실시 예에 따라, 사용자의 입력과 함께 전자 장치(101)가 이동되는 경우에 깊이가 다른 AR 객체(510c)를 생성할 수 있다. 일 실시 예에 따라, 사용자가 전자 장치(101) 표시 장치(250)의 동일한 위치를 터치하면서 전자 장치(101)를 (a)에 도시된 제1 위치(520a)(예: X=0, Y=0, Z=0)에서 제2 위치(520b)(예: X=0, Y=0, Z=1)로 이동하는 경우, (d)에 도시된 바와 같이 제1 위치(520a)와 제2 위치(520b)를 연결하는 3D 패스 형상의 AR 객체(510c)가 생성될 수 있다. 이때 생성되는 AR 객체(510c)의 3D 패스 형상은 제1 위치((520a)에서 제2 위치(520b)로 이동하면서 변경되는 전자 장치(101)의 자세 및 궤적에 기반하여 결정될 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101)는 6 자유도 검출 모듈(230)에서 획득한 전자 장치(101)의 위치 정보 및 자세 정보를 기초로 생성되는 AR 객체의 위치 정보 및 자세 정보를 설정할 수 있다. 또한, 전자 장치(101)는 AR 객체의 설정된 위치 정보, 자세 정보, 형상 정보를 포함하는 AR 객체 정보를 생성하여 메모리(240)에 저장할 수 있다.
다양한 실시 예들에 따르면, 메모리(240)는 이후 설명할 본 발명의 동작을 실현하기 위하여 프로세서(210)가 실행할 인스트럭션들을 저장할 수 있다. 또한, 메모리(240)는 본 발명에서 생성하는 AR 객체를 저장할 수 있다. 또한, 메모리(240)는 사용자가 생성한 AR 객체들을 적용한 정지 영상 또는 동영상을 저장할 수 있다.
다양한 실시 예들에 따르면, 적어도 하나의 프로세서(210)는 사용자 입력에 기초하여 AR 객체를 생성하고, 생성한 AR 객체를 카메라 모듈에서 촬영한 정지 영상 또는 프리뷰 영상에 적용할 수 있다.
도 6은 다양한 실시 예에 따른 적어도 하나의 프로세서(210)가 수행하는 기능 블록도(600)이다.
도 6을 참조하면, 적어도 하나의 프로세서(210)는 객체검출부(610), 객체영역 설정부(620), 객체기반 드로잉부(630), 객체 인식 및 추적부(640), 공간좌표 생성부(650), 공간기반 드로잉부(660), 및 6자유도 추적 및 궤적추출부(670)의 기능을 포함할 수 있다. 다만 이에 한정되지 않으며, 적어도 하나의 프로세서(210)는 이 기능들 중 적어도 하나가 생략되거나, 하나 이상의 다른 기능이 추가될 수 있으며, 또는 몇 개의 기능이 병합될 수도 있다. 상술한 각 부는 소프트웨어로서 적어도 하나의 프로세서(210)에 의해서 실행될 수 있다.
다양한 실시 예에 따라, 객체검출부(610)는 카메라 모듈(220)에서 촬영한 프리뷰 영상에 객체가 존재하는 지를 판단하여 객체를 검출할 수 있다. 일 실시 예에 따라, 객체는 사람의 얼굴일 수 있으나 이에 한정하는 것은 아니다. 예를 들어, 객체검출부(610)는 동물, 자동차와 같은 객체를 검출할 수도 있다. 다른 일 실시 예에 따라 객체는 사용자가 드로잉(drawing)을 할 수 있는 평면 영역일 수 있다. 다른 일 실시 예에 따라, 객체는 사용자로부터 입력받은 특정 영역 또는 특정 포인트일 수 있다.
일 실시 예에 따라, 객체검출부(610)에 의하여 객체가 검출되는 경우 프로세서(120)는 객체기반 드로잉 기능을 활성화시킬 수 있다. 객체기반 드로잉 기능은 객체영역 설정부(620), 객체기반 드로잉부(630) 및 객체 인식 및 추적부(640)를 포함할 수 있다. 그리고, 객체검출부(610)에 의하여 객체가 검출되지 않은 경우 프로세서(120)는 공간기반 드로잉 기능을 활성화시킬 수 있다. 공간기반 드로잉 기능은 공간좌표 생성부(650), 공간기반 드로잉부(660), 및 6자유도 추적 및 궤적추출부(670)를 포함할 수 있다.
다른 일 실시 예에 따라, 전자 장치(101)가 공간기반 드로잉 기능을 수행할 어플리케이션 또는 프로그램(예: ARcore 또는 ARkit)을 지원할 수 없는 경우에는 객체검출부(610)에 의하여 객체가 검출됨에 상관없이 객체기반 드로잉 기능만을 활성화시킬 수 있다. 일 실시 예에 따라 전자 장치(101)가 공간기반 드로잉 기능을 수행할 어플리케이션을 지원할 수 있으나, 해당 어플리케이션이 설치되어 있지 아니한 경우에, 전자 장치(101)는 해당 어플리케이션을 다운받아 설치한 뒤, 공간기반 드로잉 기능을 활성화할 수 있다.
다른 일 실시 예에 따라, 객체검출부(610)에 의하여 객체가 검출되는 경우, 전자 장치(101)의 프로세서(210)는 객체기반 드로잉 기능과 공간기반 드로잉 기능을 모두 활성화하고, 사용자의 입력에 기초하여 객체기반 드로잉 기능을 수행하거나 또는 공간기반 드로잉 기능을 수행할 수 있다.
다양한 실시 예에 따라, 객체기반 드로잉 기능이 활성화된 경우, 객체영역 설정부(620)는 객체검출부(610)에서 검출한 적어도 하나의 객체에 기초하여 객체영역을 설정할 수 있다. 일 실시 예로, 객체검출부(610)에서 검출한 객체가 얼굴일 경우 얼굴 영역보다 약간 크게 객체영역을 설정할 수 있다. 다른 일 실시 예로, 검출한 객체가 사용자가 드로잉을 할 수 있는 평면 영역 또는 메모가 가능한 평면 영역인 경우, 검출된 평면 영역을 객체영역으로 설정할 수 있다. 다른 일 실시 예로, 객체가 사용자와의 상호 작용을 통해 입력받은 특정 영역 또는 특정 포인트인 경우, 해당 특정 영역을 객체영역으로 설정하거나, 또는 해당 특정 포인트를 중심으로 한 일정 반지름을 가진 원, 또는 해당 포인트에서 꼭지점까지의 거리가 일정할 수 있는 사각형 영역을 객체영역으로 설정할 수 있다.
일 실시 예에 따라, 전자 장치(101)는 검출된 객체의 위치, 방향, 크기에 기초하여 객체영역을 다르게 설정할 수 있다.
도 7은 다양한 실시 예에 따른 객체영역을 설정한 예들을 도시한 도면(700)이다.
도 7의 (a)는 전자 장치의 표시 장치(250) 상에 정면을 보고 있는 얼굴(730)을 객체로 검출하고, 얼굴(730) 주변에 객체영역(710a)을 표시한 일 예이다. 다양한 실시 예에 따르면, 전자 장치(101)는 표시 장치(250)에 레이어 또는 투명 윈도우를 추가해서 객체영역(710a)을 표시하거나, 객체 주변에 사각형의 박스를 도시하여 객체영역(710a)을 표시할 수 있다.
다양한 실시 예에 따르면 객체영역(710a)은 대응하는 객체의 변경에 따라 변경될 수 있다. 일 실시 예로, 도 7의 (b)에 도시된 바처럼, 검출된 얼굴(730)이 정면에서 일정 각도 돌아간다면, 검출된 얼굴(730) 주변의 객체영역(710a)도 이에 맞추어 일정 각도 돌아간 새로운 객체영역(710b)이 표시될 수 있다.
다양한 실시 예에 따르면, 도 7의 (c)에 도시된 바와 같이, 전자 장치(101)는 표시 장치(250)에 표시된 영상에 대한 3D 복원 정보를 획득하고, 3D 복원 정보에서 사용자가 드로잉 가능한 표면 정보 및/또는 평면을 검출하고, 검출된 표면 또는 평면을 포함하는 영역을 객체영역(710c)으로 설정할 수 있다.
다양한 실시 예에 따르면, 도 7의 (d)에 도시된 바와 같이, 전자 장치(101)는 표시 장치(250)에 표시된 영상에서 복수의 객체를 검출하고, 검출된 복수의 객체 각각에 대하여 대응하는 객체영역(720a, 720b, 720c, 720d)을 설정할 수 있다.
다양한 실시 예에 따라, 객체기반 드로잉부(640)는 사용자의 입력에 대응하여 객체에 기반하여 AR 객체를 드로잉할 수 있다.
다양한 실시 예에 따라, 전자 장치(101)는 설정된 객체영역(710a, 710b, 710c, 720a, 720b, 720c, 720d)을 사용자에게 보여주기 위하여 표시장치(250)에 표시할 수 있으며, 다른 실시 예에 따라, 전자 장치(101)는 설정된 객체영역(710a, 710b, 710c, 720a, 720b, 720c, 720d)을 내부적으로만 사용하고 사용자에게 보여주지 않을 수도 있다.
도 8a는 다양한 실시 예에 따라 사용자 입력에 따라 AR 객체를 프리뷰 영상에 삽입하는 객체기반 드로잉부의 동작을 도시한 도면(800)이다.
객체기반 드로잉부(640)가 실행되면, 객체기반 드로잉부(640)는 사용자가 드로잉을 하기 위한 팔레트를 표시 장치(250)를 통해 제공할 수 있고, 사용자의 입력을 대기할 수 있다. 일 실시 예로, 전자 장치(101)는 표시 장치(250)에 포함되어 있는 터치 회로를 이용하여 사용자의 입력을 감지할 수 있다. 다른 실시 예에 따라, 객체기반 드로잉부(640)는 사용자의 입력을 표시 장치(250)에 표시하기 위하여 영상이 표시되는 레이어와 다른 레이어를 제공하거나 윈도우를 제공할 수도 있다.
도 8a을 참조하면, 객체기반 드로잉부(640)는 객체영역(810)에서 시작되는 사용자의 드로잉 입력을 객체기반 AR 객체(820a, 820b, 820c) 입력으로 판단하고, 객체영역(810)의 해당 객체(811)와 연동하여 사용자가 입력한 AR 객체(820a, 820b, 820c)를 위치시킬 수 있다. 일 실시 예로 객체기반 드로잉부(640)는 객체영역(810)의 해당 객체(811)의 중심부와 사용자가 입력한 AR 객체(820a, 820b, 820c) 사이의 상대적 거리와 방향을 포함하는 객체(811)와 AR 객체(820a, 820b, 820c)의 연관 관계를 설정하여 메모리(240)에 저장하여 놓을 수 있다. 또한, 객체기반 드로잉부(640)는 객체(810)의 특징점을 추가적으로 연관시켜 메모리(240)에 저장하여 놓을 수 있다. 이처럼 객체기반 드로잉부(640)는 사용자가 드로잉한 AR 객체(820a, 820b, 820c)를 해당 객체와 연관시켜 표시할 수 있다. 추가적으로 객체기반 드로잉부(640)는 AR 객체(820a, 820b, 820c)를 해당 객체와 연관시켜 저장함으로써 추후 객체 인식 및 추적부(640)에서 추적된 객체에 기반하여 연관된 AR 객체도 함께 표시하도록 할 수 있다.
다양한 실시 예에 따라 객체기반 드로잉부(640)는 검출된 객체가 얼굴인 경우, 보다 좋은 품질의 드로잉을 위하여 얼굴을 복수 개의 서브영역으로 분할하여 사용자가 드로잉할 수 있도록 하는 플레이트(plate)를 제공할 수 있다. 플레이트는 사용자가 드로잉을 할 수 있는 가상의 캔버스일 수 있다.
도 8b는 다양한 실시 예에 따라 얼굴에 대해 사용자가 드로잉할 수 있는 복수 개의 서브영역으로 분할하여 플레이트를 제공하는 예를 도시한 도면(850)이다.
도 8b를 참조하면, 객체기반 드로잉부(640)는 검출한 얼굴의 각 부분의 깊이(예를 들어, 도 3의 Z축으로의 길이일 수 있다), 기울기, 곡면을 포함하는 특징들을 파악하고 그에 따라 복수 개의 서브영역으로 분할할 수 있다. 그리고 객체기반 드로잉부(640)는 각각의 서브영역에 대해 각 서브영역의 특징에 기초하여 사용자가 효과적으로 드로잉할 수 있도록 하기 위한 플레이트(plate)를 제공할 수 있다. 예를 들어, 객체기반 드로잉부(640)는 얼굴을 이마, 눈, 볼, 입술, 귀와 같이 서로 다른 특징을 가지는 서브영역으로 분할하고, 각 서브영역에 대응하는 플레이트를 제공함으로써 사용자가 효과적으로 드로잉을 수행하도록 할 수 있다.
다양한 실시 예에 따르면, 객체기반 드로잉부(640)는 도 8b에 도시된 것처럼 얼굴에 대한 페이스 랜드마크(face landmark) 기반의 3D 메쉬(mesh)(860)를 생성하고, 클러스터링(clustering)을 통해 복수의 플레이트를 생성할 수 있다. 일 실시 예로 객체기반 드로잉부(640)는 사용자가 수염을 그릴 수 있도록, 볼의 곡면 각도에서 광대뼈 중심에서 약 1~2도 정도로 기울어지는 플레이트(871a)를 생성하여 제공할 수 있다. 사용자는 제공된 플레이트에 기반하여 드로잉을 할 수 있다. 또 다른 일 실시 예로, 입술 서브 영역에 대하여, 객체기반 드로잉부(640)는 입술 주변에서 입술의 곡면에 맞추어서 제공하는 플레이트(871b)를 제공할 수 있다. 사용자는 제공된 플레이트(871b)에 기초하여 입술 주변에서 쉽게 입술의 곡면에 맞추어 드로잉할 수 있어 AR 객체의 품질이 더 좋아질 수 있다. 다른 일 실시 예로, 눈 영역 주변에서 안경을 그리도록 하기 위하여 객체기반 드로잉부(640)는 눈 주변 영역에서 얼굴보다 조금 띄워서, 예를 들어, 콧등에서 Z축 방향으로 N cm 위에 놓이는 플레이트(871c)를 제공할 수 있다.
다양한 실시 예에 따라, 객체기반 드로잉부(640)는 검출된 객체가 3D 복원된 표면 정보 또는 평면인 경우, 혹은 얼굴이 아닌 다른 객체인 경우, 해당 객체에 대해 단일 플레이트를 생성하여 제공할 수 있다. 일 실시 예로, 객체기반 드로잉부(640)는 책상의 상면이 객체로 검출된 경우, 해당 객체가 차지하는 영역에 대해 드로잉을 위한 하나의 플레이트를 생성하여 제공할 수 있다. 또한, 객체기반 드로잉부(640)는 인식된 객체(예: 책상 면)의 평면 기울기에 기반하여 기울기를 가지는 플레이트를 생성할 수 있다. 일 실시 예에 따르면, 인식된 객체의 평면 기울기가 임계 값보다 큰 경우, 객체기반 드로잉부(640)는 적정한 기울기를 갖는 플레이트를 생성할 수 있다.
상술한 바와 같이, 객체기반 드로잉부(640)는 검출된 객체의 특징에 맞는 드로잉이 가능하도록 객체영역을 세밀한 서브 영역으로 분할하고, 해당 서브 영역에 대응하는 특징을 가지는 플레이트를 생성하여 사용자가 해당 서브 영역의 특징에 쉽게 적응하여 드로잉할 수 있도록 제공할 수 있다. 일 실시 예에 따르면, 객체기반 드로잉부(640)는 제공하는 플레이트 영역을 표시 장치(250)에 표시하거나, 다른 실시 예에 따르면 명시적으로 표시하지 않을 수도 있다. 객체기반 드로잉부(640)는 플레이트를 명시적으로 표시하지 않더라도, 해당 플레이트 내에 사용자의 입력이 있다면, 플레이트의 특성에 맞추어 드로잉이 되도록 할 수 있다. 일 실시 예로 플레이트가 기울어져 있는 경우, 객체기반 드로잉부(640)는 해당 플레이트에서의 사용자의 입력에 대하여 기울어진 플레이트에 따라 그려지도록 할 수 있다.
다양한 실시 예에 따라 객체 인식 및 추적부(640)는 카메라 모듈(220)에서 촬영한 영상에 나타나는 객체를 검출하고, 추적할 수 있다. 그리고 객체 인식 및 추적부(640)는 검출한 객체와 연관된 AR 객체를 표시 장치(250)에 표시되는 영상에 표시할 수 있다. 객체 인식 및 추적부(640)는 검출한 객체와 연관된 AR 객체를 검색하기 위하여 검출한 객체의 특징점들을 식별하여 사용할 수 있다. 일 실시 예로, 검출한 객체와 연관된 AR 객체의 정보는 메모리(240)에 저장되어 있을 수 있다. AR 객체의 정보는 검출된 객체의 중심점과의 상대적 거리 및 방향을 포함하는 위치 정보 및 AR 객체의 형상 정보를 포함할 수 있다.
도 9은 다양한 실시 예에 따라 객체 인식 및 추적부(640)의 동작에 의해 AR 객체가 표시되는 것을 도시한 도면(900)이다.
도 9을 참조하면, 객체 인식 및 추적부(640)는 프리뷰 영상에 포함되어 있는 객체를 검출하고, 검출된 객체(911a, 911b) 연관성 있는 AR 객체가 있는 지를 검색한다. 도 9의 (a)에 도시된 것처럼 검출된 객체(911a, 911b)와 연관성 있는 AR 객체가 없는 경우에, 객체 인식 및 추적부(640)는 AR 객체를 표시 장치(250)에 표시하지 않을 수 있다. 도 9의 (b)에 도시된 것처럼 검출된 객체(913a, 913b)와 연관된 AR 객체(923a, 923b)가 검색되는 경우에, 객체 인식 및 추적부(640)는 검색된 AR 객체(923a, 923b)를 표시 장치(250)에 표시할 수 있다. 일 실시 예에 따라, 객체 인식 및 추적부(640)는 프리뷰 영상 내의 검출된 객체(911a, 911b)와 연관되게 검색된 AR 객체(923a, 924b)를 표시 장치(250)에 표시할 수 있다.
다양한 실시 예에 따르면, 객체 인식 및 추적부(640)는 객체(913a, 913b)를 프리뷰 영상에서 인식하고, 해당 객체(913a, 913b)와 연관된 AR 객체(923a, 923b)를 화면에 표시하고, 해당 객체(913a, 913b)의 움직임 변화에 따라 연관된 AR 객체(923a, 923b)도 함께 이동되도록 표시할 수 있다. 일 실시 예로 도 9의 (c)를 참조하면, 복수의 객체들(915a, 915b, 915c) 각각은 연관된 AR 객체(925a, 925b, 925c)와 함께 표시되어 있고, 객체의 이동에 따라 연관된 AR 객체도 동일한 이동을 수행할 수 있다. 객체 인식 및 추적부(640)는 객체(예: 915a)와 연관된 AR 객체(예: 925a)를 함께 움직이도록 할 수 있다. 일 실시 예에 따라, 객체 인식 및 추적부(640)는 객체(예: 915a)의 중심부와 연관된 AR 객체(예: 925a) 사이의 거리 및 방향 정보를 연관 정보로 저장하고 있고, 이 연관 정보에 기초하여 객체(예: 915a)의 움직임에 맞추어 연관된 AR 객체(예: 925a)의 위치를 조정할 수 있다.
다양한 실시 예에 따르면, 객체 인식 및 추적부(640)는 객체의 변화된 크기에 맞추어 연관된 AR 객체의 크기도 변화시킬 수 있다. 일 실시 예로, 객체 인식 및 추적부(640)는 추적을 통해 프리뷰 영상에 나타나는 얼굴의 크기가 원 얼굴의 크기보다 20%작아진 경우, 연관된 AR 객체의 크기도 20% 작아지도록 할 수 있다. 다른 실시 예로, 객체 인식 및 추적부(640)는 객체의 방향이 원 방향에서 틀어져 있는 경우, 그에 맞추어 AR 객체도 원 방향에서 틀어진 것으로 보이도록 표시할 수 있다.
다양한 실시 예에 따라, 객체기반 드로잉에 따라 드로잉된 AR 객체는 전자 장치(101)의 움직임뿐만 아니라 연관된 객체의 움직임에 기초하여 그 표시 위치가 결정될 수 있다.
다양한 실시 예에 따라, 공간 기반 드로잉 기능이 활성화된 경우, 공간좌표 생성부(650)는 전자 장치(101)를 기준으로 월드 좌표계(world coordinate)를 생성할 수 있다. 일 실시 예로 공간좌표 생성부(650)는 카메라가 현재 촬영하고 있는 방향(앞, 뒤 방향)을 X 방향으로 설정하고, X 방향에 수직인 방향(좌, 우 방향)을 Y 방향으로 설정하고, X 방향과 Y 방향에 의해 형성되는 평면에 수직인 방향(상, 하 방향)을 Z 방향으로 설정할 수 있다. 그리고 공간좌표 생성부(650)는 카메라의 프리뷰에 나타나는 특징점들(point cloud)의 좌표값을 설정된 월드 좌표계에 기초하여 획득할 수 있다.
다양한 실시 예에 따라, 공간기반 드로잉부(660)는 월드 좌표계에 기초하여 특정 좌표에 AR 객체를 드로잉할 수 있다. 공간기반 드로잉부(660)는 AR 객체의 최초 드로잉시의 AR 객체의 위치를 미리 설정된 값으로 할 수 있다. 예를 들어, 공간기반 드로잉부(660)는 최초 드로잉되는 위치를 (X=-1, Y=0, Z=0)으로 설정할 수 있다. 다른 실시 예에 따라, 전자 장치(101)를 움직이지 않고, 사용자가 AR 객체를 입력하는 경우, 공간기반 드로잉부(660)는 입력된 AR 객체의 중심의 위치를 (X=-1, Y=0, Z=0)으로 설정할 수 있다. 이때, 전자 장치(101)의 위치는 (X=0, Y=0, Z=0)일 수 있다.
다양한 실시 예에 따라, 공간기반 드로잉부(660)는 사용자의 전자 장치(101) 이동과 드로잉 동작에 기초하여 사용자가 드로잉하는 AR 객체의 위치 및 자세를 설정할 수 있다. 예를 들어 사용자가 전자 장치(101)를 이동시켜, 월드 좌표계 상의 (X=3, Y=2, Z=1)의 위치에서 AR 객체를 드로잉한다면, 드로잉된 AR 객체는 월드 좌표계 상의 (X=2, Y=2, Z=1)에 위치할 수 있다. 이러한 기능을 지원하기 위하여 공간기반 드로잉부(660)는 전자 장치(101)의 위치 변화 및 자세 변화를 6자유도 검출 모듈(230)을 이용하여 획득할 수 있다. 공간기반 드로잉부(660)는 6자유도 검출 모듈(230)로부터 이동한 위치정보뿐만 아니라 변화된 자세정보를 반영하여 사용자에 의해 드로잉된 AR 객체의 위치 및 자세를 결정할 수 있다.
다양한 실시 예에 따라 공간기반 드로잉부(660)는 도 5의 (c)에 도시된 것과 같이 사용자의 동시적인 이동과 드로잉 동작에 기반하여 위치가 변화되는 AR 객체를 생성할 수 있다. 여기서의 드로잉 동작은 전자 장치(101)의 화면의 동일한 위치를 계속적으로 터치하고 있는 것일 수 있다. 예를 들면, 사용자는 전자 장치(101)를 제1 위치((예: X=0, Y=0, Z=0)에서 시작하여 원하는 궤적을 따라 이동시키면서 제2 위치(예: X=1, Y=1, Z=0)에 도착할 때가지 화면을 계속 터치하고 있을 수 있다. 공간기반 드로잉부(660)는 상술한 사용자의 동작에 응답하여 제1 위치에서 전자 장치(101)가 움직인 궤적을 따라 제2 위치까지 연결되는 파이프 모양의 AR 객체를 설정할 수 있다. 일 실시 예에 따라, 제1 위치에서 제2 위치를 연결하는 AR 객체의 형상은 다양하게 설정될 수 있으며, 사용자에 의하여 미리 제공된 형상 중의 하나가 선택될 수도 있다. 상술한 실시 예에서 전자 장치(101)가 움직인 궤적은 6자유도 추적 및 궤적추출부(670)에 의해 6자유도 검출 모듈(230)을 이용하여 획득할 수 있다.
다양한 실시 예에 따라, 공간기반 드로잉부(660)는 입력되는 AR 객체의 위치를 월드 좌표계 상의 특정 좌표에 고정시킬 수 있다. 일 실시 예에 따라 AR 객체는 월드 좌표계 상의 여러 좌표를 거쳐가는 다양한 형상일 수 있으며, 이 경우 AR 객체는 지나가는 각각의 좌표에 의해 고정될 수 있다.
다양한 실시 예에 따라, 공간기반 드로잉부(660)는 사용자에 의해 생성된 AR 객체를 AR 객체가 고정되는 월드 좌표계상의 좌표를 포함하는 파라미터들과 함께 메모리(240)에 저장할 수 있다. 또한, 공간기반 드로잉부(660)는 카메라 모듈(220)를 통해 촬영한 일련의 프리뷰 영상과 일련의 프리뷰 영상에 사용자에 의해 삽입된 적어도 하나의 AR 객체가 함께 포함되는 동영상을 기록하여 동영상으로 메모리(240)에 저장할 수 있다.
다양한 실시 예에 따라, 공간기반 드로잉부(660)는 사용자의 요청에 기반하여 메모리(240)에 저장된 AR 객체를 읽어와서 현재의 프리뷰 화면에 표시할 수 있다.
다양한 실시 예에 따라, 6자유도 추적 및 궤적추출부(670)는 6자유도 검출 모듈(230)을 이용하여 전자 장치(101)의 움직임을 검출할 수 있다. 전자 장치(101)의 움직임은 위치 이동 및 자세 변경을 포함할 수 있다. 6자유도 추적 및 궤적추출부(670)는 도 5에 도시된 바와 같이 전자 장치(101)의 움직임을 추적하고, 획득한 정보를 공간기반 드로잉부(660)에 제공함으로써 AR 객체의 위치 및 형상을 설정할 수 있도록 할 수 있다.
다양한 실시 예에 따라, 6자유도 추적 및 궤적추출부(670)가 획득한 전자 장치(101)의 움직임에 기초하여 전자 장치(101)의 월드 좌표계 상의 특정 좌표에 고정된 AR 객체의 위치 및/또는 크기를 변경할 수 있다. 도 4의 일 실시 예에 도시된 것처럼, AR 객체가 월드 좌표계 상의 좌표가 (X=-1, Y=0, Z=0)이고, 6자유도 추적 및 궤적추출부(670)가 검출한 전자 장치(101)의 위치가 (X=0, Y=0, Z=0)에서 (X=1, Y=0, Z=0)으로 변경된 경우, AR 객체와 전자 장치(101)간의 위치가 멀어져 전자 장치(101) 화면에 표시되는 AR 객체는 멀어진 거리에 비례하여 크기가 작아질 수 있다. 다른 일 실시 예로, AR 객체가 월드 좌표계 상의 좌표가 (X=-1, Y=0, Z=0)이고, 6자유도 추적 및 궤적추출부(670)가 검출한 전자 장치(101)의 위치가 (X=0, Y=0, Z=0)에서 (X=-1, Y=0, Z=0)으로 점차적으로 변경되는 경우, AR 객체와 전자 장치(101)간의 위치가 가까워져 전자 장치(101) 화면에 표시되는 AR 객체는 가까워진 거리에 비례하여 크기가 점점 커질 수 있다. 또 다른 일 실시 예로, 6자유도 추적 및 궤적추출부(670)가 검출한 전자 장치(101)의 움직임이 롤링(rolling)인 경우, 전자 장치(101) 화면에 표시되는 AR 객체는 전자 장치(101)의 롤링에 맞추어 롤링이 될 수 있다.
다양한 실시 예에 따라, 프로세서(210)는 객체기반 드로잉 기능과 공간기반 드로잉 기능이 모두 활성화된 경우, 사용자의 입력을 객체기반 드로잉에 적용할 것인지 아니면 공간기반 드로잉에 적용할 것인지를 결정할 수 있다. 일 실시 예에 따라, 프로세서(210)는 사용자의 선택 입력, 예를 들어, 객체기반 드로잉을 나타내는 아이콘을 선택하는 선택 입력 또는 공간기반 드로잉을 나타내는 아이콘을 선택하는 선택 입력에 기초하여 사용자의 입력을 객체기반 드로잉에 적용할 것인지 아니면 공간기반 드로잉에 적용할 것인지를 결정할 수 있다. 다른 실시 예로, 프로세서(210)는 사용자의 입력의 시작 위치에 기초하여 객체기반 드로잉 기능을 적용할 것인지 아니면 공간기반 드로잉 기능을 적용할 것인지를 결정할 수 있다.
도 10은 다양한 실시 예에 따라 객체기반 드로잉 또는 공간기반 드로잉에 의해 AR 객체를 생성하는 예를 도시한 도면(1000)이다.
도 10을 참조하면, 프로세서(210)는 전자 장치(101)의 표시 장치(250)에 표시되는 프리뷰 영상에 대해 객체영역(1010)과 공간영역(1020)을 구분할 수 있다. 일 실시 예에 따라 프로세서(210)의 객체검출부(610)에 의한 객체 검출과, 객체영역 설정부(620)에 의한 설정에 의하여 객체영역(1010)이 설정될 수 있다. 일 실시 예에 따라, 프로세서(210)는 프리뷰 영상에서 객체영역(1010) 이외의 영역은 모두 공간영역(1020)으로 설정할 수 있다.
다양한 실시 예에 따라, 프로세서(210)는 사용자의 입력 시작 위치를 기초로 사용자가 입력하는 AR 객체를 객체기반 드로잉에 적용할 것인지 공간기반 드로잉에 적용할 것인지를 결정할 수 있다. 일 실시 예로, 사용자가 입력하는 AR 객체(예: 1031, 1033)가 객체영역(1010) 내(예: 1041, 1043)에서 시작하여 드로잉되는 경우, 프로세서(210)는 해당 AR 객체(1031, 1033)에 대해 객체기반 드로잉을 적용하여 객체영역(1010) 내의 객체(1011)와 연관되게 할 수 있다. 객체기반 드로잉이 적용됨에 따라, 프로세서(210)는 해당 AR 객체(1031, 1033)의 정보를 객체영역(1010) 내의 객체(1011)에 기반하여 결정할 수 있고, 해당 객체(1011)와 연관되어 AR 객체(1031, 1033)의 정보를 저장할 수 있다. 일 실시 예로 프로세서(210)는 해당 AR 객체(1031, 1033)의 위치 정보를 객체(1011)에 기반한 상대적인 정보로 나타낼 수 있다. 따라서, 프로세서(210)는 해당 AR 객체(1031, 1033)를 표시 장치(250)에 표시시에 객체(1011)의 움직임에 기반하여 함께 이동되거나, 크기 변경을 할 수 있다. 또한, 도 9의 (b)에 도시된 것처럼, 대응하는 객체가 프리뷰 영상에서 탐색된 경우, 프로세서(210)는 연관되어 저장된 AR 객체(1031, 1033)를 함께 화면에 표시할 수 있다.
다양한 실시 예에 따라, 프로세서(210)는 사용자가 입력하는 AR 객체(1031, 1033)가 객체영역(1010) 내(예: 1041, 1043)에서 시작하여 드로잉되고, 객체영역(1010) 외부인 공간영역으로 확장되어 드로잉되더라도 객체기반 드로잉을 적용할 수 있다. 사용자가 입력하는 AR 객체(1031, 1033)의 전부가 객체영역(1010) 내에 있을 필요가 없으며 일 실시 예에 따라 드로잉의 시작 위치(예: 1041, 1043)가 객체영역(1010) 내인 경우에 프로세서(210)는 객체기반 드로잉을 적용하여 AR 객체를 드로잉 할 수 있다.
다양한 실시 예에 따라, 사용자가 입력하는 AR 객체(1035)가 공간영역(1020) 내(예: 1045)에서 시작하여 드로잉되는 경우에 프로세서(210)는 해당 AR 객체(1035)에 대해 공간기반 드로잉을 적용할 수 있다. 일 실시 예에 따라, 사용자가 입력하는 AR 객체(1035)가 공간영역(1020) 내(예: 1045)에서 시작하여 드로잉되는 경우에 프로세서(210)는 드로잉이 객체영역(1010)까지 확정되더라도 공간기반 드로잉을 적용할 수 있다. 공간기반 드로잉이 적용됨에 따라, 프로세서(210)는 전자 장치(101)의 최초 위치를 기준으로 하는 월드 좌표계상의 공간좌표에 해당 AR 객체(1035)를 고정할 수 있고, 전자 장치(101)의 움직임에 기초하여 그 크기 및 표시 위치가 변경될 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(101))는 프리뷰 영상을 획득하는 적어도 하나의 카메라 모듈(예: 도 1의 카메라 모듈(180), 도 2의 카메라 모듈(220)), 상기 프리뷰 영상을 표시하고, 사용자 입력을 획득하기 위한 터치 회로를 구비한 표시 장치(예: 도 1의 표시 장치(160), 도 2의 표시 장치(250)), 상기 전자 장치의 움직임을 검출하는 6자유도 검출 모듈(예: 도 2의 6자유도 검출 모듈(2300), 상기 적어도 하나의 카메라 모듈, 상기 표시 장치 및 상기 6자유도 검출 모듈과 작동적으로 연결되는 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(210)) 및 상기 적어도 하나의 프로세서와 작동적으로 연결되는 적어도 하나의 메모리(예: 도 1의 메모리(130), 도 2의 메모리(240))를 포함하고, 상기 적어도 하나의 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가, 상기 적어도 하나의 카메라 모듈을 제어하여 프리뷰 영상을 획득하고, 상기 프리뷰 영상에서 객체영역 및/또는 공간영역을 설정하고, 상기 프리뷰 영상을 상기 표시 장치에 표시하고, 상기 표시 장치의 상기 터치 회로에 기반하여 사용자의 입력을 획득하고, 사용자의 입력에 대응하여 객체기반 드로잉을 적용할 것인지 공간기반 드로잉을 적용할 것인지를 결정하고, 상기 결정에 기초하여, 상기 사용자의 입력에 대해 객체기반 드로잉 또는 공간기반 드로잉을 적용하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가 상기 프리뷰 영상에 포함된 적어도 하나의 객체를 검출하고, 상기 검출된 적어도 하나의 객체에 대해 객체영역을 설정하고, 상기 설정된 객체영역 이외의 상기 프리뷰 영상 내의 영역을 공간영역으로 설정하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가 상기 프리뷰 영상에 얼굴 또는 사용자가 드로잉(drawing)하거나 메모할 수 있는 평면 영역이 있는 경우 해당 얼굴 또는 해당 평면 영역을 객체로 검출하도록 하거나, 또는 상기 사용자와의 상호작용에 의해 상기 사용자의 입력에 기초한 영역을 객체로 검출하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가 상기 프리뷰 영상에서 얼굴 객체가 검출된 경우, 상기 얼굴의 정보를 추출하고, 상기 추출된 얼굴 정보에 기초하여 사용자가 AR 객체를 드로잉할 수 있는 복수의 플레이트를 설정하고, 상기 설정된 복수의 플레이트에 기반하여 객체영역을 설정하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가 상기 사용자의 객체기반 드로잉 선택 입력 또는 공간기반 드로잉 선택 입력에 기초하여 상기 사용자의 입력에 대응하여 객체기반 드로잉을 적용할 것인지 공간기반 드로잉을 적용할 것인지를 결정하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가 상기 사용자의 입력의 시작 위치가 객체영역인지 공간영역인지에 기반하여 상기 사용자의 입력에 대응하여 객체기반 드로잉을 적용할 것인지 공간기반 드로잉을 적용할 것인지를 결정하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가 상기 객체기반 드로잉을 적용하기 위하여, 상기 사용자의 AR 객체 입력을 검출하고, 상기 사용자가 입력한 AR 객체를 상기 객체영역 내의 객체와 연관시켜 AR 객체 정보를 생성하고, 상기 생성한 AR 객체 정보를 상기 객체영역 내의 객체와 연관시켜 상기 메모리에 저장하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가 상기 프리뷰 영상에서 객체를 검출하고, 상기 검출된 객체와 연관된 AR 객체 정보를 획득하고, 상기 획득한 AR 객체 정보에 기반하여 상기 검출된 객체와 연관하여 AR 객체를 표시하고, 상기 검출된 객체의 움직임에 기반하여 상기 AR 객체의 표시를 변경하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가 상기 공간기반 드로잉을 적용하기 위하여, 상기 전자 장치의 위치를 기초로 월드 좌표계(world coordinate)를 생성하고, 상기 사용자의 AR 객체 입력을 검출하고, 상기 사용자가 입력한 AR 객체의 상기 월드 좌표계 상의 좌표를 결정하고, 상기 결정된 월드 좌표계 상의 좌표를 포함하는 AR 객체 정보를 상기 메모리에 저장하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가 상기 프리뷰 영상에 상기 공간기반 드로잉이 적용된 AR 객체를 표시하고, 상기 전자 장치의 움직임 정보를 획득하고, 상기 획득한 전자 장치의 움직임에 기반하여 상기 AR 객체의 표시를 변경하도록 할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101)는 카메라 모듈(220)을 이용하여 획득한 프리뷰 영상에 사용자가 AR 객체를 입력할 수 있도록 할 수 있다. 그리고 전자 장치(101)는 입력된 AR 객체는 프리뷰 영상 내의 객체 또는 공간의 월드 좌표에 연관되어 프리뷰 영상 내의 객체의 움직임에 연동하여 또는 6자유도 검출 모듈(230)에서 획득한 전자 장치(101)의 움직임에 연동하여 AR 객체의 표시를 변경할 수 있도록 할 수 있다.
이하에서는 상술한 기능을 수행하기 위한 전자 장치(101)의 동작을 설명한다.
도 11은 다양한 실시 예들에 따른 전자 장치(101)에서 AR 객체를 생성하는 동작의 흐름도(1100)이다. 도 11에 예시된 흐름도(1100)의 동작 주체는 전자 장치(예: 도 1의 전자 장치(101), 또는 도 1의 전자 장치(101) 또는 전자 장치의 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(120))로 이해될 수 있다.
다양한 실시 예들에 따르면, 동작 1101에서, 전자 장치(101)는 카메라 모듈(220)을 통해 프리뷰 영상을 획득할 수 있다. 프리뷰 영상은 정지 영상일 수도 있고 동영상일 수도 있다.
다양한 실시 예들에 따르면, 동작 1103에서, 전자 장치(101)는 객체영역 및 공간영역을 설정할 수 있다. 객체영역은 프리뷰 영상 내에 표시되는 특정 객체를 포함하는 영역일 수 있다. 공간영역은 프리뷰 영상 내에서 객체영역을 제외한 나머지 모든 영역으로 설정될 수 있다. 프리뷰 영상 내에 객체영역이 없는 경우, 전자 장치(101)는 프리뷰 영상의 모든 영역을 공간영역으로 설정할 수 있다. 다양한 실시 예에 따라, 전자 장치(101)는 복수의 객체가 프리뷰 영상에서 검출된 경우에 각각의 객체에 대하여 별도의 객체영역을 설정할 수 있다.
다양한 실시 예들에 따르면, 동작 1105에서, 전자 장치(101)는 사용자의 AR 객체 드로잉에 대해 객체기반 드로잉을 적용할 것인지 아니면 공간기반 드로잉을 적용할 것인지를 결정할 수 있다. 일 실시 예로, 전자 장치(101)는 사용자의 객체기반 드로잉을 선택하는 입력, 또는 공간기반 드로잉을 선택하는 입력에 기초하여, 이후 사용자의 AR 객체 드로잉에 객체기반 드로잉을 적용하거나 또는 공간기반 드로잉을 적용할 수 있다. 다른 일 실시 예로, 전자 장치(101)는 사용자의 AR 객체 드로잉의 시작 위치 또는 종료 위치에 기반하여 객체기반 드로잉을 적용할 것인지 아니면 공간영역 드로잉을 적용할 것인지를 결정할 수 있다. 예들 들어, 전자 장치(101)는 사용자의 AR 객체 드로잉의 시작 위치 또는 종료 위치가 객체영역이면 객체기반 드로잉을 적용하고, 공간영역이면 공간기반 드로잉을 적용할 수 있다.
다양한 실시 예들에 따르면, 동작 1105에서 전자 장치(101)가 객체기반 드로잉을 적용하는 것으로 결정한 경우(1105-예), 동작 1107에 따라 전자 장치(101)는 객체기반 드로잉을 적용하여 사용자의 입력에 따라 AR 객체를 생성할 수 있다. 동작 1105에서 전자 장치(101)가 공간기반 드로잉을 적용하는 것으로 결정한 경우(1105-아니오), 동작 1109에 따라 전자 장치(101)는 공간기반 드로잉을 적용하여 사용자의 입력에 따라 AR 객체를 생성할 수 있다.
도 12는 다양한 실시 예들에 따른 전자 장치(101)에서 객체영역 및 공간영역을 설정하는 동작을 도시한 흐름도(1200)이다. 도 12에 예시된 흐름도(1200)의 동작 주체는 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(101) 또는 전자 장치의 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(210))로 이해될 수 있다. 도 12에 예시된 흐름도(1200)는 도 11의 동작 1103의 일 실시 예일 수 있다
다양한 실시 예에 따르면, 동작 1201에서, 전자 장치(101)는 프리뷰 영상에서 객체를 검출할 수 있다. 일 실시 예로 검출된 객체는 사람의 얼굴일 수 있다. 다른 일 실시 예로, 검출된 객체는 사용자가 드로잉을 할 수 있는 평면 영역 또는 메모가 가능한 평면 영역일 수 있다. 일 실시 예에 따라, 전자 장치(101)는 복수의 객체를 검출할 수 있다.
다양한 실시 예에 따르면, 동작 1203에서, 전자 장치(101)는 검출된 객체에 기초하여 객체영역을 설정할 수 있다. 일 실시 예로, 검출된 객체가 사람의 얼굴인 경우, 전자 장치(101)는 검출된 얼굴을 포함하면서 약간 큰 영역을 객체영역으로 설정할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 얼굴의 외곽 형상과 동일한 형상을 가지도록 객체영역을 설정할 수 있으며, 다른 일 실시 예에 따라, 전자 장치(101)는 검출된 얼굴을 포함하는 직사각형 또는 정사각형 형상을 객체영역으로 설정할 수 있다. 다른 일 실시 예로, 검출된 객체가 사용자가 드로잉을 할 수 있는 평면 영역 또는 메모가 가능한 평면 영역인 경우, 전자 장치(101)는 검출된 평면 영역을 객체영역으로 설정할 수 있다. 일 실시 예에 따라 전자 장치(101)는 검출된 객체의 위치, 방향 및/또는 크기에 기초하여 객체영역을 다르게 설정할 수 있다. 다른 일 실시 예로, 전자 장치(101)가 프리뷰 영상 내에서 객체를 검출하지 못한 경우에도, 전자 장치(101)는 사용자와의 상호 작용을 통해 특정 영역 또는 특정 위치를 입력받아, 해당 특정 영역을 객체영역으로 설정하거나, 또는 해당 특정 위치를 중심으로 한 일정 반지름을 가진 원 또는 해당 특정 위치에서 꼭지점까지의 거리가 일정할 수 있는 사각형 영역을 객체영역으로 설정할 수 있다.
다양한 실시 예에 따라, 전자 장치(101)는 복수의 객체를 검출한 경우, 각각의 객체에 대해 서로 다른 객체영역을 설정할 수 있다.
다양한 실시 예에 따르면, 동작 1205에서, 전자 장치(101)는 프리뷰 영상에서 설정된 객체영역을 제외한 나머지 영역을 공간영역으로 설정할 수 있다.
도 13은 다양한 실시 예들에 따른 전자 장치(101)에서 객체를 검출하는 동작을 도시한 흐름도(1300)이다. 도 13에 예시된 흐름도(1300)의 동작 주체는 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(101) 또는 전자 장치의 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(210))로 이해될 수 있다. 도 13에 예시된 흐름도(1300)는 도 12의 동작 1201의 일 실시 예일 수 있다
다양한 실시 예에 따르면, 동작 1301에서, 전자 장치(101)는 프리뷰 영상에서 사람의 얼굴이 검출되었는 지를 판단할 수 있다. 판단결과, 얼굴이 검출된 경우(1301-예), 동작 1311에서, 얼굴이 검출되었음을 나타내는 파라미터를 설정하고, 동작 1309에서 객체가 검출되었음을 설정할 수 있다.
다양한 실시 예에 따르면, 동작 1301에서 얼굴이 검출되지 않은 것으로 판단되면(1301-아니오), 동작 1303에서, 전자 장치(101)는 프리뷰 영상으로부터 3D 복원을 수행하고, 3D 복원 정보로부터 사용자가 드로잉을 하거나 메모가 가능한 3D 복원된 표면 정보 및 평면이 검출되었는 지를 판단할 수 있다. 판단결과, 3D 복원된 표면 정보 및 평면 이 검출된 경우(1303-예), 동작 1313에서, 3D 복원된 표면 정보 및 평면이 검출되었음을 나타내는 파라미터를 설정하고, 동작 1309에서 객체가 검출되었음을 설정할 수 있다.
다양한 실시 예에 따르면, 동작 1303에서의 판단 결과 3D 복원된 표면 정보 및 평면이 검출되지 않으면(1303-아니오), 동작 1305에서, 전자 장치(101)는 프리뷰 영상에서 객체 설정을 위한 사용자 입력이 있는 지를 판단할 수 있다. 사용자 입력은 전자 장치(101)에 의해 객체로 인식되지 않은 프리뷰 영상 내의 객체를 터치하는 것일 수 있고, 또 다른 실시 예로, 사용자 입력은 프리뷰 영상 내의 특정 평면 영역, 예를 들어 3D 복원된 책상면을 터치하는 것일 수 있다. 판단결과, 사용자 입력이 검출되었다면(1305-예), 동작 1315에서, 사용자 입력이 검출된 위치의 3D 좌표를 획득하고, 획득한 3D 좌표 상에 있는 객체 또는 평면 영역을 객체로 설정하고, 동작 1309에서 객체가 검출되었음을 설정할 수 있다.
다양한 실시 예에 따르면, 동작 1305에서의 판단 결과 객체영역 설정을 위한 사용자 입력이 검출되지 않으면(1305-아니오), 동작 1307에서 객체가 검출되지 않았음을 설정할 수 있다.
도 14은 다양한 실시 예들에 따른 전자 장치(101)에서 객체영역을 설정하는 동작을 도시한 흐름도(1400)이다. 도 14에 예시된 흐름도(1400)의 동작 주체는 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(101) 또는 전자 장치의 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(210))로 이해될 수 있다. 도 14에 예시된 흐름도(1400)는 도 12의 동작 1203의 일 실시 예일 수 있다
다양한 실시 예에 따르면, 동작 1401에서, 전자 장치(101)는 프리뷰 영상에서 사람의 얼굴이 검출되었는 지를 판단할 수 있다. 동작 1401의 판단은 도 13에 도시된 검출 결과에 의해 설정된 파라미터에 기초할 수 있다.
다양한 실시 예에 따르면, 동작 1401의 판단결과 얼굴이 검출된 경우(1401-예), 동작 1405에서, 전자 장치(101)는 얼굴에 대한 정보를 획득할 수 있다. 일 실시 예로 전자 장치(101)는 얼굴에서의 특징점을 추출할 수 있고, 각 특징점에서의 깊이 정보를 획득할 수 있다. 또한, 전자 장치(101)는 얼굴의 크기, 색깔 정보를 획득할 수도 있다.
다양한 실시 예에 따르면, 동작 1407에서, 전자 장치(101)는 획득한 얼굴 정보에 기초하여 사용자가 AR 객체를 드로잉할 수 있는 복수의 플레이트를 생성할 수 있다. 일 실시 예로, 전자 장치(101)는 획득한 얼굴 정보에 기초하여 눈, 볼, 입술, 귀와 서로 다른 특징을 가지는 특징부를 식별할 수 있고, 사용자가 효과적으로 드로잉을 수행할 수 있도록 식별된 서로 다른 특징부 각각에 대해 플레이트를 제공할 수 있다. 일 실시 예로 사용자가 수염을 효과적으로 그릴 수 있도록, 획득한 얼굴 정보에 기초하여, 볼의 곡면 각도에서 광대뼈 중심에서 약 1~2도 정도로 기울어지는 플레이트(871a)를 제공할 수 있다. 또 다른 일 실시 예로, 입술 주변에서 입술에 색깔을 입히는 것과 같은 사용자의 드로잉이 효과적으로 수행될 수 있도록, 입술의 곡면에 맞추어서 플레이트(871b)를 제공할 수 있다. 다른 일 실시 예로, 눈 영역 주변에서 사용자가 효과적으로 안경을 드로잉하도록 하기 위하여 전자 장치(101)는 눈 주변에서 얼굴보다 조금 띄워서 플레이트(871c)를 제공할 수 있다.
다양한 실시 예에 따르면, 동작 1401의 판단결과 얼굴이 검출되지 않은 경우(1401-아니오), 동작 1403에서, 전자 장치(101)는 검출된 평면 정보 또는 객체 정보에 기초하여 하나의 플레이트를 설정할 수 있다.
다양한 실시 예에 따르면, 동작 1409에서, 전자 장치(101)는 동작 1407에서 설정된 복수의 플레이트 또는 동작 1403에서 설정된 하나의 플레이트에 기초하여 객체영역을 설정할 수 있다.
도 15는 다양한 실시 예들에 따른 전자 장치(101)에서 객체기반 드로잉 동작을 도시한 흐름도(1500)이다. 도 15에 예시된 흐름도(1500)의 동작 주체는 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(101) 또는 전자 장치의 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(210))로 이해될 수 있다. 도 15에 예시된 흐름도(1500)는 도 11의 동작 1107의 일 실시 예일 수 있다.
다양한 실시 예에 따르면, 동작 1501에서, 전자 장치(101)는 AR 객체 드로잉을 위한 사용자 입력을 검출할 수 있다. 일 실시 예에 따라, 사용자 입력은 직접 AR 객체를 드로잉하는 것일 수 있다. 다른 일 실시 예에 따라, 사용자 입력은 전자 장치(101)에 미리 저장되어 있는 AR 객체 중의 하나를 선택하는 것일 수 있다. 이 경우 전자 장치(101)는 미리 저장되어 있는 복수의 AR 객체를 표시 장치(250)에 표시하고, 사용자의 표시된 복수의 AR 객체 중 하나를 선택하는 입력에 기초하여, 사용자가 선택한 AR 객체를 표시 장치(250)에 프리뷰 영상과 함께 표시할 수 있다. 또한, 전자 장치(101)는 표시 장치(250)에 표시된 AR 객체의 위치를 지정하는 사용자의 입력을 검출하고, 해당 AR 객체를 사용자가 지정한 위치에 놓을 수 있다.
다양한 실시 예에 따르면, 동작 1503에서, 전자 장치(101)는 사용자가 드로잉한 AR 객체 또는 선택하여 위치시킨 AR 객체를 객체영역 내의 객체와 연관시켜 AR 객체 정보를 생성할 수 있다. 일 실시 예로, AR 객체 정보는 객체영역 내의 객체를 기준으로 한 AR 객체의 상대 위치, AR 객체의 형상을 포함할 수 있다. 따라서, 전자 장치(101)는 사용자의 AR 객체 드로잉에 기초하여 객체영역 내의 객체의 중심점과 AR 객체 사이의 상대적 거리와 방향 정보를 포함하는 AR 객체의 상대적 위치 정보를 생성할 수 있다. 또한 전자 장치(101)는 사용자가 드로잉한 AR 객체의 형상 정보를 생성할 수 있다. AR 객체의 형상 정보는 비트맵 형식, JPEG 형식, 또는 GIF 형식으로 나타내질 수 있다.
다양한 실시 예에 따르면, 동작 1505에서, 전자 장치(101)는 생성한 AR 객체 정보를 객체영역 내의 객체와 연관시켜 메모리(240)에 저장할 수 있다. 저장된 AR 객체 정보는 추후에 사용될 수 있다.
도 16는 다양한 실시 예들에 따른 전자 장치(101)에서 객체기반 드로잉된 AR 객체를 표시하는 동작을 도시한 흐름도(1600)이다. 도 16에 예시된 흐름도(1600)의 동작 주체는 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(101) 또는 전자 장치의 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(210))로 이해될 수 있다.
다양한 실시 예에 따르면, 동작 1601에서, 전자 장치(101)는 카메라 모듈(220)에 의해 획득한 프리뷰 영상에서 객체를 검출할 수 있다.
다양한 실시 예에 따르면, 동작 1603에서, 전자 장치(101)는 검출된 객체와 연관된 AR 객체 정보를 메모리(240)로부터 획득할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 객체의 특징 정보와 해당 객체에 기초하여 도 15의 흐름도에 따라 생성된 AR 객체를 연관시켜 메모리(240)에 저장할 수 있다. 전자 장치(101)는 동작 1601에서 검출한 객체의 특징 정보와 메모리에 저장되어 있는 객체의 특징 정보를 비교하여 동일하다고 판단되는 객체의 특징 정보를 획득하고, 해당 특징 정보와 연관되어 저장되어 있는 AR 객체 정보를 획득할 수 있다.
다양한 실시 예에 따르면, 동작 1605에서, 전자 장치(101)는 획득한 AR 객체 정보에 기반하여 프리뷰 영상에 나타나 있는 객체와 연관시켜 AR 객체를 표시할 수 있다. AR 객체 정보는 대응하는 객체의 중심점과의 상대 거리 및 방향, 그리고 형상 정보를 포함하고 있으므로, 전자 장치(101)는 AR 객체 정보에 기초하여 프리뷰에 나타나 있는 객체에 기초하여 AR 객체의 위치를 결정하고, 화면에 표시될 수 있다.
다양한 실시 예에 따르면, 동작 1607에서, 전자 장치(101)는 검출된 객체의 움직임에 기반하여 연관된 AR 객체의 표시를 변경할 수 있다. 일 실시 예에 따라, 객체기반 드로잉에 의하여 생성된 AR 객체는 대응 객체에 연관되어 위치 및/또는 방향이 결정되므로, 대응 객체의 움직임에 기반하여 AR 객체의 표시 위치, 표시 방향 및/또는 크기가 변경될 수 있다. 전자 장치(101)의 움직임에 의하여 화면에 표시되는 대응 객체의 표시 위치가 변경되는 경우에도, 전자 장치(101)는 대응 객체의 위치 변경에 기초하여 AR 객체의 표시 위치도 변경할 수 있다.
도 17는 다양한 실시 예들에 따른 전자 장치(101)에서 공간기반 드로잉 동작을 도시한 흐름도(1700)이다. 도 17에 예시된 흐름도(1700)의 동작 주체는 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(101) 또는 전자 장치의 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(210))로 이해될 수 있다. 도 17에 예시된 흐름도(1700)는 도 11의 동작 1109의 일 실시 예일 수 있다.
다양한 실시 예에 따르면, 동작 1701에서, 전자 장치(101)는 월드 좌표계를 생성할 수 있다. 월드 좌표계의 기준은 전자 장치(101)의 최초 위치 및 자세일 수 있다. 일 실시 예로 전자 장치(101)의 최초 위치는 프로세서(210)에 의해 관련 어플리케이션이 실행되는 시점의 전자 장치(101)의 위치일 수 있다. 다른 실시 예로, 전자 장치(101)의 최초 위치는 프로세서(210)에 의해 관련 어플리케이션이 실행된 이후, 최초의 공간기반 드로잉에 따른 AR 객체가 드로잉되는 시점의 전자 장치(101)의 위치일 수 있다.
다양한 실시 예에 따르면, 동작 1703에서, 전자 장치(101)는 AR 객체 드로잉을 위한 사용자 입력을 검출할 수 있다.
다양한 실시 예에 따르면, 동작 1705에서, 전자 장치(101)는 사용자가 드로잉한 AR 객체에 대한 월드 좌표계 상의 좌표를 결정할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 프로세서(210)에 의해 어플리케이션이 실행된 후 최초의 공간기반 드로잉에 따른 AR 객체의 위치 및 자세는 미리 설정된 위치 및 자세일 수 있다. 일 실시 예로, 월드 좌표계의 기준이 되는 전자 장치(101)의 위치가 (X=0, Y=0, Z=0)이고, 요, 피치, 롤이 모두 0도인 경우, 최초로 드로잉되는 AR 객체의 위치는 (X=-1, Y=0, Z=0)이고, AR 객체의 요, 피치, 롤이 모두 0도일 수 있다. 일 실시 예에 따라, 두번째부터 드로잉되는 AR 객체의 위치 및 자세는 전자 장치(101)의 위치 및 자세에 기초하여 결정될 수 있다. 일 실시 예로, 전자 장치(101)의 위치가 (X=2, Y=1, Z=0)으로 변경된 후에 드로잉되는 AR 객체의 위치는 (X=1, Y=1, Z=0)일 수 있다. 이에 따라, AR 객체의 위치는 (X=-1, Y=0, Z=0)에 전자 장치(101)의 위치의 이동 변위만큼을 벡터로 더한 위치일 수 있다.
다양한 실시 예에 따르면, 동작 1707에서, 전자 장치(101)는 월드 좌표를 포함하는 AR 객체 정보를 메모리(240)에 저장할 수 있다. 저장된 AR 객체 정보는 추후에 사용될 수 있다.
도 18은 다양한 실시 예들에 따른 전자 장치(101)에서 공간기반 드로잉된 AR 객체를 표시하는 동작을 도시한 흐름도(1800)이다. 도 18에 예시된 흐름도(1800)의 동작 주체는 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(101) 또는 전자 장치의 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(210))로 이해될 수 있다.
다양한 실시 예에 따르면, 동작 1801에서, 전자 장치(101)는 표시 장치(250)에 카메라 모듈(220)에 의해 획득한 프리뷰 영상과 함께 공간기반 드로잉된 AR 객체를 표시할 수 있다. 일 실시 예로 전자 장치(101)는 도 17의 흐름도(1700)에 기초하여 드로잉한 AR 객체를 표시 장치(250)에 표시할 수 있다. 다른 일 실시 예로 전자 장치(101)는 어플리케이션이 실행 시에 디폴트(default)로 표시하는 공간기반 드로잉된 AR 객체를 선택하고, 표시할 수 있다. 다른 일 실시 예로 전자 장치(101)는 사용자의 입력에 의하여 선택된 공간기반 드로잉된 AR 객체를 표시 장치(250)에 표시할 수 있다. 이때 전자 장치(101)는 메모리(240)에 저장되어 있는 공간기반 드로잉된 AR 객체를 표시 장치(250)에 표시함으로써 사용자에게 보여주고, 사용자가 표시된 AR 객체 중에서 적어도 하나를 선택하도록 할 수 있다. 일 실시 예로, 메모리(240)에 저장되어 있는 공간기반 드로잉된 AR 객체는 도 17의 흐름도(1700)에 따라 전자 장치(101) 자체에서 생성한 AR 객체일 수 있으며, 다른 일 실시 예로, 다른 전자 장치(102)에서 생성한 공간기반 드로잉된 AR 객체를 다양한 통신 수단을 통해 전달받아 메모리(240)에 저장한 것일 수 있다.
다양한 실시 예에 따르면, 동작 1803에서, 전자 장치(101)는 자신의 움직임 정보를 획득할 수 있다. 일 실시 예로, 전자 장치(101)는 6자유도 검출 모듈을 이용하여 전자 장치(101)의 위치 변화 및 자세 변화를 획득할 수 있다.
다양한 실시 예에 따르면, 동작 1805에서, 전자 장치(101)는 획득한 전자 장치(101)의 움직임에 기반하여 AR 객체의 표시를 변경할 수 있다. 일 실시 예에 따라, 전자 장치(101)의 움직임이 월드 좌표계 상의 AR 객체의 좌표에 점진적으로 가까워지는 경우, 전자 장치(101)는 AR 객체의 크기를 점진적으로 크게 표시할 수 있다. 다른 일 실시 예에 따라 전자 장치(101)의 움직임이 월드 좌표계 상의 AR 객체의 좌표에 점진적으로 멀어지는 경우, 전자 장치(101)는 AR 객체의 크기를 점진적으로 작게 표시할 수 있다. 다를 일 실시 예에 따라, 전자 장치(101)의 움직임이 월드 좌표계 상의 AR 객체와의 거리는 일정하면서 왼쪽으로 돌아가는 경우, 전자 장치(101)는 AR 객체의 크기는 유지하면서, AR 객체가 오른쪽으로 회전하도록 표시할 수 있다.
상술한 방법에 의해 생성된 객체기반 드로잉이 적용된 AR 객체와 공간기반 드로잉이 적용된 AR 객체 모두 화면에 표시될 수 있으며, 객체기반 드로잉이 적용된 AR 객체는 연관된 객체의 움직임에 기반하여 함께 표시가 변경될 수 있으며, 공간기반 드로잉이 적용된 AR 객체는 월드 좌표계 상의 좌표에 고정되어, 전자 장치(101)의 움직임에 기반하여 함께 표시가 변경될 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(101))의 동작 방법은 적어도 하나의 카메라 모듈(예: 도 1의 카메라 모듈(180), 도 2의 카메라 모듈(220))을 이용하여 프리뷰 영상을 획득하는 동작, 상기 프리뷰 영상에서 객체영역 및/또는 공간영역을 설정하는 동작, 상기 프리뷰 영상을 표시 장치에 표시하는 동작, 상기 표시 장치를 이용한 사용자의 입력에 대응하여 객체기반 드로잉을 적용할 것인지 공간기반 드로잉을 적용할 것인지를 결정하는 동작 및 상기 결정에 기초하여, 상기 사용자의 AR 객체 입력에 대해 객체기반 드로잉 또는 공간기반 드로잉을 적용하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 프리뷰 영상에서 객체영역 및/또는 공간영역을 설정하는 동작은 상기 프리뷰 영상에 포함된 적어도 하나의 객체를 검출하는 동작, 상기 검출된 적어도 하나의 객체에 대해 객체영역을 설정하는 동작 및 상기 설정된 객체영역 이외의 상기 프리뷰 영상 내의 영역을 공간영역으로 설정하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 적어도 하나의 객체를 검출하는 동작은 상기 프리뷰 영상에 얼굴 또는 사용자가 드로잉(drawing)하거나 메모할 수 있는 평면 영역이 있는 경우 해당 얼굴 또는 해당 평면 영역을 객체로 검출하는 동작 및 상기 사용자와의 상호작용에 의해 상기 사용자의 입력에 기초한 영역을 객체로 검출하는 동작 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 프리뷰 영상에서 얼굴 객체가 검출된 경우, 상기 객체영역을 설정하는 동작은 상기 얼굴의 정보를 추출하는 동작, 상기 추출된 얼굴 정보에 기초하여 사용자가 AR 객체를 드로잉할 수 있는 복수의 플레이트를 설정하는 동작 및 상기 설정된 복수의 플레이트에 기반하여 객체영역을 설정하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 결정하는 동작은 상기 사용자의 객체기반 드로잉 선택 입력 또는 공간기반 드로잉 선택 입력에 기초하여 상기 사용자의 AR 객체 입력에 대응하여 객체기반 드로잉을 적용할 것인지 공간기반 드로잉을 적용할 것인지를 결정하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 결정하는 동작은 상기 사용자의 AR 객체 입력의 시작 위치가 객체영역인지 공간영역인지에 기반하여 상기 사용자의 AR 객체 입력에 대응하여 객체기반 드로잉을 적용할 것인지 공간기반 드로잉을 적용할 것인지를 결정하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 객체기반 드로잉을 적용하는 동작은 상기 사용자의 AR 객체 입력을 검출하는 동작, 상기 사용자가 입력한 AR 객체를 상기 객체영역 내의 객체와 연관시켜 AR 객체 정보를 생성하는 동작 및 상기 생성한 AR 객체 정보를 상기 객체영역 내의 객체와 연관시켜 상기 메모리에 저장하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 방법은 상기 프리뷰 영상에서 객체를 검출하는 동작, 상기 검출된 객체와 연관된 AR 객체 정보를 획득하는 동작, 상기 획득한 AR 객체 정보에 기반하여 상기 검출된 객체와 연관하여 AR 객체를 표시는 동작 및 상기 검출된 객체의 움직임에 기반하여 상기 AR 객체의 표시를 변경하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 공간기반 드로잉을 적용하는 동작은 상기 전자 장치의 위치를 기초로 월드 좌표계(world coordinate)를 생성하는 동작, 상기 사용자의 AR 객체 입력을 검출하는 동작, 상기 사용자가 입력한 AR 객체의 상기 월드 좌표계 상의 좌표를 결정하는 동작 및 상기 결정된 월드 좌표계 상의 좌표를 포함하는 AR 객체 정보를 상기 메모리에 저장하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 방법은 상기 프리뷰 영상에 상기 공간기반 드로잉이 적용된 AR 객체를 표시하는 동작, 상기 전자 장치의 움직임 정보를 획득하는 동작, 상기 획득한 전자 장치의 움직임에 기반하여 상기 AR 객체의 표시를 변경하는 동작을 포함할 수 있다.
상술한 다양한 실시 예들에 따라 본원 발명은 프리뷰 화면에 사용자가 원하는 다양한 AR 객체를 드로잉하고 부착할 수 있도록 하여 줌으로써 사용자에게 향상된 몰입감과 재미 요소를 제공할 수 있다.
또한, 본원 발명은 객체기반 드로잉과 공간기반 드로잉을 모두 제공하여 사용자가 원하는 바에 맞춘 다양한 AR 객체의 삽입이 가능하도록 하는 기능을 제공할 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 노트북, PDA, 휴대용 멀티미디어 장치, 휴대용 의료 기기를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나",“A 또는 B 중 적어도 하나”, "A, B 또는 C", "A, B 및 C 중 적어도 하나” 및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 어떤 구성요소가 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 적어도 하나의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: CD-ROM(compact disc read only memory))의 형태로 배포되거나, 또는 애플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 애플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱(heuristic)하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    프리뷰 영상을 획득하는 적어도 하나의 카메라 모듈;
    상기 프리뷰 영상을 표시하고, 사용자 입력을 획득하기 위한 터치 회로를 구비한 표시 장치;
    상기 전자 장치의 움직임을 검출하는 6자유도 검출 모듈;
    상기 적어도 하나의 카메라 모듈, 상기 표시 장치 및 상기 6자유도 검출 모듈과 작동적으로 연결되는 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 작동적으로 연결되는 적어도 하나의 메모리를 포함하고,
    상기 적어도 하나의 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가,
    상기 적어도 하나의 카메라 모듈을 제어하여 프리뷰 영상을 획득하고,
    상기 프리뷰 영상에서 객체영역 및 공간영역을 설정하고,
    상기 프리뷰 영상을 상기 표시 장치에 표시하고,
    상기 표시 장치의 상기 터치 회로에 기반하여 증강 현실 객체를 추가하는 사용자의 입력을 획득하고,
    상기 사용자의 입력에 기초하여 상기 전자 장치의 움직임 및 연관된 객체의 움직임에 기초하여 상기 증강 현실 객체를 드로잉하는 객체기반 드로잉을 적용할 것인지 월드 좌표계 상의 위치에 기초하여 상기 증강 현실 객체를 드로잉하는 공간기반 드로잉을 적용할 것인지를 결정하고,
    상기 사용자의 입력에 대응하여 상기 객체기반 드로잉을 적용할 것인지 상기 공간기반 드로잉이 어플리케이션을 적용할 것인지 여부에 대한 상기 결정에 기초하여, 상기 프리뷰 영상에 객체기반 드로잉 또는 공간기반 드로잉을 적용하도록 하는 인스트럭션들을 저장하는, 전자 장치.
  2. 제1항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 프리뷰 영상에 포함된 적어도 하나의 객체를 검출하고,
    상기 검출된 적어도 하나의 객체에 대해 객체영역을 설정하고,
    상기 설정된 객체영역 이외의 상기 프리뷰 영상 내의 영역을 공간영역으로 설정하도록 하는 전자 장치.
  3. 제2항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 프리뷰 영상에 얼굴 또는 사용자가 드로잉(drawing)하거나 메모할 수 있는 평면 영역이 있는 경우 해당 얼굴 또는 해당 평면 영역을 객체로 검출하도록 하거나, 또는
    상기 사용자와의 상호작용에 의해 상기 사용자의 입력에 기초한 영역을 객체로 검출하도록 하는 전자 장치.
  4. 제3항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 프리뷰 영상에서 얼굴 객체가 검출된 경우, 상기 얼굴의 정보를 추출하고, 상기 추출된 얼굴 정보에 기초하여 사용자가 AR 객체를 드로잉할 수 있는 복수의 플레이트를 설정하고, 상기 설정된 복수의 플레이트에 기반하여 객체영역을 설정하도록 하는, 전자 장치.
  5. 제1항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 사용자의 객체기반 드로잉 선택 입력 또는 공간기반 드로잉 선택 입력에 기초하여 상기 사용자의 입력에 대응하여 객체기반 드로잉을 적용할 것인지 공간기반 드로잉을 적용할 것인지를 결정하도록 하는, 전자 장치.
  6. 제1항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 사용자의 입력의 시작 위치가 객체영역인지 공간영역인지에 기반하여 상기 사용자의 입력에 대응하여 객체기반 드로잉을 적용할 것인지 공간기반 드로잉을 적용할 것인지를 결정하도록 하는, 전자 장치.
  7. 제1항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 객체기반 드로잉을 적용하기 위하여,
    상기 사용자의 AR 객체 입력을 검출하고,
    상기 사용자가 입력한 AR 객체를 상기 객체영역 내의 객체와 연관시켜 AR 객체 정보를 생성하고,
    상기 생성한 AR 객체 정보를 상기 객체영역 내의 객체와 연관시켜 상기 메모리에 저장하도록 하는, 전자 장치.
  8. 제1항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 프리뷰 영상에서 객체를 검출하고,
    상기 검출된 객체와 연관된 AR 객체 정보를 획득하고,
    상기 획득한 AR 객체 정보에 기반하여 상기 검출된 객체와 연관하여 AR 객체를 표시하고,
    상기 검출된 객체의 움직임에 기반하여 상기 AR 객체의 표시를 변경하도록 하는, 전자 장치.
  9. 제1항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 공간기반 드로잉을 적용하기 위하여,
    상기 전자 장치의 위치를 기초로 월드 좌표계(world coordinate)를 생성하고,
    상기 사용자의 AR 객체 입력을 검출하고,
    상기 사용자가 입력한 AR 객체의 상기 월드 좌표계 상의 좌표를 결정하고,
    상기 결정된 월드 좌표계 상의 좌표를 포함하는 AR 객체 정보를 상기 메모리에 저장하도록 하는, 전자 장치.
  10. 제1항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 프리뷰 영상에 상기 공간기반 드로잉이 적용된 AR 객체를 표시하고,
    상기 전자 장치의 움직임 정보를 획득하고,
    상기 획득한 전자 장치의 움직임에 기반하여 상기 AR 객체의 표시를 변경하도록 하는, 전자 장치.
  11. 전자 장치의 동작 방법에 있어서,
    적어도 하나의 카메라 모듈을 이용하여 프리뷰 영상을 획득하는 동작;
    상기 프리뷰 영상에서 객체영역 및 공간영역을 설정하는 동작;
    상기 프리뷰 영상을 표시 장치에 표시하는 동작;
    상기 표시 장치를 이용한 증강 현실 객체를 추가하는 사용자의 입력에 기초하여 상기 전자 장치의 움직임 및 연관된 객체의 움직임에 기초하여 상기 증강 현실 객체를 드로잉하는 객체기반 드로잉을 적용할 것인지 월드 좌표계 상의 위치에 기초하여 상기 증강 현실 객체를 드로잉하는 공간기반 드로잉을 적용할 것인지를 결정하는 동작; 및
    상기 사용자의 입력에 대응하여 상기 객체기반 드로잉을 적용할 것인지 상기 공간기반 드로잉의 어플리케이션을 적용할 것인지 여부에 대한 상기 결정에 기초하여, 상기 프리뷰 영상에 객체기반 드로잉 또는 공간기반 드로잉을 적용하는 동작을 포함하는 방법.
  12. 제11항에 있어서,
    상기 프리뷰 영상에서 객체영역 및/또는 공간영역을 설정하는 동작은,
    상기 프리뷰 영상에 포함된 적어도 하나의 객체를 검출하는 동작;
    상기 검출된 적어도 하나의 객체에 대해 객체영역을 설정하는 동작; 및
    상기 설정된 객체영역 이외의 상기 프리뷰 영상 내의 영역을 공간영역으로 설정하는 동작을 포함하는 방법.
  13. 제12항에 있어서,
    상기 적어도 하나의 객체를 검출하는 동작은,
    상기 프리뷰 영상에 얼굴 또는 사용자가 드로잉(drawing)하거나 메모할 수 있는 평면 영역이 있는 경우 해당 얼굴 또는 해당 평면 영역을 객체로 검출하는 동작 및
    상기 사용자와의 상호작용에 의해 상기 사용자의 입력에 기초한 영역을 객체로 검출하는 동작 중 적어도 하나를 포함하는 방법
  14. 제13항에 있어서,
    상기 프리뷰 영상에서 얼굴 객체가 검출된 경우, 상기 객체영역을 설정하는 동작은,
    상기 얼굴의 정보를 추출하는 동작;
    상기 추출된 얼굴 정보에 기초하여 사용자가 AR 객체를 드로잉할 수 있는 복수의 플레이트를 설정하는 동작; 및
    상기 설정된 복수의 플레이트에 기반하여 객체영역을 설정하는 동작을 포함하는 방법.
  15. 제11항에 있어서,
    상기 결정하는 동작은,
    상기 사용자의 객체기반 드로잉 선택 입력 또는 공간기반 드로잉 선택 입력에 기초하여 상기 사용자의 AR 객체 입력에 대응하여 객체기반 드로잉을 적용할 것인지 공간기반 드로잉을 적용할 것인지를 결정하는 동작을 포함하는 방법.
  16. 제11항에 있어서,
    상기 결정하는 동작은,
    상기 사용자의 AR 객체 입력의 시작 위치가 객체영역인지 공간영역인지에 기반하여 상기 사용자의 AR 객체 입력에 대응하여 객체기반 드로잉을 적용할 것인지 공간기반 드로잉을 적용할 것인지를 결정하는 동작을 포함하는 방법.
  17. 제11항에 있어서,
    상기 객체기반 드로잉을 적용하는 동작은,
    상기 사용자의 AR 객체 입력을 검출하는 동작;
    상기 사용자가 입력한 AR 객체를 상기 객체영역 내의 객체와 연관시켜 AR 객체 정보를 생성하는 동작; 및
    상기 생성한 AR 객체 정보를 상기 객체영역 내의 객체와 연관시켜 메모리에 저장하는 동작을 포함하는 방법.
  18. 제11항에 있어서, 상기 방법은,
    상기 프리뷰 영상에서 객체를 검출하는 동작;
    상기 검출된 객체와 연관된 AR 객체 정보를 획득하는 동작;
    상기 획득한 AR 객체 정보에 기반하여 상기 검출된 객체와 연관하여 AR 객체를 표시는 동작; 및
    상기 검출된 객체의 움직임에 기반하여 상기 AR 객체의 표시를 변경하는 동작을 포함하는 방법.
  19. 제11항에 있어서,
    상기 공간기반 드로잉을 적용하는 동작은,
    상기 전자 장치의 위치를 기초로 월드 좌표계(world coordinate)를 생성하는 동작;
    상기 사용자의 AR 객체 입력을 검출하는 동작;
    상기 사용자가 입력한 AR 객체의 상기 월드 좌표계 상의 좌표를 결정하는 동작; 및
    상기 결정된 월드 좌표계 상의 좌표를 포함하는 AR 객체 정보를 메모리에 저장하는 동작을 포함하는 방법.
  20. 제11항에 있어서, 상기 방법은,
    상기 프리뷰 영상에 상기 공간기반 드로잉이 적용된 AR 객체를 표시하는 동작;
    상기 전자 장치의 움직임 정보를 획득하는 동작;
    상기 획득한 전자 장치의 움직임에 기반하여 상기 AR 객체의 표시를 변경하는 동작을 포함하는 방법.
KR1020190092906A 2019-07-31 2019-07-31 Ar 객체 생성 방법 및 전자 장치 KR102570009B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190092906A KR102570009B1 (ko) 2019-07-31 2019-07-31 Ar 객체 생성 방법 및 전자 장치
US16/934,256 US11403848B2 (en) 2019-07-31 2020-07-21 Electronic device and method for generating augmented reality object
EP20846219.2A EP3973514A4 (en) 2019-07-31 2020-07-31 ELECTRONIC DEVICE AND METHOD FOR GENERATION OF AUGMENTED REALITY OBJECTS
PCT/KR2020/010155 WO2021020940A1 (en) 2019-07-31 2020-07-31 Electronic device and method for generating augmented reality object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190092906A KR102570009B1 (ko) 2019-07-31 2019-07-31 Ar 객체 생성 방법 및 전자 장치

Publications (2)

Publication Number Publication Date
KR20210014892A KR20210014892A (ko) 2021-02-10
KR102570009B1 true KR102570009B1 (ko) 2023-08-23

Family

ID=74230408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190092906A KR102570009B1 (ko) 2019-07-31 2019-07-31 Ar 객체 생성 방법 및 전자 장치

Country Status (4)

Country Link
US (1) US11403848B2 (ko)
EP (1) EP3973514A4 (ko)
KR (1) KR102570009B1 (ko)
WO (1) WO2021020940A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210017081A (ko) 2019-08-06 2021-02-17 삼성전자주식회사 객체에 대응하는 그래픽 요소 표시 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190228580A1 (en) * 2018-01-24 2019-07-25 Facebook, Inc. Dynamic Creation of Augmented Reality Effects

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5592597A (en) 1994-02-14 1997-01-07 Parametric Technology Corporation Real-time image generation system for simulating physical paint, drawing media, and feature modeling with 3-D graphics
US20040160414A1 (en) * 1996-07-05 2004-08-19 Armstrong Brad A. Image controller
US8601396B2 (en) * 2003-05-08 2013-12-03 Hillcrest Laboratories, Inc. Systems and methods for node tracking and notification in a control framework including a zoomable graphical user interface
US7280863B2 (en) * 2003-10-20 2007-10-09 Magnetecs, Inc. System and method for radar-assisted catheter guidance and control
US7796155B1 (en) 2003-12-19 2010-09-14 Hrl Laboratories, Llc Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
US20070242042A1 (en) * 2006-04-12 2007-10-18 Honeywell International Inc. Free standing joystick
CN105867531B (zh) * 2011-02-10 2019-08-09 三星电子株式会社 包含触摸屏显示器的便携式设备以及控制它的方法
EP2600316A1 (en) * 2011-11-29 2013-06-05 Inria Institut National de Recherche en Informatique et en Automatique Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation
KR101423524B1 (ko) 2011-12-21 2014-08-01 주식회사 더클락웍스 그림 그리기 사용자 인터페이스 및 그림 공유 시스템과 그 방법
US8854342B2 (en) 2012-03-02 2014-10-07 Adobe Systems Incorporated Systems and methods for particle-based digital airbrushing
US8896579B2 (en) 2012-03-02 2014-11-25 Adobe Systems Incorporated Methods and apparatus for deformation of virtual brush marks via texture projection
US8994698B2 (en) * 2012-03-02 2015-03-31 Adobe Systems Incorporated Methods and apparatus for simulation of an erodible tip in a natural media drawing and/or painting simulation
US9253752B2 (en) * 2012-06-04 2016-02-02 Senaya, Inc. Asset tracking system activated by predetermined pattern of asset movement
US9741145B2 (en) 2012-06-29 2017-08-22 Disney Enterprises, Inc. Augmented reality simulation continuum
US9147251B2 (en) 2012-08-03 2015-09-29 Flyby Media, Inc. Systems and methods for efficient 3D tracking of weakly textured planar surfaces for augmented reality applications
CN104871120A (zh) * 2012-09-14 2015-08-26 维德万特格有限公司 使用磁场传感器来确定用户输入的电气设备
JP2015504565A (ja) 2012-10-31 2015-02-12 ▲華▼▲為▼▲終▼端有限公司 描画制御方法、装置、およびモバイル端末
WO2014204330A1 (en) * 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
US9704412B2 (en) * 2013-08-26 2017-07-11 John Andrew Wells Biometric data gathering
US9390344B2 (en) * 2014-01-09 2016-07-12 Qualcomm Incorporated Sensor-based camera motion detection for unconstrained slam
KR102561200B1 (ko) * 2014-02-10 2023-07-28 삼성전자주식회사 사용자 단말 장치 및 이의 디스플레이 방법
US20160140761A1 (en) 2014-11-19 2016-05-19 Microsoft Technology Licensing, Llc. Using depth information for drawing in augmented reality scenes
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
KR20170041098A (ko) 2015-10-06 2017-04-14 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US20180046874A1 (en) * 2016-08-10 2018-02-15 Usens, Inc. System and method for marker based tracking
DE202017104928U1 (de) * 2016-08-23 2017-11-24 Google Inc. Manipulation virtueller Objekte anhand von Controllern mit sechs Freiheitsgraden in erweiterten bzw. virtuellen Realitätsumgebungen
US20180101986A1 (en) * 2016-10-10 2018-04-12 Aaron Mackay Burns Drawing in a 3d virtual reality environment
KR101944112B1 (ko) * 2016-12-22 2019-04-17 주식회사 시어스랩 사용자 저작 스티커를 생성하는 방법 및 장치, 사용자 저작 스티커 공유 시스템
EP3616040B1 (en) * 2017-04-27 2022-09-28 Magic Leap, Inc. Augmented reality system comprising light-emitting user input device
US10564174B2 (en) * 2017-09-06 2020-02-18 Pixart Imaging Inc. Optical sensing apparatuses, method, and optical detecting module capable of estimating multi-degree-of-freedom motion
KR102560689B1 (ko) * 2017-09-26 2023-07-28 삼성전자주식회사 Ar 객체를 표시하기 위한 장치 및 방법
US10866652B2 (en) * 2017-11-13 2020-12-15 Samsung Electronics Co., Ltd. System and method for distributed device tracking
KR102012835B1 (ko) 2017-12-29 2019-08-21 주식회사 버넥트 문자의 필기를 인식하고 증강현실 객체의 조작이 가능한 증강현실 시스템
CN108510597A (zh) * 2018-03-09 2018-09-07 北京小米移动软件有限公司 虚拟场景的编辑方法、装置及非临时性计算机可读存储介质
EP3797345A4 (en) * 2018-05-22 2022-03-09 Magic Leap, Inc. TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM
US10890982B2 (en) * 2018-12-18 2021-01-12 Samsung Electronics Co., Ltd. System and method for multipurpose input device for two-dimensional and three-dimensional environments
US11947791B2 (en) * 2019-05-06 2024-04-02 Apple Inc. Devices, methods, and systems for manipulating user interfaces
US10997766B1 (en) * 2019-11-06 2021-05-04 XRSpace CO., LTD. Avatar motion generating method and head mounted display system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190228580A1 (en) * 2018-01-24 2019-07-25 Facebook, Inc. Dynamic Creation of Augmented Reality Effects

Also Published As

Publication number Publication date
EP3973514A4 (en) 2022-07-20
WO2021020940A1 (en) 2021-02-04
US20210034872A1 (en) 2021-02-04
US11403848B2 (en) 2022-08-02
EP3973514A1 (en) 2022-03-30
KR20210014892A (ko) 2021-02-10

Similar Documents

Publication Publication Date Title
KR102565755B1 (ko) 얼굴의 특징점의 움직임에 따라 모션이 수행된 아바타를 표시하는 전자 장치와 이의 동작 방법
US11636641B2 (en) Electronic device for displaying avatar corresponding to external object according to change in position of external object
US20200265234A1 (en) Electronic device for providing shooting mode based on virtual character and operation method thereof
KR20200086830A (ko) 폴더블 디스플레이를 이용하여 이미지를 제공하는 방법 및 이를 지원하기 위한 전자 장치
KR102582863B1 (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
US11069115B2 (en) Method of controlling display of avatar and electronic device therefor
US11461949B2 (en) Electronic device for providing avatar and operating method thereof
KR102543695B1 (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
EP3570144A1 (en) Electronic device for providing vr/ar content
KR20200093213A (ko) 전자 장치 및 전자 장치의 그래픽 객체 제어 방법
US11284020B2 (en) Apparatus and method for displaying graphic elements according to object
KR102570009B1 (ko) Ar 객체 생성 방법 및 전자 장치
KR102646684B1 (ko) 전자 장치 및 컨텐츠를 생성하는 방법
KR102656963B1 (ko) 전자 장치 및 전자 장치의 제어 방법
KR102659357B1 (ko) 아바타 애니메이션을 제공하기 위한 전자 장치 및 그에 관한 방법
US11431900B2 (en) Image data processing method and device therefor
KR20210012562A (ko) 아바타를 제공하는 전자 장치 및 그의 동작 방법
KR20200117216A (ko) 전자 장치 및 전자 장치의 제어 방법
KR20210115786A (ko) 자기 이미지 캡쳐 방법 및 이를 위한 전자 장치
KR20210086812A (ko) 동영상 처리 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right