KR102614048B1 - 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법 - Google Patents

증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR102614048B1
KR102614048B1 KR1020170178094A KR20170178094A KR102614048B1 KR 102614048 B1 KR102614048 B1 KR 102614048B1 KR 1020170178094 A KR1020170178094 A KR 1020170178094A KR 20170178094 A KR20170178094 A KR 20170178094A KR 102614048 B1 KR102614048 B1 KR 102614048B1
Authority
KR
South Korea
Prior art keywords
music
processor
genre
electronic device
display
Prior art date
Application number
KR1020170178094A
Other languages
English (en)
Other versions
KR20190076360A (ko
Inventor
권오윤
오영학
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170178094A priority Critical patent/KR102614048B1/ko
Priority to PCT/KR2018/016399 priority patent/WO2019125029A1/ko
Priority to US16/772,421 priority patent/US11189102B2/en
Publication of KR20190076360A publication Critical patent/KR20190076360A/ko
Application granted granted Critical
Publication of KR102614048B1 publication Critical patent/KR102614048B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

다양한 실시 예들에 따른 전자 장치는, 디스플레이, 카메라 모듈, 마이크, 및 카메라 어플리케이션을 실행하는 것에 기반하여, 상기 카메라 모듈을 이용하여 획득되는 이미지를 상기 디스플레이를 통해 표시하고, 상기 카메라 어플리케이션을 실행하는 것에 기반하여 상기 마이크를 활성화하고, 상기 활성화된 마이크를 통해 음악을 수신하고, 상기 수신된 음악의 장르에 기반하여 상기 표시된 이미지에 중첩된 AR(augmented reality) 객체를 표시하도록 설정된 적어도 하나의 프로세서를 포함할 수 있다.

Description

증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법{ELECTRONIC DEVICE AND METHOD FOR DISPLAYING OBJECT FOR AUGMENTED REALITY}
다양한 실시 예들은 증강 현실(AR, augmented reality)을 위한 객체를 표시하는 방법 및 전자 장치에 관한 것이다.
디지털 기술의 발달과 함께 이동 통신 단말기, PDA(personal digital assistant), 전자 수첩, 스마트폰, 태블릿(tablet) PC(personal computer), 또는 웨어러블 디바이스(wearable device) 등의 다양한 전자 장치들이 보급되고 있다. 다양한 전자 장치들은, 사용자에게 다양한 경험을 제공할 수 있다. 예를 들면, 전자 장치는, 현실의 사물에 가상의 정보를 덧붙여 보여주는 증강 현실(AR, augmented reality)을 제공할 수 있다. 증강 현실을 제공하기 위한 전자 장치는, 카메라를 통해 현실의 사물에 대한 프리뷰 이미지를 획득하고, 현실의 사물을 인식(또는 식별(identify))할 수 있다. 전자 장치는, 인식된 사물에 기반하여, 프리뷰 이미지 상에 증강 현실에 대한 정보(예: 가상의 객체)를 표시할 수 있다. 이러한 증강 현실은, 예를 들면, 게임 어플리케이션(application) 또는 카메라 어플리케이션을 통해서 사용자에게 제공될 수 있다.
전자 장치는 카메라를 통해 획득되는 프리뷰 이미지에 중첩된 AR(augmented reality) 객체를 표시할 수 있다. 이러한 AR 객체의 표시를 위해, AR 객체를 호출하거나 검색하기 위한 사용자 입력이 요구될 수 있다. 따라서, 전자 장치 내에서 프리뷰 이미지를 표시하는 상태에서 AR 객체를 호출하거나 검색하기 위한 사용자 입력의 요구 없이 AR 객체를 표시하기 위한 방안이 요구될 수 있다.
다양한 실시예들은, 전자 장치 주변에서 재생되는 음악에 대한 정보에 기반하여, 프리뷰 이미지 위에 AR 객체를 표시하기 위한 전자 장치 및 방법을 제공할 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시 예들에 따른 전자 장치는, 디스플레이, 카메라 모듈, 마이크, 및 카메라 어플리케이션을 실행하는 것에 기반하여, 상기 카메라 모듈을 이용하여 획득되는 이미지를 상기 디스플레이를 통해 표시하고, 상기 카메라 어플리케이션을 실행하는 것에 기반하여 상기 마이크를 활성화하고, 상기 활성화된 마이크를 통해 음악을 수신하고, 상기 수신된 음악의 장르에 기반하여 상기 표시된 이미지에 중첩된 AR(augmented reality) 객체를 표시하도록 설정된 적어도 하나의 프로세서를 포함할 수 있다.
다양한 실시 예들에 따른 전자 장치의 방법은, 카메라 어플리케이션을 실행하는 것에 기반하여, 상기 전자 장치의 카메라 모듈을 이용하여 획득되는 이미지를 표시하는 동작과, 상기 카메라 어플리케이션을 실행하는 것에 기반하여 상기 전자 장치의 마이크를 활성화하는 동작과, 상기 활성화된 마이크를 통해 음악을 수신하는 동작과, 상기 수신된 음악의 장르에 기반하여 상기 표시된 이미지에 중첩된 AR(augmented reality) 객체를 표시하는 동작을 포함할 수 있다.
다양한 실시 예들에 따른 장치 및 방법은, AR 객체를 선택하기 위한 사용자 입력을 수신함이 없이, 전자 장치 주변에서 재생되는 음악에 대응하는 AR 객체를 표시할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는 다양한 실시예들에 따른, 표시 장치의 블록도이다.
도 3은 다양한 실시에 따른, 오디오 모듈의 블록도이다.
도 4는 다양한 실시예들에 따른, 카메라 모듈의 블럭도이다.
도 5는 다양한 실시 예들에 따른 전자 장치의 기능적 구성의 예를 도시한다.
도 6은 다양한 실시 예들에 따른 AR 객체들을 저장하는 데이터베이스를 설명하기 위한 도면이다.
도 7은 다양한 실시 예들에 따른 전자 장치의 동작의 예를 도시한다.
도 8은 다양한 실시 예들에 따른 카메라 어플리케이션의 화면의 예를 도시한다.
도 9는 다양한 실시 예들에 따른 전자 장치에서 음악의 장르를 식별하기 위한 동작의 예를 도시한다.
도 10은 다양한 실시 예들에 따른 전자 장치에서 이미지에 포함된 사람의 자세(posture)에 대응하는 AR 객체를 표시하기 위한 동작의 예를 도시한다.
도 11은 다양한 실시 예들에 따른 전자 장치에서 이미지에 포함된 사람의 자세(posture)에 대응하는 AR 객체의 표시의 예를 도시한다.
도 12는 다양한 실시 예들에 따른 전자 장치에서 식별된 음악의 장르에 기반하여 표시되는 AR 객체의 예를 도시한다.
도 13은 다양한 실시 예들에 따른 전자 장치에서, 카메라 어플리케이션을 실행하는 도중에 음악이 식별되는 경우 화면의 예를 도시한다.
도 14는 다양한 실시 예들에 따른 전자 장치에서 획득된 동영상을, 동영상과 관련된 AR 객체에 관한 정보와 함께 저장하기 위한 동작의 예를 도시한다.
도 15는 다양한 실시 예들에 따른 전자 장치에서, 동영상이 AR 객체에 관한 정보와 함께 저장된 화면의 예를 도시한다.
도 16은 다양한 실시 예들에 따른 전자 장치에서, AR 객체가 표시된 동영상을 재생하기 위한 동작의 예를 도시한다.
도 17은 다양한 실시 예들에 따른 전자 장치에서, AR 객체가 표시된 동영상을 재생하기 위한 화면의 예를 도시한다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램(140))로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(100))를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 및 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(160)(예: 디스플레이)에 임베디드된 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(123)는 메인 프로세서(121)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부 구성 요소로서 구현될 수 있다. 메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(160)는 전자 장치(101)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 외부 전자 장치(예: 전자 장치(102))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(190)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일실시예에 따르면, 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(101)를 구별 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일시예에 따르면, 통신 모듈(190)(예: 무선 통신 모듈(192))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시예들에 따른, 표시 장치(160)의 블록도(200)이다. 도 2를 참조하면, 표시 장치(160)는 디스플레이(210), 및 이를 제어하기 위한 디스플레이 드라이버 IC(DDI)(230)를 포함할 수 있다. DDI(230)는 인터페이스 모듈(231), 메모리(233)(예: 버퍼 메모리), 이미지 처리 모듈(235), 또는 맵핑 모듈(237)을 포함할 수 있다. DDI(230)은, 예를 들면, 인터페이스 모듈(231)을 통하여 프로세서(120)(예: 메인 프로세서(121)(예: 어플리케이션 프로세서) 또는 메인 프로세서(121)의 기능과 독립적으로 운영되는 보조 프로세서(123))로부터 영상 데이터, 또는 상기 영상 데이터를 제어하기 위한 명령에 대응하는 영상 제어 신호를 포함하는 영상 정보를 수신할 수 있다. DDI(230)는 터치 회로(250) 또는 센서 모듈(176) 등과 상기 인터페이스 모듈(231)을 통하여 커뮤니케이션할 수 있다. 또한, DDI(230)는 상기 수신된 영상 정보 중 적어도 일부를 메모리(233)에, 예를 들면, 프레임 단위로 저장할 수 있다. 이미지 처리 모듈(235)은, 예를 들면, 상기 영상 데이터의 적어도 일부를 상기 영상 데이터의 특성 또는 디스플레이(210)의 특성에 적어도 기반하여 전처리 또는 후처리(예: 해상도, 밝기, 또는 크기 조정)를 수행할 수 있다. 맵핑 모듈(237)은 디스플레이(210)의 픽셀들의 속성(예: 픽셀들의 배열(RGB stripe 또는 pentile), 또는 서브 픽셀들 각각의 크기)에 적어도 일부 기반하여, 이미지 처리 모듈(135)를 통해 전처리 또는 후처리된 상기 영상 데이터를 상기 픽셀들을 구동할 수 있는 전압 값 또는 전류 값으로 변환할 수 있다. 디스플레이(210)의 적어도 일부 픽셀들은, 예를 들면, 상기 전압 값 또는 전류 값에 기반하여 구동됨으로써 상기 영상 데이터에 대응하는 시각적 정보(예: 텍스트, 이미지, 또는 아이콘)가 디스플레이(210)에 표시될 수 있다.
일실시예에 따르면, 표시 장치(160)는 터치 회로(250)를 더 포함할 수 있다. 터치 회로(250)는 터치 센서(251) 및 이를 제어하기 위한 터치 센서 IC(253)를 포함할 수 있다. 터치 센서 IC(253)는 터치 센서(251)를 제어하여, 예를 들면, 디스플레이(210)의 특정 위치에 대한 신호(예: 전압, 광량, 저항, 또는 전하량)의 변화를 측정함으로써 상기 특정 위치에 대한 터치 입력 또는 호버링 입력을 감지하고, 감지된 터치 입력 또는 호버링 입력에 관한 정보(예: 위치, 면적, 압력, 또는 시간)를 프로세서(120) 에 제공할 수 있다. 일실시예에 따르면, 터치 회로(250)의 적어도 일부(예: 터치 센서 IC(253))는 디스플레이 드라이버 IC(230), 또는 디스플레이(210)의 일부로, 또는 표시 장치(160)의 외부에 배치된 다른 구성요소(예: 보조 프로세서(123))의 일부로 포함될 수 있다.
일실시예에 따르면, 표시 장치(160)는 센서 모듈(176)의 적어도 하나의 센서(예: 지문 센서, 홍채 센서, 압력 센서 또는 조도 센서), 또는 이에 대한 제어 회로를 더 포함할 수 있다. 이 경우, 상기 적어도 하나의 센서 또는 이에 대한 제어 회로는 표시 장치(160)의 일부(예: 디스플레이(210) 또는 DDI(230)) 또는 터치 회로(250)의 일부에 임베디드되어 구현될 수 있다. 예를 들면, 표시 장치(160)에 임베디드된 센서 모듈(176)이 생체 센서(예: 지문 센서)를 포함할 경우, 상기 생체 센서는 디스플레이(210)의 일부 영역을 통해 터치 입력과 연관된 생체 정보(예: 지문 이미지)를 획득할 수 있다. 다른 예를 들면, 표시 장치(160)에 임베디드된 센서 모듈(176)이 압력 센서를 포함할 경우, 상기 압력 센서는 디스플레이(210)의 일부 또는 전체 영역을 통해 터치 입력에 대한 압력 정보를 획득할 수 있다. 일실시예에 따르면, 터치 센서(251) 또는 센서 모듈(176)은 디스플레이(210)의 픽셀 레이어의 픽셀들 사이에, 또는 상기 픽셀 레이어의 위에 또는 아래에 배치될 수 있다.
도 3은, 다양한 실시에 따른, 오디오 모듈(170)의 블록도(300)이다. 도 3를 참조하면, 오디오 모듈(170)은, 예를 들면, 오디오 입력 인터페이스(310), 오디오 입력 믹서(320), ADC(analog to digital converter)(330), 오디오 신호 처리기(340), DAC(digital to analog converter)(350), 오디오 출력 믹서(360), 또는 오디오 출력 인터페이스(370)를 포함할 수 있다.
오디오 입력 인터페이스(310)는 입력 장치(150)의 일부로서 또는 전자 장치(101)와 별도로 구성된 마이크(예: 다이나믹 마이크, 콘덴서 마이크, 또는 피에조 마이크)를 통하여 전자 장치(101)의 외부로부터 획득한 소리에 대응하는 오디오 신호를 수신할 수 있다. 예를 들어, 외부의 전자 장치(102)(예: 헤드셋 또는 마이크)로부터 오디오 신호를 획득하는 경우, 오디오 입력 인터페이스(310)는 상기 외부의 전자 장치(102)와 연결 단자(178)를 통해 유선으로, 또는 무선 통신 모듈(192)을 통하여 무선으로(예: Bluetooth 통신) 연결되어 오디오 신호를 수신할 수 있다. 일실시예에 따르면, 오디오 입력 인터페이스(310)는 상기 외부의 전자 장치(102)로부터 획득되는 오디오 신호와 관련된 제어 신호(예: 입력 버튼을 이용한 볼륨 조정 신호)를 수신할 수 있다. 오디오 입력 인터페이스(310)는 복수의 오디오 입력 채널들을 포함하고, 각각의 오디오 입력 채널 별로 다른 오디오 신호를 수신할 수 있다. 일실시예에 따르면, 추가적으로 또는 대체적으로, 오디오 입력 인터페이스(310)는 전자 장치(101)의 다른 구성 요소(예: 프로세서(120) 또는 메모리(130))로부터 오디오 신호를 입력 받을 수 있다.
오디오 입력 믹서(320)는 입력된 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 일실시예에 따르면, 오디오 입력 믹서(320)는, 오디오 입력 인터페이스(310)를 통해 입력된 복수의 아날로그 오디오 신호들을 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다.
ADC(330)는 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있다. 일실시예에 따르면, ADC(330)는 오디오 입력 인터페이스(310)을 통해 수신된 아날로그 오디오 신호, 또는 추가적으로 또는 대체적으로 오디오 입력 믹서(320)를 통해 합성된 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있다.
오디오 신호 처리기(340)는 ADC(330)를 통해 입력받은 디지털 오디오 신호, 또는 전자 장치(101)의 다른 구성 요소로부터 수신된 디지털 오디오 신호에 대하여 다양한 처리를 수행할 수 있다. 예를 들어, 오디오 신호 처리기(340)는 하나 이상의 디지털 오디오 신호들에 대해 샘플링 비율 변경, 하나 이상의 필터 적용, 보간(interpolation) 처리, 증폭 또는 감쇄(예: 일부 주파수 대역 또는 전 주파수 대역의 증폭 또는 감쇄) 처리, 노이즈 처리(예: 노이즈 또는 에코 감쇄), 채널 변경(예: 모노 및 스테레오간 전환), 합성(mixing), 또는 지정된 신호 추출을 수행할 수 있다. 일실시예에 따르면, 오디오 신호 처리기(340)의 적어도 일부 기능은 이퀄라이저(equalizer)의 형태로 구현될 수 있다.
DAC(350)는 디지털 오디오 신호를 아날로그 오디오 신호로 변환할 수 있다. 일실시예에 따르면, DAC(350)는 오디오 신호 처리기(340)에 의해 처리된 디지털 오디오 신호, 또는 전자 장치(101)의 다른 구성 요소로부터 획득한 디지털 오디오 신호를 아날로그 오디오 신호로 변환할 수 있다.
오디오 출력 믹서(360)는 출력할 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 일실시예에 따르면, 오디오 출력 믹서(360)는 DAC(350)를 통해 아날로그로 전환된 오디오 신호 및 다른 아날로그 오디오 신호(예: 오디오 입력 인터페이스(310)을 통해 수신한 아날로그 오디오 신호)를 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다.
오디오 출력 인터페이스(370)는 DAC(350)를 통해 변환된 아날로그 오디오 신호, 또는 추가적으로 또는 대체적으로 오디오 출력 믹서(360)에 의해 합성된 아날로그 오디오 신호를 음향 출력 장치(155)(예: 스피커(예: dynamic driver 또는 balanced armature driver), 또는 리시버)를 통해 전자 장치(101)의 외부로 출력할 수 있다. 일실시예에 따르면, 음향 출력 장치(155)는 복수의 스피커들을 포함하고, 오디오 출력 인터페이스(370)는 상기 복수의 스피커들 중 적어도 일부 스피커들을 통하여 서로 다른 복수의 채널들(예: 스테레오, 또는 5.1채널)을 갖는 오디오 신호를 출력할 수 있다. 일실시예에 따르면, 오디오 출력 인터페이스(370)는 외부의 전자 장치(102)(예: 외부 스피커 또는 헤드셋)와 연결 단자(178)를 통해 유선으로, 또는 무선 통신 모듈(192)을 통하여 무선으로 연결되어 오디오 신호를 출력할 수 있다.
일실시예에 따르면, 오디오 모듈(170)은 오디오 입력 믹서(320) 또는 오디오 출력 믹서(360)를 별도로 구비하지 않고, 오디오 신호 처리기(340)의 적어도 일부 기능으로서 복수의 디지털 오디오 신호들을 합성하여 적어도 하나의 디지털 오디오 신호를 생성할 수 있다.
일실시예에 따르면, 오디오 모듈(170)은 오디오 입력 인터페이스(310)를 통해 입력된 아날로그 오디오 신호, 또는 오디오 출력 인터페이스(370)를 통해 출력될 오디오 신호를 증폭할 수 있는 오디오 증폭기(미도시)(예: 스피커 증폭 회로)를 포함할 수 있다. 일실시예에 따르면, 상기 오디오 증폭기는 오디오 모듈(170)과 별도의 모듈로 구성될 수 있다.
도 4는, 다양한 실시예들에 따른, 카메라 모듈(180)의 블럭도(400)이다. 도 4를 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(410), 플래쉬(420), 이미지 센서(430), 이미지 스태빌라이저(440), 메모리(450)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(460)를 포함할 수 있다. 렌즈 어셈블리(410)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(410)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(410)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)일 수 있다. 복수의 렌즈 어셈블리(410)들은 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리와 적어도 하나의 다른 렌즈 속성을 가질 수 있다. 렌즈 어셈블리(410)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다. 플래쉬(420)는 피사체로부터 방출되는 빛을 강화하기 위하여 사용되는 광원을 방출할 수 있다. 플래쉬(420)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다.
이미지 센서(430)는 피사체로부터 렌즈 어셈블리(410)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일실시예에 따르면, 이미지 센서(430)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(430)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서로 구현될 수 있다.
이미지 스태빌라이저(440)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향(예: 이미지 흔들림)을 적어도 일부 보상하기 위하여 렌즈 어셈블리(410)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(430)를 특정한 방향으로 움직이거나 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 일실시예에 따르면, 이미지 스태빌라이저(440)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있으며, 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 상기 움직임을 감지할 수 있다.
메모리(450)는 이미지 센서(430)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: 높은 해상도의 이미지)는 메모리(450)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(450)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(460)에 의해 획득되어 처리될 수 있다. 일실시예에 따르면, 메모리(450)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(460)는 이미지 센서(430)을 통하여 획득된 이미지 또는 메모리(450)에 저장된 이미지에 대하여 이미지 처리(예: 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening))을 수행할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(460)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(430))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(460)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(450)에 다시 저장 되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 표시 장치(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 전달될 수 있다. 일실시예에 따르면, 이미지 시그널 프로세서(460)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(460)에 의해 처리된 이미지들은 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(160)를 통해 표시될 수 있다.
일실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 둘 이상의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 적어도 하나의 카메라 모듈(180)은 광각 카메라 또는 전면 카메라이고, 적어도 하나의 다른 카메라 모듈은 망원 카메라 또는 후면 카메라일 수 있다.
도 5는 다양한 실시 예들에 따른 전자 장치(101)의 기능적 구성의 예를 도시한다.
도 5를 참조하면, 전자 장치(101)는, 카메라 모듈(180), 오디오 모듈(170), 마이크(550), 통신 모듈(190), 디스플레이(210), 메모리(130), 및 프로세서(120)를 포함할 수 있다. 다만 이에 한정되지 않으며, 일부 구성 요소가 생략될 수도 있고, 다른 구성 요소가 추가될 수도 있다.
카메라 모듈(180)은, 영상(image)(예: 정지 영상(still image) 및 동영상(moving image or video))을 획득(acquire)(또는 촬영(photograph))할 수 있다. 예를 들면, 카메라 모듈(180)의 이미지 시그널 프로세서(460)는, 영상(예: 프리뷰 영상 또는 메모리(130)에 저장된 영상)에 포함된 객체(예: 사람)와 배경을 구분할 수 있다. 이미지 시그널 프로세서(460)는, 영상(예: 프리뷰 영상 또는 메모리(130)에 포함된 영상)에 관한 특징점을 추출할 수 있다. 상기 특징점은, 영상에 포함된 사람의 얼굴(예: 눈, 코, 입 등) 또는 동작(gesture)(또는 자세(posture))을 식별(identify)(또는 인식(recognize))하기 위해 이용될 수 있다. 이미지 시그널 프로세서(460)는, 카메라 모듈(180)로부터 분리되거나, 프로세서(120)의 일부로서 구현될 수 있다.
오디오 모듈(170)은, 마이크(550)(예: 입력 장치(150))를 통해, 전자 장치(101)의 외부로부터 오디오 신호(예: 소리, 음악)를 획득(acquire)(또는 수신)할 수 있다. 획득된 오디오 신호는, 음악 소리를 포함할 수 있다. 예를 들면, 오디오 모듈(170)(예: 오디오 신호 처리기(340))은, 획득된 오디오 신호에 포함된 음악에 관한 정보(예: 음악의 장르)를 획득하기 위한 전처리(preprocessing)를 수행할 수 있다. 예를 들면, 오디오 모듈(170)은, 오디오 신호로부터 노이즈를 제거하는 것과 관련된 처리를 수행하거나, 오디오 신호의 특징점을 추출하는 것과 관련된 처리를 수행할 수 있다. 다른 예를 들면, 오디오 모듈(170)은, 프로세서(120)가 상술한 처리들을 수행하도록, 획득된 오디오 신호를 프로세서(120)에게 송신할 수 있다.
프로세서(120)는, 전자 장치(101)의 전반적인 동작을 제어할 수 있다. 프로세서(120)는, 다른 구성 요소들(예: 카메라 모듈(180), 오디오 모듈(170), 통신 모듈(190), 디스플레이(210), 메모리(130) 등)의 명령을 수신할 수 있고, 수신된 명령을 해석할 수 있으며, 해석된 명령에 따라서 계산을 수행하거나 데이터를 처리할 수 있다. 프로세서(120)는, 소프트웨어로 구현될 수도 있고, 칩(chip), 회로(circuitry) 등과 같은 하드웨어로 구현될 수도 있으며, 소프트웨어 및 하드웨어의 집합체로 구현될 수도 있다. 프로세서(120)는, 하나일 수도 있고, 복수의 프로세서들의 집합체일 수도 있다.
프로세서(120)는, 메모리(130)에 저장된 어플리케이션(예: 어플리케이션(143))을 실행할 수 있다. 프로세서(120)는 상기 어플리케이션을 통해, 카메라 모듈(180)을 이용하여 이미지를 획득할 수 있다. 상기 어플리케이션은, 이미지에 중첩되거나(superimposed on) 또는 플로팅되는(floated on), 증강 현실(AR, augmented reality) 객체를 제공할 수 있다. 상기 어플리케이션은, 이하에서 카메라 어플리케이션으로 지칭하기로 한다. 하지만, 본 명세서에서 기술되는 상기 어플리케이션은, 카메라 어플리케이션에 한정되는 것은 아니며, 카메라 모듈(180)을 이용하는 임의의 어플리케이션일 수 있다.
프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 기반하여, 마이크(550)(또는 오디오 모듈(170))를 활성화하고, 마이크(550)를 통해 오디오 신호를 수신할 수 있다. 마이크(550)를 통해 수신되는 오디오 신호는, 음악 소리를 포함할 수 있다. 즉, 다양한 실시 예들에서, 전자 장치(101)는, 음악이 재생되고 있는 환경에서 위치될 수 있다.
프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 기반하여, 마이크(550)를 통해 전자 장치(101) 주변의 음악을 수신할 수 있다. 예를 들면, 프로세서(120)는, 카메라 어플리케이션의 실행을 개시하는 것에 응답하여 마이크(550)를 활성화할 수 있다. 다른 예를 들면, 프로세서(120)는, 카메라 어플리케이션의 사용자 인터페이스(UI, user interface)에 포함된 객체에 대한 입력을 수신하는 것에 응답하여 마이크(550)를 활성화할 수 있다.
프로세서(120)는, 카메라 어플리케이션을 통해 프리뷰 영상(preview image)을 표시하는 동안, 마이크(550)를 통해 전자 장치(101) 주변의 음악을 수신할 수 있다. 프로세서(120)는, 마이크(550)를 통해 수신된 음악에 관한 정보(예: 음악의 장르)를 획득(acquire)(또는 식별(identify))할 수 있다. 예를 들면, 프로세서(120)는, 오디오 신호에 포함된 음악에 관한 정보를 획득하기 위해, 오디오 신호로부터 노이즈 제거와 관련된 처리를 수행할 수 있다. 프로세서(120)는, 오디오 신호에 포함된 음악에 관한 정보를 획득하기 위해, 오디오 신호의 특징점 추출과 관련된 처리를 수행할 수 있다.
일부 실시 예들에서, 프로세서(120)는, 오디오 신호에 포함된 음악에 관한 정보를 획득하기 위해, 서버(예: 서버(108))에 저장된 데이터베이스를 이용할 수 있다. 프로세서(120)는, 오디오 신호(예: 오디오 신호의 노이즈 처리 결과 또는 특징점 처리 결과)를, 통신 모듈(190)을 통해 서버에게 송신할 수 있다. 상기 서버는, 음악의 자동 검색과 관련될 수 있다. 상기 서버는, 복수의 음악들에 관한 데이터베이스를 저장할 수 있다. 상기 서버는 상기 데이터베이스를 이용하여, 전자 장치(101)로부터 수신된 오디오 신호에 상응하는 음악을 결정할 수 있다. 상기 서버는, 전자 장치(101)에게, 상기 결정된 음악에 관한 정보를 송신할 수 있다. 프로세서(120)는, 통신 모듈(190)를 통해 서버로부터 음악에 관한 정보를 수신할 수 있다. 프로세서(120)는, 음악에 관한 정보로부터, 음악의 장르와 관련된 정보를 식별할 수 있다. 상술한 바와 같은 서버의 동작들의 적어도 일부는, 전자 장치(101)에 의해서도 수행될 수 있다.
다른 일부 실시 예들에서, 프로세서(120)는, 오디오 신호(예: 오디오 신호의 노이즈 처리 결과 또는 특징점 처리 결과)로부터, 음악에 관한 정보를 추측(estimate or guess)할 수 있다. 예를 들면, 프로세서(120)는, 오디오 신호로부터, 음악의 BPM(beats per minute), 음악의 진폭(amplitude), 또는 음악의 주파수(frequency) 중 하나 이상을 추출할 수 있다. 프로세서(120)는, 음악의 BPM, 진폭, 또는 주파수 중 하나 이상에 기반하여, 음악에 관한 정보(예: 음악의 장르)를 추측(또는 식별(identify))할 수 있다.
본 명세서에서 기술되는 음악의 장르는, 레게(reggae), 팝(pop), 락(rock), 헤비 메탈(heavy metal), 알엔비(R&B), 또는 재즈(jazz) 등의 장르뿐만 아니라, 음악의 세기, 빠르기, 또는 분위기에 관한 정도를 포함할 수 있다. 즉, 프로세서(120)는, 음악에 관한 정보로써, 음악의 장르, 음악의 세기(intensity), 빠르기(tempo), 또는 음악의 분위기(mood) 등을 식별할 수 있다. 예를 들면, 프로세서(120)는, 레게 장르 안에서도 빠른 레게(fast reggae)와 느린 레게(slow reggae)를 식별할 수도 있다.
프로세서(120)는, 식별된 음악에 관한 정보에 기반하여 카메라 어플리케이션을 통해 AR 객체를 제공할 수 있다. 프로세서(120)는, 음악의 장르(예: 장르, 빠르기, 분위기, 세기)에 기반하여, 표시할 AR 객체를 결정할 수 있다. 예를 들면, 프로세서(120)는, 음악의 장르에 대응하는 AR 객체들의 집합을 결정할 수 있다.
프로세서(120)는, 음악의 장르(예: 장르, 빠르기, 분위기, 세기)에 상응하는 AR 객체를 표시할 수 있다. 예를 들면, 프로세서(120)는, 카메라 어플리케이션을 통해 표시되는 프리뷰 영상에, 음악의 장르에 상응하는 AR 객체를 중첩시키거나(superimpose) 플로팅시킬(float) 수 있다. 프로세서(120)는, AR 객체를 선택하기 위한 사용자 입력을 수신함이 없이, 전자 장치(101) 주변에 흐르는 음악에 상응하는 AR 객체를 자동으로 표시할 수 있다. 프로세서(120)는, 영상을 획득하는 절차에서 전자 장치(101) 주변에 흐르는 음악의 장르(예: 장르, 빠르기, 분위기, 세기)를 자동으로 식별하는 것에 기반하여 AR 객체를 제공할 수 있다.
프로세서(120)는, AR 객체를 표시할 위치(position)(예: 좌표)를 결정하기 위해, 영상(image)을 분석할 수 있다. 예를 들면, 프로세서(120)는, 영상에 포함된 객체(예: 사람)와 배경을 구분하거나, 영상에 관한 특징점을 추출할 수 있다. 프로세서(120)는, 추출된 특징점에 기반하여, 영상에 포함된 사람의 눈, 코, 입, 머리, 몸통 또는 동작(gesture)(또는 자세(posture))을 식별(identify)(또는 인식(recognize))할 수 있다. 프로세서(120)는, 영상의 구성(예: 배경, 사람, 동작)에 대응하는 AR 객체를, 상기 구성에 대응하는 위치에 표시할 수 있다. 예를 들면, 프로세서(120)는, 카메라 어플리케이션에서, 마이크(550)를 통해 수신되는 음악의 장르에 기반하여 프리뷰 영상에 플로팅된(floated on) AR 객체를 표시할 수 있다. 프로세서(120)는, 메모리(130)에 저장된 AR 객체를 호출할 수도 있고, 서버로부터 AR 객체를 수신하도록 통신 모듈(190)을 제어할 수도 있다.
일부 실시 예들에서, 전자 장치(101)가 카메라 어플리케이션을 실행하는 동안, 전자 장치(101) 주변에 음악이 흐르는 것이 아니라, 전자 장치(101)가 오디오 모듈(170)을 통해 음악을 재생(또는 출력)할 수 있다. 전자 장치(101)가 오디오 모듈(170)을 통해 음악을 재생(또는 출력)하는 것에 기반하여, 프로세서(120)는, 전자 장치(101)에서 재생되는 음악에 관한 정보에 기반하여 AR 객체를 표시할 수 있다. 예를 들면, 프로세서(120)는, 전자 장치(101)가 음악을 재생하는 경우, 마이크(550)를 활성화하지 않을 수 있다. 예를 들면, 프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 응답하여, 전자 장치(101)가 오디오 모듈(170)을 통해 음악을 재생(또는 출력)하는지 여부를 판단할 수 있다. 프로세서(120)는, 전자 장치(101)가 음악을 재생함을 결정하는 것에 기반하여 마이크(550)를 활성화하지 않고, 전자 장치(101)가 음악을 재생하지 않음을 결정하는 것에 기반하여 마이크(550)를 활성화할 수 있다. 전자 장치(101)가 음악을 재생하는 경우, 프로세서(120)는, 메모리(130)에 저장(또는 임시적으로(temporarily) 저장)된 음악에 관한 정보에 기반하여 AR 객체(또는 AR 객체들의 집합)를 결정할 수 있다. 프로세서(120)는, 결정된 AR 객체를 프리뷰 영상에 중첩되도록 표시할 수 있다.
일부 실시 예들에서, 프로세서(120)는, 카메라 어플리케이션을 통해 동영상(moving image or video)을 획득(또는 촬영)하는 것에 기반하여, 상기 동영상 및 동영상과 관련된 AR 객체에 관한 정보를 함께 저장할 수 있다. 예를 들면, 프로세서(120)는, 전자 장치(101) 주변에 음악이 흐르는 환경에서 카메라 어플리케이션을 통해 카메라 모듈(180)을 이용하여 동영상을 촬영할 수 있다. 프로세서(120)는, 동영상에 포함된 오디오 데이터로부터, 음악을 추출하거나 음악에 관한 정보(예: 장르, 빠르기, 분위기, 세기 등)를 획득할 수 있다. 예를 들면, 프로세서(120)는, 서버를 통해 음악에 관한 정보를 획득하거나, 또는 프로세서(120)의 처리를 통해 음악에 관한 정보를 획득할 수도 있다. 프로세서(120)는, 예를 들면, 프로세서(120)는, 동영상의 프레임마다 음악의 세기, 빠르기(tempo), 분위기 등을 식별할 수 있다. 프로세서(120)는, 프레임마다 식별된 음악의 장르, 세기, 빠르기, 또는 분위기 중 적어도 하나에 기반하여, 상기 동영상에 대응하는, AR 객체에 관한 정보를 결정할 수 있다. 예를 들면, 상기 동영상에 대응하는 AR 객체에 관한 정보는, 동영상의 프레임마다 표시할 AR 객체의 종류 및 좌표를 포함할 수 있다. 프로세서(120)는, 상기 동영상에 대응하는 AR 객체에 관한 정보를, 상기 동영상과 함께 메모리(130)에 저장할 수 있다.
프로세서(120)는, 사용자 입력에 기반하여 상기 저장된 동영상을 재생할 수 있다. 프로세서(120)는, 상기 동영상을 재생하는 동안, 상기 AR 객체에 관한 정보에 기반하여, 상기 동영상에 플로팅된 AR 객체를 표시할 수 있다. 프로세서(120)는, 상기 동영상을 재생하는 동안, 상기 동영상과 함께 저장된 AR 객체에 관한 정보(예: AR 객체를 표시할 프레임, AR 객체의 종류, AR 객체의 좌표)에 기반하여 AR 객체를 표시할 수 있다. 동영상에 플로팅된 AR 객체는, 동영상이 재생되는 동안, 동영상에 포함된 음악에 기반하여 변할 수 있다.
통신 모듈(190)은, 전자 장치(101)와 외부 전자 장치(예: 음악의 자동 검색과 관련된 서버, 또는 AR 객체의 제공과 관련된 서버) 사이의 통신 링크를 수립할 수 있고, 수립된 통신 링크를 통한 통신을 수행할 수 있다. 예를 들면, 통신 모듈(190)은, 전자 장치(101)의 마이크(550)를 통해 획득된 오디오 신호를, 음악의 자동 검색과 관련된 서버에게 송신할 수 있다. 통신 모듈(190)은, 상기 서버로부터 오디오 신호에 포함된 음악에 관한 정보, 또는 장르에 관한 정보를 수신할 수 있다. 통신 모듈(190)은, 음악의 장르에 관한 정보를, AR 객체를 제공할 수 있는 서버에게 송신할 수 있다. 통신 모듈(190)은, 상기 서버로부터, 음악의 장르에 상응하는 AR 객체(또는 AR 객체들의 집합)를 수신할 수 있다. 경우에 따라, 전자 장치(101)가 음악 검색 기능을 수행하거나 또는 AR 객체를 저장하는 경우, 상술한 바와 같은 통신 모듈(190)의 동작들은, 생략될 수 있다.
디스플레이(210)는, 전자 장치(101)의 화면을 표시할 수 있다. 디스플레이(210)는, 다양한 종류의 정보를 표시할 수 있다. 디스플레이(210)는, 카메라 어플리케이션과 관련된 사용자 인터페이스를 표시할 수 있다. 디스플레이(210)는, 카메라 모듈(180)을 통해 획득되는 영상(image)를 표시할 수 있다. 디스플레이(210)는, 영상(image)에 중첩되거나(superimposed on) 플로팅되는(floated on) AR 객체를 표시할 수 있다.
메모리(130)는, 하나 이상의 메모리 집합을 의미할 수 있다. 메모리(130)는, 프로세서(120)와의 시그널링에 기반하여 메모리(130)에 저장된 명령어들을 실행할 수 있다. 메모리(130)은, 다른 구성 요소들(예: 프로세서(120), 카메라 모듈(180), 통신 모듈(190), 오디오 모듈(170), 디스플레이(210))로부터 수신되거나 다른 구성 요소들에 의해 생성된 데이터 및/또는 명령을 저장할 수 있다. 다양한 실시 예들에서, 메모리(130)는, 카메라 어플리케이션을 저장할 수 있다. 메모리(130)는, 음악의 장르와 관련된 복수의 AR 객체들을 저장할 수 있다. 상기 복수의 AR 객체들은, 전자 장치(101)의 제조 단계에서 저장될 수 있다. 또는, 상기 복수의 AR 객체들은, 서버(예: AR 객체를 제공할 수 있는 서버)로부터 다운로드될 수도 있다. 메모리(130)는, 음악의 장르에 따라 분류된 복수의 AR 객체들을 저장할 수 있다. 메모리(130)는, 하나의 장르(즉, 하나의 카테고리) 내에서도, 음악의 빠르기(tempo)(또는 세기 등)에 따라 분류된 AR 객체들을 저장할 수 있다.
도 6은, 다양한 실시 예들에 따른 AR 객체들을 저장하는 데이터베이스(600)를 설명하기 위한 도면이다. 다만, 데이터베이스(600)은, AR 객체들을 저장하는 데이터베이스를 설명하기 위한 개념적 도면일 뿐이고, AR 객체들을 저장하는 데이터베이스는 테이블 포맷으로 구현될 수 있다.
도 6을 참조하면, 메모리(130)은, 음악과 관련된 복수의 AR 객체들을, 데이터베이스(600)과 같이 저장할 수 있다. 경우에 따라, 데이터베이스(600)은, 서버에 저장될 수도 있다.
데이터베이스(600)는, 음악의 장르에 따라 분류된 복수의 AR 객체들을 저장할 수 있다. 예를 들면, 데이터베이스(600)는, 레게 장르(610), 헤비 메탈 장르(630), 팝 장르(650), 재즈 장르(670)를 포함하는 복수의 장르들에 따라 복수의 AR 객체들을 분류(classify)할 수 있다. AR 객체는, AR 객체가 속한 장르의 속성, 특성, 분위기를 가지는 이미지 또는 스티커일 수 있다. 예를 들면, 레게 장르(610)에 포함된 AR 객체들은, 레게 분위기를 가지고, 헤비 메탈 장르(630)에 포함된 AR 객체들은, 헤비 메탈 분위기를 가질 수 있다.
복수의 AR 객체들은, 각각의 장르 내에서 하위 분류들(subclasses)로 나뉠 수 있다. 예를 들면, 하위 분류들은, 메이크업 타입, 스탬프 타입, 악기(instrument) 타입, 배경(background) 타입, 액세서리 타입(미도시) 등을 포함할 수 있다. 예를 들면, 메이크업 타입에 속한 AR 객체들은, 헤어스타일 스티커(또는 이미지) 등일 수 있다. 예를 들면, 악기 타입에 속한 AR 객체들은, 기타 스티커, 피아노 스티커(미도시), 드럼 스티커(미도시) 등일 수 있다. 예를 들면, 액세서리 타입(미도시)에 속한 AR 객체들은, 모자 스티커, 썬글라스 스티커, 옷 스티커 등일 수 있다. 다만, 데이터베이스(600)에 도시된 복수의 장르들 및 하위 분류들은 예시일 뿐, 이에 한정되지 않는다.
데이터베이스(600)는, 하나의 장르에 포함된 하나의 하위 분류 내에서도, 복수의 AR 객체들을 포함할 수 있다. 예를 들면, 레게 장르(610)의 헤어스타일에 해당하는 AR 객체들(611)은, 헤어 스티커(612)뿐 아니라 복수의 헤어 스티커들(미도시)을 포함할 수 있다. 예를 들면, 레게 장르(610)의 복수의 헤어 스티커들은, 빠른 레게(fast reggae)의 분위기를 가지는 헤어 스티커 및 느린 레게(slow reggae)의 분위기를 가지는 헤어 스티커를 포함할 수 있다. 예를 들면, 레게 장르(610)의 배경에 해당하는 AR 객체들(615)은, 빠른 레게(fast reggae)의 분위기를 가지는 배경 스티커(예: 배경 스티커(616)) 및 느린 레게(slow reggae)의 분위기를 가지는 배경 스티커를 포함할 수 있다. 다만, 빠르기에 한정되지 않으며, 데이터베이스(600)는, 레게 장르(610) 내에서도, 분위기나 다른 요인에 따른 복수의 AR 객체들을 포함할 수 있다.
다양한 실시 예들에서, 프로세서(120)는, 카메라 어플리케이션을 실행하는 동안 식별된 음악의 장르에 따라, 데이터베이스(600)으로부터, 해당되는 AR 객체들을 호출할 수 있다. 예를 들면, 프로세서(120)는, 마이크(550)를 통해 수신되는 음악의 장르를 식별할 수도 있고, 오디오 모듈(170)을 통해 재생되는 음악의 장르를 식별할 수도 있다. 예를 들면, 프로세서(120)는, 식별된 음악의 장르에 기반하여, 메모리(130)에 저장된 데이터베이스(600)로부터 AR 객체들을 수신할 수도 있고, 서버에 저장된 데이터베이스(600)로부터 AR 객체들을 수신할 수도 있다.
예를 들면, 프로세서(120)는, 식별된 음악의 장르가 레게인 경우, 데이터베이스(600)로부터, 레게 장르(610)에 포함된 AR 객체(또는 AR 객체들의 집합)를 호출할 수 있다. 프로세서(120)는, 영상(예: 프리뷰 영상)을 분석하는 것에 기반하여, 레게 장르(610)에 포함된 AR 객체를, 영상 위의 대응하는 위치에 플로팅(float)할 수 있다. 예를 들면, 프로세서(120)는, 배경 스티커(616)를 영상의 배경에 표시하고, 헤어 스티커(612)를, 영상에 포함된 사람의 머리에 중첩시킬 수 있다.
예를 들면, 프로세서(120)는, 레게 장르 안에서도, 식별된 음악이 빠른 레게(fast reggae)인지 느린 레게(slow reggae)인지 여부를 식별할 수 있다. 프로세서(120)는, 식별된 음악이 빠른 레게인 경우, 레게 장르(610)의 헤어스타일에 해당하는 AR 객체들(611) 중에서, 빠른 레게의 분위기를 가지는 헤어 스티커를 플로팅할 수 있다. 프로세서(120)는, 식별된 음악이 느린 레게인 경우, 레게 장르(610)의 헤어스타일에 해당하는 AR 객체들(611) 중에서, 느린 레게(slow reggae)의 분위기를 가지는 헤어 스티커를 플로팅할 수 있다. 다른 예를 들면, 프로세서(120)는, 식별된 음악의 장르가 레게인 경우, 레게 장르(610)의 헤어스타일에 해당하는 AR 객체들(611) 중 헤어 스티커를 랜덤으로 플로팅할 수 있다.
프로세서(120)는, 영상(예: 프리뷰 영상)을 분석하는 것에 기반하여, 영상에 포함된 사람의 동작(gesture)(또는 자세(posture))을 식별할 수 있다. 프로세서(120)는, 영상으로부터 사람의 동작이 식별되는 것에 기반하여, 사람의 동작에 대응되는 AR 스티커를 플로팅할 수 있다. 예를 들면, 프로세서(120)는, 식별된 음악의 장르가 레게이고, 식별된 동작이 기타를 연주하는 동작인 경우, 레게 장르(610)에 포함된 기타 스티커(614)를 플로팅할 수 있다. 프로세서(120)는, 영상에 포함된 사람이 기타를 연주하는 것처럼 보이도록 기타 스티커(614)를 플로팅할 수 있다. 프로세서(120)는, 식별된 음악의 장르가 레게이고, 식별된 동작이 드럼을 연주하는 동작인 경우, 레게 장르(610)에 포함된 드럼 스티커(미도시)를 플로팅할 수 있다.
상술한 바와 같은 다양한 실시 예들에 따른 전자 장치(예: 전자 장치(101))는, 디스플레이(예: 디스플레이(210)), 카메라 모듈(예: 카메라 모듈(180)), 마이크(예: 마이크(550)), 및 적어도 하나의 프로세서(예: 프로세서(120))를 포함하고, 상기 적어도 하나의 프로세서는, 카메라 어플리케이션을 실행하는 것에 기반하여, 상기 카메라 모듈을 이용하여 획득되는 이미지를, 상기 디스플레이를 통해 표시하고, 상기 카메라 어플리케이션을 실행하는 것에 기반하여 상기 마이크를 활성화하고, 상기 활성화된 마이크를 통해 음악을 수신하고, 상기 수신된 음악의 장르에 기반하여 상기 표시된 이미지에 중첩된 AR(augmented reality) 객체를 표시하도록 설정될 수 있다.
다양한 실시 예들에서, 상기 적어도 하나의 프로세서는, 상기 표시된 이미지에 포함된 사람의 자세를 식별하고, 상기 식별된 자세 및 상기 음악의 장르에 대응하는 AR 객체를 표시하도록 설정될 수 있다.
다양한 실시 예들에서, 상기 적어도 하나의 프로세서는, 상기 카메라 어플리케이션을 실행하는 것에 응답하여, 상기 전자 장치가 음악을 재생하는지 여부를 식별하고, 상기 전자 장치가 음악을 재생함을 식별하는 것에 응답하여, 상기 전자 장치를 통해 재생되는 음악에 관한 정보에 기반하여 상기 AR 객체를 표시하도록 설정될 수 있다.
다양한 실시 예들에서, 상기 적어도 하나의 프로세서는, 상기 카메라 어플리케이션을 통해 동영상을 획득하고, 상기 동영상의 오디오 데이터에 포함된 음악의 장르를 식별하고, 상기 식별된 장르에 기반하여 상기 동영상에 대응하는 AR 객체에 관한 정보를 상기 동영상과 함께 저장하도록 설정될 수 있다. 예를 들면, 상기 동영상에 대응하는 AR 객체에 관한 정보는, AR 객체를 표시할 프레임, 상기 AR 객체의 종류, 또는 상기 AR 객체를 표시할 위치 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에서, 상기 적어도 하나의 프로세서는, 상기 수신된 음악의 BPM(beats per minute), 진폭(amplitude), 또는 주파수(frequency) 중 적어도 하나에 기반하여 상기 음악의 장르를 결정하도록 설정될 수 있다.
다양한 실시 예들에서, 상기 전자 장치는 복수의 AR 객체들을 저장하도록 설정된 메모리(예: 메모리(130))를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 음악의 장르를 식별하고, 상기 메모리에 저장된 상기 복수의 AR 객체들 중 상기 식별된 장르에 대응하는 AR 객체들을 표시하도록 설정될 수 있다. 예를 들면, 상기 적어도 하나의 프로세서는, 상기 식별된 장르에 대응하는 AR 객체들 중, 상기 음악의 빠르기(tempo), 분위기(mood), 또는 세기 중 적어도 하나에 기반하여 결정된 AR 객체를 표시하도록 설정될 수 있다.
다양한 실시 예들에서, 상기 전자 장치는 통신 모듈(예: 통신 모듈(190))을 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 통신 모듈을 통해, 서버(예: 서버(108))에게 상기 수신된 음악에 관한 신호를 송신하고, 상기 서버로부터, 상기 음악에 관한 정보를 수신하도록 설정되고, 상기 음악에 관한 정보는, 상기 음악의 장르에 관한 정보를 포함할 수 있다.
다양한 실시 예들에서, 상기 적어도 하나의 프로세서는, 상기 음악의 장르를 식별하는 것에 기반하여, 상기 카메라 어플리케이션을 통해, 상기 음악에 관한 AR 객체의 존재를 나타내기(represent) 위한 인디케이터를 표시하도록 설정될 수 있다.
도 7은, 다양한 실시 예들에 따른 전자 장치(101)의 동작의 예를 도시한다.
도 7을 참조하면, 동작 701에서, 프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 기반하여 이미지를 표시할 수 있다. 예를 들면, 상기 이미지는, 카메라 모듈(180)을 통해 획득되고 있는 프리뷰 이미지일 수 있다. 다만 이에 한정되지 않으며, 프로세서(120)는, 메모리(130)에 저장된 이미지를, 카메라 어플리케이션에 포함된 사진첩(또는 갤러리) UI를 통해 표시할 수도 있다.
동작 703에서, 프로세서(120)는, 마이크(550)(또는 오디오 모듈(170))를 활성화할 수 있다. 프로세서(120)는, 상기 이미지가 표시되는 동안 마이크(550)를 활성화할 수 있다. 예를 들면, 프로세서(120)는, 카메라 어플리케이션의 실행이 개시되는 것에 응답하여 마이크(550)를 활성화할 수 있다. 다른 예를 들면, 프로세서(120)는, 카메라 어플리케이션의 사용자 인터페이스(UI, user interface)에 포함된 객체에 대한 입력을 수신하는 것에 응답하여 마이크(550)를 활성화할 수 있다.
동작 705에서, 프로세서(120)는, 활성화된 마이크(550)를 통해 음악을 수신할 수 있다.
동작 707에서, 프로세서(120)는, 수신된 음악의 장르를 식별할 수 있다. 일부 실시 예들에서, 프로세서(120)는, 음악의 장르를 식별하기 위해, 수신된 음악을 서버에게 송신하고, 서버로부터 음악에 관한 정보(예: 장르)를 수신할 수 있다. 다른 일부 실시 예들에서, 프로세서(120)는, 수신된 음악의 BPM(beats per minute), 진폭(amplitude), 또는 주파수(frequency)에 적어도 기반하여, 음악에 관한 정보(예: 장르)를 추측(estimate or guess)할 수 있다.
동작 709에서, 프로세서(120)는, 식별된 음악의 장르에 기반하여, 이미지에 중첩된 AR 객체를 표시할 수 있다. 예를 들면, 프로세서(120)는, 식별된 음악의 장르에 기반하여, 메모리(130)에 저장된 AR 객체들을 수신할 수도 있고, 서버에 저장된 AR 객체들을 수신할 수도 있다. 구체적으로, 프로세서(120)는, 카메라 모듈(180)을 이용하여 이미지의 특징점을 추출할 수 있다. 프로세서(120)는, 특징점에 기반하여 이미지의 구성(예: 사람의 머리)에 대응하는 AR 객체(예: 헤어 스티커 또는 모자 스티커)를, 상기 구성에 대응하는 위치(예: 사람의 머리)에 표시할 수 있다. 프로세서(120)는, 영상(예: 프리뷰 영상 또는 동영상) 내에서 이미지의 특징점이 움직이는 것을 식별할 수 있다. 프로세서(120)는, 영상(예: 프리뷰 영상 또는 동영상) 내에서 움직이는 특징점에 기반하여, 움직이는 AR 객체를 표시할 수 있다.
프로세서(120)는, 사용자 입력에 기반하여, AR 객체가 표시된 이미지를 메모리(130)에 저장할 수 있다.
도 8은, 다양한 실시 예들에 따른 카메라 어플리케이션의 화면의 예를 도시한다.
도 8을 참조하면, 화면(800) 또는 화면(850)은, 카메라 어플리케이션의 사용자 인터페이스(UI, user interface)의 예를 나타낼 수 있다. 예를 들면, 전자 장치(101)는, 카메라 어플리케이션을 실행하는 것에 기반하여, 화면(800)을 표시할 수 있다. 화면(800)은, 카메라 모듈(180)을 통해 획득되고 있는 프리뷰 영상(801)을 포함할 수 있다. 화면(800)은, AR 객체에 관한 화면(850)으로 진입하기 위한 객체(802)를 포함할 수 있다. 프로세서(120)는, 객체(802)에 대한 입력을 수신하는 것에 응답하여, 화면(800)으로부터 변경된(또는 전환된) 화면(850)을 표시할 수 있다. 화면(850)은, 프리뷰 영상(801)에 중첩된 AR 객체를 표시하기 위한 화면일 수 있다.
일부 실시 예들에서, 프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 응답하여 마이크(550)를 활성화할 수 있다. 프로세서(120)는 화면(800)(및/또는 화면(850))이 표시되는 동안, 마이크(550)를 통해 음악을 수신하고, 음악의 장르를 식별할 수 있다.
다른 일부 실시 예들에서, 프로세서(120)는, 객체(802)에 대한 입력을 수신하는 것에 응답하여 마이크(550)를 활성화할 수 있다. 프로세서(120)는, 화면(850)으로 전환되는 것에 응답하여 마이크(550)를 통해 음악을 수신하고, 음악의 장르를 식별할 수 있다.
프로세서(120)는, 음악의 장르가 식별되면, 화면(850) 내에서, 장르에 대응하는 AR 객체(예: AR 배경(851), AR 모자(852), AR 스탬프(853))를 표시할 수 있다. 예를 들면, 식별된 장르는, 레게 장르(610)일 수 있다. 프로세서(120)는, 데이터베이스(600)로부터 레게 장르(610)에 포함된 AR 객체들에 관한 정보를 독출(reading 또는 retrieving)하고, 프리뷰 영상(801)에 관한 특징점에 기반하여 레게와 관련된 AR 객체를 플로팅할 수 있다.
프로세서(120)는, 프리뷰 영상(801) 내에서, 배경으로부터 사람을 분리하고, 사람의 특징점을 추출할 수 있다. 프로세서(120)는, 프리뷰 영상(801)의 배경에, 음악의 장르(예: 장르, 빠르기, 분위기, 또는 세기)에 대응하는 AR 배경(851)을 표시할 수 있다. 프로세서(120)는, 특징점에 기반하여 프리뷰 영상(801)에 포함된 사람의 머리에, 음악의 장르에 대응하는 AR 모자(852)를 표시할 수 있다. 상기 AR 배경(851) 또는 AR 모자(852)는, 사용자의 입력 없이, 음악의 장르(예: 장르, 빠르기, 분위기, 또는 세기)에 대응되도록 결정될 수 있다.
프로세서(120)는, 객체(860)에 대한 입력을 수신하는 것에 응답하여, 음악과 상관없는 지정된 AR 객체를 표시할 수 있다. 프로세서(120)는, 객체(870)에 대한 입력을 수신하는 것에 응답하여, 획득되거나 재생되고 있는 음악의 장르에 대응하는 AR 객체를 표시할 수 있다.
프로세서(120)는, 객체(880)에 대한 입력을 수신하는 것에 응답하여 AR 객체가 표시된 이미지를 캡처(capture)하고, 캡처된 이미지를 메모리(130)에 저장할 수 있다.
도 9는, 다양한 실시 예들에 따른 전자 장치(101)에서 음악의 장르를 식별하기 위한 동작의 예를 도시한다.
도 9를 참조하면, 동작 901에서, 프로세서(120)는, 카메라 어플리케이션을 실행할 수 있다. 프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 기반하여, 이미지를 표시할 수 있다. 예를 들면, 상기 이미지는, 카메라 모듈(180)을 통해 획득되고 있는 프리뷰 이미지일 수 있다. 다른 예를 들면, 상기 이미지는, 카메라 어플리케이션의 갤러리(또는 사진첩)를 통해 표시된, 메모리(130)에 저장된 이미지일 수 있다.
동작 902에서, 프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 기반하여, 전자 장치(101)를 통해 재생되고 있는 음악이 있는지 여부를 식별할 수 있다. 예를 들면, 프로세서(120)는, 카메라 어플리케이션의 실행을 개시하는 것에 응답하여, 오디오 모듈(170)를 통해 재생되고 있는 음악이 있는지 여부를 식별할 수 있다.
동작 903에서, 프로세서(120)는, 전자 장치(101)를 통해 재생되고 있는 음악이 없음을 결정하는 것에 기반하여, 마이크(550)를 활성화할 수 있다. 동작 904에서, 프로세서(120)는, 마이크(550)를 통해 수신되는 음악의 장르를 식별할 수 있다.
동작 905에서, 프로세서(120)는, 전자 장치(101)를 통해 재생되고 있는 음악이 있음을 결정하는 것에 기반하여, 재생되는 음악의 장르를 식별할 수 있다. 예를 들면, 프로세서(120)는, 오디오 모듈(170)를 통해 재생되고 있는 음악에 관한 정보에 기반하여, 음악의 장르를 식별할 수 있다.
동작 906에서, 프로세서(120)는, 식별된 음악의 장르에 기반하여, 이미지에 중첩된 AR 객체를 표시할 수 있다. 상기 이미지는, 프리뷰 이미지이거나 메모리(130)에 저장된 이미지일 수 있다. 프로세서(120)는, 재생되거나 수신되고 있는 음악의 장르에 대응하는 AR 객체를, 상기 이미지에 플로팅할 수 있다.
도 10은, 다양한 실시 예들에 따른 전자 장치(101)에서 이미지에 포함된 사람의 자세(posture)에 대응하는 AR 객체를 표시하기 위한 동작의 예를 도시한다.
도 11은, 다양한 실시 예들에 따른 전자 장치(101)에서 이미지에 포함된 사람의 자세(posture)에 대응하는 AR 객체의 표시의 예를 도시한다.
도 10을 참조하면, 동작 1001에서, 프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 기반하여, 이미지를 표시할 수 있다. 예를 들면, 상기 이미지는, 카메라 모듈(180)을 통해 획득되고 있는 프리뷰 이미지일 수도 있고, 카메라 어플리케이션의 갤러리(또는 사진첩)를 통해 표시된, 메모리(130)에 저장된 이미지일 수도 있다. 예를 들어, 도 11을 참조하면, 프로세서(120)는 디스플레이(210)를 통해, 이미지(1110)를 표시할 수 있다.
동작 1002에서, 프로세서(120)는, 음악의 장르를 식별할 수 있다. 예를 들면, 프로세서(120)는, 오디오 모듈(170)를 통해 재생되는 음악 또는 마이크(550)를 통해 수신되는 음악의 장르를 식별할 수 있다.
동작 1003에서, 프로세서(120)는, 표시된 이미지의 특징점을 추출할 수 있다. 예를 들면, 프로세서(120)는, 카메라 모듈(180)을 이용하여, 이미지에 포함된 사람을 배경으로부터 구분하고, 사람에 관한 특징점을 식별할 수 있다. 프로세서(120)는, 특징점을 이용하여, 이미지에 포함된 사람의 얼굴(예: 눈, 코, 입 등) 또는 동작(gesture)(또는 자세(posture))을 식별(identify)(또는 인식(recognize))할 수 있다. 예를 들어, 도 11을 참조하면, 프로세서(120)는, 이미지(1110)로부터, 배경(1113)과 사람(1111)을 구분할 수 있다.
동작 1002와 동작 1003의 순서는 바뀔 수 있으며, 또는 동시에 병렬적으로 수행될 수도 있다.
동작 1004에서, 프로세서(120)는, 특징점으로부터 지정된 자세(posture)가 인식되는지 여부를 판단할 수 있다. 상기 지정된 자세는, 예를 들면, 기타를 연주하는 자세(posture), 피아노를 연주하는 자세, 드럼을 연주하는 자세 등을 포함할 수 있다. 일 수 있다. 예를 들어, 도 11을 참조하면, 프로세서(120)는, 사람(1111)의 특징점을 분석하는 것에 기반하여, 기타를 연주하는 자세를 인식(recognize)(또는 식별(identify))할 수 있다.
동작 1005에서, 프로세서(120)는, 지정된 자세를 인식하는 것에 기반하여, 상기 인식된 자세 및 식별된 음악의 장르에 대응하는 AR 객체를 표시할 수 있다. 예를 들면, 프로세서(120)는, 음악의 장르를 레게로 식별하는 것에 기반하여, 데이터베이스(600)로부터 레게 장르(610)에 포함된 AR 객체들에 관한 정보를 독출할 수 있다. 예를 들어, 도 11을 참조하면, 프로세서(120)는, 레게 장르에 대응하는 AR 배경(1133)을, 이미지의 배경으로 표시할 수 있다. 프로세서(120)는, 레게 장르에 대응하는 AR 머리(hair)(1135)를, 사람(1111)의 머리에 플로팅(float)할 수 있다. 프로세서(120)는, 사람(1111)의 자세를, 복수의 지정된 자세들 중 기타를 연주하는 자세(posture)로 식별할 수 있다. 프로세서(120)는, 상기 식별에 기반하여, 레게 장르에 대응하는 AR 기타(1137)를, 사람(1111)이 연주하는 것처럼 플로팅할 수 있다. 결국, 프로세서(120)는 디스플레이(210)를 통해, AR 객체들이 표시된 이미지(1150)를 표시할 수 있다. 프로세서(120)는, 음악의 장르와 지정된 자세를 식별하는 것에 기반하여, 이미지(1110)로부터 변경된 이미지(1150)를 표시할 수 있다.
동작 1006에서, 프로세서(120)는, 지정된 자세를 인식하지 않는 것에 기반하여, 식별된 음악의 장르에 대응하는 AR 객체를 표시할 수 있다. 예를 들면, 프로세서(120)는, 악기를 연주하는 자세(posture)가 인식되지 않은 경우, 악기를 나타내는 AR 객체를 표시하지 않을 수 있다. 예를 들면, 프로세서(120)는, 레게 장르만 인식하고 자세(posture)를 인식하지 않는 경우, 도 8의 화면(850)을 표시할 수 있다.
도 12는, 다양한 실시 예들에 따른 전자 장치(101)에서 식별된 음악의 장르에 기반하여 표시되는 AR 객체의 예를 도시한다.
도 12를 참조하면, 프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 기반하여, 화면(1210)을 표시할 수 있다. 화면(1210)은, 카메라 모듈(180)을 통해 획득되는 프리뷰 이미지를 포함할 수 있다.
프로세서(120)는, 수신되거나 재생되는 음악의 장르가 레게인 것을 결정하는 것에 기반하여, 화면(1230)을 표시할 수 있다. 예를 들면, 프로세서(120)는, 데이터베이스(600)의 레게 장르(610)에 포함된 AR 객체들에 관한 정보를 독출할 수 있다. 프로세서(120)는, 프리뷰 이미지의 특징점을 분석하는 것에 기반하여, 레게 장르(610)에 포함된 AR 객체들을 각각 대응하는 위치(position)에 플로팅함으로써 화면(1230)을 표시할 수 있다. 일부 실시 예들에서, 프로세서(120)는, AR 스탬프(1231)를, 다른 AR 객체(예: AR 기타(1235))에 중첩시킬 수 있다. 다른 일부 실시 예들에서, 프로세서(120)는 AR 스탬프(1231)를, 화면(850)과 같이, 사람의 몸통에 중첩시킬 수 있다. 또 다른 일부 실시 예들에서, 프로세서(120)는, AR 스탬프(1231)를, 배경에 중첩시킬 수 있다.
프로세서(120)는, 수신되거나 재생되는 음악의 장르가 헤비 메탈인 것을 결정하는 것에 기반하여, 화면(1250)을 표시할 수 있다. 예를 들면, 프로세서(120)는, 데이터베이스(600)의 헤비 메탈 장르(630)에 포함된 AR 객체들에 관한 정보를 독출할 수 있다. 프로세서(120)는, 프리뷰 이미지의 특징점을 분석하는 것에 기반하여, 헤비 메탈 장르(630)에 포함된 AR 객체들을 각각 대응하는 위치(position)에 플로팅함으로써, 화면(1250)을 표시할 수 있다.
만약 프리뷰 영상에 표시할 AR 객체를 선택하기 위한 사용자 입력이 요구된다면, 사용자는, 한 손으로 음악의 장르에 대응하는 카테고리를 선택하고, 카테고리 내에서 AR 객체들을 선택해야 할 수 있다. 따라서, AR 객체를 선택하기 위한 사용자 입력이 요구된다면, 사용자의 한 손이 자유롭지 못한 불편함이 있을 수 있다. 다양한 실시 예들에 따른 전자 장치(101)는, 사용자 입력 없이도, 음악의 장르가 바뀔 때마다 음악의 장르에 대응하는 AR 객체를 추천(또는 제공)할 수 있다. 예를 들면, 전자 장치(101) 주변에서 재생되는 음악이 레게 장르(610)에서 헤비 메탈 장르(530)로 바뀌는 것에 기반하여, 사용자의 입력 없이도, 전자 장치(101)는, 레게 장르(610)에 대응하는 AR 객체를, 헤비 메탈 장르(630)에 대응하는 AR 객체로 변경할 수 있다. 다양한 실시 예들에 따른 전자 장치(101)는, 전자 장치(101) 주변에서 음악이 재생되는 환경에서 사용자가 자세를 바꿀 때마다, 사용자 입력 없이도, 음악의 장르 및 자세에 대응하는 AR 객체를 추천(또는 제공)할 수 있다. 예를 들면, 프리뷰 영상에 포함된 사용자의 자세가 기타를 연주하는 자세에서 피아노를 연주하는 자세로 바뀌는 것에 기반하여, 전자 장치(101)는, 사용자의 입력 없이도, 기타에 대응하는 AR 객체를, 피아노에 대응하는 AR 객체로 바꿀 수 있다. 다양한 실시 예들에 따른 전자 장치(101)는, 전자 장치(101)가 위치된 환경을 나타내는 정보로써 마이크(550)를 통해 음악을 수신하고, 수신된 음악에 기반하여 AR 객체를, 획득되고 있는 프리뷰 영상 내에 표시함으로써, 사용자 입력을 수신하는 것을 우회할(bypass) 수 있다.
도 13은, 다양한 실시 예들에 따른 전자 장치(101)에서, 카메라 어플리케이션을 실행하는 도중에 음악이 식별되는 경우 화면의 예를 도시한다.
도 13을 참조하면, 프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 기반하여, 화면(1310)을 표시할 수 있다. 화면(1310)은, 카메라 모듈(180)을 통해 획득되는 프리뷰 이미지를 포함할 수 있다. 화면(1310)은, AR 객체를 표시하기 위한 화면으로 진입하기 위한 객체(1311)를 포함할 수 있다. 프로세서(120)는, 화면(1310)을 표시하는 동안, 마이크(550)를 통해 수신되거나 오디오 모듈(170)을 통해 재생되는 음악의 장르를 식별할 수 있다.
프로세서(120)는, 음악의 장르가 식별되지 않는 경우, 객체(1311)에 대한 입력을 수신하는 것에 기반하여, 화면(1310)으로부터 전환된 화면(1330)을 표시할 수 있다. 예를 들면, 프로세서(120)는, 오디오 모듈(170)을 통해 음악이 재생되지 않거나, 마이크(550)를 통해 음악이 수신되지 않거나, 마이크(550)를 통해 수신되는 음악의 장르가 식별되지 않는 경우, 객체(1311)에 대한 입력을 수신하는 것에 응답하여 화면(1330)을 표시할 수 있다.
프로세서(120)는, 화면(1330) 내에서, 지정된 AR 객체(1331)를 표시할 수 있다. 예를 들면, 지정된 AR 객체(1331)는, 랜덤으로 결정될 수 있다. 화면(1330)은, 지정된 AR 객체를 표시함(displaying)을 나타내는(represent) 인디케이터(1332)를 포함할 수 있다.
프로세서(120)는, 화면(1330)을 표시하는 동안에도, 오디오 모듈(170)을 통해 음악이 재생되는지 여부를 모니터하거나, 또는 마이크(550)를 통해 수신되는 오디오 신호를 분석할 수 있다. 따라서, 프로세서(120)는, 화면(1330)을 표시하는 도중에 재생되거나 수신되는 음악의 장르를 식별할 수 있다. 프로세서(120)는, 화면(1330)을 표시하는 중에 음악의 장르를 식별하는 것에 응답하여, 화면(1330)으로부터 전환된 화면(1350)을 표시할 수 있다. 화면(1350)은, 음악의 장르가 식별됨을 나타내는 인디케이터(1351)를 표시할 수 있다. 상기 인디케이터(1351)는, 음악의 장르에 관한 AR 객체를 표시하기 위한 화면으로 진입하기 위한 객체(1352)에 표시될 수 있다.
프로세서(120)는, 인디케이터(1351)가 표시된 객체(1352)에 대한 입력을 수신하는 것에 응답하여, 화면(1350)으로부터 전환된 화면(1370)을 표시할 수 있다. 화면(1370)은, 사용자 입력 없이, 식별된 음악의 장르(예: 레게)에 대응하는 AR 객체를 자동으로 표시할 수 있다. 화면(1370)은, 음악의 장르(예: 레게)에 대응하는 AR 객체를 표시함(displaying)을 나타내는(represent) 인디케이터(1371)를 포함할 수 있다.
프로세서(120)는, 화면(1310)이 표시된 상태에서 음악의 장르가 식별되었다면, 객체(1311)에 대한 입력을 수신하는 것에 기반하여, 화면(1310)으로부터 전환된 화면(1370)을 표시할 수도 있다.
프로세서(120)는, 객체(1372)에 대한 입력을 수신하는 것에 응답하여, AR 객체가 표시된 이미지를, 메모리(130)에 저장할 수 있다.
도 14는, 다양한 실시 예들에 따른 전자 장치(101)에서 획득된 동영상을, 동영상과 관련된 AR 객체에 관한 정보와 함께 저장하기 위한 동작의 예를 도시한다.
도 14를 참조하면, 동작 1401에서, 프로세서(120)는, 카메라 어플리케이션을 통해 동영상(moving image or video)을 획득(또는 촬영)할 수 있다.
동작 1402에서, 프로세서(120)는, 상기 동영상에 포함된 오디오 데이터로부터 음악의 장르가 식별되는지 여부를 판단할 수 있다. 프로세서(120)는, 동영상에 포함된 오디오 데이터로부터, 음악이 식별되지 않거나 또는 음악의 장르가 식별되지 않는 경우, 동작을 종료할 수 있다. 예를 들면, 프로세서(120)는 획득된 동영상을, 메모리(130)에 저장할 수 있다.
동작 1403에서, 프로세서(120)는, 동영상에 포함된 오디오 데이터로부터 음악의 장르가 식별된다면, 음악의 장르에 기반하여 상기 동영상에 대응하는 AR 객체에 관한 정보를 결정할 수 있다. 예를 들면, 프로세서(120)는, 상기 동영상의 프레임마다 식별된 음악의 장르, 세기, 빠르기, 또는 분위기 중 적어도 하나에 기반하여, 상기 동영상에 대응하는, AR 객체에 관한 정보를 결정할 수 있다. 상기 동영상에 대응하는 AR 객체에 관한 정보는, 동영상의 프레임마다 표시할 AR 객체의 종류 및 좌표를 포함할 수 있다.
동작 1404에서, 프로세서(120)는, 획득된 동영상을, 상기 AR 객체에 관한 정보와 함께 저장할 수 있다. 일부 실시 예들에서, 동작 1401 내지 동작 1404는, 카메라 모듈(180)을 통해 동영상이 획득된 후, 및 메모리(130)에 저장되기 전에 수행될 수 있다. 다른 일부 실시 예들에서, 동작 1401 내지 동작 1404는, 동영상을 메모리(130)에 저장하기 위한 입력을 수신하는 것에 응답하여 수행될 수 있다.
도 15는, 다양한 실시 예들에 따른 전자 장치(101)에서, 동영상이 AR 객체에 관한 정보와 함께 저장된 화면의 예를 도시한다.
도 15를 참조하면, 화면(1500)은, 카메라 어플리케이션과 관련된 사진첩(또는 갤러리)의 UI의 예를 나타낼 수 있다. 프로세서(120)는, 화면 (1500) 내에서, 카메라 어플리케이션을 통해 획득되어 저장된 동영상의 썸네일(1510)을 표시할 수 있다. 상기 동영상의 오디오 데이터는, 음악 소리를 포함할 수 있다. 프로세서(120)는, 상기 동영상의 오디오 데이터로부터 음악의 장르를 식별하는 것에 기반하여, 음악에 관한 AR 객체의 존재를 나타내는(represent) 인디케이터(1511) 를 표시할 수 있다. 예를 들면, 인디케이터(1511)는, 동영상의 썸네일(1510)에 중첩될 수 있다. 프로세서(120)는, 화면(1500) 내에서, AR 객체와 함께 저장된 동영상의 존재를 나타내는(represent) 인디케이터(1513)를 표시할 수도 있다.
프로세서(120)는, 썸네일(1510)에 대한 입력을 수신하는 것에 응답하여, 썸네일(1510)에 대응되는 동영상(1550)을 재생할 수 있다. 예를 들면, 프로세서(120)는, 상기 동영상과 함께 저장된 AR 객체에 관한 정보에 기반하여, 동영상(moving image)에 AR 객체를 플로팅(float on)할 수 있다. 프로세서(120)는, AR 객체가 표시된 동영상(1550)을 재생할 수 있다.
도 16은, 다양한 실시 예들에 따른 전자 장치(101)에서, AR 객체가 표시된 동영상을 재생하기 위한 동작의 예를 도시한다.
도 17은, 다양한 실시 예들에 따른 전자 장치(101)에서, AR 객체가 표시된 동영상을 재생하기 위한 화면의 예를 도시한다.
도 16을 참조하면, 동작 1601에서, 프로세서(120)는, AR 객체에 관한 정보와 함께 저장된 동영상을 재생할 수 있다. 예를 들면, 상기 동영상은, 도 14의 동작 1404에서, AR 객체에 관한 정보와 함께 저장된 동영상일 수 있다. 예를 들면, 프로세서(120)는, 도 15에서 썸네일(1510)에 대한 입력을 수신하는 것에 응답하여, 동영상을 재생할 수 있다. 예를 들어, 도 17을 참조하면, 프로세서(120)는, 동영상을 재생하는 동안 화면(1700)을 표시할 수 있다.
동작 1602에서, 프로세서(120)는, AR 객체를 표시하기 위한 사용자 입력이 수신되는지 여부를 판단할 수 있다. 예를 들어, 도 17을 참조하면, 화면(1700)은, AR 객체를 표시하기 위한 객체(1701)를 포함할 수 있다.
동작 1603에서, 프로세서(120)는, AR 객체를 표시하기 위한 사용자 입력을 수신하는 것에 응답하여, AR 객체가 표시된 동영상을 재생할 수 있다. 예를 들어, 프로세서(120)는, 객체(1701)에 대한 입력을 수신하는 것에 응답하여, 화면(1700)에 AR 객체가 플로팅된 화면(미도시)을 표시할 수 있다. 예를 들어, 프로세서(120)는, 동영상과 함께 저장된 AR 객체에 관한 정보(예: AR 객체를 표시할 프레임, AR 객체의 종류, AR 객체의 좌표)에 기반하여 AR 객체를 표시할 수 있다. 동영상에 플로팅된 AR 객체는, 동영상이 재생되는 동안, 동영상에 포함된 음악에 기반하여 변할 수 있다.
동작 1604에서, 프로세서(120)는, AR 객체를 표시하기 위한 사용자 입력을 수신하지 않는 것에 기반하여, AR 객체가 표시되지 않은 동영상을 재생할 수 있다. 예를 들면, 프로세서(120)는, AR 객체를 표시하기 위한 사용자 입력을 수신하지 않는 것에 기반하여, 화면(1700)을 표시할 수 있다.
만약 AR 객체에 관한 정보를 획득하기 위한 사용자 입력이 요구된다면, 동영상을 촬영하는 중에 상기 사용자의 터치 입력에 의해 야기되는 소음이 동영상에 포함될 수 있다. 다양한 실시 예들에 따른 전자 장치(101)는, 동영상을 촬영하는 중에 마이크(550)를 통해 수신되는 오디오 신호에 음악이 포함되는지 여부를 식별하고, 식별된 음악 및 동영상에 포함된 영상 데이터에 기반하여 AR 객체에 관한 정보를 획득하고, 획득된 AR 객체에 관한 정보를 저장함으로써, 사용자 입력을 수신하는 것을 우회할(bypass) 수 있다.
상술한 바와 같은 다양한 실시 예들에 따른 전자 장치(예: 전자 장치(101))의 방법은, 카메라 어플리케이션을 실행하는 것에 기반하여, 상기 전자 장치의 카메라 모듈(예: 카메라 모듈(180))을 이용하여 획득되는 이미지를 표시하는 동작과, 상기 카메라 어플리케이션을 실행하는 것에 기반하여 상기 전자 장치의 마이크(예: 마이크(550))를 활성화하는 동작과, 상기 활성화된 마이크를 통해 음악을 수신하는 동작과, 상기 수신된 음악의 장르에 기반하여 상기 표시된 이미지에 중첩된 AR(augmented reality) 객체를 표시하는 동작을 포함할 수 있다.
다양한 실시 예들에서, 상기 방법은, 상기 표시된 이미지에 포함된 사람의 자세를 식별하는 동작과, 상기 식별된 자세 및 상기 음악의 장르에 대응하는 AR 객체를 표시하는 동작을 더 포함할 수 있다.
다양한 실시 예들에서, 상기 방법은, 상기 카메라 어플리케이션을 실행하는 것에 응답하여, 상기 전자 장치가 음악을 재생하는지 여부를 식별하는 동작과, 상기 전자 장치가 음악을 재생함을 식별하는 것에 응답하여, 상기 전자 장치를 통해 재생되는 음악에 관한 정보에 기반하여 상기 AR 객체를 표시하는 동작을 더 포함할 수 있다.
다양한 실시 예들에서, 상기 방법은, 상기 카메라 어플리케이션을 통해 동영상을 획득하는 동작과, 상기 동영상의 오디오 데이터에 포함된 음악의 장르를 식별하는 동작과, 상기 식별된 장르에 기반하여 상기 동영상에 대응하는 AR 객체에 관한 정보를 상기 동영상과 함께 저장하는 동작을 더 포함할 수 있다. 예를 들면, 상기 동영상에 대응하는 AR 객체에 관한 정보는, AR 객체를 표시할 프레임, 상기 AR 객체의 종류, 또는 상기 AR 객체를 표시할 위치 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에서, 상기 방법은, 상기 수신된 음악의 BPM(beats per minute), 진폭(amplitude), 또는 주파수(frequency) 중 적어도 하나에 기반하여 상기 음악의 장르를 결정하는 동작을 더 포함할 수 있다.
다양한 실시 예들에서, 상기 수신된 음악의 장르에 기반하여 표시된 이미지에 중첩된 AR(augmented reality) 객체를 표시하는 동작은, 상기 음악의 장르를 식별하는 동작과, 상기 전자 장치의 메모리(예: 메모리(130))에 저장된 복수의 AR 객체들 중 상기 식별된 장르에 대응하는 AR 객체들을 표시하는 동작을 포함할 수 있다. 예를 들면, 상기 식별된 장르에 대응하는 AR 객체들을 표시하는 동작은, 상기 식별된 장르에 대응하는 AR 객체들 중, 상기 음악의 빠르기(tempo), 분위기(mood), 또는 세기 중 적어도 하나에 기반하여 결정된 AR 객체를 표시는 동작을 포함할 수 있다.
다양한 실시 예들에서, 상기 방법은, 상기 전자 장치의 통신 모듈을 통해, 서버에게 상기 수신된 음악에 관한 신호를 송신하는 동작과, 상기 서버로부터, 상기 음악에 관한 정보를 수신하는 동작을 더 포함하고, 상기 음악에 관한 정보는, 상기 음악의 장르에 관한 정보를 포함할 수 있다.
다양한 실시 예들에서, 상기 방법은, 상기 음악의 장르를 식별하는 것에 기반하여, 상기 카메라 어플리케이션을 통해, 상기 음악에 관한 AR 객체의 존재를 나타내기(represent) 위한 인디케이터를 표시하는 동작을 더 포함할 수 있다.
한편, 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 전자 장치에 있어서,
    디스플레이;
    카메라 모듈;
    마이크; 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    카메라 어플리케이션을 실행하는 것에 기반하여, 상기 카메라 모듈을 이용하여 획득되는 이미지를, 상기 디스플레이를 통해 표시하고,
    상기 마이크를 통해 음악을 수신하고,
    상기 수신된 음악 장르를 식별하고,
    상기 식별된 음악의 장르에 대응하는 AR 객체(augmented reality)들 중, 상기 음악의 빠르기(tempo), 분위기(mood), 또는 세기 중 적어도 하나에 기반하여 결정된 AR 객체를 상기 표시된 이미지에 중첩하여 표시하도록 설정된 전자 장치.
  2. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 표시된 이미지에 포함된 사람의 자세를 식별하고,
    상기 식별된 자세 및 상기 음악의 장르에 대응하는 AR 객체를 표시하도록 설정된 전자 장치.
  3. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 카메라 어플리케이션을 실행하는 것에 응답하여, 상기 전자 장치가 음악을 재생하는지 여부를 식별하고,
    상기 전자 장치가 음악을 재생함을 식별하는 것에 응답하여, 상기 전자 장치를 통해 재생되는 음악에 관한 정보에 기반하여 상기 AR 객체를 표시하도록 설정된 전자 장치.
  4. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 카메라 어플리케이션을 통해 동영상을 획득하고,
    상기 동영상의 오디오 데이터에 포함된 음악의 장르를 식별하고,
    상기 식별된 장르에 기반하여 상기 동영상에 대응하는 AR 객체에 관한 정보를 상기 동영상과 함께 저장하도록 설정된 전자 장치.
  5. 청구항 4에 있어서,
    상기 동영상에 대응하는 AR 객체에 관한 정보는,
    AR 객체를 표시할 프레임, 상기 AR 객체의 종류, 또는 상기 AR 객체를 표시할 위치 중 적어도 하나를 포함하는 전자 장치.
  6. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 수신된 음악의 BPM(beats per minute), 진폭(amplitude), 또는 주파수(frequency) 중 적어도 하나에 기반하여 상기 음악의 장르를 결정하도록 설정된 전자 장치.
  7. 청구항 1에 있어서,
    복수의 AR 객체들을 저장하도록 설정된 메모리를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 음악의 장르를 식별하고,
    상기 메모리에 저장된 상기 복수의 AR 객체들 중 상기 식별된 장르에 대응하는 AR 객체들을 표시하도록 설정된 전자 장치.
  8. 삭제
  9. 청구항 1에 있어서,
    통신 모듈을 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 통신 모듈을 통해, 서버에게 상기 수신된 음악에 관한 신호를 송신하고,
    상기 서버로부터, 상기 음악에 관한 정보를 수신하도록 설정되고,
    상기 음악에 관한 정보는, 상기 음악의 장르에 관한 정보를 포함하는 전자 장치.
  10. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 음악의 장르를 식별하는 것에 기반하여, 상기 카메라 어플리케이션을 통해, 상기 음악에 관한 AR 객체의 존재를 나타내기(represent) 위한 인디케이터를 표시하도록 설정된 전자 장치.
  11. 전자 장치의 방법에 있어서,
    카메라 어플리케이션을 실행하는 것에 기반하여, 상기 전자 장치의 카메라 모듈을 이용하여 획득되는 이미지를 표시하는 동작과,
    마이크를 통해 음악을 수신하는 동작과,
    상기 수신된 음악 장르를 식별하는 동작과,
    상기 식별된 음악의 장르에 대응하는 AR 객체(augmented reality)들 중, 상기 음악의 빠르기(tempo), 분위기(mood), 또는 세기 중 적어도 하나에 기반하여 결정된 AR 객체를 상기 표시된 이미지에 중첩하여 표시하는 동작을 포함하는 방법.
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 11에 있어서,
    상기 표시된 이미지에 포함된 사람의 자세를 식별하는 동작과,
    상기 식별된 자세 및 상기 음악의 장르에 대응하는 AR 객체를 표시하는 동작을 더 포함하는 방법.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 11에 있어서,
    상기 카메라 어플리케이션을 실행하는 것에 응답하여, 상기 전자 장치가 음악을 재생하는지 여부를 식별하는 동작과,
    상기 전자 장치가 음악을 재생함을 식별하는 것에 응답하여, 상기 전자 장치를 통해 재생되는 음악에 관한 정보에 기반하여 상기 AR 객체를 표시하는 동작을 더 포함하는 방법.
  14. ◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 11에 있어서,
    상기 카메라 어플리케이션을 통해 동영상을 획득하는 동작과,
    상기 동영상의 오디오 데이터에 포함된 음악의 장르를 식별하는 동작과,
    상기 식별된 장르에 기반하여 상기 동영상에 대응하는 AR 객체에 관한 정보를 상기 동영상과 함께 저장하는 동작을 더 포함하는 방법.
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 14에 있어서,
    상기 동영상에 대응하는 AR 객체에 관한 정보는,
    AR 객체를 표시할 프레임, 상기 AR 객체의 종류, 또는 상기 AR 객체를 표시할 위치 중 적어도 하나를 포함하는 방법.
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 11에 있어서,
    상기 수신된 음악의 BPM(beats per minute), 진폭(amplitude), 또는 주파수(frequency) 중 적어도 하나에 기반하여 상기 음악의 장르를 결정하는 동작을 더 포함하는 방법.
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 11에 있어서,
    상기 수신된 음악의 장르에 기반하여 표시된 이미지에 중첩된 AR(augmented reality) 객체를 표시하는 동작은,
    상기 음악의 장르를 식별하는 동작과,
    상기 전자 장치의 메모리에 저장된 복수의 AR 객체들 중 상기 식별된 장르에 대응하는 AR 객체들을 표시하는 동작을 포함하는 방법.
  18. 삭제
  19. ◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 1에 있어서,
    상기 전자 장치의 통신 모듈을 통해, 서버에게 상기 수신된 음악에 관한 신호를 송신하는 동작과,
    상기 서버로부터, 상기 음악에 관한 정보를 수신하는 동작을 더 포함하고,
    상기 음악에 관한 정보는, 상기 음악의 장르에 관한 정보를 포함하는 방법.
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 11에 있어서,
    상기 음악의 장르를 식별하는 것에 기반하여, 상기 카메라 어플리케이션을 통해, 상기 음악에 관한 AR 객체의 존재를 나타내기(represent) 위한 인디케이터를 표시하는 동작을 더 포함하는 방법.
KR1020170178094A 2017-12-22 2017-12-22 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법 KR102614048B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170178094A KR102614048B1 (ko) 2017-12-22 2017-12-22 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법
PCT/KR2018/016399 WO2019125029A1 (ko) 2017-12-22 2018-12-21 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법
US16/772,421 US11189102B2 (en) 2017-12-22 2018-12-21 Electronic device for displaying object for augmented reality and operation method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170178094A KR102614048B1 (ko) 2017-12-22 2017-12-22 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법

Publications (2)

Publication Number Publication Date
KR20190076360A KR20190076360A (ko) 2019-07-02
KR102614048B1 true KR102614048B1 (ko) 2023-12-15

Family

ID=66994227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170178094A KR102614048B1 (ko) 2017-12-22 2017-12-22 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US11189102B2 (ko)
KR (1) KR102614048B1 (ko)
WO (1) WO2019125029A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11455300B2 (en) 2019-11-18 2022-09-27 Rockwell Automation Technologies, Inc. Interactive industrial automation remote assistance system for components
US11733667B2 (en) 2019-11-18 2023-08-22 Rockwell Automation Technologies, Inc. Remote support via visualizations of instructional procedures
US11263570B2 (en) * 2019-11-18 2022-03-01 Rockwell Automation Technologies, Inc. Generating visualizations for instructional procedures
CN113359988B (zh) * 2021-06-03 2022-11-29 北京市商汤科技开发有限公司 一种信息的展示方法、装置、计算机设备及存储介质
CN114329001B (zh) * 2021-12-23 2023-04-28 游艺星际(北京)科技有限公司 动态图片的显示方法、装置、电子设备及存储介质
WO2024025076A1 (ko) * 2022-07-26 2024-02-01 삼성전자 주식회사 외부 객체로부터 출력된 소리 신호를 이용하여 볼륨을 조절하기 위한 전자 장치 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170364589A1 (en) * 2009-08-13 2017-12-21 TunesMap Inc. Analyzing Captured Sound and Seeking a Match Based on an Acoustic Fingerprint for Temporal and Geographic Presentation and Navigation of linked Cultural, Artistic, and Historic Content

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7444353B1 (en) * 2000-01-31 2008-10-28 Chen Alexander C Apparatus for delivering music and information
US7053915B1 (en) * 2002-07-30 2006-05-30 Advanced Interfaces, Inc Method and system for enhancing virtual stage experience
US20060009979A1 (en) * 2004-05-14 2006-01-12 Mchale Mike Vocal training system and method with flexible performance evaluation criteria
US7732694B2 (en) * 2006-02-03 2010-06-08 Outland Research, Llc Portable music player with synchronized transmissive visual overlays
KR100822376B1 (ko) 2006-02-23 2008-04-17 삼성전자주식회사 곡명을 이용한 음악 주제 분류 방법 및 시스템
WO2007130693A2 (en) * 2006-05-07 2007-11-15 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
US9098167B1 (en) 2007-02-26 2015-08-04 Qurio Holdings, Inc. Layered visualization of content representations
US20090300525A1 (en) * 2008-05-27 2009-12-03 Jolliff Maria Elena Romera Method and system for automatically updating avatar to indicate user's status
US8602887B2 (en) * 2010-06-03 2013-12-10 Microsoft Corporation Synthesis of information from multiple audiovisual sources
KR101679239B1 (ko) 2010-07-06 2016-11-24 삼성전자주식회사 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법
EP2754289A4 (en) 2011-09-08 2016-05-18 Intel Corp INCREASED REALITY BASED ON OBJECT CHARACTERISTICS WHERE THE IMAGE IS FORMED
CN110097416B (zh) * 2011-09-18 2022-05-10 踏途音乐公司 具有卡拉ok和照相亭功能的数字点播设备及相关方法
US20130290106A1 (en) 2012-03-08 2013-10-31 Augme Technologies, Inc. System and method for providing directions to items of interest
WO2014056000A1 (en) * 2012-10-01 2014-04-10 Coggins Guy Augmented reality biofeedback display
US20140122086A1 (en) * 2012-10-26 2014-05-01 Microsoft Corporation Augmenting speech recognition with depth imaging
US20140161263A1 (en) * 2012-12-10 2014-06-12 Microsoft Corporation Facilitating recognition of real-time content
US9524282B2 (en) 2013-02-07 2016-12-20 Cherif Algreatly Data augmentation with real-time annotations
US8910201B1 (en) * 2013-03-11 2014-12-09 Amazon Technologies, Inc. Product placement in digital content
US9443354B2 (en) * 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
TWI486904B (zh) * 2013-12-04 2015-06-01 Inst Information Industry 律動影像化方法、系統以及電腦可讀取記錄媒體
US20180136319A1 (en) * 2015-04-22 2018-05-17 Trinamix Gmbh Detector for an optical detection of at least one object
KR102358025B1 (ko) 2015-10-07 2022-02-04 삼성전자주식회사 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
US20170161382A1 (en) 2015-12-08 2017-06-08 Snapchat, Inc. System to correlate video data and contextual data
KR20170075321A (ko) 2015-12-23 2017-07-03 김근동 증강현실 노래방 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170364589A1 (en) * 2009-08-13 2017-12-21 TunesMap Inc. Analyzing Captured Sound and Seeking a Match Based on an Acoustic Fingerprint for Temporal and Geographic Presentation and Navigation of linked Cultural, Artistic, and Historic Content

Also Published As

Publication number Publication date
KR20190076360A (ko) 2019-07-02
WO2019125029A1 (ko) 2019-06-27
US11189102B2 (en) 2021-11-30
US20210074067A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
KR102614048B1 (ko) 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법
KR102560689B1 (ko) Ar 객체를 표시하기 위한 장치 및 방법
KR102423175B1 (ko) 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법
KR102338576B1 (ko) 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
KR102488410B1 (ko) 복수의 카메라들을 이용하여 영상을 촬영하는 전자 장치와 이의 동작 방법
KR102597518B1 (ko) 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법
KR102423295B1 (ko) 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법
CN113424228A (zh) 用于提供化身动画的电子装置及其方法
KR20200077840A (ko) 사용자의 감정 상태에 기반하여 아바타를 제공하기 위한 전자 장치 및 그에 관한 방법
US11416974B2 (en) Image processing method and electronic device supporting the same
KR20200090014A (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
KR102512839B1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
KR102418852B1 (ko) 이미지 표시를 제어하는 전자 장치 및 방법
KR20200113522A (ko) 제스처 입력에 따라 기능을 실행하는 전자 장치 및 이의 동작 방법
KR102385844B1 (ko) 제 1 이미지 센서에서 제공된 신호를 이용하여 제 2 이미지 센서에서 데이터를 획득하는 방법 및 전자 장치
US11238622B2 (en) Method of providing augmented reality contents and electronic device therefor
KR102646344B1 (ko) 이미지를 합성하기 위한 전자 장치 및 그의 동작 방법
KR102402457B1 (ko) 콘텐츠 처리 방법 및 이를 지원하는 전자 장치
KR20200101048A (ko) 영상을 처리하는 전자 장치 및 그 영상 처리 방법
KR20210007697A (ko) 이미지 센서 및 이미지 센서를 포함하는 전자 장치
KR102614026B1 (ko) 복수의 렌즈를 구비하는 전자 장치 및 그 제어 방법
CN111886853B (zh) 图像数据处理方法及其设备
KR102657519B1 (ko) 음성을 기반으로 그래픽 데이터를 제공하는 전자 장치 및 그의 동작 방법
KR101611308B1 (ko) 이미지 촬영방법
KR20210115786A (ko) 자기 이미지 캡쳐 방법 및 이를 위한 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant