WO2019125029A1 - 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법 - Google Patents

증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2019125029A1
WO2019125029A1 PCT/KR2018/016399 KR2018016399W WO2019125029A1 WO 2019125029 A1 WO2019125029 A1 WO 2019125029A1 KR 2018016399 W KR2018016399 W KR 2018016399W WO 2019125029 A1 WO2019125029 A1 WO 2019125029A1
Authority
WO
WIPO (PCT)
Prior art keywords
music
processor
image
genre
electronic device
Prior art date
Application number
PCT/KR2018/016399
Other languages
English (en)
French (fr)
Inventor
권오윤
오영학
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/772,421 priority Critical patent/US11189102B2/en
Publication of WO2019125029A1 publication Critical patent/WO2019125029A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • FIG. 3 is a block diagram of an audio module, in accordance with various implementations.
  • FIG. 4 is a block diagram of a camera module, in accordance with various embodiments.
  • Figure 11 shows an example of the display of an AR object corresponding to a human posture contained in an image in an electronic device according to various embodiments.
  • Each of the components may be comprised of a single entity or a plurality of entities, and some of the subcomponents described above may be omitted, or other subcomponents May be further included in various embodiments.
  • some components e.g., modules or programs
  • the audio module 170 is capable of bi-directionally converting sound and electrical signals. According to one embodiment, the audio module 170 may acquire sound through the input device 150, or may be connected to the audio output device 155, or to an external electronic device (e.g., Electronic device 102 (e.g., a speaker or headphone)).
  • an external electronic device e.g., Electronic device 102 (e.g., a speaker or headphone)
  • the camera module 180 can capture a still image and a moving image.
  • the camera module 180 may include one or more lenses, an image sensor, an image signal processor, or a flash.
  • the communication module 190 is responsible for establishing a wired or wireless communication channel between the electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108) Lt; / RTI > Communication module 190 may include one or more communication processors that support wired communication or wireless communication, operating independently of processor 120 (e.g., an application processor).
  • FIG. 2 is a block diagram 200 of a display device 160, in accordance with various embodiments.
  • the display device 160 may include a display 210 and a display driver IC (DDI) 230 for controlling the same.
  • the DDI 230 may include an interface module 231, a memory 233 (e.g., a buffer memory), an image processing module 235, or a mapping module 237.
  • the DDI 230 is coupled to the processor 120 (e.g., the main processor 121 (e.g., an application processor) or the main processor 121 via an interface module 231, (E.g., the video data control unit 123), or image control signals corresponding to commands for controlling the video data.
  • the display device 160 may further include at least one sensor (e.g., a fingerprint sensor, iris sensor, pressure sensor or illuminance sensor) of the sensor module 176, or control circuitry therefor.
  • the at least one sensor or the control circuitry thereof may be embodied in a part of the display device 160 (e.g., the display 210 or the DDI 230) or a part of the touch circuit 250.
  • the sensor module 176 embedded in the display device 160 includes a biosensor (for example, a fingerprint sensor), the biosensor transmits biometric information (E.g., a fingerprint image).
  • the audio module 170 includes an audio amplifier (not shown) capable of amplifying an analog audio signal input through the audio input interface 310, or an audio signal to be output through the audio output interface 370, (E.g., a speaker amplification circuit).
  • the audio amplifier may be configured as a separate module from the audio module 170.
  • the music is not played around the electronic device 101, but rather the electronic device 101 plays music through the audio module 170 )can do.
  • the processor 120 Based on the electronic device 101 playing (or outputting) music through the audio module 170, the processor 120 displays the AR object based on the information about the music played in the electronic device 101 can do. For example, the processor 120 may not activate the microphone 550 when the electronic device 101 reproduces music. For example, processor 120 may determine whether electronic device 101 plays (or outputs) music through audio module 170, in response to running the camera application.
  • the database 600 may include a plurality of AR objects, even within one subclass included in one genre.
  • the AR objects 611 corresponding to the hairstyle of the reggae genre 610 may include a plurality of hair stickers (not shown) as well as a hair sticker 612.
  • the plurality of hair stickers of the reggae genre 610 may include a hair sticker having an atmosphere of fast reggae and a hair sticker having an atmosphere of a slow reggae.
  • An electronic device in accordance with various embodiments as described above may include a display (e.g., display 210), a camera module (e.g., camera module 180), a microphone 550), and at least one processor (e.g., processor (120)), wherein the at least one processor is configured to display, via the display, an image obtained using the camera module, To receive a first music through the microphone, to select a first augmented reality object based on the genre of the first music, and to overlay the first AR object on the image have.
  • a display e.g., display 210
  • a camera module e.g., camera module 180
  • a microphone 550 e.g., a microphone 550
  • processor e.g., processor (120)
  • the at least one processor is configured to display, via the display, an image obtained using the camera module, To receive a first music through the microphone, to select a first augmented reality object based on the genre of the first music, and to overlay the first AR object on the image have.
  • the at least one processor is configured to identify whether the electronic device is reproducing a second music, with the microphone inactive, and to identify that the electronic device is reproducing the second music , Selecting a second AR object based on the information about the second music, and superimposing and displaying the second AR object on the image.
  • the electronic device further comprises a memory (e.g., memory 130) configured to store a plurality of AR objects, wherein the at least one processor is configured to determine, And to select the first AR object corresponding to the genre of the first music.
  • the at least one processor may further include a plurality of first AR objects, 1 music based on at least one of the tempo, mood, or intensity of the music.
  • the electronic device further comprises a communication module (e.g., a communication module 190), wherein the at least one processor communicates with the server (e.g., server 108) 1 music, and is configured to receive information on the first music from the server, and the information on the first music may include information on the genre of the first music.
  • a communication module e.g., a communication module 190
  • the at least one processor communicates with the server (e.g., server 108) 1 music, and is configured to receive information on the first music from the server, and the information on the first music may include information on the genre of the first music.
  • the processor 120 may receive music via the activated microphone 550.
  • the processor 120 may display AR objects overlaid on the image, based on the genre of the identified music.
  • the processor 120 may receive AR objects stored in the memory 130, and receive AR objects stored in the server, based on the genre of the identified music.
  • the processor 120 can extract the feature points of the image using the camera module 180.
  • the processor 120 may cause the AR object (e.g., a hair sticker or a hat sticker) corresponding to the configuration of the image (e.g., a person's head) based on the minutiae to correspond to a location Can be displayed.
  • Processor 120 may identify that the feature points of the image are moving within the image (e.g., preview image or moving image).
  • Processor 120 may display a moving AR object based on feature points moving within an image (e.g., preview image or moving image).
  • a screen 800 or a screen 850 may represent an example of a user interface (UI) of a camera application.
  • the electronic device 101 may display the screen 800 based on executing the camera application.
  • the screen 800 may include a preview image 801 obtained through the camera module 180.
  • Screen 800 may include an object 802 for entering a screen 850 for an AR object.
  • Processor 120 may display a changed (or switched) screen 850 from screen 800 in response to receiving an input to object 802.
  • the screen 850 may be a screen for displaying the AR object superimposed on the preview image 801. [
  • the processor 120 can separate a person from the background and extract human feature points within the preview image 801.
  • the processor 120 may display an AR background 851 corresponding to a genre (e.g., genre, speed, atmosphere, or intensity) of music on the background of the preview image 801.
  • the processor 120 can display the AR hat 852 corresponding to the genre of music on the head of the person included in the preview image 801 based on the minutiae.
  • the AR background 851 or AR hat 852 may be determined to correspond to a genre of music (e.g., genre, speed, atmosphere, or intensity) without user input.
  • Figure 9 shows an example of an operation for identifying the genre of music in the electronic device 101 according to various embodiments.
  • FIG. 10 illustrates an example of an operation for displaying an AR object corresponding to a human posture contained in an image in an electronic device 101 according to various embodiments.
  • the processor 120 may extract feature points of the displayed image.
  • the processor 120 can use the camera module 180 to identify people included in the image from the background, and to identify the minutiae about the person.
  • the processor 120 may use the feature points to identify (or recognize) a person's face (e.g., eye, nose, mouth, etc.) or gesture (or posture) ))can do.
  • processor 120 may distinguish background 1113 and person 1111 from image 1110.
  • the processor 120 may determine whether a specified posture is recognized from the feature points.
  • the designated posture may include, for example, a posture for playing the guitar, an attitude for playing the piano, an attitude for playing the drum, and the like.
  • the processor 120 may recognize (or identify) an attitude to play a guitar based on analyzing a feature point of the person 1111.
  • the processor 120 may display an AR object corresponding to the recognized posture and the genre of the identified music, based on recognizing the specified posture. For example, the processor 120 may read information about the AR objects included in the reggae genre 610 from the database 600, based on identifying the genre of music as a reggae. For example, referring to FIG. 11, the processor 120 may display the AR background 1133 corresponding to the reggae genre as the background of the image. The processor 120 may float AR hair 1135 corresponding to the reggae genre to the head of the person 1111. [ The processor 120 may identify the posture of the person 1111 as a posture of playing a guitar among a plurality of designated postures.
  • Processor 120 may display screen 1230 based on determining that the genre of music being received or played is reggae. For example, the processor 120 may read information about the AR objects included in the reggae genre 610 of the database 600. The processor 120 may display the screen 1230 by plotting the AR objects contained in the reggae genre 610 at their respective positions based on analyzing the feature points of the preview image. In some embodiments, processor 120 may overlay AR stamp 1231 on another AR object (e.g., AR other 1235). In some other embodiments, processor 120 may superimpose AR stamp 1231 on the torso of a person, such as screen 850. In some other embodiments, processor 120 may overlay AR stamp 1231 on the background.
  • another AR object e.g., AR other 1235
  • processor 120 may superimpose AR stamp 1231 on the torso of a person, such as screen 850. In some other embodiments, processor 120 may overlay AR stamp 1231 on the background.
  • Processor 120 may display the designated AR object 1331 within screen 1330.
  • the designated AR object 1331 can be determined at random.
  • Display 1330 may include an indicator 1332 that represents displaying a designated AR object.
  • Fig. 14 shows an example of an operation for storing a moving picture obtained in the electronic device 101 according to various embodiments, together with information on an AR object related to the moving picture.
  • the processor 120 may determine whether the genre of music is identified from the audio data included in the moving picture. The processor 120 may terminate the operation from the audio data included in the moving picture if the music is not identified or the genre of the music is not identified. For example, the processor 120 may store the acquired motion picture in the memory 130.
  • Processor 120 may play a moving picture 1550 corresponding to a thumbnail 1510 in response to receiving an input to thumbnail 1510.
  • the processor 120 may float the AR object on a moving image based on information about the AR object stored with the moving image.
  • the processor 120 can play back the moving picture 1550 in which the AR object is displayed.
  • 16 shows an example of an operation for reproducing a moving picture in which an AR object is displayed in the electronic device 101 according to various embodiments.
  • the processor 120 may play a movie in which the AR object is not displayed, based on not receiving a user input for displaying the AR object. For example, the processor 120 may display the screen 1700 based on not receiving a user input for displaying the AR object.
  • the noise caused by the touch input of the user during the shooting of the moving picture may be included in the moving picture.
  • the electronic device 101 identifies whether or not music is included in the audio signal received via the microphone 550 during shooting of the moving image, and based on the identified music and the image data contained in the moving image By bypassing receiving the user input, by obtaining information about the AR object and storing information about the obtained AR object.
  • the method of an electronic device in accordance with various embodiments as described above may be configured such that an image obtained using a camera module (e.g., camera module 180) (E. G., Microphone (550)), receiving first music through the microphone, and displaying the first music based on the genre of the first music Selecting an AR (augmented reality) object, and displaying the first AR object overlaid on the image.
  • a camera module e.g., camera module 180
  • Microphone 550
  • the method further comprises: obtaining a moving picture through the camera module; identifying a genre of a second music included in the audio data of the moving picture; determining, based on the genre of the second music, Acquiring information about a second AR object corresponding to the moving image, and storing information about the second AR object together with the moving image.
  • the information on the second AR object corresponding to the moving picture may include a frame to display the second AR object, a type of the second AR object, or the second AR object, And at least one of positions to be displayed.
  • the method further includes determining a genre of the first music based on at least one of beats per minute (BPM), amplitude, or frequency of the first music can do.
  • BPM beats per minute
  • the method further comprises transmitting, via the communication module of the electronic device, a signal relating to the first music to a server, and an operation of receiving information about the first music from the server And the information on the first music may include information on the genre of the first music.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

다양한 실시 예들에 따른 전자 장치는, 디스플레이, 카메라 모듈, 마이크, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 카메라 모듈을 이용하여 획득되는 이미지를 상기 디스플레이를 통해 표시하고, 상기 마이크를 활성화하고, 상기 활성화된 마이크를 통해 음악을 수신하고, 상기 수신된 음악의 장르에 기반하여 AR(augmented reality) 객체를 선택하고, 상기 선택된 AR 객체를 상기 표시된 이미지에 중첩하여 표시하도록 설정될 수 있다.

Description

증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법
다양한 실시 예들은 증강 현실(AR, augmented reality)을 위한 객체를 표시하는 방법 및 전자 장치에 관한 것이다.
디지털 기술의 발달과 함께 이동 통신 단말기, PDA(personal digital assistant), 전자 수첩, 스마트폰, 태블릿(tablet) PC(personal computer), 또는 웨어러블 디바이스(wearable device) 등의 다양한 전자 장치들이 보급되고 있다. 다양한 전자 장치들은, 사용자에게 다양한 경험을 제공할 수 있다. 예를 들면, 전자 장치는, 현실의 사물에 가상의 정보를 덧붙여 보여주는 증강 현실(AR, augmented reality)을 제공할 수 있다. 증강 현실을 제공하기 위한 전자 장치는, 카메라를 통해 현실의 사물에 대한 프리뷰 이미지를 획득하고, 현실의 사물을 인식(또는 식별(identify))할 수 있다. 전자 장치는, 인식된 사물에 기반하여, 프리뷰 이미지 상에 증강 현실에 대한 정보(예: 가상의 객체)를 표시할 수 있다. 이러한 증강 현실은, 예를 들면, 게임 어플리케이션(application) 또는 카메라 어플리케이션을 통해서 사용자에게 제공될 수 있다.
전자 장치는 카메라를 통해 획득되는 프리뷰 이미지에 중첩된 AR(augmented reality) 객체를 표시할 수 있다. 이러한 AR 객체의 표시를 위해, AR 객체를 호출하거나 검색하기 위한 사용자 입력이 요구될 수 있다. 따라서, 전자 장치 내에서 프리뷰 이미지를 표시하는 상태에서 AR 객체를 호출하거나 검색하기 위한 사용자 입력의 요구 없이 AR 객체를 표시하기 위한 방안이 요구될 수 있다.
다양한 실시예들은, 전자 장치 주변에서 재생되는 음악에 대한 정보에 기반하여, 프리뷰 이미지 위에 AR 객체를 표시하기 위한 전자 장치 및 방법을 제공할 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시 예들에 따른 전자 장치는, 디스플레이, 카메라 모듈, 마이크, 및 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 카메라 모듈을 이용하여 획득되는 이미지를 상기 디스플레이를 통해 표시하고, 상기 마이크를 활성화하고, 상기 활성화된 마이크를 통해 음악을 수신하고, 상기 수신된 음악의 장르에 기반하여 AR(augmented reality) 객체를 선택하고, 상기 선택된 AR 객체를 상기 표시된 이미지에 중첩하여 표시하도록 설정될 수 있다.
다양한 실시 예들에 따른 전자 장치의 방법은, 상기 전자 장치의 카메라 모듈을 이용하여 획득되는 이미지를 상기 전자 장치의 디스플레이를 통해 표시하는 동작과, 상기 전자 장치의 마이크를 활성화하는 동작과, 상기 활성화된 마이크를 통해 음악을 수신하는 동작과, 상기 수신된 음악의 장르에 기반하여 AR(augmented reality) 객체를 선택하는 동작과, 상기 선택된 AR 객체를 상기 표시된 이미지에 중첩하여 표시하는 동작을 포함할 수 있다.
다양한 실시 예들에 따른 장치 및 방법은, AR 객체를 선택하기 위한 사용자 입력을 수신함이 없이, 전자 장치 주변에서 재생되는 음악에 대응하는 AR 객체를 표시할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른, 표시 장치의 블록도이다.
도 3은 다양한 실시에 따른, 오디오 모듈의 블록도이다.
도 4는 다양한 실시예들에 따른, 카메라 모듈의 블록도이다.
도 5는 다양한 실시 예들에 따른 전자 장치의 기능적 구성의 예를 도시한다.
도 6은 다양한 실시 예들에 따른 AR 객체들을 저장하는 데이터베이스를 설명하기 위한 도면이다.
도 7은 다양한 실시 예들에 따른 전자 장치의 동작의 예를 도시한다.
도 8은 다양한 실시 예들에 따른 카메라 어플리케이션의 화면의 예를 도시한다.
도 9는 다양한 실시 예들에 따른 전자 장치에서 음악의 장르를 식별하기 위한 동작의 예를 도시한다.
도 10은 다양한 실시 예들에 따른 전자 장치에서 이미지에 포함된 사람의 자세(posture)에 대응하는 AR 객체를 표시하기 위한 동작의 예를 도시한다.
도 11은 다양한 실시 예들에 따른 전자 장치에서 이미지에 포함된 사람의 자세(posture)에 대응하는 AR 객체의 표시의 예를 도시한다.
도 12는 다양한 실시 예들에 따른 전자 장치에서 식별된 음악의 장르에 기반하여 표시되는 AR 객체의 예를 도시한다.
도 13은 다양한 실시 예들에 따른 전자 장치에서, 카메라 어플리케이션을 실행하는 도중에 음악이 식별되는 경우의 화면의 예를 도시한다.
도 14는 다양한 실시 예들에 따른 전자 장치에서 획득된 동영상을, 동영상과 관련된 AR 객체에 관한 정보와 함께 저장하기 위한 동작의 예를 도시한다.
도 15는 다양한 실시 예들에 따른 전자 장치에서, 동영상이 AR 객체에 관한 정보와 함께 저장된 화면의 예를 도시한다.
도 16은 다양한 실시 예들에 따른 전자 장치에서, AR 객체가 표시된 동영상을 재생하기 위한 동작의 예를 도시한다.
도 17은 다양한 실시 예들에 따른 전자 장치에서, AR 객체가 표시된 동영상을 재생하기 위한 화면의 예를 도시한다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램(140))로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(100))를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 및 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(160)(예: 디스플레이)에 임베디드된 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(123)는 메인 프로세서(121)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부 구성 요소로서 구현될 수 있다. 메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(160)는 전자 장치(101)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 외부 전자 장치(예: 전자 장치(102))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(190)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일실시예에 따르면, 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(101)를 구별 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일시예에 따르면, 통신 모듈(190)(예: 무선 통신 모듈(192))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시예들에 따른, 표시 장치(160)의 블록도(200)이다. 도 2를 참조하면, 표시 장치(160)는 디스플레이(210), 및 이를 제어하기 위한 디스플레이 드라이버 IC(DDI)(230)를 포함할 수 있다. DDI(230)는 인터페이스 모듈(231), 메모리(233)(예: 버퍼 메모리), 이미지 처리 모듈(235), 또는 맵핑 모듈(237)을 포함할 수 있다. DDI(230)는, 예를 들면, 인터페이스 모듈(231)을 통하여 프로세서(120)(예: 메인 프로세서(121)(예: 어플리케이션 프로세서) 또는 메인 프로세서(121)의 기능과 독립적으로 운영되는 보조 프로세서(123))로부터 영상 데이터, 또는 상기 영상 데이터를 제어하기 위한 명령에 대응하는 영상 제어 신호를 포함하는 영상 정보를 수신할 수 있다. DDI(230)는 터치 회로(250) 또는 센서 모듈(176) 등과 상기 인터페이스 모듈(231)을 통하여 커뮤니케이션할 수 있다. 또한, DDI(230)는 상기 수신된 영상 정보 중 적어도 일부를 메모리(233)에, 예를 들면, 프레임 단위로 저장할 수 있다. 이미지 처리 모듈(235)은, 예를 들면, 상기 영상 데이터의 적어도 일부를 상기 영상 데이터의 특성 또는 디스플레이(210)의 특성에 적어도 기반하여 전처리 또는 후처리(예: 해상도, 밝기, 또는 크기 조정)를 수행할 수 있다. 맵핑 모듈(237)은 디스플레이(210)의 픽셀들의 속성(예: 픽셀들의 배열(RGB stripe 또는 pentile), 또는 서브 픽셀들 각각의 크기)에 적어도 일부 기반하여, 이미지 처리 모듈(135)를 통해 전처리 또는 후처리된 상기 영상 데이터를 상기 픽셀들을 구동할 수 있는 전압 값 또는 전류 값으로 변환할 수 있다. 디스플레이(210)의 적어도 일부 픽셀들은, 예를 들면, 상기 전압 값 또는 전류 값에 기반하여 구동됨으로써 상기 영상 데이터에 대응하는 시각적 정보(예: 텍스트, 이미지, 또는 아이콘)가 디스플레이(210)에 표시될 수 있다.
일실시예에 따르면, 표시 장치(160)는 터치 회로(250)를 더 포함할 수 있다. 터치 회로(250)는 터치 센서(251) 및 이를 제어하기 위한 터치 센서 IC(253)를 포함할 수 있다. 터치 센서 IC(253)는 터치 센서(251)를 제어하여, 예를 들면, 디스플레이(210)의 특정 위치에 대한 신호(예: 전압, 광량, 저항, 또는 전하량)의 변화를 측정함으로써 상기 특정 위치에 대한 터치 입력 또는 호버링 입력을 감지하고, 감지된 터치 입력 또는 호버링 입력에 관한 정보(예: 위치, 면적, 압력, 또는 시간)를 프로세서(120)에 제공할 수 있다. 일실시예에 따르면, 터치 회로(250)의 적어도 일부(예: 터치 센서 IC(253))는 디스플레이 드라이버 IC(230), 또는 디스플레이(210)의 일부로, 또는 표시 장치(160)의 외부에 배치된 다른 구성요소(예: 보조 프로세서(123))의 일부로 포함될 수 있다.
일실시예에 따르면, 표시 장치(160)는 센서 모듈(176)의 적어도 하나의 센서(예: 지문 센서, 홍채 센서, 압력 센서 또는 조도 센서), 또는 이에 대한 제어 회로를 더 포함할 수 있다. 이 경우, 상기 적어도 하나의 센서 또는 이에 대한 제어 회로는 표시 장치(160)의 일부(예: 디스플레이(210) 또는 DDI(230)) 또는 터치 회로(250)의 일부에 임베디드되어 구현될 수 있다. 예를 들면, 표시 장치(160)에 임베디드된 센서 모듈(176)이 생체 센서(예: 지문 센서)를 포함할 경우, 상기 생체 센서는 디스플레이(210)의 일부 영역을 통해 터치 입력과 연관된 생체 정보(예: 지문 이미지)를 획득할 수 있다. 다른 예를 들면, 표시 장치(160)에 임베디드된 센서 모듈(176)이 압력 센서를 포함할 경우, 상기 압력 센서는 디스플레이(210)의 일부 또는 전체 영역을 통해 터치 입력에 대한 압력 정보를 획득할 수 있다. 일실시예에 따르면, 터치 센서(251) 또는 센서 모듈(176)은 디스플레이(210)의 픽셀 레이어의 픽셀들 사이에, 또는 상기 픽셀 레이어의 위에 또는 아래에 배치될 수 있다.
도 3은, 다양한 실시에 따른, 오디오 모듈(170)의 블록도(300)이다. 도 3를 참조하면, 오디오 모듈(170)은, 예를 들면, 오디오 입력 인터페이스(310), 오디오 입력 믹서(320), ADC(analog to digital converter)(330), 오디오 신호 처리기(340), DAC(digital to analog converter)(350), 오디오 출력 믹서(360), 또는 오디오 출력 인터페이스(370)를 포함할 수 있다.
오디오 입력 인터페이스(310)는 입력 장치(150)의 일부로서 또는 전자 장치(101)와 별도로 구성된 마이크(예: 다이나믹 마이크, 콘덴서 마이크, 또는 피에조 마이크)를 통하여 전자 장치(101)의 외부로부터 획득한 소리에 대응하는 오디오 신호를 수신할 수 있다. 예를 들어, 외부의 전자 장치(102)(예: 헤드셋 또는 마이크)로부터 오디오 신호를 획득하는 경우, 오디오 입력 인터페이스(310)는 상기 외부의 전자 장치(102)와 연결 단자(178)를 통해 유선으로, 또는 무선 통신 모듈(192)을 통하여 무선으로(예: Bluetooth 통신) 연결되어 오디오 신호를 수신할 수 있다. 일실시예에 따르면, 오디오 입력 인터페이스(310)는 상기 외부의 전자 장치(102)로부터 획득되는 오디오 신호와 관련된 제어 신호(예: 입력 버튼을 이용한 볼륨 조정 신호)를 수신할 수 있다. 오디오 입력 인터페이스(310)는 복수의 오디오 입력 채널들을 포함하고, 각각의 오디오 입력 채널 별로 다른 오디오 신호를 수신할 수 있다. 일실시예에 따르면, 추가적으로 또는 대체적으로, 오디오 입력 인터페이스(310)는 전자 장치(101)의 다른 구성 요소(예: 프로세서(120) 또는 메모리(130))로부터 오디오 신호를 입력 받을 수 있다.
오디오 입력 믹서(320)는 입력된 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 일실시예에 따르면, 오디오 입력 믹서(320)는, 오디오 입력 인터페이스(310)를 통해 입력된 복수의 아날로그 오디오 신호들을 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다.
ADC(330)는 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있다. 일실시예에 따르면, ADC(330)는 오디오 입력 인터페이스(310)을 통해 수신된 아날로그 오디오 신호, 또는 추가적으로 또는 대체적으로 오디오 입력 믹서(320)를 통해 합성된 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있다.
오디오 신호 처리기(340)는 ADC(330)를 통해 입력받은 디지털 오디오 신호, 또는 전자 장치(101)의 다른 구성 요소로부터 수신된 디지털 오디오 신호에 대하여 다양한 처리를 수행할 수 있다. 예를 들어, 오디오 신호 처리기(340)는 하나 이상의 디지털 오디오 신호들에 대해 샘플링 비율 변경, 하나 이상의 필터 적용, 보간(interpolation) 처리, 증폭 또는 감쇄(예: 일부 주파수 대역 또는 전 주파수 대역의 증폭 또는 감쇄) 처리, 노이즈 처리(예: 노이즈 또는 에코 감쇄), 채널 변경(예: 모노 및 스테레오간 전환), 합성(mixing), 또는 지정된 신호 추출을 수행할 수 있다. 일실시예에 따르면, 오디오 신호 처리기(340)의 적어도 일부 기능은 이퀄라이저(equalizer)의 형태로 구현될 수 있다.
DAC(350)는 디지털 오디오 신호를 아날로그 오디오 신호로 변환할 수 있다. 일실시예에 따르면, DAC(350)는 오디오 신호 처리기(340)에 의해 처리된 디지털 오디오 신호, 또는 전자 장치(101)의 다른 구성 요소로부터 획득한 디지털 오디오 신호를 아날로그 오디오 신호로 변환할 수 있다.
오디오 출력 믹서(360)는 출력할 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 일실시예에 따르면, 오디오 출력 믹서(360)는 DAC(350)를 통해 아날로그로 전환된 오디오 신호 및 다른 아날로그 오디오 신호(예: 오디오 입력 인터페이스(310)을 통해 수신한 아날로그 오디오 신호)를 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다.
오디오 출력 인터페이스(370)는 DAC(350)를 통해 변환된 아날로그 오디오 신호, 또는 추가적으로 또는 대체적으로 오디오 출력 믹서(360)에 의해 합성된 아날로그 오디오 신호를 음향 출력 장치(155)(예: 스피커(예: dynamic driver 또는 balanced armature driver), 또는 리시버)를 통해 전자 장치(101)의 외부로 출력할 수 있다. 일실시예에 따르면, 음향 출력 장치(155)는 복수의 스피커들을 포함하고, 오디오 출력 인터페이스(370)는 상기 복수의 스피커들 중 적어도 일부 스피커들을 통하여 서로 다른 복수의 채널들(예: 스테레오, 또는 5.1채널)을 갖는 오디오 신호를 출력할 수 있다. 일실시예에 따르면, 오디오 출력 인터페이스(370)는 외부의 전자 장치(102)(예: 외부 스피커 또는 헤드셋)와 연결 단자(178)를 통해 유선으로, 또는 무선 통신 모듈(192)을 통하여 무선으로 연결되어 오디오 신호를 출력할 수 있다.
일실시예에 따르면, 오디오 모듈(170)은 오디오 입력 믹서(320) 또는 오디오 출력 믹서(360)를 별도로 구비하지 않고, 오디오 신호 처리기(340)의 적어도 일부 기능으로서 복수의 디지털 오디오 신호들을 합성하여 적어도 하나의 디지털 오디오 신호를 생성할 수 있다.
일실시예에 따르면, 오디오 모듈(170)은 오디오 입력 인터페이스(310)를 통해 입력된 아날로그 오디오 신호, 또는 오디오 출력 인터페이스(370)를 통해 출력될 오디오 신호를 증폭할 수 있는 오디오 증폭기(미도시)(예: 스피커 증폭 회로)를 포함할 수 있다. 일실시예에 따르면, 상기 오디오 증폭기는 오디오 모듈(170)과 별도의 모듈로 구성될 수 있다.
도 4는, 다양한 실시예들에 따른, 카메라 모듈(180)의 블록도(400)이다. 도 4를 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(410), 플래쉬(420), 이미지 센서(430), 이미지 스태빌라이저(440), 메모리(450)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(460)를 포함할 수 있다. 렌즈 어셈블리(410)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(410)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(410)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)일 수 있다. 복수의 렌즈 어셈블리(410)들은 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리와 적어도 하나의 다른 렌즈 속성을 가질 수 있다. 렌즈 어셈블리(410)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다. 플래쉬(420)는 피사체로부터 방출되는 빛을 강화하기 위하여 사용되는 광원을 방출할 수 있다. 플래쉬(420)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다.
이미지 센서(430)는 피사체로부터 렌즈 어셈블리(410)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일실시예에 따르면, 이미지 센서(430)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(430)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서로 구현될 수 있다.
이미지 스태빌라이저(440)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향(예: 이미지 흔들림)을 적어도 일부 보상하기 위하여 렌즈 어셈블리(410)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(430)를 특정한 방향으로 움직이거나 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 일실시예에 따르면, 이미지 스태빌라이저(440)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있으며, 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 상기 움직임을 감지할 수 있다.
메모리(450)는 이미지 센서(430)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: 높은 해상도의 이미지)는 메모리(450)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(450)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(460)에 의해 획득되어 처리될 수 있다. 일실시예에 따르면, 메모리(450)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(460)는 이미지 센서(430)을 통하여 획득된 이미지 또는 메모리(450)에 저장된 이미지에 대하여 이미지 처리(예: 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening))을 수행할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(460)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(430))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(460)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(450)에 다시 저장되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 표시 장치(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 전달될 수 있다. 일실시예에 따르면, 이미지 시그널 프로세서(460)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(460)에 의해 처리된 이미지들은 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(160)를 통해 표시될 수 있다.
일실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 둘 이상의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 적어도 하나의 카메라 모듈(180)은 광각 카메라 또는 전면 카메라이고, 적어도 하나의 다른 카메라 모듈은 망원 카메라 또는 후면 카메라일 수 있다.
도 5는 다양한 실시 예들에 따른 전자 장치(101)의 기능적 구성의 예를 도시한다.
도 5를 참조하면, 전자 장치(101)는, 카메라 모듈(180), 오디오 모듈(170), 마이크(550), 통신 모듈(190), 디스플레이(210), 메모리(130), 및 프로세서(120)를 포함할 수 있다. 다만 이에 한정되지 않으며, 일부 구성 요소가 생략될 수도 있고, 다른 구성 요소가 추가될 수도 있다.
카메라 모듈(180)은, 영상(image)(예: 정지 영상(still image) 및 동영상(moving image or video))을 획득(acquire)(또는 촬영(photograph))할 수 있다. 예를 들면, 카메라 모듈(180)의 이미지 시그널 프로세서(460)는, 영상(예: 프리뷰 영상 또는 메모리(130)에 저장된 영상)에 포함된 객체(예: 사람)와 배경을 구분할 수 있다. 이미지 시그널 프로세서(460)는, 영상(예: 프리뷰 영상 또는 메모리(130)에 포함된 영상)에 관한 특징점을 추출할 수 있다. 상기 특징점은, 영상에 포함된 사람의 얼굴(예: 눈, 코, 입 등) 또는 동작(gesture)(또는 자세(posture))을 식별(identify)(또는 인식(recognize))하기 위해 이용될 수 있다. 이미지 시그널 프로세서(460)는, 카메라 모듈(180)로부터 분리되거나, 프로세서(120)의 일부로서 구현될 수 있다.
오디오 모듈(170)은, 마이크(550)(예: 입력 장치(150))를 통해, 전자 장치(101)의 외부로부터 오디오 신호(예: 소리, 음악)를 획득(acquire)(또는 수신)할 수 있다. 획득된 오디오 신호는, 음악 소리를 포함할 수 있다. 예를 들면, 오디오 모듈(170)(예: 오디오 신호 처리기(340))은, 획득된 오디오 신호에 포함된 음악에 관한 정보(예: 음악의 장르)를 획득하기 위한 전처리(preprocessing)를 수행할 수 있다. 예를 들면, 오디오 모듈(170)은, 오디오 신호로부터 노이즈를 제거하는 것과 관련된 처리를 수행하거나, 오디오 신호의 특징점을 추출하는 것과 관련된 처리를 수행할 수 있다. 다른 예를 들면, 오디오 모듈(170)은, 프로세서(120)가 상술한 처리들을 수행하도록, 획득된 오디오 신호를 프로세서(120)에게 송신할 수 있다.
프로세서(120)는, 전자 장치(101)의 전반적인 동작을 제어할 수 있다. 프로세서(120)는, 다른 구성 요소들(예: 카메라 모듈(180), 오디오 모듈(170), 통신 모듈(190), 디스플레이(210), 메모리(130) 등)의 명령을 수신할 수 있고, 수신된 명령을 해석할 수 있으며, 해석된 명령에 따라서 계산을 수행하거나 데이터를 처리할 수 있다. 프로세서(120)는, 소프트웨어로 구현될 수도 있고, 칩(chip), 회로(circuitry) 등과 같은 하드웨어로 구현될 수도 있으며, 소프트웨어 및 하드웨어의 집합체로 구현될 수도 있다. 프로세서(120)는, 하나일 수도 있고, 복수의 프로세서들의 집합체일 수도 있다.
프로세서(120)는, 메모리(130)에 저장된 어플리케이션(예: 어플리케이션(143))을 실행할 수 있다. 프로세서(120)는 상기 어플리케이션을 통해, 카메라 모듈(180)을 이용하여 이미지를 획득할 수 있다. 상기 어플리케이션은, 이미지에 중첩되거나(superimposed on) 또는 플로팅되는(floated on), 증강 현실(AR, augmented reality) 객체를 제공할 수 있다. 상기 어플리케이션은, 이하에서 카메라 어플리케이션으로 지칭하기로 한다. 하지만, 본 명세서에서 기술되는 상기 어플리케이션은, 카메라 어플리케이션에 한정되는 것은 아니며, 카메라 모듈(180)을 이용하는 임의의 어플리케이션일 수 있다.
프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 기반하여, 마이크(550)(또는 오디오 모듈(170))를 활성화하고, 마이크(550)를 통해 오디오 신호를 수신할 수 있다. 마이크(550)를 통해 수신되는 오디오 신호는, 음악 소리를 포함할 수 있다. 즉, 다양한 실시 예들에서, 전자 장치(101)는, 음악이 재생되고 있는 환경에서 위치될 수 있다.
프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 기반하여, 마이크(550)를 통해 전자 장치(101) 주변의 음악을 수신할 수 있다. 예를 들면, 프로세서(120)는, 카메라 어플리케이션의 실행을 개시하는 것에 응답하여 마이크(550)를 활성화할 수 있다. 다른 예를 들면, 프로세서(120)는, 카메라 어플리케이션의 사용자 인터페이스(UI, user interface)에 포함된 객체에 대한 입력을 수신하는 것에 응답하여 마이크(550)를 활성화할 수 있다.
프로세서(120)는, 카메라 어플리케이션을 통해 프리뷰 영상(preview image)을 표시하는 동안, 마이크(550)를 통해 전자 장치(101) 주변의 음악을 수신할 수 있다. 프로세서(120)는, 마이크(550)를 통해 수신된 음악에 관한 정보(예: 음악의 장르)를 획득(acquire)(또는 식별(identify))할 수 있다. 예를 들면, 프로세서(120)는, 오디오 신호에 포함된 음악에 관한 정보를 획득하기 위해, 오디오 신호로부터 노이즈 제거와 관련된 처리를 수행할 수 있다. 프로세서(120)는, 오디오 신호에 포함된 음악에 관한 정보를 획득하기 위해, 오디오 신호의 특징점 추출과 관련된 처리를 수행할 수 있다.
일부 실시 예들에서, 프로세서(120)는, 오디오 신호에 포함된 음악에 관한 정보를 획득하기 위해, 서버(예: 서버(108))에 저장된 데이터베이스를 이용할 수 있다. 프로세서(120)는, 오디오 신호(예: 오디오 신호의 노이즈 처리 결과 또는 특징점 처리 결과)를, 통신 모듈(190)을 통해 서버에게 송신할 수 있다. 상기 서버는, 음악의 자동 검색과 관련될 수 있다. 상기 서버는, 복수의 음악들에 관한 데이터베이스를 저장할 수 있다. 상기 서버는 상기 데이터베이스를 이용하여, 전자 장치(101)로부터 수신된 오디오 신호에 상응하는 음악을 결정할 수 있다. 상기 서버는, 전자 장치(101)에게, 상기 결정된 음악에 관한 정보를 송신할 수 있다. 프로세서(120)는, 통신 모듈(190)를 통해 서버로부터 음악에 관한 정보를 수신할 수 있다. 프로세서(120)는, 음악에 관한 정보로부터, 음악의 장르와 관련된 정보를 식별할 수 있다. 상술한 바와 같은 서버의 동작들의 적어도 일부는, 전자 장치(101)에 의해서도 수행될 수 있다.
다른 일부 실시 예들에서, 프로세서(120)는, 오디오 신호(예: 오디오 신호의 노이즈 처리 결과 또는 특징점 처리 결과)로부터, 음악에 관한 정보를 추측(estimate or guess)할 수 있다. 예를 들면, 프로세서(120)는, 오디오 신호로부터, 음악의 BPM(beats per minute), 음악의 진폭(amplitude), 또는 음악의 주파수(frequency) 중 하나 이상을 추출할 수 있다. 프로세서(120)는, 음악의 BPM, 진폭, 또는 주파수 중 하나 이상에 기반하여, 음악에 관한 정보(예: 음악의 장르)를 추측(또는 식별(identify))할 수 있다.
본 명세서에서 기술되는 음악의 장르는, 레게(reggae), 팝(pop), 락(rock), 헤비 메탈(heavy metal), 알엔비(R&B), 또는 재즈(jazz) 등의 장르뿐만 아니라, 음악의 세기, 빠르기, 또는 분위기에 관한 정도를 포함할 수 있다. 즉, 프로세서(120)는, 음악에 관한 정보로써, 음악의 장르, 음악의 세기(intensity), 빠르기(tempo), 또는 음악의 분위기(mood) 등을 식별할 수 있다. 예를 들면, 프로세서(120)는, 레게 장르 안에서도 빠른 레게(fast reggae)와 느린 레게(slow reggae)를 식별할 수도 있다.
프로세서(120)는, 식별된 음악에 관한 정보에 기반하여 카메라 어플리케이션을 통해 AR 객체를 제공할 수 있다. 프로세서(120)는, 음악의 장르(예: 장르, 빠르기, 분위기, 세기)에 기반하여, 표시할 AR 객체를 결정할 수 있다. 예를 들면, 프로세서(120)는, 음악의 장르에 대응하는 AR 객체들의 집합을 결정할 수 있다.
프로세서(120)는, 음악의 장르(예: 장르, 빠르기, 분위기, 세기)에 상응하는 AR 객체를 표시할 수 있다. 예를 들면, 프로세서(120)는, 카메라 어플리케이션을 통해 표시되는 프리뷰 영상에, 음악의 장르에 상응하는 AR 객체를 중첩시키거나(superimpose) 플로팅시킬(float) 수 있다. 프로세서(120)는, AR 객체를 선택하기 위한 사용자 입력을 수신함이 없이, 전자 장치(101) 주변에 흐르는 음악에 상응하는 AR 객체를 자동으로 표시할 수 있다. 프로세서(120)는, 영상을 획득하는 절차에서 전자 장치(101) 주변에 흐르는 음악의 장르(예: 장르, 빠르기, 분위기, 세기)를 자동으로 식별하는 것에 기반하여 AR 객체를 제공할 수 있다.
프로세서(120)는, AR 객체를 표시할 위치(position)(예: 좌표)를 결정하기 위해, 영상(image)을 분석할 수 있다. 예를 들면, 프로세서(120)는, 영상에 포함된 객체(예: 사람)와 배경을 구분하거나, 영상에 관한 특징점을 추출할 수 있다. 프로세서(120)는, 추출된 특징점에 기반하여, 영상에 포함된 사람의 눈, 코, 입, 머리, 몸통 또는 동작(gesture)(또는 자세(posture))을 식별(identify)(또는 인식(recognize))할 수 있다. 프로세서(120)는, 영상의 구성(예: 배경, 사람, 동작)에 대응하는 AR 객체를, 상기 구성에 대응하는 위치에 표시할 수 있다. 예를 들면, 프로세서(120)는, 카메라 어플리케이션에서, 마이크(550)를 통해 수신되는 음악의 장르에 기반하여 프리뷰 영상에 플로팅된(floated on) AR 객체를 표시할 수 있다. 프로세서(120)는, 메모리(130)에 저장된 AR 객체를 호출할 수도 있고, 서버로부터 AR 객체를 수신하도록 통신 모듈(190)을 제어할 수도 있다.
일부 실시 예들에서, 전자 장치(101)가 카메라 어플리케이션을 실행하는 동안, 전자 장치(101) 주변에 음악이 흐르는 것이 아니라, 전자 장치(101)가 오디오 모듈(170)을 통해 음악을 재생(또는 출력)할 수 있다. 전자 장치(101)가 오디오 모듈(170)을 통해 음악을 재생(또는 출력)하는 것에 기반하여, 프로세서(120)는, 전자 장치(101)에서 재생되는 음악에 관한 정보에 기반하여 AR 객체를 표시할 수 있다. 예를 들면, 프로세서(120)는, 전자 장치(101)가 음악을 재생하는 경우, 마이크(550)를 활성화하지 않을 수 있다. 예를 들면, 프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 응답하여, 전자 장치(101)가 오디오 모듈(170)을 통해 음악을 재생(또는 출력)하는지 여부를 판단할 수 있다. 프로세서(120)는, 전자 장치(101)가 음악을 재생함을 결정하는 것에 기반하여 마이크(550)를 활성화하지 않고, 전자 장치(101)가 음악을 재생하지 않음을 결정하는 것에 기반하여 마이크(550)를 활성화할 수 있다. 전자 장치(101)가 음악을 재생하는 경우, 프로세서(120)는, 메모리(130)에 저장(또는 임시적으로(temporarily) 저장)된 음악에 관한 정보에 기반하여 AR 객체(또는 AR 객체들의 집합)를 결정할 수 있다. 프로세서(120)는, 결정된 AR 객체를 프리뷰 영상에 중첩되도록 표시할 수 있다.
일부 실시 예들에서, 프로세서(120)는, 카메라 어플리케이션을 통해 동영상(moving image or video)을 획득(또는 촬영)하는 것에 기반하여, 상기 동영상 및 동영상과 관련된 AR 객체에 관한 정보를 함께 저장할 수 있다. 예를 들면, 프로세서(120)는, 전자 장치(101) 주변에 음악이 흐르는 환경에서 카메라 어플리케이션을 통해 카메라 모듈(180)을 이용하여 동영상을 촬영할 수 있다. 프로세서(120)는, 동영상에 포함된 오디오 데이터로부터, 음악을 추출하거나 음악에 관한 정보(예: 장르, 빠르기, 분위기, 세기 등)를 획득할 수 있다. 예를 들면, 프로세서(120)는, 서버를 통해 음악에 관한 정보를 획득하거나, 또는 프로세서(120)의 처리를 통해 음악에 관한 정보를 획득할 수도 있다. 프로세서(120)는, 예를 들면, 동영상의 프레임마다 음악의 세기, 빠르기(tempo), 분위기 등을 식별할 수 있다. 프로세서(120)는, 프레임마다 식별된 음악의 장르, 세기, 빠르기, 또는 분위기 중 적어도 하나에 기반하여, 상기 동영상에 대응하는, AR 객체에 관한 정보를 결정할 수 있다. 예를 들면, 상기 동영상에 대응하는 AR 객체에 관한 정보는, 동영상의 프레임마다 표시할 AR 객체의 종류 및 좌표를 포함할 수 있다. 프로세서(120)는, 상기 동영상에 대응하는 AR 객체에 관한 정보를, 상기 동영상과 함께 메모리(130)에 저장할 수 있다.
프로세서(120)는, 사용자 입력에 기반하여 상기 저장된 동영상을 재생할 수 있다. 프로세서(120)는, 상기 동영상을 재생하는 동안, 상기 AR 객체에 관한 정보에 기반하여, 상기 동영상에 플로팅된 AR 객체를 표시할 수 있다. 프로세서(120)는, 상기 동영상을 재생하는 동안, 상기 동영상과 함께 저장된 AR 객체에 관한 정보(예: AR 객체를 표시할 프레임, AR 객체의 종류, AR 객체의 좌표)에 기반하여 AR 객체를 표시할 수 있다. 동영상에 플로팅된 AR 객체는, 동영상이 재생되는 동안, 동영상에 포함된 음악에 기반하여 변할 수 있다.
통신 모듈(190)은, 전자 장치(101)와 외부 전자 장치(예: 음악의 자동 검색과 관련된 서버, 또는 AR 객체의 제공과 관련된 서버) 사이의 통신 링크를 수립할 수 있고, 수립된 통신 링크를 통한 통신을 수행할 수 있다. 예를 들면, 통신 모듈(190)은, 전자 장치(101)의 마이크(550)를 통해 획득된 오디오 신호를, 음악의 자동 검색과 관련된 서버에게 송신할 수 있다. 통신 모듈(190)은, 상기 서버로부터 오디오 신호에 포함된 음악에 관한 정보, 또는 장르에 관한 정보를 수신할 수 있다. 통신 모듈(190)은, 음악의 장르에 관한 정보를, AR 객체를 제공할 수 있는 서버에게 송신할 수 있다. 통신 모듈(190)은, 상기 서버로부터, 음악의 장르에 상응하는 AR 객체(또는 AR 객체들의 집합)를 수신할 수 있다. 경우에 따라, 전자 장치(101)가 음악 검색 기능을 수행하거나 또는 AR 객체를 저장하는 경우, 상술한 바와 같은 통신 모듈(190)의 동작들은, 생략될 수 있다.
디스플레이(210)는, 전자 장치(101)의 화면을 표시할 수 있다. 디스플레이(210)는, 다양한 종류의 정보를 표시할 수 있다. 디스플레이(210)는, 카메라 어플리케이션과 관련된 사용자 인터페이스를 표시할 수 있다. 디스플레이(210)는, 카메라 모듈(180)을 통해 획득되는 영상(image)를 표시할 수 있다. 디스플레이(210)는, 영상(image)에 중첩되거나(superimposed on) 플로팅되는(floated on) AR 객체를 표시할 수 있다.
메모리(130)는, 하나 이상의 메모리 집합을 의미할 수 있다. 메모리(130)는, 프로세서(120)와의 시그널링에 기반하여 메모리(130)에 저장된 명령어들을 실행할 수 있다. 메모리(130)는, 다른 구성 요소들(예: 프로세서(120), 카메라 모듈(180), 통신 모듈(190), 오디오 모듈(170), 디스플레이(210))로부터 수신되거나 다른 구성 요소들에 의해 생성된 데이터 및/또는 명령을 저장할 수 있다. 다양한 실시 예들에서, 메모리(130)는, 카메라 어플리케이션을 저장할 수 있다. 메모리(130)는, 음악의 장르와 관련된 복수의 AR 객체들을 저장할 수 있다. 상기 복수의 AR 객체들은, 전자 장치(101)의 제조 단계에서 저장될 수 있다. 또는, 상기 복수의 AR 객체들은, 서버(예: AR 객체를 제공할 수 있는 서버)로부터 다운로드될 수도 있다. 메모리(130)는, 음악의 장르에 따라 분류된 복수의 AR 객체들을 저장할 수 있다. 메모리(130)는, 하나의 장르(즉, 하나의 카테고리) 내에서도, 음악의 빠르기(tempo)(또는 세기 등)에 따라 분류된 AR 객체들을 저장할 수 있다.
도 6은, 다양한 실시 예들에 따른 AR 객체들을 저장하는 데이터베이스(600)를 설명하기 위한 도면이다. 다만, 데이터베이스(600)는, AR 객체들을 저장하는 데이터베이스를 설명하기 위한 개념적 도면일 뿐이고, AR 객체들을 저장하는 데이터베이스는 테이블 포맷으로 구현될 수 있다.
도 6을 참조하면, 메모리(130)는, 음악과 관련된 복수의 AR 객체들을, 데이터베이스(600)와 같이 저장할 수 있다. 경우에 따라, 데이터베이스(600)는, 서버에 저장될 수도 있다.
데이터베이스(600)는, 음악의 장르에 따라 분류된 복수의 AR 객체들을 저장할 수 있다. 예를 들면, 데이터베이스(600)는, 레게 장르(610), 헤비 메탈 장르(630), 팝 장르(650), 재즈 장르(670)를 포함하는 복수의 장르들에 따라 복수의 AR 객체들을 분류(classify)할 수 있다. AR 객체는, AR 객체가 속한 장르의 속성, 특성, 분위기를 가지는 이미지 또는 스티커일 수 있다. 예를 들면, 레게 장르(610)에 포함된 AR 객체들은, 레게 분위기를 가지고, 헤비 메탈 장르(630)에 포함된 AR 객체들은, 헤비 메탈 분위기를 가질 수 있다.
복수의 AR 객체들은, 각각의 장르 내에서 하위 분류들(subclasses)로 나뉠 수 있다. 예를 들면, 하위 분류들은, 메이크업 타입, 스탬프 타입, 악기(instrument) 타입, 배경(background) 타입, 액세서리 타입(미도시) 등을 포함할 수 있다. 예를 들면, 메이크업 타입에 속한 AR 객체들은, 헤어스타일 스티커(또는 이미지) 등일 수 있다. 예를 들면, 악기 타입에 속한 AR 객체들은, 기타 스티커, 피아노 스티커(미도시), 드럼 스티커(미도시) 등일 수 있다. 예를 들면, 액세서리 타입(미도시)에 속한 AR 객체들은, 모자 스티커, 썬글라스 스티커, 옷 스티커 등일 수 있다. 다만, 데이터베이스(600)에 도시된 복수의 장르들 및 하위 분류들은 예시일 뿐, 이에 한정되지 않는다.
데이터베이스(600)는, 하나의 장르에 포함된 하나의 하위 분류 내에서도, 복수의 AR 객체들을 포함할 수 있다. 예를 들면, 레게 장르(610)의 헤어스타일에 해당하는 AR 객체들(611)은, 헤어 스티커(612)뿐 아니라 복수의 헤어 스티커들(미도시)을 포함할 수 있다. 예를 들면, 레게 장르(610)의 복수의 헤어 스티커들은, 빠른 레게(fast reggae)의 분위기를 가지는 헤어 스티커 및 느린 레게(slow reggae)의 분위기를 가지는 헤어 스티커를 포함할 수 있다. 예를 들면, 레게 장르(610)의 배경에 해당하는 AR 객체들(615)은, 빠른 레게(fast reggae)의 분위기를 가지는 배경 스티커(예: 배경 스티커(616)) 및 느린 레게(slow reggae)의 분위기를 가지는 배경 스티커를 포함할 수 있다. 다만, 빠르기에 한정되지 않으며, 데이터베이스(600)는, 레게 장르(610) 내에서도, 분위기나 다른 요인에 따른 복수의 AR 객체들을 포함할 수 있다.
다양한 실시 예들에서, 프로세서(120)는, 카메라 어플리케이션을 실행하는 동안 식별된 음악의 장르에 따라, 데이터베이스(600)로부터, 해당되는 AR 객체들을 호출할 수 있다. 예를 들면, 프로세서(120)는, 마이크(550)를 통해 수신되는 음악의 장르를 식별할 수도 있고, 오디오 모듈(170)을 통해 재생되는 음악의 장르를 식별할 수도 있다. 예를 들면, 프로세서(120)는, 식별된 음악의 장르에 기반하여, 메모리(130)에 저장된 데이터베이스(600)로부터 AR 객체들을 수신할 수도 있고, 서버에 저장된 데이터베이스(600)로부터 AR 객체들을 수신할 수도 있다.
예를 들면, 프로세서(120)는, 식별된 음악의 장르가 레게인 경우, 데이터베이스(600)로부터, 레게 장르(610)에 포함된 AR 객체(또는 AR 객체들의 집합)를 호출할 수 있다. 프로세서(120)는, 영상(예: 프리뷰 영상)을 분석하는 것에 기반하여, 레게 장르(610)에 포함된 AR 객체를, 영상 위의 대응하는 위치에 플로팅(float)할 수 있다. 예를 들면, 프로세서(120)는, 배경 스티커(616)를 영상의 배경에 표시하고, 헤어 스티커(612)를, 영상에 포함된 사람의 머리에 중첩시킬 수 있다.
예를 들면, 프로세서(120)는, 레게 장르 안에서도, 식별된 음악이 빠른 레게(fast reggae)인지 느린 레게(slow reggae)인지 여부를 식별할 수 있다. 프로세서(120)는, 식별된 음악이 빠른 레게인 경우, 레게 장르(610)의 헤어스타일에 해당하는 AR 객체들(611) 중에서, 빠른 레게의 분위기를 가지는 헤어 스티커를 플로팅할 수 있다. 프로세서(120)는, 식별된 음악이 느린 레게인 경우, 레게 장르(610)의 헤어스타일에 해당하는 AR 객체들(611) 중에서, 느린 레게(slow reggae)의 분위기를 가지는 헤어 스티커를 플로팅할 수 있다. 다른 예를 들면, 프로세서(120)는, 식별된 음악의 장르가 레게인 경우, 레게 장르(610)의 헤어스타일에 해당하는 AR 객체들(611) 중 헤어 스티커를 랜덤으로 플로팅할 수 있다.
프로세서(120)는, 영상(예: 프리뷰 영상)을 분석하는 것에 기반하여, 영상에 포함된 사람의 동작(gesture)(또는 자세(posture))을 식별할 수 있다. 프로세서(120)는, 영상으로부터 사람의 동작이 식별되는 것에 기반하여, 사람의 동작에 대응되는 AR 객체를 플로팅할 수 있다. 예를 들면, 프로세서(120)는, 식별된 음악의 장르가 레게이고, 식별된 동작이 기타를 연주하는 동작인 경우, 레게 장르(610)에 포함된 기타 스티커(614)를 플로팅할 수 있다. 프로세서(120)는, 영상에 포함된 사람이 기타를 연주하는 것처럼 보이도록 기타 스티커(614)를 플로팅할 수 있다. 프로세서(120)는, 식별된 음악의 장르가 레게이고, 식별된 동작이 드럼을 연주하는 동작인 경우, 레게 장르(610)에 포함된 드럼 스티커(미도시)를 플로팅할 수 있다.
상술한 바와 같은 다양한 실시 예들에 따른 전자 장치(예: 전자 장치(101))는, 디스플레이(예: 디스플레이(210)), 카메라 모듈(예: 카메라 모듈(180)), 마이크(예: 마이크(550)), 및 적어도 하나의 프로세서(예: 프로세서(120))를 포함하고, 상기 적어도 하나의 프로세서는, 상기 카메라 모듈을 이용하여 획득되는 이미지를, 상기 디스플레이를 통해 표시하고, 상기 마이크를 활성화하고, 상기 마이크를 통해 제1 음악을 수신하고, 상기 제1 음악의 장르에 기반하여 제1 AR(augmented reality) 객체를 선택하고, 상기 제1 AR 객체를 상기 이미지에 중첩하여 표시하도록 설정될 수 있다.
다양한 실시 예들에서, 상기 적어도 하나의 프로세서는, 상기 이미지에 포함된 사람의 자세를 식별하고, 상기 식별된 자세 및 상기 제1 음악의 장르에 대응하는 제2 AR 객체를 선택하고, 상기 제2 AR 객체를 상기 이미지에 중첩하여 표시하도록 설정될 수 있다.
다양한 실시 예들에서, 상기 적어도 하나의 프로세서는, 상기 마이크가 활성화되지 않은 상태에서, 상기 전자 장치가 제2 음악을 재생하는지 여부를 식별하고, 상기 전자 장치가 상기 제2 음악을 재생함을 식별하는 것에 응답하여, 상기 제2 음악에 관한 정보에 기반하여 제2 AR 객체를 선택하고, 상기 제2 AR 객체를 상기 이미지에 중첩하여 표시하도록 설정될 수 있다.
다양한 실시 예들에서, 상기 적어도 하나의 프로세서는, 상기 카메라 모듈을 통해 동영상을 획득하고, 상기 동영상의 오디오 데이터에 포함된 제2 음악의 장르를 식별하고, 상기 제2 음악의 장르에 기반하여 상기 동영상에 대응하는 제2 AR 객체에 관한 정보를 획득하고, 상기 제2 AR 객체에 관한 정보를 상기 동영상과 함께 저장하도록 설정될 수 있다. 예를 들면, 상기 동영상에 대응하는 제2 AR 객체에 관한 정보는, 상기 동영상의 프레임들 중 상기 제2 AR 객체를 표시할 프레임, 상기 제2 AR 객체의 종류, 또는 상기 제2 AR 객체를 표시할 위치 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에서, 상기 적어도 하나의 프로세서는, 상기 제1 음악의 BPM(beats per minute), 진폭(amplitude), 또는 주파수(frequency) 중 적어도 하나에 기반하여 상기 제1 음악의 장르를 결정하도록 설정될 수 있다.
다양한 실시 예들에서, 상기 전자 장치는 복수의 AR 객체들을 저장하도록 설정된 메모리(예: 메모리(130))를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 메모리에 저장된 상기 복수의 AR 객체들 중 상기 제1 음악의 장르에 대응하는 상기 제1 AR 객체를 선택하도록 설정될 수 있다. 예를 들면, 상기 적어도 하나의 프로세서는, 상기 복수의 AR 객체들에 상기 제1 음악의 장르에 대응하는 복수의 제1 AR 객체들이 포함된 경우, 상기 복수의 제1 AR 객체들 중, 상기 제1 음악의 빠르기(tempo), 분위기(mood), 또는 세기 중 적어도 하나에 기반하여 상기 제1 AR 객체를 결정하도록 설정될 수 있다.
다양한 실시 예들에서, 상기 전자 장치는 통신 모듈(예: 통신 모듈(190))을 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 통신 모듈을 통해, 서버(예: 서버(108))로 상기 제1 음악에 관한 신호를 송신하고, 상기 서버로부터, 상기 제1 음악에 관한 정보를 수신하도록 설정되고, 상기 제1 음악에 관한 정보는, 상기 제1 음악의 장르에 관한 정보를 포함할 수 있다.
다양한 실시 예들에서, 상기 적어도 하나의 프로세서는, 상기 제1 음악에 관한 적어도 하나의 AR 객체의 존재를 나타내기(represent) 위한 인디케이터를 상기 디스플레이를 통해 표시하도록 설정될 수 있다.
도 7은, 다양한 실시 예들에 따른 전자 장치(101)의 동작의 예를 도시한다.
도 7을 참조하면, 동작 701에서, 프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 기반하여 이미지를 표시할 수 있다. 예를 들면, 상기 이미지는, 카메라 모듈(180)을 통해 획득되고 있는 프리뷰 이미지일 수 있다. 다만 이에 한정되지 않으며, 프로세서(120)는, 메모리(130)에 저장된 이미지를, 카메라 어플리케이션에 포함된 사진첩(또는 갤러리) UI를 통해 표시할 수도 있다.
동작 703에서, 프로세서(120)는, 마이크(550)(또는 오디오 모듈(170))를 활성화할 수 있다. 프로세서(120)는, 상기 이미지가 표시되는 동안 마이크(550)를 활성화할 수 있다. 예를 들면, 프로세서(120)는, 카메라 어플리케이션의 실행이 개시되는 것에 응답하여 마이크(550)를 활성화할 수 있다. 다른 예를 들면, 프로세서(120)는, 카메라 어플리케이션의 사용자 인터페이스(UI, user interface)에 포함된 객체에 대한 입력을 수신하는 것에 응답하여 마이크(550)를 활성화할 수 있다.
동작 705에서, 프로세서(120)는, 활성화된 마이크(550)를 통해 음악을 수신할 수 있다.
동작 707에서, 프로세서(120)는, 수신된 음악의 장르를 식별할 수 있다. 일부 실시 예들에서, 프로세서(120)는, 음악의 장르를 식별하기 위해, 수신된 음악을 서버에게 송신하고, 서버로부터 음악에 관한 정보(예: 장르)를 수신할 수 있다. 다른 일부 실시 예들에서, 프로세서(120)는, 수신된 음악의 BPM(beats per minute), 진폭(amplitude), 또는 주파수(frequency)에 적어도 기반하여, 음악에 관한 정보(예: 장르)를 추측(estimate or guess)할 수 있다.
동작 709에서, 프로세서(120)는, 식별된 음악의 장르에 기반하여, 이미지에 중첩된 AR 객체를 표시할 수 있다. 예를 들면, 프로세서(120)는, 식별된 음악의 장르에 기반하여, 메모리(130)에 저장된 AR 객체들을 수신할 수도 있고, 서버에 저장된 AR 객체들을 수신할 수도 있다. 구체적으로, 프로세서(120)는, 카메라 모듈(180)을 이용하여 이미지의 특징점을 추출할 수 있다. 프로세서(120)는, 특징점에 기반하여 이미지의 구성(예: 사람의 머리)에 대응하는 AR 객체(예: 헤어 스티커 또는 모자 스티커)를, 상기 구성에 대응하는 위치(예: 사람의 머리)에 표시할 수 있다. 프로세서(120)는, 영상(예: 프리뷰 영상 또는 동영상) 내에서 이미지의 특징점이 움직이는 것을 식별할 수 있다. 프로세서(120)는, 영상(예: 프리뷰 영상 또는 동영상) 내에서 움직이는 특징점에 기반하여, 움직이는 AR 객체를 표시할 수 있다.
프로세서(120)는, 사용자 입력에 기반하여, AR 객체가 표시된 이미지를 메모리(130)에 저장할 수 있다.
도 8은, 다양한 실시 예들에 따른 카메라 어플리케이션의 화면의 예를 도시한다.
도 8을 참조하면, 화면(800) 또는 화면(850)은, 카메라 어플리케이션의 사용자 인터페이스(UI, user interface)의 예를 나타낼 수 있다. 예를 들면, 전자 장치(101)는, 카메라 어플리케이션을 실행하는 것에 기반하여, 화면(800)을 표시할 수 있다. 화면(800)은, 카메라 모듈(180)을 통해 획득되고 있는 프리뷰 영상(801)을 포함할 수 있다. 화면(800)은, AR 객체에 관한 화면(850)으로 진입하기 위한 객체(802)를 포함할 수 있다. 프로세서(120)는, 객체(802)에 대한 입력을 수신하는 것에 응답하여, 화면(800)으로부터 변경된(또는 전환된) 화면(850)을 표시할 수 있다. 화면(850)은, 프리뷰 영상(801)에 중첩된 AR 객체를 표시하기 위한 화면일 수 있다.
일부 실시 예들에서, 프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 응답하여 마이크(550)를 활성화할 수 있다. 프로세서(120)는 화면(800)(및/또는 화면(850))이 표시되는 동안, 마이크(550)를 통해 음악을 수신하고, 음악의 장르를 식별할 수 있다.
다른 일부 실시 예들에서, 프로세서(120)는, 객체(802)에 대한 입력을 수신하는 것에 응답하여 마이크(550)를 활성화할 수 있다. 프로세서(120)는, 화면(850)으로 전환되는 것에 응답하여 마이크(550)를 통해 음악을 수신하고, 음악의 장르를 식별할 수 있다.
프로세서(120)는, 음악의 장르가 식별되면, 화면(850) 내에서, 장르에 대응하는 AR 객체(예: AR 배경(851), AR 모자(852), AR 스탬프(853))를 표시할 수 있다. 예를 들면, 식별된 장르는, 레게 장르(610)일 수 있다. 프로세서(120)는, 데이터베이스(600)로부터 레게 장르(610)에 포함된 AR 객체들에 관한 정보를 독출(reading 또는 retrieving)하고, 프리뷰 영상(801)에 관한 특징점에 기반하여 레게와 관련된 AR 객체를 플로팅할 수 있다.
프로세서(120)는, 프리뷰 영상(801) 내에서, 배경으로부터 사람을 분리하고, 사람의 특징점을 추출할 수 있다. 프로세서(120)는, 프리뷰 영상(801)의 배경에, 음악의 장르(예: 장르, 빠르기, 분위기, 또는 세기)에 대응하는 AR 배경(851)을 표시할 수 있다. 프로세서(120)는, 특징점에 기반하여 프리뷰 영상(801)에 포함된 사람의 머리에, 음악의 장르에 대응하는 AR 모자(852)를 표시할 수 있다. 상기 AR 배경(851) 또는 AR 모자(852)는, 사용자의 입력 없이, 음악의 장르(예: 장르, 빠르기, 분위기, 또는 세기)에 대응되도록 결정될 수 있다.
프로세서(120)는, 객체(860)에 대한 입력을 수신하는 것에 응답하여, 음악과 상관없는 지정된 AR 객체를 표시할 수 있다. 프로세서(120)는, 객체(870)에 대한 입력을 수신하는 것에 응답하여, 획득되거나 재생되고 있는 음악의 장르에 대응하는 AR 객체를 표시할 수 있다.
프로세서(120)는, 객체(880)에 대한 입력을 수신하는 것에 응답하여 AR 객체가 표시된 이미지를 캡처(capture)하고, 캡처된 이미지를 메모리(130)에 저장할 수 있다.
도 9는, 다양한 실시 예들에 따른 전자 장치(101)에서 음악의 장르를 식별하기 위한 동작의 예를 도시한다.
도 9를 참조하면, 동작 901에서, 프로세서(120)는, 카메라 어플리케이션을 실행할 수 있다. 프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 기반하여, 이미지를 표시할 수 있다. 예를 들면, 상기 이미지는, 카메라 모듈(180)을 통해 획득되고 있는 프리뷰 이미지일 수 있다. 다른 예를 들면, 상기 이미지는, 카메라 어플리케이션의 갤러리(또는 사진첩)를 통해 표시된, 메모리(130)에 저장된 이미지일 수 있다.
동작 902에서, 프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 기반하여, 전자 장치(101)를 통해 재생되고 있는 음악이 있는지 여부를 식별할 수 있다. 예를 들면, 프로세서(120)는, 카메라 어플리케이션의 실행을 개시하는 것에 응답하여, 오디오 모듈(170)를 통해 재생되고 있는 음악이 있는지 여부를 식별할 수 있다.
동작 903에서, 프로세서(120)는, 전자 장치(101)를 통해 재생되고 있는 음악이 없음을 결정하는 것에 기반하여, 마이크(550)를 활성화할 수 있다. 동작 904에서, 프로세서(120)는, 마이크(550)를 통해 수신되는 음악의 장르를 식별할 수 있다.
동작 905에서, 프로세서(120)는, 전자 장치(101)를 통해 재생되고 있는 음악이 있음을 결정하는 것에 기반하여, 재생되는 음악의 장르를 식별할 수 있다. 예를 들면, 프로세서(120)는, 오디오 모듈(170)를 통해 재생되고 있는 음악에 관한 정보에 기반하여, 음악의 장르를 식별할 수 있다.
동작 906에서, 프로세서(120)는, 식별된 음악의 장르에 기반하여, 이미지에 중첩된 AR 객체를 표시할 수 있다. 상기 이미지는, 프리뷰 이미지이거나 메모리(130)에 저장된 이미지일 수 있다. 프로세서(120)는, 재생되거나 수신되고 있는 음악의 장르에 대응하는 AR 객체를, 상기 이미지에 플로팅할 수 있다.
도 10은, 다양한 실시 예들에 따른 전자 장치(101)에서 이미지에 포함된 사람의 자세(posture)에 대응하는 AR 객체를 표시하기 위한 동작의 예를 도시한다.
도 11은, 다양한 실시 예들에 따른 전자 장치(101)에서 이미지에 포함된 사람의 자세(posture)에 대응하는 AR 객체의 표시의 예를 도시한다.
도 10을 참조하면, 동작 1001에서, 프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 기반하여, 이미지를 표시할 수 있다. 예를 들면, 상기 이미지는, 카메라 모듈(180)을 통해 획득되고 있는 프리뷰 이미지일 수도 있고, 카메라 어플리케이션의 갤러리(또는 사진첩)를 통해 표시된, 메모리(130)에 저장된 이미지일 수도 있다. 예를 들어, 도 11을 참조하면, 프로세서(120)는 디스플레이(210)를 통해, 이미지(1110)를 표시할 수 있다.
동작 1002에서, 프로세서(120)는, 음악의 장르를 식별할 수 있다. 예를 들면, 프로세서(120)는, 오디오 모듈(170)를 통해 재생되는 음악 또는 마이크(550)를 통해 수신되는 음악의 장르를 식별할 수 있다.
동작 1003에서, 프로세서(120)는, 표시된 이미지의 특징점을 추출할 수 있다. 예를 들면, 프로세서(120)는, 카메라 모듈(180)을 이용하여, 이미지에 포함된 사람을 배경으로부터 구분하고, 사람에 관한 특징점을 식별할 수 있다. 프로세서(120)는, 특징점을 이용하여, 이미지에 포함된 사람의 얼굴(예: 눈, 코, 입 등) 또는 동작(gesture)(또는 자세(posture))을 식별(identify)(또는 인식(recognize))할 수 있다. 예를 들어, 도 11을 참조하면, 프로세서(120)는, 이미지(1110)로부터, 배경(1113)과 사람(1111)을 구분할 수 있다.
동작 1002와 동작 1003의 순서는 바뀔 수 있으며, 또는 동시에 병렬적으로 수행될 수도 있다.
동작 1004에서, 프로세서(120)는, 특징점으로부터 지정된 자세(posture)가 인식되는지 여부를 판단할 수 있다. 상기 지정된 자세는, 예를 들면, 기타를 연주하는 자세(posture), 피아노를 연주하는 자세, 드럼을 연주하는 자세 등을 포함할 수 있다. 예를 들어, 도 11을 참조하면, 프로세서(120)는, 사람(1111)의 특징점을 분석하는 것에 기반하여, 기타를 연주하는 자세를 인식(recognize)(또는 식별(identify))할 수 있다.
동작 1005에서, 프로세서(120)는, 지정된 자세를 인식하는 것에 기반하여, 상기 인식된 자세 및 식별된 음악의 장르에 대응하는 AR 객체를 표시할 수 있다. 예를 들면, 프로세서(120)는, 음악의 장르를 레게로 식별하는 것에 기반하여, 데이터베이스(600)로부터 레게 장르(610)에 포함된 AR 객체들에 관한 정보를 독출할 수 있다. 예를 들어, 도 11을 참조하면, 프로세서(120)는, 레게 장르에 대응하는 AR 배경(1133)을, 이미지의 배경으로 표시할 수 있다. 프로세서(120)는, 레게 장르에 대응하는 AR 머리(hair)(1135)를, 사람(1111)의 머리에 플로팅(float)할 수 있다. 프로세서(120)는, 사람(1111)의 자세를, 복수의 지정된 자세들 중 기타를 연주하는 자세(posture)로 식별할 수 있다. 프로세서(120)는, 상기 식별에 기반하여, 레게 장르에 대응하는 AR 기타(1137)를, 사람(1111)이 연주하는 것처럼 플로팅할 수 있다. 결국, 프로세서(120)는 디스플레이(210)를 통해, AR 객체들이 표시된 이미지(1150)를 표시할 수 있다. 프로세서(120)는, 음악의 장르와 지정된 자세를 식별하는 것에 기반하여, 이미지(1110)로부터 변경된 이미지(1150)를 표시할 수 있다.
동작 1006에서, 프로세서(120)는, 지정된 자세를 인식하지 않는 것에 기반하여, 식별된 음악의 장르에 대응하는 AR 객체를 표시할 수 있다. 예를 들면, 프로세서(120)는, 악기를 연주하는 자세(posture)가 인식되지 않은 경우, 악기를 나타내는 AR 객체를 표시하지 않을 수 있다. 예를 들면, 프로세서(120)는, 레게 장르만 인식하고 자세(posture)를 인식하지 않는 경우, 도 8의 화면(850)을 표시할 수 있다.
도 12는, 다양한 실시 예들에 따른 전자 장치(101)에서 식별된 음악의 장르에 기반하여 표시되는 AR 객체의 예를 도시한다.
도 12를 참조하면, 프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 기반하여, 화면(1210)을 표시할 수 있다. 화면(1210)은, 카메라 모듈(180)을 통해 획득되는 프리뷰 이미지를 포함할 수 있다.
프로세서(120)는, 수신되거나 재생되는 음악의 장르가 레게인 것을 결정하는 것에 기반하여, 화면(1230)을 표시할 수 있다. 예를 들면, 프로세서(120)는, 데이터베이스(600)의 레게 장르(610)에 포함된 AR 객체들에 관한 정보를 독출할 수 있다. 프로세서(120)는, 프리뷰 이미지의 특징점을 분석하는 것에 기반하여, 레게 장르(610)에 포함된 AR 객체들을 각각 대응하는 위치(position)에 플로팅함으로써 화면(1230)을 표시할 수 있다. 일부 실시 예들에서, 프로세서(120)는, AR 스탬프(1231)를, 다른 AR 객체(예: AR 기타(1235))에 중첩시킬 수 있다. 다른 일부 실시 예들에서, 프로세서(120)는 AR 스탬프(1231)를, 화면(850)과 같이, 사람의 몸통에 중첩시킬 수 있다. 또 다른 일부 실시 예들에서, 프로세서(120)는, AR 스탬프(1231)를, 배경에 중첩시킬 수 있다.
프로세서(120)는, 수신되거나 재생되는 음악의 장르가 헤비 메탈인 것을 결정하는 것에 기반하여, 화면(1250)을 표시할 수 있다. 예를 들면, 프로세서(120)는, 데이터베이스(600)의 헤비 메탈 장르(630)에 포함된 AR 객체들에 관한 정보를 독출할 수 있다. 프로세서(120)는, 프리뷰 이미지의 특징점을 분석하는 것에 기반하여, 헤비 메탈 장르(630)에 포함된 AR 객체들을 각각 대응하는 위치(position)에 플로팅함으로써, 화면(1250)을 표시할 수 있다.
만약 프리뷰 영상에 표시할 AR 객체를 선택하기 위한 사용자 입력이 요구된다면, 사용자는, 한 손으로 음악의 장르에 대응하는 카테고리를 선택하고, 카테고리 내에서 AR 객체들을 선택해야 할 수 있다. 따라서, AR 객체를 선택하기 위한 사용자 입력이 요구된다면, 사용자의 한 손이 자유롭지 못한 불편함이 있을 수 있다. 다양한 실시 예들에 따른 전자 장치(101)는, 사용자 입력 없이도, 음악의 장르가 바뀔 때마다 음악의 장르에 대응하는 AR 객체를 추천(또는 제공)할 수 있다. 예를 들면, 전자 장치(101) 주변에서 재생되는 음악이 레게 장르(610)에서 헤비 메탈 장르(530)로 바뀌는 것에 기반하여, 사용자의 입력 없이도, 전자 장치(101)는, 레게 장르(610)에 대응하는 AR 객체를, 헤비 메탈 장르(630)에 대응하는 AR 객체로 변경할 수 있다. 다양한 실시 예들에 따른 전자 장치(101)는, 전자 장치(101) 주변에서 음악이 재생되는 환경에서 사용자가 자세를 바꿀 때마다, 사용자 입력 없이도, 음악의 장르 및 자세에 대응하는 AR 객체를 추천(또는 제공)할 수 있다. 예를 들면, 프리뷰 영상에 포함된 사용자의 자세가 기타를 연주하는 자세에서 피아노를 연주하는 자세로 바뀌는 것에 기반하여, 전자 장치(101)는, 사용자의 입력 없이도, 기타에 대응하는 AR 객체를, 피아노에 대응하는 AR 객체로 바꿀 수 있다. 다양한 실시 예들에 따른 전자 장치(101)는, 전자 장치(101)가 위치된 환경을 나타내는 정보로써 마이크(550)를 통해 음악을 수신하고, 수신된 음악에 기반하여 AR 객체를, 획득되고 있는 프리뷰 영상 내에 표시함으로써, 사용자 입력을 수신하는 것을 우회할(bypass) 수 있다.
도 13은, 다양한 실시 예들에 따른 전자 장치(101)에서, 카메라 어플리케이션을 실행하는 도중에 음악이 식별되는 경우의 화면의 예를 도시한다.
도 13을 참조하면, 프로세서(120)는, 카메라 어플리케이션을 실행하는 것에 기반하여, 화면(1310)을 표시할 수 있다. 화면(1310)은, 카메라 모듈(180)을 통해 획득되는 프리뷰 이미지를 포함할 수 있다. 화면(1310)은, AR 객체를 표시하기 위한 화면으로 진입하기 위한 객체(1311)를 포함할 수 있다. 프로세서(120)는, 화면(1310)을 표시하는 동안, 마이크(550)를 통해 수신되거나 오디오 모듈(170)을 통해 재생되는 음악의 장르를 식별할 수 있다.
프로세서(120)는, 음악의 장르가 식별되지 않는 경우, 객체(1311)에 대한 입력을 수신하는 것에 기반하여, 화면(1310)으로부터 전환된 화면(1330)을 표시할 수 있다. 예를 들면, 프로세서(120)는, 오디오 모듈(170)을 통해 음악이 재생되지 않거나, 마이크(550)를 통해 음악이 수신되지 않거나, 마이크(550)를 통해 수신되는 음악의 장르가 식별되지 않는 경우, 객체(1311)에 대한 입력을 수신하는 것에 응답하여 화면(1330)을 표시할 수 있다.
프로세서(120)는, 화면(1330) 내에서, 지정된 AR 객체(1331)를 표시할 수 있다. 예를 들면, 지정된 AR 객체(1331)는, 랜덤으로 결정될 수 있다. 화면(1330)은, 지정된 AR 객체를 표시함(displaying)을 나타내는(represent) 인디케이터(1332)를 포함할 수 있다.
프로세서(120)는, 화면(1330)을 표시하는 동안에도, 오디오 모듈(170)을 통해 음악이 재생되는지 여부를 모니터하거나, 또는 마이크(550)를 통해 수신되는 오디오 신호를 분석할 수 있다. 따라서, 프로세서(120)는, 화면(1330)을 표시하는 도중에 재생되거나 수신되는 음악의 장르를 식별할 수 있다. 프로세서(120)는, 화면(1330)을 표시하는 중에 음악의 장르를 식별하는 것에 응답하여, 화면(1330)으로부터 전환된 화면(1350)을 표시할 수 있다. 화면(1350)은, 음악의 장르가 식별됨을 나타내는 인디케이터(1351)를 표시할 수 있다. 상기 인디케이터(1351)는, 음악의 장르에 관한 AR 객체를 표시하기 위한 화면으로 진입하기 위한 객체(1352)에 표시될 수 있다.
프로세서(120)는, 인디케이터(1351)가 표시된 객체(1352)에 대한 입력을 수신하는 것에 응답하여, 화면(1350)으로부터 전환된 화면(1370)을 표시할 수 있다. 화면(1370)은, 사용자 입력 없이, 식별된 음악의 장르(예: 레게)에 대응하는 AR 객체를 자동으로 표시할 수 있다. 화면(1370)은, 음악의 장르(예: 레게)에 대응하는 AR 객체를 표시함(displaying)을 나타내는(represent) 인디케이터(1371)를 포함할 수 있다.
프로세서(120)는, 화면(1310)이 표시된 상태에서 음악의 장르가 식별되었다면, 객체(1311)에 대한 입력을 수신하는 것에 기반하여, 화면(1310)으로부터 전환된 화면(1370)을 표시할 수도 있다.
프로세서(120)는, 객체(1372)에 대한 입력을 수신하는 것에 응답하여, AR 객체가 표시된 이미지를, 메모리(130)에 저장할 수 있다.
도 14는, 다양한 실시 예들에 따른 전자 장치(101)에서 획득된 동영상을, 동영상과 관련된 AR 객체에 관한 정보와 함께 저장하기 위한 동작의 예를 도시한다.
도 14를 참조하면, 동작 1401에서, 프로세서(120)는, 카메라 어플리케이션을 통해 동영상(moving image or video)을 획득(또는 촬영)할 수 있다.
동작 1402에서, 프로세서(120)는, 상기 동영상에 포함된 오디오 데이터로부터 음악의 장르가 식별되는지 여부를 판단할 수 있다. 프로세서(120)는, 동영상에 포함된 오디오 데이터로부터, 음악이 식별되지 않거나 또는 음악의 장르가 식별되지 않는 경우, 동작을 종료할 수 있다. 예를 들면, 프로세서(120)는 획득된 동영상을, 메모리(130)에 저장할 수 있다.
동작 1403에서, 프로세서(120)는, 동영상에 포함된 오디오 데이터로부터 음악의 장르가 식별된다면, 음악의 장르에 기반하여 상기 동영상에 대응하는 AR 객체에 관한 정보를 결정할 수 있다. 예를 들면, 프로세서(120)는, 상기 동영상의 프레임마다 식별된 음악의 장르, 세기, 빠르기, 또는 분위기 중 적어도 하나에 기반하여, 상기 동영상에 대응하는, AR 객체에 관한 정보를 결정할 수 있다. 상기 동영상에 대응하는 AR 객체에 관한 정보는, 동영상의 프레임마다 표시할 AR 객체의 종류 및 좌표를 포함할 수 있다.
동작 1404에서, 프로세서(120)는, 획득된 동영상을, 상기 AR 객체에 관한 정보와 함께 저장할 수 있다. 일부 실시 예들에서, 동작 1401 내지 동작 1404는, 카메라 모듈(180)을 통해 동영상이 획득된 후, 및 메모리(130)에 저장되기 전에 수행될 수 있다. 다른 일부 실시 예들에서, 동작 1401 내지 동작 1404는, 동영상을 메모리(130)에 저장하기 위한 입력을 수신하는 것에 응답하여 수행될 수 있다.
도 15는, 다양한 실시 예들에 따른 전자 장치(101)에서, 동영상이 AR 객체에 관한 정보와 함께 저장된 화면의 예를 도시한다.
도 15를 참조하면, 화면(1500)은, 카메라 어플리케이션과 관련된 사진첩(또는 갤러리)의 UI의 예를 나타낼 수 있다. 프로세서(120)는, 화면 (1500) 내에서, 카메라 어플리케이션을 통해 획득되어 저장된 동영상의 썸네일(1510)을 표시할 수 있다. 상기 동영상의 오디오 데이터는, 음악 소리를 포함할 수 있다. 프로세서(120)는, 상기 동영상의 오디오 데이터로부터 음악의 장르를 식별하는 것에 기반하여, 음악에 관한 AR 객체의 존재를 나타내는(represent) 인디케이터(1511) 를 표시할 수 있다. 예를 들면, 인디케이터(1511)는, 동영상의 썸네일(1510)에 중첩될 수 있다. 프로세서(120)는, 화면(1500) 내에서, AR 객체와 함께 저장된 동영상의 존재를 나타내는(represent) 인디케이터(1513)를 표시할 수도 있다.
프로세서(120)는, 썸네일(1510)에 대한 입력을 수신하는 것에 응답하여, 썸네일(1510)에 대응되는 동영상(1550)을 재생할 수 있다. 예를 들면, 프로세서(120)는, 상기 동영상과 함께 저장된 AR 객체에 관한 정보에 기반하여, 동영상(moving image)에 AR 객체를 플로팅(float on)할 수 있다. 프로세서(120)는, AR 객체가 표시된 동영상(1550)을 재생할 수 있다.
도 16은, 다양한 실시 예들에 따른 전자 장치(101)에서, AR 객체가 표시된 동영상을 재생하기 위한 동작의 예를 도시한다.
도 17은, 다양한 실시 예들에 따른 전자 장치(101)에서, AR 객체가 표시된 동영상을 재생하기 위한 화면의 예를 도시한다.
도 16을 참조하면, 동작 1601에서, 프로세서(120)는, AR 객체에 관한 정보와 함께 저장된 동영상을 재생할 수 있다. 예를 들면, 상기 동영상은, 도 14의 동작 1404에서, AR 객체에 관한 정보와 함께 저장된 동영상일 수 있다. 예를 들면, 프로세서(120)는, 도 15에서 썸네일(1510)에 대한 입력을 수신하는 것에 응답하여, 동영상을 재생할 수 있다. 예를 들어, 도 17을 참조하면, 프로세서(120)는, 동영상을 재생하는 동안 화면(1700)을 표시할 수 있다.
동작 1602에서, 프로세서(120)는, AR 객체를 표시하기 위한 사용자 입력이 수신되는지 여부를 판단할 수 있다. 예를 들어, 도 17을 참조하면, 화면(1700)은, AR 객체를 표시하기 위한 객체(1701)를 포함할 수 있다.
동작 1603에서, 프로세서(120)는, AR 객체를 표시하기 위한 사용자 입력을 수신하는 것에 응답하여, AR 객체가 표시된 동영상을 재생할 수 있다. 예를 들어, 프로세서(120)는, 객체(1701)에 대한 입력을 수신하는 것에 응답하여, 화면(1700)에 AR 객체가 플로팅된 화면(미도시)을 표시할 수 있다. 예를 들어, 프로세서(120)는, 동영상과 함께 저장된 AR 객체에 관한 정보(예: AR 객체를 표시할 프레임, AR 객체의 종류, AR 객체의 좌표)에 기반하여 AR 객체를 표시할 수 있다. 동영상에 플로팅된 AR 객체는, 동영상이 재생되는 동안, 동영상에 포함된 음악에 기반하여 변할 수 있다.
동작 1604에서, 프로세서(120)는, AR 객체를 표시하기 위한 사용자 입력을 수신하지 않는 것에 기반하여, AR 객체가 표시되지 않은 동영상을 재생할 수 있다. 예를 들면, 프로세서(120)는, AR 객체를 표시하기 위한 사용자 입력을 수신하지 않는 것에 기반하여, 화면(1700)을 표시할 수 있다.
만약 AR 객체에 관한 정보를 획득하기 위한 사용자 입력이 요구된다면, 동영상을 촬영하는 중에 상기 사용자의 터치 입력에 의해 야기되는 소음이 동영상에 포함될 수 있다. 다양한 실시 예들에 따른 전자 장치(101)는, 동영상을 촬영하는 중에 마이크(550)를 통해 수신되는 오디오 신호에 음악이 포함되는지 여부를 식별하고, 식별된 음악 및 동영상에 포함된 영상 데이터에 기반하여 AR 객체에 관한 정보를 획득하고, 획득된 AR 객체에 관한 정보를 저장함으로써, 사용자 입력을 수신하는 것을 우회할(bypass) 수 있다.
상술한 바와 같은 다양한 실시 예들에 따른 전자 장치(예: 전자 장치(101))의 방법은, 상기 전자 장치의 카메라 모듈(예: 카메라 모듈(180))을 이용하여 획득되는 이미지를 상기 전자 장치의 디스플레이를 통해 표시하는 동작과, 상기 전자 장치의 마이크(예: 마이크(550))를 활성화하는 동작과, 상기 마이크를 통해 제1 음악을 수신하는 동작과, 상기 제1 음악의 장르에 기반하여 제1 AR(augmented reality) 객체를 선택하는 동작과, 상기 제1 AR 객체를 상기 이미지에 중첩하여 표시하는 동작을 포함할 수 있다.
다양한 실시 예들에서, 상기 방법은, 상기 이미지에 포함된 사람의 자세를 식별하는 동작과, 상기 식별된 자세 및 상기 제1 음악의 장르에 대응하는 제2 AR 객체를 선택하는 동작과, 상기 제2 AR 객체를 상기 이미지에 중첩하여 표시하는 동작을 더 포함할 수 있다.
다양한 실시 예들에서, 상기 방법은, 상기 마이크가 활성화되지 않은 상태에서, 상기 전자 장치가 제2 음악을 재생하는지 여부를 식별하는 동작과, 상기 전자 장치가 상기 제2 음악을 재생함을 식별하는 것에 응답하여, 상기 제2 음악에 관한 정보에 기반하여 제2 AR 객체를 선택하는 동작과, 상기 제2 AR 객체를 상기 이미지에 중첩하여 표시하는 동작을 더 포함할 수 있다.
다양한 실시 예들에서, 상기 방법은, 상기 카메라 모듈을 통해 동영상을 획득하는 동작과, 상기 동영상의 오디오 데이터에 포함된 제2 음악의 장르를 식별하는 동작과, 상기 제2 음악의 장르에 기반하여 상기 동영상에 대응하는 제2 AR 객체에 관한 정보를 획득하는 동작과, 상기 제2 AR 객체에 관한 정보를 상기 동영상과 함께 저장하는 동작을 더 포함할 수 있다. 예를 들면, 상기 동영상에 대응하는 상기 제2 AR 객체에 관한 정보는, 상기 동영상의 프레임들 중 상기 제2 AR 객체를 표시할 프레임, 상기 제2 AR 객체의 종류, 또는 상기 제2 AR 객체를 표시할 위치 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에서, 상기 방법은, 상기 제1 음악의 BPM(beats per minute), 진폭(amplitude), 또는 주파수(frequency) 중 적어도 하나에 기반하여 상기 제1 음악의 장르를 결정하는 동작을 더 포함할 수 있다.
다양한 실시 예들에서, 상기 제1 AR 객체를 선택하는 동작은, 상기 전자 장치의 메모리(예: 메모리(130))에 저장된 복수의 AR 객체들 중 상기 제1 음악의 장르에 대응하는 상기 제1 AR 객체를 선택하는 동작을 포함할 수 있다. 예를 들면, 상기 제1 음악의 장르에 대응하는 상기 제1 AR 객체를 선택하는 동작은, 상기 복수의 AR 객체들에 상기 제1 음악의 장르에 대응하는 복수의 제1 AR 객체들이 포함된 경우, 상기 복수의 제1 AR 객체들 중, 상기 제1 음악의 빠르기(tempo), 분위기(mood), 또는 세기 중 적어도 하나에 기반하여 상기 제1 AR 객체를 결정하는 동작을 포함할 수 있다.
다양한 실시 예들에서, 상기 방법은, 상기 전자 장치의 통신 모듈을 통해, 서버로 상기 제1 음악에 관한 신호를 송신하는 동작과, 상기 서버로부터, 상기 제1 음악에 관한 정보를 수신하는 동작을 더 포함하고, 상기 제1 음악에 관한 정보는, 상기 제1 음악의 장르에 관한 정보를 포함할 수 있다.
다양한 실시 예들에서, 상기 방법은, 상기 제1 음악에 관한 적어도 하나의 AR 객체의 존재를 나타내기(represent) 위한 인디케이터를 상기 디스플레이를 통해 표시하는 동작을 더 포함할 수 있다.
한편, 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    카메라 모듈;
    마이크; 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    상기 카메라 모듈을 이용하여 획득되는 이미지를, 상기 디스플레이를 통해 표시하고,
    상기 마이크를 활성화하고,
    상기 마이크를 통해 제1 음악을 수신하고,
    상기 제1 음악의 장르에 기반하여 제1 AR(augmented reality) 객체를 선택하고,
    상기 제1 AR 객체를 상기 이미지에 중첩하여 표시하도록 설정된 전자 장치.
  2. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 이미지에 포함된 사람의 자세를 식별하고,
    상기 식별된 자세 및 상기 제1 음악의 장르에 대응하는 제2 AR 객체를 선택하고,
    상기 제2 AR 객체를 상기 이미지에 중첩하여 표시하도록 설정된 전자 장치.
  3. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 마이크가 활성화되지 않은 상태에서, 상기 전자 장치가 제2 음악을 재생하는지 여부를 식별하고,
    상기 전자 장치가 상기 제2 음악을 재생함을 식별하는 것에 응답하여, 상기 제2 음악에 관한 정보에 기반하여 제2 AR 객체를 선택하고,
    상기 제2 AR 객체를 상기 이미지에 중첩하여 표시하도록 설정된 전자 장치.
  4. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 카메라 모듈을 통해 동영상을 획득하고,
    상기 동영상의 오디오 데이터에 포함된 제2 음악의 장르를 식별하고,
    상기 제2 음악의 장르에 기반하여 상기 동영상에 대응하는 제2 AR 객체에 관한 정보를 획득하고,
    상기 제2 AR 객체에 관한 정보를 상기 동영상과 함께 저장하도록 설정된 전자 장치.
  5. 청구항 4에 있어서,
    상기 제2 AR 객체에 관한 정보는,
    상기 동영상의 프레임들 중 상기 제2 AR 객체를 표시할 프레임, 상기 제2 AR 객체의 종류, 또는 상기 제2 AR 객체를 표시할 위치 중 적어도 하나를 포함하는 전자 장치.
  6. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 음악의 BPM(beats per minute), 진폭(amplitude), 또는 주파수(frequency) 중 적어도 하나에 기반하여 상기 제1 음악의 장르를 결정하도록 설정된 전자 장치.
  7. 청구항 1에 있어서,
    복수의 AR 객체들을 저장하도록 설정된 메모리를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 메모리에 저장된 상기 복수의 AR 객체들 중 상기 제1 음악의 장르에 대응하는 상기 제1 AR 객체를 선택하도록 설정된 전자 장치.
  8. 청구항 7에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 복수의 AR 객체들에 상기 제1 음악의 장르에 대응하는 복수의 제1 AR 객체들이 포함된 경우, 상기 복수의 제1 AR 객체들 중, 상기 제1 음악의 빠르기(tempo), 분위기(mood), 또는 세기 중 적어도 하나에 기반하여 상기 제1 AR 객체를 결정하도록 설정된 전자 장치.
  9. 청구항 1에 있어서,
    통신 모듈을 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 통신 모듈을 통해, 서버로 상기 제1 음악에 관한 신호를 송신하고,
    상기 서버로부터, 상기 제1 음악에 관한 정보를 수신하도록 설정되고,
    상기 제1 음악에 관한 정보는, 상기 제1 음악의 장르에 관한 정보를 포함하는 전자 장치.
  10. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 음악에 관한 적어도 하나의 AR 객체의 존재를 나타내기(represent) 위한 인디케이터를 상기 디스플레이를 통해 표시하도록 설정된 전자 장치.
  11. 전자 장치의 방법에 있어서,
    상기 전자 장치의 카메라 모듈을 이용하여 획득되는 이미지를 상기 전자 장치의 디스플레이를 통해 표시하는 동작과,
    상기 전자 장치의 마이크를 활성화하는 동작과,
    상기 마이크를 통해 제1 음악을 수신하는 동작과,
    상기 제1 음악의 장르에 기반하여 제1 AR(augmented reality) 객체를 선택하는 동작과,
    상기 제1 AR 객체를 상기 이미지에 중첩하여 표시하는 동작을 포함하는 방법.
  12. 청구항 11에 있어서,
    상기 이미지에 포함된 사람의 자세를 식별하는 동작과,
    상기 식별된 자세 및 상기 제1 음악의 장르에 대응하는 제2 AR 객체를 선택하는 동작과,
    상기 제2 AR 객체를 상기 이미지에 중첩하여 표시하는 동작을 더 포함하는 방법.
  13. 청구항 11에 있어서,
    상기 마이크가 활성화되지 않은 상태에서, 상기 전자 장치가 제2 음악을 재생하는지 여부를 식별하는 동작과,
    상기 전자 장치가 상기 제2 음악을 재생함을 식별하는 것에 응답하여, 상기 제2 음악에 관한 정보에 기반하여 제2 AR 객체를 선택하는 동작과,
    상기 제2 AR 객체를 상기 이미지에 중첩하여 표시하는 동작을 더 포함하는 방법.
  14. 청구항 11에 있어서,
    상기 카메라 모듈을 통해 동영상을 획득하는 동작과,
    상기 동영상의 오디오 데이터에 포함된 제2 음악의 장르를 식별하는 동작과,
    상기 제2 음악의 장르에 기반하여 상기 동영상에 대응하는 제2 AR 객체에 관한 정보를 획득하는 동작과,
    상기 제2 AR 객체에 관한 정보를 상기 동영상과 함께 저장하는 동작을 더 포함하는 방법.
  15. 청구항 14에 있어서,
    상기 제2 AR 객체에 관한 정보는,
    상기 동영상의 프레임들 중 상기 제2 AR 객체를 표시할 프레임, 상기 제2 AR 객체의 종류, 또는 상기 제2 AR 객체를 표시할 위치 중 적어도 하나를 포함하는 방법.
PCT/KR2018/016399 2017-12-22 2018-12-21 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법 WO2019125029A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/772,421 US11189102B2 (en) 2017-12-22 2018-12-21 Electronic device for displaying object for augmented reality and operation method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0178094 2017-12-22
KR1020170178094A KR102614048B1 (ko) 2017-12-22 2017-12-22 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
WO2019125029A1 true WO2019125029A1 (ko) 2019-06-27

Family

ID=66994227

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/016399 WO2019125029A1 (ko) 2017-12-22 2018-12-21 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US11189102B2 (ko)
KR (1) KR102614048B1 (ko)
WO (1) WO2019125029A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12013538B2 (en) 2017-07-03 2024-06-18 Holovisions LLC Augmented reality (AR) eyewear with a section of a fresnel reflector comprising individually-adjustable transmissive-reflective optical elements
US11733667B2 (en) 2019-11-18 2023-08-22 Rockwell Automation Technologies, Inc. Remote support via visualizations of instructional procedures
US11455300B2 (en) 2019-11-18 2022-09-27 Rockwell Automation Technologies, Inc. Interactive industrial automation remote assistance system for components
US11263570B2 (en) * 2019-11-18 2022-03-01 Rockwell Automation Technologies, Inc. Generating visualizations for instructional procedures
CN113359988B (zh) * 2021-06-03 2022-11-29 北京市商汤科技开发有限公司 一种信息的展示方法、装置、计算机设备及存储介质
CN114329001B (zh) * 2021-12-23 2023-04-28 游艺星际(北京)科技有限公司 动态图片的显示方法、装置、电子设备及存储介质
WO2024025076A1 (ko) * 2022-07-26 2024-02-01 삼성전자 주식회사 외부 객체로부터 출력된 소리 신호를 이용하여 볼륨을 조절하기 위한 전자 장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110300929A1 (en) * 2010-06-03 2011-12-08 Microsoft Corporation Synthesis of information from multiple audiovisual sources
KR20140045574A (ko) * 2011-09-08 2014-04-16 인텔 코오퍼레이션 이미지화된 오브젝트 특성들에 기초한 증강 현실
US20140122086A1 (en) * 2012-10-26 2014-05-01 Microsoft Corporation Augmenting speech recognition with depth imaging
US20140320389A1 (en) * 2013-04-29 2014-10-30 Michael Scavezze Mixed reality interactions
US20170364589A1 (en) * 2009-08-13 2017-12-21 TunesMap Inc. Analyzing Captured Sound and Seeking a Match Based on an Acoustic Fingerprint for Temporal and Geographic Presentation and Navigation of linked Cultural, Artistic, and Historic Content

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7444353B1 (en) * 2000-01-31 2008-10-28 Chen Alexander C Apparatus for delivering music and information
US7053915B1 (en) * 2002-07-30 2006-05-30 Advanced Interfaces, Inc Method and system for enhancing virtual stage experience
US20060009979A1 (en) * 2004-05-14 2006-01-12 Mchale Mike Vocal training system and method with flexible performance evaluation criteria
US7732694B2 (en) * 2006-02-03 2010-06-08 Outland Research, Llc Portable music player with synchronized transmissive visual overlays
KR100822376B1 (ko) 2006-02-23 2008-04-17 삼성전자주식회사 곡명을 이용한 음악 주제 분류 방법 및 시스템
WO2007130693A2 (en) * 2006-05-07 2007-11-15 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
US9098167B1 (en) 2007-02-26 2015-08-04 Qurio Holdings, Inc. Layered visualization of content representations
US20090300525A1 (en) * 2008-05-27 2009-12-03 Jolliff Maria Elena Romera Method and system for automatically updating avatar to indicate user's status
KR101679239B1 (ko) 2010-07-06 2016-11-24 삼성전자주식회사 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법
TWI559778B (zh) * 2011-09-18 2016-11-21 觸控調諧音樂公司 具有卡拉ｏｋ及／或照相亭特徵的數位點唱機裝置以及與其相關聯的方法
US20130290106A1 (en) 2012-03-08 2013-10-31 Augme Technologies, Inc. System and method for providing directions to items of interest
US20150243083A1 (en) * 2012-10-01 2015-08-27 Guy COGGINS Augmented Reality Biofeedback Display
US20140161263A1 (en) * 2012-12-10 2014-06-12 Microsoft Corporation Facilitating recognition of real-time content
US9524282B2 (en) 2013-02-07 2016-12-20 Cherif Algreatly Data augmentation with real-time annotations
US8910201B1 (en) * 2013-03-11 2014-12-09 Amazon Technologies, Inc. Product placement in digital content
TWI486904B (zh) * 2013-12-04 2015-06-01 Inst Information Industry 律動影像化方法、系統以及電腦可讀取記錄媒體
WO2016169871A1 (en) * 2015-04-22 2016-10-27 Trinamix Gmbh Detector for an optical detection of at least one object
KR102358025B1 (ko) 2015-10-07 2022-02-04 삼성전자주식회사 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
US20170161382A1 (en) 2015-12-08 2017-06-08 Snapchat, Inc. System to correlate video data and contextual data
KR20170075321A (ko) 2015-12-23 2017-07-03 김근동 증강현실 노래방 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170364589A1 (en) * 2009-08-13 2017-12-21 TunesMap Inc. Analyzing Captured Sound and Seeking a Match Based on an Acoustic Fingerprint for Temporal and Geographic Presentation and Navigation of linked Cultural, Artistic, and Historic Content
US20110300929A1 (en) * 2010-06-03 2011-12-08 Microsoft Corporation Synthesis of information from multiple audiovisual sources
KR20140045574A (ko) * 2011-09-08 2014-04-16 인텔 코오퍼레이션 이미지화된 오브젝트 특성들에 기초한 증강 현실
US20140122086A1 (en) * 2012-10-26 2014-05-01 Microsoft Corporation Augmenting speech recognition with depth imaging
US20140320389A1 (en) * 2013-04-29 2014-10-30 Michael Scavezze Mixed reality interactions

Also Published As

Publication number Publication date
KR102614048B1 (ko) 2023-12-15
KR20190076360A (ko) 2019-07-02
US20210074067A1 (en) 2021-03-11
US11189102B2 (en) 2021-11-30

Similar Documents

Publication Publication Date Title
WO2019125029A1 (ko) 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법
WO2020171540A1 (en) Electronic device for providing shooting mode based on virtual character and operation method thereof
WO2020050506A1 (ko) 증강 현실 영상에 부가 객체를 표시하는 전자 장치 및 상기 전자 장치의 구동 방법
WO2020162673A1 (en) Electronic device for providing avatar animation and method thereof
WO2021015505A1 (en) Foldable electronic device and photographing method using multiple cameras in foldable electronic device
WO2020162709A1 (en) Electronic device for providing graphic data based on voice and operating method thereof
WO2020130281A1 (en) Electronic device and method for providing avatar based on emotion state of user
WO2020171541A1 (ko) 전자 장치 및 이를 이용한 카메라 기능과 연동하여 이모지 편집을 위한 사용자 인터페이스를 제공하는 방법
WO2020149689A1 (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
WO2019156480A1 (ko) 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
WO2021045552A1 (en) Electronic device for image synthesis and operating method thereof
WO2020153785A1 (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
WO2020032383A1 (ko) 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
WO2020080845A1 (en) Electronic device and method for obtaining images
WO2021172832A1 (ko) 제스처 인식 기반의 영상 편집 방법 및 이를 지원하는 전자 장치
WO2019039870A1 (ko) 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법
WO2021066565A1 (en) Image processing method and electronic device supporting the same
WO2019045517A1 (ko) 복수의 이미지 센서들의 동기화 제어 방법 및 이를 구현한 전자 장치
WO2019039861A1 (ko) 전자 장치 및 전자 장치에서 카메라 기능과 연관된 콘텐트 제공 방법
WO2020116960A1 (en) Electronic device for generating video comprising character and method thereof
WO2019103420A1 (en) Electronic device and method for sharing image with external device using image link information
WO2019107719A1 (ko) 360 비디오에서 화자의 음성을 시각적으로 표시하기 위한 장치 및 방법
WO2021162353A1 (ko) 카메라를 포함하는 전자 장치 및 그의 동작 방법
WO2020171558A1 (en) Method of providing augmented reality contents and electronic device therefor
WO2019054610A1 (ko) 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18891404

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18891404

Country of ref document: EP

Kind code of ref document: A1