WO2019132306A1 - 사진촬영에 음악을 링크하는 전자 장치 및 이의 제어 방법 - Google Patents

사진촬영에 음악을 링크하는 전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2019132306A1
WO2019132306A1 PCT/KR2018/015515 KR2018015515W WO2019132306A1 WO 2019132306 A1 WO2019132306 A1 WO 2019132306A1 KR 2018015515 W KR2018015515 W KR 2018015515W WO 2019132306 A1 WO2019132306 A1 WO 2019132306A1
Authority
WO
WIPO (PCT)
Prior art keywords
music
sound source
image
electronic device
source information
Prior art date
Application number
PCT/KR2018/015515
Other languages
English (en)
French (fr)
Inventor
정규일
허버트벤자민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to DE112018006727.0T priority Critical patent/DE112018006727B4/de
Priority to CN201880083517.8A priority patent/CN111527746B/zh
Priority to US16/766,547 priority patent/US11445144B2/en
Publication of WO2019132306A1 publication Critical patent/WO2019132306A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3264—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of sound signals

Definitions

  • the present invention relates to a content creating apparatus and method for matching and storing music information when an electronic device captures an image, and more particularly, And an apparatus and method for producing a content to be stored together with an image.
  • the user sometimes does not remember what music the music was when he / she wanted to listen to the music he / she was listening to at the time of shooting a moment when there was a party or an event to memorize.
  • the present invention has been made in view of the above-mentioned needs, and it is an object of the present invention to provide a content display apparatus and a content display method which store information about a music heard at the time of shooting a video together with a video, .
  • a method of controlling an electronic device including the steps of capturing an image when a user inputs a photographing command, Acquiring sound source information for the music to be reproduced in the image, and storing the sound source information for the music in a matching manner.
  • the acquiring step may acquire sound source information on the music based on the tag information of the stored music if the music is music played on the electronic device.
  • the acquiring may further include the steps of: requesting sound source information for the music to the external device when the music is music played on an external device connected to the electronic device; and receiving sound source information for the music from the external device And receiving the data.
  • the acquiring step may include recording the music to be played back and transmitting the music to an external server, And receiving sound source information for the music from the external server when the sound source information for the music is acquired.
  • the step of executing the gallery application and displaying the UI including the image matching the sound source information for the music may be included.
  • the method may further include displaying an indicator for indicating that the sound source information is matched and stored in one area of the UI including the image in which the sound source information is matched and stored.
  • the UI can display an image included in the UI.
  • the step of executing the music application and displaying the UI including the stored image matching the sound source information for the music may be included.
  • a UI command is displayed on the UI based on the sound source information for the music, and a user command for selecting a first UI including a first image matching the sound source information of the first music in the UI list
  • the method comprising the steps of: reproducing the first music and displaying the first image, and displaying a second image of a second UI including a second image in which the sound source information of the first music is stored in a matching manner, As shown in FIG.
  • the method may further include recognizing a face of the person included in the image, acquiring SNS account information using the recognized face, transmitting the stored image by matching the sound source information with the SNS account .
  • the electronic device may include an input unit, a camera, and a memory, and may control the camera to capture an image when a photographing command is input from the user through the input unit, And a processor for acquiring sound source information for the music to be reproduced and for matching the sound source information for the music to the captured image and storing the matching information in the memory.
  • the processor may acquire sound source information for the music based on tag information of the music stored in the memory, when the music is music played on the electronic device.
  • the processor when the music is music played through an external device connected to the electronic device through the communication unit, the processor requests the sound source information for the music to the external device, And can control the communication unit to receive sound source information for music.
  • the apparatus may further include a microphone, wherein the processor controls the microphone to record the music to be played back if the music is music played on an external device not connected to the electronic device, and transmits the recorded music to an external server And when the external server obtains the sound source information for the music through the sound source recognition technology, the external server may control the communication unit to receive the sound source information for the music from the external server.
  • the display device may further include a display unit, wherein the processor executes the gallery application when a user command for executing a gallery application is input through the input unit, displays a UI including an image in which the sound source information for the music is matched and stored
  • the display can be controlled.
  • the processor may control the display to display an indicator for guiding that the sound source information is stored in one area of the UI including the image in which the sound source information is matched and stored.
  • the apparatus includes a speaker, and the processor controls the display to display an image included in the UI when a user command for selecting an area in which the indicator is displayed is displayed while the display is displaying the UI
  • the UI can control the display to display an image included in the UI.
  • the processor controls the UI to display the UI list on the basis of the sound source information for the music.
  • the UI includes a first image including the first image in which the sound source information of the first music is matched and stored 1 UI is input, controls the display to control the speaker to reproduce the first music and display the first image on the display, and when the user inputs a user command for selecting the UI, the sound source information of the first music is matched and stored And to sequentially display the second image of the second UI including the second image with the first image.
  • the processor may display the UI list on the display based on the sound source information for the music, and may include a first UI including a first image in which the sound source information of the first music is matched and stored Controls the display to display the first image on the display and controls the speaker to reproduce the first music when the user command for selecting the first music is input, And to display the second image of the second UI including the second image sequentially with the first image.
  • the image processing apparatus further comprising a communication unit and an image processing unit, wherein the processor recognizes a face of a person included in the image through the image processing unit, obtains SNS account information from the memory using the recognized face, The sound source information for the music is matched with the account, and the communication unit is controlled to transmit the stored image.
  • the user can match and listen to the music he / she has heard when leaving a party or an event to be memorized as an image, so that the user can later recall the image and recall the memories while listening to music, You can easily find information about the music you are listening to without effort.
  • FIG. 1 is a diagram for explaining a system of an electronic device according to an embodiment of the present invention.
  • FIG. 2 is a simplified block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure
  • FIG. 3 is a detailed block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 4 is a view for explaining a photographing mode according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining a method of reproducing an image stored in a gallery application matching with music according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining a method of reproducing music matched with an image in a music application according to an embodiment of the present disclosure.
  • FIG. 7 is a view illustrating an embodiment in which an electronic device recognizes a face of an image and transmits the stored image by matching with the sound source information of the music through the SNS account.
  • FIG. 8 is a flowchart illustrating a method of matching and storing sound source information for music and images captured by an electronic device according to an embodiment of the present disclosure.
  • FIG. 9 is a flow chart illustrating a method by which an electronic device obtains sound source information for music in various situations, in accordance with an embodiment of the present disclosure
  • first,” “second,” “first,” or “second,” etc. may modify various components, But is used to distinguish it from other components and does not limit the components.
  • any such element may be directly connected to the other element or may be connected through another element (e.g., a third element).
  • a component e.g., a first component
  • another component e.g., a second component
  • there is no other component e.g., a third component
  • a processor configured (or configured) to perform the phrases "A, B, and C” may be implemented by executing one or more software programs stored in a memory device or a dedicated processor (e.g., an embedded processor) , And a generic-purpose processor (e.g., a CPU or an application processor) capable of performing the corresponding operations.
  • FIG. 1 is a diagram for explaining a system of an electronic device according to an embodiment of the present invention.
  • an electronic device system includes an external server 100, an electronic device 200, and an external device 300.
  • the electronic device 200 may be implemented as a portable device such as a smart phone as shown in FIG. 1, but the present invention is not limited thereto.
  • Various types of devices having a display function such as a PC, a tablet PC, a PMP, or a PDA Can be implemented.
  • the touch screen is built in and can be implemented to execute a program using a finger or a pen (for example, a stylus pen).
  • a pen for example, a stylus pen
  • the electronic device 200 may capture an image when a photographing command is inputted from a user, and may store information about music reproduced in a space where the electronic device 200 is located, while the image is being photographed, with the photographed image.
  • the electronic device 200 transmits the music currently being played back to the external server 100 You can request information about the sound source.
  • the electronic device 200 receives information of a sound source from the external server 100, and can match and store the photographed image.
  • the electronic device 200 can also receive a streaming account It is possible to receive the sound source information of the music to be reproduced from the external server 100.
  • an external device 300 e.g., a Bluetooth speaker
  • the electronic device 200 transmits the music to the external device 300
  • the sound source information may be requested and the received sound source information may be matched with the captured image and stored.
  • the electronic device 200 If the music reproduced in the space where the electronic device 200 is located is music reproduced by the external device 300 that is not connected to the electronic device 200, the electronic device 200 records music, 100), and the external server 100 can receive information about the sound source obtained through the sound source recognition technology.
  • the electronic device 200 may store information about the sound source received through the external server 100 and store the information.
  • the information about the music includes a date on which the music is being played back, a time when the album including the music is released, album cover, artist information, title, genre, lyrics, tag address of the memory where the music is stored, The link address of the < / RTI >
  • the information about the music may be information about a specific part of the music being reproduced at the time of photographing. That is, the electronic device 200 can control the audio processing unit 280 to analyze a waveform (e.g., FFT) for a specific part of the music being reproduced at the time of shooting.
  • a waveform e.g., FFT
  • the electronic device 200 can reproduce an image stored in the memory 210 according to a user command by matching with sound source information about music. Specifically, the electronic device 200 may control the display 225 to display a UI and an indicator including an image matched with the sound source information, and the electronic device 200 may display a user command for selecting a portion corresponding to the indicator The music and video corresponding to the stored sound source information can be reproduced together.
  • FIGS. 5 through 6 A detailed embodiment in which the electronic device 200 reproduces an image stored therein will be described with reference to FIGS. 5 through 6.
  • FIG. 2 is a simplified block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure
  • the electronic device 200 includes a memory 210, a camera 220, and a processor 230.
  • the camera 220 can take an image.
  • the image refers to all types of content that can be photographed through the camera 220.
  • the image may be various contents such as a photograph, a moving picture, a panoramic picture, a wide shot, and the like.
  • the image may also be an animated GIF file of the GIF format.
  • the memory 210 may store images and various contents and programs photographed through the camera 220. Specifically, the memory 210 may store the photographed image and the content matching the sound source information of the music reproduced in the space where the electronic device 200 is located at the time of shooting. The memory 210 may also store person information of the acquaintances of the user. Here, the person information may include contact information, person information matched with the contact information, information on the SNS account, face recognition information for use in face recognition, and the like. In particular, the memory 210 may store music that can be reproduced by the electronic device 200, and may store sound source information about the music. A detailed description of the configuration of the memory 210 will be further described with reference to FIG.
  • the processor 230 may perform the overall function of the electronic device 200.
  • the processor 230 controls the camera 220 to photograph an image when a photographing command is input from a user, and stores the sound source information about the music to be reproduced in a space where the electronic device 200 is located while the image is being photographed Can be obtained.
  • how the processor 230 obtains information about a sound source may vary depending on whether the electronic device 200 reproduces music or the external device 300 reproduces music. Also, the external device 300 may be reproduced, or may be different depending on whether the external device 300 is connected to the electronic device 200 or the external device 300 is not connected. This will be described in more detail with reference to FIG.
  • FIG. 2 illustrates essential components necessary for explaining embodiments of the present invention
  • the electronic device of FIG. 1 may be implemented by various types of devices.
  • FIG. 3 is a detailed block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 200 includes an input unit 250, a memory 210, a display 225, a camera 220, a microphone 240, a processor 230, a communication unit 260, an image processing unit 270 An audio processing unit 280, and a speaker 290.
  • the input unit 250 can receive various commands from the user.
  • the input unit 250 may receive an image capturing command so that the electronic device 200 captures an image.
  • the input unit 250 may include a command for photographing an image in a mode capable of matching and storing information on music reproduced in a space where the electronic device 200 is located when the electronic device 200 photographs images and images Input can be received.
  • the input unit 250 may receive a command for executing a gallery application and a command for executing a music application.
  • the input unit 250 may receive a command to select a UI for a stored image in which images and music are matched and stored.
  • the input unit 250 may receive a command to select a UI for the music that matches the image.
  • the input unit 250 may be a separate button or may be included in the display 225. [ Hereinafter, for convenience of explanation, the input unit 250 will be described as being included in the display 225. FIG.
  • the memory 210 may store various data for operation of the electronic device 200, such as a program for processing or controlling the processor 230.
  • the memory 210 may store a plurality of application programs (application programs or applications) driven by the electronic device 200, data for operation of the electronic device 200, and instructions. At least some of these applications may be downloaded from the external server 100 via wireless communication. In addition, at least some of these application programs may reside on the electronic device 200 from the time of shipment for the basic function of the electronic device 200.
  • the application program is stored in the memory 210 and may be driven by the processor 230 to perform the operation (or function) of the electronic device 200.
  • the memory 210 may be implemented as a non-volatile memory, a volatile memory, a flash memory, a hard disk drive (HDD), or a solid state drive (SSD).
  • the memory 210 is accessed by the processor 230 and read / write / modify / delete / update of data by the processor 230 and the like can be performed.
  • the term memory in this disclosure includes memory 210, a RAM 231 in the processor 230, a ROM 232 or a memory card (not shown) (e.g., micro SD card, Memory stick).
  • the memory 210 may include a buffer for temporarily storing various data of music contents.
  • the memory 210 may store programs and data for configuring various screens to be displayed in a display area of the display 225.
  • the memory 220 may store metadata about the currently playing content.
  • the memory 210 may be implemented as a memory embedded in the electronic device 200 or a removable memory in the electronic device 200, depending on the purpose of data storage. For example, in the case of data for driving the electronic device 200, it is stored in a memory embedded in the electronic device 200, and in the case of data for the extended function of the electronic device 200, It can be stored in a possible memory.
  • the memory 210 may store content that matches the photographed image with the sound source information about the music reproduced in the space where the electronic device 200 is located at the time of shooting.
  • the memory 210 may also store person information of the acquaintances of the user.
  • the person information may include contact information, person information matched with the contact information, information on the SNS account linked with the contact of the acquaintance, face recognition information of the acquaintance to be used for face recognition, and the like.
  • the memory 210 may store music that can be reproduced by the electronic device 200, and may store sound source information about the music.
  • the display 225 may display an image photographed by the electronic device 200. Also, the display 225 may display an indicator indicating that the music is matched with the UI of the stored image and the music.
  • the display 225 may be implemented as an LCD (Liquid Crystal Display Panel), an OLED (Organic Light Emitting Diodes), or the like, but is not limited thereto. Also, the display 225 may be implemented as a flexible display, a transparent display, or the like as the case may be.
  • the display 225 may be implemented with various types of display panels.
  • the display panel may be a liquid crystal display (LCD), an organic light emitting diode (OLED), an active matrix organic light-emitting diode (AM-OLED), a liquid crystal on silicon (LcoS) And can be implemented with various display technologies.
  • the display 225 may also be coupled to at least one of a front area and a side area and a back area of the electronic device 200 in the form of a flexible display.
  • the display 225 may be implemented with a touch screen of a layer structure.
  • the touch screen not only has a display function but also a function of detecting a touch input position and a touch area as well as a touch input pressure and has a function of detecting not only a real touch but also a proximity touch .
  • the camera 220 is configured to photograph an image under the control of the user. Meanwhile, the camera 220 may sense various user motions for controlling the electronic device 200.
  • the microphone 240 can record music reproduced by the external device 300.
  • the audio processing unit 280 may analyze the waveform of music recorded by the microphone 240 to remove noise.
  • the communication unit 260 can communicate with the external server 100. Particularly, the communication unit 260 can transmit the music data recorded through the microphone 240 to the external server 100, and transmits the sound source information about the music that the electronic device 200 plays through the streaming account to the external server 100 ). Accordingly, the communication unit 260 can receive sound source information for music from the external server 100.
  • the communication unit 260 can communicate with the external device 300 by requesting the sound source information about the music reproduced by the external device 300. Accordingly, the communication unit 260 can receive sound source information for music from the external device 300. [ In addition, the communication unit 260 establishes communication with electronic devices other than the electronic device 200, and transmits and receives data on images matched with the sound source information through the SNS account.
  • the communication unit 210 may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, an NFC chip, and a wireless communication chip.
  • the Wi-Fi chip, the Bluetooth chip, and the NFC chip communicate with each other using the WiFi method, the Bluetooth method, and the NFC method.
  • the NFC chip refers to a chip operating in an NFC (Near Field Communication) system using 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860 to 960 MHz and 2.45 GHz.
  • the wireless communication chip refers to a chip that performs communication according to various communication standards such as IEEE, ZigBee, 3G (3rd Generation), 3rd Generation Partnership Project (3GPP), LTE (Long Term Evolution)
  • the speaker 290 is configured to output not only various kinds of audio data processed by the audio processing unit 280 but also various kinds of notifications and voice messages. In particular, when the content displayed on the display 225 is music-related content, the speaker 290 can output the sound source of the content to be reproduced.
  • the processor 230 is a configuration for controlling the electronic device 200 as a whole.
  • the processor 230 may control the camera 220 to shoot an image when a shooting command is input from the user.
  • the processor 230 may obtain sound source information about music to be reproduced in a space where the electronic device 200 is located while the image is being captured.
  • a method of acquiring sound source information for music through various embodiments will be described.
  • the processor 230 reads the music tag stored in the memory 210 It is possible to acquire sound source information about the music based on the information.
  • the external device 300 paired with the electronic device 200 there may be a Bluetooth speaker, but the present invention is not limited thereto and may be implemented by various devices.
  • the processor 230 transmits the music to the external server 100 It is possible to control the communication unit 260 to request that the sound source information be transmitted. Accordingly, the processor 230 can acquire sound source information on music reproduced from the external server 100 through the streaming account.
  • the sound source information for the music may be link information of the server where the music exists.
  • the processor 230 requests the external device 300 to transmit sound source information for the music
  • the communication unit 260 can be controlled.
  • the processor 230 may acquire sound source information for music from the external device 300 through the communication unit 260.
  • the external device 300 may be an artificial intelligent speaker, various devices such as a refrigerator and a washing machine capable of reproducing music.
  • the processor 230 can communicate with the external server 100 via the communication unit 260 to acquire the link information of the obtained sound source information.
  • the processor 230 controls the microphone 240 to record the music being reproduced in the space where the electronic device 200 is located, Can be controlled.
  • the processor 230 may control the communication unit 260 to transmit the recorded music to the external server 100 having the sound source recognition technology.
  • the processor 230 may receive and acquire sound source information for music recognized by the external server 100 through the communication unit 260.
  • the sound source information for music may be link information.
  • the method of acquiring sound source information for music is not limited to the above-described embodiment, and the processor 230 can acquire sound source information in various ways. Meanwhile, the processor 230 may match the sound source information about the music acquired by various methods with the captured image and store the sound source information in the memory 210.
  • the processor 230 may execute the gallery application and control the display 225 to display the UI for the stored image matched with the sound source information of the music.
  • the processor 230 may control the display 225 to display an indicator for matching that the sound source information is matched with the sound source information of the music and stored in one area of the UI of the stored image.
  • the processor 230 controls the display 225 to display the image stored on the display 225,
  • the speaker 290 can be controlled to output the music based on the sound source information. An embodiment related to this will be described in detail with reference to FIG.
  • the processor 230 may include a CPU 234, a RAM 231, a ROM 232, and a system bus (not shown).
  • the ROM 232 is a configuration in which a command set for booting the system is stored.
  • the CPU 234 copies the operating system stored in the memory 210 of the electronic device 200 to the RAM 231 according to the command stored in the ROM , And executes the O / S to boot the system.
  • the CPU 234 can copy various applications stored in the memory 210 to the RAM 231, execute it, and perform various operations.
  • the processor 230 includes only one CPU 234, but may be implemented by a plurality of CPUs (or DSPs, SoCs, etc.) at the time of implementation.
  • the processor 230 may be implemented as a digital signal processor (DSP), a microprocessor, or a TCON (Time Controller) for processing digital signals, but are not limited to, a central processing unit (CPU), a microcontroller unit (MCU), a micro processing unit (MPU), a controller, an application processor (AP) (CPU), an ARM processor, and the like.
  • the processor 230 may also include one or more of a system on chip (SoC), a large scale integration ), Or may be implemented in the form of an FPGA (Field Programmable Gate Array).
  • SoC system on chip
  • FPGA Field Programmable Gate Array
  • FIGS 4-7 illustrate various embodiments of the present disclosure.
  • FIG. 4 is a view for explaining a photographing mode according to an embodiment of the present disclosure.
  • the electronic device 200 may display the UIs 410 and 420 for switching modes for photographing in one area of the display 225 screen. For example, by selecting a UI labeled Best Face 420, the electronic device 200 can be switched to a mode optimized for capturing a portrait.
  • the electronic device 200 obtains sound source information about the music to be reproduced in the space where the electronic device 200 is located while the image is being captured , And a mode for storing the sound source information for the music in the photographed image and storing it (hereinafter, referred to as a moment mode for convenience of explanation).
  • the electronic device 200 can take a picture when a user's photographing instruction is input in the moment mode.
  • the shooting instruction of the user may be through the input unit 250 including a separate button, or may be by a user interaction for selecting the shooting UI displayed on the display 225.
  • the user's photographing instruction may be a voice command of the user received via the microphone 240, or may be the motion of the user received via the camera 220.
  • the electronic device 200 can display a UI for switching to various kinds of photographing modes.
  • the electronic device 200 can be switched to a mode optimized for shooting a moving picture.
  • the electronic device 200 may store the image photographed through the moment mode in the memory 210. At this time, the electronic device 200 may store the information manually inputted by the user in the memory 210 together with the image photographed through the moment mode.
  • the user may enter information via a text input UI (not shown) displayed on the display 225, or may input information using a stylus.
  • the user may input information through the microphone 240 by voice.
  • the electronic device 200 can reproduce images photographed through the moment mode through various applications such as a gallery application and a music application. At this time, the electronic device 200 may reproduce the information manually input by the user together with the image photographed through the moment mode.
  • the application for reproducing the image photographed through the moment mode is not limited thereto and can be implemented in various application forms.
  • FIG. 5 is a diagram for explaining a method of reproducing an image stored in a gallery application matching with music according to an embodiment of the present disclosure.
  • the electronic device 200 has executed a gallery application.
  • the electronic device 200 may display a UI for a plurality of images stored in the memory 210 in the gallery application.
  • 5 (a), 5 (b) and 5 (c) illustrate a case where the image included in the UI is a photograph, and FIGS. 5 / RTI >
  • the electronic device 200 can display an indicator indicating the moment image in one area of the UI that matches the sound source information of the music and stores the stored image (hereinafter, referred to as a moment image for the sake of convenience).
  • the electronic device 200 can display, in one area of the UI 520, an indicator 510 indicating that the UI 520 is related to a moment picture taken in the moment mode .
  • the electronic device 200 when the user command for selecting the area 530 in which the indicator 510 is displayed is input, the electronic device 200 can reproduce the moment image included in the UI 520. [ That is, the photograph included in the moment image can be reproduced through the display 225, and the music included in the moment image can be outputted through the speaker 290. [ 5 (c), when the user command for selecting the area 540 in which the indicator 510 is not displayed is inputted, the electronic device 200 displays a picture of the moment image included in the UI 520 Can be reproduced. That is, the electronic device 200 can reproduce only the pictures included in the moment image, except for the music included in the moment image, so as to provide only the pictures to the user without music.
  • the electronic device 200 may display an indicator 510 indicating that the image included in the UI 550 is a moment image.
  • the electronic device 200 displays a moving image of the moment image included in the UI 550 on the display 225 when a user's command to select the area 560 in which the indicator 510 is displayed is input, And output the music of the moment image included in the UI 550 through the speaker 290.
  • [ 5 (f) when the user's command to select the area 570 in which the indicator 510 is not displayed is input, the electronic device 200 displays only the moving image of the moment image included in the UI 550 Can be output.
  • the electronic device 200 can stop the music output and reproduce only the image according to the user's interaction while reproducing the moment image through the diagrams (b) and (e). Likewise, the electronic device 200 can reproduce and reproduce music in accordance with the user interaction while reproducing only the video through the diagrams (c) and (f). For example, the electronic device 200 may determine whether to play the music according to a user interaction in which the user double-tapes the display 225 on which the image is being played.
  • the above-described user interaction is not limited to this, and may be through the user's voice or through the user's motion.
  • the electronic device 200 when reproducing the moment image, can reproduce from a specific portion of the music being reproduced at the time of shooting the moment image according to the user interaction. Specifically, the electronic device 200 can reproduce a specific portion of the music, not the FULL version, based on the sound source information about the waveform for a specific portion of the music stored in the memory 210.
  • the user can listen to the music at the time of photographing the photograph, and has the effect of recalling memories at the time, and the user can save the effort of searching for the music at the time of photographing again.
  • the electronic device 200 has the effect of enhancing the user experience by allowing the user to select the method of fully appreciating the moment image and the method of only viewing the image included in the moment image.
  • the electronic device 200 may provide a music application that selects a moment image based on the matched music, in addition to a gallery application that selects a moment image based on the photographed image.
  • FIG. 6 is a diagram for explaining a method of reproducing music matched with an image in a music application according to an embodiment of the present disclosure.
  • the electronic device 200 is in a state in which the music application 610 is executed.
  • the name of the music application 610 is Moments is shown as an example.
  • Moments is just an example, and music applications can be various names.
  • the electronic device 200 can display the UI 630 including the moment image and the UI list 620 on the display 225.
  • the user can select one of the plurality of UIs 630 included in the UI list 620 and reproduce a moment image corresponding to the corresponding UI.
  • FIG. 6 (b) shows that the first UI 630 in the UI list 620 is selected by the user and displayed on the display 225.
  • the electronic device 200 can reproduce a moment image when a user command for selecting a UI displaying Play now is input.
  • the electronic device 200 adds a corresponding moment image to the favorites when a user command for selecting the UI to display the add to queue is inputted, so that the user can search for moment images without effort.
  • the electronic device 200 may modify or input information manually entered in the corresponding moment image according to a user interaction when a user command for selecting a UI for displaying Edit is input, Effect can be given.
  • FIG. 6C is a view showing that a Play Now item is selected in a pop-up window to reproduce a moment image included in the selected first UI 630.
  • the electronic device 200 displays the first image 650 stored in the first UI 630 matching the sound source information of the first music in a full screen on the display 225 .
  • the electronic device 200 can reproduce the first music, which is matched with the first image, through the speaker 290.
  • the first music may be music matched with other images besides the first image 650.
  • the user may listen to the first music at the year-end party, capture the first image 650 and store the first image 650 as the first moment image, and listen to the first music at the year-end party and other birthday parties, May be photographed and stored as a second moment image.
  • the electronic device 200 reproduces the first image 650 matched with the first music to the display 225 through the music application 610, and then the electronic device 200 reproduces the first music 650,
  • the second image can be reproduced on the display 225 sequentially with the first image 650.
  • the electronic device 200 may display the first image 650 and the second image at a predetermined time interval, and may change the fade-in time when switching the screen between the first image 650 and the second image. Can be displayed by fading out.
  • the electronic device 200 can select music through a voice command of the user. Specifically, when the user inputs a point of time when the moment image is photographed by voice, the electronic device 200 can reproduce the moment image stored in the memory 210, based on the sound source information for the music, For example, when the user inputs a voice such as " play music yesterday evening ", the electronic device 200 outputs the corresponding music through the speaker 290 based on the sound source information stored in the memory 210, And sequentially reproduce the at least one image stored on the display 225 through the display unit 225. [
  • the electronic device 200 calculates a moment corresponding to the music based on the sound source information about the music stored in the memory 210 The image can be reproduced. For example, when the user inputs a voice such as "play music on a daughter's birthday" or "play a music party a month ago ", the electronic device 200 displays music Through the speaker 290 and sequentially reproduce at least one image stored and matched with the music through the display 225.
  • the electronic device 200 can provide a user experience that allows the user to listen to the first music, and to recall each memory when photographing a plurality of images matched with the first music .
  • FIG. 7 is a view illustrating an embodiment in which an electronic device recognizes a face of an image and transmits the stored image by matching with the sound source information of the music through the SNS account.
  • the electronic device 200 can display a moment image 700 including a person on the display 225.
  • the electronic device 200 can control the image processing unit 270 to recognize the face of the person in the image 700, and accordingly, the indicators 710, 711) can be displayed on the display 225.
  • the electronic device 200 may display the UIs 720 and 730 indicating the names of the persons corresponding to the indicators 710 and 711.
  • the electronic device 200 recognizes the corresponding acquaintances based on the face recognition information of the acquaintances of the user stored in the memory 210 and displays the names of the acquaintances stored in the memory 210 through the UIs 720 and 730.
  • the electronic device 200 acquires, from the memory 210, a sound source And may control the communication unit 260 to transmit the moment image 700, which is a stored image, by matching the information.
  • the command for the user to select the UI 720,730 for the name of an acquaintance may be to tap the display 255 with the stylus and through voice input.
  • the electronic device 200 when it transmits the moment image 700 through the SNS, it may transmit a message including voice or text.
  • the electronic device 200 can separately provide a list (not shown) of the characters appearing in the moment image.
  • the electronic device 200 may arrange the list of persons based on the number of frequencies included in the moment image, or may assign the priority to the user based on the desired person.
  • the electronic device 200 may sequentially reproduce the moment image in which the specific character appears.
  • the electronic device 200 can provide a user experience in which the user can share the music being played at the moment with the acquaintances and the image at the time without effort.
  • FIG. 8 is a flowchart illustrating a method of matching and storing sound source information for music and images captured by an electronic device according to an embodiment of the present disclosure.
  • the electronic device 200 when the electronic device 200 receives a command for capturing an image by a user (S810), the electronic device 200 may capture an image through the camera 220 (S820).
  • the electronic device 200 may acquire sound source information about music reproduced in a space where the electronic device 200 is located (S830), and may match and store sound source information about the captured image and music (S840).
  • FIG. 9 is a flow chart illustrating a method by which an electronic device obtains sound source information for music in various situations, in accordance with an embodiment of the present disclosure
  • the electronic device 200 When the electronic device 200 receives a command for capturing an image from a user (S910), the electronic device 200 can capture an image through the camera 220 (S920). At this time, the electronic device 200 determines whether or not it is a photographing instruction through a moment application (moment APP) (S930), and if it is determined that it is not a photographing instruction through a moment application (S930-N) (S940).
  • a moment application moment application
  • S930-N moment application
  • the electronic device 200 determines whether the image capturing command is a capturing command through the moment application (S930-Y), the electronic device 200 can determine whether music is being reproduced in the space where the electronic device is located (S931). At this time, if it is determined that the music is not being reproduced in the space where the electronic device is located (S931-N), the electronic device 200 may store the photographed image in the memory 210 (S940).
  • the electronic device 200 determines whether the music being played is paired with the electronic device 200 and the electronic device 200, If it is determined that music is to be reproduced through the device 300 (S932-Y), the electronic device 200 can acquire sound source information about the music based on the tag information about the music being reproduced (S933). The electronic device 200 may match the acquired sound source information with the captured image and store the acquired sound source information in the memory 210 (S940).
  • the electronic device 200 can determine whether the music to be reproduced is music that is not paired with the electronic device 200 but is reproduced from the external device 300 that is connected to the electronic device 200 at step S935. If the electronic device 200 determines music to be reproduced in the connected external device 300 (S935-Y), the electronic device 200 can acquire sound source information by requesting sound source information about the music with the external device 300 S936). Thereafter, the electronic device 200 matches the acquired sound source information with the photographed image (S934), and may store the acquired sound source information in the memory 210 (S940).
  • the electronic device 200 determines that the music to be reproduced is reproduced through the external device 300 that is not connected to the electronic device 200 (S935-N)
  • the electronic device 200 records music To the external server 100 (S937).
  • the electronic device 200 acquires sound source information from the external server 100 (S938), matches the captured image with the acquired sound source information (S934), and stores the acquired sound source information in the memory 210.
  • the apparatus or method according to various embodiments described above may be implemented in a computer-readable storage medium, such as, for example, instructions contained in at least one of programs that are maintained on a computer- (E. G., A processor) that executes < / RTI >
  • the at least one computer may perform a function corresponding to the instruction.
  • the computer-readable storage medium may be the memory 210, for example.
  • the program may be stored on a computer readable recording medium, such as a hard disk, a floppy disk, magnetic media (e.g. magnetic tape), optical media (e.g., compact disc read only memory (CD- ), Magneto-optical media (e.g., floptical disk), hardware devices (e.g., read only memory (ROM), random access memory (RAM)
  • a computer readable recording medium such as a hard disk, a floppy disk, magnetic media (e.g. magnetic tape), optical media (e.g., compact disc read only memory (CD- ), Magneto-optical media (e.g., floptical disk), hardware devices (e.g., read only memory (ROM), random access memory (RAM)
  • the storage medium is typically included as part of the configuration of the electronic device 200, but may be mounted through the port of the electronic device 200, May be included in an external device (e.g., a cloud, a server, or other electronic device) located outside the device 200.
  • the program may be divided
  • the instructions may include machine language code such as those generated by the compiler as well as high level language code that may be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the various embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 전자 장치가 영상을 촬영할 때, 음악 정보를 매칭하여 저장하는 컨텐츠 제작 장치 및 방법에 관한 것으로, 특히 영상을 촬영할 당시 전자 장치에서 또는 전자 장치 주변에서 재생되고 있는 음악에 대한 정보를 촬영된 영상과 함께 저장하는 컨텐츠 제작 장치 및 방법에 관한 것이다. 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법은, 사용자로부터 촬영 명령이 입력되면 영상을 촬영하는 단계, 영상이 촬영되는 동안 전자 장치가 위치하는 공간에서 재생되는 음악에 대한 음원 정보를 획득하는 단계 및 촬영된 영상에 음악에 대한 음원 정보를 매칭하여 저장하는 단계를 포함할 수 있다.

Description

사진촬영에 음악을 링크하는 전자 장치 및 이의 제어 방법
본 발명은 전자 장치가 영상을 촬영할 때, 음악 정보를 매칭하여 저장하는 컨텐츠 제작 장치 및 방법에 관한 것으로, 특히 영상을 촬영할 당시 전자 장치에서 또는 전자 장치 주변에서 재생되고 있는 음악에 대한 정보를 촬영된 영상과 함께 저장하는 컨텐츠 제작 장치 및 방법에 관한 것이다.
전자 기술이 발달하면서, 다양한 전자 장치들을 이용하여 수많은 컨텐츠를 제공하는 기술도 계속하여 발전하고 있다. 그 중에서도, 최근 촬영 가능한 전자 장치, 예를 들면 스마트폰을 통해 영상을 촬영할 때, 스마트폰의 주변에서 발생하고 있는 소리를 녹음하여 영상과 함께 저장하는 기술이 등장하였다. 이렇게 저장된 컨텐츠는 나중에 사용자가 해당 영상을 재생하면, 촬영된 당시 스마트폰 주변에서 발생한 소리와 함께 영상을 제공할 수 있다.
한편, 사용자는 파티나 기억하고 싶은 이벤트가 있는 순간을 촬영할 당시에 듣고 있던 음악이 다시 듣고 싶을 때, 그 음악이 어떤 음악이었는지 기억나지 않는 경우가 있다.
이에 따라 사용자가 해당 음악에 대한 정보를 찾기 위해 소요되는 시간 및 노력에 대한 불편이 발생하였고, 기존의 전자 장치에서는 위와 같은 문제점에 별다른 해결책을 제시하지 못하고 있다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 영상을 촬영할 당시에 듣고 있던 음악에 대한 정보를 영상과 함께 저장하고, 사용자가 나중에 촬영 당시의 음악을 노력을 들이지 않고 찾을 수 있는 컨텐츠 영상을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은, 사용자로부터 촬영 명령이 입력되면, 영상을 촬영하는 단계, 상기 영상이 촬영되는 동안 상기 전자 장치가 위치하는 공간에서 재생되는 음악에 대한 음원 정보를 획득하는 단계, 및 상기 촬영된 영상에 상기 음악에 대한 음원 정보를 매칭하여 저장하는 단계를 포함할 수 있다.
또한, 상기 획득하는 단계는, 상기 음악이 상기 전자 장치에서 재생되는 음악인 경우, 상기 저장된 음악의 태그 정보를 바탕으로 상기 음악에 대한 음원 정보를 획득할 수 있다.
또한, 상기 획득하는 단계는, 상기 음악이 상기 전자 장치와 연결된 외부 장치에서 재생되는 음악인 경우, 상기 외부 장치로 상기 음악에 대한 음원 정보를 요청하는 단계 및 상기 외부 장치로부터 상기 음악에 대한 음원 정보를 수신하는 단계를 포함할 수 있다.
또한, 상기 획득하는 단계는, 상기 음악이 상기 전자 장치와 연결되지 않은 외부 장치에서 재생되는 음악인 경우, 상기 재생되는 음악을 녹음하여 외부 서버로 전송하는 단계, 상기 외부 서버가 음원 인식 기술을 통해 상기 음악에 대한 음원 정보를 획득한 경우, 상기 외부 서버로부터 상기 음악에 대한 음원 정보를 수신하는 단계를 포함할 수 있다.
한편, 갤러리 어플리케이션을 실행하기 위한 사용자 명령이 입력되면, 상기 갤러리 어플리케이션을 실행하고, 상기 음악에 대한 음원 정보가 매칭되어 저장된 영상을 포함하는 UI를 표시하는 단계를 포함할 수 있다.
또한, 상기 음원 정보가 매칭되어 저장된 영상을 포함하는 UI의 일 영역에 상기 음원 정보가 매칭되어 저장되어 있음을 안내하기 위한 인디케이터를 표시하는 단계를 포함할 수 있다.
또한, 상기 UI를 표시하고 있는 동안, 상기 인디케이터가 표시된 영역을 선택하는 사용자 명령이 입력되면, 상기 UI가 포함하는 영상을 표시하고 상기 영상과 매칭되어 저장된 음악에 대한 음원 정보를 바탕으로 상기 음악을 함께 재생하고, 상기 UI를 표시하고 있는 동안, 상기 인디케이터가 표시되지 않은 영역을 선택하는 사용자 명령이 입력되면, 상기 UI가 포함하는 영상을 표시할 수 있다.
한편, 음악 어플리케이션을 실행하기 위한 사용자 명령이 입력되면, 상기 음악 어플리케이션을 실행하고, 상기 음악에 대한 음원 정보가 매칭되어 저장된 영상을 포함하는 UI를 표시하는 단계를 포함할 수 있다.
한편, 상기 UI를 상기 음악에 대한 음원 정보를 바탕으로 UI 리스트를 표시하는 단계, 상기 UI 리스트 중 제1 음악의 음원 정보가 매칭되어 저장된 제1 영상을 포함하는 제1 UI를 선택하는 사용자 명령이 입력되면, 상기 제1 음악을 재생하고 상기 제1 영상을 표시하는 단계 및 상기 제1 음악의 음원 정보가 매칭되어 저장된 제2 영상을 포함하는 제2 UI의 제2 영상을 상기 제1 영상과 순차적으로 재생하는 단계를 포함할 수 있다.
또한, 상기 영상에 포함된 인물의 얼굴을 인식하는 단계, 상기 인식된 얼굴을 이용하여 SNS 계정 정보를 획득하는 단계, 상기 SNS 계정으로 상기 음악에 대한 음원 정보를 매칭하여 저장된 영상을 전송하는 단계를 포함할 수 있다.
전자 장치는, 입력부, 카메라, 메모리를 포함할 수 있고, 상기 입력부를 통해 사용자로부터 촬영 명령을 입력되면 영상을 촬영하도록 상기 카메라를 제어하고, 상기 영상이 촬영되는 동안 상기 전자 장치가 위치하는 공간에서 재생되는 음악에 대한 음원 정보를 획득하고, 상기 촬영된 영상에 상기 음악에 대한 음원 정보를 매칭하여 상기 메모리에 저장하는 프로세서를 포함할 수 있다.
또한, 상기 프로세서는, 상기 음악이 상기 전자 장치에서 재생되는 음악인 경우, 상기 메모리에 저장된 음악의 태그 정보를 바탕으로 상기 음악에 대한 음원 정보를 획득할 수 있다.
또한, 통신부를 포함하고, 상기 프로세서는, 상기 음악이 상기 통신부를 통해 상기 전자 장치와 연결된 외부 장치에서 재생되는 음악인 경우, 상기 외부 장치로 상기 음악에 대한 음원 정보를 요청하고, 상기 외부 장치로부터 상기 음악에 대한 음원 정보를 수신하도록 상기 통신부를 제어할 수 있다.
또한, 마이크를 포함하고, 상기 프로세서는, 상기 음악이 상기 전자 장치와 연결되지 않은 외부 장치에서 재생되는 음악인 경우, 상기 재생되는 음악을 녹음하도록 상기 마이크를 제어하고, 상기 녹음된 음악을 외부 서버로 전송하고 상기 외부 서버가 음원 인식 기술을 통해 상기 음악에 대한 음원 정보를 획득한 경우, 상기 외부 서버로부터 상기 음악에 대한 음원 정보를 수신하도록 상기 통신부를 제어할 수 있다.
또한, 디스플레이를 포함하고, 상기 프로세서는, 상기 입력부를 통해 갤러리 어플리케이션을 실행하기 위한 사용자 명령이 입력되면 상기 갤러리 어플리케이션을 실행하고, 상기 음악에 대한 음원 정보가 매칭되어 저장된 영상을 포함하는 UI를 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 프로세서는, 상기 음원 정보가 매칭되어 저장된 영상을 포함하는 UI의 일 영역에 상기 음원 정보가 매칭되어 저장되어 있음을 안내하기 위한 인디케이터를 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 스피커를 포함하고, 상기 프로세서는, 상기 디스플레이가 상기 UI를 표시하고 있는 동안, 상기 인디케이터가 표시된 영역을 선택하는 사용자 명령이 입력되면, 상기 UI가 포함하는 영상을 표시하도록 상기 디스플레이를 제어하고, 상기 영상과 매칭되어 저장된 음악에 대한 음원 정보를 바탕으로 상기 음악을 함께 재생하도록 상기 스피커를 제어하고, 상기 디스플레이가 상기 UI를 표시하고 있는 동안, 상기 인디케이터가 표시되지 않은 영역을 선택하는 사용자 명령이 입력되면, 상기 UI가 포함하는 영상을 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 프로세서는, 상기 UI를 상기 음악에 대한 음원 정보를 바탕으로 UI 리스트를 표시하도록 상기 디스플레이를 제어하고, 상기 UI 리스트 중 제1 음악의 음원 정보가 매칭되어 저장된 제1 영상을 포함하는 제1 UI를 선택하는 사용자 명령이 입력되면, 상기 제1 음악을 재생하도록 상기 스피커를 제어하고 상기 제1 영상을 상기 디스플레이에 표시하도록 상기 디스플레이를 제어하고, 상기 제1 음악의 음원 정보가 매칭되어 저장된 제2 영상을 포함하는 제2 UI의 제2 영상을 상기 제1 영상과 순차적으로 상기 디스플레이 재생하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 프로세서는, 상기 UI를 상기 음악에 대한 음원 정보를 바탕으로 UI 리스트를 상기 디스플레이에 표시하고, 상기 UI 리스트 중 제1 음악의 음원 정보가 매칭되어 저장된 제1 영상을 포함하는 제1 UI를 선택하는 사용자 명령이 입력되면, 상기 제1 영상을 상기 디스플레이에 표시하도록 상기 디스플레이를 제어하고, 상기 제1 음악을 재생하도록 상기 스피커를 제어하고, 상기 제1 음악의 음원 정보가 매칭되어 저장된 제2 영상을 포함하는 제2 UI의 제2 영상을 상기 제1 영상과 순차적으로 상기 디스플레이 재생하도록 상기 디스플레이를 제어할 수 있다..
또한, 통신부 및 영상 처리부를 포함하고, 상기 프로세서는, 상기 영상 처리부를 통해 상기 영상에 포함된 인물의 얼굴을 인식하고, 상기 인식된 얼굴을 이용하여 상기 메모리에서 SNS 계정 정보를 획득하고, 상기 SNS 계정으로 상기 음악에 대한 음원 정보를 매칭하여 저장된 영상을 전송하도록 상기 통신부를 제어할 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 사용자는 파티나 기억하고 싶은 이벤트를 영상으로 남길 때 듣고 있던 음악을 같이 매칭시켜 저장시킴으로써, 나중에 영상을 재생하며 음악을 들으며 추억을 회상할 수 있고, 당시에 듣고 있던 음악에 대한 정보를 노력을 들이지 않고 쉽게 찾을 수 있다.
또한, 기억하고 싶은 이벤트를 함께한 지인들과 해당 영상을 쉽게 공유할 수 있어서, 그 당시의 추억을 공유할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 시스템을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 간단한 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 자세한 블록도이다.
도 4에서는 본 개시의 일 실시 예에 따른 촬영 모드를 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 갤러리 어플리케이션에서 음악과 매칭되어 저장된 영상을 재생하는 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 음악 어플리케이션에서 영상과 매칭된 음악을 재생하는 방법을 설명하기 위한 도면이다.
도 7은 전자 장치가 영상의 얼굴을 인식하고 SNS 계정을 통해 음악의 음원 정보와 매칭되어 저장된 영상을 전송하는 실시 예를 도시한 도면이다.
도 8은 본 개시의 일 실시 예에 따른, 전자 장치가 촬영한 영상과 음악에 대한 음원 정보를 매칭하여 저장하는 방법을 설명하기 위한 흐름도이다.
도 9는 본 개시의 일 실시 예에 따른, 전자 장치가 다양한 상황에서 음악에 대한 음원 정보를 획득하는 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 개시에 대해 상세히 설명하도록 한다. 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 나아가, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 개시의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 시스템을 설명하기 위한 도면이다.
도 1에 따르면 본 발명의 일 실시 예에 따른 전자 장치 시스템은, 외부 서버(100), 전자 장치(200) 및 외부 장치(300)를 포함한다.
전자 장치(200)는 도 1에 도시된 바와 같이 스마트폰과 같은 휴대용 기기로 구현될 수 있으나, 이에 한정되는 것은 아니며, PC, 태블릿 PC, PMP, PDA 등과 같이 디스플레이 기능을 갖춘 다양한 유형의 장치로 구현될 수 있다.
한편, 전자 장치(200)가 휴대용 기기로 구현되는 경우, 터치스크린을 내장하고 있어 손가락 또는 펜(예를 들면, 스타일러스 펜)을 이용하여 프로그램을 실행시킬 수 있도록 구현될 수 있다. 이하에서는 설명의 편의를 위하여 전자 장치(200)가 휴대용 기기로 구현된 경우를 상정하여 설명하도록 한다.
전자 장치(200)는 사용자로부터 촬영 명령이 입력되면 영상을 촬영하고, 영상이 촬영되는 동안 전자 장치(200)가 위치하는 공간에서 재생되는 음악에 대한 정보를 촬영된 영상과 매칭하여 저장할 수 있다.
이때, 전자 장치(200)가 위치하는 공간에서 재생되는 음악이 전자 장치(200)가 스트리밍 계정을 통하여 재생하는 음악인 경우, 전자 장치(200)는 외부 서버(100)로 현재 재생하고 있는 음악에 대한 음원의 정보를 요청할 수 있다. 전자 장치(200)는 외부 서버(100)로부터 음원의 정보를 수신하고, 촬영된 영상과 매칭하여 저장할 수 있다.
또한, 전자 장치(200)가 위치하는 공간에서 재생되는 음악이 전자 장치(200)와 페어링된 외부 기기(300)(예를 들면, 블루투스 스피커)인 경우에도, 전자 장치(200)는 스트리밍 계정을 통하여 재생하는 음악의 음원 정보를 외부 서버(100)로부터 수신할 수 있다.
한편, 전자 장치(200)가 위치하는 공간에서 재생되는 음악이 전자 장치(200)와 연결된 외부 장치(300)에서 재생되는 음악인 경우에는, 전자 장치(200)는 외부 장치(300)에 음악에 대한 음원 정보를 요청하고 수신한 음원 정보를 촬영된 영상과 매칭하여 저장할 수 있다.
또한, 전자 장치(200)가 위치하는 공간에서 재생되는 음악이 전자 장치(200)와 연결되지 않은 외부 장치(300)에서 재생되는 음악인 경우에는, 전자 장치(200)는 음악을 녹음하여 외부 서버(100)로 전송하고, 외부 서버(100)가 음원 인식 기술을 통해 획득한 음원에 대한 정보를 수신할 수 있다. 전자 장치(200)는 외부 서버(100)를 통해 수신한 음원에 대한 정보를 촬영한 영상과 매칭하여 저장할 수 있다.
이때, 음악에 대한 정보는 음악이 재생되고 있는 날짜, 음악을 포함하는 앨범이 릴리즈된 시점, 앨범 커버, 아티스트 정보, 제목, 장르, 가사, 음악이 저장된 메모리의 태그 주소, 음악을 재생할 수 있는 서버의 링크 주소 등을 포함할 수 있다. 특히 음악에 대한 정보는 촬영되는 시점에서 재생되고 있는 음악의 특정 부분에 관한 정보일 수도 있다. 즉, 전자 장치(200)는 촬영되는 시점에 재생되고 있는 음악의 특정 부분에 대한 파형(예를 들면, FFT)을 분석하도록 오디오 처리부(280)를 제어할 수 있다.
한편, 전자 장치(200)는 음악에 대한 음원 정보와 매칭하여 메모리(210)에 저장된 영상을 사용자 명령에 따라 재생할 수 있다. 구체적으로, 전자 장치(200)는 음원 정보와 매칭된 영상을 포함하는 UI 및 인디케이터를 표시하도록 디스플레이(225)를 제어할 수 있고, 전자 장치(200)는 인디케이터에 대응되는 부분을 선택하는 사용자 명령이 입력되면 저장된 음원 정보에 대응되는 음악과 영상을 함께 재생할 수 있다. 전자 장치(200)가 저장된 영상을 재생하는 자세한 실시 예에 대하여는 도 5 내지 도6을 통해 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 간단한 블록도이다.
도 2에 따르면, 전자 장치(200)는 메모리(210), 카메라(220), 및 프로세서(230)를 포함한다.
카메라(220)는 영상을 촬영할 수 있다. 여기에서, 영상은 카메라(220)를 통해 촬영할 수 있는 모든 유형의 컨텐츠를 의미한다. 구체적으로, 영상은 사진, 동영상, 파노라마 사진, 와이드 샷 등과 같은 다양한 컨텐츠일 수 있다. 또한 영상은 GIF 형식의 animated GIF file일 수도 있다.
메모리(210)는 카메라(220)를 통해 촬영한 영상 및 다양한 컨텐츠와 프로그램을 저장할 수 있다. 구체적으로 메모리(210)는 촬영한 영상과 촬영 당시에 전자 장치(200)가 위치하는 공간에서 재생되는 음악에 대한 음원 정보를 매칭한 컨텐츠를 저장할 수 있다. 또한 메모리(210)는 사용자의 지인들의 인물 정보를 저장할 수 있다. 여기에서 인물 정보는 연락처 정보, 연락처 정보와 매칭된 인물 정보, SNS 계정에 대한 정보, 얼굴 인식에 이용되기 위한 얼굴 인식 정보 등이 포함될 수 있다. 특히 메모리(210)에는 전자 장치(200)가 재생할 수 있는 음악을 저장할 수 있고, 음악에 대한 음원 정보를 저장할 수 있다. 메모리(210)의 구성에 대한 구체적인 설명은 도 3에서 추가적으로 설명한다.
프로세서(230)는 전자 장치(200)의 전반적인 기능을 수행할 수 있다.
구체적으로, 프로세서(230)는 사용자로부터 촬영 명령이 입력되면, 영상을 촬영하도록 카메라(220)를 제어하고, 영상이 촬영되는 동안 전자 장치(200)가 위치하는 공간에서 재생되는 음악에 대한 음원 정보를 획득할 수 있다.
여기에서 프로세서(230)가 음원에 대한 정보를 획득하는 방법은 음악을 전자 장치(200)가 재생하는지 또는 외부 장치(300)가 재생하는지에 따라 달라질 수 있다. 또한, 외부 장치(300)가 재생하는 경우이더라도, 전자 장치(200)와 연결된 외부 장치(300)인지 또는 연결되지 않은 외부 장치(300)인지에 따라 달라질 수 있다. 이에 대하여는 도 3을 통해 더 자세히 설명하기로 한다.
한편, 도 2에서는 본 발명의 실시 예를 설명하기 위해 필요한 필수적인 구성요소들을 도시하였으나, 도 1의 전자 장치는 다양한 종류의 장치로 구현될 수 있다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 자세한 블록도이다.
도 3에 따르면, 전자 장치(200)는 입력부(250), 메모리(210), 디스플레이(225), 카메라(220), 마이크(240), 프로세서(230), 통신부(260), 영상 처리부(270), 오디오 처리부(280), 스피커(290)을 포함할 수 있다.
입력부(250)는 사용자로부터 다양한 명령을 입력받을 수 있다. 예를 들면, 입력부(250)는 전자 장치(200)가 영상을 촬영하도록 영상 촬영 명령을 입력받을 수 있다. 또한, 입력부(250)는 전자 장치(200)가 영상과 영상을 촬영 시 전자 장치(200) 가 위치하는 공간에서 재생되는 음악에 대한 정보를 매칭하여 저장할 수 있는 모드로 영상을 촬영하기 위한 명령을 입력받을 수 있다. 또한 입력부(250)는 갤러리 어플리케이션을 실행하기 위한 명령 및 음악 어플리케이션을 실행하기 위한 명령을 입력받을 수 있다. 특히 갤러리 어플리케이션이 실행되면, 입력부(250)는 영상과 음악이 매칭되어 저장된 영상에 대한 UI를 선택하는 명령을 입력받을 수 있다. 또한, 음악 어플리케이션이 실행되면, 입력부(250)는 영상과 매칭되어 저장된 음악에 대한 UI를 선택하는 명령을 입력 받을 수 있다.
한편, 입력부(250)는 별도의 버튼으로 구성될 수도 있고, 디스플레이(225)에 포함되어 구현될 수도 있다. 이하에서는 설명의 편의를 위해, 입력부(250)는 디스플레이(225)에 포함되어 구현된 것으로 설명한다.
메모리(210)는 프로세서(230)의 처리 또는 제어를 위한 프로그램 등 전자 장치(200) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(210)는 전자 장치(200)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 전자 장치(200)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버(100)로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는, 전자 장치(200)의 기본적인 기능을 위하여 출고 당시부터 전자 장치(200) 상에 존재할 수 있다. 응용 프로그램은, 메모리(210)에 저장되고, 프로세서(230)에 의하여 전자 장치(200)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
메모리(210)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 메모리(210)는 프로세서(230)에 의해 액세스 되며, 프로세서(230)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 본 개시에서 메모리라는 용어는 메모리(210), 프로세서(230) 내 RAM(231), ROM(232) 또는 전자 장치(200)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함할 수 있다. 또한, 메모리(210)는 음악 컨텐츠의 다양한 데이터를 임시저장하는 버퍼를 포함할 수 있다.
또한, 메모리(210)에는 디스플레이(225)의 디스플레이 영역에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다. 특히, 메모리(220)는 현재 재생되는 컨텐츠에 대한 메타데이터를 저장할 수 있다. 메모리(210)는 데이터 저장 용도에 따라 전자 장치(200)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(200)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(200)의 구동을 위한 데이터의 경우 전자 장치(200)에 임베디드된 메모리에 저장되고, 전자 장치(200)의 확장 기능을 위한 데이터의 경우 전자 장치(200)에 탈부착이 가능한 메모리에 저장될 수 있다.
상술한 바와 같이 메모리(210)는 촬영한 영상과 촬영 당시에 전자 장치(200)가 위치하는 공간에서 재생되는 음악에 대한 음원 정보를 매칭한 컨텐츠를 저장할 수 있다. 또한 메모리(210)는 사용자의 지인들의 인물 정보를 저장할 수 있다. 여기에서 인물 정보는 연락처 정보, 연락처 정보와 매칭된 인물 정보, 지인의 연락처와 연동된 SNS 계정에 대한 정보, 얼굴 인식에 이용되기 위한 지인의 얼굴 인식 정보 등이 포함될 수 있다. 특히 메모리(210)에는 전자 장치(200)가 재생할 수 있는 음악을 저장할 수 있고, 음악에 대한 음원 정보를 저장할 수 있다.
디스플레이(225)는 전자 장치(200)가 촬영한 영상을 디스플레이할 수 있다. 또한 디스플레이(225)는 음악과 매칭되어 저장된 영상에 대한 UI 및 음악과 매칭되어 있음을 표시하는 인디케이터를 표시할 수 있다.
한편, 디스플레이(225)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이(225)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다. 디스플레이(225)는 다양한 형태의 디스플레이 패널로 구현될 수 있다. 예로, 디스플레이 패널은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), AM-OLED(Active-Matrix Organic Light-Emitting Diode), LcoS(Liquid Crystal on Silicon) 또는 DLP(Digital Light Processing) 등과 같은 다양한 디스플레이 기술로 구현될 수 있다. 또한, 디스플레이(225)는 플렉서블 디스플레이(flexible display)의 형태로 전자 장치(200)의 전면 영역 및, 측면 영역 및 후면 영역 중 적어도 하나에 결합될 수도 있다. 디스플레이(225)는 레이어 구조의 터치 스크린으로 구현될 수 있다. 터치 스크린은 디스플레이 기능뿐만 아니라 터치 입력 위치, 터치된 면적뿐만 아니라 터치 입력 압력까지도 검출하는 기능을 가질 수 있고, 또한 실질적인 터치(real-touch)뿐만 아니라 근접 터치(proximity touch)도 검출하는 기능을 가질 수 있다.
카메라(220)는 사용자의 제어에 따라 영상을 촬영하기 위한 구성이다. 한편, 카메라(220)는 전자 장치(200)를 제어하기 위한 각종 사용자 모션을 감지할 수도 있다.
마이크(240)는 외부 장치(300)에서 재생하는 음악을 녹음할 수 있다. 오디오 처리부(280)는 마이크(240)에서 녹음한 음악의 파형을 분석하여 노이즈를 제거할 수 있다.
통신부(260)는 외부 서버(100)와 통신할 수 있다. 특히 통신부(260)는 외부 서버(100)로 마이크(240)를 통해 녹음된 음악 데이터를 전송할 수 있고, 전자 장치(200)가 스트리밍 계정을 통해 재생하고 있는 음악에 대한 음원 정보를 외부 서버(100)로 요청할 수 있다. 이에 따라 통신부(260)는 외부 서버(100)로부터 음악에 대한 음원 정보를 수신할 수 있다.
한편, 통신부(260)는 외부 장치(300)가 재생하고 있는 음악에 대한 음원 정보를 외부 장치(300)와 통신하여 요청할 수 있다. 이에 따라 통신부(260)는 외부 장치(300)로부터 음악에 대한 음원 정보를 수신할 수 있다. 또한 통신부(260)는 전자 장치(200) 외의 다른 전자 장치와 통신을 수립하여, 음원 정보와 매칭된 영상에 대한 데이터를 SNS 계정을 통해 송수신할 수 있다.
한편, 통신부(210)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
스피커(290)는 오디오 처리부(280)에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 특히, 디스플레이(225)에 표시되는 컨텐츠가 음악 관련 컨텐츠인 경우, 스피커(290)는 재생되는 컨텐츠의 음원을 출력할 수 있다.
프로세서(230)는 전자 장치(200)를 전반적으로 제어하기 위한 구성이다. 프로세서(230)는 사용자로부터 촬영 명령이 입력되면, 영상을 촬영하도록 카메라(220)를 제어할 수 있다. 프로세서(230)는 영상이 촬영되는 동안 전자 장치(200)가 위치하는 공간에서 재생되는 음악에 대한 음원 정보를 획득할 수 있다. 이하에서는 다양한 실시 예를 통해 음악에 대한 음원 정보를 획득하는 방법에 대해 설명한다.
구체적으로, 전자 장치(200) 및 전자 장치(200)와 페어링된 외부 장치(300)가 전자 장치(200)에 저장된 음악을 재생하는 경우, 프로세서(230)는 메모리(210)에 저장된 음악의 태그 정보를 바탕으로 음악에 대한 음원 정보를 획득할 수 있다. 여기서 전자 장치(200)와 페어링된 외부 장치(300)의 예로써 블루투스 스피커가 있을 수 있으나, 이에 한정되는 것은 아니고 다양한 장치로 구현될 수 있다.
한편, 전자 장치(200) 및 전자 장치(200)와 연결되어 페어링된 외부 장치(300)가 사용자의 스트리밍 계정을 통해 음악을 재생하는 경우, 프로세서(230)는 외부 서버(100)에게 음악에 대한 음원 정보를 전송할 것을 요청하도록 통신부(260)를 제어할 수 있다. 이에 따라, 프로세서(230)는 외부 서버(100)로부터 스트리밍 계정을 통해 재생되는 음악에 대한 음원 정보를 획득할 수 있다. 이 경우, 음악에 대한 음원 정보는 음악이 존재하는 서버의 링크 정보일 수 있다.
한편, 전자 장치(200)와 연결되어 있으나, 페어링 되어 있지 않은 외부 장치(300)가 음악을 재생하는 경우, 프로세서(230)는 외부 장치(300)로 음악에 대한 음원 정보를 송신할 것을 요청하도록 통신부(260)를 제어할 수 있다. 프로세서(230)는 통신부(260)를 통해 외부 장치(300)로부터 음악에 대한 음원 정보를 획득할 수 있다. 이 경우, 외부 장치(300)는 인공 지능 스피커일 수도 있고, 음악을 재생할 수 있는 냉장고, 세탁기 등 다양한 장치일 수 있다. 이 경우, 프로세서(230)는 획득한 음원 정보의 링크 정보를 획득하기 위해 외부 서버(100)와 통신부(260)를 통해 통신할 수 있다.
한편, 전자 장치(200)와 연결되어 있지 않은 외부 장치(300)가 음악을 재생하는 경우, 프로세서(230)는 전자 장치(200)가 위치하는 공간에서 재생되고 있는 음악을 녹음하도록 마이크(240)를 제어할 수 있다. 프로세서(230)는 녹음된 음악을 음원 인식 기술을 가진 외부 서버(100)로 송신하도록 통신부(260)를 제어할 수 있다. 또한 프로세서(230)는 외부 서버(100)에서 인식된 음악에 대한 음원 정보를 통신부(260)를 통해 수신하여 획득할 수 있다. 이 경우에도 음악에 대한 음원 정보는 링크 정보일 수 있다.
음악에 대한 음원 정보를 획득하는 방법은 상술한 실시 예에 국한되지 않으며 프로세서(230)는 다양한 방법으로 음원 정보를 획득할 수 있다. 한편 프로세서(230)는 다양한 방법으로 획득한 음악에 대한 음원 정보를 촬영한 영상과 매칭하여 메모리(210)에 저장할 수 있다.
한편, 프로세서(230)는 갤러리 어플리케이션을 실행하기 위한 사용자 명령이 입력되면, 갤러리 어플리케이션을 실행하고, 음악의 음원 정보와 매칭되어 저장된 영상에 대한 UI를 표시하도록 디스플레이(225)를 제어할 수 있다. 또한, 프로세서(230)는 음악의 음원 정보와 매칭되어 저장된 영상의 UI의 일 영역에 음원 정보가 매칭되어 있음을 안내하기 위한 인디케이터를 표시하도록 디스플레이(225)를 제어할 수 있다.
또한, 사용자에 의해 인디케이터가 표시된 UI를 선택하는 명령이 입력된 경우 프로세서(230)는 디스플레이(225) 화면에 저장된 영상을 디스플레이하도록 디스플레이(225)를 제어하고, 동시에 영상과 매칭되어 저장된 음악에 대한 음원 정보를 바탕으로 해당 음악을 출력하도록 스피커(290)를 제어할 수 있다. 이와 관련된 실시 예에 대하여 도 5를 통해 자세히 설명하도록 한다.
한편, 프로세서(230)는 CPU(234), RAM(231), ROM(232), 시스템 버스(식별 부호 미도시)를 포함할 수 있다. 여기서, ROM(232)은 시스템 부팅을 위한 명령어 세트가 저장되는 구성이고, CPU(234)는 롬에 저장된 명령어에 따라 전자 장치(200)의 메모리(210)에 저장된 운영체제를 RAM(231)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(234)는 메모리(210)에 저장된 각종 애플리케이션을 RAM(231)에 복사하고, 실행시켜 각종 동작을 수행할 수 있다. 이상에서는 프로세서(230)가 하나의 CPU(234)만을 포함하는 것으로 설명하였지만, 구현 시에는 복수의 CPU(또는 DSP, SoC 등)으로 구현될 수 있다.
본 발명의 일 실시 예에 따라, 프로세서(230)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(230)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
도 4 내지 도 7은 본 개시의 다양한 실시 예를 설명하기 위한 도면이다.
구체적으로 도 4에서는 본 개시의 일 실시 예에 따른 촬영 모드를 설명하기 위한 도면이다.
도 4는 전자 장치(200)의 디스플레이(225) 화면을 도시한 것이다. 전자 장치(200)는 디스플레이(225) 화면의 일 영역에 촬영하기 위한 모드를 전환되기 위한 UI(410,420)들을 표시할 수 있다. 예를 들면, Best Face(420)라고 표시되어 있는 UI를 선택하게 되면, 전자 장치(200)는 인물 사진을 촬영하기에 최적화된 모드로 전환될 수 있다.
마찬가지로, 디스플레이(225) 화면에 표시된 Moment (410) UI를 선택하게 되면, 전자 장치(200)는 영상이 촬영되는 동안 전자 장치(200)가 위치하는 공간에서 재생되는 음악에 대한 음원 정보를 획득하고, 촬영된 영상에 음악에 대한 음원 정보를 매칭하여 저장하는 모드(이하에서는 설명의 편의를 위해, 모멘트 모드라고 한다)로 전환될 수 있다.
전자 장치(200)는 모멘트 모드에서 사용자의 촬영 명령이 입력되면 영상을 촬영할 수 있다. 이때, 사용자의 촬영 명령은 별도의 버튼을 포함하는 입력부(250)를 통한 것일 수 있고, 디스플레이(225)에 표시된 촬영 UI를 선택하는 사용자 인터렉션에 의한 것일 수 있다. 또한, 사용자의 촬영 명령은 마이크(240)를 통해 수신된 사용자의 음성 명령일 수도 있고, 카메라(220)를 통해 수신된 사용자의 모션에 의한 것일 수 있다.
상술한 모드는 예시에 불과하며, 전자 장치(200)는 다양한 종류의 촬영 모드로 전환하기 위한 UI를 표시할 수 있다. 예를 들면, 도면에 도시하지는 않았지만, Animate photo UI를 선택하면, 전자 장치(200)는 움직이는 사진을 촬영하기에 최적화된 모드로 전환될 수 있다.
한편, 전자 장치(200)는 모멘트 모드를 통해 촬영한 영상을 메모리(210)에 저장할 수 있다. 이때, 전자 장치(200)는 사용자에 의해 수동으로 입력된 정보를 모멘트 모드를 통해 촬영한 영상과 함께 메모리(210)에 저장할 수 있다. 사용자는 디스플레이(225)에 표시된 텍스트 입력 UI(미도시)를 통해 정보를 입력할 수도 있고, 스타일러스를 이용하여 정보를 입력할 수도 있다. 또한, 사용자는 마이크(240)를 통해 음성으로 정보를 입력할 수도 있다.
한편, 전자 장치(200)는 갤러리 어플리케이션, 음악 어플리케이션 등의 다양한 어플리케이션들을 통해 모멘트 모드를 통해 촬영한 영상을 재생할 수 있다. 이때, 전자 장치(200)는 사용자에 의해 수동으로 입력된 정보를 모멘트 모드를 통해 촬영한 영상과 함께 재생할 수도 있다. 모멘트 모드를 통해 촬영한 영상을 재생하기 위한 어플리케이션은 이에 한정되지 않으며, 다양한 어플리케이션의 형태로 구현될 수 있다.
도 5 내지 도 6에서는 도 4에서 설명한 모멘트 모드를 통해 촬영한 영상을 다양한 어플리케이션을 통해 재생하는 방법을 설명한다.
구체적으로, 도 5는 본 개시의 일 실시 예에 따른 갤러리 어플리케이션에서 음악과 매칭되어 저장된 영상을 재생하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 전자 장치(200)는 갤러리 어플리케이션을 실행한 상태이다. 전자 장치(200)는 메모리(210)에 저장된 복수의 영상에 대한 UI를 갤러리 어플리케이션에 표시할 수 있다. 도 5(a),(b),(c)는 UI에 포함된 영상이 사진인 경우를 도시하고, 도 5(d),(e),(f)는 UI에 포함된 영상이 동영상인 경우를 도시한다.
이때, 전자 장치(200)는 음악의 음원 정보와 매칭되어 저장된 영상(이하에서는 설명의 편의를 위해 모멘트 영상이라고 한다)을 나타내는 UI의 일 영역에, 모멘트 영상임을 나타내는 인디케이터를 표시할 수 있다. 즉, 도 5(a)와 같이, 전자 장치(200)는 해당 UI(520)가 모멘트 모드로 촬영한 모멘트 사진에 관한 것임을 나타내는 인디케이터(510)를 UI(520)의 일 영역에 표시할 수 있다.
이때, 도 5(b)와 같이, 전자 장치(200)는 인디케이터(510)가 표시된 영역(530)을 선택하는 사용자 명령이 입력되면, UI(520)가 포함하고 있는 모멘트 영상을 재생할 수 있다. 즉, 모멘트 영상에 포함된 사진을 디스플레이(225)를 통해 재생하고, 모멘트 영상에 포함된 음악을 스피커(290)를 통해 출력할 수 있다. 한편, 도 5(c)와 같이, 전자 장치(200)는 인디케이터(510)가 표시되지 않은 영역(540)을 선택하는 사용자 명령이 입력되면, UI(520)가 포함하고 있는 모멘트 영상의 사진을 재생할 수 있다. 즉, 전자 장치(200)는 모멘트 영상에 포함된 음악을 제외하고, 모멘트 영상에 포함된 사진만을 재생하여 사용자에게 음악 없이 사진만을 제공할 수 있다.
마찬가지로 도 5(d)에서 전자 장치(200)는 UI(550)가 포함하고 있는 영상이 모멘트 영상임을 나타내는 인디케이터(510)를 표시할 수 있다. 도 5(e)와 같이, 전자 장치(200)는 인디케이터(510)가 표시된 영역(560)을 선택하는 사용자의 명령이 입력되면, UI(550)에 포함된 모멘트 영상의 동영상을 디스플레이(225)에 재생하고, UI(550)에 포함된 모멘트 영상의 음악을 스피커(290)를 통해 출력할 수 있다. 또한, 도 5(f)와 같이, 인디케이터(510)가 표시되지 않은 영역(570)을 선택하는 사용자의 명령이 입력되면, 전자 장치(200)는 UI(550)에 포함된 모멘트 영상의 동영상만을 출력할 수 있다.
한편, 전자 장치(200)는 도 (b) 및 도 (e)를 통해, 모멘트 영상을 재생하는 중, 사용자의 인터렉션에 따라 음악 출력을 중단하고 영상만을 재생할 수 있다. 마찬가지로 전자 장치(200)는 도 (c) 및 도 (f)를 통해, 영상만을 재생하는 중, 사용자 인터렉션에 따라 음악을 함께 출력하여 재생할 수 있다. 예를 들어, 전자 장치(200)는 사용자가 영상을 재생하고 있는 디스플레이(225)를 두 번 탭하는 사용자 인터렉션에 따라 음악의 재생 여부를 결정할 수 있다. 상술한 사용자 인터렉션은 이에 한정되지 않으며, 사용자의 음성을 통한 것일 수 있고, 사용자의 모션을 통한 것일 수있다.
한편, 전자 장치(200)는 모멘트 영상을 재생할 때, 사용자 인터렉션에 따라 모멘트 영상을 촬영할 시점에 재생되고 있던 음악의 특정 부분부터 재생할 수 있다. 구체적으로, 전자 장치(200)는 메모리(210)에 저장된 음악의 특정 부분에 대한 파형에 대한 음원 정보를 바탕으로, 음악의 FULL 버전이 아닌 특정 부분부터 재생할 수 있다.
상술한 실시 예에 따라, 사용자는 해당 사진을 촬영할 당시의 음악을 들으며, 당시의 추억을 회상할 수 있는 효과가 있으며, 사용자는 촬영 당시의 음악을 나중에 다시 검색하여야 하는 노력을 절감할 수 있다.
또한, 전자 장치(200)는 본 실시 예를 통해 사용자가 모멘트 영상을 온전히 감상하는 방법 및 모멘트 영상에 포함된 영상만을 감상하는 방법을 선택할 수 있도록 하여 사용자 경험을 증진 시키는 효과가 있다.
한편, 전자 장치(200)는 촬영된 영상을 기준으로 모멘트 영상을 선택하는 갤러리 어플리케이션 외에도, 매칭된 음악을 기준으로 모멘트 영상을 선택하는 음악 어플리케이션을 제공할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 음악 어플리케이션에서 영상과 매칭된 음악을 재생하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 전자 장치(200)는 음악 어플리케이션(610)을 실행한 상태이다. 본 도면에서는 음악 어플리케이션(610)의 이름이 Moments인 경우를 예로 들어 도시하였다. 다만, Moments는 예시에 불과하며, 음악 어플리케이션은 다양한 이름이 될 수 있다.
도 6(a)에 따르면, 음악 어플리케이션(610)이 실행되면, 전자 장치(200)는 모멘트 영상을 포함하는 UI(630)와 UI 리스트(620)를 디스플레이(225)에 표시할 수 있다. 사용자는 UI 리스트(620)에 포함된 복수의 UI(630) 중 하나를 선택하여 해당 UI와 대응되는 모멘트 영상을 재생할 수 있다.
도 6(b)는 UI 리스트(620) 중에서 제1 UI(630)가 사용자에 의해 선택되어 디스플레이(225)에 표시되어 있는 것을 도시한다. 도 6(b)에 의하면, 전자 장치(200)는 선택된 제1 UI(630)가 포함하는 모멘트 영상에 대하여 재생할 것인지(Play now), 즐겨 찾기에 추가할 것인지(Add to queue), 수정할 것인지(Edit)에 대하여 선택할 수 있는 팝업창을 표시할 수 있다.
전자 장치(200)는 Play now를 표시하는 UI를 선택하는 사용자 명령이 입력되면, 모멘트 영상을 재생할 수 있다. 전자 장치(200)는 Add to queue 를 표시하는 UI를 선택하는 사용자 명령이 입력되면, 해당하는 모멘트 영상을 즐겨 찾기에 추가하여 사용자가 나중에 노력을 들이지 않고 모멘트 영상을 찾을 수 있도록 제공한다. 전자 장치(200)는 Edit 를 표시하는 UI를 선택하는 사용자 명령이 입력되면, 사용자 인터렉션에 따라 해당 모멘트 영상에 수동으로 입력한 정보를 수정하거나 입력받을 수도 있고, 모멘트 영상이 포함하는 영상에 대해 다양한 효과를 부여할 수 있다.
도 6(c)는 선택된 제1 UI(630)가 포함하는 모멘트 영상을 재생하도록 팝업창에서 재생(Play now) 항목을 선택한 것을 도시한 도면이다. 도 6(c)에 의하면, 전자 장치(200)는 제1 UI(630)가 포함하는 제1 음악의 음원 정보가 매칭되어 저장된 제1 영상(650)을 full 화면으로 디스플레이(225)에 표시할 수 있다. 이때, 전자 장치(200)는 제1 영상과 매칭된 제1 음악을 스피커(290)를 통해 재생할 수 있다.
한편, 제1 음악은 제1 영상(650) 외에 다른 영상과도 매칭된 음악일 수 있다. 예를 들면, 사용자는 연말 파티에서 제1 음악을 들으며 제1 영상(650)을 촬영하여 제1 모멘트 영상으로 저장하고, 연말 파티와 다른 생일 파티에서 제1 음악을 들으며 제2 영상(미도시)을 촬영하여 제2 모멘트 영상으로 저장한 것일 수 있다.
이 경우, 전자 장치(200)는 음악 어플리케이션(610)을 통해 제1 음악과 매칭된 제1 영상(650)을 디스플레이(225)에 재생하고, 이어서 전자 장치(200)는 제1 음악과 매칭된 제2 영상을 제1 영상(650)과 순차적으로 디스플레이(225)에 재생할 수 있다. 이때 전자 장치(200)는 제2 영상을 기 설정된 시간 간격으로 제1 영상(650)과 제2 영상을 표시할 수 있고, 제1 영상(650)과 제2 영상 간 화면 전환함에 있어서 페이드인-페이드아웃 시키며 표시할 수 있다.
한편, 전자 장치(200)는 사용자의 음성 명령을 통해 음악을 선택할 수 있다. 구체적으로, 사용자가 모멘트 영상 촬영 당시의 시점을 음성으로 입력하면, 전자 장치(200)는 메모리(210)에 저장된 음악에 대한 음원 정보를 바탕으로 해당 음악과 매칭되어 저장된 모멘트 영상을 재생할 수 있다. 예를 들면, "어제 저녁에 들었던 음악 재생"과 같은 음성을 입력하면, 전자 장치(200)는 메모리(210)에 저장된 음원 정보를 바탕으로 해당하는 음악을 스피커(290)를 통해 출력하고, 음악과 매칭되어 저장된 적어도 하나의 영상을 순차적으로 디스플레이(225)를 통해 재생할 수 있다.
또한, 사용자가 모멘트 영상을 촬영하고 수동으로 입력한 정보에 대한 특징을 음성으로 입력하면, 전자 장치(200)는 메모리(210)에 저장된 음악에 대한 음원 정보를 바탕으로 해당 음악과 매칭되어 저장된 모멘트 영상을 재생할 수 있다. 예를 들면, "딸 생일에 들었던 음악 재생" 또는 "한 달 전 파티에 들었던 음악 재생"과 같은 음성을 입력하면, 전자 장치(200)는 메모리(210)에 저장된 음원 정보를 바탕으로 해당하는 음악을 스피커(290)를 통해 출력하고, 음악과 매칭되어 저장된 적어도 하나의 영상을 순차적으로 디스플레이(225)를 통해 재생할 수 있다.
상술한 실시 예를 통해, 전자 장치(200)는 사용자에게 제1 음악을 들으며, 제1 음악과 매칭된 복수의 영상들을 촬영하던 때의 각각의 추억을 회상할 수 있는 사용자 경험을 제공할 수 있다.
도 7은 전자 장치가 영상의 얼굴을 인식하고 SNS 계정을 통해 음악의 음원 정보와 매칭되어 저장된 영상을 전송하는 실시 예를 도시한 도면이다.
도 7(a)를 참조하면, 전자 장치(200)는 디스플레이(225)에 인물이 포함된 모멘트 영상(700)을 디스플레이할 수 있다.
이때, 도 7(b)와 같이, 전자 장치(200)는 영상(700) 속의 인물의 얼굴을 인식하도록 영상 처리부(270)를 제어할 수 있고, 이에 따라 인식된 얼굴을 표시하는 인디케이터(710, 711)를 디스플레이(225)에 표시할 수 있다.
도 7(c)를 보면, 전자 장치(200)는 인디케이터(710,711)에 대응되는 인물의 이름을 표시하는 UI(720, 730)를 표시할 수 있다. 전자 장치(200)는 메모리(210)에 저장된 사용자의 지인의 얼굴 인식 정보를 바탕으로 대응되는 지인을 인식하고, 메모리(210)에 저장된 지인의 이름을 UI(720,730)를 통해 표시할 수 있다. 사용자가 지인의 이름에 대한 UI(720,730)를 선택하는 명령이 입력되면, 전자 장치(200)는 메모리(210)에 지인의 연락처와 연동된 SNS 계정을 바탕으로, 지인의 SNS로 음악에 대한 음원 정보를 매칭하여 저장된 영상인 모멘트 영상(700)을 전송하도록 통신부(260)를 제어할 수 있다. 사용자가 지인의 이름에 대한 UI(720,730)을 선택하는 명령은 스타일러스로 디스플레이(255)를 탭하는 것일 수 있고, 음성 입력을 통한 것일 수도 있다.
한편, 전자 장치(200)는 SNS를 통해 모멘트 영상(700)을 전송할 때, 음성이나 텍스트를 포함하는 메시지를 포함하여 전송할 수 있다.
한편, 전자 장치(200)는 모멘트 영상에 등장하는 인물에 대한 리스트(미도시)를 별도로 제공할 수 있다. 이 경우, 전자 장치(200)는 인물에 대한 리스트를 모멘트 영상에 포함되어 저장된 빈도 수를 기준으로 정렬할 수도 있고, 사용자가 원하는 인물을 기준으로 우선 순위를 부여하여 정렬할 수도 있다. 이때, 전자 장치(200)는 인물에 대한 리스트 중에 특정 인물을 선택하는 사용자 명령이 입력되면, 특정 인물이 등장하는 모멘트 영상을 순차적으로 재생할 수도 있다.
상술한 실시 예를 통하여, 전자 장치(200)는 사용자가 지인들과 함께한 순간에 재생되고 있던 음악과 당시의 영상을 노력을 들이지 않고 공유할 수 있는 사용자 경험을 제공할 수 있다.
도 8은 본 개시의 일 실시 예에 따른, 전자 장치가 촬영한 영상과 음악에 대한 음원 정보를 매칭하여 저장하는 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 전자 장치(200)는 사용자에 의해 영상을 촬영하기 위한 명령을 입력받으면(S810), 카메라(220)를 통해 영상을 촬영할 수 있다(S820).
전자 장치(200)는 전자 장치(200)가 위치하는 공간에서 재생되는 음악에 대한 음원 정보를 획득하고(S830), 촬영한 영상과 음악에 대한 음원 정보를 매칭하여 저장할 수 있다(S840).
도 8에서 설명한 전자 장치(200)가 음원 정보를 획득하는 방법에 대하여 도 9를 통해 더 자세히 설명하도록 한다.
도 9는 본 개시의 일 실시 예에 따른, 전자 장치가 다양한 상황에서 음악에 대한 음원 정보를 획득하는 방법을 설명하기 위한 흐름도이다.
전자 장치(200)는 사용자로부터 영상을 촬영하기 위한 명령을 입력 받으면(S910), 카메라(220)를 통해 영상을 촬영할 수 있다(S920). 이때, 전자 장치(200)는 모멘트 어플리케이션(모멘트 APP)을 통한 촬영 명령인지 여부를 결정하고(S930), 모멘트 어플리케이션을 통한 촬영 명령이 아닌 것으로 결정되면(S930-N), 촬영된 영상을 메모리에 저장할 수 있다(S940).
한편, 전자 장치(200)는 영상 촬영 명령이 모멘트 어플리케이션을 통한 촬영 명령인 것으로 결정하면(S930-Y), 전자 장치가 위치하는 공간에서 음악이 재생되고 있는지 여부에 대해 결정할 수 있다(S931). 이때, 전자 장치가 위치하는 공간에서 음악이 재생되고 있지 않은 것으로 결정되면(S931-N), 전자 장치(200)는 촬영된 영상을 메모리(210)에 저장할 수 있다(S940).
한편, 전자 장치가 위치하는 공간에서 음악이 재생되고 있는 것으로 결정되면(S931-Y), 전자 장치(200)는 재생되고 있는 음악이 전자 장치(200) 및 전자 장치(200)와 페어링 되어 연결된 외부 장치(300)를 통해 재생되는 음악으로 결정하면(S932-Y), 전자 장치(200)는 재생하고 있는 음악에 대한 태그 정보를 바탕으로 음악에 대한 음원 정보를 획득할 수 있다(S933). 전자 장치(200)는 획득한 음악에 대한 음원 정보를 촬영된 영상과 매칭하여 메모리(210)에 저장할 수 있다(S940).
한편, 전자 장치(200)가 위치하는 공간에서 재생되고 있는 음악이 전자 장치(200) 및 전자 장치(200)와 페어링 된 외부 장치(300)에서 재생되는 음악이 아닌 것으로 결정한 경우(S932-N), 전자 장치(200)는 재생되는 음악이 전자 장치(200)와 페어링 되어 있지는 않지만, 상호 연결되어 있는 외부 장치(300)에서 재생되는 음악인지를 결정할 수 있다(S935). 전자 장치(200)는 상호 연결되어 있는 외부 장치(300)에서 재생되는 음악으로 결정하면(S935-Y), 외부 장치(300)로 음악에 대한 음원 정보를 요청하여 음원 정보를 획득할 수 있다(S936). 이후 전자 장치(200)는 획득한 음원 정보를 촬영된 영상과 매칭하고(S934), 메모리(210)에 저장할 수 있다(S940).
한편, 전자 장치(200)는 재생되는 음악이 전자 장치(200)와 연결되어 있지 않은 외부 장치(300)를 통해 재생되는 것으로 결정한 경우(S935-N), 전자 장치(200)는 음악을 녹음하여 외부 서버(100)로 전송할 수 있다(S937). 이후 전자 장치(200)는 음원 정보를 외부 서버(100)로부터 획득하고(S938), 촬영된 영상과 획득한 음원 정보를 매칭하여(S934) 메모리(210)에 저장할 수 있다.
상기에서 설명된 다양한 실시 예에 따른 장치 또는 방법은, 예컨대, 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 유지되는(maintain) 프로그램들 중 적어도 하나의 프로그램에 포함된 명령어(instructions)를 실행하는 적어도 하나의 컴퓨터(예: 프로세서)에 의하여 수행될 수 있다.
상기 명령어가 컴퓨터(예: 프로세서)에 의해 실행될 경우, 상기 적어도 하나의 컴퓨터는 상기 명령어에 해당하는 기능을 수행할 수 있다. 이때, 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리(210)가 될 수 있다.
프로그램은, 예로, 하드디스크, 플로피디스크, 마그네틱 매체 (magnetic media)(예: 자기테이프), 광기록 매체 (optical media)(예: CD-ROM (compact disc read only memory), DVD (digital versatile disc), 자기-광 매체 (magneto-optical media)(예: 플롭티컬 디스크 (floptical disk)), 하드웨어 장치 (예: ROM (read only memory), RAM (random access memory), 또는 플래시 메모리 등) 등과 같은 컴퓨터로 읽을 수 저장 매체에 포함될 수 있다. 이 경우, 저장 매체는 일반적으로 전자 장치(200)의 구성의 일부로 포함되나, 전자 장치(200)의 포트(port)를 통하여 장착될 수도 있으며, 또는 전자 장치(200)의 외부에 위치한 외부 장치(예로, 클라우드, 서버 또는 다른 전자 기기)에 포함될 수도 있다. 또한, 프로그램은 복수의 저장 매체에 나누어 저장될 수도 있으며, 이때, 복수의 저장 매체의 적어도 일부는 전자 장치(200)의 외부 장치에 위치할 수도 있다.
명령어는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (15)

  1. 전자 장치의 제어 방법에 있어서,
    사용자로부터 촬영 명령이 입력되면, 영상을 촬영하는 단계;
    상기 영상이 촬영되는 동안 상기 전자 장치가 위치하는 공간에서 재생되는 음악에 대한 음원 정보를 획득하는 단계; 및
    상기 촬영된 영상에 상기 음악에 대한 음원 정보를 매칭하여 저장하는 단계;
    를 포함하는 제어 방법.
  2. 제 1항에 있어서,
    상기 획득하는 단계는,
    상기 음악이 상기 전자 장치에서 재생되는 음악인 경우, 상기 저장된 음악의 태그 정보를 바탕으로 상기 음악에 대한 음원 정보를 획득하는 제어 방법.
  3. 제 1항에 있어서,
    상기 획득하는 단계는,
    상기 음악이 상기 전자 장치와 연결된 외부 장치에서 재생되는 음악인 경우, 상기 외부 장치로 상기 음악에 대한 음원 정보를 요청하는 단계;및
    상기 외부 장치로부터 상기 음악에 대한 음원 정보를 수신하는 단계;를 포함하는 제어 방법.
  4. 제 1항에 있어서,
    상기 획득하는 단계는,
    상기 음악이 상기 전자 장치와 연결되지 않은 외부 장치에서 재생되는 음악인 경우, 상기 재생되는 음악을 녹음하여 외부 서버로 전송하는 단계;
    상기 외부 서버가 음원 인식 기술을 통해 상기 음악에 대한 음원 정보를 획득한 경우, 상기 외부 서버로부터 상기 음악에 대한 음원 정보를 수신하는 단계;를 포함하는 제어 방법.
  5. 제 1항에 있어서,
    갤러리 어플리케이션을 실행하기 위한 사용자 명령이 입력되면, 상기 갤러리 어플리케이션을 실행하고, 상기 음악에 대한 음원 정보가 매칭되어 저장된 영상을 포함하는 UI를 표시하는 단계;를 포함하는 제어 방법.
  6. 제 5항에 있어서,
    상기 음원 정보가 매칭되어 저장된 영상을 포함하는 UI의 일 영역에 상기 음원 정보가 매칭되어 저장되어 있음을 안내하기 위한 인디케이터를 표시하는 단계;를 포함하는 제어 방법.
  7. 제 6항에 있어서,
    상기 UI를 표시하고 있는 동안, 상기 인디케이터가 표시된 영역을 선택하는 사용자 명령이 입력되면, 상기 UI가 포함하는 영상을 표시하고 상기 영상과 매칭되어 저장된 음악에 대한 음원 정보를 바탕으로 상기 음악을 함께 재생하고,
    상기 UI를 표시하고 있는 동안, 상기 인디케이터가 표시되지 않은 영역을 선택하는 사용자 명령이 입력되면, 상기 UI가 포함하는 영상을 표시하는 단계;를 포함하는 제어 방법.
  8. 제 1항에 있어서,
    음악 어플리케이션을 실행하기 위한 사용자 명령이 입력되면, 상기 음악 어플리케이션을 실행하고, 상기 음악에 대한 음원 정보가 매칭되어 저장된 영상을 포함하는 UI를 표시하는 단계;를 포함하는 제어 방법.
  9. 제 8항에 있어서,
    상기 UI를 상기 음악에 대한 음원 정보를 바탕으로 UI 리스트를 표시하는 단계;
    상기 UI 리스트 중 제1 음악의 음원 정보가 매칭되어 저장된 제1 영상을 포함하는 제1 UI를 선택하는 사용자 명령이 입력되면, 상기 제1 음악을 재생하고 상기 제1 영상을 표시하는 단계;및
    상기 제1 음악의 음원 정보가 매칭되어 저장된 제2 영상을 포함하는 제2 UI의 제2 영상을 상기 제1 영상과 순차적으로 재생하는 단계;를 포함하는 제어 방법.
  10. 제 1항에 있어서,
    상기 영상에 포함된 인물의 얼굴을 인식하는 단계;
    상기 인식된 얼굴을 이용하여 SNS 계정 정보를 획득하는 단계;
    상기 SNS 계정으로 상기 음악에 대한 음원 정보를 매칭하여 저장된 영상을 전송하는 단계;를 포함하는 제어 방법.
  11. 전자 장치에 있어서,
    카메라;
    메모리;
    사용자로부터 촬영 명령이 입력되면 영상을 촬영하도록 상기 카메라를 제어하고, 상기 영상이 촬영되는 동안 상기 전자 장치가 위치하는 공간에서 재생되는 음악에 대한 음원 정보를 획득하고, 상기 촬영된 영상에 상기 음악에 대한 음원 정보를 매칭하여 상기 메모리에 저장하는 프로세서;를 포함하는 전자 장치.
  12. 제 11항에 있어서,
    상기 프로세서는,
    상기 음악이 상기 전자 장치에서 재생되는 음악인 경우, 상기 메모리에 저장된 음악의 태그 정보를 바탕으로 상기 음악에 대한 음원 정보를 획득하는 전자 장치.
  13. 제 11항에 있어서,
    통신부;를 포함하고,
    상기 프로세서는,
    상기 음악이 상기 통신부를 통해 상기 전자 장치와 연결된 외부 장치에서 재생되는 음악인 경우, 상기 외부 장치로 상기 음악에 대한 음원 정보를 요청하고, 상기 외부 장치로부터 상기 음악에 대한 음원 정보를 수신하도록 상기 통신부를 제어하는 전자 장치.
  14. 제 11항에 있어서,
    마이크;를 포함하고,
    상기 프로세서는,
    상기 음악이 상기 전자 장치와 연결되지 않은 외부 장치에서 재생되는 음악인 경우, 상기 재생되는 음악을 녹음하도록 상기 마이크를 제어하고,
    상기 녹음된 음악을 외부 서버로 전송하고 상기 외부 서버가 음원 인식 기술을 통해 상기 음악에 대한 음원 정보를 획득한 경우, 상기 외부 서버로부터 상기 음악에 대한 음원 정보를 수신하도록 상기 통신부를 제어하는 전자 장치.
  15. 제 11항에 있어서,
    디스플레이;를 포함하고,
    상기 프로세서는,
    갤러리 어플리케이션을 실행하기 위한 사용자 명령이 입력되면 상기 갤러리 어플리케이션을 실행하고, 상기 음악에 대한 음원 정보가 매칭되어 저장된 영상을 포함하는 UI를 표시하도록 상기 디스플레이를 제어하는 전자 장치.
PCT/KR2018/015515 2017-12-29 2018-12-07 사진촬영에 음악을 링크하는 전자 장치 및 이의 제어 방법 WO2019132306A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112018006727.0T DE112018006727B4 (de) 2017-12-29 2018-12-07 Elektronische vorrichtung zur verbindung von musik mit fotografie und steuerungsverfahren dafür
CN201880083517.8A CN111527746B (zh) 2017-12-29 2018-12-07 一种控制电子设备的方法及电子设备
US16/766,547 US11445144B2 (en) 2017-12-29 2018-12-07 Electronic device for linking music to photography, and control method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0184432 2017-12-29
KR1020170184432A KR20190081701A (ko) 2017-12-29 2017-12-29 사진촬영에 음악을 링크하는 전자 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
WO2019132306A1 true WO2019132306A1 (ko) 2019-07-04

Family

ID=67067754

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/015515 WO2019132306A1 (ko) 2017-12-29 2018-12-07 사진촬영에 음악을 링크하는 전자 장치 및 이의 제어 방법

Country Status (5)

Country Link
US (1) US11445144B2 (ko)
KR (1) KR20190081701A (ko)
CN (1) CN111527746B (ko)
DE (1) DE112018006727B4 (ko)
WO (1) WO2019132306A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10872115B2 (en) * 2018-03-19 2020-12-22 Motorola Mobility Llc Automatically associating an image with an audio track
WO2019205170A1 (zh) * 2018-04-28 2019-10-31 华为技术有限公司 一种拍照方法和终端设备
KR102579452B1 (ko) * 2018-09-05 2023-09-15 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR102493886B1 (ko) * 2021-03-24 2023-01-30 이병두 사진 촬영시의 분위기 정보를 저장하는 방법 및 그 재생 방법
JP7470726B2 (ja) * 2022-03-17 2024-04-18 本田技研工業株式会社 画像処理装置、及び、画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005050315A (ja) * 2004-06-28 2005-02-24 Nec Saitama Ltd 携帯端末
KR20110036438A (ko) * 2009-10-01 2011-04-07 에스케이텔레콤 주식회사 휴대단말 및 그의 주변 환경 인지를 통한 사용 환경 설정 방법
KR20150056160A (ko) * 2013-11-15 2015-05-26 엘지전자 주식회사 음성 태깅 사진 서비스를 위한 단말기
JP6038256B2 (ja) * 2015-10-05 2016-12-07 オリンパス株式会社 画像検索システムおよび画像検索方法
KR20170024866A (ko) * 2015-08-26 2017-03-08 전자부품연구원 이벤트 영상 자동 생성 시스템

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3053614B2 (ja) 1998-06-17 2000-06-19 株式会社デジキューブ 音楽情報販売処理装置、音楽情報販売処理システム、音楽情報販売処理方法、および機械読み取り可能な記録媒体
JP2001292299A (ja) 2000-04-07 2001-10-19 Canon Inc 情報処理装置並びに画像音声処理装置並びに情報処理装置の制御方法並びに画像音声処理装置の制御方法および記憶媒体
JP2006109151A (ja) 2004-10-06 2006-04-20 Olympus Corp 画像記録装置及び電子アルバム作成システム
JP2009117973A (ja) 2007-11-02 2009-05-28 Fujifilm Corp 再生装置および再生方法
KR20110097151A (ko) 2010-02-24 2011-08-31 엘지전자 주식회사 정보 제공 장치 및 그 방법
KR101777354B1 (ko) 2011-06-20 2017-09-11 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 상기 방법을 수행하기 위한 컴퓨터 판독가능 저장매체
US8942994B2 (en) 2012-02-09 2015-01-27 Aic Innovations Group, Inc. Method and apparatus for encouraging consumption of a product
US9020833B2 (en) * 2011-08-23 2015-04-28 Aic Innovations Group, Inc. Method and apparatus for social network updates by activity recognition
KR101997444B1 (ko) 2012-11-08 2019-07-08 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
US20140161263A1 (en) 2012-12-10 2014-06-12 Microsoft Corporation Facilitating recognition of real-time content
KR102078136B1 (ko) 2013-01-07 2020-02-17 삼성전자주식회사 오디오 데이터를 가지는 이미지를 촬영하기 위한 장치 및 방법
KR20150121889A (ko) 2014-04-22 2015-10-30 에스케이플래닛 주식회사 재생 음악 관련 이미지 제공 장치 및 이를 이용한 방법
JP2015219717A (ja) 2014-05-16 2015-12-07 株式会社ニコン 電子機器及びプログラム
KR20170054868A (ko) 2015-11-10 2017-05-18 삼성전자주식회사 콘텐트를 제공하는 방법 및 이를 지원하는 전자 장치
CN105447150B (zh) 2015-11-26 2019-04-16 小米科技有限责任公司 基于面孔相册的音乐播放方法、装置和终端设备
TWI633499B (zh) * 2017-06-22 2018-08-21 宏碁股份有限公司 全景影像的顯示方法及其電子裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005050315A (ja) * 2004-06-28 2005-02-24 Nec Saitama Ltd 携帯端末
KR20110036438A (ko) * 2009-10-01 2011-04-07 에스케이텔레콤 주식회사 휴대단말 및 그의 주변 환경 인지를 통한 사용 환경 설정 방법
KR20150056160A (ko) * 2013-11-15 2015-05-26 엘지전자 주식회사 음성 태깅 사진 서비스를 위한 단말기
KR20170024866A (ko) * 2015-08-26 2017-03-08 전자부품연구원 이벤트 영상 자동 생성 시스템
JP6038256B2 (ja) * 2015-10-05 2016-12-07 オリンパス株式会社 画像検索システムおよび画像検索方法

Also Published As

Publication number Publication date
CN111527746A (zh) 2020-08-11
US11445144B2 (en) 2022-09-13
DE112018006727B4 (de) 2024-07-04
CN111527746B (zh) 2023-02-24
US20200329211A1 (en) 2020-10-15
DE112018006727T5 (de) 2020-10-15
KR20190081701A (ko) 2019-07-09

Similar Documents

Publication Publication Date Title
WO2019132306A1 (ko) 사진촬영에 음악을 링크하는 전자 장치 및 이의 제어 방법
WO2017142278A1 (en) Apparatus and method for providing dynamic panorama function
EP3817395A1 (en) Video recording method and apparatus, device, and readable storage medium
EP3079082B1 (en) Method and apparatus for album display
WO2021203996A1 (zh) 视频的处理方法、装置、电子设备及非暂时性计算机可读存储介质
WO2019093744A1 (en) Display apparatus and control method thereof
WO2017209560A1 (ko) 화면 출력 방법 및 이를 지원하는 전자 장치
WO2016028042A1 (en) Method of providing visual sound image and electronic device implementing the same
WO2014168389A1 (en) Objects in screen images
WO2016036143A1 (ko) 전자 장치의 멀티미디어 데이터 처리 방법 및 그 전자 장치
JP2018500611A (ja) 画像の処理方法及び装置
WO2015126060A1 (ko) 이미지를 처리하기 위한 전자 장치 및 방법
WO2014107025A1 (en) Method and apparatus for controlling contents in electronic device
EP3092572A1 (en) Method and apparatus for screen sharing
WO2017116052A1 (ko) 컨텐트 인식 장치 및 그 동작 방법
WO2015014140A1 (zh) 录音方法、播放方法、装置、终端及系统
RU2663709C2 (ru) Способ и устройство для обработки информации
WO2022042769A2 (zh) 多屏交互的系统、方法、装置和介质
CN103927165A (zh) 一种壁纸图片的处理方法及装置
WO2015147437A1 (ko) 모바일 서비스 시스템, 그 시스템에서의 위치 기반 앨범 생성 방법 및 장치
WO2018131852A1 (ko) 영상 통화를 수행하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록매체
WO2020116960A1 (en) Electronic device for generating video comprising character and method thereof
WO2018056587A1 (en) Electronic apparatus and controlling method thereof
JP2023544561A (ja) メッセージ表示方法及び電子デバイス
WO2018124692A1 (ko) 전자 장치 및 전자 장치 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18895727

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18895727

Country of ref document: EP

Kind code of ref document: A1