KR20220113647A - 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법 - Google Patents

전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법 Download PDF

Info

Publication number
KR20220113647A
KR20220113647A KR1020220093526A KR20220093526A KR20220113647A KR 20220113647 A KR20220113647 A KR 20220113647A KR 1020220093526 A KR1020220093526 A KR 1020220093526A KR 20220093526 A KR20220093526 A KR 20220093526A KR 20220113647 A KR20220113647 A KR 20220113647A
Authority
KR
South Korea
Prior art keywords
information
music content
visualization effect
visualization
electronic device
Prior art date
Application number
KR1020220093526A
Other languages
English (en)
Other versions
KR102575013B1 (ko
Inventor
진장호
김명재
박지훈
유영준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020220093526A priority Critical patent/KR102575013B1/ko
Publication of KR20220113647A publication Critical patent/KR20220113647A/ko
Priority to KR1020230115700A priority patent/KR20230132744A/ko
Application granted granted Critical
Publication of KR102575013B1 publication Critical patent/KR102575013B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B33/00—Constructional parts, details or accessories not provided for in the other groups of this subclass
    • G11B33/10—Indicating arrangements; Warning arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/16—Storage of analogue signals in digital stores using an arrangement comprising analogue/digital [A/D] converters, digital memories and digital/analogue [D/A] converters 
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J17/00—Apparatus for performing colour-music
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/081—Beat indicator, e.g. marks or flashing LEDs to indicate tempo or beat positions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/20—Controlling the colour of the light
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/12—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by detecting audible sound

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Electrophonic Musical Instruments (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

전자 장치의 제어 방법이 개시된다. 본 전자 장치의 제어 방법은, 음악 컨텐츠에 대한 재생 명령을 입력받는 단계, 음악 컨텐츠에 대한 오디오 특성 정보 및 음악 컨텐츠가 재생되는 환경에 대한 상황 정보를 판단하는 단계 및 오디오 특성 정보 및 상황 정보를 이용하여 음악 컨텐츠를 시각화하는 시각화 효과를 디스플레이하고, 음악 컨텐츠를 재생하는 단계를 포함한다.

Description

전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법{ELECTRONIC DEVICE AND MUSIC VISUALIZATION METHOD THEREOF}
본 발명은 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법에 관한 것으로, 보다 상세하게는, 음악 컨텐츠를 시각화하는 시각화 효과를 디스플레이하는 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법에 관한 것이다.
최근, 음악을 청취함에 있어 청취자는 청각적인 즐거움뿐만 아니라 음악의 특성을 반영한 시각적인 즐거움을 찾게 되었고, 이러한 요구를 충족시키기 위해 종래 음악 재생 장치는 음악 특성에 맞는 시각 효과를 제공하여 음악 청취에 재미 요소를 제공하고 있다.
예를 들어, 종래 음악 재생 장치는 음원 데이터의 시간 또는 주파수 영역에서의 신호처리를 통해 비트(beat), 템포(tempo), 온셋(onset) 등의 특성을 추출하고, 추출된 특성을 이용하여 음악 재생시 강한 비트에 맞춰 LED를 점멸하거나 애니메이션의 움직임을 변화시키는 등의 시각 효과를 제공한다.
그러나, 이와 같은 음악 재생 장치의 시각 효과는 음악 자체의 특성만을 이용하기 때문에 동일한 곡 또는 동일한 분위기의 곡을 청취할 경우 언제나 동일하거나 매우 유사한 시각적 효과를 제공하게 되며, 시각 효과 자체도 색상이나 움직임이 단조롭기 십상이다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 음악 컨텐츠를 시각화하는 시각화 효과에 음악 컨텐츠가 재생되는 환경을 반영하는 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치의 음악 컨텐츠 시각화 방법은 음악 컨텐츠에 대한 재생 명령을 입력받는 단계, 상기 음악 컨텐츠에 대한 오디오 특성 정보 및 상기 음악 컨텐츠가 재생되는 환경에 대한 상황 정보를 판단하는 단계 및 상기 오디오 특성 정보 및 상기 상황 정보를 이용하여 상기 음악 컨텐츠를 시각화하는 시각화 효과를 디스플레이하고, 상기 음악 컨텐츠를 재생하는 단계를 포함한다.
또한, 상기 재생하는 단계는, 상기 오디오 특성 정보에 대응되는 시각화 효과를 판단하는 단계, 상기 상황 정보에 기초하여 상기 판단된 시각화 효과를 변경하는 단계 및 상기 변경된 시각화 효과를 상기 음악 컨텐츠를 시각화하는 시각화 효과로 디스플레이하는 단계를 포함할 수 있다.
또한, 상기 오디오 특성 정보에 대응되는 시각화 효과는, 특정 주제의 기본 이미지가 상기 오디오 특성 정보에 따라 변화하는 이미지 효과이고, 상기 변경하는 단계는, 상기 상황 정보에 기초하여 상기 오디오 특성 정보에 대응되는 시각화 효과의 기본 이미지, 배경, 색상, 명도, 채도, 변화 속도 및 변화 범위 중 적어도 하나를 변경할 수 있다.
또한, 상기 오디오 특성 정보에 대응되는 시각화 효과는, 적어도 하나의 LED(Light Emitting Diode) 램프의 발광이 상기 오디오 특성 정보에 따라 변화하는 시각적 효과이고, 상기 변경하는 단계는, 상기 상황 정보에 기초하여 상기 오디오 특성 정보에 대응되는 시각화 효과의 색상, 명도, 채도, 대비, 변화 속도 및 변화 범위 중 적어도 하나를 변경할 수 있다.
또한, 상기 오디오 특성 정보는, 상기 음악 컨텐츠의 비트 정보, 무드 정보 및 하이라이트 정보 중 적어도 하나를 포함하고, 상기 상황 정보는, 날씨 정보, 날짜 정보, 시간 정보, 상기 전자 장치 주변의 밝기 정보 및 재생 리스트 속성 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 오디오 특성 정보만을 이용하는 단순 시각화 모드와 상기 오디오 특성 정보 및 상기 상황 정보를 이용하는 스마트 시각화 모드 중 하나를 선택하는 모드 선택 UI를 디스플레이하는 단계를 더 포함하고, 상기 모드 선택 UI 상에서, 상기 단순 시각화 모드가 선택되면, 상기 오디오 특성 정보만을 이용하여 상기 음악 컨텐츠를 시각화하는 시각화 효과를 디스플레하고, 상기 스마트 시각화 모드가 선택되면, 상기 오디오 특성 정보 및 상기 상황 정보를 이용하여 상기 음악 컨텐츠를 시각화하는 시각화 효과를 디스플레이할 수 있다.
또한, 상기 오디오 특성 정보에 대응되는 시각화 효과를 설정하는 단순 시각화 설정 UI를 통해 설정된 시각화 효과를 상기 오디오 특성 정보에 대응되는 시각화 효과로 판단하는 단계 및 상기 오디오 특성 정보에 대응되는 시각화 효과를 변경하기 위해 이용되는 상황 정보를 선택하는 스마트 시각화 설정 UI를 통해 선택된 상황 정보를 이용하여 상기 오디오 특성 정보에 대응되는 시각화 효과를 변경하는 단계를 포함할 수 있다.
또한, 상기 단순 시각화 설정 UI를 통해 설정된 시각화 효과에 관한 정보 및 상기 스마트 시각화 설정 UI를 통해 선택된 상기 상황 정보에 관한 정보를 외부 장치로부터 수신하는 단계;를 더 포함할 수 있다.
또한, 제 2 항에 있어서, 상기 상황 정보를 판단하는 단계는, 상기 음악 컨텐츠가 재생되는 동안 상기 상황 정보를 실시간으로 판단하고, 상기 시각화 효과를 변경하는 단계는, 상기 실시간으로 판단된 상황 정보를 반영하여 상기 오디오 특성 정보에 대응되는 시각화 효과를 변경할 수 있다.
또한, 상기 상황 정보를 판단하는 단계는, 상기 재생 명령이 입력된 시점의 상황 정보를 판단하고, 상기 시각화 효과를 변경하는 단계는, 상기 상황 정보에 따른 시각화 효과 변경 방법이 매칭된 기저장된 테이블에서 상기 재생 명령이 입력된 시점의 상황 정보에 대응되는 시각화 효과 변경 방법을 선택하여 상기 판단된 시각화 효과에 적용할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치는, 사용자 명령을 입력받는 입력부, 음악 컨텐츠를 재생하는 오디오 출력부, 상기 음악 컨텐츠를 시각화 하는 시각화 효과를 표시하는 시각화 효과 표시부; 및　상기 입력부를 통해 상기 음악 컨텐츠에 대한 재생 명령이 입력되면, 상기 음악 컨텐츠에 대한 오디오 특성 정보 및 상기 음악 컨텐츠가 재생되는 환경에 대한 상황 정보를 판단하고, 상기 오디오 특성 정보 및 상기 상황 정보를 이용하여 상기 음악 컨텐츠를 시각화하는 시각화 효과를 표시하도록 상기 시각화 효과 표시부를 제어하고, 상기 음악 컨텐츠를 재생하도록 상기 오디오 출력부를 제어하는 프로세서를 포함한다.
또한, 상기 프로세서는, 상기 오디오 특성 정보에 대응되는 시각화 효과를 판단하고, 상기 상황 정보에 기초하여 상기 판단된 시각화 효과를 변경하며, 상기 변경된 시각화 효과를 상기 음악 컨텐츠를 시각화하는 시각화 효과로 표시하도록 상기 시각화 표시부를 제어할 수 있다.
또한, 상기 시각화 표시부는, 디스플레이를 포함하며, 상기 오디오 특성 정보에 대응되는 시각화 효과는, 특정 주제의 기본 이미지가 상기 오디오 특성 정보에 따라 변화하는 이미지 효과이고, 상기 프로세서는, 상기 상황 정보에 기초하여 상기 오디오 특성 정보에 대응되는 이미지 효과의 기본 이미지, 배경, 색상, 명도, 채도, 변화 속도 및 변화 범위 중 적어도 하나를 변경할 수 있다.
또한, 상기 시각화 표시부는, 적어도 하나의 LED(Light Emitting Diode) 램프를 포함하며, 상기 오디오 특성 정보에 대응되는 시각화 효과는, 상기 적어도 하나의 LED램프의 발광이 상기 오디오 특성 정보에 따라 변화하는 시각적 효과이고, 상기 프로세서는, 상기 상황 정보에 기초하여 상기 오디오 특성 정보에 대응되는 시각화 효과의 색상, 명도, 채도, 대비, 변화 속도 및 변화 범위 중 적어도 하나를 변경할 수 있다.
또한, 상기 오디오 특성 정보는, 상기 음악 컨텐츠의 비트 정보, 무드 정보 및 하이라이트 정보 중 적어도 하나를 포함하고, 상기 상황 정보는, 날씨 정보, 날짜 정보, 시간 정보, 상기 전자 장치 주변의 밝기 정보 및 재생 리스트 속성 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 프로세서는, 상기 오디오 특성 정보만을 이용하는 단순 시각화 모드와 상기 오디오 특성 정보 및 상기 상황 정보를 이용하는 스마트 시각화 모드 중 상기 단순 시각화 모드에서는 상기 오디오 특성 정보만을 이용하여 상기 음악 컨텐츠를 시각화하는 시각화 효과를 표시하고, 상기 스마트 시각화 모드에서는 상기 오디오 특성 정보 및 상기 상황 정보를 이용하여 상기 음악 컨텐츠를 시각화하는 시각화 효과를 표시하도록 상기 시각화 표시부를 제어할 수 있다.
또한, 상기 프로세서는, 상기 오디오 특성 정보에 대응되는 시각화 효과를 설정하는 단순 시각화 설정 UI를 통해 설정된 시각화 효과를 상기 오디오 특성 정보에 대응되는 시각화 효과로 판단하고, 상기 오디오 특성 정보에 대응되는 시각화 효과를 변경하기 위해 이용되는 상황 정보를 선택하는 스마트 시각화 설정 UI를 통해 선택된 상황 정보를 이용하여 상기 오디오 특성 정보에 대응되는 시각화 효과를 변경할 수 있다.
또한, 외부 장치와 통신하는 통신부를 더 포함하고, 상기 프로세서는, 상기 외부 장치로부터 상기 단순 시각화 설정 UI를 통해 설정된 시각화 효과에 관한 정보 및 상기 스마트 시각화 설정 UI를 통해 선택된 상기 상황 정보에 관한 정보가 수신되면, 상기 수신된 정보를 이용하여 상기 음악 컨텐츠를 시각화하는 시각화 효과를 표시하도록 상기 시각화 표시부를 제어할 수 있다.
또한, 상기 프로세서는, 상기 음악 컨텐츠가 재생되는 동안 상기 상황 정보를 실시간으로 판단하고, 상기 실시간으로 판단된 상황 정보를 반영하여 상기 오디오 특성 정보에 대응되는 시각화 효과를 변경할 수 있다.
또한, 상기 프로세서는, 상기 재생 명령이 입력된 시점의 상황 정보를 판단하고, 상기 상황 정보에 따른 시각화 효과 변경 방법이 매칭된 기저장된 테이블에서 상기 재생 명령이 입력된 시점의 상황 정보에 대응되는 시각화 효과 변경 방법을 선택하여 상기 판단된 시각화 효과에 적용할 수 있다.
이상과 같은 본 발명의 다양한 실시 예들에 따르면, 음악 컨텐츠가 재생되는 환경에 따라 음악 컨텐츠를 시각화하는 시각화 효과가 변화될 수 있다. 이에 따라, 사용자는 동일한 음악 컨텐츠나 유사한 분위기의 음악 컨텐츠를 청취하는 경우에도 다양한 음악 컨텐츠 시각화 효과를 경험할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치의 구성의 상세 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 음악 컨텐츠를 시각화하는 시각화 효과를 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시 예에 따라 상황 정보에 따른 시각화 효과 변경 방법이 매칭된 테이블의 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 모드 선택 UI, 단순 시각화 설정 UI 및 스마트 시각화 설정 UI의 예시도이다.
도 6은 본 발명의 다른 일 실시 예에 따라 상황 정보가 음악 컨텐츠를 시각화하는 시각화 효과에 반영된 예시도이다.
도 7은 본 발명의 일 실시 예에 따른 전자 장치의 음악 컨텐츠 시각화 방법을 나타내는 흐름도이다.
도 8은 본 발명의 다른 일 실시 예에 따른 전자 장치의 음악 컨텐츠 시각화 방법을 나타내는 흐름도이다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하에서, "부"는 소프트웨어 구성 요소, 또는 FPGA, ASIC과 같은 하드웨어 구성요소를 지칭하고, 특정 기능을 수행한다. 그러나, "부"가 소프트웨어 또는 하드웨어에 한정되는 것은 아니다. "부"는 주소를 가진 저장매체로 구성될 수 있고, 하나 이상의 프로세서에 의해 실행되도록 구성될 수 있다. 따라서, "부"는 소프트웨어 요소, 객체 지향적 소프트웨어 요소, 클래스 요소 및 작업 요소와 같은 요소들을 포함하고, 기능, 속성, 과정, 서브 루틴, 프로그램 코드의 구간, 드라이버, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터 베이스, 테이블, 어레이 및 변수들을 처리한다. 요소 및 유닛에 의해 제공되는 기능들은 더 적은 수의 요소 및 유닛으로 결합될 수 있고, 더 많은 수의 요소 및 유닛들로 분할될 수 있다.
이하에서 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 상세히 설명한다. 도 1은 본 발명의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다. 도 1에 따르면, 전자 장치(100)는 입력부(110), 오디오 출력부(120), 시각화 표시부(130) 및 프로세서(140)를 포함한다.
입력부(110)는 전자 장치(100)를 조작하기 위한 사용자 명령을 입력받는 구성이다. 특히, 입력부(110)는 사용자의 음악 컨텐츠 재생 명령을 입력받을 수 있다. 또한, 입력부(110)는 후술할 바와 같이 디스플레이(130)에 디스플레이된 모드 선택 UI 상에서 모드를 선택하기 위한 사용자 명령을 입력받거나, 단순 시각화 설정 UI 또는 스마트 시각화 설정 UI 상에서 각종 설정을 하기 위한 사용자 명령을 입력받을 수 있다.
이를 위해, 입력부(110)는 전자 장치(100)에 구비된 버튼, 터치 패널(디스플레이(130)가 터치 스크린으로 구현된 경우) 또는 리모컨 신호 수신부(전자 장치(100)가 외부의 리모컨을 통해 제어되는 경우, 미도시) 등을 포함하여 구현될 수 있다.
오디오 출력부(120)는 오디오 신호를 출력한다. 특히, 오디오 출력부(120)는 프로세서(140)의 제어에 의해 음악 컨텐츠를 재생할 수 있다. 이를 위해, 오디오 출력부(120)는 스피커, 오디오 출력 단자 등을 포함하여 구현될 수 있다. 이때, 음악 컨텐츠는 USB, CD 플레이어, DVD 플레이어 등과 같은 외부 저장 장치나 전자 장치(100)의 저장부(미도시)에 저장된 음원 또는 CP(Contents Provider)가 운영하는 음원 서버로부터 제공되는 음원 등과 같이 다양한 소스로부터 획득된 것일 수 있다.
시각화 효과 표시부(130)는 음악 컨텐츠를 시각화하는 시각화 효과를 표시할 수 있다.
여기서, 음악 컨텐츠를 시각화하는 시각화 효과는 음악 컨텐츠에 대한 오디오 특성 및 음악 컨텐츠가 재생되는 환경에 대한 상황 정보 중 적어도 하나를 이용하여 프로세서(140)가 생성한 해당 음악 컨텐츠를 시각적으로 표현하는 효과를 의미한다.
이를 위해, 시각화 효과 표시부(130)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있으며, 터치 패널을 포함한 터치스크린 형태로 구현될 수도 있다.
이 경우, 시각화 효과 표시부(130)는 프로세서(140)의 제어에 의해 단순 시각화 모드 및 스마트 시각화 모드 중 하나를 선택할 수 있는 모드 선택 UI, 음악 컨텐츠에 대한 오디오 특성 정보에 대응되는 이미지 효과를 설정하는 단순 시각화 설정 UI 및 오디오 특성 정보에 대응되는 이미지 효과를 변경하기 위해 이용되는 상황 정보를 선택할 수 있는 스마트 시각화 설정 UI를 디스플레이할 수 있다.
여기서, 단순 시각화 모드는 음악 컨텐츠에 대한 오디오 특성만을 이용하여 음악 컨텐츠를 시각화하는 이미지 효과를 디스플레이하는 모드를 의미하고, 스마트 시각화 모드는 상기 오디오 특성과 음악 컨텐츠가 재생되는 환경에 대한 상황 정보를 함께 이용하여 음악 컨텐츠를 시각화하는 이미지 효과를 디스플레이하는 모드를 의미한다.
한편, 실시 예에 따라, 시각화 효과 표시부(130)는 적어도 하나의 LED(Light Emitting Diode) 램프로 구현될 수도 있다. 이때, 적어도 하나의 LED 램프는 오디오 출력부(120)의 주위에 배치될 수 있으나, 이에 한정되는 것은 아니다.
프로세서(140)는 전자 장치(100)의 전반적인 동작을 제어한다. 특히, 프로세서(140)는 입력부(110)를 통해 음악 컨텐츠에 대한 재생 명령이 입력되면, 음악 컨텐츠에 대한 오디오 특성 정보 및 음악 컨텐츠가 재생되는 환경에 대한 상황 정보를 판단할 수 있다.　
예를 들어, 프로세서(140)는 음악 컨텐츠에 대한 재생 명령이 입력되면, 재생 명령이 입력된 음악 컨텐츠를 확인하고, 기저장된 복수의 음악 컨텐츠에 대한 오디오 특성 정보 중 재생 명령이 입력된 음악 컨텐츠에 대한 오디오 특성 정보를 판단할 수 있다. 이때, 기저장된 복수의 음악 컨텐츠에 대한 오디오 특성 정보는 음악 컨텐츠에 대한 오디오 특성 정보를 제공하는 외부 장치(예를 들어, 서버)로부터 획득된 것일 수 있다.
또한, 실시 예에 따라, 프로세서(140)는 음악 컨텐츠에 대한 재생 명령이 입력되면, 해당 음악 컨텐츠를 분석하여 음악 컨텐츠에 대한 오디오 특성 정보를 판단할 수도 있다. 이 경우, 프로세서(140)는 음악 컨텐츠에 대한 오디오 특성 정보를 판단한 후 음악 컨텐츠를 재생할 수도 있고, 음악 컨텐츠를 재생하면서 실시간으로 오디오 특성 정보를 판단할 수도 있다.
또한, 본 발명의 다른 일 실시 예에 따르면, 프로세서(140)는 음악 컨텐츠에 대한 재생 명령이 입력되기 전이라도 미리 음악 컨텐츠를 분석하여 해당 음악 컨텐츠에 대한 오디오 특성 정보를 획득할 수 있으며, 이후, 사용자의 음악 컨텐츠에 대한 재생 명령이 입력되면, 재생 명령이 입력된 음악 컨텐츠에 대한 오디오 특성 정보를 판단할 수도 있다. 즉, 예를 들어, 적어도 하나의 음악 컨텐츠가 재생 리스트에 포함되어 있는 경우, 프로세서(140)는 재생 리스트에 포함된 적어도 하나의 음악 컨텐츠의 음원을 분석하여 각 음악 컨텐츠에 대한 오디오 특성 정보를 획득하여 저장하고, 이후, 특정 음악 컨텐츠에 대한 재생 명령이 입력되면, 프로세서(140)는 획득된 적어도 하나의 음악 컨텐츠에 대한 오디오 특성 정보 중 사용자의 재생 명령이 입력된 음악 컨텐츠에 대한 오디오 특성 정보를 판단할 수 있다.
이때, 음악 컨텐츠에 대한 오디오 특성 정보는 음악 컨텐츠의 비트 정보, 무드 정보, 및 하이라이트 정보 중 적어도 하나를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니며, 템포 정보, 온셋 정보 등과 같이 음악 컨텐츠를 시각화하여 디스플레이하는 데 이용될 수 있는 오디오 특성 정보라면 어느 것이든 이에 해당할 수 있다.
또한, 프로세서(140)는 음악 컨텐츠에 대한 재생 명령이 입력되면, 음악 컨텐츠가 재생되는 환경에 대한 상황 정보를 판단할 수 있다. 구체적으로, 프로세서(140)는 재생 명령이 입력되면, 재생 명령이 입력된 시점의 음악 컨텐츠 재생 환경에 대한 상황 정보를 판단할 수 있다. 또한, 실시 예에 따라, 프로세서(140)는 음악 컨텐츠가 재생되는 동안 상황 정보를 실시간으로 판단할 수도 있다.
이때, 음악 컨텐츠가 재생되는 환경에 대한 상황 정보는 날씨 정보, 날짜 정보, 시간 정보, 상기 전자 장치 주변의 밝기 정보 및 재생 리스트 속성 정보 중 적어도 하나를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니며, 실시 예에 따라, 전자 장치(100) 사용자의 컨디션 정보 등이 포함될 수도 있을 것이다.
구체적으로, 프로세서(140)는 서버나 모바일 기기 등과 같은 외부 장치로부터 또는 전자 장치(100)에 구비된 각종 센서(미도시) 및 시계(미도시) 등으로부터 상황 정보를 획득할 수 있다. 또한, 이와 같이 획득된 상황 정보를 저장 또는 업데이트할 수 있다. 이에 따라, 프로세서(140)는 음악 컨텐츠에 대한 재생 명령이 입력되면, 재생 명령이 입력된 시점을 특정하고, 전자 장치(100)에 저장 또는 업데이트된 상황 정보로부터 상기 특정된 시점의 상황 정보를 판단할 수 있다.
또한, 프로세서(140)는 외부 장치, 센서 및 시계 등으로부터 상황 정보를 실시간으로 획득할 수도 있다. 따라서, 프로세서(140)는 사용자의 재생 명령에 따라 음악 컨텐츠를 재생하는 시간 동안 실시간으로 상황 정보를 판단할 수도 있다.
한편, 프로세서(140)는 위와 같이 판단된 오디오 특성 정보 및 상황 정보를 이용하여 재생 명령이 입력된 음악 컨텐츠를 시각화하는 시각화 효과를 디스플레이하고, 해당 음악 컨텐츠를 재생할 수 있다. 이때, 음악 컨텐츠를 시각화하는 시각화 효과의 표시와 음악 컨텐츠의 재생은 동기화되어 동시에 수행될 수 있다.
구체적으로, 프로세서(140)는 음악 컨텐츠에 대한 오디오 특성 정보에 대응되는 시각화 효과를 판단하고, 판단된 시각화 효과를 상황 정보에 기초하여 변경한 후, 변경된 시각화 효과를 해당 음악 컨텐츠를 시각화하는 시각화 효과로 표시하도록 시각화 효과 표시부(130) 제어할 수 있다. 여기서, 오디오 특성 정보에 대응되는 시각화 효과는 시각화 효과 표시부(130)의 형태에 따라 특정 주제의 기본 이미지가 오디오 특성 정보에 따라 변화하는 이미지 효과일 수도 있고, 적어도 하나의 LED 램프의 발광이 오디오 특성 정보에 따라 변화하는 시각적 효과일 수도 있다.
예를 들어, 시각화 효과 표시부(130)가 디스플레이를 포함하는 경우, 막대 그래프 이미지가 특정 주제의 기본 이미지로 설정된 상태에서 음악 컨텐츠에 대한 재생 명령이 입력되면, 프로세서(140)는 해당 음악 컨텐츠에 대해 판단된 오디오 특성 정보를 막대 그래프에 반영한 이미지 효과를 오디오 특성 정보에 대응되는 시각화 효과로 판단할 수 있다.
보다 구체적으로, 프로세서(140)는 해당 음악 컨텐츠에 대응되는 음원의 주파수 대역별 에너지 레벨을 막대 그래프에 반영하여, 음원 재생시 시간에 따라 변화하는 주파수 대역별 에너지 레벨을 막대 그래프의 변화로 표현한 것을 해당 음악 컨텐츠에 대한 오디오 특성 정보에 대응되는 시각화 효과로 판단할 수 있다.
이에 따라, 프로세서(140)는 상기 판단된 이미지 효과를 상황 정보에 기초하여 변경할 수 있다. 구체적으로, 프로세서(140)는 오디오 특성 정보에 대응되는 시각화 효과로 판단된 이미지 효과의 기본 이미지, 배경, 색상, 명도, 채도, 변화의 속도 및 변화의 범위 중 적어도 하나를 상황 정보에 기초하여 변경할 수 있다.
구체적으로, 상술한 막대 그래프 이미지 효과의 예에서, 프로세서(140)는 예를 들어, 날씨 정보에 따라 막대 그래프 이미지 효과의 배경을 변경하거나, 시간 정보에 따라 막대 그래프의 길이 또는 색상의 변화 범위를 변경할 수 있다.
한편, 본 발명의 다른 일 실시 예에 따라 시각화 효과 표시부(130)가 적어도 하나의 LED 램프를 포함하는 경우, 음악 컨텐츠에 대한 재생 명령이 입력되면, 프로세서(140)는 해당 음악 컨텐츠에 대한 오디오 특성 정보에 대응되는 시각화 효과, 예를 들어, 적어도 하나의 LED의 발광을 해당 음악 컨텐츠의 비트 정보, 무드 정보 및 하이라이트 정보 중 적어도 하나의 정보에 따라 변화시키는 시각적 효과를 판단할 수 있다. 또한, 프로세서(140)는 상황 정보를 이용하여 판단된 시각적 효과의 색상, 명도, 채도, 대비, 변화 속도 및 변화 범위 중 적어도 하나를 변경할 수 있다.
예를 들어, 6개의 LED가 원형 스피커를 둘러싸고 있는 형태로 시각화 표시부가 구현된 경우, 음악 컨텐츠에 대한 재생 명령이 입력되면, 프로세서(140)는 해당 음악 컨텐츠에 대한 오디오 특성 정보에 따라 LED의 발광을 변화시키는 시각적 효과를 판단할 수 있다. 보다 구체적으로 예를 들어, 프로세서(140)는 해당 음악 컨텐츠의 무드 정보 및 비트 정보에 따라 붉은 색 LED를 비트에 맞춰 점멸하는 시각적 효과를 판단할 수 있다.
이에 따라, 프로세서(140)는 상기 판단된 시각적 효과를 상황 정보에 기초하여 변경할 수 있다. 구체적으로 예를 들어, 날씨 정보에 따라 LED의 색상이 파랑, 노랑, 녹색 사이에서 연속적으로 변화하도록 변경할 수도 있고, 전자 장치(100)의 주변 밝기 정보에 따라 색상의 명도나 채도를 변경할 수도 있으며, 시간 정보에 따라 색상의 변화 범위나 변화 속도를 변경할 수도 있을 것이다.
그러나, 음악 컨텐츠에 대한 오디오 특성 정보에 대응되는 시각화 효과나 상황 정보에 기초하여 오디오 특성 정보에 대응되는 시각화 효과를 변경하는 방법이 상술한 예에 한정되는 것이 아님은 물론이다.
한편, 본 발명의 다른 일 실시 예에 따르면, 프로세서(140)는 상황 정보에 따른 시각화 효과 변경 방법이 매칭된 테이블에서 재생 명령이 입력된 시점의 상황 정보에 대응되는 시각화 효과 변경 방법을 선택하고, 선택된 시각화 효과 변경 방법을 적용하여 오디오 특성 정보에 대응되는 시각화 효과를 변경할 수 있다.
도 4는 상황 정보에 따른 시각화 효과 변경 방법이 매칭된 테이블의 일 예이다. 도 4의 Preset 1(400-1) 내지 Preset N(400-N)은 날씨, 시간, 날짜, 밝기 리스트 속성과 같은 상황 정보의 조합에 따라 서로 다른 시각화 효과 변경 방법이 매칭된 테이블을 나타낸다.
따라서, 예를 들어, 음악 컨텐츠에 대한 재생 명령이 입력된 시점에, 날씨 정보가 흐림, 시간 정보가 저녁, 날짜 정보가 주말, 밝기 정보가 실외, 사용자에 의해 설정된 재생 리스트 속성이 무드 1인 것으로 판단된 경우, 프로세서(140)는 판단된 상황 정보에 대응되는 시각화 효과 변경 방법인 Preset 1(400-1)을 선택하고, Preset 1(400-1)에 설정된 시각화 효과 변경 방법을 적용하여 오디오 특성 정보에 대응되는 시각화 효과를 변경할 수 있다.
만일, 동일한 음악 컨텐츠에 대한 재생 명령이 입력된 시점에, 날씨 정보가 맑음, 시간 정보가 오후, 날짜 정보가 평일, 밝기 정보가 어두움, 사용자에 의해 설정된 재생 리스트 속성이 무드 2 및 하이라이트인 것으로 판단된 경우, 프로세서(140)는 판단된 상황 정보에 대응되는 시각화 효과 변경 방법인 Preset N(400-N)을 선택하고, Preset N(400-N)에 설정된 시각화 효과 변경 방법을 적용하여 오디오 특성 정보에 대응되는 시각화 효과를 변경하게 될 것이다.
예를 들어, Preset 1(400-1)은 오디오 특성 정보에 대응되는 시각화 효과의 배경색의 채도를 낮추고, 빛의 점멸 속도를 낮추며, 색상의 변화 범위를 높이는 시각화 효과 변경 방법일 수 있고, Preset N(400-N)은 시각화 효과의 전체적인 명도를 높이고, 시각화 효과에 포함된 객체의 움직임 속도를 높이는 시각화 효과 변경 방법일 수 있다. 그러나, 이는 일 예이며, 상황 정보를 조합하여 오디오 특성 정보에 대응되는 시각화 효과를 변경하는 임의의 방법이 각 Preset(400-1 내지 400-N)에 매칭될 수 있다.
이때, 각 Preset에 설정된 시각화 효과 변경 방법은 전자 장치(100) 제조시 제조업체에서 기설정된 것일 수 있으나, 이에 한정되는 것은 아니고, 실시 예에 따라, 상황 정보에 따른 시각화 효과 변경 방법을 설정할 수 있는 UI를 디스플레이하고, 해당 UI를 통해 사용자가 설정할 수도 있을 것이다.
또한, 이와 같이 재생 명령이 입력된 시점에 판단된 상황 정보에 따라 테이블에서 선택된 시각화 효과 변경 방법은 프로세서(140)에 의해 해당 음악 컨텐츠가 재생되는 동안 시각화 효과의 변경에 일괄적으로 적용될 수 있다.
한편, 본 발명의 다른 일 실시 예에 따르면, 프로세서(140)는 음악 컨텐츠가 재생되는 동안 상황 정보를 실시간으로 판단할 수 있으므로, 음악 컨텐츠가 재생되는 동안 상황 정보가 변경되는 경우, 변경된 상황 정보를 반영하여 시각화 효과를 변경할 수도 있다.
예를 들어, 음악이 재생되는 동안 상황 정보가 변경되면, 상술한 테이블에서 변경된 상황 정보에 대응되는 시각화 효과 변경 방법을 다시 선택하고, 선택된 시각화 효과 변경 방법을 현재 재생 중인 음악 컨텐츠의 오디오 특성 정보에 대응되는 시각화 효과를 변경하는데 적용할 수 있을 것이다.
그러나, 이에 한정되는 것은 아니며, 본 발명의 다른 일 실시 예에 따르면, 상황 정보마다 별도의 시각화 효과 변경 방법이 매칭될 수 있으며, 프로세서(140)는 판단된 상황 정보 각각에 대응되는 시각화 효과 변경 방법을 이용하여 오디오 특성 정보에 대응되는 시각화 효과를 변경할 수도 있다.
표 1은 상황 정보별로 매칭된 시각화 효과 변경 방법을 이용하여 시각화 효과를 변경하는 일 예를 나타낸다. 표 1의 예와 같이, 날씨 정보에는 배경의 명도 변경이, 시간 정보에는 색의 변화 범위의 변경이, 날짜 정보에는 빛의 점멸 속도 변경이, 밝기 정보에는 빛의 세기 변경이, 재생 리스트 속성 정보에는 채도 및 효과의 변경이 매칭될 수 있다.
표 1의 예에서, 음악 컨텐츠에 대응되는 오디오 특성 정보 중 무드가 "조용한 무드"일 때 이에 대응되는 시각화 효과는, 파랑 계통의 배경 이미지가 표시되고 이미지에 포함된 애니메이션 객체가 느리게 움직이는 이미지 효과이거나, LED 램프를 느리게 점멸하는 시각적 효과이다.
이때, 표 1의 예에서 프로세서(140)는, 날씨 정보가 "맑음"이므로 파란색 배경 이미지의 명도를 높여 환하고 깨끗하게 변경하고, 시간 정보가 "저녁"이므로 색의 변화를 약하게 하며, 날짜 정보가 "평일"이므로 LED 램프의 점멸 속도에 변화가 없고, 밝기 정보가 "어두움"이므로 빛의 세기를 은은하게 변경(예를 들어, 색상의 대조를 낮춤으로써)하고, 사용자가 설정한 재생 리스트 속성이 "신나는 속성"이므로 배경 이미지의 채도를 향상시키고 화려한 효과를 적용하여 "조용한 무드"에 대응되는 시각화 효과를 변경할 수 있다.
무드 조용한 파랑 계통, 느린 움직임/점멸
날씨 맑음 환하고 깨끗한 배경
시간 저녁 색의 변화를 약하게
날짜 평일 영향 없음
밝기 어두움 은은한 빛의 세기
재생 리스트 속성 신나는 속성 채도 향상, 화려한 효과 적용
표 1은 하나의 예이므로, 상황 정보 별로 시각화 효과 변경 방법을 매칭하는 것이 표 1의 예에 한정되는 것은 아니며, 각 상황 정보를 일종의 시각화 효과 변경 파라미터로 하는 다양한 내용의 시각화 효과 변경 방법이 있을 수 있음은 물론이다. 한편, 실시 예에 따라, 상황 정보에 기초하여 이미지 효과를 변경할 때, 각 상황 정보별로 가중치를 두어 이미지 효과를 변경하는 실시 예도 가능할 것이다.
이에 따라, 프로세서(140)는 위와 같이 변경된 시각화 효과를 해당 음악 컨텐츠를 시각화하는 시각화 효과로 표시하도록 시각화 효과 표시부(130)를 제어할 수 있다.
동일한 음원의 음악 컨텐츠의 경우 동일한 오디오 특성 정보를 가지므로, 오디오 특성 정보에 대응되는 시각화 효과는 해당 음악 컨텐츠를 재생하는 환경과 무관하게 동일한 것이 일반적이다. 그러나, 해당 음악 컨텐츠를 재생하는 환경에 대한 상황 정보를 고려하여 시각화 효과를 변경함으로써, 음악 컨텐츠를 청취하는 사용자는 상황에 따라, 보다 최적화된 그리고, 다양한 음악 컨텐츠 시각화 효과를 경험할 수 있게 된다.
한편, 상술한 전자 장치(100)는 음악 컨텐츠 재생, 상황 정보 판단 및 음악 컨텐츠를 시각화하는 이미지 효과의 디스플레이가 가능한 장치로서, 예를 들어, 스마트폰(Smart Phone), 태블릿(Tablet) PC, 노트북, PMP, 패블릿(Phablet), PDA(Personal Digital assistant), 데스크 탑 PC, 전자 액자, 스마트 TV 등이 될 수 있으나, 이에 한정되는 것은 아니다. 전자 장치(100)는 반드시 하나의 형태로 구성된 장치일 필요는 없고, 예를 들어, TV 와 사운드 바(Sound Bar)가 연결되어 TV 화면을 통해서는 음악 컨텐츠를 시각화하는 이미지 효과를 디스플레이되고, 사운드 바를 통해서는 음악 컨텐츠가 재생되는 멀티미디어 재생 시스템 역시 본 발명에 따른 전자 장치(100)의 범주에 포함될 수 있다.
도 2a는 본 발명의 일 실시 예에 따른 전자 장치의 구성의 상세 블럭도이다. 도 2a를 설명함에 있어 도 1을 통해 전술한 것과 중복되는 내용은 설명을 생략한다. 도 2a에 따르면, 전자 장치(100')는 입력부(110), 오디오 출력부(120), 시각화 효과 표시부(130), 프로세서(140), 통신부(150), 저장부(160), 오디오 처리부(170), 비디오 처리부(180) 및 조도 센서(190)를 포함할 수 있다.
시각화 효과 표시부(130)는 디스플레이(131) 및 적어도 하나의 LED(132) 중 적어도 하나를 포함할 수 있다.
특히, 디스플레이(131)는 다양한 소스로부터 입력되는 각종 영상을 디스플레이할 수 있다. 디스플레이(131)는 방송국, 외부의 서버 또는 외부 장치(CD나 DVD 플레이어 등) 등으로부터 획득되는 각종 영상을 디스플레이할 수 있다. 특히, 디스플레이(131)는 프로세서(140)의 제어에 따라 비디오 처리부(180)가 이미지 처리한 음악 컨텐츠를 시각화하는 이미지 효과, 모드 선택 UI, 단순 시각화 설정 UI 및 스마트 시각화 설정 UI 등을 디스플레이할 수 있다.
통신부(150)는 다양한 유형의 통신방식에 따라 외부 장치와 통신을 수행한다. 특히, 통신부(150)는 인터넷과 같은 네트워크를 통해 외부의 서버와 연결되어 각종 정보를 송, 수신할 수 있다. 예를 들어, 통신부(150)는 음악 컨텐츠에 대응되는 오디오 특성 정보를 제공하는 서버와 통신을 수행할 수 있다.
또한, 통신부(140)는 외부 장치와 근거리 통신 방식으로 연결되어, 외부 장치에 디스플레이된 단순 시각화 설정 UI를 통해 설정된 시각화 효과에 관한 정보 및 스마트 시각화 설정 UI를 통해 선택된 상황 정보에 관한 정보를 수신할 수 있다. 이에 따라, 프로세서(140)는 수신된 정보를 이용하여 시각화 효과를 판단하고, 변경할 수 있다.
이를 위해, 통신부(150)는 근거리 무선 통신 모듈(미도시) 및 무선랜 통신 모듈(미도시) 중 적어도 하나의 통신 모듈을 포함할 수 있다. 여기서, 근거리 무선 통신 모듈(미도시)은 근거리에 위치한 외부 장치와 무선으로 데이터 통신을 수행하는 통신 모듈로써, 예를 들어, 블루투스(Bluetooth) 모듈, 지그비(ZigBee) 모듈, NFC 모듈 등이 될 수 있다.
또한, 무선랜 통신 모듈(미도시)은 와이파이(WiFi), IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 통신부(150)는 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
또한, 통신부(150)는 HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), IEEE(Institute of Electrical and Eletronics Engineers) 1394, RS-232 등의 유선 통신 모듈(미도시) 중 적어도 하나를 포함할 수도 있다.
조도 센서(190)는 빛의 밝기를 감지하고, 이를 전기 신호로 출력한다. 프로세서(140)는 조도 센서(190)의 출력 신호 세기에 따라 밝기 레벨을 매핑하여 전자 장치(100) 주변의 밝기 정보를 획득할 수 있다.
저장부(160)는 전자 장치(100')의 동작에 필요한 다양한 프로그램 및 데이터를 저장할 수 있다. 또한, 전자 장치(100')의 동작 중에 생성 또는 획득되는 데이터의 일시 저장 기능을 수행할 수 있다.
특히, 저장부(160)는 음악 컨텐츠의 음원, 오디오 특성 정보에 대응되는 시각화 효과에 관한 데이터, 상황 정보에 따른 시각화 효과 변경 방법이 매칭된 테이블, 상황 정보마다 별도의 시각화 효과 변경 방법이 매칭된 정보, 음악 컨텐츠에 대응되는 오디오 특성 정보 및 각종 상황 정보 등과 같은 각종 데이터 또는 정보를 저장할 수 있다.
또한, 도 2b에 도시된 바와 같이, 저장부(160)는 전자 장치(100')를 구동하기 위한 다양한 모듈이 저장될 수 있다. 도 2b에 따르면, 저장부(160)에는 베이스 모듈(160-1), 통신 모듈(160-2), 서비스 모듈(160-3), 오디오 특성 정보 판단 모듈(160-4), 상황 정보 판단 모듈(160-5), 시각화 효과 결정 모듈(160-6), 시각화 UI 모듈(160-7) 등이 저장될 수 있다.
베이스 모듈(160-1)이란, 음향 출력 장치(100')에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈을 의미한다. 베이스 모듈(160-1)은 스토리지 모듈, 보안 모듈 및 네트워크 모듈 등(미도시)을 포함할 수 있다. 스토리지 모듈(미도시)이란 데이터베이스(DB)나 레지스트리를 관리하는 프로그램 모듈이다. 보안 모듈(미도시)이란 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 프로그램 모듈이고, 네트워크 모듈(미도시)이란 네트워크 연결을 지원하기 위한 모듈로 DNET 모듈, UPnP 모듈 등을 포함한다.
통신 모듈(160-2)은 외부와 통신을 수행하기 위한 모듈이다. 통신 모듈(160-2)은 메시징 모듈(미도시) 및 전화 모듈(미도시)을 포함할 수 있다.
서비스 모듈(160-3)은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다.
오디오 특성 정보 판단 모듈(160-4)은 음악 컨텐츠에 대한 오디오 특성 정보를 판단하는 모듈이다. 구체적으로, 오디오 특성 정보 판단 모듈(160-4)은 해당 음악 컨텐츠의 오디오 특성 정보를 판단할 수 있다. 예를 들어, 오디오 특성 정보 판단 모듈(160-4)은 각종 알고리즘을 이용하여 음악 컨텐츠에 대한 사용자의 재생 명령이 입력된 또는 재생 리스트 목록에 있는 음악 컨텐츠의 음원 샘플 데이터를 시간 및 주파수 영역에서 프레임 단위로 분석하여 Energy, MFCC(Mel Frequency Cepstral Coefficients), Centroid, 볼륨(volume), 파워(energy), 서브 밴드 에너지(sub-band energy), 로우 쇼트 타입 에너지 비율(low shot-time energy ratio), 제로 크로싱 비(zero crossing rate), 주파수 중심(frequency centroid), 주파수 대역폭(frequency bandwidth), 스펙트럼 변화(spectral flux), 켑스트랄 변화(cepstral flux), 라우드니스(loudness) 등과 같은 오디오 특징을 추출할 수 있다.
이에 따라, 오디오 특성 정보 판단 모듈(160-4)은 추출된 오디오 특징들을 연산하거나 추출된 오디오 특징들에 머신 러닝 기법 등을 적용하여 비트 정보, 무드 정보, 하이라이트 정보, 온셋 정보, 템포 정보 등과 같은 오디오 특성 정보를 산출하고, 판단할 수 있다.
또한, 오디오 특성 정보 판단 모듈(160-4)은 외부 서버로부터 획득되어 저장부(160)에 저장된 음악 컨텐츠에 대응되는 오디오 특성 정보 중, 재생 명령이 입력된 음악 컨텐츠에 대한 오디오 특성 정보를 식별하고, 이를 저장부(160)에서 추출하여 해당 음악 컨텐츠에 대응되는 오디오 특성 정보를 판단할 수도 있다.
상황 정보 판단 모듈(160-5)은 음악 컨텐츠 재생 명령이 입력되면, 날씨 정보, 날짜 정보, 시간 정보, 상기 전자 장치 주변의 밝기 정보 및 재생 리스트 속성 정보 중 적어도 하나를 포함하는 상황 정보를 판단할 수 있다. 구체적으로, 상황 정보 판단 모듈(160-5)은 음악 컨텐츠를 재생하는 조건, 주변 상황, 환경에 관련된 상황 정보를 사용자, 센서 또는 인터넷 연결을 통해 취합하고, 판단할 수 있다.
예를 들어, 날씨 정보는 날씨 정보를 제공하는 외부 서버를 통해 동기화하여 획득하고, 판단할 수 있다. 날짜(휴일 정보) 및 시간 정보는 전자 장치(100') 상에서 사용자의 설정에 의해, 또는 인터넷 시간 서버를 통해 동기화하여 획득하고, 판단할 수 있다. 밝기 정보는 전자 장치(100)게 구비된 조도 센서(190)의 값을 읽고, 그 값에 따른 밝기 단계를 매핑하여 획득하고, 판단할 수 있다. 재생 리스트 속성은 사용자가 음악 컨텐츠 플레이어 상에서 선택한 재생 리스트 속성에 관한 정보를 획득하여, 판단할 수 있다.
시각화 UI 모듈(160-7)은 음악 컨텐츠를 시각화하는 방법을 선택하거나 음악 컨텐츠를 시각화하는 시각화 효과를 설정하기 위한 각종 UI를 생성하여 디스플레이하는 모듈이다.
구체적으로, 음악 컨텐츠에 대한 오디오 특성만을 이용하여 음악 컨텐츠를 시각화하는 시각화 효과를 디스플레이하는 단순 시각화 모드 및 음악 컨텐츠에 대한 오디오 특성 정보와 음악 컨텐츠를 재생하는 환경에 대한 상황 정보를 함께 이용하여 음악 컨텐츠를 시각화하는 시각화 효과를 디스플레이하는 스마트 시각화 모드 중 하나를 선택하는 모드 선택 UI를 생성하여 디스플레이할 수 있다.
또한, 시각화 UI 모듈(160-7)은 오디오 특성 정보에 대응되는 시각화 효과를 설정할 수 있는 단순 시각화 설정 UI 및 시각화 효과를 변경하기 위해 이용될 상황 정보를 선택할 수 있는 스마트 시각화 설정 UI를 생성하여 디스플레이할 수 있다. 각 UI의 일 예는 도 5에 도시된 바와 같다.
시각화 효과 결정 모듈(160-6)은 오디오 특성 정보 판단 모듈로부터 판단된 음악 컨텐츠에 대한 오디오 특성 정보 및 상황 정보 판단 모듈로부터 판단된 음악 컨텐츠가 재생되는 환경에 대한 상황 정보를 이용하여 음악 컨텐츠를 시각화하는 시각화 효과를 디스플레이하는 모듈이다.
구체적으로, 시각화 효과 결정 모듈(160-6)은 오디오 특성 정보에 대응되는 시각화 효과를 판단하고, 판단된 시각화 효과를 상황 정보에 따라 변경하며, 변경된 시각화 효과를 음악 컨텐츠를 시각화하는 시각화 효과로 디스플레이할 수 있다.
또한, 시각화 효과 결정 모듈(160-6)은 시각화 UI 모듈(160-7)을 통해 생성 및 디스플레이되는 각종 UI 상에서 사용자의 설정 또는 선택에 따라 음악 컨텐츠의 시각화 방법 또는 시각화 효과를 결정할 수 있다. 구체적으로, 시각화 효과 결정 모듈(160-6)은 모드 선택 UI 상에서 단순 시각화 모드가 선택되면, 오디오 특성 정보만을 이용하여 음악 컨텐츠를 시각화하는 시각화 효과를 디스플레이하고, 스마트 시각화 모드가 선택되면, 상술한 바와 같이, 오디오 특성 정보 및 상황 정보를 함께 이용하여 최종 변경된 시각화 효과를 음악 컨텐츠를 시각화하는 시각화 효과로 디스플레이할 수 있다.
또한, 시각화 효과 결정 모듈(160-6)은 단순 시각화 설정 UI를 통해 설정된 이미지 효과를 오디오 특성 정보에 대응되는 시각화 효과로 판단하고, 스마트 시각화 설정 UI를 통해 선택된 상황 정보를 이용하여 판단된 시각화 효과를 변경할 수 있다.
상술한 각종 UI를 통한 사용자 조작에 따른 전자 장치(100')의 동작에 관하여는 도 5를 통해 보다 자세히 후술하기로 한다.
여기서, 저장부(160)는 플래시 메모리(Flash Memory), 하드디스크(Hard Disk) 등 다양한 저장 장치로 구현될 수 있다. 실시 예에 따라, 네트워크상의 가상 저장 장치 역시 저장부(160)의 범주에 포함될 수도 있을 것이다.
프로세서(140)는 저장부(160)에 저장된 각종 모듈을 이용하여 전자 장치(100')의 전반적인 동작을 제어할 수 있다. 프로세서(140)는 도 2a에 도시된 바와 같이, RAM(142), ROM(143), GPU(144), 메인 CPU(141), 제1 내지 n 인터페이스(145-1 ~ 145-n), 버스(146)를 포함한다.
이때, RAM(142), ROM(143), GUI(144), 메인 CPU(141), 제1 내지 n 인터페이스(145-1 ~ 145-n) 등은 버스(146)를 통해 서로 연결될 수 있다.
ROM(143)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 전자 장치(100')에 대한 턴-온 명령이 입력되어 전원이 공급되면, CPU(141)는 ROM(143)에 저장된 명령어에 따라 저장부(160)에 저장된 O/S를 RAM(142)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(141)는 저장부(160)에 저장된 각종 프로그램을 RAM(142)에 복사하고, RAM(142)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. 특히, 메인 CPU(141)는 저장부(160)에 저장된 각종 프로그램 모듈, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
GPU(144)는 전자 장치(100')의 부팅이 완료되면, 영상을 디스플레이한다. 구체적으로는, GPU(144)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부(미도시)는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이(130)로 제공되어, 디스플레이 영역 내에 표시된다.
제1 내지 n 인터페이스(145-1 내지 145-n)는 상술한 각종 구성요소(110, 120, 130, 150 내지 190)들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
오디오 처리부(170)는 오디오 데이터에 대한 처리를 수행하고, 처리된 오디오 데이터를 오디오 출력부(120)로 출력한다. 특히, 오디오 처리부(170)는 음악 컨텐츠의 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링, 이퀄라이징 등과 같은 다양한 처리가 수행될 수 있다.
비디오 처리부(180)는 디스플레이(130)를 통해 디스플레이될 영상에 대한 이미지 처리를 수행한다. 특히, 비디오 처리부(180)는 음악 컨텐츠를 시각화하는 이미지 효과에 대한 영상 처리를 수행할 수 있다. 구체적으로, 비디오 처리부(170)는 음악 컨텐츠를 시각화하는 이미지 효과에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
도 3은 본 발명의 본 발명의 일 실시 예에 따른 음악 컨텐츠를 시각화하는 시각화 효과를 설명하기 위한 예시도이다.
구체적으로, 도 3a는 본 발명의 일 실시 예에 따른 전자 장치(100)의 오디오 출력부(120) 및 적어도 하나의 LED 램프(132-1 내지 132-6)를 도시하고 있다.
전술한 바와 같이, 시각화 효과 표시부(130)가 적어도 하나의 LED 램프를 포함하는 경우, 음악 컨텐츠에 대한 재생 명령이 입력되면, 프로세서(140)는 해당 음악 컨텐츠에 대한 오디오 특성 정보에 대응되는 시각화 효과, 예를 들어, 적어도 하나의 LED의 발광을 해당 음악 컨텐츠의 비트 정보, 무드 정보 및 하이라이트 정보 중 적어도 하나의 정보에 따라 변화시키는 시각적 효과를 판단할 수 있다.
따라서, 전자 장치(100)가 단순 시각화 모드로 동작하는 경우라면, 프로세서(120)는 판단된 시각적 효과를 해당 음악 컨텐츠의 재생과 동기화 하여 디스플레이하도록 적어도 하나의 LED 램프(132)를 제어할 수 있다. 예를 들어, 도 3a에 도시된 바와 같이, 빨간색의 LED 램프들(132-1 내지 132-6)을 비트에 따라 점멸하는 방식으로 동작할 수 있다.
그러나, 전자 장치(100)가 스마트 시각화 모드로 동작하는 경우라면, 프로세서(140)는 상황 정보를 이용하여 판단된 시각적 효과의 색상, 명도, 채도, 대비, 변화 속도 및 변화 범위 중 적어도 하나를 변경하고, 변경된 시각적 효과를 해당 음악 컨텐츠의 시각화 효과로 디스플레이하도록 적어도 하나의 LED 램프(132)를 제어할 수 있다. 예를 들어, 프로세서(140)는 도 3a에 도시된 것과 달리, 상황 정보에 따라 시각적 효과를 변경하여 빨간색 LED 램프가 음악 컨텐츠의 비트에 동기화하여 순차적으로 왼쪽으로 회전하면서 발광하도록 LED 램프들(132-1 내지 132-6)을 제어할 수도 있다. 그러나, 이는 하나의 예에 불과하며, 프로세서(140)가 상황 정보를 이용하여 이와 달리 다양한 방법으로 시각적 효과를 변경할 수 있음은 물론이다. 한편, 본 발명의 일 실시 예에 따르면, 시각화 효과 표시부(130)는 디스플레이(131)를 포함할 수 있다. 이 경우, 음악 컨텐츠에 대한 오디오 특성 정보에 대응되는 시각화 효과는 특정 주제의 기본 이미지가 오디오 특성 정보에 따라 변화하는 이미지 효과일 수 있다. 도 3b는 디스플레이(131)에 디스플레이된 오디오 특성 정보에 대응되는 이미지 효과의 일 예를 나타낸다. 예를 들어, 도 3b에 도시된 바와 같이, 특정 주제의 기본 이미지가 주파수 대역 별 막대 그래프인 경우, 비트 정보에 따라 막대 그래프가 변화하며, 무드 정보에 따라 막대 그래프의 색상이 결정되는 이미지 효과가 오디오 특성 정보에 대응되는 이미지 효과로 판단될 수 있다.
만일, 전자 장치(100)가 단순 시각화 모드로 동작하는 경우라면, 프로세서(140)는 판단된 비트 정보 및 무드 정보에 따라, 도 3b에 도시된 바와 같이, 녹색 막대 그래프가 비트 정보에 따라 변화하는 이미지 효과를 음악 컨텐츠를 시각화하는 이미지 효과로 디스플레이하도록 디스플레이(131)를 제어할 수 있다.
그러나, 전자 장치(100)가 스마트 시각화 모드로 동작하는 경우에는, 오디오 특성 정보에 대응되는 이미지 효과를 상황 정보에 따라 변경하여 디스플레이하게 된다. 따라서, 프로세서(140)는 도 3b에 도시된 것과 달리, 전자 장치(100) 주위의 밝기 정보에 따라 막대 그래프 이미지 전체의 명도를 높이거나, 날짜 정보에 따라 막대 그래프 주변의 배경을 변경할 수도 있고, 시간 정보에 따라 막대 그래프의 색상을 변경하거나 색상의 변화 범위를 넓히는 등으로 상황 정보를 반영하여 디스플레이하도록 디스플레이(131)를 제어할 수 있다.
한편, 도 3c는 오디오 특성 정보 중 하이라이트 정보에 따라 적용될 수 있는 이미지 효과의 일 예를 나타낸다. 하이라이트 정보는 음악 컨텐츠의 하이라이트 구간에 대한 정보로서, 프로세서(140)는 하이라이트 구간에 대해서는 보다 강조된 이미지 효과를 적용할 수 있다. 예를 들어, 하이라이트 구간이 아닌 구간에서는 단색으로 이미지 효과를 디스플레이하다가 하이라이트 구간에서는 도 3c에 도시된 바와 같이 두가지 색 이상의 색이 발광하도록할 수 있다. 이 경우에도, 상황 정보를 이용하여 다른 하이라이트 효과를 음악 컨텐츠의 하이라이트 구간에 디스플레이할 수 있음은 물론이다.
한편, 오디오 특성 정보에 대응되는 시각화 효과가 전술한 예들에 한정되는 것이 아님은 물론이다. 가령, 무드 정보에 따라 색상이 변화하는 전이 시간을 달리하는 시각화 효과도 있을 수 있고, 기본 이미지에 패턴이나 애니메이션이 포함된 경우, 패턴이나 애니메이션의 움직임 속도를 비트 시점에 동기화할 수도 있으며, 활기찬 무드인 경우 LED 램프의 점멸 또는 패턴이나 애니메이션의 움직임을 보다 빠르게, 조용한 무드인 경우 보다 느리게 조절하는 시각화 효과도 가능할 수 있음은 물론이다.
도 5는 본 발명의 일 실시 예에 따른 각종 UI의 일 예를 도시하고 있다. 구체적으로, 도 5의 (a)는 모드 선택 UI의 일 예를 나타낸다. 본 발명의 일 실시 예에 따르면, 프로세서(140)는 단순 시각화 모드 및 스마트 시각화 모드 중 어느 하나를 선택하는 모드 선택 UI를 디스플레이(130)에 디스플레이하고, 디스플레이된 모드 선택 UI 상에서 단순 시각화 모드가 선택되면, 오디오 특성 정보만을 이용하여 음악 컨텐츠를 시각화하는 이미지 효과를 디스플레이하도록 디스플레이(130)를 제어할 수 있다. 이 경우, 프로세서(130)는 상황 정보를 판단하지 않을 수 있다.
그러나, 도 5의 (a)의 예에서와 같이, 모드 선택 UI 상에서 스마트 시각화 모드가 선택되면, 프로세서(140)는 전술한 다양한 방법에 따라 상황 정보를 판단하고, 판단된 상황 정보를 오디오 특성 정보에 대응되는 시각화 효과에 반영하여 음악 컨텐츠를 시각화하는 시각화 효과를 디스플레이하도록 디스플레이(130)를 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 프로세서(140)는 도 5의 (b)에 도시된 바와 같이, 오디오 특성 정보에 대응되는 시각화 효과를 설정하는 단순 시각화 설정 UI를 디스플레이(130)에 디스플레이하도록 제어할 수 있다. 도 5의 (b)에 따르면, 사용자는 단순 시각화 설정 UI를 통해, 무드에 따라 시각화 효과의 컬러를 설정하고, LED 램프의 점멸 주기를 조절할 수 있다. 또한, 색이 변화하는 전이(transition) 시간을 조절할 수도 있으며, 하이라이트 효과를 적용할지 말지를 선택할 수도 있다.
이에 따라, 프로세서(140)는 사용자가 단순 시각화 설정 UI를 통해 설정한 시각화 효과를 오디오 특성 정보에 대응되는 시각화 효과로 판단할 수 있다. 이와 같이 판단된 시각화 효과는 단순 시각화 모드에서는 그대로 디스플레이되고, 스마트 시각화 모드에서는 상황 정보에 따라 변경되어 디스플레이되게 될 것이다.
또한, 본 발명의 일 실시 예에 따르면, 프로세서(140)는 도 5의 (c)에 도시된 바와 같이, 시각화 효과를 변경하기 위해 이용될 상황 정보를 선택하는 스마트 시각화 설정 UI를 디스플레이하도록 디스플레이(130)를 제어할 수 있다. 도 5의 (c)에 따르면, 사용자는 스마트 시각화 설정 UI를 통해, 여러 상황 정보 중 날씨 정보, 시간 정보, 밝기 정보를 이용하여 오디오 특성 정보에 대응되는 시각화 효과를 변경하도록 선택한 것을 볼 수 있다.
이에 따라, 프로세서(140)는 판단된 각종 상황 정보 중 사용자에 의해 선택된 날씨 정보, 시간 정보, 밝기 정보만을 이용하여 오디오 특성 정보에 대응되는 시각화 효과를 변경할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 단순 시각화 설정 UI 및 스마트 시각화 설정 UI는 외부 장치에 디스플레이될 수 있다. 이때, 외부 장치는 전자장치(100')와 유, 무선으로 통신 연결된 임의의 디스플레이 장치일 수 있다.
따라서, 사용자가 외부 장치에 디스플레이된 단순 시각화 설정 UI 상에서 시각화 효과를 설정하고, 스마트 시각화 설정 UI 상에서 상황 정보를 선택함에 따라, 외부 장치로부터 설정된 시각화 효과에 관한 정보 및 선택된 상황 정보에 관한 정보가 전송되면, 전술한 바와 같이, 통신부(150)는 그 정보들을 수신할 수 있다.
이에 따라, 프로세서(140)는 수신된 정보를 이용하여 시각화 효과를 판단하고, 변경할 수 있다.
또한, 상술한 모드 선택 UI 역시 외부 장치에 디스플레이될 수 있으며, 외부 장치에서 선택된 모드에 관한 정보가 통신부(150)를 통해 수신되면, 프로세서(140)는 수신된 모드에 관한 정보에 따라 전자 장치(100)를 단순 시각화 모드 또는 스마트 시각화 모드로 동작시킬 수도 있다.
한편, 본 발명의 또 다른 일 실시 예에 따르면, 스마트 시각화 설정 UI에 따라 선택된 상황 정보는 해당 상황 정보를 직접적으로 나타내는 방법으로 이미지 효과에 반영될 수 있다. 도 6은 이러한 예를 나타낸다.
예를 들어, 스마트 시각화 설정 모드 UI에서 날씨 정보가 선택되고, 날씨 정보가 "비"로 판단되면, 프로세서(140)는 도 6의 (a)에 도시된 바와 같이, 오디오 특성 정보(날씨 정보)에 대응되는 이미지 효과를 빗방울이 떨어지는 이미지에 반영하여 디스플레이하도록 디스플레이(131)를 제어할 수 있다. 보다 구체적으로, 도 6의 예에서, 빗방울이 떨어져 수면에서 퍼지는 파동을 비트 정보에 동기화시키는 등의 방법으로, 날씨 정보가 직접적으로 나타나는 이미지 효과를 디스플레이하도록 디스플레이(131)를 제어할 수 있다.
또한, 도 6의 (b)에 도시된 바와 같이, 스마트 시각화 설정 모드 UI에서 시간 정보가 선택되고, 시간 정보가 "저녁"으로 판단되면, 야경 이미지를 주제로 하여 불빛들의 점멸을 비트 정보에 동기화시키는 방법으로, 시간 정보를 직접적으로 나타낼 수도 있을 것이다.
그러나, 이미지 효과에 상황 정보를 직접적으로 나타내는 방법이 이에 한정되는 것은 아니다. 가령, 오디오 특성 정보에 대응되는 이미지 효과를, 상황 정보를 직접적으로 표현하는 텍스트에 반영하여 음악 컨텐츠를 시각화하는 이미지 효과로 디스플레이하는 것도 가능할 것이다. 구체적으로 예를 들어, 시간 정보에 따른 시간을 텍스트로 나타내고, 해당 시간을 나타내는 각 숫자의 색상을 변화시기커나 각 숫자의 점멸 속도를 음악 컨텐츠의 비트에 동기화하는 등의 실시 예도 가능할 것이다.
이상에서는, 프로세서(140)가 음악 컨텐츠에 대한 오디오 특성 정보에 대응되는 시각화 효과를 먼저 판단하고, 상황 정보를 이용하여 판단된 시각화 효과를 변경하는 것을 예로 들어 설명하였으나, 이는 설명의 편의를 위한 것이며, 이에 한정되는 것은 아니다. 즉, 프로세서(140)가 상황 정보와 오디오 특성 정보를 동시에 판단 및 적용하여 음악 컨텐츠를 시각화하는 시각화 효과를 디스플레이하도록 시각화 효과 표시부(130)를 제어할 수도 있음은 물론이다.
이에 따라, 사용자는 음악 컨텐츠가 재생되는 환경에 대한 상황 정보를 직관적으로 인지하면서 음악 컨텐츠를 시각화하는 시각화 효과를 제공받을 수 있다.
도 7은 본 발명의 일 실시 예에 따른 전자 장치의 음악 컨텐츠 시각화 방법을 나타내는 흐름도이다. 도 7에 따르면, 전자 장치(100, 100')는 음악 컨텐츠에 대한 재생 명령이 입력되면(S710), 음악 컨텐츠에 대한 오디오 특성 정보 및 음악 컨텐츠가 재생되는 환경에 대한 상황 정보를 판단할 수 있다(S720).
이때, 오디오 특성 정보는 음악 컨텐츠의 비트 정보, 무드 정보 및 하이라이트 정보 중 적어도 하나를 포함하고, 상황 정보는 날씨 정보, 날짜 정보, 시간 정보, 전자 장치(100, 100') 주변의 밝기 정보 및 사용자가 설정한 재생 리스트 속성 정보 중 적어도 하나를 포함할 수 있다.
한편, 전자 장치(100, 100')는 음악 컨텐츠에 대한 오디오 특성 정보를 외부 서버로부터 획득할 수도 있고, 음악 컨텐츠를 직접 분석하여 획득할 수도 있다. 또한, 전자 장치(100, 100')는 상황 정보를 외부 장치 또는 각종 센서로부터 획득할 수 있다. 따라서, 전자 장치(100, 100')는 음악 컨텐츠에 대한 재생 명령이 입력되면, 재생 명령이 입력되는 시점 또는 음악 컨텐츠가 재생되는 동안의 오디오 특성 정보 및 상황 정보를 판단할 수 있다.
이에 따라, 전자 장치(100, 100')는 판단된 오디오 특성 정보 및 상황 정보를 이용하여 음악 컨텐츠를 시각화하는 시각화 효과를 디스플레이하고, 음악 컨텐츠를 재생할 수 있다(S730). 구체적으로, 전자 장치(100, 100')는 오디오 특성 정보에 대응되는 시각화 효과를 판단하고, 판단된 시각화 효과를 상황 정보에 기초하여 변경하고, 변경된 시각화 효과를 음악 컨텐츠를 시각화하는 시각화 효과로 디스플레이할 수 있다.
이때, 본 발명의 일 실시 예에 따르면, 오디오 특성 정보에 대응되는 시각화 효과는 특정 주제의 기본 이미지가 오디오 특성 정보에 따라 변화하는 이미지 효과일 수 있다. 이에 따라, 전자 장치(100, 100')는 상황 정보에 기초하여 오디오 특성 정보에 대응되는 시각화 효과의 기본 이미지, 배경, 색상, 명도, 채도, 변화 속도 및 변화 범위 중 적어도 하나를 변경할 수 있다.
또한, 본 발명의 다른 일 실시 예에 따르면, 오디오 특성 정보에 대응되는 시각화 효과는 적어도 하나의 LED 램프의 발광이 오디오 특성 정보에 따라 변화하는 시각적 효과일 수 있다. 이 경우, 전자 장치(100, 100')는 상황 정보에 기초하여 오디오 특성 정보에 대응되는 시각화 효과의 색상, 명도, 채도, 대비, 변화 속도 및 변화 범위 중 적어도 하나를 변경할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 전자 장치(100, 100')는 재생 명령이 입력된 시점의 상황 정보를 판단할 수 있다. 이 경우, 전자 장치(100, 100')는 상황 정보에 따른 시각적 효과 변경 방법이 매칭된 기저장된 테이블에서 재생 명령이 입력된 시점의 상황 정보에 대응되는 시각적 효과 변경 방법을 선택하고, 선택된 시각적 효과 변경 방법을 적용하여 오디오 특성 정보에 대응되는 시각적 효과를 변경할 수 있다.
또한, 전자 장치(100, 100')는 음악 컨텐츠가 재생되는 동안 실시간으로 상황 정보를 판단하고, 실시간으로 판단된 상황 정보를 반영하여 오디오 특성 정보에 대응되는 시각적 효과를 변경할 수도 있다.
도 8은 본 발명의 다른 일 실시 예에 따른 전자 장치의 음악 컨텐츠 시각화 방법을 나타내는 흐름도이다. 도 8에 따르면, 전자 장치(100, 100')는 모드 선택 UI를 디스플레이 한다(S810). 여기서, 모드 선택 UI는 음악 컨텐츠를 시각화 할 때, 오디오 특성 정보만을 이용하는 단순 시각화 모드와 오디오 특성 정보 및 상황 정보를 함께 이용하는 스마트 시각화 모드 중 하나를 선택할 수 있는 UI 이다.
이에 따라, 사용자가 단순 시각화 모드를 선택하고, 음악 컨텐츠에 대한 재생 명령을 입력하면(S820), 전자 장치(100, 100')는 재생 명령이 입력된 음악 컨텐츠에 대한 오디오 특성 정보를 판단하고(S830), 판단된 오디오 특성 정보를 이용하여 음악 컨텐츠를 시각화하는 시각화 효과를 디스플레이하면서 음악 컨텐트를 재생한다(S840).
한편, 사용자가 스마트 시각화 모드를 선택하고, 음악 컨텐츠에 대한 재생 명령을 입력하면(S850), 전자 장치(100, 100')는 음악 컨텐츠에 대한 오디오 특성 정보 및 음악 컨텐츠가 재생되는 상황 정보를 판단하고(S860), 판단된 오디오 특성 정보 및 상황 정보를 이용하여 음악 컨텐츠를 시각화하는 시각화 효과를 디스플레이하면서, 음악 컨텐츠를 재생한다(S870).
한편, 본 발명의 또 다른 일 실시 예에 따르면, 전자 장치(100, 100')는 오디오 특성 정보에 대응되는 시각화 효과를 사용자가 설정하는 단순 시각화 설정 UI 및 오디오 특성 정보에 대응되는 시각화 효과를 변경하기 위해 이용되는 상황 정보를 사용자가 선택하는 스마트 시각화 설정 UI 중 적어도 하나를 디스플레이한다. 이에 따라, 사용자가 단순 시각화 설정 UI를 통해 시각화 효과를 설정하면, 전자 장치(100, 100')는 설정된 시각화 효과를 오디오 특성 정보에 대응되는 시각화 효과로 판단한다. 또한, 사용자가 스마트 시각화 설정 UI를 통해 상황 정보를 선택하면, 전자 장치(100, 100')는 선택된 상황 정보를 이용하여 오디오 특성 정보에 대응되는 시각화 효과를 변경한다.
또한, 본 발명의 또 다른 일 실시 예에 따르면, 외부 장치가 모드 선택 UI, 단순 시각화 설정 UI 및 스마트 시각화 설정 UI 중 적어도 하나를 디스플레이할 수 있다.
이에 따라, 전자 장치(100, 100')는 외부 장치에 디스플레이된 모드 선택 UI 를 통해 선택된 모드에 따라 단순 시각화 모드 또는 스마트 시각화 모드 중 어느 하나로 동작할 수 있다.
또한, 전자 장치(100, 100')는
외부 장치에 디스플레이된 단순 시각화 설정 UI 를 통해 시각적 효과가 설정되고, 설정된 시각적 효과에 관한 정보가 수신되면, 수신된 시각적 효과를 오디오 특성 정보에 대응되는 시각화 효과로 판단할 수 있다.
또한, 전자 장치(100, 100')는 외부 장치에 디스플레이된 스마트 시각화 설정 UI를 통해 상황 정보가 선택되고, 선택된 상황 정보에 관한 정보가 수신되면, 수신된 상황 정보에 관한 정보를 이용하여 오디오 특성 정보에 대응되는 시각화 효과를 변경할 수 있다.
이상과 같은 다양한 실시 예들에 따르면, 음악 컨텐츠가 재생되는 환경에 따라 음악 컨텐츠를 시각화하는 효과가 변화될 수 있다. 이에 따라, 사용자는 동일한 음악 컨텐츠나 유사한 분위기의 음악 컨텐츠를 청취하는 경우에도 다양한 음악 컨텐츠 시각화 효과를 경험할 수 있다.
한편, 상술한 다양한 실시 예들에 따른 전자 장치(100)의 프로세서(140)의 동작이나 전자 장치의 음악 컨텐츠 시각화 방법들은 소프트웨어로 생성되어 전자 장치(100)에 탑재될 수 있다.
예를 들어, 음악 컨텐츠에 대한 재생 명령을 입력받는 단계, 음악 컨텐츠에 대한 오디오 특성 정보 및 음악 컨텐츠가 재생되는 환경에 대한 상황 정보를 판단하는 단계 및 오디오 특성 정보 및 상황 정보를 이용하여 음악 컨텐츠를 시각화하는 시각화 효과를 디스플레이하고, 음악 컨텐츠를 재생하는 단계를 포함하는 음악 컨텐츠 시각화 방법을 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 설치될 수 있다.
여기서, 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 미들웨어 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110 :　입력부 　　　　　　　　　　　　　 　 120 : 오디오 출력부
130 :　시각화 효과 표시부　　　　　　 　 140 : 프로세서

Claims (20)

  1. 전자 장치에 있어서,
    음악 컨텐츠에 대응하는 정보를 포함하는 화면을 표시하는 디스플레이;
    시각화 효과를 제공하는 시각화 효과 표시부; 및
    음악 컨텐츠의 재생에 대응하는 사용자 입력이 수신되면, 상기 수신된 사용자 입력에 의해 재생되는 상기 음악 컨텐츠에 대응하는 정보를 포함하는 화면을 표시하도록 상기 디스플레이를 제어하고,
    상기 음악 컨텐츠에 대응한 시각화 효과를 시각화 효과 표시부가 제공하도록 제어하고,
    상기 전자 장치의 주변 영역의 환경 정보에 따라 상기 시각화 효과를 변경하는 프로세서;를 포함하는, 전자 장치.
  2. 제1항에 있어서,
    조도 센서;를 더 포함하고,
    상기 전자 장치의 주변 영역의 환경 정보는,
    상기 조도 센서를 통해 획득되는 상기 전자 장치의 주변 영역의 밝기 정보인, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 획득된 상기 전자 장치의 주변 영역의 밝기 정보에 기초하여 상기 시각화 효과의 색상, 명도 또는 채도 중 적어도 하나를 변경하는, 전자 장치.
  4. 제1항에 있어서,
    상기 시각화 효과 표시부는,
    LCD(Liquid Crystal Display) 디스플레이 또는 LED(Light Emitting Diode) 라이트 중 적어도 하나를 포함하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 음악 컨텐츠의 오디오 특성 정보 및 상기 환경 정보에 대응하는 시각화 효과를 제공하도록 상기 시각화 효과 표시부를 제어하는, 전자 장치.
  6. 제5항에 있어서,
    상기 오디오 특성 정보는,
    음악 컨텐츠의 비트 정보, 무드 정보 및 하이라이트 정보 중 적어도 하나를 포함하고,
    상기 프로세서는,
    상기 오디오 특성 정보에 대응하는 상기 시각화 효과에 기초하여 상기 시각화 효과 표시부의 출력을 제어하는, 전자 장치.
  7. 제1항에 있어서,
    상기 전자 장치의 주변 영역의 환경 정보는,
    상기 음악 컨텐츠가 재생되는 환경의 상황 정보이고,
    상기 프로세서는,
    상기 음악 컨텐츠가 재생되는 환경의 상황 정보에 기초하여 상기 제공된 시각화 효과를 변경하는, 전자 장치.
  8. 제7항에 있어서,
    상기 상황 정보는,
    날씨 정보, 날짜 정보, 시간 정보, 상기 전자 장치 주변의 밝기 정보 및 재생 리스트 속성 정보 중 적어도 하나를 포함하고,
    상기 프로세서는,
    상기 상황 정보에 기초하여 상기 제공된 시각화 효과의 색상, 명도, 채도, 대비, 변화 속도 및 변화 범위 중 적어도 하나를 변경하고,
    상기 변경된 시각화 효과의 색상, 명도, 채도, 대비, 변화 속도 및 변화 범위 중 적어도 하나에 기초하여 상기 시각화 효과를 제공하도록 상기 시각화 효과 표시부를 제어하는, 전자 장치.
  9. 제7항에 있어서,
    상기 프로세서는,
    상기 상황 정보에 기초하여 상기 시각화 효과의 색상을 파랑, 노랑, 녹색 사이에서 연속적으로 변경하는, 전자 장치.
  10. 제7항에 있어서,
    상기 프로세서는,
    상기 상황 정보에 기초하여 상기 시각화 효과의 색상의 변화 범위 또는 상기 시각화 효과의 색상의 변화 속도를 변경하는, 전자 장치.
  11. 제7항에 있어서,
    상기 프로세서는,
    상기 상황 정보에 따라 밝기가 변경되는 상기 시각화 효과를 표시하도록 상기 시각화 효과 표시부를 제어하는, 전자 장치.
  12. 제1항에 있어서,
    상기 프로세서는,
    상기 시각화 효과에 대응하는 제1 UI(User Interface)를 표시하도록 상기 디스플레이를 제어하고,
    상기 제1 UI를 통해 제1 사용자 입력이 수신되면, 상기 수신된 제1 사용자 입력에 기초하여 상기 시각화 효과를 변경하는, 전자 장치.
  13. 제7항에 있어서,
    상기 프로세서는,
    시각화 효과의 변경에 대응하는 상황 정보 선택을 위한 제2 UI를 표시하도록 상기 디스플레이를 제어하고,
    상기 제2 UI를 통해 제2 사용자 입력이 수신되면, 상기 수신된 제2 사용자 입력에 대응하는 상황 정보에 기초하여 상기 시각화 효과를 변경하는, 전자 장치.
  14. 제1항에 있어서,
    오디오 출력부;를 더 포함하고,
    상기 프로세서는,
    상기 음악 컨텐츠 재생에 대응하는 사용자 입력이 수신되면, 상기 음악 컨텐츠에 대응하는 오디오를 출력하도록 상기 오디오 출력부를 제어하는, 전자 장치.
  15. 제 14항에 있어서,
    상기 시각화 효과 표시부는,
    상기 오디오 출력부의 주변에 배치되는, 전자 장치.
  16. 음악 컨텐츠에 대응하는 정보를 포함하는 화면을 표시하고 시각화 효과를 제공하는 전자 장치의 제어 방법에 있어서,
    음악 컨텐츠의 재생에 대응하는 사용자 입력이 수신되면, 상기 수신된 사용자 입력에 의해 재생되는 상기 음악 컨텐츠에 대응하는 정보를 포함하는 화면을 표시하는 단계;
    상기 음악 컨텐츠에 대응한 시각화 효과를 제공하는 단계;
    상기 전자 장치의 주변 영역의 환경 정보에 따라 상기 시각화 효과를 변경하는 단계;를 포함하는, 제어 방법.
  17. 제16항에 있어서,
    상기 전자 장치의 주변 영역의 환경 정보는,
    상기 전자 장에 포함된 조도 센서를 통해 획득되는 상기 전자 장치의 주변 영역의 밝기 정보인, 제어 방법.
  18. 제16항에 있어서,
    상기 전자 장치의 주변 영역의 환경 정보는,
    상기 음악 컨텐츠가 재생되는 환경의 상황 정보이고,
    상기 변경하는 단계는,
    상기 음악 컨텐츠가 재생되는 환경의 상황 정보에 기초하여 상기 제공된 시각화 효과를 변경하는, 제어 방법.
  19. 제18항에 있어서,
    상기 상황 정보는,
    날씨 정보, 날짜 정보, 시간 정보, 상기 전자 장치 주변의 밝기 정보 및 재생 리스트 속성 정보 중 적어도 하나를 포함하고,
    상기 변경하는 단계는,
    상기 상황 정보에 기초하여 상기 제공된 시각화 효과의 색상, 명도, 채도, 대비, 변화 속도 및 변화 범위 중 적어도 하나를 변경하고,
    상기 시각화 효과를 제공하는 단계는,
    상기 변경된 시각화 효과의 색상, 명도, 채도, 대비, 변화 속도 및 변화 범위 중 적어도 하나에 기초하여 상기 시각화 효과를 제공하는, 제어 방법.
  20. 제16항에 있어서,
    상기 시각화 효과에 대응하는 제1 UI(User Interface)를 표시하는 단계; 및
    상기 제1 UI를 통해 제1 사용자 입력이 수신되면, 상기 수신된 제1 사용자 입력에 기초하여 상기 시각화 효과를 변경하는 단계;를 더 포함하는, 제어 방법.







KR1020220093526A 2015-10-07 2022-07-27 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법 KR102575013B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220093526A KR102575013B1 (ko) 2015-10-07 2022-07-27 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
KR1020230115700A KR20230132744A (ko) 2015-10-07 2023-08-31 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150140874A KR102358025B1 (ko) 2015-10-07 2015-10-07 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
KR1020220011807A KR102427898B1 (ko) 2015-10-07 2022-01-26 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
KR1020220093526A KR102575013B1 (ko) 2015-10-07 2022-07-27 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020220011807A Division KR102427898B1 (ko) 2015-10-07 2022-01-26 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230115700A Division KR20230132744A (ko) 2015-10-07 2023-08-31 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법

Publications (2)

Publication Number Publication Date
KR20220113647A true KR20220113647A (ko) 2022-08-16
KR102575013B1 KR102575013B1 (ko) 2023-09-06

Family

ID=57348437

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020150140874A KR102358025B1 (ko) 2015-10-07 2015-10-07 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
KR1020220011807A KR102427898B1 (ko) 2015-10-07 2022-01-26 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
KR1020220093526A KR102575013B1 (ko) 2015-10-07 2022-07-27 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
KR1020230115700A KR20230132744A (ko) 2015-10-07 2023-08-31 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020150140874A KR102358025B1 (ko) 2015-10-07 2015-10-07 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
KR1020220011807A KR102427898B1 (ko) 2015-10-07 2022-01-26 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230115700A KR20230132744A (ko) 2015-10-07 2023-08-31 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법

Country Status (4)

Country Link
US (5) US10237669B2 (ko)
EP (3) EP3719791A1 (ko)
KR (4) KR102358025B1 (ko)
CN (3) CN112434181A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102636480B1 (ko) * 2023-11-28 2024-02-13 윤주희 인공지능 영상생성 시스템

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD839893S1 (en) * 2016-05-12 2019-02-05 Sap Se Display screen or portion thereof with graphical user interface for time sheet data presentation
US9763021B1 (en) * 2016-07-29 2017-09-12 Dell Products L.P. Systems and methods for display of non-graphics positional audio information
CN107221021B (zh) * 2017-05-19 2021-07-13 北京酷我科技有限公司 一种音频频谱动画的绘制算法
CN107329980B (zh) * 2017-05-31 2022-04-12 福建星网视易信息系统有限公司 一种基于音频的实时联动显示方法及存储设备
CN107343085A (zh) * 2017-06-08 2017-11-10 广东欧珀移动通信有限公司 音乐播放方法及相关产品
CN107464572B (zh) * 2017-08-16 2020-10-16 重庆科技学院 多模式交互音乐感知系统及其控制方法
US20190066607A1 (en) * 2017-08-25 2019-02-28 Soweto Abijah Mitchell Visual Representation of Electromagnetic Signals Utilizing Controlled Electrostatic and Electromagnetic Vibration Energy within Transparent Conductive Enclosures
KR102614048B1 (ko) 2017-12-22 2023-12-15 삼성전자주식회사 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법
USD879138S1 (en) * 2018-03-16 2020-03-24 Magic Leap, Inc. Display panel or portion thereof with a transitional graphical user interface
KR102579452B1 (ko) 2018-09-05 2023-09-15 삼성전자주식회사 영상 표시 장치 및 그 동작방법
EP3644616A1 (en) 2018-10-22 2020-04-29 Samsung Electronics Co., Ltd. Display apparatus and operating method of the same
CN109495767A (zh) * 2018-11-29 2019-03-19 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN112395530A (zh) * 2019-08-19 2021-02-23 北京字节跳动网络技术有限公司 数据内容的输出方法、装置、电子设备及计算机可读介质
US11138714B2 (en) * 2019-09-04 2021-10-05 International Business Machines Corporation Augmented reality pattern overlays to facilitate waste reduction
USD918252S1 (en) * 2020-02-05 2021-05-04 Slack Technologies, Inc. Display screen or portion thereof with animated graphical user interface
CN111488091A (zh) * 2020-04-16 2020-08-04 深圳传音控股股份有限公司 移动终端的界面显示方法、移动终端及存储介质
DK202070625A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
KR102343675B1 (ko) * 2020-09-14 2021-12-29 뉴튠(주) 음악 정보 시각화 서비스 제공 방법과 장치 및 이를 포함하는 내비게이션 시스템
CN112259062B (zh) * 2020-10-20 2022-11-04 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质
US11694590B2 (en) * 2020-12-21 2023-07-04 Apple Inc. Dynamic user interface with time indicator
CN112995628B (zh) * 2021-03-05 2022-10-04 深圳市火乐科技发展有限公司 投影控制方法、装置、存储介质及投影设备
US11915669B2 (en) * 2021-05-20 2024-02-27 Soclip! Automatic display modulation based on audio artifact composition
US11354845B1 (en) * 2021-06-01 2022-06-07 Royal Caribbean Cruises Ltd. Multi-location disc jockey
US20220405982A1 (en) * 2021-06-21 2022-12-22 Lemon Inc. Spectrum algorithm with trail renderer
US11924944B1 (en) * 2021-10-12 2024-03-05 Fourstar Group Inc. System and method for voice-activated lighting control
CN113971013A (zh) * 2021-10-25 2022-01-25 北京字节跳动网络技术有限公司 音乐的音效播放方法及设备
KR20230090921A (ko) 2021-12-15 2023-06-22 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
USD1018565S1 (en) * 2022-05-20 2024-03-19 Robert Allen Display panel or portion thereof with a graphical user interface
KR102668251B1 (ko) 2023-04-05 2024-05-24 (주)리뉴스 3ｄ 홀로그램 오디오북 디바이스를 이용한 컨텐츠 제공 시스템
CN117428782A (zh) * 2023-12-04 2024-01-23 南开大学 一种微纳目标声波操纵方法及声波操纵平台

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050275626A1 (en) * 2000-06-21 2005-12-15 Color Kinetics Incorporated Entertainment lighting system
US20110015765A1 (en) * 2009-07-15 2011-01-20 Apple Inc. Controlling an audio and visual experience based on an environment
US20110096073A1 (en) * 2009-10-23 2011-04-28 Sony Corporation, A Japanese Corporation Music-visualizer system and methods
KR20120129337A (ko) * 2011-05-19 2012-11-28 인하대학교 산학협력단 오디오 신호의 시각화 장치
US20150155006A1 (en) * 2013-12-04 2015-06-04 Institute For Information Industry Method, system, and computer-readable memory for rhythm visualization

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1295515B1 (en) * 2000-06-21 2011-12-28 Philips Solid-State Lighting Solutions, Inc. Method and apparatus for controlling a lighting system in response to an audio input
US7297860B2 (en) 2004-11-12 2007-11-20 Sony Corporation System and method for determining genre of audio
JP2006330624A (ja) 2005-05-30 2006-12-07 Fujifilm Holdings Corp 音声可視化装置、音声可視化方法及び音声可視化プログラム
JP2007004404A (ja) * 2005-06-22 2007-01-11 Matsushita Electric Ind Co Ltd コンテンツ再生システム
JP2007133273A (ja) * 2005-11-11 2007-05-31 Toshiba Corp 携帯型電子機器および携帯型音楽再生装置。
US20090067605A1 (en) * 2006-02-21 2009-03-12 Holm Jukka A Video Sequence for a Musical Alert
US8370747B2 (en) 2006-07-31 2013-02-05 Sony Mobile Communications Ab Method and system for adapting a visual user interface of a mobile radio terminal in coordination with music
KR100852196B1 (ko) 2007-02-12 2008-08-13 삼성전자주식회사 음악 재생 시스템 및 그 방법
JP4372169B2 (ja) 2007-02-26 2009-11-25 株式会社ソニー・コンピュータエンタテインメント オーディオ再生装置およびオーディオ再生方法
KR101482103B1 (ko) * 2008-01-14 2015-01-13 엘지전자 주식회사 날씨정보 표현이 가능한 휴대 단말기 및 그 제어방법
US8306969B2 (en) * 2008-09-23 2012-11-06 Microsoft Corporation Linking search queries to rich media themes
JP2010139946A (ja) 2008-12-15 2010-06-24 Roland Corp 電子楽器
KR20100114247A (ko) 2009-04-15 2010-10-25 엘지전자 주식회사 이동 단말기 및 그 디스플레이 방법
JP2013505474A (ja) 2009-09-21 2013-02-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオデータ処理方法及び装置
CN101853668B (zh) * 2010-03-29 2014-10-29 北京中星微电子有限公司 一种将midi音乐生成动画的方法和系统
CN101916569B (zh) * 2010-08-03 2015-05-06 北京中星微电子有限公司 一种显示声音的方法和装置
KR20120051343A (ko) 2010-11-12 2012-05-22 한국전자통신연구원 음악 시각화 방법을 이용한 음악 재생 시스템 및 방법
WO2012171583A1 (en) * 2011-06-17 2012-12-20 Nokia Corporation Audio tracker apparatus
US20130083060A1 (en) * 2011-09-29 2013-04-04 Richard James Lawson Layers of a User Interface based on Contextual Information
JP5685177B2 (ja) * 2011-12-12 2015-03-18 本田技研工業株式会社 情報伝達システム
US20150020094A1 (en) * 2012-02-10 2015-01-15 Lg Electronics Inc. Image display apparatus and method for operating same
JP5929535B2 (ja) 2012-06-13 2016-06-08 ソニー株式会社 エフェクト制御装置、エフェクト制御方法、およびプログラム
KR20150055262A (ko) 2013-11-13 2015-05-21 서원영 모바일기기를 이용한 소리의 시각화 표시방법
KR101520572B1 (ko) 2014-01-09 2015-05-18 중앙대학교 산학협력단 음악에 대한 복합 의미 인식 방법 및 그 장치
KR102226817B1 (ko) * 2014-10-01 2021-03-11 삼성전자주식회사 콘텐츠 재생 방법 및 그 방법을 처리하는 전자 장치
CN104732983B (zh) * 2015-03-11 2018-03-16 浙江大学 一种交互式音乐可视化方法和装置
US10289654B2 (en) * 2016-03-31 2019-05-14 Google Llc Smart variable expressive text or graphics for electronic communications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050275626A1 (en) * 2000-06-21 2005-12-15 Color Kinetics Incorporated Entertainment lighting system
US20110015765A1 (en) * 2009-07-15 2011-01-20 Apple Inc. Controlling an audio and visual experience based on an environment
US20110096073A1 (en) * 2009-10-23 2011-04-28 Sony Corporation, A Japanese Corporation Music-visualizer system and methods
KR20120129337A (ko) * 2011-05-19 2012-11-28 인하대학교 산학협력단 오디오 신호의 시각화 장치
US20150155006A1 (en) * 2013-12-04 2015-06-04 Institute For Information Industry Method, system, and computer-readable memory for rhythm visualization

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102636480B1 (ko) * 2023-11-28 2024-02-13 윤주희 인공지능 영상생성 시스템

Also Published As

Publication number Publication date
EP3154051A1 (en) 2017-04-12
KR102575013B1 (ko) 2023-09-06
KR20170041447A (ko) 2017-04-17
CN112434181A (zh) 2021-03-02
KR20230132744A (ko) 2023-09-18
US20170105081A1 (en) 2017-04-13
US10237669B2 (en) 2019-03-19
US20200236484A1 (en) 2020-07-23
EP4213101A1 (en) 2023-07-19
US10645506B2 (en) 2020-05-05
CN115312086A (zh) 2022-11-08
KR20220018996A (ko) 2022-02-15
US20240031753A1 (en) 2024-01-25
US11812232B2 (en) 2023-11-07
CN106571149B (zh) 2022-08-30
KR102358025B1 (ko) 2022-02-04
KR102427898B1 (ko) 2022-08-02
CN106571149A (zh) 2017-04-19
EP3719791A1 (en) 2020-10-07
US20210385599A1 (en) 2021-12-09
US20190174242A1 (en) 2019-06-06
US11128970B2 (en) 2021-09-21

Similar Documents

Publication Publication Date Title
KR102427898B1 (ko) 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
US9984686B1 (en) Mapping device capabilities to a predefined set
KR102545837B1 (ko) 디스플레이 장치, 디스플레이 장치의 배경음악 제공방법 및 배경음악 제공 시스템
US10848871B2 (en) Content output system, display apparatus and control method thereof
CN105846865B (zh) 用于蓝牙音频传输的方法、设备和系统
US10356870B2 (en) Controller for controlling a light source and method thereof
US11259390B2 (en) Rendering a dynamic light scene based on one or more light settings
US11232306B2 (en) Display apparatus and control method thereof
US20210019113A1 (en) Display apparatus and controlling method thereof
KR20190115256A (ko) 전자장치, 그 제어방법 및 기록매체
KR20200078184A (ko) 전자 장치 및 그 제어 방법
KR102661340B1 (ko) 전자 장치 및 이의 제어 방법
JP2017204745A (ja) プログラム
KR20210049582A (ko) 전자 장치 및 그 제어 방법
KR20220061922A (ko) 오디오 재생 장치 및 그의 동작 제어 방법
WO2023139044A1 (en) Determining light effects based on audio rendering capabilities
JP2024037768A (ja) プログラム
WO2022157067A1 (en) Determining a lighting device white point based on a display white point
CN116349411A (zh) 同步光效果和该光效果的口头描述

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant