KR20180088184A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20180088184A
KR20180088184A KR1020170012941A KR20170012941A KR20180088184A KR 20180088184 A KR20180088184 A KR 20180088184A KR 1020170012941 A KR1020170012941 A KR 1020170012941A KR 20170012941 A KR20170012941 A KR 20170012941A KR 20180088184 A KR20180088184 A KR 20180088184A
Authority
KR
South Korea
Prior art keywords
octave
audio signal
signal
frequency
filter bank
Prior art date
Application number
KR1020170012941A
Other languages
English (en)
Other versions
KR102689087B1 (ko
Inventor
김종우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170012941A priority Critical patent/KR102689087B1/ko
Priority to MX2019008851A priority patent/MX2019008851A/es
Priority to PCT/KR2018/000017 priority patent/WO2018139774A1/en
Priority to EP18744770.1A priority patent/EP3545517A4/en
Priority to US15/869,774 priority patent/US10522123B2/en
Publication of KR20180088184A publication Critical patent/KR20180088184A/ko
Application granted granted Critical
Publication of KR102689087B1 publication Critical patent/KR102689087B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/12—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms
    • G10H1/125—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms using a digital filter
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/081—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs or seven segments displays
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/201—Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
    • G10H2240/235—Pulse amplitude modulation, e.g. quantized or analog
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/055—Filters for musical processing or musical effects; Filter responses, filter architecture, filter coefficients or control parameters therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/135—Autocorrelation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/235—Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/631—Waveform resampling, i.e. sample rate conversion or sample depth conversion
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/12—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by detecting audible sound

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Auxiliary Devices For Music (AREA)
  • Stereophonic System (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는, 오디오 신호를 입력받는 입력부, 입력된 오디오 신호를 처리하는 프로세서 및, 처리된 오디오 신호를 출력하는 출력부를 포함하며, 프로세서는, 오디오 신호의 샘플링 주파수에 기초하여 오디오 신호에 기설정된 필터 뱅크를 적용하여 제1 옥타브의 음계를 검출하고, 오디오 신호를 다운 샘플링하고 다운 샘플링된 신호에 필터 뱅크를 적용하여 제1 옥타브보다 낮은 제2 옥타브의 음계를 검출할 수 있다.

Description

전자 장치 및 그 제어 방법 { Electronic apparatus and control method thereof }
본 발명은 전자 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 오디오 신호의 음계 검출이 가능한 전자 장치 및 그 제어 방법에 관한 것이다.
기존의 음계 검출 방법으로는, FFT 기반으로 주파수 도메인으로 변환하는 방법, 입력 데이터에 목표 피치(pitch) 만큼의 딜레이를 주어 self-correlation 을 구하는 방법 등이 있다.
FFT 기반의 방법은 한 번의 연산으로 넓은 옥타브 대역을 모두 분석/음계 검출할 수 있지만 많은 연산을 필요로 하고 충분한 해상도를 얻기 위해서는 넓은 윈도우(window)를 필요로 해 많은 딜레이가 발생한다는 문제점이 있다.
Self-correlation 방법의 경우 검출하고자 하는 음계의 수에 비례하는 연산을 필요로 하고 주파수가 높아질수록 음계 간 딜레이 차이가 크지 않아 충분한 해상도를 얻기 어렵다는 문제점이 있다. 즉, 높은 주파수 영역에서 정확한 음계 검출이 어렵다는 문제가 있다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 동일한 디지털 필터를 이용하여 복수의 옥타브에서 음계 검출이 가능한 전자 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 오디오 신호를 입력받는 입력부, 상기 입력된 오디오 신호를 처리하는 프로세서 및, 상기 처리된 오디오 신호를 출력하는 출력부를 포함하며, 상기 프로세서는, 상기 오디오 신호의 샘플링 주파수에 기초하여 상기 오디오 신호에 기설정된 필터 뱅크를 적용하여 상기 제1 옥타브의 음계를 검출하고, 상기 오디오 신호를 다운 샘플링하고 상기 다운 샘플링된 신호에 상기 필터 뱅크를 적용하여 상기 제1 옥타브보다 낮은 제2 옥타브의 음계를 검출하는 프로세서를 포함한다.
여기서, 상기 오디오 신호는 압축된 시간 영역 신호이며, 상기 프로세서는, 상기 오디오 신호를 디코딩하여 PAM(pulse amplitude modulation) 신호 및 상기 PAM 신호의 샘플링 주파수에 대한 정보를 획득하며, 상기 PAM 신호를 주파수 영역 신호로 변환하고 상기 샘플링 주파수에 기초하여 상기 필터 뱅크를 적용할 수 있다.
또한, 상기 필터 뱅크는, 복수의 타겟 음계 각각에 대응되는 주파수 대역을 필터링하는 복수의 디지털 필터를 포함할 수 있다.
또한, 상기 복수의 디지털 필터는, 상기 오디오 신호의 샘플링 주파수 및 상기 제1 옥타브의 음계 각각에 대응되는 복수의 주파수에 기초하여 결정된 중심 주파수를 가지는 밴드 패스필터일 수 있다.
또한, 상기 복수의 디지털 필터는, 정규화된 주파수 도메인에서 상기 복수의 주파수를 각각 중심 주파수를 가지는 밴드 패스 필터이며, 샘플링 주파수가 1/2로 감소하면, 상기 중심 주파수 각각이 1/2로 감소하도록 구현될 수 있다.
또한, 상기 프로세서는, 상기 오디오 신호를 1/2 다운 샘플링한 신호에 상기 필터 뱅크를 적용하여 상기 제2 옥타브의 음계를 검출하고, 상기 오디오 신호를 1/4 다운 샘플링한 신호에 상기 필터 뱅크를 적용하여 상기 제2 옥타브보다 낮은 제3 옥타브의 음계를 검출할 수 있다.
여기서, 상기 제2 옥타브는 제1 옥타브보다 한 옥타브 낮은 옥타브이며, 상기 제3 옥타브는, 제2 옥타브보다 한 옥타브 낮은 옥타브일 수 있다.
또한, 상기 제1 옥타브는, 타겟 옥타브 중 최고 옥타브이며, 상기 오디오 신호는, 상기 제1 옥타브의 최고 주파수의 2배 이상으로 샘플링된 신호일 수 있다.
또한, 복수의 발광 소자를 포함하는 표시부를 더 포함하며, 상기 프로세서는, 상기 출력되는 오디오 신호에서 검출된 음계에 기초하여 상기 복수의 발광 소자의 발광 상태를 제어할 수 있다.
또한, 상기 프로세서는, 상기 출력되는 오디오 신호에서 검출되는 음계의 옥타브에 기초하여, 상기 음계에 대응되는 발광 소자의 발광 시간, 발광 횟수 및 발광 세기 중 적어도 하나를 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은, 입력된 오디오 신호의 샘플링 주파수에 기초하여 상기 오디오 신호에 기설정된 필터 뱅크를 적용하여 상기 제1 옥타브의 음계를 검출하는 단계 및, 상기 오디오 신호를 다운 샘플링하고 상기 다운 샘플링된 신호에 상기 필터 뱅크를 적용하여 상기 제1 옥타브보다 낮은 제2 옥타브의 음계를 검출하는 단계를 포함할 수 있다.
여기서 상기 오디오 신호는 압축된 시간 영역 신호이며, 상기 제어 방법은, 상기 오디오 신호를 디코딩하여 PAM(pulse amplitude modulation) 신호 및 상기 PAM 신호의 샘플링 주파수에 대한 정보를 획득하는 단계를 더 포함하며, 상기 제1 옥타브의 음계를 검출하는 단계는, 상기 PAM 신호를 주파수 영역 신호로 변환하고 상기 샘플링 주파수에 기초하여 상기 필터 뱅크를 적용할 수 있다.
또한, 상기 필터 뱅크는, 복수의 타겟 음계 각각에 대응되는 주파수 대역을 필터링하는 복수의 디지털 필터를 포함할 수 있다.
또한, 상기 복수의 디지털 필터는, 상기 샘플링 주파수 및 상기 제1 옥타브의 음계 각각에 대응되는 복수의 주파수에 기초하여 결정된 중심 주파수를 가지는 밴드 패스 필터일 수 있다.
또한, 상기 복수의 디지털 필터는, 정규화된 주파수 도메인에서 상기 복수의 주파수를 각각 중심 주파수를 가지는 밴드 패스 필터이며, 샘플링 주파수가 1/2로 감소하면, 상기 중심 주파수 각각이 1/2로 감소하도록 구현될 수 있다.
또한, 상기 제2 옥타브의 음계를 검출하는 단계는, 상기 오디오 신호를 1/2 다운 샘플링한 신호에 상기 필터 뱅크를 적용하여 상기 제2 옥타브의 음계를 검출하고, 상기 제어 방법은, 상기 오디오 신호를 1/4 다운 샘플링한 신호에 상기 필터 뱅크를 적용하여 상기 제2 옥타브보다 낮은 제3 옥타브의 음계를 검출하는 단계를 더 포함할 수 있다.
여기서, 상기 제2 옥타브는 제1 옥타브보다 한 옥타브 낮은 옥타브이며, 상기 제3 옥타브는, 제2 옥타브보다 한 옥타브 낮은 옥타브일 수 있다.
또한, 상기 제1 옥타브는, 타겟 옥타브 중 최고 옥타브이며, 상기 오디오 신호는, 상기 제1 옥타브의 최고 주파수의 2배 이상으로 샘플링된 신호일 수 있다.
또한, 상기 전자 장치는, 복수의 발광 소자를 구비하며, 상기 출력되는 오디오 신호에서 검출된 음계에 기초하여 상기 복수의 발광 소자의 발광 상태를 제어하는 단계를 더 포함하며, 상기 제어하는 단계는, 출력되는 오디오 신호에서 검출되는 음계의 옥타브에 기초하여, 상기 음계에 대응되는 발광 소자의 발광 시간, 발광 횟수 및 발광 세기 중 적어도 하나를 제어할 수 있다.
또한, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 수행하기 위한 프로그램이 저장된 기록 매체에 있어서, 상기 방법은, 입력된 오디오 신호의 샘플링 주파수에 기초하여 상기 오디오 신호에 기설정된 필터 뱅크를 적용하여 상기 제1 옥타브의 음계를 검출하는 단계 및, 상기 오디오 신호를 다운 샘플링하고 상기 다운 샘플링된 신호에 상기 필터 뱅크를 적용하여 상기 제1 옥타브보다 낮은 제2 옥타브의 음계를 검출하는 단계를 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 기존 음계 검출에 사용되는 FFT 기반의 방식에 비해 연산 횟수를 감소시킬 수 있으며, 더 넓은 주파수 대역의 음계 검출이 가능하게 된다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 2a 및 도 2b는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 이해를 돕기 위한 샘플링 방법을 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 발명의 이해를 돕기 위한 옥타브 및 음계 별 표준 주파수를 설명하기 위한 도면이다.
도 5a 및 도 5b, 도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 디지털 필터를 설명하기 위한 도면들이다.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 프로세서의 세부 동작을 설명하기 위한 블럭도이다.
도 9는 본 발명의 일 실시 예에 따른 라이트 피드백 제공 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 개시에 대해 상세히 설명하도록 한다. 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 나아가, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 개시의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따른 전자 장치(100)는 음향 출력이 가능하며, 출력되는 오디오 신호에 따른 라이팅 효과를 제공하도록 구현될 수 있다. 예를 들어, 도시된 바와 같이 복수 개의 발광 소자를 구비한 스피커 장치, TV 등과 같은 디스플레이 장치 등으로 구현될 수 있으나, 이에 한정되는 것은 아니며, Wireless 스피커, 사운드 바, 스마트 폰, 태블릿, PC, LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 비디오 월(video wall), 프로젝터 디스플레이 등과 같은 다양한 장치로 구현 가능하다.
도시된 바와 같이 전자 장치(100)는 복수 개의 발광 소자(10)를 구비하여, 출력되는 오디오 신호에 따라 복수 개의 발광 소자 중 적어도 하나를 발광하여 라이팅 효과를 제공할 수 있다. 여기서, 라이팅 효과는 현재 출력되는 오디오 신호의 주파수 레벨, 예를 들어 각 음계에 대응되는 발광 소자를 발광하여 피드백을 제공하는 것을 의미한다. 예를 들어, 전자 장치(100)는 복수 개의 발광 소자를 각 음계, 각 옥타브, 각 옥타브의 음계 등에 맵핑하여, 출력되는 오디오 신호에 해당 음계(또는 해당 옥타브)가 포함되어 있으면, 해당 발광 소자가 발광하는 형태로 동작할 수 있다.
다만, 전자 장치(100)는 발광 소자를 구비하지 않고, 복수 개의 발광 소자를 구비하는 외부 장치와 통신을 수행하도록 구현되는 것도 가능하다. 이 경우, 전자 장치(100)는 출력되는 오디오 신호의 음계를 분석하여 검출된 음계 정보에 따라 외부 장치에 구비된 발광 소자의 발광 상태를 제어하거나, 검출된 음계 정보를 외부 장치로 전송하도록 구현되는 것도 가능하다.
한편, 본 발명의 일 실시 예에 따른 전자 장치(100)는 디지털 필터를 이용하여 복수 개의 옥타브 각각의 음계를 검출할 수 있는데, 이하에서는 도면을 참고하여 본 발명의 다양할 실시 예에 대해 설명하도록 한다.
도 2a는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2a에 따르면, 전자 장치(100)는, 입력부(110), 필터 뱅크(120) 및 프로세서(130)를 포함한다.
입력부(110)는 오디오 신호를 입력받는다. 예를 들어, 입력부(110)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN, 이더넷, IEEE 1394, HDMI, USB 등과 같은 통신 방식을 통해 외부 장치, 외부 서버 등으로부터 오디오 신호를 입력받을 수 있다.
여기서, 오디오 신호는 디지털 오디오 신호가 될 수 있다. 디지털 오디오 신호는 아날로그 신호를 데이터화 한 것이고, 이 데이터는 통신규약((protocol)에 의해서 일정한 ‘전송 포맷(format)'을 사용하도록 정해져 있다.
예를 들어, 디지털 오디오 신호는 아날로그 오디오 신호가 PCM(Pulse Code Modulation) 방식에 따라 변조된 신호 형태가 될 수 있다. 시간적 연속성을 갖는 아날로그 신호를 시간적으로 이산적인 신호로 변환하는 방식을 PCM 방식이라 한다. 구체적으로, 아날로그 신호를 샘플링하여 PAM(Pulse Amplitude Modulation) 신호를 생성하고, PAM 신호 즉, 이산적 신호의 샘플링 값(진폭)을 양자화하고, 2진 또는 다진 비트 스트링(디지털 신호)로 인코딩하는 방식을 PCM 방식이라 한다. 즉, 송신측은 아날로그 오디오 신호를 샘플링하여 PAM 신호로 변환하고, PAM 신호의 각 표본화 펄스를 양자화하여 부호로 변환하여 PCM 신호를 송신하게 된다. 이에 따라, 전자 장치(100)는 수신된 오디오 신호(즉, PCM 신호)를 디코딩하여 PAM 신호로 변환하고, 필터로 보간(interpolating)하여 원래의 입력 신호를 얻게 된다.
한편, 입력된 디지털 오디오 신호는 상술한 바와 같이 기설정된 샘플링 주파수로 샘플링된 신호가 될 수 있다. 여기서, 샘플링 주파수(Hz(헤르츠)란, 원래의 아날로그 신호에서 1초에 채취되는 신호의 대표값의 갯수를 의미한다. 즉, 1초에 샘플링 횟수가 10번이면 샘플링 주파수가 10Hz, 100번이면 100Hz로 표현된다.
예를 들어, 디지털 오디오 신호는, 샘플링 이론(Sampling theorem)(또는 나이키스트(Nyquist) 이론)에 따라 아날로그 오디오 신호에 포함된 최고 주파수보다 2배 이상 주파수로 샘플링된 신호일 수 있다. 즉, 도 3에 도시된 바와 같이 나이퀴스트 간격(또는 샘플링 타임 간격) 기준으로 샘플링된 신호가 될 수 있다.
일 예로, 사람의 최대 가청 주파수를 20 kHz로 가정하고, 20 kHz의 두 배 이상으로 샘플링된 신호일 수 있다. 예를 들어, 44.1 kHz, 48 kHz 등으로 샘플링된 신호가 될 수 있다. 여기서, 44.1 kHz는 20 kHz의 2배에 10% 오차를 감안한 것이며, CD 디지털 오디오의 표준 샘플 레이트이다. 48 kHz는 44.1 kHz보다 음질을 극대화시키기 위해 DVD 등에서 채택한 것이며, 48 kHz로 샘플링했다는 것은 아날로그 오디오 신호에서 1 초 동안 48,000개의 샘플을 추출했다는 의미이다. 물론 이에 한정되는 것은 아니며, 용도에 따라 32 kHz, 38 kHz, 44.1kHz, 88.2kHz, 96kHz, 192 kHz 등 다양한 샘플링 주파수가 이용될 수 있다. 다만, 이하에서는 설명의 편의를 위하여 디지털 오디오 신호가 48 kHz로 샘플링된 신호인 것으로 상정하여 설명하도록 한다.
필터 뱅크(120)는 적어도 하나의 타겟 음계 각각에 대응되는 주파수 대역을 필터링하는 기능을 한다. 여기서, 필터 뱅크(120)는 DSP(digital signal processor)나 승산기 LSI 등으로 구현될 수 있다. 다만, 경우에 따라서는 CPU 등으로 구현되는 것도 가능하다. 필터 뱅크(120)는 후술하는 프로세서(130)로 구현될 수 있으나, 설명의 편의를 위하여 별도의 구성 요소인 것으로 표시하였다.
특히, 필터 뱅크(120)는 한 옥타브 내의 타겟 음계의 개수에 대응되는 복수의 디지털 필터를 포함한다. 여기서, 복수의 디지털 필터 각각은 특정한 주파수 만을 필터링하는 밴드 패스 필터로 구현될 수 있다.
구체적으로, 복수의 디지털 필터는 기설정된 샘플링 주파수 및 기설정된 옥타브의 음계 각각에 대응되는 피치 정보에 기초하여 획득된 중심 주파수(컷 오프 주파수)를 가지는 밴드 패스 필터로 구현될 수 있다. 여기서, 피치란 오디오 신호의 높이를 나타내며 주파수와 유사한 의미를 가진다. 즉, 복수의 디지털 필터의 중심 주파수는 각 음계의 피치 정보 즉, 주파수 값이 될 수 있으며, 밴드 패스 필터의 대역폭은 중심 주파수를 기준으로 기설정된 임계 범위 내의 설정될 수 있다. 또한, 기설정된 샘플링 주파수는 입력되는 오디오 신호의 샘플링 주파수, 예를 들어 48kHz가 될 수 있으며, 기설정된 옥타브는 타겟 옥타브 중 최고 옥타브가 될 수 있다.
특히, 복수의 디지털 필터는, 정규화된 주파수 도메인에서 복수의 피치 정보에 각각 대응되는 중심 주파수를 가지는 밴드 패스 필터로 구현될 수 있다. 이 경우, 디지털 필터 각각은 샘플링 주파수가 1/2로 감소하면, 중심 주파수 각각이 리니어 스케일링되어 1/2로 감소하는 형태가 될 수 있다.
일 실시 예에 따라 복수의 디지털 필터 각각은 하나의 옥타브 내의 복수의 음계, 예를 들어 12 음계를 각각 필터링하도록 구현될 수 있다.
도 4a는 본 발명의 이해를 돕기 위한 옥타브 및 음계 별 표준 주파수를 설명하기 위한 도면이다.
음계란 음을 높이의 차례대로 배열한 음의 층계이며, 옥타브(octave)는 주파수가 두 배 차이가 나는 두 음계 사이의 음정이다. 음계는 옥타브마다 되풀이되는데, 예를 들어 1 옥타브는 12 음계(또는 반음계)로 구분될 수 있다. 다만, 이에 한정되는 것은 아니며, 1 옥타브 내 음계의 개수는 구분 형태에 따라 달라질 수 있다. 다만, 설명의 편의를 위하여 1 옥타브 내에 12 음계가 존재하는 것으로 상정하여 설명하도록 한다.
도 4a에 도시된 바와 같이 옥타브 및 음계 별 표준 주파수에 따르면, 인접한 음계는 2^(1/12) 배의 주파수를 가지는 특성이 있다. 예를 들어, "A4(라)" 음계인 신호가 440Hz 주파수를 가지며 이를 기준으로 1 음계 차이인 신호는 2^(1/12) 배의 주파수를 가지는 특성을 가지고 있다.
즉, 옥타브가 12 음계로 구성되는 경우, 도 4b에 도시된 바와 같은 형태의 주파수 특성을 가지게 되면, 이러한 방식으로 1 옥타브 즉, 12 음계 위의 음계는 2^(12/12)배 즉 2배의 주파수를 가지게 된다. 즉, "A4(라)" 음계의 신호인 440Hz를 기준으로 1 음계 높은 "A#4(라#)" 신호는 2^(1/12)배인 466.2Hz, 1 음계 낮은 "G#4(솔#)" 신호는 2^(-1/12)배인 415.3Hz 주파수를 가진다. 또한, "A4(라)" 신호보다 1옥타브 위인 "A5(라)" 신호는 2 배인 880Hz, 1 옥타브 아래인 "A3(라)" 신호는 1/2 배인 220Hz의 주파수를 가지게 된다. 이와 같이 음계가 1 옥타브 낮아질 때마다 주파수는 1/2로 낮아지는 특성이 있다.
상술한 바와 같은 옥타브의 주파수 특성 및, 오디오 신호의 샘플링 주파수와 디지털 필터의 컷 오프 주파수와의 관계에 기초하여 하나의 디지털 필터를 이용하여 서로 다른 옥타브 영역에서 동일한 음계를 검출할 수 있다. 예를 들어, 정규화된 주파수 도메인인 -π ~ π(또는 0 ~ 2π) 영역에서 정의된 디지털 필터를 이용하여 서로 다른 옥타브 영역에서 동일한 음계를 검출할 수 있다. 즉, 복수의 디지털 필터 각각은 입력 신호의 표본화 주파수에 따라 linear scaling 되어 서로 다른 옥타브 내의 각 음계를 검출하도록 구현될 수 있다.
예를 들어 정규화된 주파수 도메인에서 π/2 radian(샘플링 주파수의 1/4(=0.25))에 컷 오프 주파수를 가지는 디지털 필터를 48 kHz로 샘플링 된 입력 신호에 적용하면 12 kHz에 중심 주파수를 가지는 필터로 동작하게 된다.
또한, 동일한 디지털 필터를 1/2로 다운 샘플링 한 신호 즉, 24kHz로 샘플링 된 신호에 적용하게 되면 π/2 radian에 컷 오프 주파수를 가지는 디지털 필터는 각각 6kHz에 중심 주파수를 가지게 된다.
이를 반복하여 샘플링 주파수가 12kHz, 6kHz 가 되면, 디지털 필터의 중심 주파수는 3kHz, 1.5kHz 등이 되어 하나의 필터로 (1/2)^n의 주파수에 해당하는 각각의 주파수에 대해 동일한 필터링을 수행할 수 있게 된다.
프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어한다. 프로세서(130)는 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit) 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 디지털 시그널 프로세서(digital signal processor(DSP))로 구현될 수 있고, 컨텐츠 프로세싱 알고리즘이 내장된 SoC로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
일 실시 예에 따라, 프로세서(130)가 DSP로 구현되는 경우 필터 뱅크(120)의 기능을 함께 수행하도록 구현될 수 있다. 다른 실시 예에 따라, 프로세서(130)는 CPU로 구현되고, 필터 뱅크(120)는 DSP로 구현될 수 있다. 또 다른 실시 예에 따라 필터 뱅크(120) 및 프로세서(130) 모두 CPU로 구현될 수도 있음은 물론이다.
프로세서(130)는 입력된 오디오 신호를 신호 처리하여 필터 뱅크(120)를 적용하기에 적합한 형태로 변환할 수 있다. 여기서, 입력된 오디오 신호는 시간 영역 신호, 구체적으로는 시간 영역에서 샘플링된 신호가 될 수 있다.
프로세서(130)는 시간 영역 신호를 주파수 영역 신호로 변환하고, 주파수 영역 신호에 필터 뱅크를 적용할 수 있다. 예를 들어, 프로세서(130)는 수신된 오디오 신호(즉, PCM 신호)를 디코딩하여 PAM 신호를 획득한 후 주파수 영역 신호로 변환할 수 있다.
한편, 입력된 오디오 신호는 오디오 압축 규격에 따라 압축된 신호가 될 수 있으며, 압축 신호에는 오디오 신호에 대한 부가 정보 특히, 샘플링 주파수에 대한 정보(샘플링 레이트)가 포함될 수 있다. 예를 들어, 입력된 오디오 신호가 MPEG 2 또는 MPEG 4 규격에 따라 압축된 경우 MPEG 2 또는 MPEG 4 전송 스트림 형태가 될 수 있으며, 전송 스트림을 구성하는 전송 패킷의 헤더 등에 해당 정보가 포함될 수 있다. 다만, 오디오 신호가 압축 전송되는 경우 그 외의 다양한 압축 규격에 따라 압축 전송될 수 있음은 물론이다.
이 경우, 프로세서(130)는 압축 신호를 디코딩하여 PCM 신호를 획득함과 동시에 샘플링 주파수에 대한 정보를 획득할 수 있다.
프로세서(130)는 주파수 영역 신호에 필터 뱅크(120)를 적용하여 제1 옥타브의 음계를 검출할 수 있다.
또한, 프로세서(130)는 오디오 신호를 다운 샘플링하고, 다운 샘플링된 신호에 필터 뱅크(120)를 각각 적용하여 제1 옥타브보다 낮은 제2 옥타브의 음계를 검출 수 있다. 구체적으로, 프로세서(130)는 PAM 신호를 다운 샘플링한 후, 주파수 영역 신호로 변환하여 필터 뱅크(120)를 적용할 수 있다.
특히, 프로세서(130)는 기설정된 주파수로 샘플링된 입력 오디오 신호에 복수의 디지털 필터를 각각 적용하여 제1 옥타브의 음계를 검출하고, 입력 오디오 신호가 1/2 다운 샘플링된 신호에 복수의 디지털 필터를 각각 적용하여 제1 옥타브보다 1 옥타브 낮은 제2 옥타브의 음계를 검출할 수 있다.
여기서, 1/2 다운 샘플링한다 함은, 기설정된 주파수로 샘플링된 입력 오디오 신호에서 2 개 간격의 샘플 만을 남기는 것을 의미한다. 특히, 입력 오디오 신호에 Anti-aliasing LPF(Low pass filter)를 적용한 후, 샘플링된 신호에서 2 개 간격의 샘플 만을 남길 수 있다. aliasing LPF를 적용하는 이유는 나이키스트 주파수보다 높은 주파수를 감쇠시켜 앨리어싱 요소들이 수집되는 것을 방지하기 위함이다. 또한, 프로세서(130)는 입력 오디오 신호가 1/4 다운 샘플링된 신호에 복수의 디지털 필터를 각각 적용하여 제2 옥타브보다 1 옥타브 낮은 제3 옥타브의 음계를 검출할 수 있다. 여기서, 1/4 다운 샘플링한다 함은, 기설정된 주파수로 샘플링된 입력 오디오 신호에 4 개 간격의 샘플 만을 남기는 것을 의미한다. 또는, 1/2 다운 샘플링된 신호에 2 개 간격의 샘플 만을 남기는 것을 의미한다. 이 경우에도 aliasing LPF를 적용할 수 있음은 물론이다.
예를 들어, 입력된 오디오 신호가 48 kHz로 샘플링되고, 최고 옥타브가 도 4a에 도시된 표에 기초하여 2093~3951 Hz, 즉 7 옥타브인 경우를 상정하도록 한다.
이 경우 샘플링 이론에 의해 샘플링된 데이터 즉, 입력된 오디오 신호가 가지는 최대 주파수는 24 kHz가 되므로, 도 4a에 도시된 표에 기초하여 각 음계에 대응되는 디지털 필터의 중심 주파수는 2093.005 Hz, 2217.461 Hz, 2349.318 Hz, 2489.016 Hz, 2637.020 Hz, 2793.826 Hz, 2959.955 Hz, 3135.963 Hz, 3322.438 Hz, 3520.000 Hz, 3729.310 Hz, 3951.066 Hz가 될 수 있다.
이와 같은 각 음계의 주파수에 기초하여 도 5a에 도시된 바와 같은 복수의 디지털 필터(501 내지 512)가 마련될 수 있다.
한편, 디지털 필터의 중심 주파수 위치는 최대 주파수에 대해 각각 2093.005/24000(C(도)), 2217.461/24000(C#), 2349.318/24000(D(레)), 2489.016/24000(D#), 2637.020/24000(E(미)), 2793.826/24000(F(파)), 2959.955/24000(F#), 3135.963/24000(G(솔)), 3322.438/24000(G#), 3520.000/24000(A(라)), 3729.310/24000(A#), 3951.066/24000(B(시))으로 결정될 수 있다.
즉, 각 음계에 대응되는 디지털 필터의 중심 주파수는 최대 주파수의 약 0.0872083, 0.09239420, 0/09788825, 0.103709, 0.10987583, 0.1164094, 0.1233331, 0.1306651, 0.138434917, 0.1466666, 0.15538792, 0.16462775와 같은 크기를 가지게 된다. 이와 같이 산출된 디지털 필터의 중심 주파수는 복수의 디지털 필터 각각의 정규화된 주파수가 될 수 있다. 즉, 정규화된 디지털 도메인에서 샘플링 주파수의 0.0872083, 0.09239420, 0/09788825, 0.103709, 0.10987583, 0.1164094, 0.1233331, 0.1306651, 0.138434917, 0.1466666, 0.15538792, 0.16462775 위치에서 차단 주파수를 가지게 된다.
이에 따라 48 kHz로 샘플링된 오디오 신호에 적용되는 정규화된 복수의 디지털 필터(521 내지 532)는 도 5b와 같은 형태가 될 수 있다.
동일한 방식으로, 32 kHz, 44.1 kHz로 샘플링된 오디오 신호에 적용되는 정규화된 복수의 디지털 필터는 각각 도 6a 및 도 6b에 도시된 바와 같은 형태가 될 수 있다.
한편, 프로세서(130)는 상술한 바와 같은 각 음계에 대응되는 중심 주파수를 가지는 복수의 디지털 필터(521 내지 523)를 48 kHz로 샘플링된 오디오 신호에 각각 적용하여 최고 옥타브 즉, 2093~3951 Hz(즉, 7 옥타브)의 12 음계를 각각 검출할 수 있다. 여기서, 8 옥타브는 제외시키는 것으로 가정하였다.
이어서, 프로세서(130)는 48 kHz로 샘플링된 오디오 신호를 1/2로 다운 샘플링하고, 다운 샘플링된 신호에 복수의 디지털 필터를 각각 적용하여 그 다음으로 높은 옥타브 즉, 1046~1975 Hz(즉, 6 옥타브)의 12 음계를 각각 검출할 수 있다. 즉, 샘플링 주파수가 1/2이 되면, 디지털 필터의 중심 주파수 또한 1/2이 된다. 이는 48 kHz로 샘플링된 오디오 신호에서는 샘플링 이론에 따라 24kHz 까지의 신호 검출이 가능하고, 샘플링 주파수가 1/2이 되면 즉, 24 kHz로 샘플링된 오디오 신호에서는 샘플링 이론에 따라 12kHz 까지의 신호 검출이 가능하기 때문이다. 이에 따라, 상대적 위치를 필터링하는 디지털 필터를 서로 다른 주파수로 샘플링된 신호에 적용하게 되면 샘플링 주파수에 따라 필터링하는 주파수가 리니어하게 스케일링되게 된다.
예를 들어, 상술한 실시 예에서 복수의 디지털 필터 각각의 정규화된 중심 주파수가 각각 0.0872083, 0.09239420, 0/09788825, 0.103709, 0.10987583, 0.1164094, 0.1233331, 0.1306651, 0.138434917, 0.1466666, 0.15538792, 0.16462775이므로, 24kHz로 다운 샘플링된 오디오 신호에 복수의 디지털 필터를 각각 적용하면, 12kHz 까지 검출 가능하므로 "C(도)" 음계는 0.0872083 * 12000 = 1046.5에 의해 검출되고, "C#" 음계는 0.09239420 * 12000 = 1108.73이 검출될 수 있게 된다.
이어서, 프로세서(130)는 24 kHz로 다운 샘플링된 오디오 신호를 1/2로 다운 샘플링하고, 다운 샘플링된 신호에 복수의 디지털 필터를 각각 적용하여 그 다음으로 높은 옥타브 즉, 523~987 Hz(즉, 5 옥타브)의 12 음계를 각각 검출할 수 있다. 즉, 12kHz로 다운 샘플링된 오디오 신호에 복수의 디지털 필터를 각각 적용하면, 6kHz 까지 검출 가능하므로 "C(도)" 음계는 0.0872083 * 6000 = 523.25에 의해 검출되고, "C#" 음계는 0.09239420 * 6000 = 554.365이 검출될 수 있게 된다.
이와 같은 방식으로 프로세서(130)는 오디오 신호를 반복하여 1/2 씩 다운 샘플링하여 각 옥타브에 대응되는 음계를 검출할 수 있다.
구체적으로, 프로세서(130)는 특정 음계를 검출하기 위한 디지털 필터를 통해 필터링된 신호에서 피치 성분의 크기 및 입력 오디오 신호의 크기에 기초하여 음계를 검출할 수 있다.
구체적으로, 오디오 신호에 특정 음계 즉, 특정 주파수가 포함되어 있는 경우 대응되는 필터에 의해 필터링된 신호에는 기설정된 크기 이상의 피치 성분이 포함되어 있어야 한다. 여기서, 기설정된 크기는 오디오 신호의 크기(또는 진폭), 밴드 패스 필터의 컷 오프 주파수, 대역폭 등에 의해 결정될 수 있다. 예를 들어, 패스시키는 주파수 대역을 매우 좁게 하여 해당 음계의 주파수 만을 패스시키는 경우에는 피치 성분 자체로 해당 음계 자체를 검출할 수도 있다.
예를 들어 도 7a에 도시된 바와 같이 오디오 신호는 서로 다른 주파수(또는 피치)를 가지는 복수의 신호(A, B)가 합성된 합성파 형태가 될 수 있는데, 이를 주파수 도메인으로 변환하면 A 신호의 피치 및 B 신호의 피치에 기초하여 우측 하부에 도시된 바와 같은 형태가 된다.
이와 같은 주파수 도메인에서 특정 음계를 필터링하기 위한 필터를 적용하는 경우, 해당 음계에 대응되는 신호가 오디오 신호에 포함되어 있는 경우에는 도 7b에 도시된 바와 같이 기설정된 크기(K) 이상의 피치 성분이 검출된다. 다만, 해당 음계에 대응되는 신호가 오디오 신호에 포함되어 있지 않은 경우에는 도 7c에 도시된 바와 같이 기설정된 크기(L) 미만의 피치 성분만이 검출될 수 있다.
이에 기초하여 프로세서(130)는 오디오 신호에 특정 음계가 포함되어 있는지 검출할 수 있게 된다.
출력부(140)는 오디오 신호를 출력하는 기능을 한다.
특히, 출력부(140)는 프로세서(130)에서 처리된 디지털 신호를 아날로그 신호로 변환하고 증폭하여 출력할 수 있다. 예를 들어, 출력부(140)는 적어도 하나의 채널을 출력할 수 있는, 적어도 하나의 스피커 유닛, D/A 컨버터, 오디오 앰프(audio amplifier) 등을 포함할 수 있다. 일 예로, 출력부(150)는 L 채널, R 채널을 각각 재생하는 L 채널 스피커 및 R 채널 스피커를 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 출력부(140)는 다양한 형태로 구현가능하다. 다른 예로, 출력부(140)는 L 채널, R 채널, Center 채널을 재생하는 사운드 바 형태로 구현되는 것도 가능하다.
한편, 상술한 바와 같이 오디오 신호의 다운 샘플링에 따라 디지털 도메인에서 수행해야 할 연산의 횟수가 샘플 숫자만큼 감소하게 되므로 프로세서의 연산 횟수를 줄일 수 있게 된다. 즉, 1/2 다운 샘플링을 수행하면 time-complexity가 1/2로 감소하게 된다.
다만, 상술한 실시 예에서는 48 kHz로 샘플링된 오디오 신호를 1/2 씩 순차적으로 다운 샘플링하는 것으로 설명하였으나, 이는 일 실시 예에 불과하다. 다른 실시 예에 따르면, 48 kHz로 샘플링된 입력 오디오 신호에 기초하여 7 옥타브의 12 음계를 검출하고, 48 kHz로 샘플링된 입력 오디오 신호를 1/2로 다운 샘플링하여 6 옥타브의 12 음계를 검출하고, 48 kHz로 샘플링된 입력 오디오 신호를 1/4로 다운 샘플링하여 5 옥타브의 12 음계를 검출할 수 있음은 물론이다.
한편, 본 발명의 다른 실시 예에 따르면, 프로세서(130)는 옥타브 구분 없이 음계 만을 검출하는 경우, 각 옥타브 대역의 동일한 음계의 정보를 병합하여 음계 값을 검출할 수도 있다. 예를 들어, 옥타브와 관계없이 "C#" 음계가 있는지 여부 만을 검출하는 경우, "C#" 음계 신호의 크기의 평균 값, 최대 값 등의 대표 값에 기초하여 음계 포함 여부를 검출할 수도 있다.
도 2b는 도 2a에 도시된 전자 장치의 세부 구성을 나타내는 블럭도이다.
도 2b에 따르면, 전자 장치(100)는, 입력부(110), 필터 뱅크(120), 프로세서(130), 출력부(140), 저장부(150) 및 표시부(160)를 포함한다. 도 2b에 도시된 설명 중 도 2a에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
프로세서(130)는 CPU(131), 전자 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 또는 비 휘발성 메모리) 및 전자 장치(100)의 외부에서부터 입력되는 데이터를 저장하거나 전자 장치(100)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM, 또는 휘발성 메모리)을 포함할 수 있다.
프로세서(130)는 기설정된 이벤트가 발생되면 저장부(150)에 저장된 OS(Operating System), 프로그램 및 다양한 어플리케이션을 실행할 수 있다. 프로세서(130)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
CPU(131)는 저장부(150)에 액세스하여, 저장부(150)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(150)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
또한, 프로세서(130)는 디지털 시그널 프로세서(digital signal processor(DSP))을 포함할 수 있고, DSP는 디지털 필터, 이펙트, 음장감 등 다양한 기능을 추가할 수 있으며, 샘플레이트 컨버터(SRC)를 통해 디지털과 아날로그 간 변환시의 음질 열화를 방지하는 오버샘플링(Over Sampling) 기술도 적용할 수 있다.
저장부(150)는 전자 장치(100)를 구동/제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 저장부(140)는 전자 장치(100) 및 프로세서(130)의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
여기서, 저장부(150)는 프로세서(130)에 포함된 롬(ROM), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(130)와 별도의 메모리로 구현될 수도 있다. 이 경우, 저장부(150)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등과 같은 형태로 구현되고, 컨텐츠 출력 장치(200)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, micro SD 카드, USB 메모리 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
표시부(160)는 복수의 발광 소자를 포함하며, 출력되는 오디오 신호에 따른 라이트(light) 피드백을 제공할 수 있다.
여기서, 복수의 발광 소자는 전자 장치(100)의 외부 하우징에 구비될 수 있다. 일 예로, 전자 장치(100)가 원통 형상의 스피커 장치로 구현되는 경우, 복수의 발광 소자는 전자 장치(100)의 상단 원형의 가장 자리를 따라 기설정된 간격으로 배열될 수 있다. 또는 복수의 발광 소자는 전자 장치(100)의 측면부 가장 자리를 따라 기설정된 간격으로 배열될 수 있다. 다른 예로, 전자 장치(100)가 TV로 구현되는 경우 복수의 발광 소자는 TV의 배젤 영역을 따라 기설정된 간격으로 배열될 수 있다. 여기서, 복수의 발광 소자는 LED로 구현될 수 있으나, 이에 한정되는 것은 아니다.
경우에 따라서는 복수 개의 LED 상에 투명 시트가 배치되어 복수 개의 LED 들의 불빛이 경계 없이 연속적으로 표현되도록 할 수 있다. 복수 개의 LED 들은 동일한 색상 또는 상이한 색상을 갖도록 구현될 수 있다. 또한, 복수 개의 LED 들은 배치 위치에 따라 서로 다른 색상을 갖는 것도 가능하다. 또한, 경우에 따라서는 서로 상이한 색상의 LED 쌍이 인접하여 배치될 수 있다.
한편, 프로세서(130)는 복수 개의 LED에 각 음계를 매칭시키고, 출력 오디오 신호에서 특정 음계가 검출되면, 해당 음계에 대응되는 LED를 발광시킬 수 있다. 예를 들어, C 음계에는 제1 발광 소자를 매칭하고, D 음계에는 제2 발광 소자를 매칭하여 각 음계가 검출될 때마다 대응되는 발광 소자를 발광시킬 수 있다.
또한, 프로세서(130)는 서로 다른 옥타브의 동일한 음계에는 상이한 발광 횟수, 상이한 발광 시간 및 상이한 발광 시간 중 적어도 하나를 매칭시켜 복수 개의 LED의 발광 상태를 제어할 수 있다. 일 예로, 6 옥타브의 C 음계가 검출되면 제1 발광 소자를 짧게 한 번 발광하고, 7옥타브 C 음계가 검출되면 제1 발광 소자를 연속으로 두 번 발광할 수 있다. 다른 예로, 6 옥타브의 C 음계가 검출되면 제1 발광 소자를 2 초 동안 발광하고, 7옥타브 C 음계가 검출되면 제1 발광 소자를 4초 동안 발광할 수 있다.
한편 다른 실시 예에 따르면, 프로세서(130)는 적어도 하나의 외부 기기에 구비된 복수의 발광 소자에 상이한 옥타브를 매칭시켜 외부 기기의 발광 상태를 제어하는 것도 가능하다. 예를 들어 제1 내지 제7 외부 기기 각각에 제1 내지 제7 옥타브를 각각 매칭시켜 제어할 수 있다.
도 8a 및 8b는 본 발명의 일 실시 예에 따른 프로세서의 세부 동작을 설명하기 위한 블럭도이다.
도 8a에 따르면, 입력된 오디오 신호(810)는 상술한 바와 같이 시간 영역 신호가 될 수 있으며, 프로세서(130)는 이를 주파수 영역 신호로 변환하여 필터 뱅크(830)로 제공할 수 있으나, 해당 내용은 도면에서 생략하였다. 여기서, 필터 뱅크(830)로 제공되는 주파수 영역 신호는 기설정된 시간 단위의 신호가 주파수 영역 신호로 변환된 신호가 될 수 있다. 즉, 프로세서(130)는 오디오 신호의 기설정된 시간 단위로 음계 포함 여부를 검출할 수 있다.
한편, 프로세서(130)는 입력된 압축 오디오 신호를 디코딩하는 과정에서 샘플링 주파수에 대한 정보를 획득할 수 있으며, 해당 샘플링 주파수에 기초하여 특정 필터 뱅크(830)를 적용할 수 있게 된다.
프로세서(130)는 주파수 영역 신호에필터 뱅크(830)를 적용하여 타겟 옥타브 중 최고 높은 제1 옥타브의 음계를 필터링할 수 있다.
이 경우, 필터 뱅크(830)는 예를 들어 도 8b에 도시된 바와 같이 12 음계를 각각 검출하기 위한 복수의 디지털 필터(830-1 내지 830-12)를 포함하여, 입력된 오디오 신호(810)에 복수의 디지털 필터(830-1 내지 830-12)를 각각 적용할 수 있다. 여기서, 복수의 디지털 필터(830-1 내지 830-12)는 주파수 도메인에서 푸주파수 신호를 필터링하는 밴드 패스 필터로 구현될 수 있다.
이어서, 프로세서(130)는 필터 뱅크(830)를 통과한 필터링된 신호의 피치를 분석(840)하여 제1 옥타브 내의 음계를 검출(850)할 수 있다. 구체적으로, 입력된 오디오 신호의 크기와 필터링된 신호의 크기를 분석하여 오디오 신호에 포함된 음계를 검출할 수 있다.
또한, 입력된 오디오 신호(810)는 샘플링 주파수가 1/2로 다운 샘플링(821)되어 필터 뱅크(830)로 제공되며, 필터 뱅크(830)는 제1 옥타브보다 1 옥타브 낮은 제2 옥타브의 각 음계를 필터링할 수 있다.
이어서, 프로세서(130)는 2 필터 뱅크(830)를 통과한 필터링된 신호의 피치를 분석(840)하여 제2 옥타브 내의 음계를 검출(850)할 수 있다.
또한, 1/2로 다운 샘플링된 오디오 신호는 1/2로 다운 샘플링(822)되어 필터 뱅크(830)로 제공되며, 필터 뱅크(830)는 제2 옥타브보다 1 옥타브 낮은 제3 옥타브의 각 음계를 필터링할 수 있다.
이어서, 프로세서(130)는 필터 뱅크(830)를 통과한 필터링된 신호의 피치를 분석(840)하여 제3 옥타브 내의 음계를 검출(850)할 수 있다.
이와 같은 과정을 반복하면, 동일한 필터 뱅크를 이용하여 모든 옥타브의 음계를 검출할 수 있다.
한편 상술한 과정 중 필터 뱅크(830는 도 2a의 필터 뱅크(120)로 구현되며, 샘플링 과정, 피치 분석 과정 및 음계 검출 과정은 도 2a의 프로세서(130)에서 수행될 수 있다.
한편, 도 8c에서는 본 발명의 이해를 돕기 위하여 필터 뱅크(830)가 복수의 옥타브 내의 각 음계를 검출하기 위한 복수 개의 필터 뱅크(831, 832, 833…)로 구현되는 것으로 도시하였으나, 본 발명의 일 실시 예에 따르면, 서로 다른 옥타브의 음계 검출에 동일한 필터 뱅크가 이용되므로, 복수 개의 필터 뱅크(831, 832, 833…)는 결국 동일한 필터 뱅크로 구현될 수 있다.
도 9는 본 발명의 일 실시 예에 따른 라이트 피드백 제공 방법을 설명하기 위한 도면이다.
도 9에 따르면, 전자 장치(100)가 TV로 구현되고, 복수의 발광 소자(1 내지 32)는 TV의 배젤 영역을 따라 기설정된 간격으로 배열될 수 있다. 여기서, 복수의 발광 소자는 LED로 구현될 수 있으나, 이에 한정되는 것은 아니다.
이 경우, 각 LED에는 적어도 하나의 옥타브의 적어도 하나의 음계가 매칭되어 있으며, 출력되는 오디오 신호에서 해당 음계가 검출되면 대응되는 발광 소자가 발광할 수 있다.
예를 들어, 제1 LED(1), 제2 LED(2), 제3 LED(3) 및 제4 LED(4)가 각각 특정 옥타브의 C, C#, D, D# 음계에 매칭되어 있고, 출력되는 오디오 신호에서 해당 음계가 순차적으로 검출되면 도시된 바와 같이 제1 LED(1), 제2 LED(2), 제3 LED(3) 및 제4 LED(4)를 순차적으로 기설정된 시간 동안 발광할 수 있다.
만약, 제1 LED(1), 제2 LED(2), 제3 LED(3) 및 제4 LED(4)가 각각 제1 내지 제4 옥타브의 C, C#, D, D# 음계에 매칭되어 있는 경우를 가정하도록 한다. 이 경우, 제1 내지 제4 옥타브에 상이한 발광 시간이 매칭되어 있는 경우, 예를 들어, 제1 내지 제4 시간이 매칭되어 있는 경우, 제1 LED(1), 제2 LED(2), 제3 LED(3) 및 제4 LED(4)는 순차적으로 각각 제1 내지 제4 시간 동안 발광할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 10에 도시된 전자 장치의 제어 방법에 따르면, 입력된 오디오 신호의 샘플링 주파수에 기초하여, 오디오 신호에 기설정된 필터 뱅크를 적용하여 제1 옥타브의 음계를 검출한다(S1010). 여기서, 제1 옥타브는, 타겟 옥타브 중 최고 옥타브가 될 수 있다. 또한, 오디오 신호는, 제1 옥타브의 최고 주파수의 2배 이상으로 샘플링된 신호가 될 수 있다.
이어서, 오디오 신호를 다운 샘플링한다(S1020).
이 후, 다운 샘플링된 신호에 필터 뱅크를 각각 적용하여 제1 옥타브보다 낮은 제2 옥타브의 음계를 검출한다(S1030). 여기서, 제2 옥타브는 제1 옥타브보다 한 옥타브 낮은 옥타브이며, 상기 제3 옥타브는, 제2 옥타브보다 한 옥타브 낮은 옥타브가 될 수 있다.
한편, 입력된 오디오 신호는 압축된 시간 영역 신호이며, 상기 제어 방법은, 오디오 신호를 디코딩하여 PAM 신호 및 PAM 신호의 샘플링 주파수에 대한 정보를 획득하는 단계를 더 포함할 수 있다.
또한, 제1 옥타브의 음계를 검출하는 S1010 단계에서는PAM 신호를 주파수 영역 신호로 변환하여 필터 뱅크를 적용할 수 있다.
여기서, 필터 뱅크는, 복수의 타겟 음계 각각에 대응되는 주파수 대역을 필터링하는 복수의 디지털 필터를 포함할 수 있다.
또한, 복수의 디지털 필터는, 입력된 오디오 신호의 샘플링 주파수 및 제1 옥타브의 음계 각각에 대응되는 복수의 주파수에 기초하여 결정된 중심 주파수를 가지는 밴드 패스필터가 될 수 있다.
또한, 복수의 디지털 필터는, 정규화된 주파수 도메인에서 상기 복수의 주파수를 각각 중심 주파수를 가지는 밴드 패스 필터이며, 샘플링 주파수가 1/2로 감소하면, 중심 주파수 각각이 1/2로 감소하도록 구현될 수 있다.
또한, 제2 옥타브의 음계를 검출하는 S1020 단계는, 오디오 신호를 1/2 다운 샘플링한 신호에 상기 필터 뱅크를 적용하여 제2 옥타브의 음계를 검출할 수 있다.
또한, 상기 제어 방법은, 오디오 신호를 1/4 다운 샘플링한 신호에 필터 뱅크를 적용하여 제2 옥타브보다 낮은 제3 옥타브의 음계를 검출하는 단계를 더 포함할 수 있다.
또한, 전자 장치는 복수의 발광 소자를 구비할 수 있다. 이 경우, 상기 제어 방법은, 출력되는 오디오 신호에서 검출된 음계에 기초하여 복수의 발광 소자의 발광 상태를 제어하는 단계를 더 포함할 수 있다.
이 경우, 출력되는 오디오 신호에서 검출되는 음계의 옥타브에 기초하여, 음계에 대응되는 발광 소자의 발광 시간, 발광 횟수 및 발광 세기 중 적어도 하나를 제어할 수 있다.
본 발명의 다양한 실시 예에 따르면, 기존 음계 검출에 사용되는 FFT 기반의 방식에 비해 연산 횟수를 감소시킬 수 있으며, 더 넓은 주파수 대역의 음계 검출이 가능하게 된다.
또한, 옥타브 구분 없이 음계에 대한 검출 만으로 원하는 결과를 얻을 수 있게 된다.
또한, 동일한 디지털 필터를 이용하므로, 메모리 면에서도 효율적이다. 예를 들어 6 옥타브에 대한 음계를 검출시 다운 샘플링을 수행하지 않으면 1 옥타브 검출 대비 6 배의 연산과 6 배의 필터를 위한 메모리가 필요하지만 다운 샘플링을 수행하면 2배의 연산과 메모리 양으로 충분하다.
또한, CE(Consumer Electronics) 기기와 같은 제한된 성능의 CPU(또는 DSP)에서 12 음계와 같은 세밀한 간격의 신호 성분을 넓은 옥타브 대역에서 충분한 해상도로 검출할 수 있게 된다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 소프트웨어, 프로그램 또는 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 외부의 서버를 통해 수행되는 것도 가능하다.
또한, 본 발명에 따른 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치 110: 입력부
120: 필터 뱅크 130: 프로세서

Claims (20)

  1. 오디오 신호를 입력받는 입력부;
    상기 입력된 오디오 신호를 처리하는 프로세서; 및
    상기 처리된 오디오 신호를 출력하는 출력부;를 포함하며,
    상기 프로세서는,
    상기 오디오 신호의 샘플링 주파수에 기초하여 상기 오디오 신호에 기설정된 필터 뱅크를 적용하여 상기 제1 옥타브의 음계를 검출하고, 상기 오디오 신호를 다운 샘플링하고 상기 다운 샘플링된 신호에 상기 필터 뱅크를 적용하여 상기 제1 옥타브보다 낮은 제2 옥타브의 음계를 검출하는, 전자 장치.
  2. 제1항에 있어서,
    상기 오디오 신호는 시간 영역 신호이며,
    상기 프로세서는,
    상기 오디오 신호를 디코딩하여 PAM(pulse amplitude modulation) 신호 및 상기 PAM 신호의 샘플링 주파수에 대한 정보를 획득하며,
    상기 PAM 신호를 주파수 영역 신호로 변환하여 상기 필터 뱅크를 적용하는, 전자 장치.
  3. 제1항에 있어서,
    상기 필터 뱅크는,
    복수의 타겟 음계 각각에 대응되는 주파수 대역을 필터링하는 복수의 디지털 필터를 포함하는, 전자 장치.
  4. 제3항에 있어서,
    상기 복수의 디지털 필터는,
    상기 오디오 신호의 샘플링 주파수 및 상기 제1 옥타브의 음계 각각에 대응되는 복수의 주파수에 기초하여 결정된 중심 주파수를 가지는 밴드 패스필터인, 전자 장치.
  5. 제4항에 있어서,
    상기 복수의 디지털 필터는,
    정규화된 주파수 도메인에서 상기 복수의 주파수를 각각 중심 주파수를 가지는 밴드 패스 필터이며,
    샘플링 주파수가 1/2로 감소하면, 상기 중심 주파수 각각이 1/2로 감소하도록 구현된, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 오디오 신호를 1/2 다운 샘플링한 신호에 상기 필터 뱅크를 적용하여 상기 제2 옥타브의 음계를 검출하고, 상기 오디오 신호를 1/4 다운 샘플링한 신호에 상기 필터 뱅크를 적용하여 상기 제2 옥타브보다 낮은 제3 옥타브의 음계를 검출하는, 전자 장치.
  7. 제6항에 있어서,
    상기 제2 옥타브는 제1 옥타브보다 한 옥타브 낮은 옥타브이며, 상기 제3 옥타브는, 제2 옥타브보다 한 옥타브 낮은 옥타브인, 전자 장치.
  8. 제1항에 있어서,
    상기 제1 옥타브는,
    타겟 옥타브 중 최고 옥타브이며,
    상기 오디오 신호는,
    상기 제1 옥타브의 최고 주파수의 2배 이상으로 샘플링된 신호인, 전자 장치.
  9. 제1항에 있어서,
    복수의 발광 소자를 포함하는 표시부;를 더 포함하며,
    상기 프로세서는,
    상기 출력되는 오디오 신호에서 검출된 음계에 기초하여 상기 복수의 발광 소자의 발광 상태를 제어하는, 전자 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 출력되는 오디오 신호에서 검출되는 음계의 옥타브에 기초하여, 상기 음계에 대응되는 발광 소자의 발광 시간, 발광 횟수 및 발광 세기 중 적어도 하나를 제어하는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    입력된 오디오 신호의 샘플링 주파수에 기초하여 상기 오디오 신호에 기설정된 필터 뱅크를 적용하여 상기 제1 옥타브의 음계를 검출하는 단계; 및
    상기 오디오 신호를 다운 샘플링하고 상기 다운 샘플링된 신호에 상기 필터 뱅크를 적용하여 상기 제1 옥타브보다 낮은 제2 옥타브의 음계를 검출하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 오디오 신호는 압축된 시간 영역 신호이며,
    상기 오디오 신호를 디코딩하여 PAM(pulse amplitude modulation) 신호 및 상기 PAM 신호의 샘플링 주파수에 대한 정보를 획득하는 단계;를 더 포함하며,
    상기 제1 옥타브의 음계를 검출하는 단계는,
    상기 PAM 신호를 주파수 영역 신호로 변환하여 상기 필터 뱅크를 적용하는, 제어 방법.
  13. 제11항에 있어서,
    상기 필터 뱅크는,
    복수의 타겟 음계 각각에 대응되는 주파수 대역을 필터링하는 복수의 디지털 필터를 포함하는, 제어 방법.
  14. 제13항에 있어서,
    상기 복수의 디지털 필터는,
    상기 샘플링 주파수 및 상기 제1 옥타브의 음계 각각에 대응되는 복수의 주파수에 기초하여 결정된 중심 주파수를 가지는 밴드 패스필터인, 제어 방법.
  15. 제14항에 있어서,
    상기 복수의 디지털 필터는,
    정규화된 주파수 도메인에서 상기 복수의 주파수를 각각 중심 주파수를 가지는 밴드 패스 필터이며,
    샘플링 주파수가 1/2로 감소하면, 상기 중심 주파수 각각이 1/2로 감소하도록 구현된, 제어 방법.
  16. 제11항에 있어서,
    상기 제2 옥타브의 음계를 검출하는 단계는,
    상기 오디오 신호를 1/2 다운 샘플링한 신호에 상기 필터 뱅크를 적용하여 상기 제2 옥타브의 음계를 검출하고,
    상기 제어 방법은,
    상기 오디오 신호를 1/4 다운 샘플링한 신호에 상기 필터 뱅크를 적용하여 상기 제2 옥타브보다 낮은 제3 옥타브의 음계를 검출하는 단계;를 더 포함하는, 제어 방법.
  17. 제16항에 있어서,
    상기 제2 옥타브는 제1 옥타브보다 한 옥타브 낮은 옥타브이며, 상기 제3 옥타브는, 제2 옥타브보다 한 옥타브 낮은 옥타브인, 제어 방법.
  18. 제11항에 있어서,
    상기 제1 옥타브는,
    타겟 옥타브 중 최고 옥타브이며,
    상기 오디오 신호는,
    상기 제1 옥타브의 최고 주파수의 2배 이상으로 샘플링된 신호인, 제어 방법.
  19. 제11항에 있어서,
    상기 전자 장치는, 복수의 발광 소자를 구비하며,
    상기 출력되는 오디오 신호에서 검출된 음계에 기초하여 상기 복수의 발광 소자의 발광 상태를 제어하는 단계;를 더 포함하며,
    상기 제어하는 단계는,
    출력되는 오디오 신호에서 검출되는 음계의 옥타브에 기초하여, 상기 음계에 대응되는 발광 소자의 발광 시간, 발광 횟수 및 발광 세기 중 적어도 하나를 제어하는, 제어 방법.
  20. 전자 장치의 제어 방법을 수행하기 위한 프로그램이 저장된 기록 매체에 있어서,
    상기 방법은,
    입력된 오디오 신호의 샘플링 주파수에 기초하여 상기 오디오 신호에 기설정된 필터 뱅크를 적용하여 상기 제1 옥타브의 음계를 검출하는 단계; 및
    상기 오디오 신호를 다운 샘플링하고 상기 다운 샘플링된 신호에 상기 필터 뱅크를 적용하여 상기 제1 옥타브보다 낮은 제2 옥타브의 음계를 검출하는 단계;를 포함하는 기록 매체.
KR1020170012941A 2017-01-26 2017-01-26 전자 장치 및 그 제어 방법 KR102689087B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170012941A KR102689087B1 (ko) 2017-01-26 2017-01-26 전자 장치 및 그 제어 방법
MX2019008851A MX2019008851A (es) 2017-01-26 2018-01-02 Aparato electronico y metodo de control del mismo.
PCT/KR2018/000017 WO2018139774A1 (en) 2017-01-26 2018-01-02 Electronic apparatus and control method thereof
EP18744770.1A EP3545517A4 (en) 2017-01-26 2018-01-02 ELECTRONIC DEVICE AND CONTROL METHOD THEREFOR
US15/869,774 US10522123B2 (en) 2017-01-26 2018-01-12 Electronic apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170012941A KR102689087B1 (ko) 2017-01-26 2017-01-26 전자 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20180088184A true KR20180088184A (ko) 2018-08-03
KR102689087B1 KR102689087B1 (ko) 2024-07-29

Family

ID=62907163

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170012941A KR102689087B1 (ko) 2017-01-26 2017-01-26 전자 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US10522123B2 (ko)
EP (1) EP3545517A4 (ko)
KR (1) KR102689087B1 (ko)
MX (1) MX2019008851A (ko)
WO (1) WO2018139774A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102689087B1 (ko) * 2017-01-26 2024-07-29 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020089138A (ko) * 2001-05-17 2002-11-29 신세다이 가부시키 가이샤 음계 인식 방법 및 그 장치
KR101158037B1 (ko) * 2010-03-22 2012-06-22 정운대 음향기기용 다중 발광다이오드 자동변환시스템
US20130013262A1 (en) * 2011-07-05 2013-01-10 Bae Systems National Security Solutions Inc. Method of performing synthetic instrument based noise analysis using proportional bandwidth spectrum analysis techniques

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4399732A (en) 1981-08-28 1983-08-23 Stanley Rothschild Pitch identification device
GB2158980B (en) * 1984-03-23 1989-01-05 Ricoh Kk Extraction of phonemic information
JP3307156B2 (ja) * 1995-04-24 2002-07-24 ヤマハ株式会社 音楽情報分析装置
JP3413634B2 (ja) 1999-10-27 2003-06-03 独立行政法人産業技術総合研究所 音高推定方法及び装置
KR100434692B1 (ko) 1999-11-18 2004-07-05 (주)코리아비주얼스 라이트 제어장치
US6581081B1 (en) * 2000-01-24 2003-06-17 3Com Corporation Adaptive size filter for efficient computation of wavelet packet trees
US6703551B2 (en) * 2001-05-17 2004-03-09 Ssd Company Limited Musical scale recognition method and apparatus thereof
US20050228518A1 (en) * 2002-02-13 2005-10-13 Applied Neurosystems Corporation Filter set for frequency analysis
JP4649859B2 (ja) * 2004-03-25 2011-03-16 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
DE102004028694B3 (de) * 2004-06-14 2005-12-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Umsetzen eines Informationssignals in eine Spektraldarstellung mit variabler Auflösung
DE102006008298B4 (de) * 2006-02-22 2010-01-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Notensignals
DE102006008260B3 (de) * 2006-02-22 2007-07-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Analyse eines Audiodatums
KR20080021201A (ko) 2006-08-30 2008-03-07 주식회사 하모니칼라시스템 음-색 변환기능을 구비한 발광 스피커 및 그 음-색변환방법
US20110144780A1 (en) * 2007-03-27 2011-06-16 Hiromu Ueshima Timing control device and timing control method
US8050934B2 (en) * 2007-11-29 2011-11-01 Texas Instruments Incorporated Local pitch control based on seamless time scale modification and synchronized sampling rate conversion
JP5224219B2 (ja) * 2008-06-26 2013-07-03 独立行政法人科学技術振興機構 オーディオ信号圧縮装置、オーディオ信号圧縮方法、オーディオ信号復号装置及びオーディオ信号復号方法
JP5157837B2 (ja) 2008-11-12 2013-03-06 ヤマハ株式会社 ピッチ検出装置およびプログラム
US8148621B2 (en) * 2009-02-05 2012-04-03 Brian Bright Scoring of free-form vocals for video game
US20100280922A1 (en) 2009-05-01 2010-11-04 Roberto Michele Giovannotto Illumination and decoration for amplifier and speaker networks
US8983829B2 (en) * 2010-04-12 2015-03-17 Smule, Inc. Coordinating and mixing vocals captured from geographically distributed performers
KR100991464B1 (ko) 2010-08-16 2010-11-04 전북대학교산학협력단 자동 노래 채보장치
EP2786377B1 (en) * 2011-11-30 2016-03-02 Dolby International AB Chroma extraction from an audio codec
CN104620313B (zh) * 2012-06-29 2017-08-08 诺基亚技术有限公司 音频信号分析
GB201310861D0 (en) * 2013-06-18 2013-07-31 Nokia Corp Audio signal analysis
KR102318581B1 (ko) * 2014-06-10 2021-10-27 엠큐에이 리미티드 오디오 신호의 디지털 캡슐화
US10178161B2 (en) * 2016-05-11 2019-01-08 Microsoft Technology Licensing, Llc Digital signal processing over data streams
KR20160002619U (ko) 2016-07-14 2016-07-26 주식회사 케이엠더블유 조명 장치들을 제어하는 장치
US10140980B2 (en) * 2016-12-21 2018-11-27 Google LCC Complex linear projection for acoustic modeling
KR102689087B1 (ko) * 2017-01-26 2024-07-29 삼성전자주식회사 전자 장치 및 그 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020089138A (ko) * 2001-05-17 2002-11-29 신세다이 가부시키 가이샤 음계 인식 방법 및 그 장치
KR101158037B1 (ko) * 2010-03-22 2012-06-22 정운대 음향기기용 다중 발광다이오드 자동변환시스템
US20130013262A1 (en) * 2011-07-05 2013-01-10 Bae Systems National Security Solutions Inc. Method of performing synthetic instrument based noise analysis using proportional bandwidth spectrum analysis techniques

Also Published As

Publication number Publication date
WO2018139774A1 (en) 2018-08-02
US20180211643A1 (en) 2018-07-26
KR102689087B1 (ko) 2024-07-29
MX2019008851A (es) 2019-10-07
EP3545517A1 (en) 2019-10-02
EP3545517A4 (en) 2019-11-13
US10522123B2 (en) 2019-12-31

Similar Documents

Publication Publication Date Title
US10248381B2 (en) Audio control system and related methods
AU2015355209B2 (en) System and method for continuous media segment identification
TWI555008B (zh) 使用在智慧間隙填充架構內之雙聲道處理之音頻編碼器、音頻解碼器及相關方法
TR201809988T4 (tr) Dekoder ve bi̇r ses si̇nyali̇ni̇n kodunun çözülmesi̇ yöntemi̇, kodlayici ve bi̇r ses si̇nyali̇ni̇n kodlanmasi yöntemi̇.
WO2015105748A1 (en) Spatial error metrics of audio content
US20090093896A1 (en) Signal Processing Apparatus, Signal Processing Method, and Program Therefor
KR101049345B1 (ko) 오디오 신호 출력 장치
US10832700B2 (en) Sound file sound quality identification method and apparatus
JP2008085412A (ja) オーディオ再生装置
JP2009506706A (ja) オーディオ信号デコーディング方法及びその装置
ES2798139T3 (es) Aparato de análisis predictivo lineal, método, programa y soporte de registro
CN107005591A (zh) 数据处理设备、数据处理方法及程序
EP2949133A1 (en) Automatic loudspeaker polarity detection
KR20180088184A (ko) 전자 장치 및 그 제어 방법
WO2019229738A1 (en) System for decomposition of digital sound samples into sound objects
EP2660815A1 (en) Methods and apparatus for audio processing
RU2696554C2 (ru) Система отображения мобильных аудиоустройств
KR20160145711A (ko) 정보 손실을 감소시킨 전자 통신들을 위한 시스템들, 방법들 및 디바이스들
EP1508899B1 (en) Data recording device, method and program
JP2010134391A (ja) 音響信号に対する情報の埋め込み装置および音響信号を利用した位置検出装置
US20220076687A1 (en) Electronic device, method and computer program
KR20180099375A (ko) 멀티미디어 데이터에서 하이라이트를 찾는 방법 및 그를 이용한 장치
JP6318904B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム
GB2574873A (en) Determination of spatial audio parameter encoding and associated decoding
US20220407825A1 (en) Data processing apparatus, data processing method, and data processing program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant