KR102634002B1 - 음악 미디어에 대한 가사 표시 정보를 제공하는 방법 - Google Patents

음악 미디어에 대한 가사 표시 정보를 제공하는 방법 Download PDF

Info

Publication number
KR102634002B1
KR102634002B1 KR1020210159887A KR20210159887A KR102634002B1 KR 102634002 B1 KR102634002 B1 KR 102634002B1 KR 1020210159887 A KR1020210159887 A KR 1020210159887A KR 20210159887 A KR20210159887 A KR 20210159887A KR 102634002 B1 KR102634002 B1 KR 102634002B1
Authority
KR
South Korea
Prior art keywords
display information
lyrics
lyrics display
frequency
voice data
Prior art date
Application number
KR1020210159887A
Other languages
English (en)
Other versions
KR20230073451A (ko
Inventor
김남정
Original Assignee
김남정
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김남정 filed Critical 김남정
Priority to KR1020210159887A priority Critical patent/KR102634002B1/ko
Publication of KR20230073451A publication Critical patent/KR20230073451A/ko
Application granted granted Critical
Publication of KR102634002B1 publication Critical patent/KR102634002B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/02—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with automatic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375—Tempo or beat alterations; Music timing control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/011—Lyrics displays, e.g. for karaoke applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/235—Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

본 개시의 실시예에 따르면, 가사가 포함된 음악 미디어로부터 사용자에게 가사 표시 정보를 제공하는 방법은 상기 가사 표시 정보에 대응되는 음계 데이터에 따라 결정된 기준선으로부터의 높이에 상기 가사 표시 정보를 디스플레이 장치에 출력하는 단계, 상기 사용자로부터 상기 음악 미디어에 대한 음성 데이터를 수신하는 단계, 상기 음성 데이터로부터 상기 가사 표시 정보에 대응되는 음정 코드를 획득하는 단계, 및 상기 음정 코드가 상기 음계 데이터에 대응되는지 여부에 따라 서로 구별되는 방법으로 가사 재표시 정보를 출력하는 단계를 포함할 수 있다.

Description

음악 미디어에 대한 가사 표시 정보를 제공하는 방법{Method of providing lyric display information about music media}
본 개시의 기술적 사상은 가사 표시 정보를 제공하는 방법에 관한 것으로, 더욱 상세하게는, 음악 미디어에 대응되는 가사 표시 정보를 디스플레이 장치에 제공하는 방법에 관한 것이다.
노래방 반주 장치가 가사 및 영상 정보를 디스플레이 장치를 통해 출력될 때, 가사 정보를 음악의 박자에 맞춰 사용자가 따라 부르기 쉽게 현출한다. 이 때, 종래의 노래방 반주 장치는 음악의 음계와 무관하게 가사 정보를 높낮이 없는 일렬의 텍스트로 제공하고, 사용자는 직관적으로 음악의 높낮이를 파악하기 힘든 측면이 있었다.
본 개시의 기술적 사상이 해결하려는 과제는, 사용자가 직관적으로 가사에 대한 음계로 음악을 따라 부를 수 있게 도와주는 가사 표시 정보를 제공하는 방법을 제공한다.
본 개시의 실시예에 따르면, 가사가 포함된 음악 미디어로부터 사용자에게 가사 표시 정보를 제공하는 방법은 상기 가사 표시 정보에 대응되는 음계 데이터에 따라 결정된 기준선으로부터의 높이에 상기 가사 표시 정보를 디스플레이 장치에 출력하는 단계, 상기 사용자로부터 상기 음악 미디어에 대한 음성 데이터를 수신하는 단계, 상기 음성 데이터로부터 상기 가사 표시 정보에 대응되는 음정 코드를 획득하는 단계, 및 상기 음정 코드가 상기 음계 데이터에 대응되는지 여부에 따라 서로 구별되는 방법으로 가사 재표시 정보를 출력하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 가사 표시 정보를 디스플레이 장치에 출력하는 단계는 상기 가사 표시 정보를 음절 단위로 상기 디스플레이 장치에 표시하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 가사 표시 정보를 디스플레이 장치에 출력하는 단계는 상기 가사 표시 정보 중 대상 음절을 이전 음절과의 음계차에 따라 상기 기준선으로부터의 높이를 설정하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 가사 표시 정보를 디스플레이 장치에 출력하는 단계는 상기 가사 표시 정보에 대응되는 음계 데이터에 따라 움직이는 화상 데이터를 상기 디스플레이 장치에 표시하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 음정 코드를 획득하는 단계는 상기 가사 표시 정보에 대응되는 시간 구간동안의 상기 음성 데이터에 대한 주파수를 획득하는 단계, 및 상기 주파수에 매핑된 음정 코드를 제공하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 주파수를 획득하는 단계는 상기 시간 구간동안의 음성 데이터로부터 푸리에 변환을 수행함으로써 상기 주파수를 획득하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 주파수를 획득하는 단계는 상기 음성 데이터로부터 푸리에 변환이 수행됨으로써 피크를 갖는 복수의 주파수들이 획득된 경우, 상기 복수의 주파수들 중 가장 높은 진폭의 피크를 갖는 주파수를 대상 주파수로 결정하는 단계를 포함하고, 상기 음정 코드를 제공하는 단계는 상기 대상 주파수에 매핑된 음정 코드를 제공하는 단계를 포함할 수 있다.
본 개시의 실시예에 따라 가사 표시 정보를 제공하는 방법은 음계에 따른 높이 차이로 가사 표시 정보를 디스플레이 장치에 현출함으로써, 사용자가 직관적으로 가사의 음계를 파악할 수 있어 정확한 음으로 가사를 따라 부를 수 있도록 한다. 아울러, 사용자의 음성 데이터를 수신할 때, 음성 데이터의 주파수를 파악하고, 주파수에 대응된 음성 코드가 가사의 음계에 대응되는 코드인지 여부를 판단함으로써 사용자가 정확한 음계로 가사를 부르고 있는지 여부를 알려줄 수 있다.
본 개시의 예시적 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 아니하며, 언급되지 아니한 다른 효과들은 이하의 기재로부터 본 개시의 예시적 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 개시의 예시적 실시예들을 실시함에 따른 의도하지 아니한 효과들 역시 본 개시의 예시적 실시예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.
도 1은 본 개시의 실시예에 따른 가사 표시 정보를 출력하는 방법을 도시한 흐름도이다.
도 2 및 도 3은 일실시예에 따라 기준선으로부터 가사의 음계에 따라 정해진 높이로 가사 표시 정보를 출력하는 방법을 도시한 도면이다.
도 4는 일실시예에 따라 사용자로부터 수신된 음성 데이터의 주파수를 추출하는 방법을 도시한 도면이다.
도 5 및 도 6은 서로 다른 음성 데이터에 따라 가사 재표시 정보가 현출된 예시를 도시한 도면이다.
도 7 및 도 8은 일실시예에 따라 기준선으로부터의 높이에 따라 화상 데이터가 움직이는 예시를 도시한 도면이다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예에 대해 상세히 설명한다.
도 1은 본 개시의 실시예에 따른 가사 표시 정보를 출력하는 방법을 도시한 흐름도이다.
도 1을 참조하면, 본 개시의 가사 표시 정보 생성 장치는 디스플레이 장치에 가사 표시 정보를 출력하고, 사용자로부터 획득된 음성 데이터에 기초하여 가사 재표시 정보를 출력할 수 있다. 이하 명세서에서, 가사 표시 정보는 음절 단위로 현출되는 텍스트 정보일 수 있으나, 본 개시의 실시예는 이에 국한되지 않고, 하나의 음절에서 복수의 음계로 천이될 때 현출되는 기호(예시적으로, '-' 기호로 표시될 수 있다)를 포함할 수 있다.
본 개시의 가사 표시 정보 생성 장치는 노래방 반주기 또는 노래 반주 생성 장치로 지칭될 수 있고, 가사 표시 정보 생성 장치가 수행하는 일련의 동작들은 예컨대 마이크로프로세서(micro-processor), AP(application processor, CPU(central processing uni), GPU(graphic processing unit)과 같이 임의의 명령어 세트(예컨대, IA-32(Intel Architecture-32), 64 비트 확장 IA-32, x86-64, PowerPC, Sparc, MIPS, ARM, IA-64 등)을 실행할 수 있는 코어에 의해 수행될 수 있다.
단계(S10)에서, 가사 표시 정보 생성 장치는 가사 표시 정보에 대응되는 음계 데이터에 따라 결정된 기준선으로부터의 높이에 가사 표시 정보를 디스플레이 장치에 출력할 수 있다. 기준선은 디스플레이 장치에 현출되는 이미지일 수 있으나, 가상의 기준선일 수 있다. 가사 표시 정보 생성 장치는 음절 단위의 가사에 대응된 음계에 따라 기준선으로부터의 높이를 결정할 수 있다. 예시적으로, 기준선은 디스플레이 장치 하단에 배치될 수 있고, 기준선으로부터의 높이는 가사의 음계가 높을수록 더 높이 설정될 수 있다.
단계(S20)에서, 가사 표시 정보 생성 장치는 사용자로부터 음성 데이터를 수신할 수 있다. 일실시예에 따르면, 가사 표시 정보 생성 장치는 외부 마이크 장치 또는 내부 마이크 장치에 의해 사용자의 음성을 아날로그 신호로 수신할 수 있다. 또는 마이크 장치는 획득된 아날로그 신호를 디지털 신호로 변환함으로써 음성 데이터를 가사 표시 정보 생성 장치에 제공할 수 있다.
단계(S30)에서, 가사 표시 정보 생성 장치는 음성 데이터로부터 음성 데이터에 대응되는 음정 코드를 획득할 수 있다. 일실시예에 따르면, 가사 표시 정보 생성 장치는 음성 데이터의 일정 시간 구간동안 획득한 신호를 푸리에 변환함으로써 일정 시간 구간에 대응되는 사용자 음성의 주파수를 획득할 수 있다.
사용자 음성의 주파수는 특정 음계에 대응될 수 있고, 주파수와 특정 음계에 대응되는 음정 코드의 매핑 테이블은 가사 표시 정보 생성 장치에 미리 저장되어 있을 수 있다. 즉, 가사 표시 정보 생성 장치는 주파수에 따라 음정 코드를 생성할 수 있다.
단계(S40)에서, 가사 표시 정보 생성 장치는 사용자의 음성 데이터에 대한 음정 코드가 음악 미디어에 미리 지정된 음정 코드에 대응되는지 여부를 판단하고, 대응되는지 여부에 따라 서로 다른 표시 방법으로 가사 재표시 정보를 출력할 수 있다. 일실시예에 따르면, 가사 표시 정보 생성 장치는 어느 하나의 음악 미디어에 대한 음정 코드들을 음절 단위로 저장할 수 있고, 사용자로부터 음성 데이터가 수신된 경우, 사용자의 음성 데이터에 대한 음정 코드가 미리 저장된 음정 코드에 대응되는지 여부를 판단할 수 있다.
일실시예에 따르면, 사용자의 음성 데이터에 대한 음정 코드가 미리 저장된 음정 코드에 대응되는 경우는 사용자가 부른 노래의 음계가 음악의 음계와 일치하는 경우일 수 있고, 사용자의 음성 데이터에 대한 음정 코드가 미리 저장된 음정 코드에 대응되지 않는 경우는 사용자가 부른 노래의 음계가 음악의 음계와 일치하지 않는 경우일 수 있다. 이에 따라 생성되는 가사 재표시 정보는 도 5 및 도 6에서 설명하도록 한다.
도 2 및 도 3은 일실시예에 따라 기준선으로부터 가사의 음계에 따라 정해진 높이로 가사 표시 정보를 출력하는 방법을 도시한 도면이다.
도 2 및 도 3의 서로 다른 실시예들을 참조하면, 가사 표시 정보 생성 장치는 서로 다른 방법으로 기준선을 설정한 후, 기준선으로부터의 높이에 따라 가사 표시 정보를 현출할 수 있다. 도 2는 음계에 대응되는 절대 높이로 설정될 수 있고, 도 3은 음계에 대응되는 이전 음절에 대한 상대 높이로 설정될 수 있다.
본 개시의 디스플레이 장치는 텔레비전(TV), 사용자 단말, 개인용 컴퓨터(pc), 및 게임기에 포함된 LCD, PDP, 및 OLED 디스플레이 중 어느 하나일 수 있고, 가사 표시 정보 생성 장치에 연결되어 있을 수 있다.
도 2를 참조하면, 가사 표시 정보는 음절 단위로 생성될 수 있고, 기준선은 디스플레이 장치의 하단부에 설정될 수 있다. 일실시예에 따르면, 가사 표시 정보가 음절 단위로 생성된 경우, 가사의 각 음절에 대한 음계로 기준선으로부터의 높이가 설정될 수 있다. 예시적으로, '으'는 5옥타브 도로 설정되고, '쓱'은 4옥타브 솔로 설정된 경우, 가사 표시 정보 생성 장치는 5옥타브 도에 대응되는 제1 높이(H1)에 가사 표시 정보 '으'을, 4옥타브 솔에 대응되는 제2 높이(H2)에 가사 표시 정보 '쓱'을 출력할 수 있다.
도 2의 실시예에 따르면, 기준선은 모든 음절에 대해 동일한 높이로 설정될 수 있고, 음계마다 높이가 대응되어 설정되므로, 도 2의 실시예에서 설정되는 높이는 절대 높이로 지칭될 수 있다.
도 3을 참조하면, 가사 표시 정보가 음절 단위로 생성된 경우, 기준선은 각 음절의 중앙선으로 설정될 수 있다. 일실시예에 따르면, 디스플레이 장치에 출력하고자 하는 대상 음절의 높이를 결정할 때, 대상 음절의 이전 음절에 대한 음계차를 판단하고, 음계차에 따라 기준선으로부터의 높이를 설정할 수 있다.
도 3의 예시에 따르면, 가사 표시 정보 생성 장치가 두번째 음절인 '쓱'의 높이를 설정할 때, 이전 음절인 첫번째 음절 '으'과 두번째 음절 '쓱'에 대한 음계차를 결정할 수 있다. 첫번째 음절이 5옥타브 도에 대응되고, 두번째 음절이 4옥타브 솔에 대응되는 경우, 첫번째 음절과 두번째 음절의 음계차는 3 음계차이다. 가사 표시 정보 생성 장치는 두번째 음절의 가사 표시 정보를 생성할 때, 첫번째 음절의 중앙선을 기준선으로 설정하고, 기준선으로부터 3 음계차에 대응되는 제3 높이(H3)만큼 아래에 두번째 음절의 가사 표시 정보를 현출할 수 있다.
아울러, 가사 표시 정보 생성 장치가 여섯번째 음절인 '한'의 높이를 설정할 때, 이전 음질인 다섯번째 음절 '잘'과 여섯번째 음절 '한'에 대한 음계차를 결정할 수 있다. 다섯번째 음절이 4옥타브 미에 대응되고, 여섯번째 음절이 4옥타브 레에 대응되는 경우, 다섯번째 음절과 여섯번째 음절의 음계차는 1 음계차이다. 가사 표시 정보 생성 장치는 여섯번째 음절의 가사 표시 정보를 생성할 때, 다섯번째 음절의 중앙선을 기준선으로 설정하고, 기준선으로부터 1 음계차에 대응되는 제4 높이(H4)만큼 아래에 여섯번째 음절의 가사 표시 정보를 현출할 수 있다. 이 때, 3 음계차에 대응되는 제3 높이(H3)는 1 음계차에 대응되는 제4 높이(H4)의 3배일 수 있다. 즉, 기준선으로부터의 높이는 음계차에 비례하여 설정될 수 있다.
도 4는 일실시예에 따라 사용자로부터 수신된 음성 데이터의 주파수를 추출하는 방법을 도시한 도면이다.
가사 표시 정보 생성 장치는 일정 시간 구간 또는 가사의 한 음절에 대응되는 시간 구간동안 아날로그 신호의 음성 데이터를 사용자로부터 획득하고, 음성 데이터의 주파수를 결정할 수 있다. 음성 데이터의 음계는 주파수에 따라 결정될 수 있는데, 주파수에 대응되는 음계는 매핑 테이블로 다음과 같이 가사 표시 정보 생성 장치에 미리 저장되어 있을 수 있다.
일실시예에 따르면, 가사 표시 정보 생성 장치는 가사의 한 음절에 대응되는 시간 구간보다 짧게 설정된 일정 시간 구간 단위로 음성 데이터의 주파수를 결정할 수 있다. 이 때, 가사 표시 정보 생성 장치는 한 음절 내에서 복수회로 음성 데이터의 주파수가 변하는 경우 가사 재표시 정보로 사용자에 의해 수행된 가창 기법을 현출할 수도 있다. 이에 따라, 가사 표시 정보 생성 장치는 한 음절 내에서 사용자가 기교를 발휘하고 있는지 여부를 사용자에게 직관적으로 알려줄 수 있다.
옥타브 음계 계명 주파수
1 0 도 32.7032
1 34.6478
2 레 36.7081
… … …
3 4 미 164.814
5 파 174.614
… … …
일실시예에 따르면, 사용자가 다양한 환경에서 음성 데이터를 가사 표시 정보 생성 장치에 입력하게 될 수 있고, 주변 노이즈가 큰 환경에서 생성된 음성 데이터가 가사 표시 정보 생성 장치에 입력될 수 있다. 이에 따라, 아날로그 신호의 음성 데이터는 이상적인 정현파로 형성되지 않을 수 있고, 복수의 주파수들이 혼합된 정현파로 형성될 수 있다.도 4를 참조하면, 가사 표시 정보 생성 장치가 아날로그 신호의 음성 데이터를 사용자로부터 획득한 경우, 푸리에 변환을 수행함으로써 시간 도메인의 신호를 주파수 도메인의 신호로 추출할 수 있다. 예시적으로, 가사 표시 정보 생성 장치는 FFT(Fast-Fourier Transform)을 수행할 수 있다.
일실시예에 따르면, 푸리에 변환 결과, 가사 표시 정보 생성 장치는 복수의 주파수들에서 피크 값을 갖는다고 판단할 수 있고, 복수의 주파수들 중 가장 큰 피크 값을 갖는 주파수를 대상 주파수라고 판단할 수 있다. 예시적으로, 가사 표시 정보 생성 장치는 복수의 주파수들에서의 진폭 레벨이 임계 레벨 이상이라고 판단한 경우 복수의 주파수들에서 피크 값을 갖는다고 판단할 수 있다.
도 4의 실시예에 따르면, 가사 표시 정보 생성 장치가 제1 주파수(f1) 및 제2 주파수(f2)에서 피크 값을 갖는다고 판단한 경우, 제1 주파수(f1)의 진폭 레벨과 제2 주파수(f2)의 진폭 레벨을 비교할 수 있다. 이 때, 제1 주파수(f1)의 진폭 레벨이 제2 주파수(f2)의 진폭 레벨보다 큰 경우, 제1 주파수(f1)를 대상 주파수라고 판단하고, 제2 주파수(f2)를 노이즈로 분류할 수 있다. 이에 따라, 본 개시의 가사 표시 정보 생성 장치는 노이즈가 큰 환경에서도 사용자의 음성 데이터를 용이하게 추출하여 음정이 매칭되는지 여부를 판단할 수 있다.
도 5 및 도 6은 서로 다른 음성 데이터에 따라 가사 재표시 정보가 현출된 예시를 도시한 도면이다.
가사 표시 정보 생성 장치는 대상 주파수에 대응되는 음정 코드를 매핑 테이블로부터 생성할 수 있다. 음정 코드는 일련의 비트들로 구성된 정보일 수 있고, 음계가 99 음계로 구분된 경우 음정 코드는 7비트로 구성된 정보일 수 있다. 그러나, 본 개시의 음정 코드는 이에 국한되지 않는다.
가사 표시 정보 생성 장치는 음성 데이터로부터 생성한 음정 코드와 음악 미디어에 미리 지정된 음정 코드가 대응되는지 여부를 판단할 수 있다. 예시적으로, 가사 표시 정보 생성 장치는 음성 데이터로부터 생성한 7비트의 음정 코드 모두 미리 지정된 음정 코드에 대응되는지 여부를 판단할 수 있다.
그러나, 본 개시의 가사 표시 정보 생성 장치는 음정 코드에서 MSB(Most Significant Bit)의 일부 비트만 비교하고, 일부 비트가 동일한 경우 음성 데이터로부터 획득된 음정 코드와 음계 데이터로부터 미리 설정된 음정 코드가 대응되는 음정 코드라고 판단할 수 있다. 예시적으로, 음성 데이터로부터 획득된 음정 코드가 7비트로 구성되고 MSB 5비트만 미리 설정된 음정 코드와 동일한 경우, 두 음정 코드는 대응되는 음정 코드로 판단할 수 있다. 이에 따라, 음악 미디어의 정확한 음계로부터 1~2 음계 정도만 차이나는 경우라도 사용자가 음악에 맞게 부르고 있다고 판단될 수 있다.
도 5 및 도 6을 참조하면, 음성 데이터로부터 획득된 음정 코드와 미리 설정된 음정 코드가 대응되는지 여부에 따라 서로 다른 방법으로 가사를 표시할 수 있다. 본 명세서에서는 가사 표시 정보로부터 대응되는지 여부에 따라 서로 다른 방법으로 표시된 가사 정보를 가사 재표시 정보라 지칭하도록 한다.
도 5 및 도 6의 첫번째 음절과 두번째 음절은 이미 재생되어 입력된 음성 데이터의 음정 코드가 미리 저장된 음정 코드에 대응되는지 여부가 판단됨으로써 출력된 가사 재표시 정보일 수 있다. 도 5의 첫번째 음절과 두번째 음절 및 도 6의 첫번째 음절은 모두 음성 데이터의 음정 코드가 미리 저장된 음정 코드에 대응된다고 판단된 예시이고, 도 6의 두번째 음절은 음성 데이터의 음정 코드가 미리 저장된 음정 코드에 대응되지 않는다고 판단된 예시이다. 즉, 도 6의 두번째 음절에서 사용자의 음성은 재생되는 음악 미디어의 음정에 맞지 않다고 판단되었을 수 있다.
도 7 및 도 8은 일실시예에 따라 기준선으로부터의 높이에 따라 화상 데이터가 움직이는 예시를 도시한 도면이다.
도 7 및 도 8을 참조하면, 화상 데이터는 가사 표시 정보와 함께 디스플레이 장치에 현출될 수 있다. 일실시예에 따르면, 가사 표시 정보 생성 장치는 가사 표시 정보에 대응되는 음계에 따라 화상 데이터의 크기 또는 동작을 조절할 수 있다.
예시적으로, 도 7 및 도 8의 실시예에서 첫번째 음절의 음계는 두번째 음절의 음계보다 높을 수 있고, 가사 표시 정보 생성 장치는 첫번째 음절에 대응되는 음악 미디어가 재생될 때의 화상 데이터 크기보다 두번째 음절에 대응되는 음악 미디어가 재생될 때의 화상 데이터 크기를 작게 생성하거나, 화상 데이터의 크기가 작아지도록 동작될 수 있다.
또 다른 실시예에 따르면, 화상 데이터의 크기 또는 동작은 사용자로부터 획득된 음성 데이터에 의해 결정될 수 있다. 가사 표시 정보 생성 장치는 음성 데이터로부터 획득된 음정 코드에 화상 데이터를 연동시킬 수 있다. 예시적으로, 음정 코드가 낮은 음계에 대응되는 코드인 경우, 가사 표시 정보 생성 장치는 화상 데이터의 크기를 작게 구현할 수 있고, 음정 코드가 높은 음계에 대응되는 코인 경우, 가사 표시 정보 생성 장치는 화상 데이터의 크기를 크게 구현할 수 있다.
아울러, 본 개시의 실시예에서 가사 표시 정보 생성 장치는 음정 코드가 음계 데이터에 대응되는 경우와 음정 코드가 음계 데이터에 대응되지 않는 경우에 다른 화상 데이터를 현출할 수 있다. 이에 따라, 사용자는 음정에 맞게 노래를 부르고 있는지 여부를 더욱 직관적으로 판단할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (7)

  1. 가사가 포함된 음악 미디어로부터 사용자에게 가사 표시 정보를 제공하는 방법에 있어서,
    상기 가사 표시 정보에 대응되는 음계 데이터에 따라 결정된 기준선으로부터의 높이에 상기 가사 표시 정보를 디스플레이 장치에 출력하는 단계;
    상기 사용자로부터 상기 음악 미디어에 대한 음성 데이터를 수신하는 단계;
    상기 음성 데이터로부터 상기 가사 표시 정보에 대응되는 음정 코드를 획득하는 단계;
    상기 음정 코드가 상기 음계 데이터에 대응되는지 여부에 따라 서로 구별되는 방법으로 가사 재표시 정보를 출력하는 단계
    를 포함하고,
    상기 음정 코드를 획득하는 단계는,
    한 음절에 대응되는 시간 구간동안 상기 음성 데이터에 대한 주파수를 획득하는 단계; 및
    상기 주파수에 매핑된 음정 코드를 제공하는 단계
    를 포함하며,
    상기 주파수를 획득하는 단계는,
    상기 한 음절에 대응되는 시간 구간보다 짧게 설정된 일정 시간 구간 단위로 음성 데이터의 주파수를 결정하는 단계; 및
    상기 한 음절 내에서 복수회로 음성 데이터의 주파수가 변하는 경우 가창 기법에 대응되는 가사 재표시 정보를 출력하는 단계
    를 포함하는 것을 특징으로 하는 가사 표시 정보 제공 방법.
  2. 제1항에 있어서,
    상기 가사 표시 정보를 디스플레이 장치에 출력하는 단계는,
    상기 가사 표시 정보를 음절 단위로 상기 디스플레이 장치에 표시하는 단계
    를 포함하는 것을 특징으로 하는 가사 표시 정보 제공 방법.
  3. 제2항에 있어서,
    상기 가사 표시 정보를 디스플레이 장치에 출력하는 단계는,
    상기 가사 표시 정보 중 대상 음절을 이전 음절과의 음계차에 따라 상기 기준선으로부터의 높이를 설정하는 단계
    를 포함하는 것을 특징으로 하는 가사 표시 정보 제공 방법.
  4. 제1항에 있어서,
    상기 가사 표시 정보를 디스플레이 장치에 출력하는 단계는,
    상기 가사 표시 정보에 대응되는 음계 데이터에 따라 움직이는 화상 데이터를 상기 디스플레이 장치에 표시하는 단계
    를 포함하는 것을 특징으로 하는 가사 표시 정보 제공 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 주파수를 획득하는 단계는,
    상기 시간 구간동안의 음성 데이터로부터 푸리에 변환을 수행함으로써 상기 주파수를 획득하는 단계
    를 포함하는 것을 특징으로 하는 가사 표시 정보 제공 방법.
  7. 제6항에 있어서,
    상기 주파수를 획득하는 단계는,
    상기 음성 데이터로부터 푸리에 변환이 수행됨으로써 피크를 갖는 복수의 주파수들이 획득된 경우, 상기 복수의 주파수들 중 가장 높은 진폭의 피크를 갖는 주파수를 대상 주파수로 결정하는 단계
    를 포함하고,
    상기 음정 코드를 제공하는 단계는,
    상기 대상 주파수에 매핑된 음정 코드를 제공하는 단계
    를 포함하는 것을 특징으로 하는 가사 표시 정보 제공 방법.
KR1020210159887A 2021-11-19 2021-11-19 음악 미디어에 대한 가사 표시 정보를 제공하는 방법 KR102634002B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210159887A KR102634002B1 (ko) 2021-11-19 2021-11-19 음악 미디어에 대한 가사 표시 정보를 제공하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210159887A KR102634002B1 (ko) 2021-11-19 2021-11-19 음악 미디어에 대한 가사 표시 정보를 제공하는 방법

Publications (2)

Publication Number Publication Date
KR20230073451A KR20230073451A (ko) 2023-05-26
KR102634002B1 true KR102634002B1 (ko) 2024-02-05

Family

ID=86537375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210159887A KR102634002B1 (ko) 2021-11-19 2021-11-19 음악 미디어에 대한 가사 표시 정보를 제공하는 방법

Country Status (1)

Country Link
KR (1) KR102634002B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006201614A (ja) * 2005-01-21 2006-08-03 Victor Co Of Japan Ltd 音程認識装置およびこれを利用した音声変換装置
KR102060228B1 (ko) * 2017-11-16 2019-12-27 윤성현 자막 기반의 보컬 트레이닝 서비스 제공 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110018258A (ko) * 2010-04-28 2011-02-23 주식회사 엔씽모바일 음의 고저를 표현하는 자막 생성 방법 및 자막 표시 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006201614A (ja) * 2005-01-21 2006-08-03 Victor Co Of Japan Ltd 音程認識装置およびこれを利用した音声変換装置
KR102060228B1 (ko) * 2017-11-16 2019-12-27 윤성현 자막 기반의 보컬 트레이닝 서비스 제공 시스템

Also Published As

Publication number Publication date
KR20230073451A (ko) 2023-05-26

Similar Documents

Publication Publication Date Title
JP3209156B2 (ja) 自動伴奏パターン発生装置及び方法
US7212213B2 (en) Color display instrument and method for use thereof
US20020126014A1 (en) Tone generation controlling system
JP6617783B2 (ja) 情報処理方法、電子機器及びプログラム
WO2015042083A1 (en) Recommending audio sample combinations
CN107146597A (zh) 一种钢琴自助调音系统及调音方法
US20190392803A1 (en) Transposing device, transposing method and non-transitory computer-readable storage medium
US9098679B2 (en) Raw sound data organizer
KR102634002B1 (ko) 음악 미디어에 대한 가사 표시 정보를 제공하는 방법
US9040799B2 (en) Techniques for analyzing parameters of a musical performance
JP2020021098A (ja) 情報処理装置、電子機器及びプログラム
JP2008089975A (ja) 電子楽器
US5403967A (en) Electronic musical instrument having melody correction capabilities
KR20110079258A (ko) 휴대용 전자기기를 이용한 노래반주기 협연방법
JP2005202204A (ja) 楽譜表示プログラム及び楽譜表示装置
WO2019176029A1 (ja) 音検出装置
US9818388B2 (en) Method for adjusting the complexity of a chord in an electronic device
JP6073618B2 (ja) カラオケ装置
JP5969421B2 (ja) 楽器音出力装置及び楽器音出力プログラム
CN110751935A (zh) 乐器演奏点的确定及节奏评分的方法
JP3783687B2 (ja) 演奏練習装置及びプログラム
JP6582517B2 (ja) 制御装置およびプログラム
CN110998708A (zh) 差分提示装置、差分提示方法及差分提示程序
CN113744760B (zh) 一种音高识别方法、装置、电子设备及存储介质
JP4093001B2 (ja) 楽譜表示データを記憶した記憶媒体、その楽譜表示データを用いた楽譜表示装置及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant