KR100270434B1 - 생음성의 음역을 검출하여 하모니음성을 조절하는 가라오케 장치 - Google Patents

생음성의 음역을 검출하여 하모니음성을 조절하는 가라오케 장치 Download PDF

Info

Publication number
KR100270434B1
KR100270434B1 KR1019960031885A KR19960031885A KR100270434B1 KR 100270434 B1 KR100270434 B1 KR 100270434B1 KR 1019960031885 A KR1019960031885 A KR 1019960031885A KR 19960031885 A KR19960031885 A KR 19960031885A KR 100270434 B1 KR100270434 B1 KR 100270434B1
Authority
KR
South Korea
Prior art keywords
harmony
voice
karaoke
song
range
Prior art date
Application number
KR1019960031885A
Other languages
English (en)
Other versions
KR970008041A (ko
Inventor
슈이치 마츠모토
Original Assignee
우에시마 세이스케
야마하 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 우에시마 세이스케, 야마하 가부시키가이샤 filed Critical 우에시마 세이스케
Publication of KR970008041A publication Critical patent/KR970008041A/ko
Application granted granted Critical
Publication of KR100270434B1 publication Critical patent/KR100270434B1/ko

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/02Analogue recording or reproducing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/366Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental

Abstract

본 가라오케 장치는 생음성 파트에 수반되는 가라오케 반주파트 및 가라오케하모니파트를 연주하도록 구성되어 있다. 픽업장치는 생음성 파트의 가창 음성을 수집한다. 검출장치는 상기 수집된 가창음성을 분석하여 상기 생음성 파트가 실제로 가창되는 음역을 검출한다. 하모니 발생장치는 상기 검출된 음역에 따라서 가라오케 파트의 하모니 음성을 발생하므로, 가라오케 하모니 파트는 생음성파트와 조화를 이루게 된다. 악음발생장치는 가라오케 하모니 파트와 병행하여 가라오케 반주파트의 악음을 발생한다.

Description

생음성의 음역을 검출하여 하모니음성을 조절하는 가라오케 장치
본 발명은 가라오케 장치에 관한 것이며, 특히 가라오케 장치의 생음성에 합성하모니음성을 자동적으로 부가할 수 있는 가라오케 장치에 관한 것이다.
종래의 가라오케 장치는 가라오케 연주를 행하는 여러 설비를 구비하고 있다. 이러한 설비에서는 가라오케 가창자의 생음성에 합성 하모니음성을 부가하기 위해서 하모니 음성을 발생한다. 하모니 음성 발생은 멜로디 라인을 따라 가면서, 주요 생음성의 멜로디 라인에 비해 3도(degree) 내지 5도의 소정 피치 차이를 가지는 하모니 음성을 생성함으로써 이루어진다. 또다른 방법으로는 미리 기록된 하모니음성이 가라오케 연주의 진행과 동기하여 재생성되는 방법이 있다. 또한, 가라오케 곡이 2이상의 음성 파트를 포함하고 있으면, 가라오케 가창자가 취할 수 있도록 하나의 음성 파트를 보유하면서, 다른 파트는 곡 데이타내에 반주 하모니음으로서 포함할 수가 있다. 주요 음성 멜로디 트래킹에 의한 하모니 발생에 있어서, 주요 음성 라인은 멜로디 트래킹에 응답하여 예를 들면 3도 위로 시프트된 소정 피치의 하모니 음성에 중첩될 수 있다.
그런데, 가라오케 가창자가 여성인 경우, 항상 3도 내지는 5도가 높은 하모니 음성이 발생되면, 발생된 하모니 음성은 일시적으로 가청 영역의 최고 주파수를 초과할 수도 있다. 가라오케 가창자가 남성인 경우, 항상 3도 내지는 5도가 낮은 하모니 음성이 발생되면, 발생된 하모니 음성은 일시적으로 가청 영역의 최저 주파수를 초과할 수도 있다. 또한, 단순히 팽행 3도 내지 5도에서 하모니 음성을 발생시키면, 부자연스런 멜로디 라인을 생성할 수도 있다.
주요 하모니 파트를 미리 기록함에 의한 하모니 발생에서는 상기 미리 기록된 하모니 파트가 어떤 음역의 주요 음성 파트와는 조화를 이룰 수 있으나, 다른 음역의 주요 음성 파트와는 조화를 이루지 못할 수도 있다. 가라오케 가창자는 그 음성 음역과 멜로디 라인을 맞추기 위해서 종종 한 옥타프만큼씩 주요 음성파트를 조옮김할 수도 있는데, 이 경우 발생된 하모니 음성은 조옮김된 멜로디 라인과 부조화롭게 들릴 수도 있다.
특히 다중의 음성 파트를 가지는 가라오케 곡의 경우, 가라오케 곡의 어느 파트가 생음성 파트로 연주되는지를 인식하기가 매우 어려운 때가 종종 있다. 상기 종류의 가라오케 곡에서는 가라오케 가창자에 의해서 곡의 어느 파트가 가창될지를 쉽게 예측할 수가 없으므로, 발생된 하모니 파트와 가라오케 가창자의 생음성 파트가 서로 오버랩되는 경우가 종종 있다. 또한, 어떤 연주 곡목에서는 다수의 음성 파트가 서로 바뀌어지도록 작곡될 수도 있다. 이 때, 가라오케 가창자는 무조건 상부 파트를 노래할 수도 있고, 또는 곡에서 상부 파트와 하부 파트를 혼동할 수도 있다. 가라오케 가창자가 그러한 식으로 노래하는 경우, 가창자는 곡내의 2개의 평행 파트간에서 그의 라이브 파트를 스위칭하는 것이 되므로, 어떤 구간의 하모니 음성 파트는 그 구간의 생음성 파트와 중첩될 수가 있다.
제1도는 본 발명에 따른 가라오케 장치의 주요 부분의 구성을 도시한 설명 블럭도.
제2도는 본 발명에 따른 가라오케 장치의 주요 부분의 구성을 도시한 또다른 설명블럭도.
제3도는 본 발명에 따른 가라오케 장치의 주요 부분의 구성을 도시한 또다른 설명블럭도.
제4도는 본 발명에 따른 가라오케 장치의 전체 블럭도.
제5도는 가라오케 장치에 이용된 음성처리 DSP의 기능을 도시한 설명 블럭도.
제6(a)도, 제6(b)도 및 제6(c)도는 가라오케 장치에 이용된 곡 데이타 포맷을 도시한 설명도.
제7도는 가라오케 장치에 이용된 곡 데이타 포맷을 도시한 설명블럭도.
제8도는 가라오케 장치에 이용된 곡 데이타 포맷을 도시한 설명블럭도이다.
* 도면의 주요부분에 대한 부호의 설명
2 : 하모니 발생기 3 : 가창음성신호
4 : 음성분석기 5 : 음성처리기
6 : 악음 발생기 7 : 혼합기
9 : 패널 스위치 50 : 점수기록장치
본 발명에 따르면, 가라오케 장치는 생음성 파트에 수반되는 가라오케 하모니파트 및 가라오케 반주파트를 연주하도록 구성되어 있다. 상기 가라오케 장치는 생음성 파트의 가창 음성을 수집하는 픽업장치와, 상기 수집된 가창 음성을 분석하여 생음성 파트가 실제로 연주된 음역을 검출하는 검출장치와, 가라오케 하모니 파트가 생음성 파트와 조화를 이루도록 상기 검출된 음역에 따라서 가라오케 하모니파트의 하모니음성을 발생하는 하모니 발생장치와, 가라오케 하모니 파트와 병행하여 가라오케 반주파트의 기악음을 발생하는 악음 발생장치로 이루어져 있다. 본 발명의 가라오케 장치에서는 가창 음성의 음역을 검출함으로써 하모니 음성을 조절한다. 예를 들면, 다수의 음성 파트중의 한 파트로써 음역이 검출된다. 하모니 음성은 상기 검출된 음성 파트와 매칭되어 발생되므로, 상기 하모니 음성은 가창되는 생음성 및 악기 반주음과 매우 조화롭게 된다.
본 발명의 가라오케 장치의 형태에서, 하모니 발생장치는 가라오케 하모니 파트에 서로 다르게 레지스터되어 있는 다수의 멜로디 라인에 해당하는 다수의 하모니 데이타 패턴을 저장하고 있는 저장수단과, 가창 음성의 상기 검출된 음역에 따라서 하모니 데이타패턴중의 한 패턴을 선택하는 선택수단과, 해당 멜로디 라인에 따른 상기 선택된 하모니 데이타 패턴에 따라서 하모니 음성을 발생하는 발생수단으로 이루어져 있다. 즉, 본 발명의 가라오케 장치는 다수의 하모니 데이타패턴을 미리 저장하고 있다. 가창되는 생음성의 검출된 영역에 따라서 다수의 하모니 데이타패턴중에서 최적의 한 패턴이 선택된다. 선택된 하모니 데이타패턴에 따라서 하모니 음성이 합성되므로 가창음성에 잘 어울리게 된다.
본 발명의 가라오케 장치의 또다른 형태에서, 하모니 발생장치는 가라오케 하모니파트를 형성하는 선율의 반복 진행을 나타내는 하모니 데이타패턴을 저장하고 있는 저장 수단과, 가창 음성의 검출된 음역에 따라서 상기 선율의 반복 진행을 피치 시프팅함으로써 상기 하모니 데이타패턴을 조절하는 시프팅수단과, 상기 조절된 하모니 데이타패턴에 따라서 하모니음성을 발생하는 발생수단으로 이루어져 있다. 즉, 초기의 가라오케 하모니 파트의 피치 또는 주파수는 검출된 음역에 따라 시프팅되므로 조절 또는 수정된 가라오케 하모니 파트를 생성한다. 따라서, 하모니 데이타패턴의 최소 데이타량으로 가창 음성의 음역과 매칭하여 하모니 음성을 발생할 수가 있다.
본 발명의 가라오케 장치의 또다른 형태에서, 검출장치는 수집된 가창 음성이 속해 있는 하나의 음역을 결정하기 위해서 생음성 파트의 구간에서 여러 음역들을 한정하는 기준데이타와 상기 수집된 가창음성의 피치를 비교하는 비교장치를 포함한다. 상기 검출장치는 수집된 가창 음성의 음역을 연속적으로 검출하기 위해서, 가라오케 반주 파트의 진행과 동기하여 기준 데이타를 순차적으로 공급하는 공급수단을 추가로 포함하므로, 가라오케 반주파트의 진행 전반에 걸쳐서 생음성 파트와 조화를 이루는 가라오케 하모니 파트를 유지할 수가 있다. 즉, 생음성 파트의 피치 구간은 다수의 기준데이타 또는 임계 데이타에 따라서 다수의 피치 대역으로 분할된다. 가창음성의 멜로디라인 또는 음역은 가창음성이 속해 있는 피치대역면에서 검출된다. 이러한 구성에 의해, 가창 음성의 피치가 변경되어도 음역이 정확히 검출된다.
제1도 내지 제3도를 참고하여 본 발명의 기본 구성을 설명한다. 제1도는 다수의 하모니 데이타패턴 및 상기 다수의 하모니 데이타패턴의 각각에 해당하는 다수의 기준데이타 패턴으로 이루어진 곡 데이타를 이용한 가라오케장치를 도시한 도면이다. 참고부호 1로 표시된 곡 데이타는 다수의 하모니 데이타패턴, 다수의 기준데이타패턴 및 기악 반주음 생성의 가라오케 데이타패턴을 포함한다. 가라오케 연주 시작시, 가라오케 데이타패턴은 반주음을 발생시키기 위해서 악음발생기(6)에 공급된다. 발생된 반주음은 혼합기(7) 및 스피커(8)를 통해서 청각적으로 재생성된다. 가라오케 가창자는 상기 반주음을 들으면서 가라오케 곡을 가창하게 된다. 참고부호 3으로 표시된 가창음성신호는 혼합기(7), 음성 분석기(4), 음성 처리기(5) 및 하모니 발생기(2)에 공급된다.
음성분석기(4)는 가창음성의 음역을 분석하기 위해서 입력 가창음성신호(3)를 다수의 기준데이타 패턴파 비교한다. 기준 데이타패턴은 한 파트의 하모니 데이타패턴과 마찬가지로, 가라오케 곡의 진행과 동기하여 상하 진행하는 한 파트의 멜로디 라인의 일종일 수도 있다. 예를 들면, 한 파트의 기준데이타 패턴은 MIDI 데이타 포맷 또는 다음(多音)의 가라오케 곡 데이타의 멜로디 트랙등의 또다른 데이타 포맷으로 묘사될 수도 있다. 음역 검출 또는 파트 분석은 여러 방법에 따라서 실행될 수가 있다. 예를 들면, 가장 간단한 방법은 가창 음성신호가 어떤 기준 데이타패턴과 일치할 때에 상기 가창 음성 신호의 음역을 해당 파트로 검출하는 방법이 있다. 여기에서, 상기 기준데이타 패턴은 멜로디 라인 포맷으로 미리 묘사되어 있다. 또다른 간단한 방법으로는 여러 음역들을 형성하는 다수의 임계 데이타의 형태로 기준 데이타 패턴이 제공되어 있는 방법이 있다. 가창 음성의 파트 또는 음역은 가창 음성신호가 어떤 규정 음역에 속해 있는가를 판단함으로써 검출된다. 음성 분석기(4)에 의한 분석 결과는 하모니 발생기(2) 및 음성 처리기(5)에 보내진다. 하모니 발생기(2)는 상기 입력된 분석결과에 응답하여 곡 데이타내의 다수의 하모니 데이타패턴중의 하나를 선택한다. 이러한 선택에서는 상기 분석된 가창 음성과 조화를 잘 이루도록 최적의 하모니 데이타패턴이 선택된다. 하모니 발생기(2)는 입력된 가창 음성신호를 처리 또는 수정함으로써 하모니 음성신호를 발생할 수도 있다. 달리, 하모니 발생기는 미리 기록되어 있는 하모니 음성 신호를 재생성할 수도 있다. 음성 처리기(5)는 가창 음성신호에 사운드 효과를 부여한다. 이 효과들은 음성 분석기(4)에 의한 분석 결과에 응답하여 행해지는 포먼트 변환, 반향등에서 선택이 될수가 있다. 예를 들면, 포먼트 변환, 반향등에서는 여성(남성) 가창 음성이 수집되는 경우에 여성(남성) 포먼트를 남성(여성) 포먼트로 대체시킬 수가 있다. 이러한 포먼트 변환으로, 가창 생음성의 성별은 가라오케 곡의 본래 가수의 성으로 변환될 수가 있다.
하모니 발생기(2)는 바라는 하모니 파트를 선택할 수 있도록 수동으로 조작되는 패널 스위치(9)에 접속되어 있다. 스위치(9)에 의해 하모니 음성파트가 수동으로 선택되는 경우에, 음성 분석기(4)에 의해서 어떤 분석 결과가 얻어지건 간에, 상기 선택된 하모니 음성 파트의 하모니 음성신호가 발생된다. 점수기록장치(50)는 음성분석기(4)의 분석 결과에 기초하여 가라오케 가창을 평가하고, 점수 결과를 표시한다. 때때로, 가라오케 가창자는 곡의 중간에 또다른 가라오케 가창자로 변경되거나, 자신의 파트를 변경하거나 또는 음성 높낮이를 한 옥타브만큼 변경시킬 수도 있다. 기본적으로, 음역검출 또는 파트 분석은 이들 변화를 따라 가므로, 재생성된 하모니 파트는 음역 변경에 응답하여 스위칭된다. 그런데, 하모니 파트의 급작스런 스위칭은 가창자 또는 듣는 이에게 부자연스런 느낌을 줄 수도 있다. 이를 방지하기 위해, 하모니 파트는 한 악절 또는 한 멜로디의 종결등의 과도적 타이밍에서 스위칭될 수도 있다.
상기한 바와 같이, 본 발명의 가라오케 장치는 생음성에 수반되는 가라오케 반주파트 및 가라오케 하모니파트를 연주하도록 구성되어 있다. 마이크로 폰등의 픽업 장치는 생음성 파트의 가창 음성(3)을 수집한다. 음성 분석기(4)는 상기 수집된 가창 음성(3)을 분석하여, 생음성 파트의 실제 음역을 검출한다. 하모니 발생기(2)는 상기 검출된 음역에 따라서 가라오케 하모니파트의 하모니 음성을 발생하므로, 가라오케 하모니 파트는 생음성 파트와 조화를 이루게 된다. 악음 발생기(6)는 가라오케 하모니 파트와 병행하여 가라오케 반주파트의 악기음을 발생한다. 하모니 발생기(2)는 가라오케 하모니 파트에 다르게 레지스터되어 있는 다수의 멜로디 라인에 해당하는 다수의 하모니 데이타패턴을 저장하고 있으며, 가창음성의 검출된 음역에 따라서 하모니 데이타패턴중의 하나를 선택하고, 해당 멜로디 라인에 따른 상기 선택된 하모니 데이타패턴에 따라서 하모니 음성을 발생한다. 예를 들면, 하모니 발생기(2)는 가창음성의 검출된 음역에 필적하는 음역을 가지는 멜로디 라인에 해당하는 하나의 하모니 데이타패턴을 선택한다. 음성분석기(4)는 수집된 가창 음성이 속해 있는 하나의 음역을 결정하기 위해서, 생음성파트의 구간에서 여러 음역들을 형성하고 있는 기준데이타와 상기 수집된 가창 음성의 높낮이를 비교한다. 음성분석기(4)는 수집된 가창음성의 음역을 연속적으로 검출하기 위해서 가라오케 반주파트의 진행과 동기하여 순차적으로 기준 데이타를 공급하므로, 이에 의해 가라오케 반주파트의 진행 전반에 걸쳐서 가라오케 하모니 파트는 생음성 파트와 조화를 이루게 된다.
제2도는 하모니 데이타패턴 및 기준 데이타패턴으로 이루어진 곡 데이타를 이용한 또다른 가라오케 장치를 도시한 도면이다. 제2도에서는 본 실시예의 이해를 돕고자, 제1도에서와 같은 블럭은 같은 참고부호로 표시한다. 곡 데이타(1′)는 하모니 데이타 패턴, 기준데이타 패턴, 반주음 제공의 가라오케 곡 데이타패턴을 포함한다. 음성분석기(4′)는 가창 음성 신호가 기준 데이타 패턴보다 몇도가 더 높은가 또는 낮은가를 분석한다. 상기 음성분석기(4′)는 가창 음성 신호의 음역을 옥타브로써 검출하도록 단순화될 수도 있다. 상기 음성분석기(4′)는 기준 데이타 패턴과 가창 음성 신호간의 피치 차이를 계산하여, 계산결과를 하모니 발생기(2′)로 송신한다. 하모니 발생기(2′)는 연주되게 될 하모니 음성의 피치를 결정하기 위해서 상기 입력된 피치 차이에 응답하여 하모니 데이타 패턴의 피치를 시프트한다. 상기 하모니 발생기(2′)는 입력된 가창 음성 신호를 처리 또는 수정함으로써 하모니 음성 신호를 발생하거나, 또는 제1도에서의 하모니 발생기(2)에 유사하게 미리 기록되어 있는 멜로디 하모니 음성 신호를 재생성함으로써 하모니 음성 신호를 발생할 수도 있다.
상기한 바와 같이, 제2도의 가라오케 장치에서, 하모니 발생기(2′)는 가라오케 하모니 파트를 이루는 일련의 선율들을 나타내는 하모니 데이타 패턴을 저장하고 있으며, 피치 차이면에서의 가창음성의 검출 음역에 따라서 상기 일련의 선율들을 피치-시프트함으로써 하모니 데이타 패턴을 조절하고, 상기 조절된 하모니 데이타 패턴에 따라서 하모니 음성을 발생한다. 하모니 발생기(2′)는 가창 음성으로부터 유래하는 하모니 음성을 발생하기 위해서, 상기 조절된 하모니 데이타 패턴에 따라서 상기 검출된 가창음성의 피치를 변경하는 피치 시프터를 포함한다.
제3도는 하모니 데이타패턴 및 가라오케 데이타패턴으로만 이루어진 곡 데이타를 이용한 또다른 실시예의 가라오케 장치를 도시한 도면이다. 제3도에서, 제1도에서와 동일한 블럭은 동일한 참고부호로 표시하며, 그 상세한 설명은 이하 생략한다. 음성분석기(4″)는 기준 데이타를 3개의 고정된 임계 데이타 형태로 저장하고 있다. 상기 3개의 임계 데이타는 각각 곡 최고 임계값, 남성 최대 임계값, 여성 최소 임계값으로 일컬어진다. 일반적으로 말하면, 보통의 가라오케 곡의 음성 멜로디는 통상의 음역에서 시작되므로, 가라오케 곡 연주의 시작시에 가창 음성 신호의 옥타브를 검출함으로써 가창자가 여성인지 또는 남성인지를 검출하는 것이 가능하다. 따라서, 곡 최고 임계값은 보통의 남성 및 여성 음역의 경계에서 설정되어 있다. 음성분석기(4″)는 가라오케 가창의 시작시에 상기 곡 최고 임계값에 따라서 가라오케 가창자가 남성 또는 여성인지를 즉시 검출한다. 음성 멜로디는 높은 피치에서부터 낮은 피치에 이르기까지의 여러 피치들을 가진 일련의 선율들을 포함할 수도 있다. 그런데, 초기에 가창자가 남성으로 검출되었어도 가창 음성의 피치가 남성 최대 임계값에 비해 너무 높으면, 가창자가 바뀌었거나 초기 검출이 잘못된 것으로 인식될 수도 있다. 이러한 인식은 남성 최대 임계값에 의해 행해진다. 만약, 가창 음성의 피치가 남성 최대 임계값을 초과하면, 가창자는 여성으로 검출되어 본래의 검출 결과를 취소시킨다. 한편 초기에 가창자가 여성으로 검출되었어도 가창 음성의 피치가 너무 낮으면, 가창자가 바뀌었거나 초기의 검출이 틀린 것으로 인식된다. 이러한 인식은 여성 최소 임계값에 의해 이루어진다. 만약 가창음성의 피치가 여성최소임계값 미만으로 떨어지면, 가창자는 남성으로 검출되어 초기의 검출 결과를 취소시킨다. 상기 남성/여성 인식의 결과는 하모니 발생기(2″)로 공급된다. 하모니 발생기(2′)는 옥타브면에서의 상기 검출된 남성/여성 음역에 의거하여 하모니 음성 신호의 피치를 결정한다.
따라서, 제1도에 도시한 실시예에서는 음역분석결과에 의거하여 다수의 하모니 데이타패턴중에서 최적의 한 패턴을 선택하기 위해서 다수의 기준 데이타패턴을 이용하여 가창 음성신호를 분석하므로, 하모니 파트와 가창자의 음성 파트가 어울리게 된다. 제2도 및 제3도에 도시한 실시예에서는 하모니 음성 신호가 간단한 배열로도 조절될 수가 있다.
이하, 제4도 내지 제8도를 참고하여 본 발명에 따른 가라오케 장치를 상세하게 설명한다. 이 가라오케 장치는 통신설비 및 하모나이징 설비가 설치되어 있는 음원타입의 장치이다. 상기 가라오케 장치의 음원타입에서는 곡 데이타가 가라오케 연주를 위해서 악음을 재생성하는 음원장치로 공급된다. 곡 데이타는 피치 및 선율의 타이밍을 지정하는 순차 데이타의 다수의 트랙으로 구성되어 있다. 통신 설비에 의해서, 가라오케 장치는 통신 네트워크를 통해 호스트 스테이션에 접속되어 있으며, 곡 데이타를 상기 호스트 스테이션으로부터 다운로딩하고, HDD(하드 디스크 드라이브)(17)(제4도)에 곡 데이타를 저장한다. 상기 HDD는 수백 내지 수천의 곡 데이타 화일을 저장할 수가 있다. 하모나이징 설비로, 가라오케 장치는 가창자의 음성 분석에 응답하여 상기 가창자의 음성과 조화를 이루는 하모니 음성을 발생하고 재생성한다.
이하, 제6(a)도 내지 제8도를 참고하여, HDD(17)에 저장된 곡 데이타의 포맷을 설명한다. 곡 데이타는 가창자의 파트 또는 음역을 검출하기 위한 기준 데이타패턴의 갯수 및 하모니 데이타패턴의 갯수에 의해서 타임I, 타입II, 타입III로 분류될 수가 있다. 타입I의 곡 데이타는 제1도와 관련되어 도시되어 있으며, 타입II의 곡 데이타는 제2도와 관련되어 도시되어 있고, 타입III의 곡 데이타는 제3도와 관련되어 도시되어 있다.
제6(a)도는 타입I의 곡 데이타의 포맷을 도시한 도면이다. 곡 데이타는 헤더, 반주음 데이타트랙, 가사표시 데이타트랙, 다수의 하모니 데이타패턴에 해당하는 다수의 하모니파트 데이타트랙, 및 다수의 기준 데이타패턴에 해당하는 다수의 파트분석 데이타트랙으로 이루어진다. 상기 헤더는 가라오케 곡의 제목, 가라오케 곡의 쟝르 및 가라오케 곡의 공개 날짜, 가라오케 곡의 연주시간(길이)등을 포함하여 가라오케 곡에 관련되 여러 목록 데이타를 포함한다. 상기 반주 음 데이타트랙은 가라오케 반주음을 합성하기 위해서 순차 데이타를 포함한다. 특히, 반주음 데이타트랙은 멜로디트랙, 리듬트랙등을 포함한 평행의 기악곡 서브트랙을 포함한다. 각각의 서브 트랙은 선율 이벤트 데이타 및 상기 각각의 선율 이벤트의 간격을 규정하는 지속시간 데이타로 이루어진 순차 데이타를 포함한다. 상기 가사 표시 데이타 트랙은 비디오 모니터상에 가라오케 곡의 가사말을 표시하기 위해서 순차 데이타를 기록한다. 곡 데이타에는 n개의 하모니파트 데이타트랙이 포함되어 있다. 하모니파트 데이타트랙은 해당 하모니 파트의 멜로디 라인을 표현하는 피치 순차 데이타를 저장하고 있다. 상기 하모니 데이타트랙이 저장하고 있는 피치 순차 데이타는 선율-온, 선율-오프를 명령하는 이벤트 데이타와 각각의 선율의 피치의 조합으로 이루어져 있다. 또한, 곡 데이타는 m개의 파트 분석 데이타 트랙을 포함한다. 각각의 파트분석 데이타트랙은 순차 데이타를 저장하고 있다. 이러한 순차 데이타는 이벤트 데이타와 지속시간 데이타의 조합으로 실현되므로, 파트분석 데이타트랙도 가라오케 곡 연주의 진행과 동기화되도록 유지된다.
제6(b)도 및 제6(c)도는 가창자의 생음성 파트, 하모니 파트, 분석 파트간의 관계를 도시한 도면이다. 제6(b)도는 곡 데이타가 다수의 가창자 파트 1,2,3 및 상기 다수의 가창자파트에 해당하는 다수의 하모니파트 1,2,3을 포함하고 있는 일예를 도시한 도면이다. 파트분석 데이타는 실제로 가창자에 의해서 가창자의 어느 파트(1 내지 3)가 가창되었는지를 검출하기 위해서 임계 데이타 1 및 임계 데이타 2의 형태로 되어 있다. 가창자가 실제 가창하고 있는 파트를 검출하고 해당 하모니 대응부를 선택하기 위해서, 임계데이타 1 및 임계데이타 2에 의해 지정된 어느 음역이 가창음성신호를 커버하고 있는가를 판단한다.
제6(c)도에 도시한 또다른 일예에서, 다수의 가창자 파트는 분석데이타 파트와 하모니 파트, 양쪽 모두에 대해 이용된다. 만약 가라오케 가창자가 다수의 가창자 파트중의 어느 하나를 가창하면, 가라오케 장치는 가창자에 의해서 실제로 가창된 파트를 검출하고, 연주되어질 하모니 파트로서 또다른 파트를 선택한다.
제6(b)도 및 제6(c)도에 도시한 바와 같이, 이들 보기에 있는 하모니 데이타는 가창자의 파트에 대해서 단순히 평행 3도 또는 5도의 대응 멜로디를 표현하지는 않으며, 가라오케 곡의 멜로디 또는 하모니면에서 음악적으로 가창자 파트와 잘 매칭되도록 가창자 파트에 대해 독특하게 작곡된 멜로디를 표현한다.
제7도는 타입 II의 곡 데이타의 일예를 도시한 도면이다. 곡 데이타는 헤더, 반주음 데이타 트랙, 가사 표시 데이타 트랙, 하모니 파트 데이타 트랙 및 파트 분석 데이타 트랙으로 이루어져 있다. 헤더, 반주음 데이타 트랙 및 가사 표시 데이타 트랙은 타입 I의 곡 데이타에서와 유사하게 형성되어 있다. 이번 보기에서는 하모니 파트 데이타 트랙이 단지 하나만이 구비되어 있다. 가창자의 실제 음성파트 노래음역에 따라서 하모니파트 데이타의 피치를 일정 정도(보통, 한 옥타브)를 시프팅함으로써, 하모니 음성 신호가 발생된다. 가라오케 가창자에 의해 가창된 파트 또는 음역은 가창 음성신호와 피치분석 데이타간의 피치 차이에 따라서 검출된다. 하모니 파트의 멜로디 라인은 제6(c)도의 경우에서와 같이 가라오케 가창자의 파트의 것과 같을 수도 있다.
제8도는 타입II의 곡 데이타의 일예를 도시한 도면이다. 곡 데이타는 헤더, 반주음 데이타트랙, 가사표시 데이타트랙, 하모니파트 데이타트랙으로 이루어진다. 헤더, 반주음 데이타트랙 및 가사표시 데이타트랙은 타입I의 곡 데이타에서와 유사하게 형성되어 있다. 하모니파트 데이타트랙에 지정되어 있는 하모니 멜로디 라인은 타입 II의 곡 데이타의 경우에서와 같이 하모니 음성 신호를 생성하도록 피치 시프트된다. 상기 곡 데이타에는 파트 분석 데이타가 포함되어 있지 않기 때문에, 파트 분석기에 저장되어 있는 고정 임계값과 가창자의 음성 신호를 비교함으로써 가창자에 의해 가창된 파트가 검출된다. 하모니파트 데이타트랙은 검출된 가창자의 파트와 하모니 음성신호가 잘 조화되도록 피치 시프트된다.
본 발명에 따른 가라오케 장치는 상기한 3타입의 곡 데이타중의 어느 하나를 지원한다. 검출된 생음성 파트 또는 그 음역과 조화를 맞추어 하모니 파트를 조절하기 위해서, 가라오케 가창자가 부른 파트는 각각의 곡 데이타 타입에 특수한 분석 방법에 따라서 검출된다.
제4도는 가라오케 장치의 세부사항을 도시한 개략적인 블럭도이다. CPU(10)는 그 시스템 버스를 통해서 전체 시스템을 제어한다. CPU(10)는 ROM(11), RAM(12), HDD(하드 디스크 드라이브)(17), ISDN 제어기(16), 원격제어수신기(13), 표시패널(14), 스위치 패널(15), 음원(18), 음성데이타 처리기(19), 효과 DSP(20), 문자 발생기(23), LD 변경기(24), 표시제어기(25) 및 음성처리 DSP(30)에 접속되어 있다.
ROM(11)은 시스템 프로그램, 응용 프로그램, 로더 프로그램, 폰트 프로그램을 저장하고 있다. 상기 시스템 프로그램은 주변 장치와 시스템간의 데이타 교류 및 시스템의 기본 작동을 제어한다. 응용 프로그램은 주변장치 제어프로그램. 순차 프로그램등을 포함한다. 가라오케 연주에서, 각각의 순차 프로그램은 CPU(10)에 의해 실행되어 곡 데이타에 따른 악음 및 비디오 화상을 재생성한다. 상기 로더 프로그램에 의해서는, 곡 데이타가 ISDN 제어기(16)를 통해 호스트 스테이션으로부터 로딩된다. 폰트 데이타는 가사 및 곡 제목을 디스플레이하도록 이용된다. ‘민초(Mincho)’ 및 ‘고딕’등의 여러 폰트는 폰트 데이타로 저장되어 있다. 작업 영역은 RAM(12)에 할당되어 있다. HDD(17)는 곡 데이타 화일을 저장하고 있다.
ISDN 제어기(16)는 ISDN 네트워크를 통해서 호스트 스테이션과의 통신을 제어한다. 곡 데이타를 포함한 여러 데이타가 호스트 스테이션으로부터 다운로딩된다. 상기 ISDN 제어기(16)는 상기 다운로딩된 곡 데이타 및 응용 프로그램등의 데이타 및 프로그램을 CPU(10)의 제어없이 HDD(7)에 직접 기록하는 DMA 제어기를 수용한다.
원격제어수신기(13)는 원격제어기(31)에 의해 송신된 적외선 제어신호를 수신하고, 상기 수신된 제어신호를 디코딩한다. 원격제어기(31)에는 10-키이 스위치 및 곡 선택 스위치등의 명령 스위치가 구비되어 있다. 원격 제어기(31)는 스위치의 사용자 조작에 따른 명령 코드에 의해 변조된 적외선의 제어신호를 전송한다. 표시패널(14)은 가라오케 장치의 전면에 설치되어 있다. 상기 표시패널(14)은 현재 재생되는 가라오케 곡의 곡 코드와, 재생되어질 예약곡의 갯수등을 표시한다. 스위치 패널(15)은 가라오케 장치의 전방 조작판에 구비되어 있다. 이 스위치 패널(15)은 곡 코드 입력 스위치, 가창 조옮김 스위치등을 포함한다.
음원(18)은 CPU(10)에 의해 분배된 곡 데이타에 따라서 반주음을 발생하는 악음 발생기로 이루어져 있다. 음성 데이타 처리기(19)는 곡 데이타에 포함된 화음 음성 데이타에 해당하는 특정 길이 및 피치를 가진 반주 화음 음성신호등을 발생한다. 음성 데이타는 반주 화음등의 ADPCM 파형 데이타로 이루어져 있으며, 이는 음원(18)에 의해 합성이 어려우며, 그 자체로 디지탈적으로 인코딩되는 파형 데이타이다.
마이크로 폰(27)은 가라오케 가창자의 가창 음성 신호를 수집하거나 픽업한다. 상기 수집된 가창 음성 신호는 프리 앰프(28) 및 A/D 컨버터(29)를 통해 음성처리 DSP(30)로 공급된다. 상기 가창음성신호에 부가하여, DSP(30)는 CPU(10)로부터 파트분석데이타 및 하모니파트 데이타를 수신한다. 음성처리 DSP(30)는 입력되어 있는 파트분석 데이타에 따라서 가라오케 가창자에 의해 가창된 파트를 검출하고, 가창자의 파트와 조화를 이루는 하모니 음성신호를 발생한다. 하모니 음성 신호는 가창자의 음성 신호의 피치를 시프팅함으로써 발생된다. 발생된 하모니 음성 신호는 효과 DSP(20)로 공급된다.
효과 DSP(20)는 음원(18)에 의해 발생된 반주음 신호와, 음성데이타 처리기(19)에 의해 발생된 반주 화음 음성신호와, 상기 음성처리 DSP(30)에 의해 발생된 하모니 음성신호를 수신한다. 상기 효과 DSP(20)는 사운드 및 음성 신호에 에코 및 반향등의 여러 사운드 효과등을 부여한다. 효과 DSP(20)에 의해 부여된 사운드 효과의 타입 및 깊이는 곡 데이타의 반주음 트랙에 포함되어 있는 효과제어 데이타에 기초하여 조절된다. 효과-부여된 반주음 및 음성신호는 D/A 컨버터(21)에서 아날로그 신호로 변환된 후, 증폭기/스피커(22)로 공급된다. 증폭기/스피커(22)는 입력된 아날로그 신호를 증폭하여 청각적으로 재생성한다.
문자 발생기(23)는 입력된 문자 데이타에 해당하는 곡 제목 및 가사를 표현하는 문자 패턴을 발생한다. LD변경기(24)는 120개의 화면을 포함하는 약 5개의 레이저 디스크를 조절하며, 약 120개의 화면의 배경 비디오 화상을 선택적으로 재생성할 수 있다. LD 변경기(24)는 곡 데이타에 포함된 쟝르 데이타에 의거하여 결정된 화상 선택 데이타를 수신한다. 상기 LD 변경기(24)는 120개 화면의 비디오 화상으로부터 하나의 배경 비디오 화상을 선택하며, 비디오 화상을 시각적으로 재생성한다. 상기 발생된 문자패턴 데이타 및 상기 선택된 비디오 화상은 표시 제어기(25)로 보내진다. 표시제어기(25)는 2개의 입력 데이타를 서로 중첩시키며, 합성 화상을 비디오 모니터(26)상에 디스플레이한다.
제5도는 음성처리 DSP(30)의 상세한 구성을 도시한 도면이다. 음성처리 DSP(30)는 가창 음성신호와 조화를 이루는 하모니 파트의 오디오 신호를 발생하기 위해서 상기 입력된 가창음성신호를 분석한다. 제5도에서 음성처리 DSP(30)는 블럭으로써 기능적으로 도시되어 있다. 이들 기능들은 실제로 DSP의 마이크로 프로그램에 의해서 실행된다.
A/D 컨버터(29)를 통해 공급된 가창음성신호는 피치 검출기(40), 음절검출기(42), 피치 시프터(43)로 공급된다. 피치 검출기(40)는 입력된 가창 음성신호의 피치 또는 주파수를 검출한다. 음절검출기(42)는 입력된 가창 음성신호에 포함되어 있는 각각의 음절을 검출한다. 상기 음절들은 그 발음 특성에 의존하여 자음과 모음을 식별함으로써 검출된다. 피치 시프터(43)는 입력된 가창 음성신호의 피치를 시프트하여, 상기 입력된 가창음성신호와 조화를 이루는 하모니 음성신호를 발생한다. 따라서, 수집된 가라오케 가창자의 음성은 한 채널을 통과한 것처럼 출력되며, 또한 음성처리 DSP(30)에 의해 피치 시프트되므로 반주음 신호와 병행하여 가창자의 음성과 조화를 이루는 하모니 음성신호로 변환된다.
피치 검출기(40)에 의해 검출된 피치 정보는 파트 분석기(41)및 피치 시프트 제어기(46)로 공급된다. 파트 분석기(41)는 곡 데이타 타입(I 내지 III) 및 파트 분석 데이타에 대한 기준 정보를 수신한다. 파트 분석기(41)는 피치 검출기(40)에 의해 검출된 피치정보 및 곡 데이타타입 정보에 따라서 가라오케 가창자에 의해 가창된 가라오케 곡의 파트를 분석 및 검출한다. 이후에, 이러한 파트 분석 방법을 상세히 설명한다.
파트분석기(41)에 의한 파트 분석의 결과는 CPU(10)로 다시 공급된 후, 피치 시프트 제어기(46)로 공급된다. 타입 I의 곡데이타의 경우, CPU(10)는 하모니 파트 데이타 트랙중에서 하나를 선택하고, 음성처리 DSP(30)에 포함되어 있는 하모니 파트 레지스터(44)로 상기 선택된 하모니 파트 데이타를 이송한다. 타입 II 또는 타입 III의 곡 데이타의 경우에는 한 개의 하모니 파트 데이타 트랙만이 저장되어 있으므로, 음성처리 DSP(30)의 하모니파트 레지스터(44)로 단독 트랙의 하모니 파트 데이타가 보내진다.
하모니 파트 레지스터(44)에 저장되어 있는 하모니 파트 데이타는 포인터 발생기(45)에 의해 발생된 어드레스 포인터에 응답하여 판독된 후, 피치 시프트 제어기(46)에 공급된다. 포인터 발생기(45)는 음절 검출기(42)에 의해 발생된 음절 정보에 응답하여 어드레스 포인터를 증가시킨다. 따라서, 하모니 파트의 멜로디 라인은 일정한 템포 클럭과 동기하여 진행되지 않으며, 가라오케 가창자의 음성 가창의 실제 템포와 동기하여 진행되므로, 가창자가 일정한 템포를 벗어나 노래하게 되어도, 발생된 하모니 파트는 가창자의 음성파트와 적절히 동기화된다.
피치 시프트 제어기(46)는 입력된 가창 음성 및 반주음과 조화를 이루는 하모니 음성신호를 발생하도록 하모니파트 레지스터(44)로부터 판독된 하모니파트 데이타 및 상기 입력된 가창 음성신호의 검출된 피치 및 음역에 의거하여, 상기 입력된 가창 음성 신호에 가해진 피치 시프트량을 연산한다. 피치 시프트 제어기(46)에 의해 연산된 피치 시프트량은 피치 시프트 제어데이타로서 피치 시프터(43)에 공급된다. 피치 시프터(43)는 입력된 피치시프트 제어데이타에 따라서 상기 수집된 가창음성신호의 피치를 시프트한다. 가창자가 정규 피치에서 곡을 노래하면, 상기 피치 시프트된 음성신호는 가창음성신호 및 반주음신호와 잘 조화를 이루게 된다. 피치 시프트된 음성신호는 효과 DSP(20)로 보내진다.
이하, 각각의 곡 데이타 타입 I 내지 III에 대한 파트 분석방법 및 피치 시프트 연산 방법을 설명한다. 제6(a)도 내지 제6(c)도에 도시한 타입 I의 곡 데이타의 경우에는 다수의 파트 분석 데이타가 파트 분석기(41)로 공급된다. 파트 분석기(41)는 여러 음역들의 임계를 한정하는 파트 분석데이타에 따라서 가창 음성신호의 음역을 분석한다. 분석결과에 따라서, 상기 검출된 음역에 해당하는 하모니 파트가 선택된다. 파트분석결과는 CPU(10)로 보내진다. 파트 분석 결과에 의존하여, CPU(10)는 하모니파트 데이타트랙에서 하나의 하모니파트를 선택하고, 상기 선택된 하모니파트를 판독하여 이를 하모니파트 레지스터(4)로 보낸다. 타입 I의 곡 데이타에서는 다수의 하모니 파트 데이타 트랙으로부터 최적의 하모니 파트가 선택된다. 상기 선택된 하모니 파트 데이타는 하모니 멜로디 라인의 일련의 절대 피치 데이타를 표현한다. 피치 시프트 제어기(46)는 상기 선택된 하모니 파트의 절대 피치로 가창음성신호를 시프트하기 위해서, 가창음성과 하모니 멜로디 라인간의 피치 차이를 연산하여 가창음성에 가해지게 되는 피치 시프트량을 결정한다. 상기 설명에서, 파트분석데이타는 제6(b)도에 도시한 바와 같이 임계데이타로서 저장되어 있는 것으로 간주한다. 그런데, 만약 파트분석 데이타가 다수의 파트 멜로디 데이타로서 저장되어 있으면, 어느 파트멜로디데이타가 가창 음성과 일치하는지를 검출하는 것이 가능하며, 상기 검출된 멜로디 파트가 아닌 하모니 파트를 발생시키는 것도 가능하다. 파트분석기(41)는 가창음성의 파트 또는 음역을 연속적으로 분석하므로. 가창자가 가충 도중에 그의 멜로디 파트를 바꾸어도 하모니 파트가 스위칭될 수 있다.
제7도에 도시한 타입 II의 곡 데이타에 대해, 파트 분석기(41)는 파트분석 데이타와 가층음성신호간의 피치 차이를 연산한다. 하모니 파트에 가해지게 되는 피치 시프트 조정량은 상기 연산된 피치 차이에 따라 결정된다. 이렇게 얻은 피치 시프트 조정량은 파트분석결과로서 피치 시프트 제어기(46)로 주어진다. 하모니 데이타 레지스터(44)는 곡에 대해 준비되어 있는 단독의 하모니 파트 데이타를 저장하고 있다. 하모니 파트 레지스터(44)에 저장된 하모니 파트 데이타는 포인터 발생기(45)로부터 공급된 어드레스 포인터에 따라서 피치 시프트 제어기(46)로 공급된다. 피치 시프트 제어기(46)는 가창음성신호와 하모니 파트 데이타간의 피치 차이와, 파트분석기(41)에 의해 공급된 피치 시프트 조정량에 따라서 최종 피치 시프트 정보를 발생한다. 최종 피치시프트 정보는 피치 시프터(43)로 공급된다. 가창자가 자신의 음성의 음역내에서 가창하기 위해서 그의 멜로디 파트를 한 옥타브만큼 옮겨도, 이러한 하모니파트 처리에 의해서는 하모니 파트가 음역의 상기 변경에 맞추어질 수 있으며, 최적의 하모니 음성이 충분한 음역으로 발생될 수가 있다.
제8도에 도시한 타입 III의 곡 데이타에서는 곡 데이타가 파트분석데이타를 포함하고 있지 않다. 타입 III의 곡 데이타에 대해서는 파트 분석기(41)가 3개의 고정된 임계 데이타를 이용하여 가창자의 음역을 분석한다. 상기 3개의 임계 데이타는 각각 남성 최고 임계값, 여성 최소 임계값 및 곡 최고 임계값이다. 곡의 시작시에, 가창자의 음성신호는 곡 최고 임계값에 비교된다. 이러한 비교에 의해서, 가창자의 음성신호의 피치가 상기 곡 최고 임계값보다 높으면, 가창자는 여성인 것으로 검출된다. 가창자가 여성으로 검출되면, 하모니 파트의 절대 피치는 여성 또는 남성 음역으로 시프트된다. 특히, 같은 성의 하모니 음성이 필요하면, 상기 하모니 파트는 여성 음역으로 시프트되고, 반대 성의 하모니 음성이 필요하면, 상기 하모니 파트는 남성 음역으로 시프트된다. 한편, 가창자의 음성신호의 피치가 곡 최고 임계값보다 낮으면, 가창자는 남성으로 검출된다. 하모니 파트의 피치는 상기한 여성 가창자의 경우에서와 유사하게 남성 또는 여성 음역으로 시프트된다.
효과 DSP(20)는 반향등의 통상적인 효과뿐만 아니라, 포먼트 변환등의 특수 효과도 부가할 수가 있다.
상기한 바와 같이, 본 발명의 가라오케 장치는 곡 데이타내의 하모니 파트 데이타의 갯수 및 기준 데이타 트랙의 갯수에 의존하여 파트 분석을 행함으로써 하모니 음성신호를 발생한다. 따라서, 여러 타입의 곡 데이타에 대해서 최적의 하모니 음성이 발생될 수가 있다.
앞에서 설명한 바와 같이, 본 발명의 제1실시예에 있어서, 가창 생음성의 음역은 연속적으로 분석되어 해당 하모니 음성을 조절하므로, 가라오케 가창 음성에 잘 어울리는 최적의 하모니음성을 발생시킬 수가 있다. 본 발명의 제2실시예에 따르면, 단순히 가창음성을 시프팅하지 않고 다수의 하모니 파트 데이타중에서 최적의 데이타를 선택함으로써, 모든 음성 음역에 대해서 최적의 하모니 음성을 발생시킬 수가 있다. 본 발명의 제3실시예에 따르면, 가창음성이 한 옥타브씩 높아지거나 낮아져도 하모니 음성의 주파수가 적절히 시프트될 수 있다. 따라서, 가창음성과 하모니 음성간의 최적의 피치 간격을 유지할 수가 있다. 본 발명의 제4실시예에 따르면, 가라오케 연주와 동기하여 변하는 주파수 임계데이타에 따라서 가창 음성의 음역이 검출된다. 결과적으로, 서로 무관하게 하모니 파트 제어 및 가창음성의 파트 분석을 행할 수가 있으므로, 가창음성의 멜로디와는 관계없이 상기 가창 음성과 전적으로 다른 하모니 음성이 발생될 수가 있다. 또한, 가창음성이 올바른 가락을 벗어나도 상기 가창음성이 상기 임계에 의해 한정된 구간에 속해 있으면, 가창음성의 파트를 검출할 수가 있다.
본 발명의 목적은 실제 가창음성에 따라서 하모니 음성을 수정 또는 조절함으로써, 가라오케 가창자의 음성과 조화를 이루는 최적의 하모니 음성을 혼합시킬 수 있는 가라오케 장치를 제공하는 데에 있다.

Claims (20)

  1. 생음성 파트에 수반되는 가라오케 하모니파트 및 가라오케 반주파트를 연주하도록 구성된 가라오케 장치에 있어서, 상기 생음성 파트의 가창 음성을 수집하는 픽업장치와, 상기 수집된 가창 음성을 분석하여 생음성 파트가 실제로 가창되는 음역을 검출하는 검출장치와, 상기 가라오케 하모니 파트가 상기 생음성 파트와 조화를 이루도록 상기 검출된 음역에 따라서 상기 가라오케 하모니파트의 하모니음성을 발생하는 하모니 발생 장치와, 상기 가라오케 하모니 파트와 병행하여 상기 가라오케 반주파트의 악음을 발생하는 악음 발생장치로 이루어진 것을 특징으로 하는 가라오케 장치.
  2. 제1항에 있어서, 상기 하모니 발생장치는 상기 가라오케 하모니 파트에 서로 다르게 레지스터되어 있는 다수의 멜로디 라인에 해당하는 다수의 하모니 데이타 패턴을 저장하고 있는 저장수단과, 상기 가창음성의 검출된 음역에 따라서 상기 하모니 데이타패턴중의 한 패턴을 선택하는 선택수단과, 해당 멜로디 라인에 따른 상기 선택된 하모니 데이타 패턴에 따라서 하모니 음성을 발생하는 발생수단으로 이루어진 것을 특징으로 하는 가라오케 장치.
  3. 제2항에 있어서, 상기 선택수단은 상기 가창 음성의 검출된 음역에 필적하는 음역을 가지는 멜로디 라인에 해당하는 하나의 하모니 데이타 패턴을 선택하는 수단을 포함하는 것을 특징으로 하는 가라오케 장치.
  4. 제1항에 있어서, 상기 하모니음성발생장치는 가라오케 하모니파트를 형성하는 일련의 선율을 나타내는 하모니 데이타패턴을 저장하고 있는 저장 수단과, 상기 가창 음성의 검출된 음역에 따라서 상기 일련의 선율을 피치 시프트함으로써 상기 하모니 데이타패턴을 조절하는 시프팅 수단과, 상기 조절된 하모니 데이타패턴에 따라서 하모니음성을 발생하는 발생수단으로 이루어져 있는 것을 특징으로 하는 가라오케 장치.
  5. 제4항에 있어서, 상기 발생수단은 가창 음성에서 기원하는 하모니 음성을 발생하기 위해서, 상기 조절된 하모니 데이타 패턴에 따라서 상기 수집된 가창 음성의 피치를 변경하는 수단을 포함하는 것을 특징으로 하는 가라오케 장치.
  6. 제1항에 있어서, 상기 하모니음성 발생수단은 상기 하모니 음성을 발생하기 위해서 상기 검출된 음역에 따라서 상기 수집된 가창 음성의 피치를 변경하는 수단을 포함하는 것을 특징으로 하는 가라오케 장치.
  7. 제1항에 있어서, 상기 하모니음성 발생장치는 상기 가창음성의 검출된 음역에서부터 한 옥타브만큼 다른 음역을 가지는 하모니 음성을 발생하는 장치를 포함하는 것을 특징으로 하는 가라오케 장치.
  8. 제1항에 있어서, 상기 검출장치는 상기 수집된 가창 음성이 속해 있는 하나의 음역을 결정하기 위해서 생음성 파트의 구간에서 여러 음역들을 한정하는 기준데이타와 상기 수집된 가창음성의 피치를 비교하는 비교수단을 포함하는 것을 특징으로 하는 가라오케 장치 .
  9. 제8항에 있어서, 상기 가라오케 반주파트의 진행 전반에 걸쳐서 상기 가라오케 하모니파트가 상기 생음성 파트와 조화를 이루도록, 상기 검출장치는 상기 수집된 가창음성의 음역을 연속적으로 검출하기 위해서 상기 가라오케 반주 파트의 진행과 동기하여 기준 데이타를 순차적으로 공급하는 공급수단을 추가로 포함하는 것을 특징으로 하는 가라오케 장치.
  10. 제8항에 있어서, 상기 검출장치는 상기 수집된 가창음성의 음역을 즉시 검출하기 위해서 상기 가라오케 반주파트의 시작시에 상기 기준데이타를 초기에 공급하는 공급수단을 추가로 포함하는 것을 특징으로 하는 가라오케 장치.
  11. 생음성 파트에 수반되는 가라오케 하모니파트 및 가라오케 반주파트를 연주하는 방법에 있어서, 상기 생음성 파트의 가창 음성을 수집하는 단계와, 상기 수집된 가창 음성을 분석하여 상기 생음성 파트가 실제로 가창되는 음역을 검출하는 단계와, 상기 가라오케 하모니 파트가 상기 생음성 파트와 조화를 이루도록 상기 검출된 음역에 따라서 상기 가라오케 하모니파트의 하모니음성을 발생하는 단계와, 상기 가라오케 하모니 파트와 병행하여 상기 가라오케 반주파트의 악음을 발생하는 단계로 이루어진 것을 특징으로 하는 가라오케 연주 방법.
  12. 제11항에 있어서, 상기 하모니음성 발생단계는 상기 가라오케 하모니 파트에 서로 다르게 레지스터되어 있는 다수의 멜로디 라인에 해당하는 다수의 하모니 데이타 패턴을 저장하는 단계와, 상기 가창 음성의 검출된 음역에 따라서 상기 하모니 데이타패턴중의 한 패턴을 선택하는 단계와, 해당 멜로디 라인에 따른 상기 선택된 하모니 데이타 패턴에 따라서 하모니 음성을 발생하는 단계로 이루어진 것을 특징으로 하는 가라오케 연주 방법.
  13. 제12항에 있어서, 상기 선택단계는 상기 가창 음성의 검출된 음역에 필적하는 음역을 가지는 멜로디 라인에 해당하는 하나의 하모니데이타 패턴을 선택하는 단계를 포함하는 것을 특징으로 하는 가라오케 연주방법.
  14. 제11항에 있어서, 상기 하모니음성 발생단계는 상기 가라오케 하모니파트를 형성하는 일련의 선율을 나타내는 하모니 데이타패턴을 저장하는 단계와, 상기 가창 음성의 검출된 음역에 따라서 상기 일련의 선율을 피치시프트함으로써 상기 하모니 데이타패턴을 조절하는 단계와, 상기 조절된 하모니 데이타패턴에 따라서 하모니음성을 발생하는 단계로 이루어진 것을 특징으로 하는 가라오케 연주 방법.
  15. 제14항에 있어서, 상기 하모니음성 발생단계는 가창 음성에서 기원하는 하모니 음성을 발생하기 위해서 상기 조절된 하모니 데이타 패턴에 따라서 상기 수집된 가창 음성의 피치를 변경하는 단계를 포함하는 것을 특징으로 하는 가라오케 연주방법.
  16. 제11항에 있어서, 상기 하모니음성 발생단계는 상기 하모니 음성을 발생하기 위해서 상기 검출된 음역에 따라서 상기 수집된 가창 음성의 피치를 변경하는 단계를 포함하는 것을 특징으로 하는 가라오케 연주방법.
  17. 제11항에 있어서, 상기 하모니음성 발생단계는 상기 가창음성의 검출된 음역에서부터 한 옥타브만큼 다른 음역을 가지는 하모니 음성을 발생하는 단계를 포함하는 것을 특징으로 하는 가라오케 연주방법.
  18. 제11항에 있어서, 상기 수집된 가창 음성을 분석하는 단계는 상기 수집된 가창 음성이 속해있는 하나의 음역을 결정하기 위해서 생음성 파트의 구간에서 여러 음역들을 한정하는 기준데이타와 상기 수집된 가창음성의 피치를 비교하는 단계를 포함하는 것을 특징으로 하는 가라오케 장치.
  19. 제18항에 있어서, 상기 가라오케 반주파트의 진행 전반에 걸쳐서 상기 가라오케 하모니 파트가 상기 생음성 파트와 조화를 이루도록, 상기 수집된 가창 음성의 분석단계는 상기 수집된 가창 음성의 음역을 연속적으로 검출하기 위해서 상기 가라오케 반주 파트의 진행과 동기하여 기준 데이타를 순차적으로 공급하는 단계를 추가로 포함하는 것을 특징으로 하는 가라오케 연주방법.
  20. 제18항에 있어서, 상기 수집된 가창음성의 분석단계는 상기 수집된 가창음성의 음역을 즉시 검출하기 위해서 상기 가라오케 반주파트의 시작시에 상기 기준데이타를 초기에 공급하는 공급단계를 추가로 포함하는 것을 특징으로 하는 가라오케 연주 방법.
KR1019960031885A 1995-07-31 1996-07-31 생음성의 음역을 검출하여 하모니음성을 조절하는 가라오케 장치 KR100270434B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP95-195064 1995-07-31
JP19506495A JP3598598B2 (ja) 1995-07-31 1995-07-31 カラオケ装置

Publications (2)

Publication Number Publication Date
KR970008041A KR970008041A (ko) 1997-02-24
KR100270434B1 true KR100270434B1 (ko) 2000-12-01

Family

ID=16334962

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960031885A KR100270434B1 (ko) 1995-07-31 1996-07-31 생음성의 음역을 검출하여 하모니음성을 조절하는 가라오케 장치

Country Status (5)

Country Link
US (1) US5876213A (ko)
JP (1) JP3598598B2 (ko)
KR (1) KR100270434B1 (ko)
CN (1) CN1136535C (ko)
SG (1) SG46745A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190073018A (ko) * 2017-12-18 2019-06-26 니나노 주식회사 노래 반주기 및 이를 이용한 음정 조절 방법

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3260653B2 (ja) * 1997-03-25 2002-02-25 ヤマハ株式会社 カラオケ装置
US6751322B1 (en) * 1997-10-03 2004-06-15 Lucent Technologies Inc. Acoustic modeling system and method using pre-computed data structures for beam tracing and path generation
US6718217B1 (en) * 1997-12-02 2004-04-06 Jsr Corporation Digital audio tone evaluating system
US6369311B1 (en) * 1999-06-25 2002-04-09 Yamaha Corporation Apparatus and method for generating harmony tones based on given voice signal and performance data
JP2001117599A (ja) * 1999-10-21 2001-04-27 Yamaha Corp 音声処理装置およびカラオケ装置
JP2001356799A (ja) * 2000-06-12 2001-12-26 Toshiba Corp タイム/ピッチ変換装置及びタイム/ピッチ変換方法
JP3879402B2 (ja) * 2000-12-28 2007-02-14 ヤマハ株式会社 歌唱合成方法と装置及び記録媒体
JP3597156B2 (ja) * 2001-07-25 2004-12-02 株式会社第一興商 ピッチシフター付きカラオケ装置
JP3595286B2 (ja) * 2001-07-31 2004-12-02 株式会社第一興商 ピッチシフター付きカラオケ装置
US7027983B2 (en) * 2001-12-31 2006-04-11 Nellymoser, Inc. System and method for generating an identification signal for electronic devices
CA2415533A1 (en) * 2002-12-31 2004-06-30 Jordan Kavana Entertainment device
US20050153265A1 (en) * 2002-12-31 2005-07-14 Kavana Jordan S. Entertainment device
US20040193429A1 (en) * 2003-03-24 2004-09-30 Suns-K Co., Ltd. Music file generating apparatus, music file generating method, and recorded medium
US7271329B2 (en) * 2004-05-28 2007-09-18 Electronic Learning Products, Inc. Computer-aided learning system employing a pitch tracking line
JP2006171133A (ja) * 2004-12-14 2006-06-29 Sony Corp 楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法
US7718883B2 (en) * 2005-01-18 2010-05-18 Jack Cookerly Complete orchestration system
JP4481225B2 (ja) * 2005-09-08 2010-06-16 株式会社第一興商 重唱曲における模範歌唱の再生制御に特徴を有するカラオケ装置
EP1950735A4 (en) * 2005-10-19 2012-03-07 Tiao Pin Cultural Entpr Co Ltd METHOD FOR MODULATING A HUMAN SPEECH FREQUENCY
CN1953051B (zh) * 2005-10-19 2011-04-27 调频文化事业有限公司 人声音频定调方法
JP2008046150A (ja) * 2006-08-10 2008-02-28 Yamaha Corp カラオケ装置
JP4862772B2 (ja) * 2007-07-31 2012-01-25 ブラザー工業株式会社 採点機能を有するカラオケ装置
JP5018421B2 (ja) * 2007-11-19 2012-09-05 ヤマハ株式会社 ハーモニー音生成装置及びプログラム
US7928307B2 (en) * 2008-11-03 2011-04-19 Qnx Software Systems Co. Karaoke system
US20100169085A1 (en) * 2008-12-27 2010-07-01 Tanla Solutions Limited Model based real time pitch tracking system and singer evaluation method
JP4983835B2 (ja) * 2009-03-31 2012-07-25 ブラザー工業株式会社 カラオケシステム、サーバ
JP5071439B2 (ja) * 2009-05-27 2012-11-14 ブラザー工業株式会社 カラオケシステム、サーバ
TWI394142B (zh) * 2009-08-25 2013-04-21 Inst Information Industry 歌聲合成系統、方法、以及裝置
US8217251B2 (en) * 2009-09-28 2012-07-10 Lawrence E Anderson Interactive display
JP5293712B2 (ja) * 2010-09-28 2013-09-18 ブラザー工業株式会社 カラオケ装置、及び、カラオケシステム
US20120234158A1 (en) * 2011-03-15 2012-09-20 Agency For Science, Technology And Research Auto-synchronous vocal harmonizer
CN102956230B (zh) * 2011-08-19 2017-03-01 杜比实验室特许公司 对音频信号进行歌曲检测的方法和设备
IES86526B2 (en) 2013-04-09 2015-04-08 Score Music Interactive Ltd A system and method for generating an audio file
US11120816B2 (en) * 2015-02-01 2021-09-14 Board Of Regents, The University Of Texas System Natural ear
CN106445964B (zh) * 2015-08-11 2021-05-14 腾讯科技(深圳)有限公司 音频信息处理的方法和装置
CN105825868B (zh) * 2016-05-30 2019-11-12 福州大学 一种演唱者有效音域的提取方法
DE102017209585A1 (de) 2016-06-08 2017-12-14 Ford Global Technologies, Llc System und verfahren zur selektiven verstärkung eines akustischen signals
CN110402464A (zh) * 2017-03-22 2019-11-01 雅马哈株式会社 变调装置、变调方法及程序
EP3389028A1 (en) * 2017-04-10 2018-10-17 Sugarmusic S.p.A. Automatic music production from voice recording.
US10424280B1 (en) 2018-03-15 2019-09-24 Score Music Productions Limited Method and system for generating an audio or midi output file using a harmonic chord map
JP7068875B2 (ja) * 2018-03-19 2022-05-17 本田技研工業株式会社 音出力装置の制御装置、制御方法、プログラム及び車両
CN109410972B (zh) * 2018-11-02 2023-09-01 广州酷狗计算机科技有限公司 生成音效参数的方法、装置及存储介质
TWI751484B (zh) * 2020-02-04 2022-01-01 原相科技股份有限公司 調整歌伴奏音之方法及調整歌伴奏音之電子裝置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5296643A (en) * 1992-09-24 1994-03-22 Kuo Jen Wei Automatic musical key adjustment system for karaoke equipment
JP2897552B2 (ja) * 1992-10-14 1999-05-31 松下電器産業株式会社 カラオケ装置
GB2276972B (en) * 1993-04-09 1996-12-11 Matsushita Electric Ind Co Ltd Training apparatus for singing
GB2279172B (en) * 1993-06-17 1996-12-18 Matsushita Electric Ind Co Ltd A karaoke sound processor
JP2820052B2 (ja) * 1995-02-02 1998-11-05 ヤマハ株式会社 コーラス効果付与装置
US5712437A (en) * 1995-02-13 1998-01-27 Yamaha Corporation Audio signal processor selectively deriving harmony part from polyphonic parts
JP3319211B2 (ja) * 1995-03-23 2002-08-26 ヤマハ株式会社 音声変換機能付カラオケ装置
US5641927A (en) * 1995-04-18 1997-06-24 Texas Instruments Incorporated Autokeying for musical accompaniment playing apparatus
JP2861881B2 (ja) * 1995-09-04 1999-02-24 ヤマハ株式会社 コーラス効果付与装置
JP3183117B2 (ja) * 1995-09-13 2001-07-03 ヤマハ株式会社 カラオケ装置
JP2861885B2 (ja) * 1995-09-19 1999-02-24 ヤマハ株式会社 効果付与アダプタ
JP3386639B2 (ja) * 1995-09-28 2003-03-17 ヤマハ株式会社 カラオケ装置
JP3102335B2 (ja) * 1996-01-18 2000-10-23 ヤマハ株式会社 フォルマント変換装置およびカラオケ装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190073018A (ko) * 2017-12-18 2019-06-26 니나노 주식회사 노래 반주기 및 이를 이용한 음정 조절 방법
KR102031230B1 (ko) * 2017-12-18 2019-10-11 양태식 노래 반주기 및 이를 이용한 음정 조절 방법

Also Published As

Publication number Publication date
CN1136535C (zh) 2004-01-28
JP3598598B2 (ja) 2004-12-08
SG46745A1 (en) 1998-02-20
KR970008041A (ko) 1997-02-24
US5876213A (en) 1999-03-02
CN1150289A (zh) 1997-05-21
JPH0944171A (ja) 1997-02-14

Similar Documents

Publication Publication Date Title
KR100270434B1 (ko) 생음성의 음역을 검출하여 하모니음성을 조절하는 가라오케 장치
US5939654A (en) Harmony generating apparatus and method of use for karaoke
US5857171A (en) Karaoke apparatus using frequency of actual singing voice to synthesize harmony voice from stored voice information
JP3319211B2 (ja) 音声変換機能付カラオケ装置
US7605322B2 (en) Apparatus for automatically starting add-on progression to run with inputted music, and computer program therefor
US7626112B2 (en) Music editing apparatus and method and program
US5712437A (en) Audio signal processor selectively deriving harmony part from polyphonic parts
JP2838977B2 (ja) カラオケ装置
US11462197B2 (en) Method, device and software for applying an audio effect
US20200074966A1 (en) Auto-generated accompaniment from singing a melody
JP3176273B2 (ja) 音声信号処理装置
JP3116937B2 (ja) カラオケ装置
JP3613859B2 (ja) カラオケ装置
JPH11338480A (ja) カラオケ装置
JP2002372981A (ja) 音声変換機能付カラオケ装置
WO2021175461A1 (en) Method, device and software for applying an audio effect to an audio signal separated from a mixed audio signal
JP2904045B2 (ja) カラオケ装置
JP7476934B2 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP3173310B2 (ja) ハーモニー生成装置
JP4033146B2 (ja) カラオケ装置
JP3743985B2 (ja) カラオケ装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130701

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20140701

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee