KR20060002907A

KR20060002907A - 템포 해석 장치 및 템포 해석 방법

Info

Publication number: KR20060002907A
Application number: KR1020057018634A
Authority: KR
Inventors: 고로 시라이시; 치에 세키네; 쿠미코 마스다; 쿠니하루 모리
Original assignee: 소니 가부시끼 가이샤
Priority date: 2003-03-31
Filing date: 2004-03-09
Publication date: 2006-01-09
Also published as: EP1610299B1; US7923621B2; JP2004302053A; KR101005255B1; US20060185501A1; JP3982443B2; EP1610299A1; WO2004088631A1; CN1764940A; CN1764940B; EP1610299A4

Abstract

본 발명은, 악곡 등의 음성의 템포를 해석하는 템포 해석 장치이며, 해석 데이터 추출부(62)로부터의 음성신호의 레벨 정보에 의거하여 제어부(9)에 있어서, 소정의 단위시간 구간인 프레임을 처리단위로 하고, 소정 레벨 이상에 있어서의 피크 위치(레벨 변화의 정점)을 검출하며, 이 프레임 구간에 있어서의 각 피크 위치 사이의 간격(피크 간격)을 구하여, 발생 빈도가 높은 피크 간격을 템포로서 결정한다.

해석 데이터 추출부, 제어부, 템포, 프레임, 피크

Description

템포 해석 장치 및 템포 해석 방법{TEMPO ANALYSIS DEVICE AND TEMPO ANALYSIS METHOD}

본 발명은, 악곡 등의 음성신호로부터 악곡이 연주되는 속도인 템포를 추출하여 이용할 수 있도록 하는 템포 해석 장치 및 해석 방법에 관한 것이다.

본 출원은, 일본국에 있어서 2003년 3월 31일에 출원된 일본특허출원번호2003-0M100을 기초로서 우선권을 주장하는 것으로, 이 출원은 참조함으로써, 본 출원에 원용된다.

종래, 악곡의 음성 데이터를 해석함으로써, 그 악곡의 템포를 자동적으로 추출하고, 이 추출한 템포를, 예를 들면 악보를 작성할 때 이용하거나, 편곡할 때 이용하고 있다. 이 종류의 악곡의 템포를 추출하는 기술의 하나로서, 일본국 특개 2002-116754호 공보에 기재된 것이 있다.

이 특허문헌에 기재된 기술은, 악곡의 음성 데이터를 시계열 데이터로서 넣고, 이 음성 데이터의 자기상관을 산출함으로써 이 음성 데이터의 피크 위치를 검출하여, 템포의 후보를 취득하도록 하며, 한편, 자기상관패턴의 피크 위치와 그 레 벨로부터 이 악곡의 비트 구조를 해석하여, 템포의 후보와 비트 구조의 해석 결에 의거하여 가장 적절하다고 생각되는 템포를 추정하는 것이다.

이 특허문헌에 기재된 기술을 이용함으로써, 음악에 대한 선견적인 지식을 갖고 있지 않아도, 누구라도 비교적으로 간단하고, 정확하게, 목적으로 하는 악곡의 템포를 추출하여, 이를 이용할 수 있게 된다.

그러나, 최근, 차재용 오디오 시스템(카스테레오 시스템)이나 가정용 오디오 시스템에 있어서도, 재생할 악곡의 템포를 검출하여, 그 템포에 따른 정보를 제공하거나,혹은 검출한 템포에 따라, 여러가지 제어를 행하도록 하는 것이 제안되고 있다.

전술한 특허문헌에 기재된 기술은, 음성 데이터에 대해서 자기상관을 산출하거나, 비트 구조를 해석하는 등, 연산 처리가 복잡하고 방대하여, 실제로 연산 처리를 행하는 CPU(Central Processing Unit)에 걸리는 부담이 커진다.

이 때문에, 전술한 특허문헌에 기재한 기술은, 규모가 비교적 작은 차재용 오디오 시스템이나 가정용 오디오 시스템에 적용하는 데에는 부적합한 경우가 있다. 또한 전술한 특허문헌에 기재의 기술을 이용하고자 할 경우에는, 처리 능력이 높은 CPU를 이용하거나, 메모리 용량을 크게 해야 하는 등, 오디오 시스템의 비용상승에 연결될 가능성이 있다.

본 발명의 목적은, 전술한 바와 같은 종래의 기술이 갖는 문제점을 해결할 수 있는 신규 템포 해석 장치 및 템포 해석 방법을 제공하는 데에 있다.

본 발명의 다른 목적은, CPU에 큰 부하를 걸지 않고, 또한 비용상승도 일어나지 않도록 하며, 악곡 등의 음성의 템포를 간단하고 정확하게 검출하여 이용할 수 있는 템포 해석 장치 및 템포 해석 방법을 제공하는 데에 있다.

전술한 바와 같은 목적을 달성하기 위해 제안되는 템포 해석 장치는, 입력 음성신호의 레벨 변화의 피크 중, 소정의 한계값보다 큰 복수의 피크 위치를 검출하는 피크 검출수단과, 소정의 단위시간 구간에 있어서, 피크 검출수단에 의해 검출되는 피크 위치 사이의 시간간격을 검출하는 간격검출수단과, 간격검출수단에 의해 검출되는 시간간격 중, 발생 빈도가 많은 상기 시간간격에 의거하여 상기 음성신호에 의해 재생되는 음성의 템포를 특정하는 특정 수단을 구비한다.

본 발명에 관한 템포 해석 장치는, 피크 검출수단에 의해, 음성신호의 레벨에 대해서, 한계값보다 크고, 또한, 상승에서 하강으로 바뀌기 직전의 피크 위치(레벨 변화의 정점)가 순차로 검출된다. 그리고, 시간간격 검출수단에 의해, 소정의 단위시간 구간에 있어서 검출되는, 일반적으로는 여러 개의 피크위치에 대해서, 적어도 소정의 하나의 피크 위치를 기준으로 하여, 이 피크 위치와 그 밖의 피크 위치와의 시간간격(피크 간격)이 검출된다. 이후, 특정 수단에 의해, 시간간격 검출수단으로부터의 검출 결에 의거하여 발생 빈도가 많은 시간간격이 검출되고, 그 시간간격에 의거하여 처리 대상의 음성신호에 의해 재생되는 악곡 등의 음성의 템포가 특정된다. 이에 따라 자기상관연산 등의 복잡한 연산 처리를 행하지 않고, 간단하고 정확하게 악곡 등의 음성의 템포를 특정할 수 있다.

본 발명에 관한 템포 해석 장치를 구성하는 특정 수단은, 더욱 구체적으로, 복수의 단위시간 구간에 있어서 검출되는 피크 위치 사이의 시간간격의 발생 빈도를 누적하여, 이 누적된 발생 빈도에 의거하여 재생되는 음성의 상기 템포를 특정한다.

본 발명에 관한 템포 해석 장치는, 또한, 입력 신호를 복수의 주파수대역으로 분리하는 대역분리수단을 구비하며, 피크 검출수단은, 대역분리수단에 의해 분리된 복수의 대역 중 적어도 하나 이상의 대역마다 상기 피크 위치를 검출하는 것이고, 간격검출수단은, 피크 검출수단에 의해 검출되는 적어도 하나 이상의 대역마다 피크위치의 시간간격을 검출하는 것이며, 특정 수단은, 적어도 하나 이상의 대역마다 검출되는 시간간격 중, 발생 빈도가 많은 시간간격에 의거하여 재생되는 음성의 상기 템포를 특정한다.

또한 본 발명에 관한 템포 해석 장치는, 음성신호의 음량을 산출하는 음량산출수단과, 음량산출수단에 의해 산출된 음량을 기준으로 하여, 피크 위치를 검출할 경우에 이용하는 상기 한계값을 설정하도록 하는 한계값 설정수단을 구비한다.

이 템포 해석 장치에 있어서, 대역분리수단에 의해 분리된 복수의 대역 중 적어도 하나 이상의 대역의 음성신호의 음량을 산출하는 음량산출수단과, 음량산출수단에 의해 산출된 음량을 기준으로 하여, 피크 위치를 검출할 경우에 이용하는 한계값을 설정하도록 한 한계값 설정수단을 마련하도록 해도 된다.

본 발명에 관한 템포 해석 장치는, 또한, 입력 음성신호로부터 소정의 주파수대역의 음성신호를 추출하는 대역추출수단을 구비하고, 피크검출수단은, 대역추출수단에 의해 추출된 음성신호에 대해서 피크 위치를 검출하도록 구성해도 좋다. 이 템포 해석 장치에 있어서, 대역추출수단에서 추출된 음성신호의 음량을 산출하는 음량산출수단과, 음량산출수단에 의해 산출된 음량을 기준으로 하여, 피크 위치를 검출할 경우에 이용하는 한계값을 설정하는 한계값 설정수단을 마련하도록 한다.

본 발명에 관한 템포 해석 장치는, 또한, 화상표시소자와, 화상표시소자에 표시가능한 복수 화상의 화상 데이터를 기억하는 기억 수단과, 특정 수단에 의해 특정되는 상기 템포에 의거하여 상기 기억 수단으로부터 화상 데이터를 선택해서 읽어내고, 판독한 상기 화상 데이터에 따른 화상을 상기 화상표시소자에 표시하는 표시제어수단을 구비한다.

이 템포 해석 장치의 표시 수단은, 기억 수단으로부터 판독하는 화상 데이터에 따른 화상을 화상표시소자에 표시하는 화상의 크기, 이동 속도, 이동 패턴의 적어도 하나를 제어한다.

또한 표시 수단은, 특정 수단에 의해 특정되는 템포와 음량산출수단에 의해 산출된 음량에 의거하여 기억 수단으로부터 화상 데이터를 선택해서 판독하도록 해도 좋다.

그리고, 본 발명에 관한 템포 해석 방법은, 입력 음성신호의 레벨 변화 중, 소정의 한계값보다 큰 복수의 피크 위치를 검출하여, 소정의 단위시간 구간에 있어서, 검출한 상기 피크 위치 사이의 시간간격을 검출하고, 검출한 상기 시간간격 중, 발생 빈도가 많은 시간간격에 의거하여 입력 음성신호에 의해 재생되는 음성의 템포를 특정한다. 템포의 특정시에, 복수의 상기 단위시간 구간에 있어서 검출되는 피크 위치간의 시간간격의 발생 빈도를 누적하여, 이 누적한 발생 빈도에 의거하여 재생되는 음성의 상기 템포를 특정한다.

본 발명에 관한 템포 해석 방법은, 또한, 입력 음성신호를 복수의 주파수대역으로 분리하여, 피크 위치의 검출시에는, 분리된 상기 복수의 주파수대역의 적어도 하나 이상의 대역마다 상기 피크위치를 검출하고, 시간간격의 검출시에는, 적어도 하나 이상의 상기 대역마다 피크 위치의 시간간격을 검출하며, 템포의 특정시에는, 적어도 하나 이상의 대역마다 검출되는 시간간격 중, 발생 빈도가 많은 시간간격에 의거하여 재생되는 음성의 템포를 특정한다.

또한 본 발명에 관한 템포 해석 방법은, 입력 음성신호로부터 소정의 주파수대역의 음성신호를 추출하여, 피크 위치를 검출시에는, 추출된 음성신호에 대한 피크 위치를 검출하도록 해도 된다.

또한, 본 발명에 관한 템포 해석 방법은, 입력 음성신호의 음량을 산출하여, 산출한 음량을 기준으로 하여, 피크 위치를 검출할 경우에 이용하는 한계값을 설정하도록 해도 된다.

본 발명에 관한 템포 해석 방법은, 특정된 템포에 의거하여 기억 수단에 기억되어 있는 복수의 화상 데이터 중에서 화상 데이터를 선택해서 읽어내고, 판독한 상기 화상 데이터에 따른 화상을 화상표시소자에 표시한다. 이 템포 해석 방법은, 특정된 템포에 의거하여 화상표시소자에 표시하는 화상의 크기, 이동 속도, 이동 패턴을 제어한다. 또는, 특정된 템포와 산출된 음량에 의거하여 기억 수단에 기억되어 있는 복수의 화상 데이터를 선택해서 판독하도록 해도 좋다.

본 발명의 또 다른 목적, 본 발명에 의해 얻어지는 구체적인 이점은, 이하에 있어서 도면을 참조해서 설명되는 실시예의 설명으로부터 더욱더 명백해 질 것이다.

도 1은 본 발명을 적용한 카스테레오 장치를 도시하는 블럭도,

도 2는, 카스테레오 장치에 탑재되는 템포 분석 장치를 도시하는 블록도,

도 3은, 제어부에서 실행되는 메인 처리를 설명하기 위한 흐름도,

도 4는, 도 3에 도시하는 스텝S1에 있어서 실행되는 총 음량 계산처리를 설명하기 위한 흐름도,

도 5는, 도 3에 도시하는 스텝S2에 있어서 실행되는 템포 추출 처리를 설명하기 위한 흐름도,

도 6은, 도 5에 도시하는 스텝S21에 있어서 실행되는 스레숄드 처리를 설명하기 위한 흐름도,

도 7은, 도 5에 도시하는 스텝S23에 있어서 실행되는 피크 위치 추출 처리를 설명하기 위한 흐름도,

도 8은, 피크 위치 추출 처리를 설명하기 위한 도면,

도 9는, 도 5에 도시하는 스텝S25에 있어서 실행되는 피크 간격(주기)리스트 작성 및 템포 결정 처리를 설명하기 위한 흐름도,

도 10은, 주기 리스트(피크 간격 리스트)를 설명하기 위한 도면,

도 11은, 주기 리스트의 탈락 처리를 설명하기 위한 도면,

도 12는, 각 프레임 마다 발생 빈도가 가장 높은 피크 간격의 유지와 이용에 대해서 설명하기 위한 도면,

도 13은, 결정된 템포와 음량에 의하여 이용 가능한 화상 데이터가 특정되는 구조에 대해서 설명하기 위한 도면,

도 14는, 결정된 템포를 이용하여 선택되어 표시하도록 이루어지는 화상의 표시 예를 도시한 도면이다.

이하, 본 발명에 관한 템포 해석 장치 및 템포 해석 방법을 도면을 참조하면서 설명한다.

또, 이하의 설명에서는, 본 발명을 카스테레오 장치(카 오디오 시스템)에 적용한 예를 들어서 설명한다.

우선, 본 발명에 관한 카스테레오 장치를 설명한다. 본 발명이 적용되는 카스테레오 장치는, 도 1에 도시한 것과 같이 라디오방송의 수신 안테너ANT, AM／FM튜너부(1), CD(Compact Disc)재생부(2), MD(Mini Disc)재생부(3), 외부접속단자(4), 입력 셀렉터(5), 오디오 앰프부(6), 좌우의 스피커7L, 7R, 제어부(9), LCD(LiqulD Crystal D isplay)(10), 키 조작부(11)를 구비한다.

제어부(9)는, 도 1에 도시한 것과 같이 CPU(Central Processing Unit)(91), ROM(Read Only Memory)(92), RAM(Random Access Memory)(93,) 불휘발성 메모리(94)가 CPU버스(95)에 의해 접속되어 형성된 마이크로컴퓨터이며, 이 카스테레오 장치의 각 부를 제어한다.

여기에서, ROM(92)은, CPU(91)에 의해 실행되는 프로그램이나 처리에 필요한 데이터, 표시에 이용하는 화상 데이터나 문자 폰트 데이터 등이 기억된 것이다. RAM(93)은, 주로 작업 영역으로서 이용된다. 불휘발성 메모리(94)는, 예를 들면 EEPROM(Electrically Erasable and Programmable ROM)이나 플래시 메모리이며, 이 카스테레오 장치의 전원이 떨어져도 유지해서 둘 필요가 있는 데이터, 예를 들면 각종의 설정 파라미터 등을 기억 유지한다.

또한 제어부(9)에는, 도 1에 도시한 것과 같이 LCD(10)와, 키 조작부(11)가 접속되어 있다. LCD(10)는, 비교적으로 큰 표시 화면을 갖는 것으로, 이 카스테레오 장치의 상태나 조작 가이던스 등을 표시할 수 있음과 동시에, 예를 들면 외부입력 단자를 통해서, GPS(Global Positioning System)나 DVD(Digital Versatile Disc)의 재생장치가 접속되었을 경우에는, 제어부(9)의 제어에 의해, 지도정보나 동화상 정보 등을 표시한다.

키 조작부(11)는, 각종의 조작 키나 기능 키, 조작 다이얼 등을 구비한 것으로, 유저로부터의 조작 입력을 접수하여, 이를 전기신호로 변환하고, 제어부(9)에 통지할 수 있다. 이에 따라 제어부(9)는, 유저로부터의 지시에 따라, 이 카스테레오 장치의 각 부를 제어하도록 하고 있다.

그리고, 도 1에 도시한 것과 같이, 이 카스테레오 장치는, 음성신호(음성 데 이터)등의 공급단으로서, AM/FM튜너부(1), CD재생부(2), MD재생부(3), 외부입력 단자(4)를 구비한다. AM/FM튜너부(1)는, 제어부(9)로부터의 선국 제어신호에 의거하여 AM라디오 방송 또는 FM라디오 방송 중 목적으로 하는 방송 채널을 수신, 선국하고, 이 수신, 선국한 라디오 방송신호를 복조하여, 복조 후의 음성신호를 셀렉터(5)에 공급한다.

CD재생부(2)는, 스핀들 모터, 광학 헤드부 등을 구비하고, 이것에 장전된 CD를 회전 구동하며, 이 CD에 레이저광을 조사하여, 그 반사광을 수광함으로써, CD에 미소한 요철의 연속인 피트 패턴으로서 기록되어 있는 음성 데이터를 판독한다. 그리고, 판독한 음성 데이터를 전기신호로 변환하고, 복조하여 재생용의 음성신호를 형성하며, 이를 셀렉터(5)에 공급한다.

MD재생부(3)는, CD재생부(2)의 경우와 마찬가지로, 스핀들 모터, 광학 헤드부 등을 구비하고, 이것에 장전된 MD를 회전 구동하여, 이 MD에 레이저광을 조사하고, 그 반사광을 수광함으로써, 이 MD에 자화변화로서 기록되어 있는 음성 데이터를 판독하여, 이를 전기신호로 변환한다. 판독된 음성데이터, 통상, 데이터 압축되고 있기 때문에, 이를 데이터 신장 처리(압정해동 처리)하여 재생용의 음성신호를 형성하고, 이를 셀렉터(5)에 공급한다.

또한 외부접속단자(4)에는, 상기한 바와 같이, 예를 들면 GPS나 DVD재생장치 등의 외부기기가 접속되고, 그것들의 기기로부터의 음성신호가, 셀렉터(5)에 공급하도록되어있다.

그리고, 셀렉터(5)는, 제어부(9)에 의해 변환 제어가 행해지고, AM/FM 튜너 (1), CD재생부(2), MD재생부(3), 외부입력 단자(4)중 어느 한 부분으로부터의 음성신호를 출력할지를 바꾼다. 이에 따라 AM/FM튜너(1), CD재생부(2), MD재생부(3), 외부입력 단자(4)중 목적으로 하는 부분으로부터의 음성신호가 오디오 앰프부(6)에 공급된다.

오디오 앰프부(6)는, 크게 나누면, 출력신호 처리부(61)와 해석 데이터 처리부(62)로 되어있다. 출력신호 처리부(61)은, 제어부(9)로부터의 제어신호에 의거하여 출력하고자 하는 음성신호에 대한 음량조정, 음질조정 등의 각종의 조정 처리를 행하여, 출력용 음성신호를 형성하고, 이를 스피커7L, 7R에 공급한다.

이에 따라 도 1에 있어서 참조 부호 1부터 4로 도시한 부분 내의 목적으로 하는 공급 부분으로부터의 음성신호에 따른 음성을 스피커7L, 7R로부터 방음할 수 있게 된다.

한편, 해석 데이터 추출부(62)는, 이것에 공급된 음성신호를 복수의 주파수대역으로 분할하여, 각 주파수대역의 음성신호의 레벨을 나타내는 정보를 제어부(9)에 공급한다.

제어부(9)는, 상세하게는 후술하지만, 해석 데이터 추출부(62)로부터의 해석 데이터에 의거하여, 음성신호의 피크 위치를 검출하고, 소정 단위시간에 있어서의 피크 위치 사이의 시간간격을 산출하여, 이 산출 결과에 의거하여 출력하는 음성의 템포를 특정한다.

그리고, 본 예의 제어부(9)는, 예를 들면 ROM(92) 혹은 불휘발성 메모리(94)에 기억되어 있는 정지화상 데이터 안에서, 전술한 바와 같이 특정한 템포에 따른 것을 선택하여, 그것을 LCD(10)에 표시하도록 하고 있다. 또한 제어부(9)는, LCD(10)에 표시하도록 한 정지화상에 겹쳐, 예를 들면 도형이나 캐릭터 등의 화상을, 특정한 템포에 따라 움직이는 양태로 표시를 하도록 되어 있다.

이와 같이, 본 발명에 관한 카스테레오 장치에 있어서는, 오디오 앰프부의 해석 데이터 추출부(62)와 제어부(9)에 의하여 템포 해석 장치를 구성하고, 이들이 협동함으로써, 재생하는 악곡 등의 음성의 템포를 특정하고, 이를 이용할 수 있도록 하고 있다.

즉, 해석 데이터 추출부(62)와 제어부(9)로 구성되는 템포 해석 장치부는, 본 발명에 관한 템포 해석 장치의 일 실시예가 적용된 것이며, 여기에서 이용되는 방법이, 본 발명에 관한 템포 해석 방법의 일 실시예가 적용된 것이다.

그리고, 본 발명에 있어서는, 이하에 상술하는 것 같이, 재생하고자 하는 악곡 등의 음성의 템포를 특정할 때는, 종래와 같이 자기상관 산출 등의 복잡한 연산 처리를 행하지 않고, 간단한 처리로, 또한 정확하게 목적으로 하는 음성의 템포를 특정하도록 하고 있다.

다음에 본 발명에 관한 카스테레오 장치에 탑재된 템포 해석 장치부에 관하여 설명한다.

도 2는, 이 카스테레오 장치에 탑재된 템포 해석 장치부를 도시하는 블럭도이다. 상기한 바와 같이, 본 발명에 관한 템포 해석 장치는, 카스테레오 장치의 오디오 앰프부(6)에 마련되는 해석 데이터 추출부(62)와, 제어부(9)로 구성된다.

도 2에 도시한 것과 같이 해석 데이터 추출부(62)와 제어부(9) 사이에는, A/D변환부(12)가 마련된다. 이 A/D변환부(12)는, 해석 데이터 추출부(62)로부터 출력되는 음성신호의 레벨을 도시하는 정보(예를 들면 전압값)를 예를 들면 0∼1023까지의 1024스텝의 디지털 데이터로 변환하여 제어부(9)에 공급하도록 하는 것이다.

이 A/D변환부(12)는, 도 2에 도시한 것과 같이, 해석 데이터 추출부(62)와 제어부(9) 사이에 마련하는 것도 가능하지만, 해석 데이터 추출부(62)의 기능으로서 마련하도록 해도 좋고, 또한 제어부(9)의 기능으로서 마련하도록 해도 좋다.

이 실시예에 있어서, 해석 데이터 추출부(62)는, 여기에 공급된 음성신호를 복수의 주파수대역으로 분리하는 대역분리부(621)와, 복수의 주파수영역으로 분리된 음성신호의 각각의 레벨을 검출하여, 이를 레벨 정보로서 출력하는 레벨 검출부(622)로 되어있다.

대역분리부(621)는, 도 2에도 도시한 것과 같이, 중심주파수가, 62Hz, 157Hz, 396Hz, 1KHz, 2.51KHz, 6.34kHz,16kHz의 7개의 주파수대역(7밴드)으로 분리하도록 하고 있다.

대역분리부(621)에 있어서, 각 주파수대역으로 분리된 음성신호의 각각은, 도 2에 도시한 것과 같이, 레벨 검출부(622)에 공급되어, 그 각각 마다 레벨이 검출된다. 레벨 검출부(622)에 있어서 검출된 각 주파수대역의 음성신호의 레벨을 도시하는 정보는, A/D변환부(12)를 통해 제어부(9)에 공급된다. 즉, 대역분할된 각 대역의 음성신호의 레벨 파형(음성 레벨 파형)이 디지털 데이터로서 제어부(9)에 공급된다.

또, 해석 데이터 추출부(62)는, 범용의 집적회로, 예를 들면IC A633AB(STMicroelectronics)등을 이용하여 실현하는 것이 가능하다. 또한 해석 데이터 추출부(62)를 마이크로컴퓨터로 구성하도록 하고, 여기에서 실행되는 소프트웨어에 의해 음성신호의 대역분할나 신호레벨의 검출 행하도록 할 수도 있다.

그리고, 제어부(9)는, 해석 데이터 추출부(62)로부터의 각 주파수대역의 음성신호의 레벨(음성 레벨 파형)을 이용하여, 극히 간단한 비교 처리를 중심으로 하는 처리에 의해, 처리 대상의 음성의 템포를 특정한다. 그리고, 특정한 템포에 의거하여 제어부(9)는, 예를 들면 ROM(92)에 준비된 정지화상 데이터 안에서 그 템포에 따른 정지화상을 형성하는 화상 데이터를 추출하고, 그것을 LCD(10)의 표시 화면에 표시하도록 한다.

동시에, 제어부(9)는, 소정의 도형이나 캐릭터 등을 LCD(10)의 표시 화면에 표시하도록 하는 동시에, 그 도형이나 캐릭터를, 특정한 템포에 따라 이동시키도록 하고 있다.

다음에 상기한 바와 같이, 제어부(9)의 기능으로서 행해지는 처리 대상의 음성신호에 의해 재생되는 음성의 템포를 특정하는 처리에 대해서 구체적으로 설명한다. 도 3은, 본 발명에 관한 카스테레오 장치에 있어서 행해지는 처리 대상의 음성신호에 의해 재생되는 음성의 템포를 특정할 경우의 처리 순서를 도시하는 흐름도이다.

이 카스테레오 장치에 있어서, 제어부(9)는, 우선, 최종적으로 특정된 템포와 함께 화상 데이터의 표시를 위한 파라미터가 되는 입력 음성신호의 음량 레벨( 총 음량)의 계산 처리를 행한다(스텝S1).

다음에 제어부(9)는, 처리 대상의 음성에 관한 템포의 추출 및 특정을 위한 처리를 행한다(스텝S2). 이 스텝S1, 스텝S2의 처리에 의해 구해진 파라미터(총 음량과 템포)에 의해, 표시하는 화상 데이터나 표시 내용이 결정된다.

그리고, 본 발명에 관한 카스테레오 장치에 있어서는, 상기한 바와 같이 처리 대상의 음성신호를 7개의 주파수대역(7밴드)으로 분할하고, 소정의 시간단위구간(1프레임)을 처리 단위로서 처리를 하도록 하고 있다. 여기에서, 시간단위구간(1프레임)은, 연속하는 예를 들면 4초간의 구간이다.

그리고, 1프레임(4초간)의 구간을 샘플링 주파수가 20Hz의 클럭 신호를 이용하여 샘플링함으로써, 1프레임에 80샘플을 얻도록 하고 있다. 또한, 예를 들면 10프레임, 20프레임 등과 같이 , 소정의 프레임수 만큼의 정보를 누적하고, 이 누적한 정보에 의거하여 총 음량의 산출이나 템포의 결정(특정)을 하도록 하고 있다.

다음에 도 3에 도시하는 처리의 스텝S1의 처리 및 스텝S2의 처리의 상세에 대하여 설명한다.

우선, 스텝S1의 총 음량의 계산 처리에 관하여 설명한다. 도 4는, 도 3에 도시하는 스텝S1에 있어서 행해지는 처리를 설명하기 위한 흐름도이다.

여기에서는, 도 4에도 도시한 것과 같이 처리 결과를 누적하는 연속한 복수 프레임의 각 프레임에 있어서의 7밴드의 합계 음량의 데이터 버퍼를 VolData[Frame]으로 하고, 각 밴드마다 음량 데이터(레벨 데이터)의 저장 버퍼를 data[band]로 하며, 총 음량 값의 저장 버퍼를 TotalV0l로 한다.

또한 [Frame〕은, 총 음량의 계산 대상이 되는 프레임수이고, [Frame〕번째에 상당하는 프레임은, 처리 결과를 누적하는 연속한 복수 프레임의 내의 최고의 프레임이다. [band]는, 어느 밴드(주파수대역)를 도시하는 밴드 번호이기도 하다.

그리고, 현재처리의 대상이 되어 있는 최신 프레임의 음량 버퍼를 VolData〔1〕로 하고, 처리 결과를 누적하는 연속한 복수 프레임의 내의 최고의 프레임의 음량 버퍼를 VolData[Frame〕으로 하면, 도 4에 도시한 것과 같이 제어부(9)의 CPU(91)는, 우선, 총 음량Total Vol에서, 최고의 프레임의 음량을 감산한다(스텝S11).

다음에 버퍼VolData[1]∼VolData [Frame]에 저장 데이터를, 1버퍼씩 시프트한다 (스텝S12). 예를 들면VolData [Frame]=VolData [5]일 경우를 예로 들면, VolData[4]의 데이터를 VolData[5]로 시프트하고, VolData [3〕의 데이터를 VolData [4]로 시프트하며, VolData[2]의 데이터를 VolData[3〕로 시프트하고, VolData [1]의 데이터를 VolData [2〕로 시프트하게 된다.

그리고, 해석 데이터 추출부(62)로부터의 최신의 프레임의 각 밴드(주파수대역)의 레벨 데이터data[1], data [2], data [3], data [4〕, data [5], data[6], data[7]를 합산하고, 이 합산 결과를 최신 프레임의 음량을 나타내는 데이터로서, 버퍼VolData[1]에 셋트한다(스텝S13).

그리고, 스텝S13에 있어서 구한, 최신의 처리 대상 프레임의 음량의 값을 총 음량의 값을 유지하는 TotalVol의 값에 가산함으로써, 최신 프레임으로부터 과거로 거슬러 올라가는 방향으로 총 음량을 계산한다 [Frame〕분의 프레임을 대상으로 하 는 총 음량이 구해진다(스텝S14).

이와 같이 하여, 처리 대상의 음성신호의 총 음량이 산출되고, 이 산출된 총 음량을 파라미터의 하나로서 이용함으로써, 화상 데이터를 선택·표시할 수 있게 된다.

또, 전술한 총 음량의 계산 처리는, 복수의 주파수대역으로 분할된 음성 레벨 파형으로 구하도록 했지만, 이 이외로, 공급된 음성신호에 대한 음성 레벨 파형으로부터 구해도 좋고, 예를 들면 중음역과 같은 특정한 주파수대역성분을 추출하는 필터를 준비하여 그 대역의 음성신호에 대한 음성 레벨 파형으로부터 구하도록 해도 된다.

다음에 도 3에 도시한 스텝S2에 있어서 행해지는 템포 추출 처리에 대해서 구체적으로 설명한다. 도 5는, 도 3에 도시한 스텝S2에 있어서 행해지는 템포추출처리를 설명하기 위한 흐름도이다. 도 5에 도시한 것과 같이 스텝S2에서 스텝S24까지의 각 처리는, 대역분할된 각 밴드 마다 음성신호를 대상으로 하여 행해진다.

즉, 제어부(9)의 CPU(91)는, 각 밴드마다, 스레숄드를 설정하는 처리를 행하고(스텝S21), 예를 들면 RAM(93),혹은, 불휘발성 메모리(94)에 마련되는 피크 위치 검출용의 버퍼인 피크 버퍼 내용의 시프트 처리를 실행한다(스텝S22). 그리고, 스텝S21에서 설정한 스레숄드 이상의 레벨의 피크 위치(레벨 변화의 정점)를 추출하는 처리를 행해 여(스텝S23), 추출한 피크 위치에 의거하여 각 피크 위치간의 피크 간격(피크 위치 사이의 시간간격)을 구한다(스텝S24).

각 밴드(대역)마다 행해지는 스텝S21∼스텝S24까지의 처리 후, 제어부(9)의 CPU(91)는, 각 밴드 마다 피크 간격을 하나의 리스트에 정리하는 처리를 행하고, 검출 빈도(발생 빈도)가 가장 높은 피크 간격(피크 주기)을 재생하고 있는 음성의 템포로서 특정한다(스텝S25).

다음에 도 5에 도시한 템포 추출 처리의 스텝S21의 스레숄드 처리, 스텝S23의 피크 추출 처리, 스텝S25의 템포를 특정하는 처리의 각각에 대해서 보다 상세하게 설명한다.

도 6은, 도 5에 도시한 템포 추출 처리의 스텝S21에 있어서 행해지는 스레숄드 처리를 설명하기 위한 흐름도이다. 이 실시예에 있어서는, 도 3에 도시한 스텝S1에 있어서 실행되는 처리에 유사한 처리로서, 대역분할된 각 밴드마다 1프레임(4초간)의 구간에 걸쳐 각각의 최대음량 레벨을 구하고, 그 값을 MaxVol[band]로서 유지해 둔다. 다음 1프레임(4초간)의 구간에 대하여 스레숄드 처리를 행할 때에, 유지되고 있는 MaxVol[band]을 호출하고, 이값에, 예를 들면 0.8을 곱하는 것에 의해, 최대음량MaxVol[band]의 80%의 레벨을 구하고, 이 구한 레벨이 앞의 1프레임(4초간)의 구간에 대하여 구해진 스레숄드Thres보다 큰 지 여부를 판단한다(스텝S211).

스텝S211의 판단 처리에 있어서, 스레숄드Thres가, 최대음량MaxVo1 [band]의 80%의 레벨보다도 크다고 판단했을 경우에는, 음량이 저하하고 있다고 판단하여, 스레숄드Thres에, 이 스레숄드Thres의 90%의 레벨을 설정하도록 한다(스텝S212).

스텝S211의 판단 처리에 있어서, 스레숄드Thres가, 음량MaxVo1 [band〕의 80%의 레벨보다도 작다고 판단했을 때에는, 음량이 오르고 있다고 판단하여, 이번 의 새로운 최대음량MaxVol[band]의 80% 레벨을 스레숄드Thres로 설정하도록 한다(스텝S213).

이와 같이, 본 발명에 관한 카스테레오 장치에 있어서는, 각 밴드마다 음량이 저하했을 경우와 상승했을 경우의 양쪽에 있어서, 스레숄드Thres를 적절히 변경할 수 있도록 하고 있다. 이 스레숄드Thres를, 음성신호의 피크위치를 검출할 경우의 기준으로 하여 이용함으로써, 음성의 템포를 정확하게 특정할 수 있도록 하고 있다.

다음에 도 5에 도시한 템포 추출 처리의 스텝S23에 있어서 행해지는 피크 위치의 추출 처리에 관하여 설명한다. 도 7은, 도 5에 도시한 스텝S23에 있어서 실행되는 피크 위치의 추출 처리를 설명하기 위한 흐름도이다. 상기한 바와 같이, 이 실시예에 있어서는, 샘플링 주파수가 20Hz의 클럭 신호를 이용하고, 음성신호는, 1프레임인 4초간에 80회 샘플링되어, 그 레벨이 검출되도록 한다. 그리고, 각 샘플에 대해서, 도 7에 도시하는 처리가 행해지게 된다.

우선, 제어부(9)는, 현재 샘플의 레벨이, 도 6을 이용하여 설명하도록 하여 설정되는 스레숄드Thres를 밑돌고 있는 지를 판단한다(스텝S231). 이 스텝S231의 판단 처리에 있어서, 현재 샘플의 레벨이, 스레숄드Thres를 밑돌지 않는다고 판단했을 때에는, 현재 샘플의 레벨이 최대값일 가능성이 있기 때문에, 이미 최대값의 후보로서 가등록 되고 있는 레벨과 현재 샘플의 레벨을 비교하여, 현재 샘플의 레벨 쪽이 높은 지를 판단한다(스텝S232).

스텝S232의 판단 처리에 있어서, 현재 샘플의 레벨보다도, 미리 등록되어 있 는 최대값 후보의 레벨 쪽이 높으면, 아무것도 하지 않고, 이 도 7에 도시하는 처리를 누락한다. 스텝S232의 판단 처리에 있어서, 현재 샘플의 레벨 쪽이, 가등록되어 있는 최대값 후보의 레벨보다도 높을 경우에는, 현재 샘플의 레벨과 이 샘플의 위치를 가등록하고(스텝S233), 이 도 7에 도시하는 처리를 누락한다. 또, 가등록은, 예를 들면 RAM(93),혹은, 불휘발성 메모리(94)의 가등록 에어리어로 한다.

또한 스텝S231의 판단 처리에 있어서, 현재 샘플의 레벨이, 스레숄드Thres를 밑돌고 있다고 판단했을 때에는, 스텝S233에 있어서 가등록한 레벨의 샘플 위치는, 현재 처리 대상의 프레임 내 인지를 판단한다(스텝S234).

스텝S234의 판단 처리에 있어서, 가등록한 레벨의 샘플 위치는, 현재 처리 대상의 프레임내가 아니라고 판단했을 때에는, 처리 대상이 되고 있는 프레임이 다음 프레임으로 이동하므로, 아무것도 하지 않고, 이 도 7에 도시하는 처리를 탈락하도록 한다.

스텝S234의 판단 처리에 있어서, 가등록한 레벨의 샘플 위치는, 현재의 처리 대상의 프레임내이라고 판단했을 때에는, 피크의 후보로서 가등록한 레벨과 그 샘플링 위치를, 피크 레벨 및 피크 위치로 하고, 소정의 에어리어(최대값 위치 정보 에어리어)에 추가 기록하는 동시에, 피크의 수를 1카운트하고, 이 도 7에 도시하는 처리를 빠져나간다.

이와 같이, 본 발명에 관한 카스테레오 장치에 있어서는, 자기상관의 산출을 행하는 않고, 비교적 간단한 비교 처리만으로, 피크 레벨을 검출하여, 그 피크 레벨의 위치(피크 위치)를 추출할 수 있도록 하고 있다.

그리고, 이 카스테레오 장치에 있어서는, 도 7에 도시한 처리가, 도 5에 도시한 처리의 스텝S23에 있어서 행해짐으로써 얻어지는 피크위치에 의거하여 도 5에 도시한 스텝S24에 있어서는, 피크 간격(피크위치 사이의 시간간격)이 구해진다.

도 8은, 본 발명에 있어서 행해지는 피크 간격의 검출 처리를 설명하기 위한 도면이다. 도 8에 도시한 것과 같이 1프레임 내에 있어서, 스레숄드Thres 이상의 피크 위치(피크점)가 4개 존재할 경우를 예로 하여, 피크 간격을 구하는 처리에 대해 설명한다.

제어부(9)는, 예를 들면 RAM(93) 혹은 불휘발성 메모리에 기억 유지된 피크 위치를 도시하는 정보에 의거하여 도 8에 있어서, 알파벳A, B, C, D, E, F이 도시한 것과 같이 동일한 구간이 중복되지 않도록, 피크 간격을 구한다.

도 8에 도시한 예에서는, 4개의 피크 위치의 각각을 기준으로 하여, 다른 피크 위치와의 간격을 구하도록 한다. 그러나, 기준이 되는 피크 위치와 다른 피크 위치가 역(逆)만 되는 구간은, 구간의 중복이 되므로, 실질적으로 구간이 중복될 경우에는, 그 한쪽만을 살리도록 처리한다.

따라서, 도 8에 도시한 예의 경우에는, 4개의 피크 위치의 각각에 대해, 다른 3개의 피크 위치 사이에서 피크 간격이 구해지므로, 12개의 피크 간격을 검출할 수 있지만, 중복하는 구간에 대해서는, 그 중 하나만 살리도록 함으로써, 도 8에 도시한 것과 같이 6개의 피크 간격A, B, C, D, E, F을 검출할 수 있다.

이 처리는, 처리 대상의 프레임 구간의 각 밴드의 레벨 데이터를 대상으로 하여 행해진다. 그리고, 이 처리 대상의 프레임 구간의 각 밴드에 있어서 구해진 피크 간격을 피크 간격(주기)리스트(이하, 주기 리스트라고 함 )에 전개하고, 이 주기 리스트에 의거하여 재생하도록 하고 있는 악곡의 템포가 결정(특정)되도록 한다.

도 9는, 도 5에 도시한 스텝S25에 있어서 실행되는 주기 리스트 작성 및 템포 결정 처리를 설명하기 위한 흐름도이다. 도 9에 도시하는 흐름의 처리는, 제어부(9)에 있어서 실행되는 처리다.

우선, 제어부(9)는, 현재, 음량이 제로인지 여부를 판단한다(스텝S251). 이 판단은, 전술한 총 음량 TotalVo1을 체크함으로써 행할 수도 있고, 또한 별도로, 입력 음성신호에 대한 음량 레벨을 검출하여, 이를 체크하도록 해도 좋다.

또, 음량이 완전히 제로가 되지 않을 경우도 있다는 것을 상정하여, 스텝S251의 처리에 있어서는, 예를 들면 규정 스레숄드 이하의 음성 레벨의 음성신호가 규정 샘플이상 계속된 경우에는, 음량이 제로가 된, 즉, 악곡의 재생이 종료했다고 판단하도록 해도 좋다.

스텝S251의 판단 처리에 있어서, 음량이 제로가 아니라고 판단했을 때에는, 제어부(9)는, 도 7을 이용하여 전술하도록 하여 구해지는 모든 피크 간격을 스코어에 가중을 하면서 주기 리스트에 전개한다(스텝S252). 주기 리스트는, 예를 들면 도 10에 도시한 것과 같이 가로축을 피크 간격, 세로축을 스코어(검출수)로 하고, 처리 대상의 프레임 구간에 있어서의 각 밴드에 있어서 검출한 각 피크 간격에 대해서, 그 검출 회수를 누적하도록 하는 것이다.

여기에서, 가중은, 각 밴드마다, 피크 간격의 대소에 의해 소정의 값을 미리 설정해 둔다. 예를 들면 고음역의 밴드에 대한 가중을, 중음역의 밴드에 대한 가중보다도 작은 값으로 해도 좋다. 혹은, 각 밴드에 대한 가중을 동일 값으로 해도 좋다. 또, 이 예에 있어서는, 도 10에 도시한 것과 같이, 각 밴드 마다 가중을 W1, W2, W3, ···으로 나타내고, 피크 간격마다 가중을 AA, BB로 나타내고 있다. 여기에서 스코어의 계산예는 다음과 같다. 간격B, E의 스코어=AA＊（1밴드째 스코어 ＊ W1+2밴드째 스코어＊W2+···+6밴드째 스코어 W6 + 7밴드째 스코어 W7)

이 예에 있어서는, 피크 간격마다 가중과 각 밴드 마다 가중을 행함으로써, 각 피크 간격의 스코어를 얻도록 하고 있다.

그리고, 도 9에 도시한 주기 리스트에 있어서는, 도 8을 이용하여 설명한 바와 같이 검출되는 피크 간격 내, 같은 간격인 피크 간격B, E의 검출 회수가 더욱 많이 검출되는 것을 알았다. 제어부(9)는, 작성한 주기 리스트로부터, 검출 회수, 즉 쌓여진 스코어의 가장 높은 피크 간격을 템포로서 결정(특정)한다 (스텝S253).

다음에 제어부(9)는, 주기 리스트의 스코어의 최대값이 미리 결정된 규정값을 넘었는 지 여부를 판단한다(스텝S254). 템포의 결정은, 주기 리스트에 의거하여 신속하게 행해야 하므로, 주기 리스트에 필요 이상의 데이터를 축적하는 것은, 처리의 지연, 메모리의 낭비 등에 연결될 가능성이 있기 때문에 바람직하지 않다.

스텝S254의 판단 처리에 있어서, 주기 리스트 스코어의 최대값이 미리 정해진 규정값을 넘지 않을 경우에는, 도 9에 도시하는 처리를 종료한다. 또한 스텝S254의 판단 처리에 있어서, 주기 리스트의 스코어의 최대값이 미리 정해진 규정값을 넘었다고 판단한 경우에는, 주기 리스트의 데이터에 대한 탈락 처리를 행하여( 스텝S255), 이 후, 이 도 9에 도시하는 처리를 종료한다.

스텝S255에 있어서 행해지는 주기 리스트의 탈락은, 상기 혹은 도 11에도 도시한 것과 같이 누적되어 가는 각 피크 간격의 스코어가, 규정값을 넘은 경우에 행해진다. 구체적으로는, 주기 리스트의 각 피크 간격의 스코어로부터 소정 스코어 만큼을 감산하도록 하거나, 혹은, 주기 리스트에 전개한 데이터 중, 예를 들면 가장 오래된 프레임의 각 피크 간격의 스코어를 빼도록 하거나, 또는 가장 오래된 프레임에서 새로운 프레임 방향으로 복수 프레임 만큼의 피크 간격의 스코어를 빼도록 함으로써 행해진다.

또한 도 9에 도시한 스텝S251의 판단 처리에 있어서, 음량이 제로라고 판단했을 때에는, 악곡의 재생이 끝났다고 판단할 수 있기 때문에, 도 10에 도시한 것과 같이 작성되는 주기 리스트를 리셋하여(스텝S256), 새롭게 재생되는 악곡의 템포의 해석 처리에 구비하도록 하고, 이 도 9에 도시하는 처리를 종료한다.

또, 이 카스테레오 장치에 있어서, 제어부(9)는, 각 프레임에 있어서 검출되는 그 프레임에 있어서의 검출 빈도가 가장 높은 피크 간격을 나타내는 정보가, 복수 프레임 만큼, 예를 들면 1000프레임 만큼 축적하게 된다. 예를 들면 도 12에 도시한 것과 같이 각 프레임의 검출 빈도가 가장 높은 피크 간격을 나타내는 데이터가 유지되도록 한다.

이와 같이, 처리 대상이 된 과거의 프레임에 대해서도, 피크 간격을 나타내는 정보를 유지해 두는 것에 의해, 예를 들면 어느 프레임에서 돌연히 피크 간격이 크게 바뀌는 경우라도, 그 전후 프레임의 피크 간격을 나타내는 정보를 참조함으로 써, 피크 간격의 돌연 변동에 큰 영향을 받지 않고, 적절히 재생 대상의 악곡의 템포를 결정할 수 있게 된다.

그리고, 본 발명에 관한 카스테레오 장치에 있어서, 제어부(9)는, 전술한 바와 같이 하여, 재생 대상의 돌출의 템포를 결정하면, 그 결정한 템포에 따라, ROM(92)에 유지되어 있는 예를 들면 정지화상의 화상 데이터를 읽어내어, 이 읽어낸 화상 데이터에 의한 정지화상을 LCD(10)에 표시하도록 하고 있다.

이 카스테레오 장치에 있어서, LCD(10)에 표시되는 정지화상은, 재생하고 있는 악곡의 템포와 음량에 근거하여 정해진다. 즉, 도 13에 도시한 것과 같이 가로축을 템포로 하고, 세로축을 음량으로 하는 좌표평면을 상정하여, 이 평면 위에 9블록 * 9블록의 영역을 마련하도록 한다.

그리고, 템포와 음량에 의하여 결정되는 블록에 대응하여, 화상을 형성하는 화상 데이터가 일의적으로 정해지도록 하고 있다. 즉, 도 13에 도시한 81개의 블록의 각각에 대하여, 소정의 화상을 형성하는 화상 데이터가 결정되도록 되어 있다.

따라서, 예를 들면 도 13에 도시한 것과 같이, 템포TP와, 음량V을 알면, 이것으로 나타나는 좌표(TP, V)가 속하는 블록에 할당된 화상 데이터가 ROM(92)로부터 판독되고, 이 판독된 화상 데이터에 의한 정지화상이, 제어부(9)의 제어에 의해, LCD(1O)의 표시 화면에 표시하도록 되어있다.

또, 여기에서는, 예를 들면 ROM(92)에는, 적어도 도 13에 도시한 것과 같이 설정되는 81블록의 각각에 대응하는 81장의 정지화상을 형성하는 화상 데이터가 기 억 유지된다. 그러나, 실제로는, 도 13에 도시한 어느 블록에도 속하지 않는 경우도 생길 가능성이 있기 때문에, 어느 블록에도 속하지 않을 경우에 이용하는 정지화상을 형성하는 복수의 화상 데이터도 기억 유지하여, 이를 이용할 수도 있게 된다. 따라서, 예를 들면 ROM(92)은, 이 실시예의 경우, 100장 전후의 정지화상의 화상 데이터가 기억 유지되고 있다.

또한 본 발명에 관한 카스테레오 장치에 있어서는, LCD(10)의 표시 화면에, 템포와 음량에 따른 정지화상을 표시하는 것으로서 설명했지만, 소정시간 분의 동화상을 표시하거나, 소정시간 분의 동화상을 반복하여 표시하는 등, 동화상의 표시를 하도록 하는 것도 물론 가능하다.

또한, 본 발명에 관한 카스테레오 장치에 있어서는, 악곡의 재생시에 있어서, 상기한 바와 같이 템포와 음량에 따른 화상을 LCD(1O)의 표시 화면에 표시할 뿐만 아니라, 예를 들면 도 14에 있어서, 오브젝Ob이 도시한 것과 같이 미리 정해진 도형이나 캐릭터 등의 표시 오브젝을 LCD(10)의 표시 화면에 표시하도록 하고, 이를 이동시키도록 하고 있다.

이 경우, 오브젝Ob의 이동 패턴이나 이동 속도 등은, 예를 들면 결정된 템포에 따라 정해지고, 템포가 빠르면, 격렬하게 움직이고, 템포가 느리면, 천천히 움직이는 등으로 제어하게 된다. 물론, 템포와 음량에 의해, 이동 패턴이나 이동 속도를 선택하도록 해도 좋다. 또한 표시하여 이동시키도록 하는 표시 오브젝 자체에 대해서도 여러개 준비해 두어, 결정한 템포 혹은 결정한 템포와 음량에 의하여, 이용하는 표시 오브젝을 선택하도록 할 수도 있다.

이와 같이, 본 발명에 관한 카스테레오 장치에 있어서는, 자기상관 연산 등의 복잡한 연산 처리를 행하지 않고, 재생하는 악곡 등의 음성의 템포를 간단하게, 또한 신속하고 정확하게 특정할 수 있게 된다. 따라서, 카스테레오 장치의 제어부에 큰 부하를 걸지 않고, 재생하는 음성의 템포를 특정할 수 있다.

그리고, 특정한 템포에 따라 LCD(10)에 표시하는 화상을 특정하고, 이를 표시하여 유저에게 제공할 수 있게 된다. 또한 특정한 템포에 따라, 표시 오브젝을 LCD의 표시 화면에 표시하도록 하고, 이를 템포에 따라 이동시킬 수 있게 된다. 즉, 물리적인 정보를 이용하는 그래픽 이퀄라이저와는 달리, 음악적인 정보인 특정한 템포에 따라, 화상정보를 제공할 수 있는, 새로운 양태의 정보 제공이 가능하게 된다.

또, 전술한 실시예에 있어서는, 재생하는 음성신호를 7개의 주파수대역으로 분할하여, 각 대역마다 처리하는 것으로서 설명했지만, 이에 한정되는 것은 아니다. 분할하는 주파수대역수는, 몇 개라도 좋다. 즉, 반드시 주파수대역을 분할할 필요는 없고, 전 주파수대역을 갖는 음성신호에 대하여 전술한 처리를 행하도록 해도 물론 좋다.

또한 처리 대상의 음성신호를 복수의 주파수대역으로 분할하도록 한 경우라도, 그 분할된 모든 주파수대역의 음성신호를 처리 대상으로 할 필요는 없고, 분할한 주파수대역의 하나 이상의 대역을 선택해서 처리 대상으로 해도 좋다. 혹은, 밴드패스 ㅍ필터에 의해 처리 대상으로 하는 주파수대역의 음성신호를 추출하여 전술한 처리를 행하도록 해도 좋다.

또한 피크 위치의 검출시에는, 음성파형의 레벨에 대한 스레숄드를, 전 프레임 구간의 최대음량에 의거하여 산출하도록 했지만, 이에 한정하는 것이 아니다. 음성파형에 대한 스레숄드는, 소정의 값을 이용하도록 미리 설정해 두는 것도 가능하다. 또한 선택된 음량 레벨 등에 따라, 미리 결정된 복수 값 안에서 소정의 값을 선택하여 이를 이용하도록 해도 좋다.

전술한 실시예에 있어서는, 피크 간격의 검출은, 모든 피크 위치를 기준으로 하여, 실질적으로 중복되는 간격은 제외하도록 하였지만, 이에 한정되는 것은 아니다. 예를 들면 각 프레임의 임의의 하나 이상의 피크 위치를 기준으로 하여 피크 간격을 검출하도록 하고, 이와 같이 하여 구한 피크 기간을 이용하도록 해도 좋다. 즉, 모든 피크 위치를 기준위치로서 이용하고, 피크 간격을 검출할 필요는 반드시 없다.

또한 전술일 실시예에 있어서는, 1프레임은 4초의 기간이며, 20Hz의 샘플링 주파수의 클럭 신호를 이용하는 것으로서 설명했지만, 이에 한정되는 것은 아니다. 프레임의 시간 길이, 샘플링 주파수는, 카스테레오 장치 등의 기기에 탑재된 CPU의 성능 등에 따라, 적당한 것을 선택하도록 하면 좋다.

또한, 전술일 실시예에 있어서는, 특정한 템포와 총 음량에 따라, LCD에 예를 들면 정지화상을 표시하는 동시에, 표시 오브젝도 표시하도록 하여, 이 표시 오브젝을 이동하도록 했지만, 특정한 템포에 따른 처리는, 이에 한정되는 것은 아니다.

예를들면, 템포가 빠른 악곡이 재생되고 있는 경우에는, 저음과 고역의 음역 을 강조하도록 하거나, 또는 템포가 느린 악곡이 재생되고 있을 경우에는, 서라운드 모드로 하거나, 리버브를 강하게 걸거나 하는 등의 여러 가지 조정을 행하도록 해도 된다.

즉, 특정한 템포에 따라, 이퀄라이저의 조정, 서라운드 모드의 전환, 음량(볼륨)의 조정 등의 여러 가지 제어를 행하는 것이 가능하다.

상술한 실시예에 있어서는, 본 발명을 카스테레오 장치에 적용한 예를 들어서 설명했지만, 본 발명은 이에 한정되는 것은 아니다. 가정용 스테레오 장치, CD 플레이어, MD플레이어, DVD플레이어, pc등의 음성신호를 재생해서 출력하도록 하는 여러가지의 오디오 장치, 오디오/비쥬얼 장치에 본 발명을 적용할 수 있다.

본 발명을 예를 들면 가정용 스테레오 장치에 적용했을 경우에는, 특정한 템포에 따라, 실내 조명의 밝기나 실온의 조정 등을 행하도록 할 수도 있다.

또한 상기의 실시예에 있어서는, 음성신호의 대역분할은, 기존의 집적회로(IC)를 이용하여 행하는 것으로서 설명했지만, 이에 한정되는 것은 아니다. 음성신호의 대역분할도 예를 들면 제어부(9)에 있어서 실행되는 프로그램에 의해 행하도록 할 수도 있다.

본 발명은, 소프트웨어에 의해도 충분히 실현할 수 있다. 이를 구체적으로 나타내면, 제1번째의 프로그램으로서, 음성신호를 처리하는 장치의 컴퓨터에, 공급되는 음성신호의 레벨이, 소정의 한계값보다 크고, 레벨 변화의 정점이 되고 있는 피크 위치를 검출하는 검출 스텝과, 소정의 단위시간 구간에 있어서, 검출한 상기 피크 위치를 대상으로 하여, 적어도 소정의 피크 위치와 그 외의 피크 위치 사이의 시간간격을 검출하는 시간간격 검출스텝과, 검출한 상기 시간간격 중, 발생 빈도가 많은 시간간격에 의거하여, 상기 음성신호에 의해 재생되는 음성의 템포를 특정하는 특정 스텝을 실행하는 프로그램을 작성하고, 이를 유선, 무선 혹은 기록 매체를 통해, 오디오 기기나 오디오/비쥬얼 기기에 공급하고, 실행할 수 있도록 함으로써 본 발명에 관한 장치, 방법을 실현할 수도 있다.

또한 제2번째의 프로그램으로서, 상기의 제1번째의 프로그램에 있어서, 특정 스텝에 있어서는, 복수의 상기 단위시간 구간에 있어서 검출되는 피크 위치 사이의 시간간격의 발생 빈도를 누적하여, 이 누적한 발생 빈도에 의거하여 재생되는 음성의 템포를 특정하도록 하는 프로그램을 작성할 수도 있다.

또한 전술한 카스테레오 장치의 경우와 마찬가지로, 제 3의 프로그램으로서, 공급되는 상기 음성신호를 복수의 주파수대역으로 분리하는 대역분리스텝을 마련하고, 검출 스텝에 있어서는, 분리된 상기 복수의 주파수대역의 적어도 하나 이상의 대역마다 상기 피크 위치를 검출하도록 하고, 시간간격 검출스텝에 있어서는, 적어도 하나 이상의 대역마다 피크 위치를 대상으로 하여, 대역마다, 시간 간격을 검출하도록 하며, 특정 스텝에 있어서는, 적어도 하나 이상의 대역마다 검출되는 시간간격 중, 발생 빈도가 많은 시간간격에 의거하여 재생되는 음성의 상기 템포를 특정하도록 하는 프로그램을 작성하는 것도 가능하다.

또한 제 4의 프로그램으로서, 출력하고자 하는 음성신호에 의거하여 출력하고자 하는 음성의 음량을 산출하는 음량산출 스텝과, 산출한 음량을 기준으로 하여, 피크 위치를 검출할 경우에 사용하는 한계값을 설정하는 한계값 설정 스텝을 마련한 프로그램을 작성하는 것도 가능하다.

또한 제 5의 프로그램으로서, 특정된 템포에 의거하여 메모리에 기억되어 있는 화상 데이터 중에서 화상표시소자에 표시하는 화상의 화상 데이터를 추출하는 화상추출 스텝과, 추출한 화상 데이터에 따른 화상을 화상표시소자에 표시하는 표시 스텝을 마련한 프로그램을 작성하는 것도 가능하다.

또한 제 6의 프로그램으로서, 특정된 상기 템포에 의거하여 화상표시소자에 표시하는 화상의 크기, 이동 속도, 이동 패턴을 제어하는 스텝을 구비한 프로그램을 작성 하는 것도 가능하다.

이와 같이, 본 발명에 관한 템포 해석 장치 및 템포 해석 방법은, 프로그램에 의해도 실현가능하고, 작성한 프로그램은, 인터넷이나 전화망 등의 여러가지 전기통신회선이나 데이터 방송에 의해 유저에게 제공하는 것이 가능하며, 또한 전술한 스텝을 갖는 프로그램을 기록한 기록 매체를 배포하는 것에 의해서도 유저에게 제공할 수 있다.

상기한 바와 같이, 본 발명에 의하면, 자기상관연산 등의 복잡한 연산 처리를 행하지 않고, 악곡 등의 음성의 템포를 간단하고 정확하게 검출할 수 있다. 또한 검출한 템포에 따라 정보를 제공하거나, 여러가지 제어를 행할 수 있게 된다. 하드웨어 인터럽트를 사용하여 네트워크가 접속된 것을 검출하고, 또한 링크를 확립시키도록 했기 때문에, 시스템의 부하를 최소로 할 수 있음과 동시에, 네트워크 케이블을 접속하면 바로 네트워크를 사용할 수 있다.

Claims

입력 음성신호의 레벨 변화의 피크 중, 소정의 한계값보다 큰 복수의 피크 위치를 검출하는 피크 검출수단과,

소정의 단위시간 구간에 있어서, 상기 피크 검출수단에 의해 검출되는 상기 피크 위치 사이의 시간간격을 검출하는 간격검출수단과,

상기 간격검출수단에 의해 검출되는 상기 시간간격 중, 발생 빈도가 많은 상기 시간간격에 의거하여 상기 음성신호에 의해 재생되는 음성의 템포를 특정하는 특정 수단을 구비하는 것을 특징으로 하는 템포 해석 장치.
제 1항에 있어서,

상기 특정 수단은, 복수의 상기 단위시간 구간에 있어서 검출되는 피크 위치 사이의 상기 시간간격의 발생 빈도를 누적하고, 이 누적된 발생 빈도에 의거하여 재생되는 음성의 상기 템포를 특정하는 것을 특징으로 하는 템포 해석 장치.
제 1항에 있어서,

상기 입력 신호를 복수의 주파수대역으로 분리하는 대역분리수단을 구비하고,

상기 피크 검출수단은, 상기 대역분리수단에 의해 분리된 복수의 대역 중 적어도 하나 이상의 대역마다 상기 피크 위치를 검출하는 것이고,

상기 간격검출수단은, 상기 피크 검출수단에 의해 검출되는 적어도 하나 이상의 대역마다 상기 피크위치의 상기 시간간격을 검출하는 것이며,

상기 특정 수단은, 적어도 하나 이상의 대역마다 검출되는 상기 시간간격 중, 발생 빈도가 많은 시간간격에 의거하여 재생되는 음성의 상기 템포를 특정하는 것을 특징으로 하는 템포 해석 장치.
제 1항에 있어서,

상기 입력 음성신호로부터 소정의 주파수대역의 음성신호를 추출하는 대역추출수단을 구비하고,

상기 피크검출수단은, 상기 대역추출수단에 의해 추출된 음성신호에 대해서 상기 피크 위치를 검출하는 것을 특징으로 하는 템포 해석 장치.
제 1항에 있어서,

상기 입력 음성신호의 음량을 산출하는 음량산출수단과,

상기 음량산출수단에 의해 산출된 음량을 기준으로 하여, 상기 피크 위치를 검출할 경우에 이용되는 상기 한계값을 설정하는 한계값 설정수단을 구비하는 것을 특징으로 하는 템포 해석 장치.
제 3항에 있어서,

상기 대역분리수단에 의해 분리된 복수의 대역 중 적어도 하나 이상의 대역의 음성 신호의 음량을 산출하는 음량 산출수단과,

상기 음량산출수단에 의해 산출된 음량을 기준으로 하여, 상기 피크 위치를 검출할 경우에 이용하는 상기 한계값을 설정하도록 한 한계값 설정수단을 구비하는 것을 특징으로 하는 템포 해석 장치.
제 4항에 있어서,

상기 대역추출수단에서 추출된 음성신호의 음량을 산출하는 음량산출수단과,

상기 음량산출수단에 의해 산출된 음량을 기준으로 하여, 상기 피크 위치를 검출할 경우에 이용하는 상기 한계값을 설정하는 한계값 설정수단을 구비하는 것을 특징으로 하는 템포 해석 장치.
제 1항에 있어서,

화상표시소자와,

상기 화상표시소자에 표시가능한 복수 화상의 화상 데이터를 기억하는 기억 수단과,

상기 특정 수단에 의해 특정되는 상기 템포에 의거하여 상기 기억 수단으로부터 화상 데이터를 선택해서 읽어내고, 판독한 상기 화상 데이터에 따른 화상을 상기 화상표시소자에 표시하는 표시 제어 수단을 구비한 것을 특징으로 하는 템포 해석 장치.
제 8항에 있어서,

상기 표시 수단은, 상기 기억 수단으로부터 판독하는 상기 화상 데이터에 따른 화상을 상기 화상표시소자에 표시하는 상기 화상의 크기, 이동 속도, 이동 패턴의 적어도 하나를 제어하는 것을 특징으로 하는 템포 해석 장치.
제 8항에 있어서,

상기 표시 수단은, 상기 특정 수단에 의해 특정되는 상기 템포와 상기 음량산출수단에 의해 산출된 음량에 의거하여, 상기 기억수단으로부터 화상 데이터를 선택해서 판독하는 것을 특징으로 하는 템포 해석 장치.
입력 음성신호의 레벨 변화 중, 소정의 한계값보다 큰 복수의 피크의 위치를 검출하고,

소정의 단위시간 구간에 있어서, 검출한 상기 피크 위치 사이의 시간간격을 검출하며,

검출한 상기 시간간격 중, 발생 빈도가 많은 시간간격에 의거하여 상기 입력 음성신호에 의해 재생되는 음성의 템포를 특정하는 것을 특징으로 하는 템포 해석 방법.
제 11항에 있어서,

상기 템포의 특정시에, 복수의 상기 단위시간 구간에 있어서 검출되는 상기 피크 위치 사이의 상기 시간간격의 발생 빈도를 누적하고, 이 누적한 발생 빈도에 의거하여 재생되는 음성의 상기 템포를 특정하는 것을 특징으로 하는 템포 해석 방법.
제 11항에 있어서,

상기 입력 음성신호를 복수의 주파수대역으로 분리하고,

상기 피크 위치의 검출시에는, 분리된 상기 복수의 주파수대역의 적어도 하나 이상의 대역마다 상기 피크 위치를 검출하며,

상기 시간간격의 검출시에는, 적어도 하나 이상의 상기 대역마다 상기 피크 위치의 상기 시간간격을 검출하고,

상기 템포의 특정시에, 적어도 하나 이상의 상기 대역마다 검출되는 상기 시간간격 중, 발생 빈도가 많은 시간간격에 의거하여 재생되는 음성의 상기 템포를 특정하는 것을 특징으로 하는 템포 해석 방법.
제 11항에 있어서,

상기 입력 음성신호로부터 소정의 주파수대역의 음성신호를 추출하고, 상기 피크 위치를 검출시에는, 상기 추출된 음성 신호에 대한 상기 피크 위치를 검출하는 것을 특징으로 하는 템포 해석 방법.
제 11항에 있어서,

상기 입력 음성신호의 음량을 산출하고, 산출한 상기 음량을 기준으로 하여, 상기 피크 위치를 검출할 경우에 이용하는 상기 한계값을 설정하는 것을 특징으로 하는 템포 해석 방법.
제 13항에 있어서,

상기 분리된 복수의 대역 중 적어도 하나 이상의 대역의 음성신호의 음량을 산출하고, 산출한 상기 음량을 기준으로 하여, 상기 피크 위치를 검출할 경우에 이용하는 상기 한계값을 설정하는 것을 특징으로 하는 템포 해석 방법.
제 14항에 있어서,

상기 산출된 상기 음량의 음량을 산출하고, 산출한 상기 음량을 기준으로 하여, 상기 피크 위치를 검출할 경우에 이용하는 상기 한계값을 설정하는 것을 특징으로 하는 템포 해석 방법.
제 11항에 있어서,

특정된 상기 템포에 의거하여, 기억 수단에 기억되는 복수의 화상 데이터 중에서 화상 데이터를 선택하여 읽어내고, 판독한 상기 화상 데이터에 따른 화상을 상기 화상표시소자에 표시하는 것을 특징으로 하는 템포 해석 방법.
제 18항에 있어서,

특정된 상기 템포에 의거하여 화상표시소자에 표시하는 화상의 크기, 이동 속도, 이동 패턴을 제어하는 것을 특징으로 하는 템포 해석 방법.
제 18항에 있어서,

특정된 상기 템포와 산출된 상기 음량에 의거하여 상기 기억 수단에 기억되어 있는 복수의 화상 데이터를 선택해서 판독하는 것을 특징으로 하는 템포 해석 방법.