KR101521451B1

KR101521451B1 - 표시 제어 장치 및 방법

Info

Publication number: KR101521451B1
Application number: KR1020120151892A
Authority: KR
Inventors: 오사무 오오시마; 모토지 나가타
Original assignee: 야마하 가부시키가이샤
Priority date: 2011-12-27
Filing date: 2012-12-24
Publication date: 2015-05-19
Also published as: CN103187046A; CN103187046B; JP2013134475A; EP2610859A2; EP2610859A3; EP2610859B1; KR20130075679A; JP5811837B2; TWI492216B; US9639966B2; HK1183739A1; TW201329957A; US20130162649A1

Abstract

제어부(10)는 음 데이터를 해석하여 복수의 속성(예를 들면 피치와 음량)을 나타내는 데이터를 취득하고, 취득한 속성 데이터가 나타내는 2 이상의 속성 값의 시간적인 변화를 표시부(40)에서 표시하도록 제어한다. 시간의 경과를 나타내는 제 1 축(예를 들면 횡축)과 그것과 교차하는 제 2 축(예를 들면 종축)으로 이루어진 좌표 상에 있어서 상기 2 이상의 속성 중 제 1 속성(예를 들면 피치)의 값을 상기 제 2 축을 따르는 좌표 위치에 의해 제시하고, 상기 제 2 축 방향으로 연장되는 길이에 의해 상기 2 이상의 속성 중 제 2 속성(예를 들면 음량)의 값을 나타내는 제 1 도형을 표시한다.

Description

표시 제어 장치 및 방법{DISPLAY CONTROL APPARATUS AND METHOD}

본 발명은 예를 들면 가창 음성과 같은 음 데이터가 갖는 피치나 음량 등의 복수의 속성을 가시적으로 표시하기 위한 표시 제어 장치 및 방법에 관한 것이다.

가라오케 장치에 있어서는 가창자의 가창의 교졸을 채점하는 기능을 구비한 것이 여러가지 제안되어 있다. 이와 같은 장치에 있어서 악곡의 선율을 가창자에게 이해하기 쉽게 제시하거나, 가창자에게 자신의 가창 내용을 확인시키거나 하는 것을 목적으로 하여 악곡의 선율이나 가창자의 가창을 도형화하여 표시하는 기능이 제안되어 있다. 또한, 예를 들면, 일본 특허 공개 제 2004-139124 호 공보에는 악곡의 멜로디를 나타내는 음표를 오선보 상에 표시함과 아울러 각 음표에 음량의 변화나 피치 변화를 나타내는 도형을 표시하는 기술이 제안되어 있다.

그런데, 사람의 음성은 피치나 음량이 항상 변화된다. 그러나, 특허문헌 1에 기재된 기술에서는 하나의 음표에 대해 하나의 부가 정보(속성) 밖에 표현할 수 없어 복수의 속성(예를 들면, 음량과 피치)을 동시에 표현할 수 없었다.

본 발명은 상술한 배경을 감안하여 이루어진 것이며 음 데이터가 갖는 복수의 속성을 유저에 있어서 파악하기 쉬운 상태로 표시하는 것을 목적으로 한다.

상술한 과제를 해결하기 위해서 본 발명은 음 데이터의 2 이상의 속성을 나타내는 속성 데이터를 취득하는 취득부와, 상기 취득부가 취득한 속성 데이터가 나타내는 2 이상의 속성 값의 시간적인 변화를 표시부에서 표시하도록 제어하는 표시 제어부로서, 시간의 경과를 나타내는 제 1 축과 그것과 교차하는 제 2 축으로 이루어지는 좌표상에 있어서 상기 2 이상의 속성 중 제 1 속성 값을 상기 제 2 축을 따르는 좌표 위치에 의해 제시하고, 상기 제 2 축 방향으로 연장되는 길이에 의해 상기 2 이상의 속성 중 제 2 속성 값을 나타내는 제 1 도형을 표시하는 표시 제어부를 구비하는 것을 특징으로 한다. 본 발명에 의하면, 음 데이터에 포함되는 복수의 속성을 유저가 파악하기 쉬운 상태로 조합시켜 표시할 수 있다.

본 발명의 바람직한 실시형태에 있어서 상기 표시 제어부는 상기 좌표 위치에 대응시켜 상기 제 1 속성 값을 나타내는 제 2 도형을 표시하도록 제어해도 좋다.

또한, 본 발명의 더욱 바람직한 실시형태에 있어서 상기 표시 제어부는 상기 제 1 속성 값의 상기 좌표 위치가 상기 제 2 축 방향에 있어서의 상기 제 1 도형의 중심, 상단 또는 하단이 되도록 상기 제 1 도형을 표시하도록 제어해도 좋다.

또한, 본 발명의 더욱 바람직한 실시형태에 있어서 상기 제 1 속성의 모범값을 나타내는 모범 속성 데이터를 취득하는 취득부를 더 구비하고, 상기 표시 제어부는 상기 모범 속성 데이터가 나타내는 모범값을 나타내는 도형을 상기 좌표 상에 표시하도록 제어해도 좋다.

본 발명은 장치의 발명으로서 구성하여 실시하는 것이 가능할 뿐만 아니라 방법의 발명으로서 구성하여 실시할 수도 있고, 또한 컴퓨터 또는 DSP 등의 프로세서의 프로그램의 형태로 실시할 수 있고, 그와 같은 프로그램을 기억한 기억 매체의 형태로 실시할 수도 있다. 또한, 프로세서로서는 임의의 소프트웨어 프로그램을 실행하는 컴퓨터와 같은 범용 프로세서를 사용할 수 있는 것은 물론이며, 전용 로직을 하드웨어로 구성한 전용 프로세서를 이용해도 좋다.

도 1은 본 발명의 실시형태에 있어서의 시스템의 구성도이다.
도 2는 가라오케 장치의 하드웨어 구성을 도시하는 블록도이다.
도 3은 가라오케 장치의 기능적 구성의 일례를 도시하는 블록도이다.
도 4는 채점부의 기능적 구성의 일례를 도시하는 블록도이다.
도 5는 표시부에 표시되는 화면의 일례를 도시하는 도면이다.
도 6은 제어부가 행하는 처리의 흐름을 도시하는 플로우챠트이다.
도 7은 표시부에 표시되는 화면의 일례를 도시하는 도면이다.
도 8은 표시부에 표시되는 화면의 일례를 도시하는 도면이다.
도 9는 표시부에 표시되는 화면의 일례를 도시하는 도면이다.

이하, 첨부된 도면을 참조해서 이 발명의 실시형태를 상세하게 설명한다.

<실시예의 전체적 구성>

도 1은 본 발명의 실시형태에 있어서의 시스템의 구성을 도시하는 도면이다. 이 시스템은 가라오케 장치(100)와, 서버 장치(200)와, 네트워크(NW)를 갖는다. 가라오케 장치(100)는 유저로부터의 요구에 따라 가라오케 악곡을 재생함과 아울러 재생되는 가라오케 악곡에 대한 유저에 의한 가창을 평가하는 장치이다. 가라오케 장치(100)는 본 발명에 의한 표시 제어 장치의 일례이다. 네트워크(NW)는 LAN(Local Area Network)이나 인터넷이며, 가라오케 장치(100)와 서버 장치(200) 사이에 있어서의 데이터 통신이 행해지는 통신망이다. 서버 장치(200)는 그 내부 또는 외부에 구비된 HDD(Hard Disk Drive) 등의 기억 수단에 가라오케 악곡에 관한 콘텐츠 데이터 등의 각종 데이터를 기억하고 있고 가라오케 장치(100)로부터의 요구에 따라 네트워크(NW)를 경유함으로써 이 콘텐츠 데이터를 가라오케 장치(100)로 공급하는 장치이다. 여기에서 콘텐츠는 가라오케 악곡에 관한 음성과 영상의 조합을 가리킨다. 즉, 콘텐츠 데이터는 주선율의 가성이 존재하지 않고 반주나 코러스로 구성된 소위 반주 데이터와, 이 악곡의 가사나 가사의 배경에 표시하는 영상으로 이루어지는 영상 데이터로 성립되어 있다. 또한, 서버 장치(200)에 대해 가라오케 장치(100)는 복수 존재해도 좋다. 또한, 가라오케 장치(100)에 대해 서버 장치(200)가 복수 존재해도 좋다.

도 2는 가라오케 장치(100)의 하드웨어 구성을 도시한 블록도이다. 가라오케 장치(100)는 제어부(10), 기억부(20), 조작부(30), 표시부(40), 통신 제어부(50), 음성 처리부(60), 마이크로폰(61), 및 스피커(62)를 갖고, 이것들 각부가 버스(70)를 통해 접속되어 있다. 제어부(10)는 CPU(Central Processing Unit), RAM(Random Access Memory), 및 ROM(Read Only Memory) 등을 갖고 있다. 제어부(10)에 있어서 CPU가 ROM이나 기억부(20)에 기억되어 있는 컴퓨터 프로그램을 판독하여 RAM에 로딩(loading)해서 실행함으로써 가라오케 장치(100)의 각부를 제어한다.

조작부(30)는 각종 조작자를 구비하여 유저에 의한 조작 내용을 나타내는 조작 신호를 제어부(10)로 출력한다. 표시부(40)는 예를 들면 액정 패널을 구비하고 제어부(10)에 의한 제어 하에서 각 가라오케 악곡에 따른 가사 텔롭이나 배경 영상 등의 각종 화상을 표시한다. 통신 제어부(50)는 가라오케 장치(100)와 네트워크(NW)를 유선 또는 무선으로 접속하여 네트워크(NW)를 통한 가라오케 장치(100)와 서버 장치(200) 사이의 데이터 통신을 제어한다.

서버 장치(200)는 도시하지 않은 CPU나 각종 메모리를 구비한 컴퓨터이며, 특히 네트워크 스토리지(210)를 구비하고 있다. 네트워크 스토리지(210)는 예를 들면 HDD이며, 가라오케 악곡의 콘텐츠 데이터 등의 각종 데이터를 기억한다. 도 2에 있어서 서버 장치(200)는 하나의 네트워크 스토리지(210)를 구비하고 있지만, 네트워크 스토리지의 수는 이것에 한정되지 않고 복수의 네트워크 스토리지를 서버 장치(200)가 구비해도 좋다. 유저에 의해 예약된 가라오케 악곡의 콘텐츠 데이터가 네트워크 스토리지(210)에 기억되어 있을 경우 가라오케 장치(100)는 통신 제어부(50)에 의한 제어에 따라 서버 장치(200)와 통신을 행하고 네트워크 스토리지(210)로부터 판독된 콘텐츠 데이터를 네트워크(NW)를 경유하여 다운로드하면서 다운로드가 완료된 부분으로부터 순차 재생하는 스트리밍 재생을 행한다.

마이크로폰(61)은 픽업(pick up)한 음성을 표시하는 아날로그 음성 신호를 음성 처리부(60)로 출력한다. 음성 처리부(60)는 A/D(Analog/Digital) 컨버터를 갖고, 마이크로폰(61)이 출력한 아날로그 음성 신호를 디지털의 음 데이터로 변환해서 제어부(10)로 출력하고, 제어부(10)는 이것을 취득한다. 또한, 음성 처리부(60)는 D/A(Digital/Analog) 컨버터를 갖고 제어부(10)로부터 취득한 디지털의 음 데이터를 아날로그 음성 신호로 변환해서 스피커(62)로 출력한다. 스피커(62)는 음성 처리부(60)로부터 취득한 아날로그 음성 신호에 의거하여 음을 출력한다. 또한, 이 실시형태에서는 마이크로폰(61)과 스피커(62)가 가라오케 장치(100)에 포함되어 있을 경우에 대해 설명하지만 음성 처리부(60)에 입력 단자 및 출력 단자를 설치하여 오디오 케이블을 통해 그 입력 단자에 외부 마이크로폰을 접속하는 구성으로 해도 좋고, 마찬가지로 오디오 케이블을 통해 그 출력 단자에 외부 스피커를 접속하도록 해도 좋다. 또한, 이 실시형태에서는 마이크로폰(61)으로부터 스피커(62)로 출력되는 오디오 신호가 아날로그 오디오 신호일 경우에 대해 설명하지만 디지털 오디오 데이터를 입출력하도록 해도 좋다. 이와 같은 경우에는 음성 처리부(60)에 의해 A/D변환이나 D/A변환을 행할 필요는 없다. 조작부(30)나 표시부(40)에 대해서도 마찬가지이며 외부 출력 단자를 설치하여 외부 모니터를 접속하는 구성으로 해도 좋다.

기억부(20)는 각종 데이터를 기억하기 위한 기억 수단이며, 예를 들면 HDD나 불휘발성 메모리이다. 기억부(20)는 반주 데이터 기억 영역(21), 영상 데이터 기억 영역(22), GM(Guide Melody) 데이터 기억 영역(23), 및 유저 가창음 데이터 기억 영역(25)이라는 복수의 기억 영역을 구비하고 있다.

반주 데이터 기억 영역(21)에는 각악곡에 있어서의 반주의 음성을 나타내는 반주 데이터에 관한 정보가 기억되어 있다. 반주 데이터는 악곡을 일의적으로 식별하는 곡번호나 악곡의 명칭을 나타내는 곡명 등의 악곡에 관한 정보가 부여되어 있다. 반주 데이터의 데이터 파일은 예를 들면 MIDI(Musical Instrument Digital Interface) 형식의 파일이다. 영상 데이터 기억 영역(22)에는 각악곡의 가사를 나타내는 가사 데이터 및 가사의 배경에 표시되는 배경 영상을 나타내는 배경 영상 데이터가 기억되어 있다. 가사 데이터에 의해 나타내어지는 가사는 가라오케 가창 시에 악곡의 진행에 따라 가사 텔롭으로서 표시부(40)에 표시된다. 또한, 배경 영상 데이터에 의해 나타내어지는 배경 영상은 가라오케 가창 시에 악곡의 진행에 따라 가사 텔롭의 배경으로서 표시부(40)에 표시된다. GM 데이터 기억 영역(23)에는 악곡의 보컬 파트의 멜로디를 나타내는 데이터, 즉 가창해야 할 구성음의 내용을 지정하는 데이터인 가이드 멜로디 데이터(이하, 「GM 데이터」라 함)가 기억되어 있다. GM 데이터는 모범이 되는 음의 피치를 나타내는 데이터이다. GM 데이터는 제어부(10)가 악곡에 있어서 제어부(10)가 유저에 의한 가창의 교졸의 평가 처리를 행할 시에 비교의 기준으로서 이용되는 것이다. 또한, 제어부(10)가 행하는 평가 처리에 대해서는 후술하기 때문에 여기에서는 그 상세한 설명은 생략한다. GM 데이터는 예를 들면, MIDI 형식에 의해 기술되어 있다.

유저 가창음 데이터 기억 영역(25)에는 가라오케의 대상이 된 각악곡에 대해서 그 반주 데이터가 재생되고 있는 기간 중 마이크로폰(61)에 의해 픽업된 유저의 가창 음성이 음성 처리부(60)에서 디지털 데이터로 변환됨으로써 생성된 음 데이터가 기억된다. 이 음 데이터를 유저 가창음 데이터라 한다. 이 유저 가창음 데이터는 예를 들면 WAVE(RlFF waveform Audio Format) 형식의 데이터 파일로서 기억된다. 각악곡에 있어서의 유저 가창음 데이터는 제어부(10)에 의해 그 악곡의 GM 데이터에 대응 첨부된다.

도 3은 가라오케 장치(100)의 기능적 구성의 일례를 도시하는 블록도이다. 도 3에 있어서 재생부(11) 및 채점부(12)는 제어부(10)의 CPU가 ROM이나 기억부(20)에 기억되어 있는 컴퓨터 프로그램을 판독하여 RAM에 로딩해서 실행함으로써 실현된다. 재생부(11)는 가라오케 악곡의 재생을 행한다. 구체적으로는 재생부(11)는 반주 데이터 및 GM 데이터에 의거한 음성을 스피커(62)로부터 출력시킴과 아울러 영상 데이터에 의거한 영상을 표시부(40)에 표시시킨다.

채점부(12)는 가창자의 가창 음성을 나타내는 음 데이터(이하 「유저 가창 음 데이터」라 함)을 채점한다. 채점부(12)는 가창 음성의 피치와 GM 데이터의 피치의 차분에 따라 가창을 평가한다.

도 4는 채점부(12)의 기능적 구성의 일례를 도시하는 블록도이다. 도 4에 있어서 해석부(속성 데이터 취득부, 121)는 유저 가창음 데이터를 2 이상의 음성의 속성에 대해 해석하고 해석한 속성을 나타내는 속성 데이터를 출력한다. 이 실시형태에서는 음성의 속성으로서 피치(제 1 속성)와 음량(제 2 속성)을 사용한다. 해석부(속성 데이터 취득부)(121)는 피치 취득부(121a)와 음량 취득부(121b)를 갖는다. 피치 취득부(121a)는 유저 가창음 데이터 기억 영역(25)에 기억된 유저 가창음 데이터를 해석하고 가창 음성의 피치를 검출한다. 피치 취득부(121a)는 검출한 피치를 나타내는 데이터(이하 「피치 데이터」라 함)을 출력한다. 음량 취득부(121b)는 유저 가창음 데이터 기억 영역(25)에 기억된 유저 가창 음 데이터의 음량을 검출한다. 음량 취득부(121b)는 검출한 음량을 나타내는 데이터(이하 「음량 데이터」라 함)를 출력한다.

비교부(122)는 피치 취득부(121a)에 의해 취득된 유저 가창 음 데이터의 피치와 GM 데이터의 피치를 비교하여 양자의 차분에 따라 유저 가창음 데이터의 채점 처리를 행한다. 보다 구체적으로는 예를 들면 비교부(122)는 유저 가창음 데이터가 나타내는 음성의 피치 변화와, GM 데이터가 나타내는 가이드 멜로디의 피치 변화를 비교하여 이것들의 일치 정도를 나타내는 평가값을 산출한다. 평가값은 어떤 노트에 있어서 양자의 피치 차가 미리 정해진 허용 범위 내에 들어가면 100%(즉, 감점 없음)으로 하고, 양자의 피치 차가 상기 범위 내에 들어가지 않는 부분의 기간이 GM 데이터에 있어서 이 노트에 있어서의 음장(音長)의 반에 걸쳐 있으면 50%라는 상태라도 좋다. 즉, 어떤 노트에 있어서 양자의 피치 차가 상기 범위 내에 들어가는 기간을 GM 데이터에 있어서 이 노트에 있어서의 음장으로 나눈 값을 평가값으로 한다. 제어부(10)는 산출한 평가값에 의거해서 감점하는 포인트를 결정한다. 예를 들면, 어떤 노트에 「2점」의 포인트가 할당되어 있을 때에 평가값이 50%로 산출되었을 경우 제어부(10)는 「1점」을 감점의 포인트로서 결정한다. 또한, 비교부(122)는 음량 취득부(121b)에 의해 취득된 유저 가창음 데이터의 음량을 가미한 채점을 행하도 좋다.

표시 제어부(123)는 비교부(122)에 의한 채점 결과를 표시부(40)에 표시한다. 또한, 표시 제어부(123)는 해석부(121)로부터 출력되는 속성 데이터를 취득하는 취득부로서 기능함과 아울러 취득한 속성 데이터에 의해 나타내어지는 2 이상의 음성의 속성 값의 시간적인 변화를 표시부(40)에 표시하는 표시 제어부로서 기능한다. 이하, 표시 제어부(123)가 행하는 표시 제어 처리에 대해 도면을 참조하면서 설명한다.

도 5는 표시 제어부(123)에 의한 제어에 따라 표시부(40)에 표시되는 화면의 일례를 도시하는 도면이다. 도 5에 도시하는 화면은 횡축에 시각이 도시되고, 종축에 피치가 도시되어 있고, 시간의 경과를 도시하는 제 1 축(횡축)과 그것과 교차하는 제 2 축(종축)으로 이루어진 2축 좌표상에 있어서 속성 데이터를 위한 표시를 행하도록 구성되어 있다. 도면에 있어서, 실선(300)은 유저 가창음 데이터의 피치의 시간적 변화를 나타내고 있고, 이하, 피치 곡선(300)이라 한다. 즉, 표시 제어부(123)는 피치 취득부(121a)에 의해 취득된 피치(제 1 속성)의 값을 상기 제 2 축(피치축)을 따르는 좌표 위치에 의해 제시한다. 이와 같이 제시된 피치(제 1 속성) 값의 시간적 변동이 피치 곡선(300)이다. 이 피치 곡선(300)은 다음에 설명하는 바와 같이 각시점에서의 음량(제 2 속성)의 값을 표시부(40) 상에서 표시하기 위한 기준이 된다. 이 실시예에서는 표시 화면에 있어서 종축(제 2 축)은 피치축과 음량축을 겸하고 있다. 즉, 피치(제 1 속성)의 값은 종축(제 2 축)을 따르는 절대값으로 표현되고, 음량(제 2 속성)의 값은 종축(제 2 축)을 따르는 상대값(피치에 대응하는 좌표 위치를 기준으로 한 상대값)으로 표현된다.

표시 제어부(123)는 피치 곡선(300)의 각시점에서의 각좌표 위치부터 종축(제 2 축)방향으로 연장되는 길이에 의해 그것에 대응하는 각시점에서의 음량(제 2 속성)의 값을 나타내는 음량 도형(500)(제 1 도형)을 표시한다. 이 경우, 표시 제어부(123)는 종축 방향에 있어서의 피치 곡선(300)의 절대 좌표 위치가 음량 도형(500) 중심 좌표 위치가 되도록 음량 도형(500)을 피치 곡선(300)에 대한 상대값으로 표시한다. 일례로서 음량 도형(500)(제 1 도형)은 진폭 중심으로부터 양음으로 진동하는 음량 진폭 파형의 양음 엔벨로프를 모의하도록 표시된다. 즉, 음량 도형(500)의 종축 방향의 폭의 크기는 피치 곡선(300)을 중심로 하여 상하 대칭인 형상으로 이루어져 있어 음량 도형(500)의 종축 방향의 진폭이 클수록 음량이 크다는 것이 나타내어져 있다. 또한, 도 5의 예에 있어서는 피치 곡선(300)은 단지 기준으로서 제시될 뿐 아니라 피치(제 1 속성)의 값을 가시적으로 나타내기 위해 가시적인 곡선 도형(제 2 도형)으로서도 표시 화면 상에 표시되도록 되어 있다.

또한, 도 5에 있어서 띠형 도형(400)은 GM 데이터(모범 속성 데이터)의 피치를 나타내고 있고, 이하, GM 도형(400)이라 한다. GM 데이터(모범 속성 데이터)는 피치(제 1 속성)의 모범값을 나타내고 있다. 표시 제어부(123)는 이 GM 데이터(모범 속성 데이터)를 취득하는 취득부로서의 기능도 갖는다. 표시 제어부(123)는 취득한 GM 데이터가 나타내는 피치를 도시하는 GM 도형(400)을 종축 및 횡축을 따르는 위치(좌표)에 표시한다. 또한, 표시 제어부(123)는 도 5에 예시하는 화면에 있어서 가사를 나타내는 문자 화상(600)(이하 「가사 화상(600)」이라 함)을 관련 정보로서 대응하는 GM 도형(400)의 근방에 표시한다. 또한, 표시 제어부(123)는 가사 화상(600)을 GM 도형(400)에 겹쳐서 표시하도록 해도 좋다.

<동작>

도 6은 제어부(10)가 행하는 처리의 흐름을 도시하는 플로우챠트이다. 조작부(30)를 통해 유저에 의해 악곡이 예약되면(스텝 S100, Yes), 제어부(10)는 기억부(20)로부터 예약된 악곡의 검색을 행한다(스텝 S102). 구체적으로는 스텝 S102에 있어서 제어부(10)는 반주 데이터 기억 영역(21), 영상 데이터 기억 영역(22), 및 GM 데이터 기억 영역(23)의 각각으로부터 선택된 악곡의 곡번호 또는 곡명을 키로 해서 그 악곡에 관한 데이터를 검색하고 검색 결과의 데이터를 RAM으로 판독한다.

이어서, 제어부(10)는 RAM에 기억된 반주 데이터, 영상 데이터, 및 GM 데이터에 의거하여 가라오케 악곡의 재생을 행한다(스텝 S104). 구체적으로는 스텝 S104에 있어서 제어부(10)는 반주 데이터 및 GM 데이터에 의거한 음성을 스피커(62)로부터 출력시킴과 아울러 영상 데이터에 의거한 영상을 표시부(40)에 표시시킨다. 그리고 제어부(10)는 마이크(61)에 의해 픽업된 유저의 가창 음성이 음성 처리부(60)에 의해 디지털의 데이터로 변환된 것인 유저 가창음 데이터를 유저 가창음 데이터 기억 영역(25)에 기억시킨다(스텝 S106). 가라오케 악곡의 재생이 종료되면 제어부(10)는 유저 가창음 데이터 기억 영역(25)에 기억된 유저 가창음 데이터와 GM 데이터 및 랩 채점용 데이터에 의거하여 가창의 채점을 행한다(스텝 S108). 그리고 제어부(10)는 채점 결과를 표시부(40)에 표시시킨다(스텝 S 110).

스텝 S110에 있어서 제어부(10)는 채점 결과를 나타내는 문자나 화상을 표시부(40)에 표시시킴과 아울러 도 5에 예시하는 바와 같은 가창 음성의 해석 결과를 표시부(40)에 표시시킨다. 도 5에 예시하는 화면에 있어서는 음성의 해석 결과인 복수의 속성(피치, 음량)이 공통의 시간축을 사용해서 동시에 표시되고, 이 때 피치 곡선(300)에 겹쳐서 표시되는 음량 도형(500)의 표시폭에 의해 음량이 표시되기 때문에 유저는 피치 곡선(300)을 눈으로 따라감으로써 음량과 피치의 양쪽을 직감적으로 파악하기 쉽다.

<변형예>

이상의 실시형태는 다음과 같이 변형 가능하다. 또한, 이하의 변형예는 적절히 조합시켜 실시해도 좋다.

<변형예 1>

상술한 실시형태에서는 제어부(10)가 해석하는 음성의 속성으로서 음량과 피치를 사용했지만 제어부(10)가 해석하는 음성의 속성은 음량이나 피치에 한정되지 않고 다른 속성이라도 좋다. 예를 들면, 음성의 속성으로서 음성의 명료도나 발음 타이밍을 사용해도 좋고, 요컨대, 음성의 속성은 음성의 특징이나 성질을 나타내는 것이라면 어떠한 것이라도 좋다. 예를 들면, 음성의 명료도를 속성으로서 사용할 경우에는 제어부(10)는 FFT(Fast Fourier Transform)를 사용하여 음성으로부터 스펙트럼을 검출하고, 검출한 스펙트럼에 있어서 레벨의 변화가 포먼트(formant)로 되어 나타내어지는 위치의 레벨(포먼트 레벨)과 트로프(trough)로 되어 나타내어지는 위치의 레벨(트로프 레벨)의 비율에 따라서 명료도를 산출해도 좋다. 보다 구체적으로는 예를 들면 제어부(10)는 트로프 레벨에 대한 포먼트 레벨의 비율이 클수록 명료도가 높아지도록 명료도의 산출 처리를 행해도 좋다. 또한, 발음 타이밍을 속성으로서 사용할 경우에는 예를 들면, 유저 가창음 데이터로부터 가사의 음소(note) 마다의 발음 타이밍을 검출하고, 검출한 발음 타이밍과 모범이 되는 발음 타이밍(GM 데이터에 의해 나타내어지는 발음 타이밍)의 편차량이 클수록 종축 방향의 폭이 큰 도형을 표시하도록 해도 좋다.

<변형예 2>

상술한 실시형태에서는 제어부(10)는 도 5에 예시한 바와 같이 피치 곡선(300)과 GM 도형(400)과 음량 도형(500)을 겹쳐서 표시부(40)에 표시했지만, 이것에 한정되지 않고 예를 들면 도 7에 도시한 바와 같이 피치 곡선(300)과 음량 도형(500)을 겹쳐서 표시하고, GM 도형(400)을 표시하지 않도록 해도 좋다. 또한, 이것에 한정되지 않고, 예를 들면 제어부(10)는 피치 곡선(300)과 GM 도형(400)을 표시하지 않고 음량 도형(500) 만을 표시하는 구성로 해도 좋다. 또한 상술한 실시형태에서는 제어부(10)는 도 5에 예시한 바와 같이 피치 곡선(300), GM 도형(400), 음량 도형(500)에 부가하여 가사를 나타내는 가사 화상(600)을 표시했지만 가사를 나타내는 화상을 표시하지 않는 구성로 해도 좋다.

<변형예 3>

상술한 실시형태에서는 제어부(10)에 있어서의(속성 데이터 취득부)의 구성로서 해석부(121)를 사용하여 유저 가창음 데이터를 해석하고 음성의 속성을 나타내는 속성 데이터를 생성함으로써 상기 속성 데이터를 취득하고 있다. 그러나, 이것에 한정되지 않고 제어부(10)에 있어서의 속성 데이터 취득부의 구성은 제어부(10) 자체에서 속성 데이터를 생성(음해석)하지 않고 다른 장치(예를 들면, 통신 네트워크로 접속된 서버 장치 등)로부터 속성 데이터를 단지 취득(또는 수신)하는 구성으로 되어 있어도 좋다.

<변형예 4>

상술한 실시형태에서는 제어부(10)는 도 5에 예시한 바와 같이 피치 곡선(300)을 중심으로 하여 피치 곡선(300)의 상하에 그 폭이 상하 대칭인 음량 도형(500)을 표시하였다. 음량 도형(500)의 표시 형태는 이것에 한정되지 않고 예를 들면, 도 8에 예시한 바와 같이 제어부(10)가 피치 곡선(30)의 상측에만 음량 도형(500)을 표시하도록 해도 좋다. 도 8에 도시하는 예에 있어서도 상술한 실시형태와 마찬가지로 음량 도형(500)의 종방향의 폭에 의해 음량의 대소가 나타내어지고 폭이 클수록 음량이 큰 것이 나타내어진다. 즉, 제어부(10)는 표시의 기준이 되는 속성(이하,「기준 속성」이라 함) 이외의 속성을 나타내는 도형을 하나의 축 방향에 있어서의 기준 속성의 좌표 위치가 상기 축 방향에 있어서의 상기 도형의 중심, 상단 또는 하단이 되도록 표시해도 좋다. 또한, 이것에 한정되지 않고 예를 들면 피치 곡선(300)과 음량 도형(500)의 종축 방향에 있어서의 표시 위치가 미리 정해진 거리만큼 오프셋되도록 피치 곡선(300)과 음량 도형(500)의 거리를 일정하게 유지해서 표시해도 좋다. 요컨대, 제어부(10)는 제 1 속성 값을 시간의 경과를 나타내는 제 1 축과 교차하는 제 2 축을 따르는 좌표 위치에 의해 표시하고, 이 좌표 위치(상술한 실시형태에서는 피치 곡선(300)의 좌표 위치)로부터 제 2 축 방향으로 연장되는 길이에 의해 제 2 속성 값을 나타내는 도형을 표시하는 것이라면 어떠한 것라도 좋다.

또한, 상술한 실시형태에서는 음량과 피치의 2종류의 속성을 표시할 경우에 대해 설명했지만 표시하는 속성의 수는 2에 한정되지 않고 이것보다 많아도 좋다. 예를 들면, 도 9에 도시하는 바와 같이 제어부(10)가 음량, 피치, 명료도의 3종류의 속성을 공통의 시간축을 사용해서 표시하도록 해도 좋다. 도 9에 예시하는 화상에 있어서 피치 곡선(300)은 상술한 실시형태와 마찬가지이다. 한편, 음량 도형(500)은 피치 곡선(300)의 종축 방향의 상부에 표시되고, 그 종방향의 폭에 의해 음량의 크기가 표시된다. 또한, 명료도 도형(700)은 제 3 속성 값을 나타내는 제 3 도형으로서 음성의 명료도를 나타내는 도형이며, 그 종방향의 폭에 의해 명료도가 나타내진다. 명료도 도형(700)의 종방향의 폭이 클수록 명료도가 높은 것을 나타낸다. 명료도 도형(700)은 피치 곡선(300)을 기준으로 하여 피치 곡선(300)의 하측에 표시된다. 또한, 속성이 3이상의 경우는 제어부(10)는 예를 들면, 피치 곡선(300)의 상하에 각속성을 나타내는 도형을 표시하고, 또한 피치 곡선(300)과의 거리가 미리 정해진 거리가 되는 위치에 다른 속성을 표시하는 도형을 표시하도록 해도 좋다.

또한, 상술한 실시형태에서는 피치 곡선(300)을 기준 위치로 하여 음량 도형(500)을 표시하도록 했지만 기준으로 하는 속성은 피치에 한정되지 않고 음성의 다른 속성이라도 좋다. 예를 들면, 횡축에 시간축, 종축에 음량을 나타내는 음량 곡선을 표시하고, 이 음량 곡선을 기준 위치로 하여 종축의 방향의 표시폭에 의해 피치의 높이가 나타내어지는 피치 도형을 음량 곡선에 겹쳐서 표시해도 좋다. 요컨대, 제어부(10)가 제 1 속성이 종축으로 도시되고 시간의 경과가 횡축으로 도시되는 좌표에 기준이 되는 도형을 표시함과 아울러 이 좌표에 따른 위치에 종축 방향의 길이에 의해 제 2 속성 값이 도시되는 도형을 표시하면 좋다.

또한, 상술한 실시형태에서는 종축 방향의 길이에 의해 음량(제 2 속성)의 값을 표시하는 음량 도형을 이용했지만 이것에 대신하여 색[색채나 색의 농담(濃淡) 등]에 의해 음량(제 2 속성)의 값을 나타내는 도형을 사용해도 좋다. 이 경우는 예를 들면 제어부(10)가 음량이 클수록 음량 도형(500)의 색이 짙어지는 한편, 음량이 작을수록 음량 도형(500)의 색이 옅어지도록 표시해도 좋다. 또한, 예를 들면 제어부(10)는 음량이 클수록 음량 도형(500)의 색채를 붉게 하고(즉, 붉은 요소의 명도를 높게 하여 다른 요소의 명도를 낮게 함), 음량이 작을수록 푸르게 해도(즉, 파랑 요소의 명도를 높게 하여 다른 요소의 명도를 낮게 함) 좋다. 이 경우도 상술한 실시형태와 마찬가지로 제어부(10)는 피치 곡선(300)의 좌표에 따른 위치에 음량 도형을 표시한다. 또한, 이 경우 각각의 음량 도형(500)의 형상이나 크기는 각각이 공통이라도 좋고 공통이지 않아도 좋다. 즉, 종축 방향의 길이에 의해 음량(제 2 속성)의 값을 나타내는 음량 도형과 조합시켜 색(색채나 색의 농담 등)에 의해서도 음량(제 2 속성)의 값을 나타내도록 해도 좋다.

또한, 상술한 실시형태에서는 제어부(10)는 횡축을 시간축으로 하고 종축을 피치로 하여 피치 곡선(300)이나 음량 도형(500)을 표시했지만 축을 취하는 방법은 이것에 한정되지 않고 다른 실시형태라도 좋다. 요컨대, 제어부(10)가 하나의 축 방향의 표시 위치에 의해 기준 속성 값이 나타내어짐과 아울러 시간축에 의해 시간의 경과가 나타내어지는 도형을 표시하는 것이라면 어떠한 것이라도 좋다.

<변형예 5>

상술한 실시형태에서는 제어부(10)가 가창 음 데이터를 유저 가창음 데이터 기억 영역(25)에 기억하여 가창이 종료한 후에 해석 결과의 표시 처리를 행하도록 했지만, 이것에 한정되지 않고 가창 중에 리얼 타임으로 해석 결과의 표시 처리를 행하도록 해도 좋다.

또한, 상술한 실시형태에서는 제어부(10)가 가라오케 악곡의 재생을 행함과 아울러 유저의 가창 음성을 녹음하여 가라오케 악곡의 재생이 종료하면 유저 가창음 데이터의 해석을 행해 해석 결과를 표시했지만, 이것에 한정되지 않고 제어부(10)가 미리 녹음된 유저 가창음 데이터(즉, 미리 기억부(20)에 기억된 음 데이터)에 대해 해석 처리를 실시하여 해석 결과의 표시 처리를 행하도록 해도 좋다.

또한, 상술한 실시형태에서는 제어부(10)는 가창 음성의 피치와 GM 데이터의 피치를 비교하여 비교 결과에 따라 평가 처리를 행했지만 평가 처리의 실시형태는 이것에 한정되지 않고 다른 실시형태라도 좋다. 예를 들면, 제어부(10)가 FFT 등을 사용한 주파수 분석, 음량 분석 등의 공지의 여러가지 방법을 사용하여 평가 항목에 대해 평가값, 즉 평가 결과를 산출하도록 해도 좋다.

또한, 상술한 실시형태에서는 제어부(10)는 가창자의 가창 음성을 해석했지만, 가창자의 가창 음성을 대신하여 연주자에 의한 악기의 연주음을 평가해도 좋다. 본 실시형태에서 언급한 「음성」에는 인간이 발생시키는 음성이나 악기의 연주 음과 같은 각종의 음향이 포함된다.

<변형예 6>

상술한 실시형태에 있어서 통신 네트워크로 접속된 2 이상의 장치가 상기 실시형태의 가라오케 장치(100)에 의한 기능을 분담하도록 하여 그것들 복수의 장치를 구비하는 시스템이 동 실시형태의 가라오케 장치(100)를 실현하도록 해도 좋다. 예를 들면, 마이크로폰이나 스피커, 표시 장치 및 조작부 등을 구비하는 컴퓨터 장치와, 음성의 해석 처리를 행하는 서버 장치가 통신 네트워크로 접속된 시스템으로서 구성되어 있어도 좋다. 이 경우는 예를 들면 컴퓨터 장치가 마이크로폰으로 픽업된 음성을 오디오 신호로 변환해서 서버 장치로 송신하고, 서버 장치가 수신한 오디오 신호를 해석하여 해석 결과를 컴퓨터 장치로 송신해도 좋다.

<변형예 7>

상술한 실시형태에서는 본 발명에 의한 표시 제어 장치를 가라오케 반주를 재생함과 아울러 가창 음성을 채점하는 가라오케 장치에 적용했을 경우에 대해서 설명했지만, 본 발명에 의한 표시 제어 장치가 적용되는 장치는 가라오케 장치에 한정되지 않고 음 데이터를 해석해서 해석 결과를 표시하는 장치라면 어떠한 장치라도 좋다. 예를 들면, 음성의 해석 결과를 표시하는 장치, 음성 합성이나 편집을 행하는 장치나 어학 학습을 지원하는 기능을 구비한 장치 등, 각종 장치에 적용 가능하다. 예를 들면, 음성 편집을 행하는 장치의 경우라도 상술한 실시형태와 마찬가지로 음성의 복수의 속성을 공통되는 시간축을 사용해서 동시에 표시함으로써 유저는 음성의 복수의 속성을 직감적으로 파악할 수 있어 음성의 합성이나 편집을 행하기 쉽다.

또한, 상술한 실시형태에서는 모범이 되는 음의 속성을 표시하는 모범 속성 데이터로서 GM 데이터를 사용했지만 모범이 되는 음의 속성을 나타내는 데이터는 GM 데이터에 한정되지 않고 다른 데이터라도 좋다. 예를 들면, 음성 편집을 행하는 장치의 경우는 유저에 의해 입력된 악보 정보(피치, 음량 등을 나타내는 정보)를 모범 속성 데이터로서 이용해도 좋다. 또한, 예를 들면 음 데이터를 해석해서 해석 결과를 표시하는 장치의 경우는 해석 결과를 12음계로 라운딩한 것을 모범 속성 데이터로서 이용해도 좋다. 이 경우도 상술한 실시형태와 마찬가지로 제어부(10)는 도 5에 예시한 바와 같은 해석 결과의 속성을 나타내는 도형과 모범 속성 데이터를 나타내는 도형을 표시한다. 요컨대, 모범 속성 데이터는 모범이 되는 음의 속성을 표시한 데이터라면 어떠한 것라도 좋다.

<변형예 8>

본 발명은 표시 제어 장치 이외에도 이것들을 실현하기 위한 방법이나 컴퓨터에 표시 제어 기능을 실현시키기 위한 프로그램으로 해도 파악된다. 이와 같은 프로그램은 이것을 기억시킨 광디스크 등의 기록 매체의 형태로 제공되거나, 인터넷 등을 통해 컴퓨터에 다운로드시켜 이것을 인스톨해서 이용하는 등의 형태로도 제공되거나 한다.

Claims

음 데이터의 2 이상의 속성을 나타내는 속성 데이터를 취득하는 취득부와,
상기 취득부에서 취득한 속성 데이터가 나타내는 2 이상의 속성 값의 시간적인 변화를 표시부에서 표시하도록 제어하는 표시 제어부로서, 시간의 경과를 나타내는 제 1 축과 그것과 교차하는 제 2 축으로 이루어지는 좌표상에 있어서 상기 2 이상의 속성 중 제 1 속성 값을 상기 제 2 축을 따르는 좌표 위치에 의해 제시하고, 상기 제 2 축 방향으로 연장되는 길이에 의해 상기 2 이상의 속성 중 제 2 속성 값을 나타내는 제 1 도형을 표시하는 표시 제어부를 구비하고,
상기 표시 제어부는 상기 제 1 속성 값의 상기 좌표 위치를 기준으로 하여, 상기 제 2 축 방향에 있어서의 상기 제 1 도형의 중심, 상단 또는 하단 중 어느 하나가 상기 기준과 일치하도록 상기 제 1 도형을 표시함으로써, 상기 제 1 도형의 형상이 시간적 변화에 따른 상기 제 1 속성 값에 따라서 변화되도록 제어하는 것을 특징으로 하는 표시 제어 장치.
제 1 항에 있어서,
상기 표시 제어부는 상기 좌표 위치에 대응시켜 상기 제 1 속성 값을 나타내는 제 2 도형을 표시하도록 제어하는 것을 특징으로 하는 표시 제어 장치.
삭제
제 1 항 또는 제 2 항에 있어서,
상기 제 1 속성의 모범값을 나타내는 모범 속성 데이터를 취득하는 취득부를 더 구비하고,
상기 표시 제어부는 상기 모범 속성 데이터가 나타내는 모범값을 나타내는 도형을 상기 좌표 상에 표시하도록 제어하는 것을 특징으로 하는 표시 제어 장치.
제 4 항에 있어서,
상기 표시 제어부는 또한 상기 모범 속성 데이터가 나타내는 모범값을 나타내는 상기 도형의 근방에 관련 정보를 표시하도록 제어하는 것을 특징으로 하는 표시 제어 장치.
제 2 항에 있어서,
상기 표시 제어부는 상기 제 1 속성 값을 나타내는 좌표 위치와 상기 제 2 도형의 표시 위치가 상기 제 2 축 방향으로 소정 거리 만큼 오프셋되도록 제어하는 것을 특징으로 하는 표시 제어 장치.
제 2 항에 있어서,
상기 표시 제어부는 상기 제 1 속성 값을 나타내는 좌표 위치가 상기 제 2 축 방향에 있어서의 상기 제 1 도형의 상측에, 상기 제 1 도형의 하측에 또는 상기 제 1 도형에 중첩하게 표시되도록 제어하는 것을 특징으로 하는 표시 제어 장치.
제 7 항에 있어서,
상기 표시 제어부는 상기 제 1 속성 값을 나타내는 좌표 위치와 상기 제 2 도형의 표시 위치가 상기 제 2 축 방향으로 소정 거리만큼 오프셋되도록 제어하는 것을 특징으로 하는 표시 제어 장치.
제 1 항 또는 제 2 항에 있어서,
상기 표시 제어부는 상기 제 1 속성 값을 나타내는 좌표 위치에 대응시켜 상기 2 이상의 속성 중 제 3 속성을 나타내는 제 3 도형을 표시하도록 제어하는 것을 특징으로 하는 표시 제어 장치.
제 9 항에 있어서,
상기 표시 제어부는 상기 제 1 속성 값을 나타내는 좌표 위치가 상기 제 2 축 방향에 있어서의 상기 제 3 도형의 상측 또는 하측에 표시되도록 제어하는 것을 특징으로 하는 표시 제어 장치.
제 10 항에 있어서,
상기 표시 제어부는 상기 제 1 속성 값을 나타내는 좌표 위치와 상기 제 3 도형의 표시 위치가 상기 제 2 축 방향으로 소정 거리만큼 오프셋되도록 제어되는 것을 특징으로 하는 표시 제어 장치.
제 1 항 또는 제 2 항에 있어서,
상기 표시 제어부는 상기 제 2 속성 값에 따라 상기 제 1 도형의 색을 변화시키도록 제어하는 것을 특징으로 하는 표시 제어 장치.
음 데이터의 2 이상의 속성을 나타내는 속성 데이터를 취득하는 스텝과,
취득한 상기 속성 데이터가 나타내는 2 이상의 속성 값의 시간적인 변화를 표시부에서 표시하도록 제어하는 스텝으로서, 시간의 경과를 나타내는 제 1 축과 그것과 교차하는 제 2 축으로 이루어진 좌표 상 있어서 상기 2 이상의 속성 중 제 1 속성 값을 상기 제 2 축을 따르는 좌표 위치에 의해 제시하고, 상기 제 2 축 방향으로 연장되는 길이에 의해 상기 2 이상의 속성 중 제 2 속성 값을 나타내는 제 1 도형을 표시하도록 제어하고, 또한, 상기 제 1 속성 값의 상기 좌표 위치를 기준으로 하여, 상기 제 2 축 방향에 있어서의 상기 제 1 도형의 중심, 상단 또는 하단 중 어느 하나가 상기 기준과 일치하도록 상기 제 1 도형을 표시함으로써, 상기 제 1 도형의 형상이 시간적 변화에 따른 상기 제 1 속성 값에 따라서 변화되도록 제어하는 스텝을 구비하는 것을 특징으로 하는 방법.
음 데이터에 포함되는 복수의 속성을 표시하기 위한 방법을 컴퓨터에 실행시키기 위한 명령군을 기억한 컴퓨터 판독 가능한 기록 매체로서, 상기 방법은,
음 데이터의 2 이상의 속성을 나타내는 속성 데이터를 취득하는 스텝과,
취득한 상기 속성 데이터가 나타내는 2 이상의 속성 값의 시간적인 변화를 표시부에서 표시하도록 제어하는 스텝으로서, 시간의 경과를 나타내는 제 1 축과 그것과 교차하는 제 2 축으로 이루어진 좌표 상에 있어서 상기 2 이상의 속성 중 제 1 속성 값을 상기 제 2 축을 따라 좌표 위치에 의해 제시하고, 상기 제 2 축 방향으로 연장되는 길이에 의해 상기 2 이상의 속성 중 제 2 속성 값을 표시하는 제 1 도형을 표시하도록 제어하고, 또한, 상기 제 1 속성 값의 상기 좌표 위치를 기준으로 하여, 상기 제 2 축 방향에 있어서의 상기 제 1 도형의 중심, 상단 또는 하단 중 어느 하나가 상기 기준과 일치하도록 상기 제 1 도형을 표시함으로써, 상기 제 1 도형의 형상이 시간적 변화에 따른 상기 제 1 속성 값에 따라서 변화되도록 제어하는 스텝을 구비하는 것을 특징으로 하는 기록 매체.