KR20070070166A

KR20070070166A - 발음 방법, 음원 회로, 그것을 이용한 전자 회로 및 전자기기

Info

Publication number: KR20070070166A
Application number: KR1020077007377A
Authority: KR
Inventors: 시게히데 야노; 요시히사 다나카
Original assignee: 로무 가부시키가이샤
Priority date: 2004-10-21
Filing date: 2005-09-14
Publication date: 2007-07-03
Also published as: JPWO2006043380A1; TW200614848A; EP1814357A1; WO2006043380A1; US20080123867A1; CN101019465A

Abstract

음장 내에 있어서의 가상 음원의 위치 조정과 같은 이펙트 처리와 발음의 동기 어긋남을 억제한다. 음원 회로(100)에 있어서, FIFO 메모리(20)는, 재현 음장 내의 가상 음원의 변화를 나타내는 정보 및 오디오 데이터를 기억한다. 제어부(30)는, FIFO 메모리(20)에 기억된 오디오 데이터에, 그 재현 음장 내의 가상 음원의 위치 조정을 행하는 3D 포지셔닝부(210)와 연계하여, 위치 조정된 오디오 데이터를 발음시킨다. 제어부(30)는, 상기 정보를 검출하면, 3D 포지셔닝부(210)에 통지한다. 그 때, 전용의 신호선을 통해, 그 정보에 대응한 인터럽트 신호를 3D 포지셔닝부(210)에 송출해도 된다.

Description

발음 방법, 음원 회로, 그것을 이용한 전자 회로 및 전자 기기{SOUND PRODUCING METHOD, SOUND SOURCE CIRCUIT, ELECTRONIC CIRCUIT USING SAME, AND ELECTRONIC DEVICE}

본 발명은, 이펙트 처리한 오디오 데이터를 발음하기 위한 발음 방법, 음원 회로, 그것을 이용한 전자 회로 및 전자 기기에 관한 것이다.

휴대전화기의 고기능화에 따라, 음질에의 요구도 높아지고 있다. 그래서, 휴대전화 등의 휴대단말에 스테레오 스피커가 탑재되도록 되어져 오고 있다. 단, 그러한 휴대단말의 좁은 하우징체에서는, 스테레오 스피커를 내장해도, 그 발음에 양질인 스테레오감을 얻는 것은 어렵다.

한편, 유저의 좌우의 귀를 이용하여 3차원 음장을 재생하는 오디오 신호 처리 기술로서, 특허 문헌 1은, 1대의 스피커 및 2개의 신호 채널만을 사용하는 음장의 합성 기술에 관해 개시하고 있다. 그 음장에서는, 구체의 중심에 위치하는 유저의 머리를 둘러싸는 구체 상의 어딘가에 음원이 나타나도록, 유저에게 지각시킬 수 있다.

이러한 음향 처리는, 예를 들면 유저의 머리에 근접한 공간 위치에서 발산하는 소리, 또는 시간과 함께 유저를 향해, 또는 멀어지도록 이동하는 소리, 또는 유 저의 귓전에 속삭이는 사람의 음성 등에 효과적이라고 하고 있다.

특허 문헌 1 : 일본국 특표 2001-511995호 공보

휴대전화 등의 휴대단말에는, 착신을 알리기 위한 멜로디 등을 발음하는 음원 LSI(Large Scale Integration) 등으로 구성된 음원 회로가 탑재되어 있는 것이 있다. 이러한 음원 회로의 발음 데이터가 MIDI(등록 상표) 데이터(Musical Instruments Digital Interface) 등인 경우, 그 데이터 내의 시간 관리 커맨드에 의해, 발음 타이밍이 설정된다. 따라서, 음원 회로 내의 메모리에 그 데이터가 기입된 후, 어느 정도의 시간에서 발음할지를, 음원 회로 상에서 실행되는 시퀀서 등의 소프트웨어는 인지하는 것이 어렵다. 이러한 음원 회로와, 상술한 바와 같은 음장 내에서 음원의 지각 위치를 조정하기 위한 엔진이 연계되는 경우, 당해 음원 회로에 의한 발음과 당해 엔진에 의한 위치 조정이 동기 어긋남을 일으켜, 예기치 못한 위치에 음상을 정위해 버릴 가능성이 있다.

본 발명은 이러한 상황을 감안하여 이루어진 것으로, 그 목적은, 음장 내에 있어서의 가상 음원의 위치 조정과 같은 이펙트 처리와 발음의 동기 어긋남을 억제하는 것이 가능한 발음 방법, 음원 회로, 그것을 이용한 전자 회로 및 전자 기기를 제공하는 것에 있다.

[과제를 해결하기 위한 수단]

상기 과제를 해결하기 위해, 본 발명의 한 양태의 발음 방법은, 오디오 데이터의 발음 타이밍을 해독하는 단계와, 발음 타이밍을 나타내는 정보를 오디오 데이터에 더하는 단계와, 상기 정보를 참조하여 취득한 발음 타이밍에 대응하여, 발음해야 할 오디오 데이터에 이펙트 처리하는 단계를 구비한다.

이 양태에 의하면, 발음 타이밍을 나타내는 정보를 참조하여 이펙트 처리함으로써, 이펙트 처리와 발음의 사이의 동기 어긋남을 억제할 수 있다.

본 발명의 다른 양태도 또한, 발음 방법이다. 이 방법은, 오디오 데이터에 의한 재현 음장 내의 가상 음원의 변화를 해독하는 단계와, 가상 음원의 변화를 나타내는 정보를 오디오 데이터에 더하는 단계와, 상기 정보를 참조하여 취득한 가상 음원의 변화에 대응하여, 발음해야 할 오디오 데이터의 재현 음장 내의 가상 음원의 위치 조정을 행하는 단계를 구비한다. 「가상 음원의 변화」에는, 가상 음원의 전환, 가상 음원의 이동에 의한 변화가 포함되어도 된다.

이 양태에 의하면, 가상 음원의 변화를 나타내는 정보를 참조하여, 재현 음장 내의 가상 음원의 위치 조정을 행함으로써, 이 위치 조정과 발음의 사이의 동기 어긋남을 억제할 수 있다.

본 발명의 또 다른 양태는, 음원 회로이다. 이 음원 회로는, 발음 타이밍을 나타내는 정보 및 오디오 데이터를 기억하는 기억부와, 기억부에 기억된 오디오 데이터에 이펙트 처리하는 이펙트 처리부와 연계하여, 처리된 오디오 데이터를 발음시키는 제어부를 구비한다. 제어부는, 상기 정보를 검출하면, 이펙트 처리부에 그 정보를 검출한 것을 통지한다.

이 양태에 의하면, 발음 타이밍을 나타내는 정보를 이펙트 처리부에 통지함으로써, 이펙트 처리와 발음의 사이의 동기 어긋남을 억제할 수 있다.

본 발명의 또 다른 양태도 또한, 음원 회로이다. 이 음원 회로는, 재현 음장 내의 가상 음원의 변화를 나타내는 정보 및 오디오 데이터를 기억하는 기억부와, 기억부에 기억된 오디오 데이터에, 그 재현 음장 내의 가상 음원의 위치 조정을 행하는 위치 조정부와 연계하여, 위치 조정된 오디오 데이터를 발음시키는 제어부를 구비한다. 제어부는, 상기 정보를 검출하면, 위치 조정부에 그 정보를 검출한 것을 통지한다.

이 양태에 의하면, 재현 음장 내의 가상 음원의 변화를 나타내는 정보를 위치 조정부에 통지함으로써, 위치 조정과 발음의 동기 어긋남을 억제할 수 있다.

제어부는, 전용의 신호선을 통해, 상기 정보에 대응한 인터럽트 신호를 위치 조정부에 송출해도 된다. 이 양태에 의하면, 제어부와 위치 조정부의 오디오 데이터의 입출력에 영향을 주지 않고, 위치 조정과 발음의 동기 어긋남을 억제할 수 있다.

제어부는, 재현 음장 내에 복수의 가상 음원이 설정된 경우, 각각의 가상 음원의 변화를 나타내는 정보의 적어도 하나 이상을 검출하면, 각각의 가상 음원에 대응한 전용의 신호선을 통해, 상기 정보에 대응한 인터럽트 신호를 위치 조정부에 송출해도 된다. 이 양태에 의하면, 음장 내에 복수의 가상 음원이 있고, 각각이 독립하여 변화하는 경우에도, 인터럽트 신호의 빈발에 의한 오동작을 억제할 수 있다.

제어부는, 위치 조정부에 송출하는 오디오 데이터 내의 빈 부분에 상기 정보를 매설해도 된다. 「오디오 데이터」가 복수 채널을 포함하는 경우, 그 빈 채널에 매설해도 된다. 이 양태에 의하면, 전용의 신호선을 설치하지 않아도, 위치 조정과 발음의 동기 어긋남을 억제할 수 있다.

본 발명의 또 다른 양태는, 전자 회로이다. 이 전자 회로는, 상술한 음원 회로와, 오디오 데이터에 이펙트 처리하는 이펙트 처리부를 구비한다. 이 양태에 의하면, 이펙트 처리와 발음의 사이의 동기 어긋남을 억제할 수 있는 전자 회로를 실현할 수 있다.

본 발명의 또 다른 양태는, 전자 회로이다. 이 전자 회로는, 상술한 음원 회로와, 오디오 데이터에, 그 재현 음장 내의 가상 음원의 위치 조정을 행하는 위치 조정부를 구비한다. 이 양태에 의하면, 재현 음장 내의 가상 음원의 위치 조정 처리와 발음의 사이의 동기 어긋남을 억제할 수 있는 전자 회로를 실현할 수 있다.

본 발명의 또 다른 양태는, 전자 기기이다. 이 전자 기기는, 스피커와, 스피커에 발음시키기 위한 상술한 양태의 전자 회로를 구비한다. 이 양태에 의하면, 이펙트 처리와 발음 사이의 동기 어긋남을 억제할 수 있는 전자 기기를 실현할 수 있다.

또한, 이상의 구성 요소의 임의의 조합, 본 발명의 표현을 장치, 방법, 시스템, 컴퓨터 프로그램, 그것이 기록된 기록 매체 등의 사이에서 변환한 것도 또한, 본 발명의 양태로서 유효하다.

[발명의 효과]

본 발명에 의하면, 이펙트 처리와 발음의 동기 어긋남을 억제할 수 있다.

도 1은 실시 형태 1에 따른 음원 회로의 개략 구성을 도시하는 도면이다.

도 2는 음원 회로에 따른 제어 타이밍을 도시하는 도면이다. (a)는 종래의 제어 타이밍을 나타내고, (b)는 실시 형태 1에 따른 제어 타이밍을 나타낸다.

도 3은 실시 형태 1에 따른 음원 LSI와 3D 포지셔닝부를 포함하는 전자 회로를 탑재한 전자 기기의 구성을 도시하는 도면이다.

도 4는 스테레오 확장 처리를 설명하기 위한 도면이다. (a)는 종래의 스테레오 확장 처리가 되어 있지 않은 발음을 나타내고, (b)는 실시 형태 1에 따른 스테레오 확장 처리가 이루어진 발음을 나타낸다.

도 5는 실시 형태 1에 따른 음원 회로와 3D 포지셔닝부의 처리 순서를 나타내는 흐름도이다.

도 6은 도 3에 도시한 각 신호의 파형 천이의 일례를 도시하는 도면이다.

도 7은 실시 형태 2에 따른 음원 회로의 개략 구성을 도시하는 도면이다.

도 8은 실시 형태 2에 따른 음원 LSI와 3D 포지셔닝부를 포함하는 전자 회로를 탑재한 전자 기기의 구성을 도시하는 도면이다.

도 9는 도 8에 도시한 각 신호의 파형 천이의 일례를 도시하는 도면이다.

도 10은 제어부에서 오디오 I/F를 통해, 3D 포지셔닝부에 전송되는 신호의 일례를 도시하는 타이밍 차트이다.

도 11은 실시 형태 3에 따른 각 신호의 파형 천이의 일례를 도시하는 도면이다.

<부호의 설명>

10…CPUI/F 20…FIFO 메모리

30…제어부 32…스테레오 확장부

34…음원 시퀀서 40…오디오 I/F

52, 54…DAC 62, 64…스피커

100…음원 회로 110…음원 LSI

200…어플리케이션 프로세서 210…3D 포지셔닝부

300…전자 회로 400…전자 기기

(실시 형태 1)

도 1은, 실시 형태 1에 따른 음원 회로(100)의 개략 구성을 도시하는 도면이다. 실시 형태 1은, 음원 LSI(110) 등으로 구성되는 음원 회로(100)의 발음 타이밍과, 3차원 음장에 있어서의 가상 음원의 지각 위치를 조정하는 엔진(이하, 3D 포지셔닝부라고 한다)에 의한 위치 조정 타이밍의 동기를 취하기 위한 기술을 제공한다. 3D 포지셔닝부(210)는, 예를 들면, 비행기의 소리라면 머리 위에서 들리도록, 자동차의 소리라면 지면 근처에서 들리도록, 각각의 오디오 데이터에 특수 효과를 실시하기 위한 이펙트 처리를 행한다.

우선, 실시 형태 1의 개략을 설명한다. 음원 회로(100)의 외부에 설치되는 어플리케이션 프로세서 등의 CPU는, CPU 인터페이스(이하, CPUI/F라고 표기한다)(10)를 통해, 오디오 데이터를 음원 회로(100) 내의 FIFO(First-In First-Out) 메모리(20)에 기입한다. 상기 오디오 데이터는, MIDI 포맷이나 ADPCM(Adaptive Differential Pulse Code Modulation) 포맷 등으로 기술할 수 있다. 도 1에서는, 일례로서 MIDI 데이터를 FIFO 메모리(20)에 기입하고 있다. MIDI 데이터는, 악곡의 정보를, 음색, 소리의 길이, 세기, 특수 효과 등의 조합으로서 기록하고 있다.

상기 CPU는, 상기 오디오 데이터 내의 시간 관리에 관한 커맨드를 해독하고, 그 오디오 데이터를 재생했을 때, 생성되는 음장에 있어서의 가상 음원의 3차원 공간 상의 지각 위치를 전환하기 위한 타이밍을 특정한다. 그리고, 그 전환 타이밍을 나타내기 위해, Callback 메시지라는 데이터를 당해 오디오 데이터 내의 지각 위치의 전환 부분 등의 소정의 위치에 삽입하고, FIFO 메모리(20)에 기입한다.

FIFO 메모리(20)는, 먼저 입력된 데이터를 그 입력순에 따라, 먼저 출력하는 메모리이다. 음원 시퀀서(34)는, MIDI 데이터의 가공, 재생 등을 행하는 소프트웨어이고, 상기 CPU에 의해 실행되어도 된다. 음원 시퀀서(34)는, FIFO 메모리(20)의 MIDI 데이터를 재생하여, 도시하지 않은 스피커 등에서 발음시키고 있다. 또, 음원 시퀀서(34)는, FIFO 메모리(20) 내의 데이터를 처리할 때, Callback 메시지를 검출하면, 인터럽트 신호 MIDIINT를 발생시킨다. 이 인터럽트 신호 MIDIINT는 도 3의 어플리케이션 프로세서(200)에 출력된다. 인터럽트 신호 MIDIINT를 사용함으로써, 음원 시퀀서(34)에 의한 발음 타이밍과, 3D 포지셔닝부(210)에 의한 3D 포지셔닝 처리의 동기가 취해진다.

도 2는, 음원 회로(100)에 따른 제어 타이밍을 도시하는 도면이다. 도 2에서는, 우선, 비행기의 소리를 나타내는 오디오 데이터와, 자동차의 소리를 나타내는 오디오 데이터가 FIFO 메모리(20)에 기입된다.

도 2(a)는, 실시 형태 1에 따른 기술을 이용하지 않은 경우의 예이다. 음원 시퀀서(34)는, FIFO 메모리(20) 내의 오디오 데이터를 그 순서에 따라 발음해 간다. FIFO 메모리 내에 오디오 데이터가 기입된 후, 그 오디오 데이터가 발음될 때까지의 기간은, MIDI 데이터의 경우, 그 MIDI 데이터 내의 Tempo 등의 시간 관리 커맨드의 양에 의해 변화한다. 또, 곡조 등에 의해서도 변화한다. 도 2에서는, 음원 시퀀서(34)는, 자동차의 소리를 나타내는 오디오 데이터가 FIFO 메모리(20) 내에 기억된 후, 그 오디오 데이터가 발음될 때까지의 기간 t1을 예측할 수 없다. 따라서, 음원 시퀀서(34)는, 비행기의 소리에서 자동차의 소리로 전환되는 타이밍을 예측할 수 없다.

도 2 중, 포지션 A는 비행기의 소리에 대응한 위치, 예를 들면 유저를 중심으로 한 음장의 위쪽의 위치를 나타내고, 포지션 B는 자동차의 소리에 대응한 위치, 예를 들면 그 유저를 중심으로 한 음장의 아래쪽의 위치를 나타낸다. 예를 들면 도 2(a)와 같이, 포지션 A와 포지션 B의 전환 타이밍을 FIFO 메모리(20)에서의 비행기의 소리를 나타내는 오디오 데이터에서 자동차의 소리를 나타내는 오디오 데이터로의 전환 타이밍에 맞추면, 음원 시퀀서(34)에 의한 발음의 전환 타이밍과 어긋나는 기간 t2가 생긴다. 이 기간 t2는, 비행기의 소리가 지면을 주행하는 자동차의 위치에서 들리게 되어, 유저가 상상하고 있는 영상과 동기하지 않게 된다.

이에 대해, 도 2(b)는, 실시 형태 1에 따른 기술을 이용한 경우의 예이다. 음원 시퀀서(34)는, MIDI 데이터의 발음 타이밍과 동기하고 있는 Callback 메시지를 검출하면, 3D 포지셔닝 처리를 실행하는 어플리케이션 프로세서(200)에 인터럽 트 신호 MIDIINT를 발생시킨다. 3D 포지셔닝부(210)는, 이 인터럽트 신호 MIDIINT를 이용하여, 음원 시퀀서(34)의 발음 타이밍과 동기를 취할 수 있다. 따라서, 도 2(b)에서는, 음원 시퀀서(34)가 비행기의 발음에서 자동차의 발음으로 전환하는 타이밍에 동기하여, 3D 포지셔닝부(210)는, 포지션 A에서 포지션 B로 전환할 수 있다.

이하, 실시 형태 1을 상세하게 설명한다. 도 3은, 음원 LSI(110)와 어플리케이션 프로세서(200)를 포함하는 전자 회로(300)를 탑재한 전자 기기(400)의 구성을 도시하는 도면이다. 음원 LSI(110)는, 상술한 음원 회로(100)를 원칩화한 집적 회로로 실현한 것이다. 음원 LSI(110)의 외부에 설치되는 어플리케이션 프로세서(200)는, CPUI/F(10)를 통해, 오디오 데이터를 음원 LSI(110) 내의 FIFO 메모리(20)에 기입한다. 어플리케이션 프로세서(200)는, 3D 포지셔닝부(210) 및 펌 웨어(220)를 포함한다.

3D 포지셔닝부(210)는, 상기 오디오 데이터 내의 시간 관리에 관한 커맨드를 해독하고, 그 오디오 데이터를 재생했을 때, 그 오디오 데이터에 의한 가상 음원의 3차원 공간 상의 지각 위치를 전환하기 위한 타이밍을 특정한다. 그리고, 그 가상 음원의 전환 타이밍을 나타내기 위해, Callback 메시지라는 데이터를 당해 오디오 데이터 내의 비행기의 소리를 나타내는 오디오 데이터와 자동차의 소리를 나타내는 오디오 데이터의 전환 부분 등의 소정의 위치에 삽입하고, FIFO 메모리(20)에 기입한다.

제어부(30)는, FIFO 메모리(20)에서 독출한 오디오 데이터에 각종 이펙트 처 리를 실시하거나, 독출한 오디오 데이터를 발음시키거나 한다. 제어부(30)는, 오디오 데이터를 시퀀스 처리하여, 디지털 데이터로서, 오디오 인터페이스(이하, 오디오 I/F라고 표기한다)(40)를 통해 어플리케이션 프로세서(200)에 전달한다.

3D 포지셔닝부(210)는, 주로, 상기 어플리케이션 프로세서(200)와 3D 포지셔닝용의 펌 웨어(220)의 연계에 의해 실현되는 블록이다. 제어부(30) 또는 3D 포지셔닝부(210)는 원칩화되어 있어도 된다. 3D 포지셔닝부(210)는, 오디오 I/F(40)를 통해 제어부(30)에서 전달된 오디오 데이터에 3차원 포지셔닝 처리를 실시하여, 제어부(30)로 돌려보낸다.

도 3에서는, 어플리케이션 프로세서(200)와, 오디오 I/F(40)의 사이에서는 4개의 신호 BCLK, 신호 LRCLK, 신호 SDO 및 신호 SDI가 입출력된다. 신호 BCLK는, 비트 단위의 동기를 취하기 위한 클럭을 어플리케이션 프로세서(200)에 출력하는 신호이다. 신호 LRCLK는, 1회의 데이터 전달 타이밍을 부여하는 신호로, 좌우 어느 쪽의 채널의 데이터인지를 나타낼 수 있다. 신호 SDO는, 제어부(30)에서 어플리케이션 프로세서(200)에 시리얼로 오디오 데이터를 출력하기 위한 신호이다. 신호 SDI는, 반대로 어플리케이션 프로세서(200)에서 제어부(30)에 시리얼로 오디오 데이터를 출력하기 위한 신호이다. 신호 BCLK, 신호 LRCLK, 신호 SDO 및 신호 SDI에서 주고받게 되는 신호는, I2S(아이·스퀘어·에스) 등의 규격을 이용할 수 있다.

제어부(30)는, 스테레오 확장부(32)를 포함한다. 스테레오 확장부(32)는, 예를 들면, 오른쪽의 채널의 신호에, 왼쪽의 채널의 신호의 반위상(反位相)을 더하 고, 그 반대도 동일하게 처리함으로써, 유저에게 있어서 확장이 있는 음장을 만들어 낸다. 오른쪽의 스피커에서 출력되는 소리를, 왼쪽의 스피커에서 출력되는 소리로 없애면, 유저는 주로 오른쪽의 귀로, 오른쪽의 스피커에서 출력되는 소리를 지각하게 된다. 반대도 마찬가지이다. 그렇게 하면, 오른쪽의 채널에서 출력하는 소리와, 왼쪽의 채널에서 출력하는 소리를 분리할 수 있어, 음장을 확장할 수 있다.

스테레오 확장부(32)는, 3D 포지셔닝부(210)에 의해 3D 포지셔닝된 오디오 데이터에 대해서, 상술한 바와 같은 스테레오 확장 처리를 실시한다. 유저 인터페이스로서, 1대의 스피커(62, 64)와 도시하지 않은 헤드폰이 설치되어 있는 경우, 스피커(62, 64)와 헤드폰에 대해서 실시한다.

또, 제어부(30)는, FIFO 메모리(20)에서 독출한 데이터에 상기 Callback 메시지를 검출하면, 어플리케이션 프로세서(200)에 인터럽트 신호 MIDIINT를 출력한다. 도 3에서는, 제어부(30)에서 어플리케이션 프로세서(200)에, 인터럽트 신호 MIDIINT가 출력된다. 인터럽트 신호 MIDIINT는, 상기 가상 음원의 지각 위치의 전환 타이밍을 나타내는 제어 신호를 어플리케이션 프로세서(200)에 전송하기 위한 신호이다.

2개의 디지털 아날로그 변환기(이하, DAC라고 한다)(52, 54)는, 제어부(30)에서 출력된 좌우의 채널의 오디오 디지털 신호를 각각 아날로그 신호로 변환하고, 좌우의 스피커(62, 64)에 출력한다. 또한, 도시하지 않은 헤드폰 등이 휴대단말 등의 기기에 접속되어 있는 경우, 헤드폰에도 출력한다. 1쌍의 스피커(62, 64)는, 좌우의 채널의 오디오 신호를 출력한다.

도 4는, 스테레오 확장 처리를 설명하기 위한 도면이다. 도 4(a)는, 실시 형태 1에 따른 기술을 이용하지 않은 경우의 예이다. 휴대전화기나 휴대형 게임기 등의 휴대형의 전자 기기의 경우, 그 전자 기기의 하우징체의 크기의 제약으로부터, 1쌍의 스피커(62, 64) 사이의 거리를 길게 하는 것이 어렵다. 따라서, 도 4(a)에 도시하는 바와 같이, 좌우의 스피커(62, 64)로부터의 발음이 서로 섞여 버려, 1쌍의 스피커(62, 64)를 설치해도, 같은 장소에서 발음되고 있는 것처럼 감지되어, 스테레오감을 내는 것이 어렵다.

이에 대해, 도 4(b)는, 실시 형태 1에 따른 기술을 이용한 경우의 예이다. 좌우의 채널에 스테레오 확장 처리를 실시함으로써, 마치 1대의 스피커(62, 64)의 사이에 충분한 거리가 확보되어 있는 것과 같은 스테레오감을 낼 수 있다.

도 5는, 실시 형태 1에 따른 음원 회로(100)와 어플리케이션 프로세서(200)의 처리 순서를 도시하는 흐름도이다. 도 1의 음원 회로(100)가 도 3의 어플리케이션 프로세서(200)와 연계되는 형태로 설명한다. 이 흐름도의 좌측의 흐름은, 어플리케이션 프로세서(200)의 동작 타이밍을 나타내고, 우측의 흐름은, 하드웨어 자원으로서의 음원 회로(100)의 동작 타이밍을 나타낸다.

우선, 어플리케이션 프로세서(200)는, Callback 메시지를 MIDI 데이터 내에 설정한다(S10). 그 때, 그 Callback 메시지에 계속해서 후처리 선택치도 후처리 선택 메시지로서 설정한다. 후처리 선택치란, 음원 회로(100)에서 MIDI 데이터를 어떻게 출력할지를 지시하는 값이다.

이 설정에 의해, 음원 회로(100) 내의 FIFO 메모리(20)에, Callback 메시지와 후처리 검출치가 연속해서 설정되게 된다(S30). 다음에, 음원 시퀀서(34)는, FIFO 메모리(20) 내의 데이터를 독출해 가면, Callback 메시지를 검출한다(S32). 그러면, 어플리케이션 프로세서(200)에 출력되는 인터럽트 신호 MIDIINT를 로우 레벨로 설정한다.

음원 시퀀서(34)는, Callback 메시지를 검출한 후에, 후처리 선택 메시지를 검출한다(S34). 후처리 선택 메시지는, 음원 시퀀서(34)와 어플리케이션 프로세서(200)의 시리얼 I/F를 통해 어플리케이션 프로세서(200)에 3D 포지셔닝 처리의 대상이 되는 MIDI 데이터를 출력하도록 명령하는 것이다.

어플리케이션 프로세서(200)는, 인터럽트 신호 MIDIINT로부터, 3D 포지셔닝 처리의 타이밍을 나타내는 Callback 메시지를 검출함으로써, Callback 스테이터스를 취득한다(S12). 3D 포지셔닝부(210)는, 인터럽트 신호 MIDIINT가 로우 레벨이 되면, 인터럽트 루틴을 실행한다. 인터럽트 루틴은, 음원 회로(100)측에서 어플리케이션 프로세서(200)측으로 MIDI 데이터가 출력되지 않도록 마스크 설정한다(S14). 3D 포지셔닝부(210)는, 음원 회로(100)로부터의 인터럽트를 클리어하도록 설정하고(S16), 3D 포지셔닝 처리를 개시한다(S18).

음원 시퀀서(34)는, 어플리케이션 프로세서(200)로부터의 인터럽트 클리어 설정에 대응하여, 인터럽트 신호 MIDIINT에 의한 Callback 메시지를 클리어한다(S36). 3D 포지셔닝부(210)는, 상기 인터럽트 루틴 중에서 걸려 있던 마스크를 해제한다(S20). 마스크가 해제되면, 음원 시퀀서(34)는, 시리얼 I/F를 통해 어플리 케이션 프로세서(200)에 MIDI 데이터의 송출이 가능해져, MIDI 데이터의 송출을 개시한다(S38). 앞의 후처리 선택 메시지의 검출로부터 이 MIDI 데이터의 송출까지의 기간은, 4msec 정도로 설정할 수 있다.

3D 포지셔닝부(210)는, 시리얼 I/F를 통해 이송되어 오는 상기 MIDI 데이터에, 3D 포지셔닝 처리를 실시한다(S22). 음원 시퀀서(34)는, 이와 같이 이펙트 처리가 이루어진 MIDI 데이터를 발음할 수 있게 된다.

이상, 발음하는 타이밍을 나타내는 Callback 메시지를 FIFO 메모리(20)에 실어, 어플리케이션 프로세서(200)로의 인터럽트 신호를 발생시키는 순서를 설명하였다. 이 점은, MIDI 데이터에 한정되지 않고, ADPCM 데이터 등에 대해서도 동일한 순서를 적용하는 것이 가능하다.

도 6은, 도 3에 도시한 신호 LRCLK, 신호 SDO, 및 인터럽트 신호 MIDIINT의 파형 천이의 일례를 도시하는 도면이다. 이 예는, 도 2에서 예시한 비행기의 소리에서 도중에 자동차의 소리로 전환되는 것이다. 신호 LRCLK는, 주기적인 반복 파형이고, 그 반복 파형의 단위 주기가 데이터 전달의 단위 주기가 된다. 신호 SDO는, 어플리케이션 프로세서(200)에 입력되는 오디오 데이터를 나타낸다. 도 6에서는, 비행기의 소리를 나타내는 오디오 데이터가 2회 입력되고, 그 후에 자동차의 소리를 나타내는 오디오 데이터가 2회 입력된 모양을 나타낸다. 인터럽트 신호 MIDIINT는, 어플리케이션 프로세서(200)로의 인터럽트 신호이다. 도 6에서는, 이 인터럽트 신호 MIDIINT의 하이 레벨에서 로우 레벨로의 하강 에지로, 비행기의 소리로의 3D 포지셔닝 처리에 의한 음상의 정위 장소에서, 자동차의 소리에 대한 음 상의 정위 장소로 전환되는 타이밍을 3D 포지셔닝부(210)에 통지하고 있다.

이상 설명한 바와 같이 실시 형태 1에 의하면, Callback 메시지를 3D 포지셔닝부와의 동기 신호에 이용함으로써, 음원 시퀀서가 발음할 때, 발음 타이밍과, 3D 포지셔닝 처리의 동기 어긋남을 억제하여, 예기치 못한 위치에 음상을 정위해 버리는 사태를 회피할 수 있다.

(실시 형태 2)

도 7은, 실시 형태 2에 따른 음원 회로(100)의 개략 구성을 도시하는 도면이다. 실시 형태 2는, 음원 회로(100)의 발음 타이밍과, 3차원 음장에 있어서의 복수의 가상 음원의 지각 위치를 조정하는 3D 포지셔닝부(210)에 의한 위치 조정 타이밍의 동기를 취하기 위한 기술을 제공한다. 3D 포지셔닝부(210)는, 복수의 가상 음원에서부터의 발음이 섞인 소리에 있어서, 각각의 가상 음원을 음장 내의 소정의 장소에서 들리도록, 그러한 복수의 가상 음원을 나타내는 오디오 데이터에 이펙트 처리를 실시한다.

실시 형태 2에 따른 음원 회로(100)의 구성은, 실시 형태 1에 따른 구성과 기본적으로 동일한 구성이다. 이하, 상이점에 관해 설명한다. 외부에 설치되는 CPU는, CPUI/F(10)를 통해, 오디오 데이터를 음원 회로(100) 내의 FIFO 메모리(20)에 기입한다. 당해 CPU는, 상기 오디오 데이터 내의 시간 관리에 관한 커맨드를 해독하고, 그 오디오 데이터의 재생 음장에 있어서의 복수의 가상 음원의 3차원 공간 상의 지각 위치의 전환 타이밍을 각각 특정한다. 그리고, 그러한 가상 음원의 3차원 공간 상의 지각 위치의 전환 타이밍을 나타내기 위해, Callback 메시지 1, Callback 메시지 2…와 같은 각 Callback 메시지 BOX를 당해 오디오 데이터 내의 그 지각 위치의 전환 부분 등에 삽입하고, FIFO 메모리(20)에 기입한다.

음원 시퀀서(34)는, FIFO 메모리(20) 내의 데이터를 처리할 때, 어느 하나의 Callback 메시지를 검출하면, 검출한 Callback 메시지에 대응하는 인터럽트 신호 3DINT를 발생시킨다. Callback 메시지 1에는, 인터럽트 신호 3DINT1이 대응하고, Callback 메시지 2에는, 인터럽트 신호 3DINT2가 대응한다. 실시 형태 2에서는, 음원 회로(100)에서 3D 포지셔닝 처리를 실행하는 어플리케이션 프로세서(200)에, 각 Callback 메시지 전용의 3DINT선이 배치되어 있고, 음원 시퀀서(34)는, 검출한 Callback 메시지에 대응하는 3DINT선을 통해, 어플리케이션 프로세서(200)에 인터럽트 신호 3DINT1 또는 인터럽트 신호 3DINT2를 전송한다.

이하, 실시 형태 2를 상세하게 설명한다. 도 8은, 실시 형태 2에 따른 음원 LSI(110)와 어플리케이션 프로세서(200)를 포함하는 전자 회로(300)를 탑재한 전자 기기(400)의 구성을 도시하는 도면이다. 실시 형태 2에 따른 음원 LSI(110) 및 어플리케이션 프로세서(200)는, 실시 형태 1에서 설명한 도 3의 구성과 기본적으로 동일하다. 이하, 상이점을 설명한다.

3D 포지셔닝부(210)는, 상기 오디오 데이터 내의 시간 관리에 관한 커맨드를 해독하고, 그 오디오 데이터의 재생 음장에 있어서의 복수의 가상 음원의 3차원 공간 상의 위치의 전환 타이밍을 각각 특정한다. 그리고, 그러한 가상 음원의 3차원 공간 상의 위치의 전환 타이밍을 나타내기 위해, Callback 메시지라고 하는 데이터를 당해 오디오 데이터 내의 각각의 위치의 전환 부분 등에 삽입하고, FIFO 메모리 (20)에 기입한다.

제어부(30)와 어플리케이션 프로세서(200)는, 복수의 인터럽트 신호선으로 연결되어 있다. 도 8에서는, 3개까지 명시하고 있지만 3개로 한정하는 것은 아니다. 제어부(30)는, FIFO 메모리(20)에서 독출한 데이터에 어느 하나의 Callback 메시지를 검출하면, 대응하는 인터럽트 신호선을 통해 어플리케이션 프로세서(200)에 인터럽트 신호 3DINT1, 인터럽트 신호 3DINT2, 인터럽트 신호 3DINT3을 출력한다.

도 9는, 도 8에 도시한 신호 LRCLK, 신호 SDO, 신호 3DINT1, 및 신호 3DINT2의 파형 천이의 일례를 도시하는 도면이다. 이 예는, 비행기 및 UFO의 소리가 혼재된 소리에서, 도중에 자동차 및 미사일의 소리가 혼재된 소리로 전환되는 것이다. 신호 LRCLK 및 신호 SDO는, 도 6의 설명과 동일하다. 도 9에서는, 비행기 및 UFO의 소리가 섞인 소리를 나타내는 오디오 데이터가 2회 입력되고, 그 후에 자동차 및 미사일의 소리가 섞인 소리를 나타내는 오디오 데이터가 2회 입력된 모양을 나타낸다. 인터럽트 신호 3DINT1 및 인터럽트 신호 3DINT2는, 어플리케이션 프로세서(200)로의 인터럽트 신호이다.

도 9에서는, 인터럽트 신호 3DINT1의 하이 레벨에서 로우 레벨로의 하강 에지로, 비행기의 소리로의 3D 포지셔닝 처리에 의한 음상의 정위 장소에서, 자동차의 소리에 대한 3D 포지셔닝 처리에 의한 음상의 정위 장소로 전환되는 타이밍을 3D 포지셔닝부(210)에 통지하고 있다. 동일하게, 인터럽트 신호 3DINT2의 하이 레벨에서 로우 레벨로의 하강 에지로, UFO의 소리로의 3D 포지셔닝 처리에 의한 음상 의 정위 장소에서, 미사일의 소리에 대한 3D 포지셔닝 처리에 의한 음상의 정위 장소로 전환되는 타이밍을 3D 포지셔닝부(210)에 통지하고 있다.

이상 설명한 바와 같이 실시 형태 2에 의하면, Callback 메시지를 복수 준비하고, 어플리케이션 프로세서(200)에 복수의 Callback 메시지에 대응하는 인터럽트 신호를 송출하기 위한 전용의 신호선을 각각 설치함으로써, 복수음을 음장 내의 복수 개소에 정위시킬 때에, 특정한 신호선에 대한 인터럽트 신호의 빈발을 억제할 수 있다. 즉, 병렬 처리할 수 있도록, Callback 메시지를 복수 설치하고, 복수의 Callback 메시지에 대응한 신호선을 복수 설치함으로써, 어플리케이션 프로세서(200)는, 수취한 정보를 흘리지 않고 축적해 둘 수 있으며, 3D 포지셔닝부(210)에 의한 처리를 반드시 실행할 수 있다.

(실시 형태 3)

실시 형태 3은, 실시 형태 1 및 2와 같이, 음원 회로(100)에서 어플리케이션 프로세서(200)로 Callback 메시지를 송출하기 위한 전용의 신호선을 설치하지 않고, 오디오 데이터 내의 빈 채널에 타이밍 정보를 매설하여, 음원 회로(100)와 어플리케이션 프로세서(200)의 동기를 취하는 기술을 제공한다. 실시 형태 3에 따른 음원 LSI(110)와 어플리케이션 프로세서(200)의 구성은, 실시 형태 1에서 설명한 도 3의 구성과 기본적으로 동일하다. 이하, 상이점을 설명하면, 제어부(30)와 어플리케이션 프로세서(200)를 연결하는 인터럽트 신호선을 설치하지 않은 점이 다르다.

도 10은, 제어부(30)에서 오디오 I/F(40)를 통해, 어플리케이션 프로세서 (200)에 전송되는 신호의 일례를 도시하는 타이밍 차트이다. 제어부(30)는, 오디오 데이터를 I2S 포맷으로 신호 SDO에 의해 시리얼 전송하고 있다. 도 10에 있어서, 신호 LRCLK는, 1회분의 데이터 전달 타이밍을 나타낸다. 1주기에 1회, 데이터를 전달한다. I2S 포맷에서는, 1회에 64비트 또는 128비트를 전달할 수 있다. 신호 BCLK는, 단위 비트의 전송 타이밍을 나타낸다. 또한, 도면 내의 스트라이프 영역은, 데이터열이 생략된 개소를 나타낸다.

도 10에서는, 신호 LRCLK의 1주기당, 왼쪽 채널 Lch 64비트, 오른쪽 채널 Rch 64비트로 합계 128비트의 데이터를 전달할 수 있다. 신호 LRCLK의 1주기의 데이터에, 1채널당 16비트로, 8채널을 설정한 예이다. 신호 SDO는, 1회의 전달로, 16비트의 데이터를 8종류 송출할 수 있는 것을 나타내고, 신호 SDO 아래의 비트열은, 실제로 전달하고 있는 데이터를 나타낸다. 도 10에서는, 1채널 CH1과, 5채널 CH5에 오디오 데이터가 기입되어 있다. 도 10은, 음장 내에 있어서의 가상 음원이 1개인 경우의 예이고, 음장 내의 가상 음원이 복수인 경우, 다른 채널 CH도 사용된다.

상기한 DAC(52, 54)에 16비트용의 것을 사용하는 경우, 좌우의 채널을 합하여 32비트의 데이터를, 신호 LRCLK의 1주기당 전달할 수 있으면 충분하다. 그래서, 도 10와 같이 빈 채널이 생기게 된다. 도 10에서는, 오디오 데이터의 발음 타이밍과, 그 오디오 데이터의 3D 포지셔닝 처리의 타이밍을 취하기 위한 정보를, 3채널 CH3에 기입하고 있다. 3D 포지셔닝부(210)는, 이 타이밍 정보를 참조하여, 3차원 음장 내에 있어서의 가상 음원의 지각 위치를 전환하는 타이밍을 취득할 수 있다.

도 11은, 실시 형태 3에 따른 신호 LRCLK, 및 신호 SDO의 파형 천이의 일례를 도시하는 도면이다. 이 예는, 도 2에서 예시한 비행기의 소리에서 도중에 자동차의 소리로 전환되는 것이다. 신호 SDO는, 어플리케이션 프로세서(200)에 입력되는 오디오 데이터를 나타낸다. 도 11에서는, 비행기의 소리를 나타내는 오디오 데이터가 2회 입력되고, 그 후에 자동차의 소리를 나타내는 오디오 데이터가 1회 입력된 모양을 나타낸다. 도 11에서는, 자동차의 소리를 나타내는 오디오 데이터의 처음 전달시에, 그 1회분의 오디오 데이터의 빈 채널에 상기 타이밍 정보를 매설하고 있다.

이상 설명한 바와 같이 실시 형태 3에 의하면, 음원 회로(100)에서 어플리케이션 프로세서(200)에 전송되는 오디오 데이터의 빈 채널에, 동기를 취하기 위한 메시지를 매설함으로써, 인터럽트 처리에 의해 생성되는 신호를 전송하기 위한 신호선을 이용하지 않아도, 즉 간소한 구성으로, 오디오 데이터의 발음 타이밍과 그 오디오 데이터의 3D 포지셔닝 처리의 동기를 취할 수 있다.

이상, 본 발명을 실시 형태를 기초로 설명하였다. 이 실시 형태는 예시이고, 그러한 각 구성 요소나 각 처리 프로세스의 조합에 여러 가지 변형예가 가능한 것, 또 그러한 변형예도 본 발명의 범위에 있는 것은 당업자에게 이해되는 바이다.

실시 형태에서는, 도 3 및 도 8에 도시한 바와 같이, 음원 LSI(110)와 어플리케이션 프로세서(200)를 다른 LSI 칩으로 구성하는 예를 설명하였다. 따라서, 음원 LSI(110)와 어플리케이션 프로세서(200)의 사이에 회로 규모를 억제하면서, 다수의 신호선을 배치하는 것이 어렵고, 시리얼 인터페이스로 오디오 데이터를 주고받는 예를 설명하였다. 이 점은, 전자 회로(300) 전체를 원칩화해도 된다. 이 경우, 어플리케이션 프로세서(200)를 외부에 설치한 경우와 같이, 회로 규모를 크게 하지 않고 다수의 신호선을, 음원 LSI(110)와 어플리케이션 프로세서(200)의 사이에 배치하는 것이 가능해진다. 따라서, 음원 LSI(110)와 어플리케이션 프로세서(200)의 사이의 오디오 데이터를 패러렐 인터페이스로 주고받아도 된다. 또한, 실시 형태 3에서 설명한 타이밍 정보를 전송하기 위한 전용의 신호선을 설치해도 된다. 이것에 의하면, 회로 규모를 억제하면서, 신호를 고속화할 수 있다.

또, 실시 형태에서는, 제어부(30)는, 3D 포지셔닝 기능, 및 스테레오 확장 기능을 실행하였다. 이 점은, 그러한 기능에 한정되지 않고, 리버브 기능, 코러스 기능 등의 이펙트 기능을 실행해도 된다. 실시 형태 1, 2에서 설명한 인터럽트 처리나, 실시 형태 3에서 설명한 빈 채널로의 타이밍 정보 매설 기술을 동일하게 적용할 수 있다. 이에 따라, 오디오 데이터의 발음 타이밍과, 각종 이펙트 기능의 처리 타이밍의 동기를 취할 수 있다.

본 발명은, 오디오 데이터를 이펙트 처리하여 재생하는 전자 기기의 분야에 적용할 수 있다.

Claims

오디오 데이터의 발음 타이밍을 해독하는 단계와,

상기 발음 타이밍을 나타내는 정보를 상기 오디오 데이터에 더하는 단계와,

상기 정보를 참조하여 취득한 상기 발음 타이밍에 대응하여, 발음해야 할 오디오 데이터에 이펙트 처리하는 단계를 구비하는 것을 특징으로 하는 발음 방법.
오디오 데이터에 의한 재현 음장 내의 가상 음원의 변화를 해독하는 단계와,

상기 가상 음원의 변화를 나타내는 정보를 상기 오디오 데이터에 더하는 단계와,

상기 정보를 참조하여 취득한 상기 가상 음원의 변화에 대응하여, 발음해야 할 오디오 데이터의 재현 음장 내의 가상 음원의 위치 조정을 행하는 단계를 구비하는 것을 특징으로 하는 발음 방법.
발음 타이밍을 나타내는 정보 및 오디오 데이터를 기억하는 기억부와,

상기 기억부에 기억된 오디오 데이터에 이펙트 처리하는 이펙트 처리부와 연계하여, 처리된 오디오 데이터를 발음시키는 제어부를 구비하고,

상기 제어부는, 상기 정보를 검출하면, 상기 이펙트 처리부에 상기 정보를 검출한 것을 통지하는 것을 특징으로 하는 음원 회로.
재현 음장 내의 가상 음원의 변화를 나타내는 정보 및 오디오 데이터를 기억하는 기억부와,

상기 기억부에 기억된 오디오 데이터에, 그 재현 음장 내의 가상 음원의 위치 조정을 행하는 위치 조정부와 연계하여, 위치 조정된 오디오 데이터를 발음시키는 제어부를 구비하고,

상기 제어부는, 상기 정보를 검출하면, 상기 위치 조정부에 상기 정보를 검출한 것을 통지하는 것을 특징으로 하는 음원 회로.
청구항 4에 있어서, 상기 제어부는, 전용의 신호선을 통해, 상기 정보에 대응한 인터럽트 신호를 상기 위치 조정부에 송출하는 것을 특징으로 하는 음원 회로.
청구항 4에 있어서, 상기 제어부는, 상기 재현 음장 내에 복수의 가상 음원이 설정된 경우, 각각의 가상 음원의 변화를 나타내는 정보의 적어도 하나 이상을 검출하면, 각각의 가상 음원에 대응한 전용의 신호선을 통해, 상기 정보에 대응한 인터럽트 신호를 상기 위치 조정부에 송출하는 것을 특징으로 하는 음원 회로.
청구항 4에 있어서, 상기 제어부는, 상기 위치 조정부에 송출하는 오디오 데이터 내의 빈 부분에 상기 정보를 매설하는 것을 특징으로 하는 음원 회로.
청구항 3 내지 7 중 어느 한 항에 기재된 음원 회로로서,

동일 반도체 기판에 일체 집적화된 것을 특징으로 하는 음원 회로.
청구항 3에 기재된 음원 회로와,

상기 오디오 데이터에 이펙트 처리하는 이펙트 처리부를 구비하는 것을 특징으로 하는 전자 회로.
청구항 4 내지 8 중 어느 한 항에 기재된 음원 회로와,

상기 오디오 데이터에, 그 재현 음장 내의 가상 음원의 위치 조정을 행하는 위치 조정부를 구비하는 것을 특징으로 하는 전자 회로.
스피커와,

상기 스피커로부터 발음시키기 위한 청구항 9 또는 10에 기재된 전자 회로를 구비하는 것을 특징으로 하는 전자 기기.