KR20220122992A - 신호 처리 장치 및 방법, 음향 재생 장치, 그리고 프로그램 - Google Patents

신호 처리 장치 및 방법, 음향 재생 장치, 그리고 프로그램 Download PDF

Info

Publication number
KR20220122992A
KR20220122992A KR1020227020841A KR20227020841A KR20220122992A KR 20220122992 A KR20220122992 A KR 20220122992A KR 1020227020841 A KR1020227020841 A KR 1020227020841A KR 20227020841 A KR20227020841 A KR 20227020841A KR 20220122992 A KR20220122992 A KR 20220122992A
Authority
KR
South Korea
Prior art keywords
sound source
signal processing
virtual sound
user
rir
Prior art date
Application number
KR1020227020841A
Other languages
English (en)
Inventor
데츠 마가리야치
다쿠마 도마에
가나 세노
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20220122992A publication Critical patent/KR20220122992A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

본 기술은, 더 리얼리티가 높은 음향 제시를 실현할 수 있도록 하는 신호 처리 장치 및 방법, 음향 재생 장치, 그리고 프로그램에 관한 것이다. 신호 처리 장치는, 공간 내의 각각의 위치에 관련되는 음향 전달 특성 중, 가상 음원의 제시처의 현재 위치에 따른 음향 전달 특성과, 가상 음원의 가상 음원 데이터를 중첩 적분하는 음향 전달 특성 중첩 적분 처리부를 구비한다. 본 기술은 음향 재생 시스템에 적용할 수 있다.

Description

신호 처리 장치 및 방법, 음향 재생 장치, 그리고 프로그램
본 기술은, 신호 처리 장치 및 방법, 음향 재생 장치, 그리고 프로그램에 관한 것으로, 특히, 더 리얼리티가 높은 음향 제시를 실현할 수 있도록 한 신호 처리 장치 및 방법, 음향 재생 장치, 그리고 프로그램에 관한 것이다.
근년, GPS(Global Positioning System) 등에 의해 계측한 유저 위치를 이용하는 애플리케이션에 관한 기술이 수없이 제안되고 있다.
예를 들어, 외출지에 있어서 유저에 의해 촬영된 화상이나, 유저에 의해 입력된 코멘트를 유저 위치의 이력과 함께 서버에 제공하여, 유저가 거친 코스를 다른 유저에게 소개하는 코스 정보를 서버가 생성하는 기술이 제안되어 있다(예를 들어, 특허문헌 1 참조).
또한, 예를 들어 상시, 유저의 위치를 계측하여, 유저가 특정 위치에 왔을 때 소정의 바이너럴 음성을 제시하는 애플리케이션 등도 제안되어 있다.
일본 특허 제6229655호 공보
그런데, 유저가 특정 위치에 있을 때 소정의 음성을 재생하는 등의 음향 제시를 행하는 경우, 그 음향 제시를 행하는 장소마다 잔향 등의 특성이 다르기 때문에, 리얼리티가 손상되어 버리는 경우가 있다.
본 기술은, 이러한 상황을 감안하여 이루어진 것이고, 더 리얼리티가 높은 음향 제시를 실현할 수 있도록 하는 것이다.
본 기술의 제1 측면의 신호 처리 장치는, 공간 내의 각각의 위치에 관련되는 음향 전달 특성 중, 가상 음원의 제시처의 현재 위치에 따른 상기 음향 전달 특성과, 상기 가상 음원의 가상 음원 데이터를 중첩 적분하는 음향 전달 특성 중첩 적분 처리부를 구비한다.
본 기술의 제1 측면의 신호 처리 방법 또는 프로그램은, 공간 내의 각각의 위치에 관련되는 음향 전달 특성 중, 가상 음원의 제시처의 현재 위치에 따른 상기 음향 전달 특성과, 상기 가상 음원의 가상 음원 데이터를 중첩 적분하는 스텝을 포함한다.
본 기술의 제1 측면에 있어서는, 공간 내의 각각의 위치에 관련되는 음향 전달 특성 중, 가상 음원의 제시처의 현재 위치에 따른 상기 음향 전달 특성과, 상기 가상 음원의 가상 음원 데이터가 중첩 적분된다.
본 기술의 제2 측면의 음향 재생 장치는, 공간 내의 각각의 위치에 관련되는 음향 전달 특성 중, 가상 음원의 제시처의 현재 위치에 따른 상기 음향 전달 특성과, 상기 가상 음원의 가상 음원 데이터를 중첩 적분함으로써 얻어지는 오디오 데이터를 외부 장치로부터 수신하는 수신부와, 상기 수신부에 의해 수신된 상기 오디오 데이터에 기초하는 소리를 재생하는 재생부를 구비한다.
본 기술의 제2 측면에 있어서는, 공간 내의 각각의 위치에 관련되는 음향 전달 특성 중, 가상 음원의 제시처의 현재 위치에 따른 상기 음향 전달 특성과, 상기 가상 음원의 가상 음원 데이터를 중첩 적분함으로써 얻어지는 오디오 데이터가 외부 장치로부터 수신되고, 상기 수신부에 의해 수신된 상기 오디오 데이터에 기초하는 소리가 재생된다.
도 1은 대상 에어리어 내의 각 위치의 음향 전달 특성에 대하여 설명하는 도면이다.
도 2는 영화관을 대상 에어리어로 한 음향 제시에 대하여 설명하는 도면이다.
도 3은 도로를 포함하는 공간 영역을 대상 에어리어로 한 음향 제시에 대하여 설명하는 도면이다.
도 4는 대상 에어리어 내에서의 음향 이벤트의 배치에 대하여 설명하는 도면이다.
도 5는 음향 이벤트를 나타내는 이벤트 화상의 표시예를 나타내는 도면이다.
도 6은 RIR의 보유 형태에 대하여 설명하는 도면이다.
도 7은 음향 재생 시스템의 구성예를 나타내는 도면이다.
도 8은 표시 처리 및 위치 정보 제공 처리를 설명하는 흐름도이다.
도 9는 재생 처리, RIR 제공 처리 및 음향 이벤트 제공 처리를 설명하는 흐름도이다.
도 10은 음향 재생 시스템의 구성예를 나타내는 도면이다.
도 11은 재생 처리, RIR 제공 처리 및 음향 이벤트 제공 처리를 설명하는 흐름도이다.
도 12는 컴퓨터의 구성예를 나타내는 도면이다.
이하, 도면을 참조하여, 본 기술을 적용한 실시 형태에 대하여 설명한다.
<제1 실시 형태>
<본 기술에 대하여>
본 기술은, 유저의 위치에 따라, 유저에 대하여 가상 음원 데이터에 기초하는 음향 제시를 행하는 경우에, 가상 음원 데이터에 대하여 유저의 위치에 따른 음향 전달 특성을 중첩 적분함으로써, 더 리얼리티가 높은 음향 제시를 실현할 수 있도록 하는 것이다.
예를 들어, 본 기술에서는, 소정의 대상 에어리어 내의 복수의 위치마다, 그것들의 각 위치의 주위에 있어서의 잔향 등의 소리의 특성을 부가하기 위한 RIR(Room Impulse Response) 등이 음향 전달 특성으로서 미리 준비되어 있다.
그리고, 그것들의 각 위치를 나타내는 전달 특성 위치 정보와, 그것들의 각 위치에서의 음향 전달 특성이 대응지어져(관련지어져) 클라우드상이나 소정의 서버 등에서 관리된다.
여기서, 음향 전달 특성이 준비되는 대상이 되는 대상 에어리어는, 전세계여도 되고, 시부야 등의 특정 지역이어도 되고, 특정 영화관이나 테마파크 등의 국소적인 에어리어여도 된다.
또한, 음향 전달 특성은, 3차원 공간 내의 복수의 위치마다 준비되어도 되고, 2차원의 대상 에어리어 내의 복수의 위치마다 준비되어도 된다. 또한, 복수의 대상 에어리어마다 음향 전달 특성이 준비되어도 된다.
또한 전달 특성 위치 정보는, 3차원 직교 좌표계 등의 각종 좌표계 상의 위치를 나타내는 좌표 정보여도 되고, 지구 표면 위의 임의의 위치를 나타내는 위도 및 경도를 포함하는 위도 경도 정보 등이어도 된다.
예를 들어, 도 1에 나타낸 바와 같이 역 주변 등의 특정 에어리어가 대상 에어리어로 되는 있는 경우에는, 그 대상 에어리어 내의 필요한 위치로부터 차례로 음향 전달 특성을 등록해 가도록 할 수 있다.
이 예에서는, 현시점에서는 대상 에어리어 내에 있어서의 위치 A11 내지 위치 A15의 합계 5군데에 있어서의 음향 전달 특성이 준비된 상태로 되어 있다. 이러한 상태로부터 필요에 따라 각 위치에서의 음향 전달 특성을 차례로 등록해 가면, 최종적으로는 대상 에어리어 전체의 각 위치에 있어서의 음향 전달 특성을 이용할 수 있게 된다.
이상과 같은 대상 에어리어 내의 위치마다의 음향 전달 특성을 클라우드 등에 의해 관리하면, 다양한 이용자가 클라우드 등으로부터 원하는 위치의 음향 전달 특성을 취득하여, 이용할 수 있다. 이 경우, 예를 들어 유저 등이 소지하는 단말 장치 등은, 자신이 음향 전달 특성을 보유하지 않고, 필요에 따라 자신의 위치를 나타내는 정보에 기초하여 음향 전달 특성을 취득하여, 이용할 수 있다.
또한, 이하에는, 음향 전달 특성이 RIR인 경우를 예로서 설명하지만, 음향 전달 특성은 RIR에 한정되지 않고, 특정 위치를 포함하는 영역(공간)에 있어서의 소리의 전달 특성을 부가할 수 있는 것이라면, 어떤 것이어도 된다.
또한, 본 기술에서는, 가상 음원 데이터에 대하여 음향 전달 특성만이 중첩 적분되도록 해도 되고, 가상 음원 데이터에 대하여 음향 전달 특성뿐만 아니라 두부 전달 함수도 중첩 적분되도록 해도 된다. 가상 음원 데이터에 대하여 두부 전달 함수도 중첩 적분되도록 함으로써, 유저에 대하여, 더 리얼리티가 높은 음향 제시를 행할 수 있다.
이 경우, 두부 전달 함수는, 유저별로 준비된 유저 고유의 것이어도 되고, 주지의 데이터베이스 등으로부터 얻어지는 평균적인 것이어도 된다. 예를 들어 유저가, 그 유저에 고유의 두부 전달 함수를 이용할 수 없는 경우에, 평균적인 두부 전달 함수를 이용하도록 해도 된다. 이들 유저 고유의 두부 전달 함수나 평균적인 두부 전달 함수는, 유저 등이 소지하는 단말 장치나 서버, 클라우드 등에 보유해 둘 수 있다.
이상과 같은 위치마다의 음향 전달 특성의 이용 방법으로서, 다양한 예가 생각된다.
구체적으로는, 예를 들어 도 2에 나타낸 바와 같이 영화관을 대상 에어리어로 하고, 그 영화관 내의 좌석마다 RIR을 준비해 둠으로써, 더 리얼리티가 있는 음향 제시를 실현할 수 있다.
예를 들어, 유저가 영화관 내의 좌석 번호 「G31」의 좌석에 앉고, 이혈 개방형의 헤드폰을 장착한 상태로 영화를 감상하는 것으로 한다.
이 경우, 예를 들어 유저는 전용의 웹페이지 등에 로그인하거나 하여, 이에 의해 유저 자신의 좌석의 위치를 나타내는 위치 정보, 여기서는 좌석 번호 「G31」에 대응지어진 RIR이 특정된다.
그리고, 영화의 상영이 개시되면, 예를 들어 영화의 특정 음원의 오디오 데이터에 대하여, 유저의 좌석 번호 「G31」에 따른 RIR과 두부 전달 함수가 중첩 적분되고, 그 결과 얻어진 오디오 데이터에 기초하여 특정 음원의 소리가 헤드폰에서 재생된다. 또한, 동시에 영화의 다른 음성이 영화관에 설치된 스피커에 의해 재생되고, 그 음성도 유저에 의해 청취된다.
이 경우, 두부 전달 함수의 중첩 적분에 의해 특정 음원의 소리를 영화관 내의 원하는 위치에 정위시킬 수 있다. 또한 RIR의 중첩 적분에 의해, 특정 음원의 소리에 대하여, 실제의 영화관 내에 있어서의 특정 음원 위치와 유저 위치 사이의 잔향 특성 등의 특성도 부가할 수 있다.
이에 의해, 특정 음원의 소리가, 마치 실제의 영화관 내의 소정의 위치로부터 유저에게 들려오는 리얼리티가 높은 음향 제시를 실현할 수 있다. 또한, 상술한 바와 같이 두부 전달 함수로서, 유저 고유의 것이 사용되어도 되고, 평균적인 것이 사용되어도 된다.
마찬가지로, 예를 들어 테마파크 전체를 대상 에어리어로 하여 복수의 위치마다 RIR을 준비하고, 유저가 소정의 위치에 있을 때, 유저에 대하여 특정 캐릭터의 음성이 제시되도록 할 수도 있다.
이 경우, 예를 들어 유저는 이혈 개방형의 헤드폰을 장착하고 있고, 그 헤드폰에 의해 특정 캐릭터의 음성이 재생된다.
구체적으로는, 예를 들어 유저가 있는 위치에 대하여 준비된 RIR이, 특정 캐릭터의 음성의 오디오 데이터에 중첩 적분되고, 그 결과 얻어진 오디오 데이터에 기초하여 특정 캐릭터의 음성이 재생된다.
이렇게 함으로써, 마치 유저의 주위에 실제로 특정 캐릭터가 존재하고 있는 리얼리티가 높은 음향 제시를 실현할 수 있다. 또한, 이 경우에 있어서도 두부 전달 함수의 중첩 적분도 행하도록 해도 된다.
그밖에, 본 기술을 사용하면, 예를 들어 도 3에 나타낸 바와 같이 도로를 주행 중인 차량 V11의 전방에 보행자인 유저 U11이 있는 경우에, 유저 U11에 대하여 차량 V11의 가상적인 엔진 소리나 클락션 소리를 제시함으로써, 안전성을 향상시킬 수도 있다.
커넥티드 카 시대에 있어서는, 위성 측위 시스템에 의해 차량 V11이나 유저 U11의 위치를 나타내는 정보를 고정밀도로 얻을 수 있다.
또한, 차량 V11이 전기 자동차인 경우 등, 차량 V11의 실제 엔진 소리나 주행 소리가 작으면, 유저 U11은 자신의 후방에 있는 차량 V11의 존재를 알아차리기 어렵다.
그래서, 예를 들어 도로를 포함하는 공간 영역을 대상 에어리어로 하고, 대상 에어리어의 복수의 위치마다 RIR을 준비해 두면, 유저 U11에 대하여 차량 V11의 가상적인 엔진 소리나 클락션 소리를 제시할 수 있다.
그러한 경우, 예를 들어 유저 U11은, 자신의 위치를 나타내는 정보를 취득 가능한 휴대 단말기를 소지하고, 그 휴대 단말기와 유선 또는 무선에 의해 접속된 이혈 개방형의 헤드폰을 장착하고 있다.
또한, 예를 들어 소정의 서버가, 가상 엔진 소리나 가상 클락션 소리를 재생하기 위한 오디오 데이터를 보유하고 있다.
예를 들어 서버는, 차량 V11과 통신을 행하여, 그 차량 V11의 위치를 나타내는 정보를 취득함과 함께, 유저 U11의 휴대 단말기와도 통신하여, 휴대 단말기의 위치를 나타내는 정보도 취득한다.
그리고, 예를 들어 차량 V11이 유저 U11에 접근한 경우, 즉 차량 V11부터 유저 U11까지의 거리가 소정의 역치 이하로 된 경우, 차량 V11 또는 유저 U11의 위치에 대하여 준비된 RIR을 클라우드 등으로부터 취득한다.
또한, 서버는, 보유하고 있는 가상 엔진 소리나 가상 클락션 소리의 오디오 데이터와, 취득한 RIR을 중첩 적분하고, 그 결과 얻어진 오디오 데이터를 유저 U11의 휴대 단말기로 공급한다. 이때, 적절히, 두부 전달 함수의 중첩 적분도 행해진다.
유저 U11의 휴대 단말기는, 서버로부터 공급된 오디오 데이터를 헤드폰으로 공급하여, 오디오 데이터에 기초하는 소리를 재생시킴으로써, 유저 U11에 대하여 차량 V11의 가상 엔진 소리나 가상 클락션 소리를 제시할 수 있다.
이 경우, RIR이나 두부 전달 함수의 중첩 적분을 행함으로써, 유저 U11로부터 보아 실제로 차량 V11이 있는 방향으로, 가상 엔진 소리나 가상 클락션 소리를 정위시킬 수 있을뿐만 아니라, 그 소리가 실제로 차량 V11로부터 발해지도록 제시할 수 있다.
이에 의해, 유저 U11은 자신의 후방에 차량 V11이 존재하고, 차량 V11이 자신으로부터 보아 어느 방향에 있는지나, 자신으로부터 얼마나 이격된 위치에 있는지를 용이하게 파악할 수 있다. 특히, 유저 U11이나 차량 V11의 위치에 따른 RIR을 사용함으로써, 차량 V11부터 유저 U11까지의 거리감을 가상 엔진 소리나 가상 클락션 소리에 부가할 수 있다.
또한, 유저 U11의 휴대 단말기가 서버로부터 RIR이나 오디오 데이터를 취득하여, RIR이나 두부 전달 함수의 중첩 적분을 행하도록 해도 된다.
또한, 예를 들어 RIR이 거리를 인수로서 갖는 함수인 경우에는, 유저 U11과 차량 V11 사이의 거리에 따른 RIR을 얻을 수 있어, 더 리얼리티가 높은 음향 제시를 실현할 수 있다.
그밖에, 예를 들어 서버가 유저 U11의 위치를 나타내는 정보를 차량 V11에 대하여 공급하도록 해도 된다. 그렇게 하면, 예를 들어 차량 V11이 자동 운전을 행하고 있거나, 야간 등에 시계가 어둡거나 한 경우에도, 차량 V11은 유저 U11의 존재를 파악하여, 사고의 발생을 회피할 수 있다.
또한, 위치마다의 음향 전달 특성의 다른 이용예로서, 시가지를 대상 에어리어로 하고, 그 시가지 내의 원하는 위치에 음향 이벤트, 즉 가상 음원을 배치하는 것도 생각된다.
예를 들어 도 4에 나타낸 바와 같이, 대상 에어리어인 시가지의 미리 정해진 위치에 대하여, 광고 음성 등의 임의의 음향 이벤트 AD11을 배치하도록 해도 된다.
이 예에서는, 예를 들어 음향 이벤트를 관리하는 서버에 있어서, 음향 이벤트 AD11을 포함하는 하나 또는 복수의 각 음향 이벤트와, 그것들의 음향 이벤트의 배치 위치를 나타내는 정보가 대응지어져 관리된다.
그리고, 예를 들어 유저가 음향 이벤트 AD11의 배치 위치로 오면, 유저에 대하여 「포인트 3배 데이」 등의 광고 음성이 음향 이벤트 AD11로서 제시된다.
이때, 음향 이벤트 AD11의 오디오 데이터와, 그 음향 이벤트 AD11의 배치 위치에 대하여 준비된 RIR이 중첩 적분되게 된다.
이렇게 함으로써, 유저에 대하여, 마치 유저 자신의 주위 위치에서 실제로 음향 이벤트 AD11의 소리가 발생하고 있는 것 같은 리얼리티가 높은 음향 제시를 행할 수 있다.
유저에 대한 음향 이벤트 AD11의 제시는, 예를 들어 유저가 장착하고 있는 이혈 개방형의 헤드폰 등에 의해 행하는 것이 가능하다.
그러한 경우, 예를 들어 헤드폰 자체, 또는 헤드폰과 유선 또는 무선에 의해 접속된 단말 장치가, 서버로부터 RIR의 중첩 적분 후의 오디오 데이터를 취득하거나, 서버나 클라우드로부터 RIR이나 오디오 데이터를 취득하여, 중첩 적분을 행하거나 하면 된다.
또한, 도 4를 참조하여 설명한 바와 같이, 대상 에어리어로서의 시가지에 음향 이벤트를 배치하는 경우에는, 그 음향 이벤트의 배치 위치가 가시화되어 유저에게 제시되도록 해도 된다.
구체적으로는, 예를 들어 도 5에 나타낸 바와 같이, 대상 에어리어의 지도 위에 음향 이벤트를 나타내는 이벤트 화상 M11을 표시시킴으로써, 유저가 음향 이벤트의 위치를 순시에 파악할 수 있도록 해도 된다.
도 5의 예에서는, 지도 위에 있어서의 음향 이벤트가 배치된 위치에, 그 음향 이벤트를 나타내는 이벤트 화상 M11이 표시되어 있다.
여기서는 이벤트 화상 M11의 도면 중, 우측의 부분에는, 음향 이벤트를 상기시키는 음성 파형이 그려져 있고, 이벤트 화상 M11의 도면 중, 좌측의 부분에는, 음향 이벤트의 종별에 따른 형상의 도형이 그려져 있다.
이와 같이, 음향 이벤트의 종별 등을 파악할 수 있는 이벤트 화상 M11이 배치된 지도 등의 표시 화상을, 유저의 휴대 단말기 등에 표시시킴으로써, 유저는 대상 에어리어의 어느 위치에, 어떤 음향 이벤트가 있는지를 순시에 파악할 수 있다.
또한, 이벤트 화상 M11에는, 예를 들어 음향 이벤트를 소개하는 문자 메시지 등, 음향 이벤트에 관한 문자 메시지나, 음향 이벤트의 종별을 나타내는 문자, 음향 이벤트가 그 위치에 배치되는 기간 등도 표시되도록 해도 된다.
또한, 유저의 현재 위치의 주위에 있는 음향 이벤트(가상 음원)의 배치 위치 등을 나타내는 정보는, 도 5에 나타낸 지도 정보에 한정되지 않고, 배치 위치를 나타내는 텍스트 정보나, 배치 위치를 방송하는 음성 정보 등, 어떤 것이어도 된다.
따라서, 예를 들어 유저가 소지하는 휴대 단말기에 의해 촬영된, 휴대 단말기의 주위를 피사체로 하는 환경 화상 위에, 이벤트 화상 M11을 AR(Augmented Reality) 화상으로서 중첩 표시시키도록 해도 된다.
또한, 대상 에어리어로서의 시가지에 복수의 음향 이벤트가 배치되는 경우, 유저마다 제시를 받고 싶은 음향 이벤트는 다르다.
그래서, 예를 들어 유저가, 미리 음향 이벤트의 제시를 관리하는 서버의 웹페이지 등에 액세스하여, 자신이 제시를 희망하는 음향 이벤트의 종별 등을 지정(설정)할 수 있도록 해도 된다.
그러한 경우, 유저가 음향 이벤트의 배치 위치에 있을 때라도, 그 음향 이벤트가 유저의 제시 희망의 것이 아니면, 유저에 대하여 음향 이벤트의 제시는 행해지지 않는다.
또한, 대상 에어리어 내의 각 위치의 RIR은, 어떤 형식으로 보유되어도 되지만, 예를 들어 RIR의 데이터의 차원을 압축함으로써, RIR을 보유해 두기 위한 기록 영역을 삭감할 수 있다.
예를 들어, 대상 에어리어 내의 위치마다 엄밀한 RIR을 보유하고자 하면, 도 6의 Q11로 나타낸 바와 같이, 음향 이벤트 등의 가상 음원 VS11의 배치 위치와, 그 가상 음원 VS11의 소리의 청취 위치(유저 위치), 즉 RIR을 측정하는 마이크로폰 SP11의 배치 위치의 조합마다 RIR을 준비할 필요가 있다.
이 예에서는, 가상 음원 VS11에 대응하는 스피커로부터 출력된 소리를, 마이크로폰 SP11에 의해 수음함으로써, 가상 음원 VS11부터 마이크로폰 SP11까지의 사이의 RIR이 측정되는 것으로 한다.
여기서, 가상 음원 VS11이나 마이크로폰 SP11이 배치된 대상 에어리어 내의 위치를, 3차원 직교 좌표에 의해 나타내는 것으로 한다.
특히, 가상 음원 VS11의 배치 위치를 위치 rs＝(xs, ys, zs)로 하고, 마이크로폰 SP11의 배치 위치를 위치 rr＝(xr, yr, zr)로 하는 것으로 한다.
그러한 경우, 엄밀하게는 위치 rs와 위치 rr의 조합마다 RIR을 측정하여, 보유해 두어야만 한다. 위치 rs와 위치 rr의 조합은, 6차원의 파라미터(좌표)에 의해 나타나기 때문에, RIR을 보유해 두기 위한 기록 영역도 커진다.
이에 비해, 예를 들어 Q12로 나타낸 바와 같이, RIR을 마이크로폰 SP11부터 가상 음원 VS11까지의 거리 r을 인수로 하는 함수로서 보유하면, 차수를 1차원으로 압축할 수 있다.
RIR은, 예를 들어 W11의 부분에 나타낸 바와 같이 종축을 레벨로 하고, 횡축을 시간으로 하는 임펄스 응답이다. 이러한 RIR은, B11로 나타내는 부분, 즉 직접음의 성분과, B12로 나타내는 부분, 즉 초기 반사 및 후방부 잔향의 성분을 포함한다.
이들 직접음의 성분이나 초기 반사 및 후방부 잔향의 성분의 레벨의 밸런스(크기의 비)나 각 성분의 레벨 자체는 거리 r에 따라 변화된다. 그래서, 거리 r을 인수로 하는 함수로 RIR을 표현하면, 대상 에어리어 내의 각 위치에 있어서의 RIR을 보유해 두기 위한 기록 영역을 삭감할 수 있다.
<음향 재생 시스템의 구성예>
이어서, 본 기술을 적용한 음향 재생 시스템에 대하여 설명한다.
음향 재생 시스템은, 예를 들어 도 7에 나타낸 바와 같이 신호 처리 장치(11), 재생 장치(12), 음향 이벤트 제공 서버(13) 및 RIR 서버(14)를 갖고 있다.
음향 재생 시스템에서는, 신호 처리 장치(11), 음향 이벤트 제공 서버(13) 및 RIR 서버(14)가 인터넷 등의 네트워크에 의해 서로 접속되어 있다.
신호 처리 장치(11)는, 예를 들어 유저가 소지하는 스마트 폰이나 태블릿 등의 휴대형 단말 장치를 포함한다.
또한, 재생 장치(12)는, 예를 들어 이혈 개방형의 헤드폰이나 이어폰 등을 포함하는 음향 재생 장치이고, 유저의 두부, 더 상세하게는 유저의 귀에 장착되어 있다. 재생 장치(12)는, 유선 또는 무선에 의해 신호 처리 장치(11)에 접속되어 있다.
신호 처리 장치(11)는, 음향 이벤트 제공 서버(13)로부터, 대상 에어리어 내에 배치된 음향 이벤트, 즉 가상 음원의 가상 음원 데이터의 공급을 받아, 재생 장치(12)에서의 가상 음원의 소리의 재생을 제어하는 재생 제어 장치로서 기능한다.
여기서, 가상 음원 데이터는, 음향 이벤트, 즉 가상 음원의 소리를 재생하기 위한 오디오 데이터이다.
신호 처리 장치(11)는, 통신부(31), 현재 위치 취득부(32), 표시부(33), 기록부(34), 입력부(35), 제어부(36), 상대 방향 계산부(37), RIR 중첩 적분 처리부(38), HRIR 중첩 적분 처리부(39) 및 재생 제어부(40)를 갖고 있다.
통신부(31)는, 네트워크를 통해 음향 이벤트 제공 서버(13)나 RIR 서버(14)와 통신하여, 통신 상대로부터 송신되어 온 데이터를 수신하여 제어부(36)에 공급하거나, 제어부(36)로부터 공급된 데이터를 통신 상대로 송신하거나 한다.
여기서는 통신부(31)는, 가상 음원(음향 이벤트)의 제시처가 되는 신호 처리 장치(11)의 현재 위치에 따른 RIR이나 가상 음원 데이터를 취득하는 취득부로서 기능한다.
현재 위치 취득부(32)는, 예를 들어 GPS 모듈 등을 포함하고, 신호 처리 장치(11)의 현재 위치, 즉 유저의 현재 위치를 계측하여, 그 계측 결과를 나타내는 현재 위치 정보를 제어부(36)에 공급한다.
표시부(33)는, 유기 EL(Electro Luminescence) 디스플레이 등이 임의의 표시 디바이스를 포함하고, 제어부(36)의 제어에 따라 각종 화상을 표시한다.
기록부(34)는, 불휘발성의 메모리를 포함하고, 제어부(36)로부터 공급된 데이터를 기록하거나, 기록되어 있는 데이터를 제어부(36)나 상대 방향 계산부(37)에 공급하거나 한다.
예를 들어 기록부(34)에는, 가상 음원으로부터 유저의 귀(고막)까지의 전달 특성을 부가하기 위한 데이터, 즉 가상 음원의 위치에 음상을 정위시키기 위한 두부 전달 함수가, 유저로부터 본 가상 음원의 방향마다 기록되어 있다. 이 두부 전달 함수는, 유저 고유의 것이어도 되고, 평균적인 것이어도 된다.
또한, 두부 전달 함수는, 시간 영역의 정보인 HRIR(Head Related Impulse Response)의 형식으로 기록되어도 되고, 주파수 영역의 정보인 HRTF(Head Related Transfer Function)의 형식으로 기록되어도 되지만, 이하에는 HRIR이 기록부(34)에 기록되어 있는 것으로 하여 설명을 계속한다.
입력부(35)는, 예를 들어 표시부(33)에 중첩되어 마련된 터치 패널이나, 버튼, 스위치 등을 포함하고, 유저의 조작에 따른 신호를 제어부(36)에 공급한다. 제어부(36)는, 신호 처리 장치(11) 전체의 동작을 제어한다.
상대 방향 계산부(37)는, 재생 장치(12)로부터 공급된 두부 회전 정보와, 제어부(36)로부터 공급된 현재 위치 정보 및 가상 음원 위치 정보에 따른 HRIR을 기록부(34)로부터 읽어내어 HRIR 중첩 적분 처리부(39)에 공급한다.
여기서, 두부 회전 정보는 재생 장치(12)의 방향, 즉 재생 장치(12)가 장착된 유저의 두부의 방향(두부의 회전 방향)을 나타내는 각도 정보이고, 예를 들어 유저의 두부의 방향을 나타내는 롤각, 피치각 및 요각을 포함한다.
또한, 가상 음원 위치 정보는, 음향 이벤트 제공 서버(13)로부터 공급되는 가상 음원 데이터에 기초하는 가상 음원의 배치 위치를 나타내는 정보이다.
RIR 중첩 적분 처리부(38)는, 제어부(36)로부터 공급된 RIR과 가상 음원 데이터의 중첩 적분을 행하여, 중첩 적분 후의 가상 음원 데이터, 즉 중첩 적분에 의해 얻어진 오디오 데이터를 HRIR 중첩 적분 처리부(39)에 공급한다.
HRIR 중첩 적분 처리부(39)는, RIR 중첩 적분 처리부(38)로부터 공급된 가상 음원 데이터와, 상대 방향 계산부(37)로부터 공급된 HRIR을 중첩 적분함으로써, 재생 장치(12)를 구동시켜 가상 음원의 소리를 재생시키기 위한 구동 데이터를 생성하여, 재생 제어부(40)에 공급한다.
또한, 가상 음원 데이터와의 RIR이나 HRIR, 즉 음향 전달 특성이나 두부 전달 함수의 중첩 적분은, 시간 영역에서 행해져도 되고, 주파수 영역에서 행해져도 된다. 또한, 가상 음원 데이터에 대하여 HRIR이 중첩 적분된 후, RIR이 중첩 적분되도록 해도 된다.
재생 제어부(40)는, HRIR 중첩 적분 처리부(39)로부터 공급된 구동 데이터에 기초하여 재생 장치(12)를 구동시켜, 가상 음원의 소리, 즉 음향 이벤트를 재생시킨다.
신호 처리 장치(11)에서는, 예를 들어 제어부(36) 내지 재생 제어부(40)는, 하나 또는 복수의 프로세서 등에 의해 실현된다.
또한, 재생 장치(12)는, 회전 검출부(51) 및 재생부(52)를 갖고 있다.
회전 검출부(51)는, 예를 들어 자이로 센서 등을 포함하고, 재생 장치(12), 즉 재생 장치(12)를 장착한 유저의 두부의 회전을 검출하고, 그 검출 결과를 나타내는 두부 회전 정보를 상대 방향 계산부(37)에 공급한다.
재생부(52)는, 드라이버 등이라고 불리는 스피커 유닛을 포함하고, 재생 제어부(40)로부터 공급된 구동 데이터에 기초하여 가상 음원의 소리를 재생한다.
또한, 음향 재생 장치로서 기능하는 재생 장치(12)와, 그 음향 재생 장치(재생 장치(12))에 대하여, 가상 음원의 소리를 재생시키기 위한 구동 데이터(오디오 데이터)를 공급하는 외부 장치인 신호 처리 장치(11)가 무선에 의해 접속되는 경우에는, 재생 장치(12)에 수신부가 마련된다. 그러한 경우, 재생 장치(12)의 수신부는, 신호 처리 장치(11)로부터 송신되어 온 구동 데이터를 수신하여, 재생부(52)로 공급한다. 또한, 더 상세하게는 재생 장치(12)와 신호 처리 장치(11)가 유선에 의해 접속되는 경우에 있어서도, 신호 처리 장치(11)로부터 출력된 구동 데이터를 수신(취득)하는 재생 장치(12)의 도시하지 않은 입력 인터페이스 등이 수신부로서 기능한다.
음향 이벤트 제공 서버(13)는, 통신부(71), 제어부(72) 및 기록부(73)를 갖고 있다.
통신부(71)는, 네트워크를 통해 신호 처리 장치(11) 등과 통신한다. 즉, 통신부(71)는, 제어부(72)로부터 공급된 데이터를 통신 상대로 송신하거나, 통신 상대로부터 송신되어 온 데이터를 수신하여 제어부(72)에 공급하거나 한다.
제어부(72)는, 음향 이벤트 제공 서버(13) 전체의 동작을 제어한다. 기록부(73)는, 각종 데이터를 기록하고 있고, 기록되어 있는 데이터를 적절히, 제어부(72)에 공급한다.
예를 들어 기록부(73)에는, 가상 음원마다, 그 가상 음원의 배치 위치를 나타내는 가상 음원 위치 정보와, 가상 음원 데이터와, 가상 음원 메타데이터가 대응지어져 기록되어 있다.
여기서, 가상 음원 메타데이터란, 예를 들어 가상 음원 데이터의 배신 대상의 연령이나 성별, 음향 이벤트(가상 음원)의 카테고리, 음향 이벤트의 재생 언어 등, 가상 음원 데이터에 관한 메타데이터이다.
예를 들어, 가상 음원 메타데이터에 배신 대상의 연령이나 성별을 나타내는 정보가 포함되도록 하면, 음향 이벤트의 제공(배신)을 연령이나 성별에 의해 제한할 수 있다.
또한, 예를 들어 가상 음원 메타데이터에 음향 이벤트의 카테고리를 나타내는 정보가 포함되도록 하면, 유저가 카테고리를 지정하여, 자신이 제공을 받는 음향 이벤트를 선택할 수 있다.
또한, 예를 들어 가상 음원 메타데이터에 음향 이벤트의 재생 언어를 나타내는 정보가 포함되도록 하면, 가상 음원 데이터가 관광 가이드의 음성 데이터 등인 경우에, 재생 언어마다 가상 음원 데이터를 준비하여 다언어 대응을 실현할 수 있다. 즉, 동일한 위치에 있어서, 유저별로 다른 재생 언어로 음향 이벤트를 제시할 수 있다.
그밖에, 예를 들어 가상 음원 메타데이터에, 가상 음원 데이터(음향 이벤트)의 배신이 허가된 유저의 유저 ID가 포함되도록 하면, 가상 음원 데이터의 등록자(제작자)가 배신 대상의 유저를 선택할 수 있다.
또한, 예를 들어 기록부(73)에는, 미리 등록된 유저에 대하여, 유저를 나타내는 유저 ID와, 그 유저에 관련되는 유저 관련 정보가 대응지어져 기록되어 있다.
예를 들어 유저 관련 정보에는, 유저의 연령이나 성별, 유저가 배신을 희망하는 음향 이벤트의 카테고리를 나타내는 정보, 유저가 희망하는 음향 이벤트의 재생 언어를 나타내는 정보 등이 포함되어 있다.
RIR 서버(14)는, 통신부(81), 제어부(82) 및 기록부(83)를 갖고 있다.
통신부(81)는, 네트워크를 통해 신호 처리 장치(11) 등과 통신한다. 즉, 통신부(81)는, 제어부(82)로부터 공급된 데이터를 통신 상대로 송신하거나, 통신 상대로부터 송신되어 온 데이터를 수신하여 제어부(82)에 공급하거나 한다.
제어부(82)는, RIR 서버(14) 전체의 동작을 제어한다. 기록부(83)는, 각종 데이터를 기록하고 있고, 기록되어 있는 데이터를 적절히, 제어부(82)에 공급한다.
예를 들어 기록부(83)에는, 대상 에어리어별로, 그 대상 에어리어 내의 복수의 각 위치에 대하여, 그것들의 위치를 나타내는 전달 특성 위치 정보와, 음향 전달 특성으로서의 RIR이 대응지어져(관련지어져) 기록되어 있다. 즉, RIR 서버(14)에서는, 대상 에어리어 내의 위치마다 음향 전달 특성(RIR)이 준비되어 있다.
또한, RIR은, 예를 들어 도 6을 참조하여 설명한 바와 같이 거리 r을 인수로 하는 함수로서 기록하는 등, 어떤 형식으로 기록되어도 된다.
또한, 도 7에 나타내는 예에서는, 음향 이벤트 제공 서버(13)나 RIR 서버(14)가 하나의 장치에 의해 구성되는 예에 대하여 설명했지만, 이들 음향 이벤트 제공 서버(13)나 RIR 서버(14)는, 클라우드상에 있는 복수의 장치에 의해 구성되도록 해도 된다.
또한, 음향 이벤트 제공 서버(13)와 RIR 서버(14)가 하나의 장치에 의해 실현되어도 된다. 그밖에, 신호 처리 장치(11)의 기능의 일부가 재생 장치(12)에 마련되도록 해도 된다.
<표시 처리 및 위치 정보 제공 처리의 설명>
계속해서, 도 7에 나타낸 음향 재생 시스템의 동작에 대하여 설명한다.
예를 들어, 음향 재생 시스템에 있어서는, 재생 장치(12)를 장착하여, 신호 처리 장치(11)를 소지하고 있는 유저가 대상 에어리어 내에 있는 경우, 유저가 음향 이벤트(가상 음원)의 배치 위치에 오면, 유저, 즉 신호 처리 장치(11)에 대하여 음향 이벤트가 제공된다.
유저는, 임의의 장소에 있을 때, 대상 에어리어 내의 어느 위치에, 어떤 음향 이벤트가 배치되어 있는지를 나타내는 표시 화상을 신호 처리 장치(11)에 표시시킬 수 있다.
예를 들어, 유저에 의해 입력부(35)가 조작되어, 표시 화상의 표시가 지시되면, 신호 처리 장치(11)는 표시 처리를 개시하고, 그것에 따라 음향 이벤트 제공 서버(13)는 위치 정보 제공 처리를 행한다.
이하, 도 8의 흐름도를 참조하여, 신호 처리 장치(11)에 의한 표시 처리 및 음향 이벤트 제공 서버(13)에 의한 위치 정보 제공 처리에 대하여 설명한다.
스텝 S11에 있어서, 신호 처리 장치(11)의 제어부(36)는, 현재 위치 취득부(32)로부터 현재 위치 정보를 취득하여, 통신부(31)로 공급한다.
스텝 S12에 있어서 통신부(31)는, 제어부(36)로부터 공급된 현재 위치 정보를 음향 이벤트 제공 서버(13)로 송신하여, 가상 음원 위치 정보의 송신을 요구한다.
그러면, 스텝 S21에 있어서 음향 이벤트 제공 서버(13)의 통신부(71)는, 신호 처리 장치(11)로부터 송신되어 온 현재 위치 정보를 수신하여 제어부(72)에 공급한다.
스텝 S22에 있어서 제어부(72)는, 통신부(71)로부터 공급된 현재 위치 정보와, 기록부(73)에 기록되어 있는 각 가상 음원의 가상 음원 위치 정보에 기초하여, 유저의 현재 위치로부터의 거리가 소정값 이하인 모든 가상 음원의 가상 음원 위치 정보를 기록부(73)로부터 읽어낸다. 그리고 제어부(72)는, 읽어낸 가상 음원 위치 정보를 통신부(71)에 공급한다.
또한, 예를 들어 유저에 의해 지정된 카테고리에 속하는 가상 음원(음향 이벤트)의 가상 음원 위치 정보 등, 유저에 대한 제시 조건이 충족되는 가상 음원의 가상 음원 위치 정보만이 읽어내어지도록 해도 된다.
또한, 여기서는 유저의 현재 위치 부근에 배치된 음향 이벤트의 배치 위치가 표시 화상으로서 표시되는 예에 대하여 설명하지만, 유저의 현재 위치와는 다른 임의의 위치 부근에 있어서의 음향 이벤트의 배치 위치를 표시 화상으로서 표시해도 된다.
그러한 경우에는, 스텝 S12에서는 현재 위치 정보가 아니라, 유저 등에 의해 지정된 임의의 위치를 나타내는 위치 정보가 송신되도록 하면 된다.
스텝 S23에 있어서 통신부(71)는, 제어부(72)로부터 공급된 가상 음원 위치 정보를 신호 처리 장치(11)로 송신하고, 위치 정보 제공 처리는 종료된다.
또한, 스텝 S23에서는, 가상 음원 위치 정보와 함께 가상 음원의 종별을 나타내는 정보나, 가상 음원의 가상 음원 메타데이터 등도 송신되도록 해도 된다.
또한, 신호 처리 장치(11)에서는, 스텝 S13에 있어서 통신부(31)는, 음향 이벤트 제공 서버(13)로부터 송신되어 온 가상 음원 위치 정보를 수신하여 제어부(36)에 공급한다. 이에 의해, 유저 부근에 배치된 가상 음원(음향 이벤트)의 가상 음원 위치 정보가 취득되게 된다.
스텝 S14에 있어서 제어부(36)는, 통신부(31)로부터 공급된 가상 음원 위치 정보에 기초하여, 유저(신호 처리 장치(11))의 현재 위치 부근의 지도 위에 있어서의 가상 음원 위치 정보에 의해 나타나는 위치에 음향 이벤트를 나타내는 마크가 중첩된 표시 화상을 생성한다.
이에 의해, 예를 들어 도 5에 나타낸 화상, 즉 음향 이벤트의 배치 위치를 나타내는 지도 정보가 표시 화상으로서 생성된다.
스텝 S15에 있어서 제어부(36)는, 생성된 표시 화상을 표시부(33)에 공급하여 표시시키고, 표시 처리는 종료된다.
이상과 같이 하여 신호 처리 장치(11)는, 현재 위치 정보를 음향 이벤트 제공 서버(13)로 송신하여 가상 음원 위치 정보를 취득하고, 음향 이벤트의 위치를 나타내는 표시 화상을 표시시킨다. 또한, 음향 이벤트 제공 서버(13)는, 신호 처리 장치(11)의 요구에 따라 가상 음원 위치 정보를 송신한다.
이렇게 함으로써, 유저는, 자신의 주위의 어느 위치에 어떤 음향 이벤트(가상 음원)가 배치되어 있는지를 용이하게 파악할 수 있다.
따라서, 예를 들어 유저는, 스텝 S15에서 표시된 표시 화상을 보고, 흥미가 있는 음향 이벤트가 있을 때는, 그 음향 이벤트가 제시되는 위치까지 이동할 수 있다.
<재생 처리, RIR 제공 처리 및 음향 이벤트 제공 처리의 설명>
또한, 유저가 신호 처리 장치(11)에 있어서 음향 이벤트의 제공을 받기 위한 애플리케이션 등을 기동시키면 도 9에 나타내는 처리가 행해져, 적절히, 음향 이벤트가 제공된다.
이하, 도 9의 흐름도를 참조하여, 신호 처리 장치(11)에 의한 재생 처리, RIR 서버(14)에 의한 RIR 제공 처리 및 음향 이벤트 제공 서버(13)에 의한 음향 이벤트 제공 처리에 대하여 설명한다.
애플리케이션이 기동하면, 신호 처리 장치(11)에서는 재생 처리가 개시되어, 스텝 S51의 처리가 행해진다.
즉, 스텝 S51에 있어서 제어부(36)는, 현재 위치 취득부(32)로부터 현재 위치 정보를 취득한다. 또한, 제어부(36)는 기록부(34)로부터, 유저를 식별하는 유저 ID를 취득하여, 현재 위치 정보 및 유저 ID를 통신부(31)에 공급한다.
스텝 S52에 있어서 통신부(31)는, 제어부(36)로부터 공급된 현재 위치 정보를 RIR 서버(14)로 송신하여 RIR의 송신을 요구한다.
또한, 통신부(31)는, 제어부(36)로부터 공급된 현재 위치 정보 및 유저 ID를 음향 이벤트 제공 서버(13)로 송신하고, 가상 음원 데이터의 송신을 요구한다.
이렇게 하여 현재 위치 정보가 송신되면, RIR 서버(14)에서는 RIR 제공 처리가 개시된다.
즉, 스텝 S91에 있어서 통신부(81)는, 신호 처리 장치(11)로부터 송신되어 온 현재 위치 정보를 수신하여 제어부(82)에 공급한다.
스텝 S92에 있어서 제어부(82)는, 통신부(81)로부터 공급된 현재 위치 정보에 기초하여, 기록부(83)로부터 RIR을 읽어내어 통신부(81)에 공급한다.
예를 들어 제어부(82)는, 현재 위치 정보에 의해 나타나는 유저의 현재 위치를 포함하는 대상 에어리어의 RIR 중에서, 유저의 현재 위치와, 전달 특성 위치 정보에 의해 나타나는 위치의 거리가 최소가 되는 RIR을 기록부(83)로부터 읽어낸다.
이것은, 대상 에어리어 내의 각 위치의 RIR 중, 전달 특성 위치 정보에 의해 나타나는 위치가 유저의 현재 위치에 가장 가까운 RIR은, 그 유저의 현재 위치에 있어서의 실제의 잔향 등의 소리의 특성을 부가하기 위한 것이기 때문이다.
또한, 전달 특성 위치 정보에 의해 나타나는 위치와, 유저의 현재 위치 사이의 거리가 소정의 역치 이하가 되는 RIR이 없는 경우에는, 유저의 현재 위치에 있어서의 RIR이 없는 것으로 되어, 신호 처리 장치(11)로의 RIR의 송신이 행해지지 않도록 해도 된다. 또한, 예를 들어 도 6을 참조하여 설명한 바와 같이, RIR이 거리 r을 인수로 하는 함수로서 기록되어 있는 경우에는, 전달 특성 위치 정보 및 현재 위치 정보로부터 구해지는 거리 r이 함수에 대입되어, RIR이 구해진다.
스텝 S93에 있어서 통신부(81)는, 제어부(82)로부터 공급된 RIR을 신호 처리 장치(11)로 송신하고, RIR 제공 처리는 종료된다.
또한, 스텝 S52에서 현재 위치 정보 및 유저 ID가 음향 이벤트 제공 서버(13)로 송신되면, 음향 이벤트 제공 서버(13)에서는 음향 이벤트 제공 처리가 개시된다.
즉, 스텝 S121에 있어서 통신부(71)는, 신호 처리 장치(11)로부터 송신되어 온 현재 위치 정보 및 유저 ID를 수신하여, 제어부(72)에 공급한다.
스텝 S122에 있어서 제어부(72)는, 통신부(71)로부터 공급된 현재 위치 정보 및 유저 ID에 기초하여, 유저 ID에 의해 나타나는 유저에 대하여 제공해야 할 음향 이벤트(가상 음원), 즉 가상 음원 데이터가 있는지 여부를 판정한다.
예를 들어 제어부(72)는, 현재 위치 정보와, 기록부(73)에 기록되어 있는 유저 ID에 대응지어진 유저 관련 정보, 가상 음원 위치 정보 및 가상 음원 메타데이터에 기초하여, 유저에 대하여 제공해야 할 음향 이벤트가 있는지의 판정 처리를 행한다.
구체적으로는, 예를 들어 제어부(72)는, 현재 위치 정보와 가상 음원 위치 정보에 기초하여, 현재 위치 정보에 의해 나타나는 유저의 현재 위치까지의 거리가 소정의 역치 이하로 되는 위치에 배치된 가상 음원(음향 이벤트)을 제공 후보의 음향 이벤트로서 검색한다.
또한 제어부(72)는, 유저 ID에 대응지어진 유저 관련 정보와, 제공 후보의 음향 이벤트의 가상 음원 메타데이터에 기초하여, 제공 후보의 음향 이벤트 중에서 유저에 대하여 제공해야 할 음향 이벤트를 선택한다.
구체적으로는, 예를 들어 유저 관련 정보에 의해 나타나는 유저의 연령이나 성별이, 가상 음원 메타데이터에 의해 나타나는 배신 대상의 연령이나 성별인 제공 후보의 음향 이벤트가, 유저에 대하여 제공해야 할 음향 이벤트로서 선택된다.
또한, 예를 들어 가상 음원 메타데이터에 의해 나타나는 카테고리가, 유저 관련 정보에 의해 나타나는 배신 희망의 카테고리와 동일한 제공 후보의 음향 이벤트가, 유저에 대하여 제공해야 할 음향 이벤트로서 선택된다.
또한, 예를 들어 가상 음원 메타데이터에 의해 나타나는 재생 언어가, 유저 관련 정보에 의해 나타나는 희망의 재생 언어와 동일한 제공 후보의 음향 이벤트가, 유저에 대하여 제공해야 할 음향 이벤트로서 선택된다.
또한, 기록부(73)에 유저 관련 정보가 기록되어 있지 않은 경우나, 음향 이벤트의 배치 위치 근방에 있는 전체 유저에 대하여, 그 음향 이벤트가 제공되는 경우에는, 상술한 제공 후보의 전체 음향 이벤트가, 유저에 대하여 제공해야 할 음향 이벤트로서 선택된다.
이렇게 하여, 제공해야 할 음향 이벤트가 있는지의 판정 처리를 행하여, 그 판정 결과에 따라 음향 이벤트를 제공하는 것은, 유저가 음향 이벤트의 제시 조건을 충족시키는지 여부를 판정하여, 유저가 제시 조건을 충족시키는 경우에 음향 이벤트를 제공하는 것이라고 할 수 있다.
스텝 S122에 있어서 유저에게 제공해야 할 음향 이벤트가 없다고 판정된 경우, 음향 이벤트의 제공은 행해지지 않고, 음향 이벤트 제공 처리는 종료된다. 이 경우, 음향 이벤트 제공 서버(13)로부터 신호 처리 장치(11)에 대하여, 제공해야 할 음향 이벤트가 없다는 취지의 통지가 송신되도록 해도 된다.
한편, 스텝 S122에 있어서 유저에게 제공해야 할 음향 이벤트가 있다고 판정된 경우, 그 후, 처리는 스텝 S123으로 진행한다.
스텝 S123에 있어서 제어부(72)는, 스텝 S122의 처리에서 특정된, 유저에 대하여 제공해야 할 음향 이벤트(가상 음원)의 가상 음원 데이터 및 가상 음원 위치 정보를 기록부(73)로부터 읽어내어 통신부(71)에 공급한다.
스텝 S124에 있어서 통신부(71)는, 제어부(72)로부터 공급된 가상 음원 데이터 및 가상 음원 위치 정보를 신호 처리 장치(11)로 송신하고, 음향 이벤트 제공 처리는 종료된다.
또한, 신호 처리 장치(11)에서는, 스텝 S52의 처리가 행해진 후, 스텝 S53의 처리가 행해진다.
스텝 S53에 있어서 통신부(31)는, 스텝 S93의 처리에 의해 RIR 서버(14)로부터 송신되어 온 RIR을 수신하여, 제어부(36)에 공급한다. 또한, 제어부(36)는, 통신부(31)로부터 공급된 RIR을 RIR 중첩 적분 처리부(38)에 공급한다.
이에 의해, 통신부(31)는, 신호 처리 장치(11)의 현재 위치를 나타내는 정보를, 음향 이벤트(가상 음원)의 제시처의 현재 위치를 나타내는 현재 위치 정보로서 RIR 서버(14)로 공급(송신)함으로써, 신호 처리 장치(11)의 현재 위치에 따른 RIR을 취득한 것으로 된다.
또한, 신호 처리 장치(11)가, RIR 서버(14)로부터 대상 에어리어의 각 위치의 RIR을 미리 취득(다운로드)하여 기록해 두도록 해도 된다.
또한, 신호 처리 장치(11)가 음향 이벤트 제공 서버(13)를 경유하여 RIR 서버(14)로부터 RIR을 취득하도록 해도 된다.
그러한 경우, 음향 이벤트 제공 서버(13)의 통신부(71)는, 스텝 S121에서 수신한 현재 위치 정보를 RIR 서버(14)로 송신한다. 그러면, RIR 서버(14)에서는 스텝 S91 내지 스텝 S93과 마찬가지의 처리가 행해져, 읽어내어진 RIR이 통신부(81)에 의해 음향 이벤트 제공 서버(13)로 송신되고, 통신부(71)에 의해 수신된다.
그리고, 음향 이벤트 제공 서버(13)는, RIR 서버(14)로부터 수신한 RIR을 통신부(71)에 의해 신호 처리 장치(11)로 송신하고, 스텝 S53에서는 통신부(31)는, 음향 이벤트 제공 서버(13)로부터 송신되어 온 RIR을 수신한다.
스텝 S54에 있어서 제어부(36)는, 음향 이벤트 제공 서버(13)로부터 음향 이벤트의 가상 음원 데이터가 송신되어 왔는지 여부를 판정한다.
스텝 S54에 있어서 가상 음원 데이터가 송신되어 오지 않았다고 판정된 경우, 유저에 대하여 제시할 음향 이벤트는 없으므로, 재생 처리는 종료된다.
이에 비해, 스텝 S54에 있어서 가상 음원 데이터가 송신되어 왔다고 판정된 경우, 스텝 S55에 있어서 통신부(31)는, 음향 이벤트 제공 서버(13)로부터 송신되어 온 가상 음원 데이터 및 가상 음원 위치 정보를 수신하여 제어부(36)에 공급한다.
제어부(36)는, 통신부(31)로부터 공급된 가상 음원 데이터를 RIR 중첩 적분 처리부(38)에 공급함과 함께, 통신부(31)로부터 공급된 가상 음원 위치 정보와, 스텝 S51에서 취득한 현재 위치 정보를 상대 방향 계산부(37)에 공급한다.
스텝 S55의 처리에 의해, 통신부(31)는, 음향 이벤트(가상 음원)의 제시처가 되는 신호 처리 장치(11)의 현재 위치를 나타내는 현재 위치 정보를 음향 이벤트 제공 서버(13)에 공급함으로써, 그 현재 위치에 따른 가상 음원 데이터 및 가상 음원 위치 정보를 취득하게 된다.
또한, 여기서는 음향 이벤트 제공 서버(13)로부터 직접, 가상 음원 데이터를 수신하는 예에 대하여 설명하지만, RIR 서버(14)로부터 가상 음원 데이터를 수신하도록 해도 된다.
그러한 경우, RIR 서버(14)의 통신부(81)는, 신호 처리 장치(11)로부터 현재 위치 정보 및 유저 ID를 수신하고, 또한 그것들의 현재 위치 정보 및 유저 ID를 음향 이벤트 제공 서버(13)로 송신한다.
그러면 음향 이벤트 제공 서버(13)에서는, 상술한 스텝 S121 내지 스텝 S124와 마찬가지의 처리가 행해져, 가상 음원 데이터와 가상 음원 위치 정보가 음향 이벤트 제공 서버(13)로부터 RIR 서버(14)로 송신되고, RIR 서버(14)의 통신부(81)에 의해 수신된다.
그리고 RIR 서버(14)는, 음향 이벤트 제공 서버(13)로부터 수신한 가상 음원 데이터 및 가상 음원 위치 정보를 통신부(81)에 의해 신호 처리 장치(11)로 송신하고, 스텝 S55에서는, 통신부(31)는 RIR 서버(14)로부터 송신되어 온 가상 음원 데이터 및 가상 음원 위치 정보를 수신한다.
스텝 S56에 있어서 상대 방향 계산부(37)는, 제어부(36)로부터 공급된 가상 음원 위치 정보 및 현재 위치 정보와, 재생 장치(12)의 회전 검출부(51)로부터 공급된 두부 회전 정보에 기초하여, 유저로부터 본 가상 음원(음향 이벤트)의 배치 위치의 상대적인 방향(상대 방향)을 계산한다.
스텝 S57에 있어서 상대 방향 계산부(37)는, 스텝 S56에서 계산된 상대 방향에 대응하는 HRIR을 기록부(34)로부터 읽어내어 HRIR 중첩 적분 처리부(39)에 공급한다.
이에 의해, 상대 방향 계산부(37)는, 가상 음원 위치 정보, 현재 위치 정보 및 두부 회전 정보에 기초하여 적절한 HRIR을 선택하고, 그 선택한 HRIR을 기록부(34)로부터 읽어내어 HRIR 중첩 적분 처리부(39)에 공급하게 된다.
스텝 S58에 있어서 RIR 중첩 적분 처리부(38)는, 제어부(36)로부터 공급된 RIR과 가상 음원 데이터를 중첩 적분하고, 그 결과 얻어진 가상 음원 데이터를 HRIR 중첩 적분 처리부(39)에 공급한다. 이에 의해, 가상 음원 데이터에 대하여, 유저가 실제로 있는 장소에 있어서의 잔향 등의 특성이 부가되게 된다.
스텝 S59에 있어서 HRIR 중첩 적분 처리부(39)는, RIR 중첩 적분 처리부(38)로부터 공급된 가상 음원 데이터와, 상대 방향 계산부(37)로부터 공급된 HRIR을 중첩 적분하고, 그 결과 얻어진 구동 데이터를 재생 제어부(40)에 공급한다.
이에 의해, 가상 음원(음향 이벤트)의 음상을, 유저로부터 본 음향 이벤트의 상대적인 방향으로 정위시키는 구동 데이터, 즉 바이너럴 음성의 구동 데이터가 얻어지게 된다.
스텝 S60에 있어서 재생 제어부(40)는, HRIR 중첩 적분 처리부(39)로부터 공급된 구동 데이터를 재생 장치(12)의 재생부(52)에 공급하여 재생부(52)를 구동시킴으로써, 구동 데이터에 기초하는 음향 이벤트를 재생시킨다.
이렇게 하여 음향 이벤트가 재생되면, 재생 처리는 종료된다.
이상과 같이 하여 신호 처리 장치(11)는, 유저의 현재 위치 정보에 따라 가상 음원 데이터나 RIR을 취득하여, 가상 음원 데이터에 대하여 RIR이나 HRIR을 중첩 적분하고, 얻어진 구동 데이터에 기초하여 음향 이벤트(가상 음원)를 재생시킨다.
이렇게 유저의 현재 위치에 따른 RIR을 취득하여 구동 데이터를 생성함으로써, 더 리얼리티가 높은 음향 제시를 실현할 수 있다.
<제2 실시 형태>
<음향 재생 시스템의 구성예>
또한, 이상에 있어서는 신호 처리 장치(11)가 RIR을 취득하여 구동 데이터를 생성하는 예에 대하여 설명했지만, RIR 서버(14)나 음향 이벤트 제공 서버(13)에 있어서 구동 데이터가 생성되도록 해도 된다.
예를 들어, 음향 이벤트 제공 서버(13)에 의해 구동 데이터가 생성되는 경우, 음향 재생 시스템은, 도 10에 나타낸 바와 같이 구성된다. 또한, 도 10에 있어서 도 7에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하고 있고, 그 설명은 적절히 생략한다.
도 10에 나타내는 음향 재생 시스템은, 신호 처리 장치(11), 재생 장치(12), 음향 이벤트 제공 서버(13) 및 RIR 서버(14)를 갖고 있고, 신호 처리 장치(11), 음향 이벤트 제공 서버(13) 및 RIR 서버(14)가 네트워크를 통해 서로 접속되어 있다.
이 예에서는, 신호 처리 장치(11)는, 통신부(31), 현재 위치 취득부(32), 표시부(33), 기록부(34), 입력부(35), 제어부(36) 및 재생 제어부(40)를 갖고 있다.
즉, 도 10에 나타내는 신호 처리 장치(11)의 구성은, 상대 방향 계산부(37) 내지 HRIR 중첩 적분 처리부(39)가 마련되어 있지 않은 점에서 도 7의 신호 처리 장치(11)와 다르고, 그밖의 점에서는 도 7의 신호 처리 장치(11)와 동일한 구성으로 되어 있다.
또한, 도 10에 나타내는 예에서는, 재생 장치(12) 및 RIR 서버(14)의 구성은, 도 7에 있어서의 경우와 동일한 구성으로 되어 있다.
또한, 도 10에 나타내는 예에 있어서도 상술한 제1 실시 형태에 있어서의 경우와 마찬가지로, 음향 재생 장치인 재생 장치(12)에, 외부 장치인 신호 처리 장치(11)에 의해 송신된 구동 데이터를 수신하여, 재생부(52)로 공급하는 수신부가 마련되도록 해도 된다.
또한, 예를 들어 신호 처리 장치(11)와 재생 장치(12)가 일체로 되어 하나의 음향 재생 장치가 되도록 해도 되고, 그러한 경우에는, 통신부(31)가, 외부 장치로서의 음향 이벤트 제공 서버(13)에 의해 송신된 구동 데이터를 수신하는 수신부로서 기능한다.
또한, 도 10에 나타내는 예에서는, 음향 이벤트 제공 서버(13)는, 통신부(71), 제어부(72) 및 기록부(73)를 갖고 있고, 제어부(72)에 의해 상대 방향 계산부(37), RIR 중첩 적분 처리부(38) 및 HRIR 중첩 적분 처리부(39)가 실현된다.
즉, 제어부(72)는 상대 방향 계산부(37), RIR 중첩 적분 처리부(38) 및 HRIR 중첩 적분 처리부(39)를 갖고 있다.
기록부(73)에는, 가상 음원 위치 정보와, 가상 음원 데이터와, 가상 음원 메타데이터가 대응지어져 기록되어 있음과 함께, 유저 ID와 유저 관련 정보가 대응지어져 기록되어 있다. 또한, 기록부(73)에는, 유저로부터 본 가상 음원의 방향별로 HRIR이 기록되어 있다.
또한, 이 예에서는 음향 이벤트 제공 서버(13)의 통신부(71)는, 현재 위치 정보를 신호 처리 장치(11)로부터 취득하거나, 신호 처리 장치(11)의 현재 위치에 따른 RIR을 RIR 서버(14)로부터 취득하거나 하는 취득부로서 기능한다.
<재생 처리, RIR 제공 처리 및 음향 이벤트 제공 처리의 설명>
계속해서, 도 10에 나타낸 음향 재생 시스템의 동작에 대하여 설명한다.
예를 들어, 도 10에 나타낸 음향 재생 시스템에서는, 신호 처리 장치(11)와 음향 이벤트 제공 서버(13) 사이에서, 도 8을 참조하여 설명한 표시 처리 및 위치 정보 제공 처리가 행해져 표시 화상이 표시된다.
또한, 예를 들어 신호 처리 장치(11), 음향 이벤트 제공 서버(13) 및 RIR 서버(14)에 의해 도 11에 나타내는 처리가 행해져, 음향 이벤트가 재생된다.
이하, 도 11에 나타내는 흐름도를 참조하여, 신호 처리 장치(11)에 의한 재생 처리, RIR 서버(14)에 의한 RIR 제공 처리 및 음향 이벤트 제공 서버(13)에 의한 음향 이벤트 제공 처리에 대하여 설명한다.
신호 처리 장치(11)에 있어서 재생 처리가 개시되면, 스텝 S201에 있어서 제어부(36)는, 현재 위치 취득부(32)로부터 현재 위치 정보를 취득한다.
또한, 제어부(36)는, 기록부(34)로부터 유저의 유저 ID를 읽어냄과 함께, 재생 장치(12)의 회전 검출부(51)로부터 두부 회전 정보를 취득한다.
제어부(36)는, 이렇게 하여 얻어진 현재 위치 정보, 유저 ID 및 두부 회전 정보를 통신부(31)에 공급한다.
스텝 S202에 있어서 통신부(31)는, 제어부(36)로부터 공급된 현재 위치 정보, 유저 ID 및 두부 회전 정보를 음향 이벤트 제공 서버(13)로 송신한다.
그러면, 음향 이벤트 제공 서버(13)에서는, 음향 이벤트 제공 처리가 개시되어, 스텝 S231의 처리가 행해진다.
즉, 스텝 S231에 있어서 통신부(71)는, 신호 처리 장치(11)로부터 송신되어 온 현재 위치 정보, 유저 ID 및 두부 회전 정보를 수신(취득)하여 제어부(72)에 공급한다.
이에 의해, 통신부(71)는, 음향 이벤트(가상 음원)의 제시처인 신호 처리 장치(11)의 현재 위치를 나타내는 현재 위치 정보, 제시처의 유저를 나타내는 유저 ID 및 그 유저의 두부의 회전 방향을 나타내는 두부 회전 정보를 신호 처리 장치(11)로부터 취득하게 된다.
스텝 S232에 있어서 제어부(72)는, 통신부(71)로부터 공급된 현재 위치 정보 및 유저 ID에 기초하여, 유저 ID에 의해 나타나는 유저에 대하여 제공해야 할 음향 이벤트가 있는지 여부를 판정한다. 스텝 S232에서는, 도 9의 스텝 S122와 마찬가지의 처리가 행해진다.
스텝 S232에 있어서 유저에게 제공해야 할 음향 이벤트가 없다고 판정된 경우, 음향 이벤트의 제공은 행해지지 않고, 음향 이벤트 제공 처리는 종료된다. 이 경우, 음향 이벤트 제공 서버(13)로부터 신호 처리 장치(11)에 대하여, 제공해야 할 음향 이벤트가 없다는 취지의 통지가 송신되도록 해도 된다.
이에 비해, 스텝 S232에 있어서 유저에게 제공해야 할 음향 이벤트가 있다고 판정된 경우, 스텝 S233에 있어서 제어부(72)는, 유저에 대하여 제공해야 할 음향 이벤트의 가상 음원 데이터 및 가상 음원 위치 정보를 기록부(73)로부터 읽어낸다.
또한, 제어부(72)는, 스텝 S231에서 수신된 현재 위치 정보를 통신부(71)에 공급하여, RIR 서버(14)로의 송신을 지시한다.
스텝 S234에 있어서 통신부(71)는, 제어부(72)로부터 공급된 현재 위치 정보를 RIR 서버(14)로 송신한다.
그러면, RIR 서버(14)에서는, 스텝 S271 내지 스텝 S273의 처리가 행해져, 현재 위치 정보에 따른 RIR이 음향 이벤트 제공 서버(13)로 송신된다. 즉, RIR 서버(14)에서는, RIR 제공 처리로서 스텝 S271 내지 스텝 S273의 처리가 행해진다.
또한, 스텝 S271 내지 스텝 S273의 처리는, 도 9의 스텝 S91 내지 스텝 S93의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S235에 있어서 통신부(71)는, RIR 서버(14)로부터 송신되어 온 RIR을 수신하여 제어부(72)에 공급한다.
이에 의해, 통신부(71)는, 현재 위치 정보를 RIR 서버(14)에 공급(송신)함으로써, 그 현재 위치 정보에 의해 나타나는 현재 위치에 따른 RIR을 RIR 서버(14)로부터 취득한 것으로 된다.
또한, 여기서는 음향 이벤트 제공 서버(13)가 RIR 서버(14)로부터 RIR을 취득하는 예에 대하여 설명하지만, 신호 처리 장치(11)가 RIR을 취득하도록 해도 된다.
그러한 경우, 예를 들어 신호 처리 장치(11)에서는, 스텝 S202에 있어서 현재 위치 정보가 RIR 서버(14)로 송신되고, 그 후, 통신부(31)가 RIR 서버(14)로부터 송신되어 온 RIR을 수신한다. 또한, 통신부(31)는, 이렇게 하여 RIR 서버(14)로부터 수신한 RIR을 음향 이벤트 제공 서버(13)로 송신한다.
스텝 S235의 처리가 행해져 RIR이 수신되면, 그 후, 스텝 S236 내지 스텝 S239의 처리가 행해져 구동 데이터가 생성된다.
또한, 이들 스텝 S236 내지 스텝 S239의 처리는, 도 9의 스텝 S56 내지 스텝 S59의 처리와 마찬가지이므로, 그 설명은 생략한다.
단, 스텝 S236에서는, 스텝 S231에서 수신된 현재 위치 정보 및 두부 회전 정보와, 스텝 S233에서 읽어내어진 가상 음원 위치 정보에 기초하여 상대 방향 계산부(37)에 의해 상대 방향이 계산된다.
또한, 스텝 S237에서는, 제어부(72)에 의해 상대 방향에 대응하는 HRIR이 기록부(73)로부터 읽어내어진다. 또한, 스텝 S238에서는, 스텝 S233에서 읽어내어진 가상 음원 데이터와, 스텝 S235에서 수신된 RIR이 RIR 중첩 적분 처리부(38)에 의해 중첩 적분된다.
이렇게 하여 구동 데이터가 생성되면, 제어부(72)는 생성된 구동 데이터를 통신부(71)에 공급한다.
스텝 S240에 있어서 통신부(71)는, 제어부(72)로부터 공급된 구동 데이터를 신호 처리 장치(11)로 송신하고, 음향 이벤트 제공 처리는 종료된다. 이에 의해, 통신부(71)로부터, 음향 이벤트(가상 음원)의 제시처인 신호 처리 장치(11)에 대하여, 구동 데이터가 공급되게 된다.
또한, 신호 처리 장치(11)에서는, 스텝 S202 후, 스텝 S203의 처리가 행해진다.
즉, 스텝 S203에 있어서 제어부(36)는, 음향 이벤트 제공 서버(13)로부터 구동 데이터가 송신되어 왔는지 여부를 판정한다.
스텝 S203에 있어서 구동 데이터가 송신되어 오지 않았다고 판정된 경우, 유저에 대하여 제시할 음향 이벤트는 없으므로, 재생 처리는 종료된다.
이에 비해, 스텝 S203에 있어서 구동 데이터가 송신되어 왔다고 판정된 경우, 스텝 S204에 있어서 통신부(31)는, 음향 이벤트 제공 서버(13)로부터 송신되어 온 구동 데이터를 수신하여, 제어부(36)에 공급한다. 또한, 제어부(36)는, 통신부(31)로부터 공급된 구동 데이터를 재생 제어부(40)에 공급한다.
스텝 S205에 있어서 재생 제어부(40)는, 제어부(36)로부터 공급된 구동 데이터를 재생 장치(12)의 재생부(52)에 공급하여 재생부(52)를 구동시킴으로써, 구동 데이터에 기초하는 음향 이벤트를 재생시킨다.
이렇게 하여 음향 이벤트가 재생되면, 재생 처리는 종료된다.
이상과 같이 하여 음향 이벤트 제공 서버(13)는, 신호 처리 장치(11)로부터 현재 위치 정보나 두부 회전 정보를 수신함과 함께, RIR 서버(14)로부터 RIR을 취득하여 구동 데이터를 생성한다. 또한, 신호 처리 장치(11)는, 음향 이벤트 제공 서버(13)로부터 구동 데이터를 수신하여 음향 이벤트를 재생시킨다.
이렇게 음향 이벤트 제공 서버(13)에 있어서 구동 데이터를 생성하는 경우에 있어서도, 도 7에 나타낸 음향 재생 시스템에 있어서의 경우와 마찬가지로, 더 리얼리티가 높은 음향 제시를 실현할 수 있다.
<그밖의 변형예>
또한, 도 10에서는 음향 이벤트 제공 서버(13)에 있어서 구동 데이터를 생성하는 예에 대하여 설명했지만, RIR 서버(14)에 있어서 구동 데이터가 생성되도록 해도 된다.
그러한 경우, RIR 서버(14)의 제어부(82)에 상대 방향 계산부(37) 내지 HRIR 중첩 적분 처리부(39)가 마련된다.
그리고, RIR 서버(14)의 통신부(81)가 신호 처리 장치(11)로부터 현재 위치 정보나 유저 ID를 취득(수신)하거나, 그 현재 위치 정보나 유저 ID를 음향 이벤트 제공 서버(13)로 송신(공급)하여, 음향 이벤트 제공 서버(13)로부터 가상 음원 데이터를 취득하거나 한다.
또한, 음향 이벤트 제공 서버(13)나 RIR 서버(14)와는 다른 클라이드 상의 다른 서버가, 신호 처리 장치(11)나 음향 이벤트 제공 서버(13), RIR 서버(14)로부터 현재 위치 정보나 RIR, 가상 음원 데이터를 취득하여 구동 데이터를 생성해도 된다.
그런데, 대상 에어리어의 각 위치에 있어서의 RIR을 준비하는 데 있어서는, 예를 들어 유저 등에 의해 업로드된 화상에 기초하여, 그 화상의 촬영 위치에 있어서의 RIR을 추정하도록 해도 된다.
그러한 경우, 예를 들어 유저 등은, 신호 처리 장치(11) 등으로부터 소정의 서버에 대하여, 대상 에어리어 내의 소정 위치를 나타내는 위치 정보와, 그 소정 위치에서 촬영된 촬영 화상을 대응지어 송신(업로드)하고, 기록시킨다.
여기서는, 예를 들어 위치 정보가 대응지어진 촬영 화상이, 소정의 서버에서 관리되는 SNS(Social Networking Service)나 웹페이지 등에 게재된다.
RIR 서버(14)는, 통신부(81)에 의해 소정의 서버에 액세스하고, 촬영 화상과, 그 촬영 화상에 대응지어진 위치 정보를 취득하여 제어부(82)에 공급한다.
그러면, 제어부(82)는, 촬영 화상에 대하여 해석 처리를 행하여, 촬영 화상이 촬영된 위치에 있어서의 RIR을 추정한다.
여기서는, 예를 들어 해석 처리에 의해, 촬영 화상의 촬영 위치를 포함하는 시가지나 방 등의 실공간을 구성하는 재질이나 실공간의 크기 등이 추정되고, 그 추정 결과에 기초하여 RIR의 추정이 행해진다. 구체적으로는, 예를 들어 촬영 화상의 촬영 위치가 실내이면, 그 방을 구성하는 벽이나 바닥의 재질, 방의 크기 등이 추정되고, 그 추정 결과로부터 RIR이 추정된다.
이렇게 하여 RIR이 추정되면, 제어부(82)는, RIR의 추정에 사용한 촬영 화상에 대응지어진 위치 정보를, 그대로 전달 특성 위치 정보로 함과 함께, 얻어진 RIR과 전달 특성 위치 정보를 대응지어 기록부(83)에 기록시킨다.
그밖에, 예를 들어 대상 에어리어가 영화관 등인 경우에는, 그 영화관의 관리자 등이 관리하는 음향 이벤트 제공 서버(13)에 대한 유저의 로그인 정보, 구체적으로는 유저의 좌석이나 영화관의 위치 등의 정보를 현재 위치 정보로서 이용해도 된다.
또한, 예를 들어 대상 에어리어에 테마파크 등의 상업 시설이 포함되어 있고, 그 상업 시설에 대하여 RIR이 준비되어 있는 경우, 유저가 상업 시설의 게이트를 통과한 것을 나타내는 정보를 얻을 수 있을 때는, 그 정보를 현재 위치 정보의 취득에 이용해도 된다. 즉, 예를 들어 유저가 상업 시설의 게이트를 통과한 것이 확인된 경우, 바꾸어 말하면, 유저가 상업 시설 내에 있는 것이 확인된 경우에는, 그 상업 시설의 위치가 유저의 현재 위치로 되도록 해도 된다.
<컴퓨터의 구성예>
그런데, 상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 12는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.
컴퓨터에 있어서, CPU(Central Processing Unit)(501), ROM(Read Only Memory)(502), RAM(Random Access Memory)(503)은, 버스(504)에 의해 서로 접속되어 있다.
버스(504)에는, 입출력 인터페이스(505)가 더 접속되어 있다. 입출력 인터페이스(505)에는, 입력부(506), 출력부(507), 기록부(508), 통신부(509) 및 드라이브(510)가 접속되어 있다.
입력부(506)는, 키보드, 마우스, 마이크로폰, 촬상 소자 등을 포함한다. 출력부(507)는, 디스플레이, 스피커 등을 포함한다. 기록부(508)는, 하드 디스크나 불휘발성의 메모리 등을 포함한다. 통신부(509)는, 네트워크 인터페이스 등을 포함한다. 드라이브(510)는, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체(511)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(501)가, 예를 들어 기록부(508)에 기록되어 있는 프로그램을, 입출력 인터페이스(505) 및 버스(504)를 통해, RAM(503)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(CPU(501))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 기록 매체(511)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해 제공할 수 있다.
컴퓨터에서는, 프로그램은, 리무버블 기록 매체(511)를 드라이브(510)에 장착함으로써, 입출력 인터페이스(505)를 통해, 기록부(508)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해, 통신부(509)에서 수신하여, 기록부(508)에 인스톨할 수 있다. 그밖에, 프로그램은, ROM(502)이나 기록부(508)에 미리 인스톨해 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 본 기술은, 하나의 기능을 네트워크를 통해 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 본 기술은, 이하의 구성으로 하는 것도 가능하다.
(1)
공간 내의 각각의 위치에 관련되는 음향 전달 특성 중, 가상 음원의 제시처의 현재 위치에 따른 상기 음향 전달 특성과, 상기 가상 음원의 가상 음원 데이터를 중첩 적분하는 음향 전달 특성 중첩 적분 처리부를 구비하는
신호 처리 장치.
(2)
상기 신호 처리 장치의 위치를 나타내는 정보를, 상기 현재 위치를 나타내는 현재 위치 정보로서 공급함으로써, 상기 현재 위치에 따른 상기 음향 전달 특성을 취득하는 취득부를 더 구비하는
(1)에 기재된 신호 처리 장치.
(3)
상기 취득부는, 상기 현재 위치 정보에 기초하여, 상기 현재 위치에 따른 상기 가상 음원 데이터를 취득하는
(2)에 기재된 신호 처리 장치.
(4)
상기 현재 위치의 주위에 있는 상기 가상 음원의 배치 위치를 나타내는 정보를 표시시키는 제어부를 더 구비하는
(3)에 기재된 신호 처리 장치.
(5)
상기 배치 위치를 나타내는 정보는 지도 정보인
(4)에 기재된 신호 처리 장치.
(6)
상기 현재 위치를 나타내는 현재 위치 정보를 취득하는 취득부를 더 구비하는
(1)에 기재된 신호 처리 장치.
(7)
상기 취득부는, 상기 음향 전달 특성을 서버로부터 취득하는
(6)에 기재된 신호 처리 장치.
(8)
상기 취득부는, 상기 현재 위치 정보에 기초하여, 상기 현재 위치에 따른 상기 음향 전달 특성을 취득하는
(6) 또는 (7)에 기재된 신호 처리 장치.
(9)
상기 취득부는, 상기 가상 음원 데이터를 서버로부터 취득하는
(6)에 기재된 신호 처리 장치.
(10)
상기 취득부는, 상기 현재 위치 정보에 기초하여, 상기 현재 위치에 따른 상기 가상 음원 데이터를 취득하는
(6) 내지 (9) 중 어느 한 항에 기재된 신호 처리 장치.
(11)
상기 취득부는, 상기 음향 전달 특성과 상기 가상 음원 데이터의 중첩 적분에 의해 얻어진 오디오 데이터를 상기 제시처에 공급하는
(6) 내지 (10) 중 어느 한 항에 기재된 신호 처리 장치.
(12)
상기 취득부는, 상기 제시처의 유저가 제시 조건을 충족시키는 경우, 상기 오디오 데이터를 상기 제시처에 공급하는
(11)에 기재된 신호 처리 장치.
(13)
상기 음향 전달 특성 및 상기 가상 음원 데이터의 중첩 적분에 의해 얻어진 오디오 데이터와, 상기 가상 음원의 배치 위치에 따른 두부 전달 함수를 중첩 적분하는 두부 전달 함수 중첩 적분 처리부를 더 구비하는
(1) 내지 (12) 중 어느 한 항에 기재된 신호 처리 장치.
(14)
상기 두부 전달 함수 중첩 적분 처리부는, 상기 가상 음원의 상기 배치 위치, 상기 제시처의 상기 현재 위치 및 상기 제시처의 유저의 두부의 회전 방향에 기초하여 선택된 상기 두부 전달 함수와, 상기 오디오 데이터를 중첩 적분하는
(13)에 기재된 신호 처리 장치.
(15)
신호 처리 장치가,
공간 내의 각각의 위치에 관련되는 음향 전달 특성 중, 가상 음원의 제시처의 현재 위치에 따른 상기 음향 전달 특성과, 상기 가상 음원의 가상 음원 데이터를 중첩 적분하는
신호 처리 방법.
(16)
공간 내의 각각의 위치에 관련되는 음향 전달 특성 중, 가상 음원의 제시처의 현재 위치에 따른 상기 음향 전달 특성과, 상기 가상 음원의 가상 음원 데이터를 중첩 적분하는
스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
(17)
공간 내의 각각의 위치에 관련되는 음향 전달 특성 중, 가상 음원의 제시처의 현재 위치에 따른 상기 음향 전달 특성과, 상기 가상 음원의 가상 음원 데이터를 중첩 적분함으로써 얻어지는 오디오 데이터를 외부 장치로부터 수신하는 수신부와,
상기 수신부에 의해 수신된 상기 오디오 데이터에 기초하는 소리를 재생하는 재생부
를 구비하는 음향 재생 장치.
11: 신호 처리 장치
12: 재생 장치
13: 음향 이벤트 제공 서버
14: RIR 서버
31: 통신부
32: 현재 위치 취득부
33: 표시부
34: 기록부
36: 제어부
37: 상대 방향 계산부
38: RIR 중첩 적분 처리부
39: HRIR 중첩 적분 처리부
40: 재생 제어부

Claims (17)

  1. 공간 내의 각각의 위치에 관련되는 음향 전달 특성 중, 가상 음원의 제시처의 현재 위치에 따른 상기 음향 전달 특성과, 상기 가상 음원의 가상 음원 데이터를 중첩 적분하는 음향 전달 특성 중첩 적분 처리부를 구비하는, 신호 처리 장치.
  2. 제1항에 있어서, 상기 신호 처리 장치의 위치를 나타내는 정보를, 상기 현재 위치를 나타내는 현재 위치 정보로서 공급함으로써, 상기 현재 위치에 따른 상기 음향 전달 특성을 취득하는 취득부를 더 구비하는, 신호 처리 장치.
  3. 제2항에 있어서, 상기 취득부는, 상기 현재 위치 정보에 기초하여, 상기 현재 위치에 따른 상기 가상 음원 데이터를 취득하는, 신호 처리 장치.
  4. 제3항에 있어서, 상기 현재 위치의 주위에 있는 상기 가상 음원의 배치 위치를 나타내는 정보를 표시시키는 제어부를 더 구비하는, 신호 처리 장치.
  5. 제4항에 있어서, 상기 배치 위치를 나타내는 정보는 지도 정보인, 신호 처리 장치.
  6. 제1항에 있어서, 상기 현재 위치를 나타내는 현재 위치 정보를 취득하는 취득부를 더 구비하는, 신호 처리 장치.
  7. 제6항에 있어서, 상기 취득부는, 상기 음향 전달 특성을 서버로부터 취득하는, 신호 처리 장치.
  8. 제6항에 있어서, 상기 취득부는, 상기 현재 위치 정보에 기초하여, 상기 현재 위치에 따른 상기 음향 전달 특성을 취득하는, 신호 처리 장치.
  9. 제6항에 있어서, 상기 취득부는, 상기 가상 음원 데이터를 서버로부터 취득하는, 신호 처리 장치.
  10. 제6항에 있어서, 상기 취득부는, 상기 현재 위치 정보에 기초하여, 상기 현재 위치에 따른 상기 가상 음원 데이터를 취득하는, 신호 처리 장치.
  11. 제6항에 있어서, 상기 취득부는, 상기 음향 전달 특성과 상기 가상 음원 데이터의 중첩 적분에 의해 얻어진 오디오 데이터를 상기 제시처에 공급하는, 신호 처리 장치.
  12. 제11항에 있어서, 상기 취득부는, 상기 제시처의 유저가 제시 조건을 충족시키는 경우, 상기 오디오 데이터를 상기 제시처에 공급하는, 신호 처리 장치.
  13. 제1항에 있어서, 상기 음향 전달 특성 및 상기 가상 음원 데이터의 중첩 적분에 의해 얻어진 오디오 데이터와, 상기 가상 음원의 배치 위치에 따른 두부 전달 함수를 중첩 적분하는 두부 전달 함수 중첩 적분 처리부를 더 구비하는, 신호 처리 장치.
  14. 제13항에 있어서, 상기 두부 전달 함수 중첩 적분 처리부는, 상기 가상 음원의 상기 배치 위치, 상기 제시처의 상기 현재 위치 및 상기 제시처의 유저의 두부의 회전 방향에 기초하여 선택된 상기 두부 전달 함수와, 상기 오디오 데이터를 중첩 적분하는, 신호 처리 장치.
  15. 신호 처리 장치가,
    공간 내의 각각의 위치에 관련되는 음향 전달 특성 중, 가상 음원의 제시처의 현재 위치에 따른 상기 음향 전달 특성과, 상기 가상 음원의 가상 음원 데이터를 중첩 적분하는, 신호 처리 방법.
  16. 공간 내의 각각의 위치에 관련되는 음향 전달 특성 중, 가상 음원의 제시처의 현재 위치에 따른 상기 음향 전달 특성과, 상기 가상 음원의 가상 음원 데이터를 중첩 적분하는 스텝을 포함하는 처리를 컴퓨터에 실행시키는, 프로그램.
  17. 공간 내의 각각의 위치에 관련되는 음향 전달 특성 중, 가상 음원의 제시처의 현재 위치에 따른 상기 음향 전달 특성과, 상기 가상 음원의 가상 음원 데이터를 중첩 적분함으로써 얻어지는 오디오 데이터를 외부 장치로부터 수신하는 수신부와,
    상기 수신부에 의해 수신된 상기 오디오 데이터에 기초하는 소리를 재생하는 재생부를 구비하는, 음향 재생 장치.
KR1020227020841A 2020-01-07 2020-12-24 신호 처리 장치 및 방법, 음향 재생 장치, 그리고 프로그램 KR20220122992A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2020-000678 2020-01-07
JP2020000678 2020-01-07
PCT/JP2020/048357 WO2021140929A1 (ja) 2020-01-07 2020-12-24 信号処理装置および方法、音響再生装置、並びにプログラム

Publications (1)

Publication Number Publication Date
KR20220122992A true KR20220122992A (ko) 2022-09-05

Family

ID=76788684

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227020841A KR20220122992A (ko) 2020-01-07 2020-12-24 신호 처리 장치 및 방법, 음향 재생 장치, 그리고 프로그램

Country Status (6)

Country Link
US (1) US20230038945A1 (ko)
EP (1) EP4090046A4 (ko)
JP (1) JPWO2021140929A1 (ko)
KR (1) KR20220122992A (ko)
CN (1) CN114902695A (ko)
WO (1) WO2021140929A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6229655B2 (ko) 1983-06-10 1987-06-27 Sanden Corp

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6281493B2 (ja) * 2012-11-02 2018-02-21 ソニー株式会社 信号処理装置、信号処理方法、測定方法、測定装置
US20140270182A1 (en) * 2013-03-14 2014-09-18 Nokia Corporation Sound For Map Display
JP2015076797A (ja) * 2013-10-10 2015-04-20 富士通株式会社 空間情報提示装置、空間情報提示方法及び空間情報提示用コンピュータプログラム
JP6377935B2 (ja) * 2014-03-31 2018-08-22 株式会社東芝 音響制御装置、電子機器及び音響制御方法
US9612722B2 (en) * 2014-10-31 2017-04-04 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using sounds
EP3352481B1 (en) * 2015-09-14 2021-07-28 Yamaha Corporation Ear shape analysis device and ear shape analysis method
WO2017061218A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 音響出力装置、音響生成方法及びプログラム
US10433094B2 (en) * 2017-02-27 2019-10-01 Philip Scott Lyren Computer performance of executing binaural sound
US11032664B2 (en) * 2018-05-29 2021-06-08 Staton Techiya, Llc Location based audio signal message processing
US10425762B1 (en) * 2018-10-19 2019-09-24 Facebook Technologies, Llc Head-related impulse responses for area sound sources located in the near field
US12058510B2 (en) * 2019-10-18 2024-08-06 Sphere Entertainment Group, Llc Mapping audio to visual images on a display device having a curved screen

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6229655B2 (ko) 1983-06-10 1987-06-27 Sanden Corp

Also Published As

Publication number Publication date
EP4090046A4 (en) 2023-05-03
JPWO2021140929A1 (ko) 2021-07-15
WO2021140929A1 (ja) 2021-07-15
EP4090046A1 (en) 2022-11-16
US20230038945A1 (en) 2023-02-09
CN114902695A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
US11528576B2 (en) Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
US11210858B2 (en) Systems and methods for enhancing augmented reality experience with dynamic output mapping
KR102197544B1 (ko) 공간화 오디오를 가진 혼합 현실 시스템
NL2006997C2 (en) Method and device for processing sound data.
JPWO2018179644A1 (ja) 情報処理装置、情報処理方法及び記録媒体
US11490201B2 (en) Distributed microphones signal server and mobile terminal
JP6359704B2 (ja) イベントに関連付けられる情報を人に供給するための方法
US20140050053A1 (en) Estimation device and estimation method
Hess Head-tracking techniques for virtual acoustics applications
KR20220122992A (ko) 신호 처리 장치 및 방법, 음향 재생 장치, 그리고 프로그램
US20150032240A1 (en) Information provision device, information provision method, and information provision system
US20230298260A1 (en) Image processing device, image processing method, and program
KR101747800B1 (ko) 입체음향 생성 장치 및 이를 이용한 입체 컨텐츠 생성 시스템
FR3038101A1 (fr) Procede de guidage d&#39;un individu et systeme de navigation
JP2012137581A (ja) 画像表示制御サーバ
JP6975489B1 (ja) 情報処理システム、情報処理方法および情報処理プログラム
EP4436190A1 (en) Display terminal, communication system, and method for displaying
WO2023033109A1 (ja) 情報処理システム、情報処理方法および情報処理プログラム
EP4060522A1 (en) Data generation method and device
KR20140139210A (ko) 클라우드 서비스 기반 2ｄ 콘텐츠 제공방법 및 휴대용 2ｄ 콘텐츠 재생장치