WO2017209196A1 - スピーカシステム、音声信号レンダリング装置およびプログラム - Google Patents

スピーカシステム、音声信号レンダリング装置およびプログラム Download PDF

Info

Publication number
WO2017209196A1
WO2017209196A1 PCT/JP2017/020310 JP2017020310W WO2017209196A1 WO 2017209196 A1 WO2017209196 A1 WO 2017209196A1 JP 2017020310 W JP2017020310 W JP 2017020310W WO 2017209196 A1 WO2017209196 A1 WO 2017209196A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio signal
unit
speaker
rendering
audio
Prior art date
Application number
PCT/JP2017/020310
Other languages
English (en)
French (fr)
Inventor
健明 末永
永雄 服部
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to JP2018520966A priority Critical patent/JP6663490B2/ja
Priority to US16/306,505 priority patent/US10869151B2/en
Publication of WO2017209196A1 publication Critical patent/WO2017209196A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved

Definitions

  • the present inventors automatically calculate a rendering method having both sound image localization and sound diffusion functions according to the arrangement of the speakers by the user, and provide a sense of sound localization and a feeling of being wrapped in the sound. It was possible to deliver compatible voices to users.
  • Embodiments of the present invention will be described below with reference to the drawings.
  • the speaker means a loudspeaker.
  • a figure formed by combining a trapezoidal shape and a quadrangular shape as shown by “201” in FIG. 2B indicates a speaker unit, and a speaker enclosure is not shown unless otherwise specified.
  • a configuration in which the audio output unit is removed from the speaker system is referred to as an audio signal rendering device.
  • the first rendering process uses a speaker unit having a purpose of enhancing a sense of sound image localization according to an angle formed by the directions of the speaker units.
  • the sound image localization emphasizing rendering process for generating a clear sounding object or the sound image localization complementing rendering process for artificially generating the sounding object using a speaker unit having no purpose of enhancing the sound image localization feeling is switched and executed.

Abstract

少なくとも一つの音声出力部であって、各々が複数のスピーカユニットを有し、各音声出力部において、少なくとも一つのスピーカユニットがその他のスピーカユニットとは異なる向きに配置されている音声出力部（１０５）と、入力された音声信号に基づいて、各スピーカユニットから出力される音声信号を生成するレンダリング処理を実行する音声信号レンダリング部（１０３）と、を備え、前記音声信号レンダリング部は、入力された音声信号に含まれる第１の音声信号に対して、第１のレンダリング処理を実行し、入力された音声信号に含まれる第２の音声信号に対して、第２のレンダリング処理を実行し、第１のレンダリング処理は、第２のレンダリング処理よりも定位感を強調するレンダリング処理である。

Description

スピーカシステム、音声信号レンダリング装置およびプログラム
　本発明の一態様は、マルチチャネル音声信号を再生する技術に関する。
　近年、放送波、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray（登録商標） Disc）などのディスクメディア、インターネットなどを介して、ユーザは、マルチチャネル音声（サラウンド音声）を含むコンテンツを簡単に入手できるようになっている。映画館等においては、Ｄｏｌｂｙ　Ａｔｍｏｓに代表されるオブジェクトベースオーディオによる立体音響システムが多く配備され、更に日本国内においては、次世代放送規格に２２．２ｃｈオーディオが採用されるなど、ユーザがマルチチャネルコンテンツに触れる機会は格段に多くなった。
　従来のステレオ方式の音声信号に関しても、様々なマルチチャネル化手法が検討されており、ステレオ信号の各チャネル間の相関に基づいてマルチチャネル化する技術が、例えば特許文献２に開示されている。
　マルチチャネル音声を再生するシステムについても、映画館やホールのような大型音響設備が配された施設でなくても、家庭などで手軽に楽しめるようなシステムが一般的となりつつある。ユーザ（視聴者）は、国際電気通信連合（International Telecommunication Union：ITU）が推奨する配置基準（非特許文献１を参照）に基づいて、複数のスピーカを配置することによって、５．１ｃｈや７．１ｃｈなどのマルチチャネル音声を聴取する環境を家庭内に構築することができる。また、少ないスピーカ数で、マルチチャネルの音像定位を再現する手法なども研究されている（非特許文献２）。
日本国公開特許公報「特開２００６－３１９８２３号公報」 日本国公開特許公報「特開２０１３－０５５４３９号公報」
ITU-R BS.775-1 Virtual Sound Source Positioning Using Vector Base AmplitudePanning, VILLE PULKKI, J. Audio. Eng., Vol. 45, No. 6, 1997 June
　しかしながら、非特許文献１では、マルチチャネル再生のためのスピーカ配置位置について、汎用的なものが開示されているため、ユーザの視聴環境によってはこれを満たすことができない場合がある。図２Ａに示すように、ユーザＵの正面を０°、ユーザの右位置、左位置を各々９０°、－９０°とするような座標系で示すと、例えば、非特許文献１に記載されている５．１ｃｈでは、図２Ｂに示すように、ユーザＵを中心とした同心円上のユーザ正面にセンターチャネル２０１を配置し、フロントライトチャネル２０２、フロントレフトチャネル２０３を各々３０°、－３０°の位置に配置し、サラウンドライトチャネル２０４、サラウンドレフトチャネル２０５を各々１００°～１２０°、－１００°～－１２０°の範囲内に配置することを推奨している。なお、各々の位置に配置された各チャネル再生用のスピーカは、基本的に正面がユーザ側を向くように配置される。
　なお、本明細書では、図２Ｂの「２０１」に示すような、台形形状と四角形状を組み合わせた図形は、スピーカユニットを示すものとする。本来、スピーカはスピーカユニットとこれを取り付ける箱であるエンクロージャを組み合わせて構成されるが、本明細書では、説明を分かりやすくするため、特に断りが無い限り、スピーカのエンクロージャは図示しない。
　しかしながら、ユーザの視聴環境、例えば部屋の形状や家具の配置によってはスピーカを推奨位置に配することができない場合があり、このことによって、マルチチャネル音声の再生結果が、ユーザの意図しないものとなる場合がある。
　図３を用いて詳細に説明する。任意の推奨配置とこれに基づいてレンダリングされた任意のマルチチャネル音声があるものとする。マルチチャネル音声は特定の位置、例えば図３Ａに示す３０３の位置に音像を定位させようとする場合、基本的にこの音像３０３を挟むスピーカ３０１と３０２を用いた虚像（ファントム）を作ることで再現する。虚像は、虚像を作るスピーカの音圧バランスを調整することによって、基本的にこのスピーカを結ぶ直線が現れる側に作ることが可能である。この際、スピーカ３０１と３０２が推奨配置位置に配置されていた場合は、同じ推奨配置を前提に作成されたマルチチャネル音声では、正しく３０３の位置に虚像を作ることができる。
　一方、図３Ｂに示すように、本来３０２の位置に配すべきスピーカが、部屋の形状や家具の配置等の制約で、推奨配置位置から大きく外れた位置３０５に配された場合を考える。スピーカ３０１と３０５の組では、想定通りの虚像は作られず、ユーザにはスピーカ３０１と３０５を結んだ直線が現れる側のいずれかの位置、例えば３０６の位置に音像が定位するように聞こえてしまう。
　これらの課題を解決するため、特許文献１には、配置されたスピーカ各々から発音し、その音声をマイクで取得し、解析することで得られた特徴量を出力音声にフィードバックすることで、実際のスピーカ配置位置の推奨位置からのずれを補正する手法が明らかにされている。しかし、特許文献１に記載されている技術の音声補正手法では、図３を用いて示したように、虚像が左右全く反対側に作られるほどの位置のずれがあるケースについては考慮されておらず、良好な音声補正結果を得られるとは限らない。
　また、一般的な５．１ｃｈなどのホームシアター用音響設備は、各チャネルに１本のスピーカを用い、音響軸をユーザの視聴位置に向けて配置する「ダイレクトサラウンド」と呼ばれる方式が用いられている。この方式では、音像の定位は比較的明確になるが、音の定位位置がスピーカの位置に限定される上、音の広がり感や包まれ感に関しても、映画館等で用いられるような、より多くの音響拡散用スピーカを用いたディフューズサラウンド方式には劣ってしまう。
　本発明の一態様は、上記の問題を解決するためになされたものであり、ユーザによるスピーカの配置に応じて、音像定位および音響拡散の両方の機能を備えたレンダリング手法を自動で算出し、音声再生を行うことができるスピーカシステムおよびプログラムを提供することを目的とする。
　上記の目的を達成するために、本発明の一態様は、以下のような手段を講じた。すなわち、本発明の一態様のスピーカシステムは、少なくとも一つの音声出力部であって、各々が複数のスピーカユニットを有し、各音声出力部において、少なくとも一つのスピーカユニットがその他のスピーカユニットとは異なる向きに配置されている音声出力部と、入力された音声信号に基づいて、各スピーカユニットから出力される音声信号を生成するレンダリング処理を実行する音声信号レンダリング部と、を備え、前記音声信号レンダリング部は、入力された音声信号に含まれる第１の音声信号に対して、第１のレンダリング処理を実行し、入力された音声信号に含まれる第２の音声信号に対して、第２のレンダリング処理を実行し、第１のレンダリング処理は、第２のレンダリング処理よりも定位感を強調するレンダリング処理である。
　本発明の一態様によれば、ユーザが配したスピーカの配置に応じて、音像定位および音響拡散の両方の機能を備えたレンダリング手法を自動で算出し、音の定位感および音への包まれ感を両立した音声をユーザに届けることが可能となる。
本発明の第１の実施形態に係るスピーカシステムの要部構成を示すブロック図である。 座標系を示す図である。 座標系とチャネルを示す図である。 音像とこれを作り出すスピーカの例を示した図である。 音像とこれを作り出すスピーカの例を示した図である。 本発明の第１の実施形態に係るスピーカシステムで使用するトラック情報の例を示した図である。 本発明の第１の実施形態における隣り合うチャネルのペアの例を示した図である。 本発明の第１の実施形態における隣り合うチャネルのペアの例を示した図である。 仮想音像位置の算出結果を示す模式図である。 モデル化された視聴部屋情報の例を示した図である。 モデル化された視聴部屋情報の例を示した図である。 本発明の第１の実施形態に係るスピーカシステムの処理フローを示した図である。 トラックの位置とこれを挟む２つのスピーカの例を示す図である。 トラックの位置とこれを挟む２つのスピーカの例を示す図である。 本実施形態に係るスピーカシステムで、演算に使用されるベクトルベースの音圧パンニングの概念を示した図である。 本発明の第１の実施形態に係るスピーカシステムの音声出力部の形状の一例を示した図である。 本発明の第１の実施形態に係るスピーカシステムの音声出力部の形状の一例を示した図である。 本発明の第１の実施形態に係るスピーカシステムの音声出力部の形状の一例を示した図である。 本発明の第１の実施形態に係るスピーカシステムの音声出力部の形状の一例を示した図である。 本発明の第１の実施形態に係るスピーカシステムの音声出力部の形状の一例を示した図である。 本発明の第１の実施形態に係るスピーカシステムの音声レンダリング手法を示す模式図である。 本発明の第１の実施形態に係るスピーカシステムの音声レンダリング手法を示す模式図である。 本発明の第１の実施形態に係るスピーカシステムの音声レンダリング手法を示す模式図である。 本発明の第１の実施形態に係るスピーカシステムの変形例の概略構成を示すブロック図である。 本発明の第１の実施形態に係るスピーカシステムの変形例の概略構成を示すブロック図である。 本発明の第３の実施形態に係るスピーカシステムの要部構成を示すブロック図である。 ユーザと音声出力部との位置関係を示す図である。
　本発明者らは、音像が左右全く反対側に生成されるほどスピーカユニットの位置にずれがある場合は、従来の技術では良好な音声補正効果が得られず、また、従来のダイレクトサラウンド方式だけでは、映画館等で用いられるようなディフューズサラウンド方式のような多くの音響拡散効果を得ることができない点に着目し、マルチチャネル音声信号の音声トラックの種別に応じて、複数種類のレンダリング処理を切り替えて実行することによって、音像定位および音響拡散の両方の機能を実現させることができることを見出し、本発明に至った。
　すなわち、本発明の一態様のスピーカシステムは、マルチチャネル音声信号を再生するスピーカシステムであって、複数のスピーカユニットを有し、少なくとも一つのスピーカユニットがその他のスピーカユニットとは異なる向きに配置された音声出力部と、入力されたマルチチャネル音声信号の音声トラック毎に、音声トラックの種別を識別する解析部と、前記各スピーカユニットの位置情報を取得するスピーカ位置情報取得部と、前記音声トラックの種別に応じて、第１のレンダリング処理または第２のレンダリング処理のいずれか一方を選択し、前記取得したスピーカユニットの位置情報を用いて、前記選択した第１のレンダリング処理または第２のレンダリング処理を音声トラック毎に実行する音声信号レンダリング部と、を備え、前記音声出力部は、前記第１のレンダリング処理または前記第２のレンダリング処理が実行された音声トラックの音声信号を物理振動として出力する。
　これにより、本発明者らは、ユーザによるスピーカの配置に応じて、音像定位および音響拡散の両方の機能を備えたレンダリング手法を自動で算出し、音の定位感および音への包まれ感を両立した音声をユーザに届けることを可能とした。以下、本発明の実施形態について図面を参照して説明する。なお、本明細書において、スピーカとは、ラウドスピーカ（Loudspeaker）のことを意味している。また、本明細書では、図２Ｂの「２０１」に示すような、台形形状と四角形状を組み合わせた図形は、スピーカユニットを示すものとし、特に断りが無い限り、スピーカのエンクロージャは図示しない。なお、スピーカシステムから音声出力部を除いた構成を、音声信号レンダリング装置と称する。
　＜第１の実施形態＞
　図１は、本発明の第１の実施形態に係るスピーカシステム１の概略構成を示すブロック図である。第１の実施形態に係るスピーカシステム１は、再生するコンテンツの特徴量を解析し、同時にスピーカシステムの配置位置を加味することで、これらに基づいた好適な音声レンダリングを行い再生するシステムである。図１に示すように、コンテンツ解析部１０１ａは、ＤＶＤやＢＤなどのディスクメディア、ＨＤＤ（Hard Disc Drive）等に記録されている映像コンテンツ乃至音声コンテンツに含まれる音声信号やこれに付随するメタデータを解析する。記憶部１０１ｂは、コンテンツ解析部１０１ａで得られた解析結果や後述するスピーカ位置情報取得部１０２から取得された情報、コンテンツ解析等に必要な各種パラメータを記憶する。スピーカ位置情報取得部１０２は、現在のスピーカ配置位置を取得する。
　音声信号レンダリング部１０３は、コンテンツ解析部１０１ａとスピーカ位置情報取得部１０２から取得された情報に基づき、各々のスピーカ用に入力音声信号を適宜レンダリングし再合成する。音声出力部１０５は、複数のスピーカユニットを有し、信号処理が施された音声信号を物理振動として出力する。
　［コンテンツ解析部１０１ａ］
　コンテンツ解析部１０１ａは、再生するコンテンツに含まれる音声トラックとこれに付随する任意のメタデータを解析し、その情報を音声信号レンダリング部１０３に送る。本実施形態では、コンテンツ解析部１０１ａが受け取る再生コンテンツは１つ以上の音声トラックを含むコンテンツであるものとする。また、この音声トラックは、大きく２種類に分類し、ステレオ（２ｃｈ）や５．１ｃｈなどに採用されている「チャネルベース」の音声トラックか、個々の発音オブジェクト単位を１トラックとし、このトラックの任意の時刻における位置的・音量的変化を記述した付随情報を付与した「オブジェクトベース」の音声トラックのいずれかであるものとする。
　オブジェクトベースの音声トラックの概念について説明する。オブジェクトベースに基づく音声トラックは個々の発音オブジェクト単位で各トラックに記録、すなわち、ミキシングせずに記録しておき、プレイヤー（再生機）側でこれら発音オブジェクトを適宜レンダリングするものである。各々の規格において差はあるものの、一般的には、これら発音オブジェクトには各々、いつ、どこで、どの程度の音量で発音されるべきかといったメタデータ（付随情報）が紐づけられており、プレイヤーはこれに基づいて個々の発音オブジェクトをレンダリングする。
　他方、チャネルベーストラックは、従来のサラウンド等で採用されているものであり、予め規定された再生位置（スピーカの配置）から発音される前提で、個々の発音オブジェクトをミキシングした状態で記録されたトラックである。
　コンテンツ解析部１０１ａは、コンテンツに含まれる音声トラック全てを解析し、図４に示すような、トラック情報４０１として再構成するものとする。トラック情報４０１には、各音声トラックのＩＤと、その音声トラックの種別が記録されている。更に音声トラックがオブジェクトベースのトラックである場合、このメタデータを解析し、再生時刻とその時刻での位置のペアで構成される、１つ以上の発音オブジェクト位置情報を記録する。
　他方、トラックがチャネルベーストラックであった場合、トラックの再生位置を示す情報として、出力チャネル情報を記録する。出力チャネル情報は、予め規定された任意の再生位置情報と紐づけられている。本実施例では、具体的な位置情報（座標など）をトラック情報４０１には記録せず、例えばチャネルベーストラックの各再生位置情報が記憶部１０１ｂに記録されているものとし、位置情報が必要になった時点で、出力チャネル情報に紐づけられた具体的な位置情報を適宜記憶部１０１ｂから読み出すものとする。もちろん、具体的な位置情報をトラック情報４０１に記録する形としても良いことは言うまでもない。
　また、ここで、発音オブジェクトの位置情報は図２Ａに示した座標系で表現されるものとする。また、トラック情報４０１は例えばコンテンツ内ではＸＭＬ（Extensible Markup Language）のようなマークアップ言語で記述されているものとする。コンテンツに含まれる音声トラック全てを解析し終えた後、コンテンツ解析部１０１ａは、作成したトラック情報４０１を音声信号レンダリング部１０３に送るものとする。
　なお、本実施形態では、説明をより分かりやすくするため、発音オブジェクトの位置情報を図２Ａに示した座標系、すなわちユーザを中心とした同心円上に発音オブジェクトが配されるものと想定し、その角度のみを使用する座標系で表わしたが、これ以外の座標系で位置情報を表現しても良いことは言うまでもない。例えば、２次元乃至３次元の直交座標系や極座標系を用いても良い。
　［記憶部１０１ｂ］
　記憶部１０１ｂは、コンテンツ解析部１０１ａで用いられる種々のデータを記録するための二次記憶装置によって構成される。記憶部１０１ｂは、例えば、磁気ディスク、光ディスク、フラッシュメモリなどによって構成され、より具体的な例としては、ＨＤＤ、ＳＳＤ（Solid State Drive）、ＳＤメモリーカード、ＢＤ、ＤＶＤなどが挙げられる。コンテンツ解析部１０１ａは、必要に応じて記憶部１０１ｂからデータを読み出す。また、解析結果を含む各種パラメータデータを、記憶部１０１ｂに記録することもできる。
　［スピーカ位置情報取得部１０２］
　スピーカ位置情報取得部１０２は、後述する音声出力部１０５（スピーカ）各々の配置位置を取得する。スピーカ位置は、例えば、図７Ａに示すように、予めモデル化された視聴部屋情報７を、タブレット端末等を通じて提示し、図７Ｂに示すように、ユーザ位置７０１、スピーカ位置７０２、７０３、７０４、７０５、７０６を入力させるものとし、ユーザ位置を中心とした図２Ａに示す座標系の位置情報として取得する。
　また、他の取得方法として、部屋の天井に設置されたカメラで撮影された画像から画像処理（例えば、音声出力部１０５上部にマーカを付しておき、これを認識させる）によって音声出力部１０５位置を自動算出するようにしても良いし、特許文献１などに示されるように各々の音声出力部１０５から任意の信号を発音するものとして、この音声をユーザの視聴位置に配した１個～複数個のマイクで計測し、発音時間と実計測時間のずれ等からその位置を計算させるようにしても良い。
　本実施形態では、スピーカ位置情報取得部１０２をシステムに含める形として説明を行うが、図１３のスピーカシステム１４に示すように、スピーカ位置情報取得部１４０１を外部のシステムから取得するように構成しても良い。また、スピーカ位置が予め任意の既知の場所におかれるものとして、図１４のスピーカシステム１５に示すように、スピーカ位置情報取得部を省いた構成にしても良い。この場合、スピーカ位置は記憶部１０１ｂに予め記録されているものとする。
　［音声出力部１０５］
　音声出力部１０５は、音声信号レンダリング部１０３で処理された音声信号を出力する。図１１Ａ～Ｅでは、それぞれにおいて、紙面に対して上側がスピーカエンクロージャ（筐体）の斜視図を表し、スピーカユニットを二重丸で表している。また、図１１Ａ～Ｅの紙面に対して下側がスピーカユニットの位置関係を概念として示す平面図であり、スピーカユニットの配置を示している。図１１Ａ～Ｅに示すように、音声出力部１０５は、少なくとも２つ以上のスピーカユニット１２０１を備え、そのうち１つ以上のスピーカユニットが他のスピーカユニットと異なる方向を向くように配されている。例えば図１１Ａに示すように、底面が台形形状の四角柱型のスピーカエンクロージャ（筐体）の３面にスピーカユニットを配するようにしても良いし、図１１Ｂに示すように、六角柱形状や図１１Ｃに示すように、三角柱形状のスピーカエンクロージャに各々ユニットを６個、３個配するようにしても良い。また、図１１Ｄに示すように、上方向に向けたスピーカユニット１２０２（二重丸で表示）を配しても良いし、図１１Ｅに示すように、スピーカユニット１２０３と１２０４とが同一方向を向き、１２０５がこれらとは異なる方向を向くように配しても良い。
　本実施形態では、音声出力部１０５の形状並びにスピーカユニット個数、配置方向は、既知の情報として予め記憶部１０１ｂに記録されているものとする。
　また、音声出力部１０５の正面方向も予め決定しておき、正面方向を向くスピーカユニットを「音像定位感強調用スピーカユニット」、それ以外のスピーカユニットを「包まれ感強調用スピーカユニット」とし、この情報も既知の情報として記憶部１０１ｂに記憶させておくものとする。
　なお、本実施形態では、「音像定位感強調用スピーカユニット」および「包まれ感強調用スピーカユニット」のいずれも、ある程度の指向性を持ったスピーカユニットとして説明を行っているが、特に「包まれ感強調用スピーカユニット」に関しては、無指向性のスピーカユニットを使用しても良い。また、ユーザが音声出力部１０５を任意の場所に配する場合は、この予め決定されている正面方向がユーザ側を向くように配置するものとする。
　本実施形態では、ユーザ側を向く音像定位感強調用スピーカユニットはユーザに明瞭な直達音を届けることができることから、主に音像の定位を強調する音声信号を出力するものと定義する。一方、ユーザとは異なる方向を向く、「包まれ感強調用スピーカユニット」は、壁や天井等の反射を利用してユーザに音を拡散して届けることができることから、主に音への包まれ感や広がり感を強調する音声信号を出力するもの、と定義する。
　［音声信号レンダリング部１０３］
　音声信号レンダリング部１０３は、コンテンツ解析部１０１ａで得られたトラック情報４０１と、スピーカ位置情報取得部１０２で得られた音声出力部１０５の位置情報に基づき、各音声出力部１０５から出力される音声信号を構築する。
　次に、音声信号レンダリング部の動作について、図８に示すフローチャートを用いて詳細に説明する。音声信号レンダリング部１０３が任意の音声トラックとその付随情報を受け取ると、処理が開始され（ステップＳ１０１）、コンテンツ解析部１０１ａで得られたトラック情報４０１を参照し、音声信号レンダリング部１０３に入力された各トラックの種別によって処理を分岐させる（ステップＳ１０２）。トラック種別がチャネルベースである場合（ステップＳ１０２においてＹＥＳ）、包まれ感強調レンダリング処理（後述）を行い（ステップＳ１０５）、全てのトラックに対して処理が行われたかを確認し（ステップＳ１０７）、未処理トラックがあれば（ステップＳ１０７においてＮＯ）、そのトラックに対して、再度ステップＳ１０２からの処理を適用する。ステップＳ１０７において、音声信号レンダリング部１０３が受け取ったすべてのトラックに対して処理が完了している場合は（ステップＳ１０７においてＹＥＳ）、処理を終了する（ステップＳ１０８）。
　一方、ステップＳ１０２において、トラック種別がオブジェクトベースである場合（ステップＳ１０２においてＮＯ）、このトラックの現在時刻での位置情報を、トラック情報４０１を参照して取得し、取得したトラックを挟む位置関係となる直近のスピーカを２つ、スピーカ位置情報取得部１０２で得られた音声出力部１０５の位置情報を参照して選定する（ステップＳ１０３）。
　図９Ａに示すように、トラックにおける発音オブジェクトの位置１００３とこれを挟む直近の２つのスピーカが１００１、１００２に位置するとき、スピーカ１００１、１００２が成す角をαとして求め、これが１８０°未満であるかどうかを判断する（ステップＳ１０４）。αが１８０°未満である場合（ステップＳ１０４においてＹＥＳ）、音像定位強調レンダリング処理（後述）が行われる（ステップＳ１０６ａ）。図９Ｂに示すように、トラックにおける発音オブジェクトの位置１００５とこれを挟む直近の２つのスピーカが１００４、１００６に位置し、２つのスピーカ１００４、１００６の成す角αが１８０°以上である場合（ステップＳ１０４においてＮＯ）、音像定位補完レンダリング（後述）が行われる（ステップＳ１０６ｂ）。
　なお、音声信号レンダリング部１０３が一度に受け取る音声トラックはコンテンツの開始から終わりまですべてのデータを含める形としても良いが、任意の単位時間の長さに裁断し、この単位で図８に示すフローチャートに示した処理を繰り返しても良いことは言うまでもない。
　音像定位強調レンダリング処理は、音声コンテンツ中の音像定位感に関わるトラックに関して適用される処理である。より具体的には、音声出力部１０５の音像定位感強調用スピーカユニット、すなわちユーザ側を向いたスピーカユニットを使用することで、より明瞭に音声信号をユーザに届け、音像の定位を感じやすくする（図１２Ａ）。本レンダリング処理を行うトラックについては、トラックとこれを挟む直近の２つのスピーカの位置関係から、ベクトルベースの音圧パンニングで出力を行うものとする。
　以下、ベクトルベースの音圧パンニングについて詳しく説明する。今、図１０に示すように、コンテンツ中の１つのトラックの、ある時間における位置が１１０３であるとする。また、スピーカ位置情報取得部１０２で取得されたスピーカの配置位置が発音オブジェクトの位置１１０３を挟むように１１０１と１１０２に指定されていた場合、例えば参考文献２に示されるような、これらスピーカを用いたベクトルベースの音圧パンニングで発音オブジェクトを位置１１０３に再現する。具体的には視聴者１１０７に対し、発音オブジェクトから発せられる音の強さを、ベクトル１１０５で表したとき、このベクトルを視聴者１０７と位置１１０１に位置するスピーカ間のベクトル１１０４と、視聴者１１０７と位置１１０２に位置するスピーカ間のベクトル１１０６に分解し、この時のベクトル１１０５に対する比を求める。
　すなわち、ベクトル１１０４とベクトル１１０５の比をｒ１、ベクトル１１０６とベクトル１１０５の比をｒ２とすると、これらは各々、
　r1 = sin(θ2) / sin(θ1+θ2)
　r2 = cos(θ2) - sin(θ2) / tan(θ1+θ2)
で表すことができる。
　但し、θ１はベクトル１１０４と１１０５の成す角、θ２はベクトル１１０６と１１０５の成す角である。
　求めた比を発音音声から発せられる音声信号に掛け合わせたものを、各々１１０１と１１０２に配置されたスピーカから再生することで、発音オブジェクトがあたかも位置１１０３から再生されているように、視聴者に知覚させることができる。以上の処理を、すべての発音オブジェクトに対して行うことで、出力音声信号を生成することができる。
　音像定位補完レンダリング処理も、音声コンテンツ中の音像定位感に関わるトラックに関して適用される処理である。しかし、図１２Ｂに示すように、音像とスピーカの位置関係から、所望の位置に音像定位感強調用スピーカユニットで音像を作り出すことができない。すなわち、図３を用いて説明したように、このケースでは前記音像定位強調レンダリング処理を適用すると、ユーザの左側に音像が定位してしまう。
　本実施形態では、このような場合に、「包まれ感強調用スピーカユニット」を用いて音像の定位を疑似的に作り出す。ここで使用する、「包まれ感強調用スピーカユニット」は、既知のスピーカユニットの向き情報から選定を行い、これらユニットを用いて前述のベクトルベースの音圧パンニングで音像を作り出すものとする。対象となるスピーカユニットは、図１２Ｃに示すように、音声出力部１３０４を例にとると、音声出力部の正面方向、すなわちユーザ方向を０°として図２に示した座標系を適用し、音声出力部１３０３と１３０４を結んだ直線との成す角をβ１、各「包まれ感強調用スピーカユニット」の向く方向と成す角を各々β２、β３とするとき、β１と異なる正負符号の角度β３に位置する「包まれ感強調用スピーカユニット」を選定するものとする。
　包まれ感強調レンダリング処理は、音声コンテンツ中の音像定位感にはあまり寄与しない、音への包まれ感や広がり感を強調するトラックに関して適用される処理である。本実施形態では、チャネルベースのトラックには、音像の定位にかかわる音声信号は含まれておらず、音への包まれ感や広がり感に寄与する音声が含まれているものと判断し、チャネルベースのトラックに関しては、包まれ感強調レンダリング処理を適用する。本処理では、対象となるトラックに予め設定された任意の係数aを掛け合わせ、任意の音声出力部１０５の「包まれ感強調用スピーカユニット」全てから出力するようにする。ここで、出力対象となる音声出力部１０５は、該当トラックの、トラック情報４０１に記録されている出力チャネル情報に紐づけられた位置に、最も近い場所に位置する音声出力部１０５が選定されるものとする。
　なお、音像定位強調レンダリング処理および音像定位補完レンダリング処理は、第１のレンダリング処理を構成し、包まれ感強調レンダリング処理は、第２のレンダリング処理を構成する。
　以上に示した通り、本実施形態では音声出力部と音源の位置関係に応じて、レンダリング手法を自動で切り替える手法を示したが、これ以外の方法でレンダリング手法を決定しても良い。例えば、スピーカシステム１にリモコンやマウス、キーボード、タッチパネルなどのユーザ入力手段（図示しない）を設け、ここから、ユーザが「音像定位強調レンダリング処理」モード、「音像定位補完レンダリング処理」モード、または「包まれ感強調レンダリング処理」モードを選択するようにしても良い。この際、各トラックがどのモードで動くかを個別に選択させるようにしても良いし、全てのトラックに対し、一括でモードを選ばせるようにしても良い。また、前記３モードの比率を明示的に入力させるようにしても良く、「音像定位強調レンダリング処理」モードの割合が高い場合は、「音像定位強調レンダリング処理」に割り振られるトラックの数をより多く、「包まれ感強調レンダリング処理」モードの割合が高い場合には、「包まれ感強調レンダリング処理」に割り振られるトラックの数をより多くするようにしても良い。
　これ以外にも、例えば別途計測した家の間取り情報などを用いてレンダリング処理を決定しても良い。例えば、すでに取得している前記間取り情報と音声出力部の位置情報から、音声出力部に含まれる「包まれ感強調用スピーカユニット」の向く方向（すなわち、音声出力方向）に音声を反射する壁などが存在しないと判断される場合は、同スピーカユニットを使用して実現される、音像定位補完レンダリング処理を包まれ感強調レンダリング処理に切り替えるものとしても良い。
　以上のように、ユーザが配したスピーカの配置に応じて、音像定位、音響拡散両方の機能を備えたスピーカを用いた好適なレンダリング手法を自動で算出し、音声再生を行うことにより、音の定位感、音への包まれ感を両立した音声をユーザに届けることが可能となる。
　＜第２の実施形態＞
　第１の実施形態では、コンテンツ解析部１０１ａが受け取る音声コンテンツに、チャネルベース、オブジェクトベース両方のトラックが存在するものとして、また、チャネルベースのトラックには音像の定位感を強調すべき音声信号が含まれていないものとして、説明を行ったが、音声コンテンツにチャネルベースのトラックのみが含まれている場合やチャネルベースのトラックに音像の定位感を強調すべき音声信号が含まれている場合の、コンテンツ解析部１０１ａの動作について、第２の実施形態として記述する。なお、第１の実施形態と本実施形態の違いは、コンテンツ解析部１０１ａの挙動のみであり、他の処理部の説明については省略する。
　例えば、コンテンツ解析部１０１ａが受け取った音声コンテンツが５．１ｃｈ音声であった場合、特許文献２に開示されている２チャネル間の相関情報に基づく音像定位算出技術を応用し、以下の手順に基づいて同様のヒストグラムを作成する。５．１ｃｈ音声に含まれる低音効果音（Low Frequency Effect;LFE）以外の各チャネルにおいて、隣り合うチャネル間でその相関を計算する。隣り合うチャネルの組は、５．１ｃｈの音声信号においては、図５Ａに示す通り、ＦＲとＦＬ、ＦＲとＳＲ、ＦＬとＳＬ、ＳＬとＳＲの４対となる。この時、隣り合うチャネルの相関情報は、単位時間ｎあたりの任意に量子化されたｆ個の周波数帯の相関係数ｄ（ｉ）が算出され、これに基づいてｆ個の周波数帯各々の音像定位位置θが算出される（特許文献２の数式（３６）参照）。
　例えば、図６に示すように、ＦＬ６０１とＦＲ６０２間の相関に基づく音像定位位置６０３は、ＦＬ６０１とＦＲ６０２が成す角の中心を基準としたθとして表される。本実施形態では、量子化されたｆ個の周波数帯の音声をそれぞれ別個の音声トラックとみなし、更に各々の周波数帯の音声のある単位時間において、予め設定された閾値Ｔｈ＿ｄ以上の相関係数値ｄ（ｉ）を持つ時間帯はオブジェクトベーストラック、それ以外の時間帯はチャネルベーストラックとして分別するものとする。すなわち、相関を計算する隣接チャネルのペア数がＮ、周波数帯の量子化数をｆ、とすると、２＊Ｎ＊ｆ個の音声トラックとして分類される。また、前述の通り、音像定位位置として求められるθは、これを挟む音源位置の中心を基準としている為、適宜、図２Ａに示す座標系に変換を行うものとする。
　以上の処理をＦＬとＦＲ以外の組み合わせについても同様に処理を行い、音声トラックとこれに対応するトラック情報４０１の対を音声信号レンダリング部１０３に送るものとする。
　なお、以上の説明では、特許文献２に開示されている通り、主に人のセリフ音声などが割り付けられるＦＣチャネルについては、同チャネルとＦＬ乃至ＦＲ間に音像を生じさせるような音圧制御がなされている箇所が多くないものとして、ＦＣは相関の計算対象からは外し、代わりにＦＬとＦＲの相関について考えるものとしたが、勿論ＦＣを含めた相関を考慮してヒストグラムを算出しても良く、図５Ｂに示すように、ＦＣとＦＲ、ＦＣとＦＬ、ＦＲとＳＲ、ＦＬとＳＬ、ＳＬとＳＲの５対の相関について、上記算出法でのトラック情報生成を行って良いことは言うまでもない。
　以上のように、ユーザが配したスピーカの配置に応じて、また入力として与えられるチャネルベースオーディオの内容を解析することによって、音像定位、音響拡散両方の機能を備えたスピーカを用いた好適なレンダリング手法を自動で算出し、音声再生を行うことにより、音の定位感、音への包まれ感を両立した音声をユーザに届けることが可能となる。
　＜第３の実施形態＞
　第１の実施形態では、音声出力部１０５の正面方向は予め決められており、また同出力部の設置時にこの正面方向をユーザ側に向けることとしていたが、図１５のスピーカシステム１６のように、音声出力部１６０２が、自身の向き情報を音声信号レンダリング部１６０１に通知し、ユーザ位置に対して音声信号レンダリング部１６０１がこれに基づく音声レンダリングを行うようにしても良い。すなわち、図１５に示すように、本発明の第３の実施形態にかかるスピーカシステム１６では、コンテンツ解析部１０１ａが、ＤＶＤやＢＤなどのディスクメディア、ＨＤＤ（Hard Disc Drive）等に記録されている映像コンテンツ乃至音声コンテンツに含まれる音声信号やこれに付随するメタデータを解析する。記憶部１０１ｂは、コンテンツ解析部１０１ａで得られた解析結果やスピーカ位置情報取得部１０２から取得された情報、コンテンツ解析等に必要な各種パラメータを記憶する。スピーカ位置情報取得部１０２は、現在のスピーカ配置位置を取得する。
　音声信号レンダリング部１６０１は、コンテンツ解析部１０１ａとスピーカ位置情報取得部１０２から取得された情報に基づき、各々のスピーカ用に入力音声信号を適宜レンダリングし再合成する。音声出力部１６０２は、複数のスピーカユニットを有し、更に、自装置が向いている方向を取得する方向検知部１６０３を備える。音声出力部１６０２は、信号処理が施された音声信号を物理振動として出力する。
　図１６は、ユーザと音声出力部との位置関係を示す図である。図１６に示すように、ユーザと音声出力部の２つを結ぶ直線を基準軸として、各スピーカユニットの向きγを算出する。この時、音声信号レンダリング部１６０１は、すべてのスピーカユニットのうち、算出されたγが最小となるスピーカユニット１７０１を、音像定位強調レンダリング処理された音声信号の出力用スピーカユニットとして認識すると共に、その他のスピーカユニットを包まれ感強調処理がなされた音声信号の出力用スピーカユニットとして認識し、第１の実施形態の音声信号レンダリング部１０３に示した処理を行った音声信号を各々から出力する。
　なお、この時に必要とされるユーザの位置は、スピーカ位置情報取得部１０２ですでに説明した通り、タブレット端末等を通じて取得されるものとする。また、音声出力部１６０２の向き情報は方向検知部１６０３から取得される。方向検知部１６０３は、具体的には、ジャイロセンサや地磁気センサで実現するものとする。
　以上のように、ユーザが配したスピーカの配置、音像定位、音響拡散両方の機能を備えたスピーカを用いた好適なレンダリング手法を自動で算出し、更にはスピーカの向きを自動判別してその各々の役割を自動で判断することによって、音の定位感、音への「包まれ感」を両立した音声をユーザに届けることが可能となる。
　（Ａ）本発明は、以下の態様を採ることが可能である。すなわち、本発明の一態様のスピーカシステムは、マルチチャネル音声信号を再生するスピーカシステムであって、複数のスピーカユニットを有し、少なくとも一つのスピーカユニットがその他のスピーカユニットとは異なる向きに配置された音声出力部と、入力されたマルチチャネル音声信号の音声トラック毎に、音声トラックの種別を識別する解析部と、前記各スピーカユニットの位置情報を取得するスピーカ位置情報取得部と、前記音声トラックの種別に応じて、第１のレンダリング処理または第２のレンダリング処理のいずれか一方を選択し、前記取得したスピーカユニットの位置情報を用いて、前記選択した第１のレンダリング処理または第２のレンダリング処理を音声トラック毎に実行する音声信号レンダリング部と、を備え、前記音声出力部は、前記第１のレンダリング処理または前記第２のレンダリング処理が実行された音声トラックの音声信号を物理振動として出力する。
　このように、入力されたマルチチャネル音声信号の音声トラック毎に、音声トラックの種別を識別し、各スピーカユニットの位置情報を取得し、音声トラックの種別に応じて、第１のレンダリング処理または第２のレンダリング処理のいずれか一方を選択し、取得したスピーカユニットの位置情報を用いて、選択した第１のレンダリング処理または第２のレンダリング処理を音声トラック毎に実行し、いずれかのスピーカユニットから、第１のレンダリング処理または第２のレンダリング処理が実行された音声トラックの音声信号を物理振動として出力させるので、音の定位感および音への「包まれ感」を両立した音声をユーザに届けることが可能となる。
　（Ｂ）また、本発明の一態様のスピーカシステムにおいて、前記第１のレンダリング処理は、前記各スピーカユニットの向きの成す角度に応じて、音像定位感を強調する目的を有するスピーカユニットを使用して明確な発音オブジェクトを生成する音像定位強調レンダリング処理、または音像定位感を強調する目的を有しないスピーカユニットを使用して疑似的に発音オブジェクトを生成する音像定位補完レンダリング処理を切り替えて実行する。
　このように、第１のレンダリング処理は、各スピーカユニットの向きの成す角度に応じて、音像定位感を強調する目的を有するスピーカユニットを使用して明確な発音オブジェクトを生成する音像定位強調レンダリング処理、または音像定位感を強調する目的を有しないスピーカユニットを使用して疑似的に発音オブジェクトを生成する音像定位補完レンダリング処理を切り替えて実行するので、より明瞭にマルチチャネル音声信号をユーザに届け、音像の定位を感じやすくさせることが可能となる。
　（Ｃ）また、本発明の一態様のスピーカシステムにおいて、前記第２のレンダリング処理は、音像定位感を強調する目的を有しないスピーカユニットを使用して音響拡散効果を生成する包まれ感強調レンダリング処理を含む。
　このように、第２のレンダリング処理は、音像定位感を強調する目的を有しないスピーカユニットを使用して音響拡散効果を生成する「包まれ感強調レンダリング処理」を含むので、ユーザに対して、音への包まれ感や広がり感を与えることが可能となる。
　（Ｄ）また、本発明の一態様のスピーカシステムにおいて、前記音声信号レンダリング部は、ユーザからの入力操作に基づいて、前記各スピーカユニットの向きの成す角度に応じて、音像定位感を強調する目的を有するスピーカユニットを使用して明確な発音オブジェクトを生成する音像定位強調レンダリング処理、音像定位感を強調する目的を有しないスピーカユニットを使用して疑似的に発音オブジェクトを生成する音像定位補完レンダリング処理、または、音像定位感を強調する目的を有しないスピーカユニットを使用して音響拡散効果を生成する包まれ感強調レンダリング処理を実行する。
　この構成により、ユーザが任意に各レンダリング処理を選択することが可能となる。
　（Ｅ）また、本発明の一態様のスピーカシステムにおいて、前記音声信号レンダリング部は、ユーザから入力された比率に基づいて、前記音像定位強調レンダリング処理、前記音像定位補完レンダリング処理、または、前記包まれ感強調レンダリング処理を実行する。
　この構成により、ユーザが任意に各レンダリング処理を実行する割合を選択することが可能となる。
　（Ｆ）また、本発明の一態様のスピーカシステムにおいて、前記解析部は、各音声トラックの種別を、オブジェクトベースまたはチャネルベースのいずれか一方として識別し、前記音声信号レンダリング部は、音声トラックの種別がオブジェクトベースである場合は、前記第１のレンダリング処理を実行する一方、音声トラックの種別がチャネルベースである場合は、前記第２のレンダリング処理を実行する。
　この構成により、音声トラックの種別に応じてレンダリング処理を切り替え、音の定位感および音への「包まれ感」を両立した音声をユーザに届けることが可能となる。
　（Ｇ）また、本発明の一態様のスピーカシステムにおいて、前記解析部は、隣り合うチャネルの相関に基づいて、各音声トラックを複数の音声トラックに分離し、分離した音声トラック各々の種別を、オブジェクトベースまたはチャネルベースのいずれか一方として識別し、前記音声信号レンダリング部は、音声トラックの種別がオブジェクトベースである場合は、前記第１のレンダリング処理を実行する一方、音声トラックの種別がチャネルベースである場合は、前記第２のレンダリング処理を実行する。
　このように、前記解析部は、隣り合うチャネルの相関に基づいて、各音声トラックの種別を、オブジェクトベースまたはチャネルベースのいずれか一方として識別するので、マルチチャネル音声信号にチャネルベースの音声トラックのみが含まれている場合や、チャネルベースの音声トラックに音像の定位感を強調すべき音声信号が含まれている場合においても、音の定位感および音への「包まれ感」を両立した音声をユーザに届けることが可能となる。
　（Ｈ）また、本発明の一態様のスピーカシステムにおいて、前記音声出力部は、前記各スピーカユニットの向きを検出する方向検知部を更に備え、前記レンダリング部は、前記検出された各スピーカユニットの向きを示す情報を用いて、前記選択した第１のレンダリング処理または第２のレンダリング処理を音声トラック毎に実行し、前記音声出力部は、前記第１のレンダリング処理または前記第２のレンダリング処理が実行された音声トラックの音声信号を物理振動として出力する。
　このように、検出された各スピーカユニットの向きを示す情報を用いて、選択した第１のレンダリング処理または第２のレンダリング処理を音声トラック毎に実行するので、音の定位感や音への「包まれ感」を両立した音声をユーザに届けることが可能となる。
　（Ｉ）また、本発明の一態様のプログラムは、複数のスピーカユニットを有し、少なくとも一つのスピーカユニットがその他のスピーカユニットとは異なる向きに配置されたスピーカシステムのプログラムであって、入力されたマルチチャネル音声信号の音声トラック毎に、音声トラックの種別を識別する機能と、前記各スピーカユニットの位置情報を取得する機能と、前記音声トラックの種別に応じて、第１のレンダリング処理または第２のレンダリング処理のいずれか一方を選択し、前記取得したスピーカユニットの位置情報を用いて、前記選択した第１のレンダリング処理または第２のレンダリング処理を音声トラック毎に実行する機能と、前記いずれかのスピーカユニットから、前記第１のレンダリング処理または前記第２のレンダリング処理が実行された音声トラックの音声信号を物理振動として出力させる機能と、を少なくとも含む。
　このように、入力されたマルチチャネル音声信号の音声トラック毎に、音声トラックの種別を識別し、各スピーカユニットの位置情報を取得し、音声トラックの種別に応じて、第１のレンダリング処理または第２のレンダリング処理のいずれか一方を選択し、取得したスピーカユニットの位置情報を用いて、選択した第１のレンダリング処理または第２のレンダリング処理を音声トラック毎に実行し、いずれかのスピーカユニットから、第１のレンダリング処理または第２のレンダリング処理が実行された音声トラックの音声信号を物理振動として出力させるので、音の定位感および音への「包まれ感」を両立した音声をユーザに届けることが可能となる。
　〔ソフトウェアによる実現例〕
　スピーカシステム１、１４～１７の制御ブロック（特にスピーカ位置情報取得部１０２、コンテンツ解析部１０１ａ、音声信号レンダリング部１０３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、スピーカシステム１、１４～１７は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　本発明の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　（関連出願の相互参照）
　本出願は、2016年5月31日に出願された日本国特許出願：特願2016-109490に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
１、１４、１５、１６、１７　スピーカシステム
７　視聴部屋情報
１０１ａ　コンテンツ解析部
１０１ｂ　記憶部
１０２　スピーカ位置情報取得部
１０３　音声信号レンダリング部
１０５　音声出力部
２０１　センターチャネル
２０２　フロントライトチャネル
２０３　フロントレフトチャネル
２０４　サラウンドライトチャネル
２０５　サラウンドレフトチャネル
３０１、３０２、３０５　スピーカ位置
３０３、３０６　音像位置
４０１　トラック情報
６０１、６０２　スピーカの位置
６０３　音像定位位置
７０１　ユーザの位置
７０２、７０３、７０４、７０５、７０６　スピーカ位置
１００１、１００２　スピーカの位置
１００３　トラックにおける発音オブジェクトの位置
１００４、１００６　スピーカの位置
１００５　トラックにおける発音オブジェクトの位置
１１０１、１１０２　スピーカの配置位置
１１０３　発音オブジェクトの再現位置
１１０４、１１０５、１１０６　ベクトル
１１０７　視聴者
１２０１、１２０２、１２０３、１２０４、１２０５、１３０１、１３０２　スピーカユニット
１３０３、１３０４　音声出力部
１４０１　スピーカ位置情報取得部
１６０１　音声信号レンダリング部
１６０２　音声出力部
１６０３　方向検知部
１７０１　スピーカユニット

Claims (13)

  1. 　少なくとも一つの音声出力部であって、各々が複数のスピーカユニットを有し、各音声出力部において、少なくとも一つのスピーカユニットがその他のスピーカユニットとは異なる向きに配置されている音声出力部と、
    　入力された音声信号に基づいて、各スピーカユニットから出力される音声信号を生成するレンダリング処理を実行する音声信号レンダリング部と、
    を備え、
    　前記音声信号レンダリング部は、入力された音声信号に含まれる第１の音声信号に対して、第１のレンダリング処理を実行し、入力された音声信号に含まれる第２の音声信号に対して、第２のレンダリング処理を実行し、
    　第１のレンダリング処理は、第２のレンダリング処理よりも定位感を強調するレンダリング処理であることを特徴とするスピーカシステム。
  2. 　各音声出力部が有する複数のスピーカユニットには、音像定位感を強調する目的を有するスピーカユニットと、音像定位感を強調する目的を有しないスピーカユニットとが含まれることを特徴とする請求項１に記載のスピーカシステム。
  3. 　前記音像定位感を強調する目的を有するスピーカユニットは、ユーザ側を向いたスピーカユニットであり、前記音像定位感を強調する目的を有しないスピーカユニットは、ユーザ側を向いていないスピーカユニットであることを特徴とする請求項２に記載のスピーカシステム。
  4. 　各スピーカユニットの位置情報を取得するスピーカ位置情報取得部をさらに備え、
    　前記音声信号レンダリング部は、第１のレンダリング処理を行う場合、前記各スピーカユニットの位置情報と、第１の音声信号における発音オブジェクトの位置とに基づいて、前記音像定位感を強調する目的を有するスピーカユニットから音声信号を出力する音像定位強調レンダリング処理と、前記音像定位感を強調する目的を有しないスピーカユニットから音声信号を出力する音像定位補完レンダリング処理と、を切り替えて実行することを特徴とする請求項２または３に記載のスピーカシステム。
  5. 　前記音声信号レンダリング部は、第１のレンダリング処理を行う場合、音圧パンニングを実行することを特徴とする請求項４に記載のスピーカシステム。
  6. 　前記音声信号レンダリング部は、第２のレンダリング処理を行う場合、前記音像定位感を強調する目的を有しないスピーカユニットから音声信号を出力することを特徴とする請求項２～５の何れか一項に記載のスピーカシステム。
  7. 　前記音声信号レンダリング部は、第２のレンダリング処理を行う場合、前記音像定位感を強調する目的を有しないスピーカユニットから同じ音声信号を出力することを特徴とする請求項６に記載のスピーカシステム。
  8. 　各音声出力部は、当該音声出力部が有する各スピーカユニットの向きを検出する方向検知部を更に備え、
    　前記音声信号レンダリング部は、前記方向検知部が検出した各スピーカユニットの向きに基づいて、第１のレンダリング処理および第２のレンダリング処理において使用するスピーカユニットを選択することを特徴とする請求項１～７の何れか一項に記載のスピーカシステム。
  9. 　前記音声信号レンダリング部は、入力された音声信号に含まれるオブジェクトベースの音声信号を第１の音声信号とし、入力された音声信号に含まれるチャネルベースの音声信号を第２の音声信号とすることを特徴とする請求項１～８の何れか一項に記載のスピーカシステム。
  10. 　前記音声信号レンダリング部は、隣り合うチャネルの相関に基づいて、入力された音声信号を分離し、分離された音声信号各々について、第１の音声信号および第２の音声信号を識別することを特徴とする請求項１～８の何れか一項に記載のスピーカシステム。
  11. 　前記音声信号レンダリング部は、ユーザからの入力操作に基づいて、レンダリング処理を選択することを特徴とする請求項１～８の何れか一項に記載のスピーカシステム。
  12. 　入力された音声信号に基づいて、少なくとも一つの音声出力部であって、各々が複数のスピーカユニットを有し、各音声出力部において、少なくとも一つのスピーカユニットがその他のスピーカユニットとは異なる向きに配置されている音声出力部のスピーカユニットから出力される音声信号を生成するレンダリング処理を実行する音声信号レンダリング部を備え、
    　前記音声信号レンダリング部は、入力された音声信号に含まれる第１の音声信号に対して、第１のレンダリング処理を実行し、入力された音声信号に含まれる第２の音声信号に対して、第２のレンダリング処理を実行し、
    　第１のレンダリング処理は、第２のレンダリング処理よりも定位感を強調するレンダリング処理であることを特徴とする音声信号レンダリング装置。
  13. 　請求項１２に記載の音声信号レンダリング装置としてコンピュータを機能させるための音声信号レンダリングプログラムであって、上記音声信号レンダリング部としてコンピュータを機能させるための音声信号レンダリングプログラム。
PCT/JP2017/020310 2016-05-31 2017-05-31 スピーカシステム、音声信号レンダリング装置およびプログラム WO2017209196A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018520966A JP6663490B2 (ja) 2016-05-31 2017-05-31 スピーカシステム、音声信号レンダリング装置およびプログラム
US16/306,505 US10869151B2 (en) 2016-05-31 2017-05-31 Speaker system, audio signal rendering apparatus, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-109490 2016-05-31
JP2016109490 2016-05-31

Publications (1)

Publication Number Publication Date
WO2017209196A1 true WO2017209196A1 (ja) 2017-12-07

Family

ID=60477562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020310 WO2017209196A1 (ja) 2016-05-31 2017-05-31 スピーカシステム、音声信号レンダリング装置およびプログラム

Country Status (3)

Country Link
US (1) US10869151B2 (ja)
JP (1) JP6663490B2 (ja)
WO (1) WO2017209196A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022054576A1 (ja) * 2020-09-09 2022-03-17 ヤマハ株式会社 音信号処理方法および音信号処理装置
WO2022097583A1 (ja) * 2020-11-06 2022-05-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11488621B1 (en) * 2021-04-23 2022-11-01 Tencent America LLC Estimation through multiple measurements
US11681491B1 (en) * 2022-05-04 2023-06-20 Audio Advice, Inc. Systems and methods for designing a theater room

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073313A (ja) * 2010-09-28 2012-04-12 Yamaha Corp サウンドマスキングシステム及びマスカ音出力装置
WO2014184353A1 (en) * 2013-05-16 2014-11-20 Koninklijke Philips N.V. An audio processing apparatus and method therefor
JP2015508245A (ja) * 2012-01-23 2015-03-16 コーニンクレッカ フィリップス エヌ ヴェ オーディオ・レンダリング・システムおよびそのための方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4581831B2 (ja) 2005-05-16 2010-11-17 ソニー株式会社 音響装置、音響調整方法および音響調整プログラム
NZ587483A (en) * 2010-08-20 2012-12-21 Ind Res Ltd Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions
JP5640911B2 (ja) * 2011-06-30 2014-12-17 ヤマハ株式会社 スピーカアレイ装置
JP2013055439A (ja) 2011-09-02 2013-03-21 Sharp Corp 音声信号変換装置、方法、プログラム、及び記録媒体
US20140056430A1 (en) * 2012-08-21 2014-02-27 Electronics And Telecommunications Research Institute System and method for reproducing wave field using sound bar
KR20140046980A (ko) * 2012-10-11 2014-04-21 한국전자통신연구원 오디오 데이터 생성 장치 및 방법, 오디오 데이터 재생 장치 및 방법
JP6355049B2 (ja) * 2013-11-27 2018-07-11 パナソニックＩｐマネジメント株式会社 音響信号処理方法、及び音響信号処理装置
EP3128762A1 (en) * 2015-08-03 2017-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Soundbar
EP3335433B1 (en) * 2015-08-14 2023-05-31 Dolby Laboratories Licensing Corporation Upward firing loudspeaker having asymmetric dispersion for reflected sound rendering
JP6905824B2 (ja) * 2016-01-04 2021-07-21 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 非常に多数のリスナのための音響再生

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073313A (ja) * 2010-09-28 2012-04-12 Yamaha Corp サウンドマスキングシステム及びマスカ音出力装置
JP2015508245A (ja) * 2012-01-23 2015-03-16 コーニンクレッカ フィリップス エヌ ヴェ オーディオ・レンダリング・システムおよびそのための方法
WO2014184353A1 (en) * 2013-05-16 2014-11-20 Koninklijke Philips N.V. An audio processing apparatus and method therefor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022054576A1 (ja) * 2020-09-09 2022-03-17 ヤマハ株式会社 音信号処理方法および音信号処理装置
WO2022097583A1 (ja) * 2020-11-06 2022-05-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム

Also Published As

Publication number Publication date
US10869151B2 (en) 2020-12-15
JP6663490B2 (ja) 2020-03-11
US20190335286A1 (en) 2019-10-31
JPWO2017209196A1 (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
KR102182526B1 (ko) 빔형성 라우드스피커 어레이를 위한 공간적 오디오 렌더링
KR102294767B1 (ko) 고채널 카운트 멀티채널 오디오에 대한 멀티플렛 기반 매트릭스 믹싱
US9712939B2 (en) Panning of audio objects to arbitrary speaker layouts
JP5688030B2 (ja) 三次元音場の符号化および最適な再現の方法および装置
JP6022685B2 (ja) オーディオ再生装置及びその方法
KR20150038487A (ko) 오브젝트―기반 오디오를 위한 반사된 사운드 렌더링
WO2017209196A1 (ja) スピーカシステム、音声信号レンダリング装置およびプログラム
KR20190091445A (ko) 오디오 이미지를 생성하는 시스템 및 방법
JP2018527825A (ja) オブジェクトベースのオーディオのための低音管理
US10547962B2 (en) Speaker arranged position presenting apparatus
KR102527336B1 (ko) 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치
US10999678B2 (en) Audio signal processing device and audio signal processing system
CN110191745B (zh) 利用空间音频的游戏流式传输
CN111512648A (zh) 启用空间音频内容的渲染以用于由用户消费
JP6179862B2 (ja) オーディオ信号再生装置およびオーディオ信号再生方法
WO2018150774A1 (ja) 音声信号処理装置及び音声信号処理システム
TW202332290A (zh) 使用空間擴展音源之呈現器、解碼器、編碼器、方法及位元串流
Ziemer et al. Conventional stereophonic sound
Moore The development of a design tool for 5-speaker surround sound decoders
RU2803638C2 (ru) Обработка пространственно диффузных или больших звуковых объектов
RU2779295C2 (ru) Обработка монофонического сигнала в декодере 3d-аудио, предоставляющая бинауральный информационный материал
US10405122B1 (en) Stereophonic sound generating method and apparatus using multi-rendering scheme and stereophonic sound reproducing method and apparatus using multi-rendering scheme
KR102058619B1 (ko) 예외 채널 신호의 렌더링 방법
JP2024507945A (ja) オーディオオブジェクトをレンダリングするための装置及び方法
Toole Direction and space–the final frontiers

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018520966

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17806747

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17806747

Country of ref document: EP

Kind code of ref document: A1