JP6868093B2 - 音声信号処理装置及び音声信号処理システム - Google Patents
音声信号処理装置及び音声信号処理システム Download PDFInfo
- Publication number
- JP6868093B2 JP6868093B2 JP2019506950A JP2019506950A JP6868093B2 JP 6868093 B2 JP6868093 B2 JP 6868093B2 JP 2019506950 A JP2019506950 A JP 2019506950A JP 2019506950 A JP2019506950 A JP 2019506950A JP 6868093 B2 JP6868093 B2 JP 6868093B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- rendering
- audio
- track
- rendering method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 title claims description 208
- 238000009877 rendering Methods 0.000 claims description 387
- 238000000034 method Methods 0.000 claims description 332
- 230000008569 process Effects 0.000 claims description 28
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000004091 panning Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000004807 localization Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/308—Electronic adaptation dependent on speaker or headphone connection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Description
以下、本発明の一実施形態について、図1から図8を用いて説明する。
音声信号処理部10は、一つまたは複数の音声トラックの音声信号、および、当該音声信号に割り当てられた音像位置に基づいて、複数の音声出力部20の各々に出力する出力信号を算出するレンダリング処理を行う音声信号処理装置である。具体的には、音声信号処理部10は、一つまたは複数の音声トラックの音声信号を異なる2種類のレンダリング方式を用いてレンダリングする音声信号処理装置である。レンダリング処理後の音声信号は、音声信号処理部10から音声出力部20へ出力される。
コンテンツ解析部101は、DVDやBDなどのディスクメディア、HDD(Hard Disc Drive)等に記録されている映像コンテンツまたは音声コンテンツに含まれる音声トラックとこれに付随する任意のメタデータ(情報)とを解析し、発音オブジェクト位置情報を求める。発音オブジェクト位置情報は、コンテンツ解析部101からレンダリング方式選択部102及び音声信号レンダリング部103に送られる。
発音オブジェクト位置情報について、図2を用いて説明する。
レンダリング方式選択部102は、コンテンツ解析部101で得られた発音オブジェクト位置情報に基づき、各音声トラックを、複数のレンダリング方式のうちの何れのレンダリング方式を用いてレンダリングするかを決定する。そして、決定した結果を示す情報を音声信号レンダリング部103に出力する。
音声信号レンダリング部103は、入力音声信号と、レンダリング方式選択部102から出力された指示信号とに基づき、音声出力部20から出力されるべき音声信号を構築する。
記憶部104は、レンダリング方式選択部102及び音声信号レンダリング部103で用いられる種々のデータを記録するための二次記憶装置によって構成される。記憶部104は、例えば、磁気ディスク、光ディスク、フラッシュメモリなどによって構成され、より具体的な例としては、HDD、SSD(Solid State Drive)、SDメモリーカード、BD、DVDなどが挙げられる。レンダリング方式選択部102及び音声信号レンダリング部103は、必要に応じて記憶部104からデータを読み出す。また、レンダリング方式選択部102において算出された係数等を含む各種パラメータデータは、記憶部104に記録されることも可能である。
音声出力部20は、音声信号レンダリング部103で得られた音声を出力する。ここで、音声出力部20は、1つ又は複数のスピーカで構成され、個々のスピーカは1つ以上のスピーカユニットとこれを駆動させる増幅器(アンプ)で構成される。
本発明の実施形態2について、図9及び図10に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本発明の実施形態3について、図11に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本発明の態様1に係る音声信号処理装置(音声信号処理部10)は、一つまたは複数の音声トラックの音声信号が入力され、複数の音声出力装置(スピーカ601、602、605)の各々に出力する出力信号を算出するレンダリング処理を行う音声信号処理装置(音声信号処理部10)であって、各音声トラックまたはその分割トラックの音声信号について、複数のレンダリング(レンダリング方式A,B)方式の中から一つのレンダリング方式を選択して当該音声信号をレンダリング処理する処理部(レンダリング方式選択部102及び音声信号レンダリング部103)を備え、上記処理部(レンダリング方式選択部102及び音声信号レンダリング部103)は、上記音声信号、上記音声信号に割り当てられた音像位置、および上記音声信号に付随する付随情報の少なくとも一つに基づいて上記一つのレンダリング方式を選択することを特徴としている。
本出願は、2017年3月24日に出願された日本国特許出願:特願2017−060025に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
10 音声信号処理部
20 音声出力部
101 コンテンツ解析部
102 レンダリング方式選択部
103 音声信号レンダリング部
104 記憶部
201、401 トラック情報
601、602 スピーカ
603、604 領域
605 アレイスピーカ
1001 受聴エリア(特定の受領エリア)
1002 受聴エリア内の音声トラック(重要トラック)
1003 受聴エリア外の音声トラック(非重要トラック)
Claims (11)
- 一つまたは複数の音声トラックが入力され、複数の音声出力装置の各々に出力する出力信号を算出するレンダリング処理を行う音声信号処理装置であって、
各音声トラックまたはその分割トラックの音声信号について、複数のレンダリング方式の中から一つのレンダリング方式を選択して当該音声信号をレンダリング処理する処理部を備え、
上記複数のレンダリング方式は、各レンダリング方式において音像を配置可能な範囲であるレンダリング処理可能範囲が定められており、
上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号に割り当てられた音像位置が、各レンダリング方式のレンダリング処理可能範囲に含まれる時間に基づいて、上記一つのレンダリング方式を選択することを特徴とする音声信号処理装置。 - 上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、トラック開始からトラック終了までの期間における当該音声信号に割り当てられた音像位置の分布に基づいて、上記一つのレンダリング方式を選択することを特徴とする請求項1に記載の音声信号処理装置。
- 上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号に割り当てられた音像位置が、予め設定された受聴エリアに含まれているか否かに基づいて、上記一つのレンダリング方式を選択することを特徴とする請求項1に記載の音声信号処理装置。
- 上記受聴エリアは、聴取者の前方を含むエリアであることを特徴とする請求項3に記載の音声信号処理装置。
- 一つまたは複数の音声トラックが入力され、複数の音声出力装置の各々に出力する出力信号を算出するレンダリング処理を行う音声信号処理装置であって、
各音声トラックまたはその分割トラックの音声信号について、複数のレンダリング方式の中から一つのレンダリング方式を選択して当該音声信号をレンダリング処理する処理部を備え、
上記処理部は、上記音声信号、上記音声信号に割り当てられた音像位置、および上記音声信号に付随する付随情報の少なくとも一つに基づいて上記一つのレンダリング方式を選択し、
上記音声信号に付随する付随情報は、当該音声信号に含まれる音声の種類を示す情報を含んでおり、
上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号に割り当てられた音像位置が、予め設定された受聴エリアに含まれている場合、および、当該音声信号に付随する付随情報が、当該音声信号がセリフまたはナレーションを含むことを示す場合には、上記複数のレンダリング方式のうちの、上記複数のレンダリング方式それぞれでレンダリング処理された音声信号のうちの最もS/N比が低い音声信号の構築に用いられたレンダリング方式を上記一つのレンダリング方式として選択し、それ以外の場合には、トラック開始からトラック終了までの期間における当該音声信号に割り当てられた音像位置の分布に基づいて、上記一つのレンダリング方式を選択することを特徴とする音声信号処理装置。 - 上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号の最大再生音圧に基づいて、上記一つのレンダリング方式を選択することを特徴とする請求項1に記載の音声信号処理装置。
- 上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号の最大再生音圧が、閾値より大きい場合には、当該最大再生音圧に応じて上記一つのレンダリング方式を選択し、当該最大再生音圧が、閾値以下である場合には、トラック開始からトラック終了までの期間における当該音声信号に割り当てられた音像位置の分布に基づいて、上記一つのレンダリング方式を選択することを特徴とする請求項1に記載の音声信号処理装置。
- 上記複数のレンダリング方式は、上記音声信号を再生位置に応じた音圧の比率で各上記音声出力装置から出力させる第一のレンダリング方式と、再生位置に応じた加工がされた上記音声信号を各上記音声出力装置から出力させる第二のレンダリング方式とを含むことを特徴とする請求項1から7までの何れか1項に記載の音声信号処理装置。
- 上記第一のレンダリング方式は、音圧パンニングであり、
上記第二のレンダリング方式は、トランスオーラルであることを特徴とする請求項8に記載の音声信号処理装置。 - 上記複数の音声出力装置が、複数のスピーカユニットを一定間隔で直線上に並べたアレイスピーカである場合、上記複数のレンダリング方式には、波面合成再生方式が含まれることを特徴とする請求項1から9までの何れか1項に記載の音声信号処理装置。
- 請求項1から10までの何れか1項に記載の音声信号処理装置と、
上記複数の音声出力装置と、
を備えていることを特徴とする音声信号処理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017060025 | 2017-03-24 | ||
JP2017060025 | 2017-03-24 | ||
PCT/JP2017/047259 WO2018173413A1 (ja) | 2017-03-24 | 2017-12-28 | 音声信号処理装置及び音声信号処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018173413A1 JPWO2018173413A1 (ja) | 2020-02-06 |
JP6868093B2 true JP6868093B2 (ja) | 2021-05-12 |
Family
ID=63584355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019506950A Active JP6868093B2 (ja) | 2017-03-24 | 2017-12-28 | 音声信号処理装置及び音声信号処理システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10999678B2 (ja) |
JP (1) | JP6868093B2 (ja) |
WO (1) | WO2018173413A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020227140A1 (en) * | 2019-05-03 | 2020-11-12 | Dolby Laboratories Licensing Corporation | Rendering audio objects with multiple types of renderers |
GB2587357A (en) * | 2019-09-24 | 2021-03-31 | Nokia Technologies Oy | Audio processing |
GB2592610A (en) * | 2020-03-03 | 2021-09-08 | Nokia Technologies Oy | Apparatus, methods and computer programs for enabling reproduction of spatial audio signals |
CN113035209B (zh) * | 2021-02-25 | 2023-07-04 | 北京达佳互联信息技术有限公司 | 三维音频获取方法和三维音频获取装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11113098A (ja) | 1997-10-03 | 1999-04-23 | Victor Co Of Japan Ltd | マルチチャンネル音声信号の2チャンネルエンコード処理装置 |
WO2011095913A1 (en) * | 2010-02-02 | 2011-08-11 | Koninklijke Philips Electronics N.V. | Spatial sound reproduction |
TWI603632B (zh) * | 2011-07-01 | 2017-10-21 | 杜比實驗室特許公司 | 用於適應性音頻信號的產生、譯碼與呈現之系統與方法 |
JP2013055439A (ja) | 2011-09-02 | 2013-03-21 | Sharp Corp | 音声信号変換装置、方法、プログラム、及び記録媒体 |
JP6174326B2 (ja) | 2013-01-23 | 2017-08-02 | 日本放送協会 | 音響信号作成装置及び音響信号再生装置 |
JP6204683B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置、音響信号作成装置 |
US9860669B2 (en) * | 2013-05-16 | 2018-01-02 | Koninklijke Philips N.V. | Audio apparatus and method therefor |
KR102231755B1 (ko) | 2013-10-25 | 2021-03-24 | 삼성전자주식회사 | 입체 음향 재생 방법 및 장치 |
JP6291035B2 (ja) | 2014-01-02 | 2018-03-14 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | オーディオ装置及びそのための方法 |
EP4044180A1 (en) * | 2014-10-01 | 2022-08-17 | Dolby International AB | Decoding an encoded audio signal using drc profiles |
RU2019138260A (ru) | 2015-06-24 | 2019-12-05 | Сони Корпорейшн | Устройство, способ и программа аудиообработки |
-
2017
- 2017-12-28 US US16/497,200 patent/US10999678B2/en active Active
- 2017-12-28 JP JP2019506950A patent/JP6868093B2/ja active Active
- 2017-12-28 WO PCT/JP2017/047259 patent/WO2018173413A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JPWO2018173413A1 (ja) | 2020-02-06 |
US10999678B2 (en) | 2021-05-04 |
US20200053461A1 (en) | 2020-02-13 |
WO2018173413A1 (ja) | 2018-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101512992B1 (ko) | 오디오 데이터를 처리하기 위한 디바이스 및 방법 | |
JP6868093B2 (ja) | 音声信号処理装置及び音声信号処理システム | |
JP4914124B2 (ja) | 音像制御装置及び音像制御方法 | |
JP5496235B2 (ja) | 多重オーディオチャンネル群の再現の向上 | |
US8204615B2 (en) | Information processing device, information processing method, and program | |
KR100522593B1 (ko) | 다채널 입체음향 사운드 생성방법 및 장치 | |
JP2016518067A (ja) | 没入型オーディオの残響音場を管理する方法 | |
JPWO2019049409A1 (ja) | 音声信号処理装置および音声信号処理システム | |
KR102527336B1 (ko) | 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치 | |
JP6663490B2 (ja) | スピーカシステム、音声信号レンダリング装置およびプログラム | |
JP5351763B2 (ja) | オーディオミキシング装置 | |
JPH10336798A (ja) | 音場補正回路 | |
WO2018150774A1 (ja) | 音声信号処理装置及び音声信号処理システム | |
JP2005278125A (ja) | マルチチャンネルオーディオ信号処理装置 | |
CN112243191B (zh) | 音响处理装置及音响处理方法 | |
JP2007180662A (ja) | 映像音声再生装置、方法およびプログラム | |
JP2004158141A (ja) | オーディオ再生装置および方法 | |
Brandenburg et al. | Audio Codecs: Listening pleasure from the digital world | |
Toole | Direction and space–the final frontiers | |
JP2005223706A (ja) | ビデオカメラの録音装置 | |
JP2010157954A (ja) | オーディオ再生装置 | |
KR20000014386U (ko) | Ac-3 오디오의 지연 시간 조절 장치 | |
KR20000014387U (ko) | 돌비 프로로직 오디오 장치 | |
JP2008294577A (ja) | マルチチャンネル信号再生装置 | |
KR20000014388U (ko) | 돌비 프로로직 오디오 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190920 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200911 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210316 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6868093 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |