JP7451896B2 - 音響処理装置および音響処理方法 - Google Patents
音響処理装置および音響処理方法 Download PDFInfo
- Publication number
- JP7451896B2 JP7451896B2 JP2019130884A JP2019130884A JP7451896B2 JP 7451896 B2 JP7451896 B2 JP 7451896B2 JP 2019130884 A JP2019130884 A JP 2019130884A JP 2019130884 A JP2019130884 A JP 2019130884A JP 7451896 B2 JP7451896 B2 JP 7451896B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- effect
- channel
- acoustic
- sound effect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000004458 analytical method Methods 0.000 claims description 50
- 230000005236 sound signal Effects 0.000 claims description 34
- 230000004807 localization Effects 0.000 claims description 21
- 108091006146 Channels Proteins 0.000 description 88
- 238000010586 diagram Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 6
- 229920005994 diacetyl cellulose Polymers 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Description
図1は、音響処理装置を含む音響付与システムの構成を示す図である。
この図に示される音響付与システム10は、リスナーLsnの前方に配置された2つのスピーカー152および154によって、バーチャルサラウンド効果を付与する。
デコーダー100は、図示省略された記録媒体を再生するプレイヤーから出力される信号のうち、音響信号Ainを入力する。なお、ここでいう記録媒体とは、例えばDVD(Digital Versatile Disc)やBD(Blu-ray Disc:登録商標)であり、映画やミュージックビデオなどのように映像信号と音響信号とが同期して記録されたものが好ましい。
なお、上記プレイヤーからの出力される信号のうち、映像信号に基づいた映像は、モニター160に表示される。
第1音響効果付与部221は、5チャネルの音響信号を信号処理することによって、第1音響効果を付与した左用のチャネルL1および右用のチャネルR1の音響信号を出力する。第2音響効果付与部222は、5チャネルの音響信号を信号処理することによって、第1音響効果とは異なる第2音響効果を付与した左用のチャネルL2および右用のチャネルR2の音響信号を出力する。
なお、図1の実線は、選択部224が信号CtrによってチャネルL1およびR1を選択した状態を示し、破線は、チャネルL2およびR2を選択した状態を示している。
同様にDAC134は、選択部224によって選択された右用のチャネルの音響信号をアナログに変換し、アンプ144は、DAC134により変換された信号を増幅し、スピーカー154は、アンプ142により増幅された信号を音に変換して出力する。
フィードバッククロスディレイでは、左のディレイが右の入力に、右のディレイが左の入力に、それぞれフィードバックされて加算される。このため、第1音響効果では、一般的には音が立体的に聴こえる、という効果が得られる。
トランスオーラルとは、例えばバイノーラル録音された音を、ヘッドフォンではなく、ステレオスピーカーで再現する技術である。ただし、ヘッドフォンではなく、単純にスピーカーで再現する場合、クロストークが発生するので、トランスオーラルでは、クロストークをキャンセルするための処理も含まれる。
なお、この定位領域は、リスナーLsnの頭部がスピーカー152および154を結ぶ仮想線M1の垂直二等分線M2に位置し、かつ、リスナーLsnの顔が、垂直二等分線M2に沿った方向で、スピーカー152および154に向いた場合の例である。
はじめに、解析部210は、電源が投入された場合や、デコーダー100によりデコードされた各チャネルの音響信号が入力された場合などを契機として、この動作を開始する。
まず、解析部210は、初期設定処理を実行する(ステップS10)。初期設定処理としては、例えば選択部224における初期選択状態としてチャネルL1およびR1の組を選択させる処理などが挙げられる。
次に、解析部210は、デコーダー100によりデコードされた各チャネルの音響信号の特徴量を求める(ステップS12)。本実施形態では、特徴量の例として音量レベルを用いる。
なお、ここでは、比率が閾値以上であるか否かによって、第1音響効果または第2音響効果を選択する構成としているが、例えば、求めた特徴量を用いて、学習モデルを構築し、機械学習によって分類し、その結果に応じて第1音響効果または第2音響効果を選択する構成としてもよい。
例えば、解析部210は、新たに第1音響効果を選択すべきと決定した場合に、現時点で実際に選択部224が第2音響効果を選択していれば、音響効果を切り替える必要があると判別する。また例えば、解析部210は、新たに第2音響効果を選択すべきと決定した場合に、現時点で既に選択部224が第2音響効果を選択していれば、音響効果を切り替える必要がないと判別する。
この後、解析部210は、処理の手順をステップS12に戻す。
一方、解析部210は、音響効果を切り替える必要がないと判別すれば(ステップS16の判別結果が「No」であれば)、処理の手順をステップS12に戻す。
このように、本実施形態では、音響信号で再現すべき音場や定位感に応じて、適切な音響効果が所定の時間毎に決定・選択されるので、リスナーに不自然な感じを与えることを抑制することができる。
音声については、単純な周波数解析ではなく、音声の特徴量であるメル周波数ケプストラム係数(MFCC:Mel-Frequency Cepstrum Coefficients)を用いても良い。
なお、図において、チャネルFLおよびFRの相関度がFaであり、チャネルFRおよびSRの相関度がRaであり、チャネルSRおよびSLの相関度がSaであり、チャネルSLおよびFLの相関度がLaである。
例えば相関度Faが、他の相関度Ra、SaおよびLaよりも相対的に大きいのであれば、前方の音場に比重が置かれている場面であると考えられる。このため、解析部210は、例えば、相関度Ra、SaまたはLaに対する相関度Faの各比率が、それぞれ閾値以上であれば、第1音響効果を選択する旨を決定し、そうでなければ、第2音響効果を選択する旨を決定しても良い。
また、相関度Ra、SaまたはLaの相関度が他の相関度よりも相対的に大きいのであれば、前方以外の音場に比重が置かれている場面であると考えられる。このため、解析部210は、例えば、相関度Ra、SaまたはLaのうち、他の相関度に対する比率が閾値以上である相関度があれば、第2音響効果を選択する旨を決定し、そうでなければ、第1音響効果を選択する旨を決定しても良い。
なお、別例1の相関度については、チャネルFCを加えても良い。
図8におけるパターン1は、チャネルFL、FC、FR、SLおよびSRの音量レベルが、いずれも「大」である場合を示している。この場合、音像の定位方向が周辺にほぼまんべんなく広がっていると考えられる。このため、解析部210は、第2音響効果を選択する旨を決定する。
図8におけるパターン2は、チャネルFL、FC、FR、SLおよびSRの音量レベルが、いずれも「中」である場合を示している。この場合、パターン1と同様に、音像の定位方向が周辺に広がっていると考えられるので、解析部210は、第2音響効果を選択する旨を決定する。
なお、特に図示しないが、チャネルFL、FC、FR、SLおよびSRの音量レベルが、いずれも「小」であれば、パターン1、2と同様に、解析部210は、第2音響効果を選択する旨を決定する。
なお、特に図示しないが、チャネルFL、FR、SLおよびSRの音量レベルが「小」であり、チャネルFCの音量レベルが「大」である場合や、チャネルFL、FR、SLおよびSRの音量レベルが「中」であり、チャネルFCの音量レベルが「大」である場合なども同様である。
上述した実施形態等から、例えば以下のような態様が把握される。
態様1によれば、前方音場や、人物が台詞を喋るような場面において、リスナーに不自然な感じを与えることを抑制することができる。
態様2によれば、効果の異なる第1音響効果または第2音響効果を適切に付与することができる。
態様3によれば、入力信号の特徴量に基づいて第1音響効果または第2音響効果が選択されるので、音響効果を適切に付与することができる。
態様4によれば、チャネルの音量レベルに基づいて第1音響効果または第2音響効果が選択されるので、音響効果を適切に付与することができる。
態様5によれば、前方チャネルの音量レベルが後方チャネルの音量レベルよりも相対的に大きい場合等、第1音響効果を選択することができる。逆の場合には、第2音響効果を選択することができる。
Claims (6)
- 入力信号を解析して、バーチャルサラウンドの第1音響効果、または、前記第1音響効果とは異なるバーチャルサラウンドの第2音響効果の付与を決定する解析部と、
前記入力信号に、前記第1音響効果または前記第2音響効果を、前記解析部による決定に応じて付与する音響効果付与部と、
を具備し、
前記入力信号は、複数のチャネルの音声信号であり、前記複数のチャネルは、前方左チャネル、前方右チャネル、後方左チャネルおよび後方右チャネルを含み、
前記解析部は、前記後方左チャネルの前記音声信号の特徴量および前記後方右チャネルの前記音声信号の特徴量の和と、前記前方左チャネルの前記音声信号の特徴量および前記前方右チャネルの前記音声信号の特徴量の和とに基づいて、前記第1音響効果または前記第2音響効果を前記音響効果付与部に対して選択させる、
音響処理装置。 - 前記第1音響効果による定位領域は、前記第2音響効果による定位領域よりも広く、
前記第1音響効果による音像範囲は、前記第2音響効果による音像範囲よりも狭い、
請求項1に記載の音響処理装置。 - 前記チャネルの特徴量は、チャネルの音量レベルである、
請求項2に記載の音響処理装置。 - 解析部と音響効果付与部とを有する音響信号処理装置において
前記解析部が、入力信号を解析して、バーチャルサラウンドの第1音響効果、または、前記第1音響効果とは異なるバーチャルサラウンドの第2音響効果の付与を決定し、
前記入力信号に、前記第1音響効果または前記第2音響効果を、前記決定に応じて付与し、前記入力信号は、複数のチャネルの音声信号であり、前記複数のチャンネルは、前方左チャネル、前方右チャネル、後方左チャネルおよび後方右チャネルを含み、
前記解析部において、前記後方左チャネルの前記音声信号の特徴量および前記後方右チャネルの前記音声信号の特徴量の和と、前記前方左チャネルの前記音声信号の特徴量および前記前方右チャネルの前記音声信号の特徴量の和とに基づいて、前記第1音響効果または前記第2音響効果の付与が決定される、
音響処理方法。 - 前記第1音響効果による定位領域は、前記第2音響効果による定位領域よりも広く、
前記第1音響効果による音像範囲は、前記第2音響効果による音像範囲よりも狭い、
請求項4に記載の音響処理方法。 - 前記チャネルの特徴量は、チャネルの音量レベルである、
請求項5に記載の音響処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019130884A JP7451896B2 (ja) | 2019-07-16 | 2019-07-16 | 音響処理装置および音響処理方法 |
CN202010643982.1A CN112243191B (zh) | 2019-07-16 | 2020-07-03 | 音响处理装置及音响处理方法 |
US16/927,141 US11277704B2 (en) | 2019-07-16 | 2020-07-13 | Acoustic processing device and acoustic processing method |
EP20185667.1A EP3767971A1 (en) | 2019-07-16 | 2020-07-14 | Acoustic processing device and acoustic processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019130884A JP7451896B2 (ja) | 2019-07-16 | 2019-07-16 | 音響処理装置および音響処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021016117A JP2021016117A (ja) | 2021-02-12 |
JP7451896B2 true JP7451896B2 (ja) | 2024-03-19 |
Family
ID=71614744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019130884A Active JP7451896B2 (ja) | 2019-07-16 | 2019-07-16 | 音響処理装置および音響処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11277704B2 (ja) |
EP (1) | EP3767971A1 (ja) |
JP (1) | JP7451896B2 (ja) |
CN (1) | CN112243191B (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010106617A1 (ja) | 2009-03-16 | 2010-09-23 | パイオニア株式会社 | 音声調整装置 |
JP2013519253A (ja) | 2010-02-02 | 2013-05-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 空間音声再生 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2301547C (en) * | 1997-09-05 | 2006-06-06 | Lexicon | 5-2-5 matrix encoder and decoder system |
US7929709B2 (en) | 2005-12-28 | 2011-04-19 | Yamaha Corporation | Sound image localization apparatus |
JP4424348B2 (ja) | 2005-12-28 | 2010-03-03 | ヤマハ株式会社 | 音像定位装置 |
KR101035070B1 (ko) * | 2009-06-09 | 2011-05-19 | 주식회사 라스텔 | 고음질 가상 공간 음향 생성 장치 및 방법 |
TWI517028B (zh) * | 2010-12-22 | 2016-01-11 | 傑奧笛爾公司 | 音訊空間定位和環境模擬 |
EP2503800B1 (en) * | 2011-03-24 | 2018-09-19 | Harman Becker Automotive Systems GmbH | Spatially constant surround sound |
US9769585B1 (en) * | 2013-08-30 | 2017-09-19 | Sprint Communications Company L.P. | Positioning surround sound for virtual acoustic presence |
EP3048818B1 (en) | 2015-01-20 | 2018-10-10 | Yamaha Corporation | Audio signal processing apparatus |
JP7086521B2 (ja) | 2017-02-27 | 2022-06-20 | ヤマハ株式会社 | 情報処理方法および情報処理装置 |
JP2019205114A (ja) | 2018-05-25 | 2019-11-28 | ヤマハ株式会社 | データ処理装置、及びデータ処理方法。 |
-
2019
- 2019-07-16 JP JP2019130884A patent/JP7451896B2/ja active Active
-
2020
- 2020-07-03 CN CN202010643982.1A patent/CN112243191B/zh active Active
- 2020-07-13 US US16/927,141 patent/US11277704B2/en active Active
- 2020-07-14 EP EP20185667.1A patent/EP3767971A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010106617A1 (ja) | 2009-03-16 | 2010-09-23 | パイオニア株式会社 | 音声調整装置 |
JP2013519253A (ja) | 2010-02-02 | 2013-05-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 空間音声再生 |
Also Published As
Publication number | Publication date |
---|---|
CN112243191B (zh) | 2022-04-05 |
US11277704B2 (en) | 2022-03-15 |
EP3767971A1 (en) | 2021-01-20 |
JP2021016117A (ja) | 2021-02-12 |
US20210021950A1 (en) | 2021-01-21 |
CN112243191A (zh) | 2021-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101325402B1 (ko) | 오브젝트 기반 메타데이터를 이용한 오디오 출력 신호를 생성하는 장치 및 방법 | |
KR100458021B1 (ko) | 기록/재생용 다중 채널 오디오 강화 시스템 및 그 제공 방법 | |
JP5496235B2 (ja) | 多重オーディオチャンネル群の再現の向上 | |
KR100522593B1 (ko) | 다채널 입체음향 사운드 생성방법 및 장치 | |
JP2008513845A (ja) | 音声データを処理するシステム及び方法、プログラム要素並びにコンピュータ読み取り可能媒体 | |
EP2484127B1 (en) | Method, computer program and apparatus for processing audio signals | |
JP2009520419A (ja) | 2つの入力チャンネルを使用して3つの出力チャンネルを合成させる装置および方法 | |
US10999678B2 (en) | Audio signal processing device and audio signal processing system | |
JP2010288262A (ja) | 信号処理装置 | |
KR100551457B1 (ko) | 음장보정회로 | |
US6882733B2 (en) | Surround headphone output signal generator | |
US9998844B2 (en) | Signal processing device and signal processing method | |
JP4810621B1 (ja) | 音声信号変換装置、方法、プログラム、及び記録媒体 | |
JP7451896B2 (ja) | 音響処理装置および音響処理方法 | |
JP2007158873A (ja) | 音声補正装置 | |
JP4415775B2 (ja) | 音声信号処理装置およびその方法、音声信号記録再生装置ならびにプログラム | |
JP2003009297A (ja) | 信号処理回路および信号処理方法 | |
JP2010118977A (ja) | 音像定位制御装置および音像定位制御方法 | |
JP2017175417A (ja) | 音響再生装置 | |
KR100584608B1 (ko) | 가상 음향 공간에서 음성 선명도 인핸싱 장치 | |
TWI262738B (en) | Expansion method of multi-channel panoramic audio effect | |
KR100641421B1 (ko) | 오디오 시스템의 음상 확장 장치 | |
RU2384973C1 (ru) | Устройство и способ синтезирования трех выходных каналов, используя два входных канала | |
JP4804597B1 (ja) | 音声信号処理装置及び音声信号処理プログラム | |
JP2000115897A (ja) | 音響処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240219 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7451896 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |