JP5915249B2 - Sound processing apparatus and sound processing method - Google Patents
Sound processing apparatus and sound processing method Download PDFInfo
- Publication number
- JP5915249B2 JP5915249B2 JP2012037499A JP2012037499A JP5915249B2 JP 5915249 B2 JP5915249 B2 JP 5915249B2 JP 2012037499 A JP2012037499 A JP 2012037499A JP 2012037499 A JP2012037499 A JP 2012037499A JP 5915249 B2 JP5915249 B2 JP 5915249B2
- Authority
- JP
- Japan
- Prior art keywords
- track
- acoustic signal
- localization
- acoustic
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、複数トラックの音響信号をミックスダウンする技術に関する。 The present invention relates to a technique for mixing down sound signals of a plurality of tracks.
DAW(Digital Audio Workstation)を利用した音楽制作の場面では、個別に収録された複数トラックの音響信号について音響特性や定位方向等が調整されたうえで左右2チャネルの音響信号が生成(ミックスダウン)される。各トラックの音響特性や定位方向の最適化が一般的には困難であることを考慮して、例えば非特許文献1には、受聴者が各トラックを同等の音量と知覚するように各トラックのイコライザのゲインを自動的に設定する技術が開示されている。
In music production scenes using DAW (Digital Audio Workstation), the acoustic characteristics and localization direction of the acoustic signals of multiple tracks recorded individually are adjusted, and two left and right channel acoustic signals are generated (mixed down). Is done. Considering that it is generally difficult to optimize the acoustic characteristics and localization direction of each track, for example, Non-Patent
しかし、非特許文献1に記載された各トラックの音量の調整のみでは、実際には、例えば歌唱曲を構成する複数トラックのうち歌唱音のトラックが受聴者に明瞭に知覚されるといった所望の特性を実現することは困難である。したがって、各トラックの音響特性や定位方向等を制作者が手動で調整する必要があり作業負担が大きいという問題がある。以上の事情を考慮して、本発明は、複数トラックの音響信号をミックスダウンする場合の作業負担を軽減することを目的とする。
However, only by adjusting the volume of each track described in Non-Patent
以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。 Means employed by the present invention to solve the above problems will be described. In order to facilitate the understanding of the present invention, in the following description, the correspondence between the elements of the present invention and the elements of the embodiments described later will be indicated in parentheses, but the scope of the present invention will be exemplified in the embodiments. It is not intended to be limited.
本発明の音響処理装置は、複数トラックの音響信号(例えば音響信号X[1]〜X[N])の各々について定位方向(例えば定位方向θx[k,n])を解析する定位解析手段(例えば定位解析部42)と、音響信号の音響特性と定位解析手段が解析した定位方向とを調整する調整処理をトラック毎に実行する音響処理手段(例えば音響処理部32)と、調整処理後の各トラックの音響信号(例えば音響信号Y[1]〜Y[N])を合成する信号合成手段(例えば信号合成部34)と、各トラックの優先度(例えば優先度P[1]〜P[N])を設定する優先度設定手段(例えば優先度設定部46)と、優先度の高いトラックの音響信号が優先度の低いトラックの音響信号と比較して明瞭化されるように、音響処理手段によるトラック毎の調整処理を制御する制御手段(例えば制御部48)とを具備する。以上の構成では、優先度の高いトラックの音響信号が優先度の低いトラックの音響信号と比較して明瞭化されるように、音響信号の音響特性(例えば強度)と定位方向とを調整する調整処理が制御されるから、複数トラックの音響信号をミックスダウンする場合の作業負担が軽減される。 The acoustic processing apparatus of the present invention is a localization analysis unit that analyzes a localization direction (for example, a localization direction θx [k, n]) for each of a plurality of track acoustic signals (for example, acoustic signals X [1] to X [N]). For example, a localization analysis unit 42), an acoustic processing unit (for example, an acoustic processing unit 32) that executes adjustment processing for adjusting the acoustic characteristics of the acoustic signal and the localization direction analyzed by the localization analysis unit for each track, and after the adjustment processing Signal synthesizing means (for example, the signal synthesizing unit 34) for synthesizing the acoustic signals (for example, the acoustic signals Y [1] to Y [N]) of each track, and the priority (for example, the priorities P [1] to P [ N]) to set priority (for example, the priority setting unit 46) and the acoustic processing so that the acoustic signal of the high priority track is clarified compared to the acoustic signal of the low priority track. Control means for controlling the adjustment process for each track by the means (for example, It comprises a control unit 48) and. In the above configuration, the adjustment is performed to adjust the acoustic characteristics (for example, intensity) and the localization direction of the acoustic signal so that the acoustic signal of the high priority track is clarified in comparison with the acoustic signal of the low priority track. Since the process is controlled, the work burden when mixing down the sound signals of a plurality of tracks is reduced.
本発明の好適な態様において、調整処理は、音響信号の定位方向を調整する定位調整処理を含み、制御手段は、優先度の低いトラックの定位方向が、優先度の高いトラックの定位方向から離れるように、各トラックの定位調整処理を制御する。以上の態様では、優先度の低いトラックの定位方向が優先度の高いトラックの定位方向から離れるように各トラックの定位調整処理が制御されるから、優先度の高いトラックの定位感を他のトラックと比較して明瞭化することが可能である。 In a preferred aspect of the present invention, the adjustment process includes a localization adjustment process for adjusting the localization direction of the acoustic signal, and the control means is configured such that the localization direction of the low priority track is separated from the localization direction of the high priority track. Thus, the localization adjustment process of each track is controlled. In the above aspect, the localization adjustment process of each track is controlled so that the localization direction of the low priority track is separated from the localization direction of the high priority track. It is possible to clarify in comparison with
本発明の好適な態様において、調整処理は、音響信号の強度を調整する強度調整処理を含み、制御手段は、優先度の低いトラックの強度が、優先度の高いトラックの強度に対して抑制されるように、各トラックの強度調整処理を制御する。以上の態様では、優先度の低いトラックの強度が優先度の高いトラックの強度に対して抑制されるから、優先度の高いトラックを明瞭化することが可能である。また、優先度の低いトラックの音響信号のうち優先度の高いトラックの音響信号と重複する帯域内の各周波数成分が抑制されるように、制御手段が各トラックの強度調整処理を制御する構成によれば、優先度の高いトラックを明瞭化するという効果は格別に顕著である。 In a preferred aspect of the present invention, the adjustment process includes an intensity adjustment process for adjusting the intensity of the acoustic signal, and the control means suppresses the intensity of the low priority track with respect to the intensity of the high priority track. As described above, the intensity adjustment processing of each track is controlled. In the above aspect, since the strength of the low priority track is suppressed with respect to the strength of the high priority track, it is possible to clarify the high priority track. In addition, the control means controls the intensity adjustment processing of each track so that each frequency component in a band overlapping with the high-priority track acoustic signal among the low-priority track acoustic signals is suppressed. According to this, the effect of clarifying the high-priority track is particularly remarkable.
本発明の好適な態様において、調整処理は、音響信号に対する効果付与処理を含み、制御手段は、効果付与処理による効果付与の度合をトラック毎に制御する。例えば、音響信号を強調する強調処理を効果付与処理が含む構成では、優先度の高いトラックが優先度の低いトラックと比較して強調されるように、制御手段が各トラックの強調処理を制御する。以上の態様によれば、優先度の高いトラックを明瞭化することが可能である。また、音響信号に残響効果を付加する残響付加処理を効果付与処理が含む構成では、優先度の低いトラックに対する残響付加の度合が、優先度の高いトラックに対する残響付加の度合を上回るように、制御手段が各トラックの残響付加処理を制御する。以上の態様によれば、優先度の高いトラックの定位感を明瞭化することが可能である。 In a preferred aspect of the present invention, the adjustment process includes an effect imparting process for the acoustic signal, and the control unit controls the degree of effect imparting by the effect imparting process for each track. For example, in the configuration in which the effect imparting process includes an emphasizing process for emphasizing an acoustic signal, the control unit controls the emphasizing process of each track so that a high priority track is emphasized compared to a low priority track. . According to the above aspect, it is possible to clarify a track having a high priority. In addition, in the configuration in which the effect adding process includes a reverberation adding process for adding a reverberation effect to an acoustic signal, control is performed so that the degree of reverberation adding to a low priority track exceeds the degree of reverberation adding to a high priority track. Means control the reverberation addition process for each track. According to the above aspect, it is possible to clarify the sense of localization of a high priority track.
本発明の好適な態様に係る音響処理装置は、音響信号の各周波数成分の定位方向を示す定位軸と各周波数成分の周波数を示す周波数軸とが設定された定位-周波数平面における音響信号の各周波数成分の分布を示す音像分布画像を表示装置に表示させる手段であって、音響処理手段による調整処理前の各トラックの音響信号の第1音像分布画像(例えば第1音像分布画像Gx)と、音響処理手段による調整処理後の各トラックの音響信号の第2音像分布画像(例えば第2音像分布画像Gy)とを対比可能に表示させる表示制御手段を具備する。以上の態様では、調整処理前の各トラックの第1音像分布画像と調整処理後の各トラックの第2音像分布画像とを相互に対比することで、調整処理の効果を利用者が視覚的および直観的に評価できるという利点がある。 The acoustic processing device according to a preferred aspect of the present invention provides an acoustic processing device for each acoustic signal in a localization-frequency plane in which a localization axis indicating the localization direction of each frequency component of the acoustic signal and a frequency axis indicating the frequency of each frequency component are set. A means for displaying a sound image distribution image indicating a distribution of frequency components on a display device, the first sound image distribution image (for example, the first sound image distribution image Gx) of the acoustic signal of each track before the adjustment processing by the acoustic processing means; Display control means for displaying the second sound image distribution image (for example, the second sound image distribution image Gy) of the sound signal of each track after the adjustment processing by the sound processing means in a comparable manner. In the above aspect, by comparing the first sound image distribution image of each track before the adjustment process with the second sound image distribution image of each track after the adjustment process, the user can visually and effectively understand the effect of the adjustment process. There is an advantage that it can be evaluated intuitively.
以上の各態様に係る音響処理装置は、音響信号の処理に専用されるDSP(Digital Signal Processor)などのハードウェア(電子回路)によって実現されるほか、CPU(Central Processing Unit)等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、複数トラックの音響信号の各々について定位方向を解析する定位解析処理と、音響信号の音響特性と定位解析処理で解析した定位方向とを調整するトラック毎の調整処理と、調整処理後の各トラックの音響信号を合成する信号合成処理と、各トラックの優先度を設定する優先度設定処理と、優先度の高いトラックの音響信号が優先度の低いトラックの音響信号と比較して明瞭化されるように、トラック毎の調整処理を制御する制御処理とをコンピュータに実行させる。以上のプログラムによれば、本発明の音響処理装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。 The sound processing apparatus according to each of the above aspects is realized by hardware (electronic circuit) such as a DSP (Digital Signal Processor) dedicated to processing of an acoustic signal, or a general-purpose operation such as a CPU (Central Processing Unit). This is also realized by cooperation between the processing device and the program. The program of the present invention includes a localization analysis process for analyzing the localization direction for each of the acoustic signals of a plurality of tracks, an adjustment process for each track that adjusts the acoustic characteristics of the acoustic signal and the localization direction analyzed by the localization analysis process, and an adjustment The signal synthesis process that synthesizes the acoustic signals of each track after processing, the priority setting process that sets the priority of each track, and the acoustic signal of the track with higher priority is compared with the acoustic signal of the track with lower priority. Therefore, the control process for controlling the adjustment process for each track is executed by the computer. According to the above program, the same operation and effect as the sound processing apparatus of the present invention are exhibited. The program of the present invention is provided in a form stored in a computer-readable recording medium and installed in the computer, or is provided in a form distributed via a communication network and installed in the computer.
<実施形態>
図1は、本発明のひとつの実施形態に係る音響処理装置100のブロック図である。図1に示すように、音響処理装置100には信号供給装置200が接続される。信号供給装置200は、個別に収録されたNトラック(Nは2以上の自然数)の音響信号X[1]〜X[N]を音響処理装置100に供給する。1トラックは、処理単位となる系統(例えば複数系統の音響の組合せや単数系統の音響)を意味する。第1実施形態の各音響信号X[n](n=1〜N)は、再生音の受聴者に対して特定の方向に音像が定位するように収録または加工(例えば左右チャネル間の強度差や位相差を変更する処理)された左チャネルの音響信号XL[n]と右チャネルの音響信号XR[n]とで構成されるステレオ信号である。ただし、複数のモノラルのチャネルから利用者が任意に選択した2個のチャネルの組合せを1個のトラック(ステレオトラック)として取扱うことも可能である。例えば可搬型または内蔵型の記録媒体から各音響信号X[n]を取得して音響処理装置100に供給する再生装置や、収音機器が生成した各音響信号X[n]を実時間的に取得して音響処理装置100に供給する入力装置が信号供給装置200として好適に採用され得る。
<Embodiment>
FIG. 1 is a block diagram of a
音響処理装置100は、Nトラックの音響信号X[1]〜X[N]の自動的なミックスダウンで音響信号Zを生成する信号処理装置である。音響信号Zは、左チャネルの音響信号ZLと右チャネルの音響信号ZRとで構成されるステレオ信号である。図1に示すように、音響処理装置100は、演算処理装置12と記憶装置14と表示装置22と入力装置24と放音装置26とを含んで構成される。表示装置22(例えば液晶表示パネル)は、演算処理装置12からの指示に応じて各種の画像を表示する。入力装置24は、音響処理装置100に対する利用者からの指示を受付ける機器であり、例えば利用者が操作する複数の操作子を含んで構成される。放音装置26(例えばステレオスピーカ)は、音響信号Zに応じた音波を再生する。
The
記憶装置14は、演算処理装置12が実行するプログラムや演算処理装置12が使用する各種の情報を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置14として任意に採用される。なお、各音響信号X[n]を記憶装置14に格納した構成(したがって信号供給装置200は省略される)も採用され得る。
The
演算処理装置12は、記憶装置14に格納されたプログラムを実行することで、Nトラックの音響信号X[1]〜X[N]から音響信号Zを生成するための複数の機能(音響処理部32,信号合成部34,定位解析部42,表示制御部44,優先度設定部46,制御部48)を実現する。なお、演算処理装置12の各機能を複数の装置に分散した構成や、演算処理装置12の一部の機能を専用の電子回路(DSP)が実現する構成も採用され得る。
The
音響処理部32は、音響信号X[1]〜X[N]に対する所定の信号処理(以下「調整処理」という)でNトラックの音響信号Y[1]〜Y[N]を生成する要素であり、相異なるトラックに対応するN個の単位処理部U[1]〜U[N]を含んで構成される。第n番目のトラックに対応する単位処理部U[n]は、音響信号X[n]に対する調整処理で音響信号Y[n]を生成する。各音響信号Y[n]は、左チャネルの音響信号YL[n]と右チャネルの音響信号YR[n]とで構成されるステレオ信号である。
The
各単位処理部U[n]が実行する調整処理は、定位調整処理と強度調整処理と効果付与処理とを包含する。定位調整処理は、音響信号X[n]の音像が定位する方向(以下「定位方向」という)を調整する処理(例えば音響信号XL[n]および音響信号XR[n]の強度差や位相差を制御する処理)である。強度調整処理は、音響信号X[n]の強度(振幅)を調整する処理である。本実施形態では、音響信号X[n]の各周波数成分の強度(振幅)を個別に調整するイコライジング処理を強度調整処理として例示する。効果付与処理は、音響信号X[n]に各種の音響効果を付与する処理である。本実施形態では、音響信号X[n]に対する残響効果の付加(残響付加処理)と音響信号X[n]の強調処理(例えばコンプレッサ等のダイナミクス系エフェクト)とを効果付与処理として例示する。強度調整処理および効果付与処理は、音響信号X[n]の音響特性を制御する処理とも換言され得る。 The adjustment process executed by each unit processing unit U [n] includes a localization adjustment process, an intensity adjustment process, and an effect applying process. The localization adjustment process is a process for adjusting the direction in which the sound image of the acoustic signal X [n] is localized (hereinafter referred to as “localization direction”) (for example, the intensity difference or phase difference between the acoustic signal XL [n] and the acoustic signal XR [n]). Is a process for controlling the above. The intensity adjustment process is a process for adjusting the intensity (amplitude) of the acoustic signal X [n]. In the present embodiment, an equalizing process for individually adjusting the intensity (amplitude) of each frequency component of the acoustic signal X [n] is exemplified as the intensity adjustment process. The effect imparting process is a process for imparting various acoustic effects to the acoustic signal X [n]. In the present embodiment, addition of a reverberation effect (reverberation addition processing) to the acoustic signal X [n] and enhancement processing of the acoustic signal X [n] (for example, a dynamics effect such as a compressor) are exemplified as the effect imparting processing. The intensity adjustment process and the effect applying process can also be referred to as a process for controlling the acoustic characteristics of the acoustic signal X [n].
信号合成部34は、音響処理部32(各単位処理部U[n])による調整処理で生成されたNトラックの音響信号Y[1]〜Y[N]を合成することで音響信号Zを生成する。本実施形態の信号合成部34は、音響信号Y[1]〜Y[N]を加算する加算器である。具体的には、各トラックの左チャネルの音響信号YL[1]〜YL[N]の加算で左チャネルの音響信号ZLが生成され、各トラックの右チャネルの音響信号YR[1]〜YR[N]の加算で右チャネルの音響信号ZRが生成される。信号合成部34が生成した音響信号Zが放音装置26から再生される。
The
定位解析部42は、Nトラックの各々について周波数毎の定位方向θ[k,n](θx[k,n],θy[k,n])を算定する。記号kは、周波数軸上の任意の1個の周波数を意味する。本実施形態の定位解析部42は、音響処理部32による調整処理の実行前の各音響信号X[n]の定位方向θx[k,n]と、調整処理の実行後の各音響信号Y[n]の定位方向θy[k,n]とを算定する。
The
定位方向θ[k,n]の算定には公知の技術が任意に利用され得る。例えば、音響信号X[n]のうち左チャネルの音響信号XL[n]の各周波数の強度ML[k]と右チャネルの音響信号XR[n]の各周波数の強度MR[k]とを利用した以下の数式(1)の演算で音響信号X[n]の定位方向θx[k,n]が算定される。音響信号Y[n]の定位方向θy[k,n]についても同様に、左チャネルの音響信号YL[n]の強度ML[k]と右チャネルの音響信号YR[n]の強度MR[k]とを数式(1)に適用することで算定される。なお、数式(1)については、例えば、M. Vinyes, J. Bonada, A. Loscos, "Demixing Commercial Music Productions via Human-Assisted Time-Frequency Masking",Audio Engineering Society 120th Convention, France, 2006にも詳述されている。
表示制御部44は、定位解析部42による解析結果を表現する図2の解析結果画像Gを表示装置22に表示させる。解析結果画像Gは、利用者が両者を対比できるように並置された第1音像分布画像Gxと第2音像分布画像Gyとを含んで構成される。
The
第1音像分布画像Gxおよび第2音像分布画像Gyの各々は、図2に示すように、定位方向を示す定位軸APと周波数を示す周波数軸AFとが設定された定位-周波数平面内での各周波数成分の分布を表現する画像である。第1音像分布画像Gxの定位-周波数平面内には、音響信号X[n]の各周波数成分を表象する複数の音像図形QがNトラックの音響信号X[1]〜X[N]について並列に配置される。音響信号X[n]の各周波数成分に対応する音像図形Qは、周波数軸AFのうちその周波数成分の周波数と、定位軸APのうちその周波数成分について定位解析部42が算定した定位方向θx[k,n]とに対応する座標に位置する。したがって、1個のトラックの音響信号X[n]に対応する複数の音像図形Qは、概略的には、図2に示すように、周波数軸AFに沿って長尺状に分布する。第1音像分布画像Gxと同様に、第2音像分布画像Gyの定位-周波数平面内には、調整処理の実行後の音響信号Y[n]の各周波数成分を表象する複数の音像図形QがNトラックの音響信号Y[1]〜Y[N]について並列に配置される。1個のトラックの音響信号Y[n]に対応する複数の音像図形Qは、概略的には、周波数軸AFに沿って長尺状に分布する。Nトラックの各々の周波数と定位方向との関係(すなわち調整処理の効果)を調整処理の実行前(第1音像分布画像Gx)と実行後(第2音像分布画像Gy)とで対比しながら評価することが可能である。
As shown in FIG. 2, each of the first sound image distribution image Gx and the second sound image distribution image Gy has a localization-frequency plane in which a localization axis AP indicating a localization direction and a frequency axis AF indicating a frequency are set. It is an image expressing the distribution of each frequency component. In the localization-frequency plane of the first sound image distribution image Gx, a plurality of sound image figures Q representing the respective frequency components of the sound signal X [n] are arranged in parallel for the N-track sound signals X [1] to X [N]. Placed in. The sound image figure Q corresponding to each frequency component of the acoustic signal X [n] has a localization direction θx [calculated by the
図1の優先度設定部46は、Nトラックの各々について優先度P[n](P[1]〜P[N])を可変に設定する。本実施形態の優先度設定部46は、入力装置24に対する利用者からの指示に応じて各トラックの優先度P[n]を設定する。例えば、利用者は、入力装置24を適宜に操作することで、第1音像分布画像Gxのうち所望のトラックの音像図形Qを選択してそのトラックの優先度P[n]を指示することが可能である。
The
制御部48は、定位解析部42がトラック毎に算定した定位方向θx[k,n]と優先度設定部46がトラック毎に設定した優先度P[n]とに応じて音響処理部32による調整処理(定位調整処理,強度調整処理,効果付与処理)を制御する。定位解析部42による定位方向θx[k,n]の算定と優先度設定部46による各優先度P[n]の設定との完了後に、入力装置24に対する所定の操作(例えば自動調整の開始を指示する操作子の押下)を契機として制御部48による調整処理の制御が開始される。
The
例えば、第n1番目(n1=1〜N)のトラックの音響信号X[n1]と第n2番目(n2=1〜N,n2≠n1)のトラックの音響信号X[n2]とに着目し、音響信号X[n1]の優先度P[n1]が音響信号X[n2]の優先度P[n2]を上回る場合(P[n1]>P[n2])を想定すると、制御部48は、優先度P[n1]の高い音響信号X[n1]が優先度P[n2]の低い音響信号X[n2]と比較して明瞭化される(聴感的な明瞭度が増加する)ように、音響処理部32による各トラックの調整処理を制御する。以下の説明では、第1音像分布画像Gxを例示する図3を参照しながら、調整処理の各処理(定位調整処理,強度調整処理,効果付与処理)に対する具体的な制御の内容を詳述する。
For example, paying attention to the acoustic signal X [n1] of the n1st (n1 = 1 to N) track and the acoustic signal X [n2] of the n2th (n2 = 1 to N, n2 ≠ n1) track, Assuming that the priority P [n1] of the acoustic signal X [n1] exceeds the priority P [n2] of the acoustic signal X [n2] (P [n1]> P [n2]), the
<定位調整処理>
制御部48は、Nトラックのうち優先度P[n]が低いトラックほど、定位解析部42が音響信号X[n]について算定した初期的な定位方向θx[k,n]からの変化量が大きくなるように、Nトラックの各々に対する定位調整処理を制御する。具体的には、優先度P[n2]のトラックの定位方向θx[k,n2]が、優先度P[n1](P[n1]>P[n2])のトラックの定位方向θx[k,n1]から離間するように、各トラックの定位調整処理が制御される。
<Localization adjustment processing>
In the
例えば図3に示すように、音響信号X[2]の定位方向θx[k,2]と音響信号X[3]の定位方向θx[k,3]とが音響信号X[1]の定位方向θx[k,1]の左側に位置し、音響信号X[4]の定位方向θx[k,4]と音響信号X[5]の定位方向θx[k,5]とが音響信号X[1]の定位方向θx[k,1]の右側に位置する場合(N=5)を想定する。音響信号X[1]の優先度P[1]が最大である場合、図3に矢印で示すように、音響信号X[2]の定位方向θx[k,2]と音響信号X[3]の定位方向θx[k,3]とは左側に移動し、音響信号X[4]の定位方向θx[k,4]と音響信号X[5]の定位方向θx[k,5]とは右側に移動する。 For example, as shown in FIG. 3, the localization direction θx [k, 2] of the acoustic signal X [2] and the localization direction θx [k, 3] of the acoustic signal X [3] are the localization directions of the acoustic signal X [1]. Located on the left side of θx [k, 1], the localization direction θx [k, 4] of the acoustic signal X [4] and the localization direction θx [k, 5] of the acoustic signal X [5] are the acoustic signal X [1. ] Is assumed to be located on the right side of the localization direction θx [k, 1] (N = 5). When the priority P [1] of the acoustic signal X [1] is the maximum, as indicated by an arrow in FIG. 3, the localization direction θx [k, 2] of the acoustic signal X [2] and the acoustic signal X [3] Is moved to the left with respect to the localization direction θx [k, 3], and the localization direction θx [k, 4] of the acoustic signal X [4] and the localization direction θx [k, 5] of the acoustic signal X [5] are on the right side. Move to.
音響信号X[3]の優先度P[3]が音響信号X[2]の優先度P[2]よりも低い場合(P[3]<P[2])、音響信号X[3]の定位方向θx[k,3]の変化量Δθ[3](処理前の定位方向θx[k,3]と処理後の定位方向θy[k,3]との差分)は、音響信号X[2]の定位方向θx[k,2]の変化量Δθ[2]を上回る。同様に、音響信号X[5]の優先度P[5]が音響信号X[4]の優先度P[4]よりも低い場合(P[5]<P[4])、音響信号X[5]の定位方向θx[k,5]の変化量Δθ[5]は、音響信号X[4]の定位方向θx[k,4]の変化量Δθ[4]を上回る。したがって、音響信号Zの再生音の受聴者は、優先度P[n]が高い音響信号X[n]の音像を明瞭に知覚することが可能である。 When the priority P [3] of the acoustic signal X [3] is lower than the priority P [2] of the acoustic signal X [2] (P [3] <P [2]), the acoustic signal X [3] The amount of change Δθ [3] in the localization direction θx [k, 3] (difference between the localization direction θx [k, 3] before processing and the localization direction θy [k, 3] after processing) is the acoustic signal X [2 ] In the localization direction θx [k, 2]. Similarly, when the priority P [5] of the acoustic signal X [5] is lower than the priority P [4] of the acoustic signal X [4] (P [5] <P [4]), the acoustic signal X [ The change amount Δθ [5] in the localization direction θx [k, 5] of 5] exceeds the change amount Δθ [4] in the localization direction θx [k, 4] of the acoustic signal X [4]. Therefore, the listener of the reproduced sound of the acoustic signal Z can clearly perceive the sound image of the acoustic signal X [n] having a high priority P [n].
<強度調整処理>
制御部48は、Nトラックのうち優先度P[n]が低いトラックの音響信号X[n]ほど強度(全帯域にわたる強度)が低下するように、Nトラックの各々に対する強度調整処理を制御する。具体的には、優先度P[n2]のトラックの音響信号X[n2]の強度が、優先度P[n1](P[n1]>P[n2])のトラックの音響信号X[n1]の強度に対して抑制される。また、制御部48は、音響信号X[n2]のうち音響信号X[n1]の主要な分布帯域(例えば強度が所定値を上回る帯域)と重複する帯域内の各周波数成分の強度が低下するように、各トラックの強度調整処理を制御する。
<Strength adjustment processing>
The
例えば、図3に例示された状況(P[1]>P[2]>P[3],P[1]>P[4]>P[5])では、音響信号X[2]の全帯域にわたる強度が音響信号X[1]と比較して抑制され、かつ、音響信号X[2]のうち音響信号X[1]と周波数軸上で重複する帯域B[2]内の各周波数成分の強度が他の帯域と比較して抑制される。また、音響信号X[3]の全帯域にわたる強度が音響信号X[2]と比較して抑制され、かつ、音響信号X[3]のうち音響信号X[2]と重複する帯域B[3]内の各周波数成分の強度が他の帯域と比較して抑制される。音響信号X[4]および音響信号X[5]についても同様である。したがって、音響信号Zの再生音の受聴者は、優先度P[n]が高い音響信号X[n]の音響を高強度で明瞭に聴取することが可能である。 For example, in the situation illustrated in FIG. 3 (P [1]> P [2]> P [3], P [1]> P [4]> P [5]), the entire acoustic signal X [2] Each frequency component in the band B [2] in which the intensity over the band is suppressed compared to the acoustic signal X [1] and the acoustic signal X [2] overlaps the acoustic signal X [1] on the frequency axis. Is suppressed in comparison with other bands. Further, the intensity of the acoustic signal X [3] over the entire band is suppressed as compared with the acoustic signal X [2], and the band B [3] overlapping the acoustic signal X [2] of the acoustic signal X [3]. The intensity of each frequency component is suppressed as compared with other bands. The same applies to the acoustic signal X [4] and the acoustic signal X [5]. Therefore, the listener of the reproduced sound of the acoustic signal Z can clearly hear the sound of the acoustic signal X [n] having a high priority P [n] with high intensity.
<効果付与処理>
制御部48は、Nトラックのうち優先度P[n]が高いトラックほど音響信号X[n]が明瞭化されるように、Nトラックの各々に対する効果付与処理(残響付加処理,強調処理)を制御する。すなわち、優先度P[n1]の音響信号X[n1]と優先度P[n2](P[n1]>P[n2])の音響信号X[n2]とに着目すると、音響信号X[n1]が音響信号X[n2]と比較して明瞭化されるように各トラックの効果付与処理が制御される。
<Effect application processing>
The
例えば、図3に例示された状況(P[1]>P[2]>P[3],P[1]>P[4]>P[5])では、音響信号X[1]が音響信号X[2]と比較して強調されるとともに音響信号X[2]が音響信号X[3]と比較して強調されるように、効果付与処理のうち強調処理(ダイナミクス系エフェクト)の度合を制御部48は制御する。同様に、音響信号X[1]は音響信号X[4]と比較して強調され、音響信号X[4]は音響信号X[5]と比較して強調される。
For example, in the situation illustrated in FIG. 3 (P [1]> P [2]> P [3], P [1]> P [4]> P [5]), the acoustic signal X [1] is acoustic. The degree of emphasis processing (dynamic effects) in the effect imparting process so that the signal X [2] is emphasized compared to the signal X [2] and the sound signal X [2] is emphasized compared to the sound signal X [3]. The
また、音響信号X[2]に付加される残響効果の度合(残響時間)が音響信号X[1]に付加される残響効果の度合を上回り、音響信号X[3]に付加される残響効果の度合が音響信号X[2]に付加される残響効果の度合を上回るように、効果付与処理のうち残響付加処理による残響付加の度合を制御部48は制御する。同様に、音響信号X[4]に付加される残響効果の度合は音響信号X[1]に付加される残響効果の度合を上回り、音響信号X[5]に付加される残響効果の度合は音響信号X[4]に付加される残響効果の度合を上回る。したがって、優先度P[n]が低い音響信号X[n]ほど深い残響効果が付加されて定位感が低減(曖昧化)され、優先度P[n]が高い音響信号X[n]の定位感は相対的に明瞭化される。
Also, the degree of reverberation effect (reverberation time) added to the acoustic signal X [2] exceeds the degree of reverberation effect added to the acoustic signal X [1], and the reverberation effect added to the acoustic signal X [3]. The
利用者は、以上に例示した方法で制御された調整処理の実行後に、入力装置24を適宜に操作する(例えば第1音像分布画像Gxのうち所望のトラックの音像図形Qを定位軸APの方向にドラッグする)ことで各トラックの定位方向θx[n]を変更することが可能である。特定のトラックの定位方向θx[n]が変更されるたびに、制御部48は、以上に例示した調整処理の制御を実行する。
The user appropriately operates the
以上に例示した実施形態では、優先度P[n]が高いトラックの音響信号X[n]が優先度P[n]の低いトラックの音響信号X[n]と比較して明瞭化されるように、音響信号X[n]に対する調整処理がトラック毎に制御される。具体的には、定位解析部42が解析した定位方向θx[k,n]を調整する定位調整処理と、音響信号X[n]の音響特性(強度等)を調整する強度調整処理および効果付与処理とがトラック毎に制御される。以上の構成によれば、各トラックの音量のみが調整される非特許文献1の技術と比較して、Nトラックの音響信号X[1]〜X[N]がミックスダウンに好適な関係に調整されるから、Nトラックの音響信号X[1]〜X[N]をミックスダウンする場合の作業負担を軽減することが可能である。
In the embodiment exemplified above, the acoustic signal X [n] of the track having the higher priority P [n] is clarified as compared with the acoustic signal X [n] of the track having the lower priority P [n]. In addition, the adjustment process for the acoustic signal X [n] is controlled for each track. Specifically, the localization adjustment process for adjusting the localization direction θx [k, n] analyzed by the
<変形例>
以上に例示した形態には様々な変形が加えられる。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は併合され得る。
<Modification>
Various modifications can be made to the embodiment exemplified above. Specific modifications are exemplified below. Two or more aspects arbitrarily selected from the following examples may be merged.
(1)音響処理部32による調整処理の内容は以上の例示に限定されない。例えば、ディストーションやオーバードライブ等のダイナミクス系エフェクトを調整処理(効果付与処理)として実行することも可能である。また、以上の例示では時間領域での調整処理を例示したが、周波数領域での調整処理も実行され得る。
(1) The content of the adjustment process by the
(2)前述の形態では、第1音像分布画像Gxと第2音像分布画像Gyとを並置したが、第1音像分布画像Gxと第2音像分布画像Gyとを対比可能に表示する方法は以上の例示に限定されない。例えば、第1音像分布画像Gxおよび第2音像分布画像Gyの一方を透過画像として他方の前面に重複して配置する構成や、第1音像分布画像Gxおよび第2音像分布画像Gyの各々を時分割で表示する(例えば入力装置24の操作毎に一方から他方に切替わる)構成も採用され得る。
(2) In the above-described embodiment, the first sound image distribution image Gx and the second sound image distribution image Gy are juxtaposed, but the method for displaying the first sound image distribution image Gx and the second sound image distribution image Gy so as to be comparable is as described above. It is not limited to the illustration. For example, a configuration in which one of the first sound image distribution image Gx and the second sound image distribution image Gy is disposed as a transparent image on the other front surface, or each of the first sound image distribution image Gx and the second sound image distribution image Gy is sometimes used. A configuration of displaying in a divided manner (for example, switching from one to the other each time the
(3)前述の形態では、Nトラックの全部の音響信号X[1]〜X[N]について残響効果を付加したが、優先度P[n]が低い音響信号X[n](例えば優先度P[n]の降順で下位に位置する所定個の音響信号X[n]や優先度P[n]が閾値を下回る音響信号X[n])のみを対象として残響効果を付加し、優先度P[n]が高い残余の音響信号X[n]には残響効果を付加しない構成も採用され得る。 (3) In the above-described embodiment, the reverberation effect is added to all the acoustic signals X [1] to X [N] of the N tracks, but the acoustic signal X [n] (for example, the priority is low) with the low priority P [n]. A reverberation effect is added to only a predetermined number of acoustic signals X [n] positioned in descending order of P [n] and acoustic signals X [n] whose priority P [n] is lower than the threshold, and the priority is added. A configuration in which no reverberation effect is added to the remaining acoustic signal X [n] having a high P [n] may be employed.
(4)前述の形態では、Nトラックの各々について優先度P[n]を設定したが、Nトラックのうち優先対象となるN個未満のトラックのみを指定する構成(所定個のトラックに対して残余のトラックよりも高い優先度P[n]を設定する構成)も採用され得る。 (4) In the above-described embodiment, the priority P [n] is set for each of the N tracks, but a configuration in which only less than N tracks to be prioritized among N tracks are specified (for a predetermined number of tracks). A configuration in which a higher priority P [n] than the remaining tracks is set may be employed.
(5)各トラックの定位方向θx[k,n]を利用者からの指示に応じて変更可能な構成も採用され得る。なお、例えば優先度P[n2]の音響信号X[n2]の定位方向θx[k,n2]が優先度P[n1](P[n1]>P[n2])の音響信号X[n1]の定位方向θx[k,n1]に接近すると、音響信号X[n1]の定位感が減殺される。そこで、音響信号X[n2]の定位方向θx[k,n2]の変更範囲を、音響信号X[n1]の定位方向θx[k,n1]を含む所定の範囲(以下「禁止範囲」という)の外側に制限する構成(定位方向θx[k,n2]を定位方向θx[k,n1]に過度に接近させない構成)が好適である。例えば、利用者から指示された変更後の定位方向θx[k,n2]が禁止範囲内に位置する場合に変更前の位置に戻す構成や、禁止範囲を回避するように定位方向θx[k,n2]を変化させる構成が好適である。 (5) A configuration in which the localization direction θx [k, n] of each track can be changed in accordance with an instruction from the user may be employed. For example, the localization direction θx [k, n2] of the acoustic signal X [n2] with the priority P [n2] is the acoustic signal X [n1] with the priority P [n1] (P [n1]> P [n2]). When the sound signal approaches the localization direction θx [k, n1], the sense of localization of the acoustic signal X [n1] is reduced. Therefore, the change range of the localization direction θx [k, n2] of the acoustic signal X [n2] is a predetermined range including the localization direction θx [k, n1] of the acoustic signal X [n1] (hereinafter referred to as “prohibited range”). A configuration in which the localization direction θx [k, n2] is not excessively close to the localization direction θx [k, n1] is preferable. For example, when the localization direction θx [k, n2] after the change instructed by the user is located within the prohibited range, the configuration is returned to the position before the change, or the localization direction θx [k, k to avoid the prohibited range A configuration in which n2] is changed is preferable.
(6)各トラックの定位方向θx[k,n]を調整する定位調整処理の内容は以上の例示に限定されない。例えば、相異なる2トラックの各定位方向θx[k,n]の間隔が所定値を上回るように各トラックの定位方向θx[k,n]を利用者が変更した場合に、特定のトラックの定位方向θx[k,n]をその間隔内に変更する構成が採用される。例えば、優先度P[n]が低い各トラックの定位方向θx[k,n]の間隔が拡張された場合に、優先度P[n]が高いトラックの定位方向θx[k,n]が自動的にその間隔内に変更される。以上の構成によれば、優先度P[n]が高いトラックの定位感を確実に明瞭化できるという利点がある。 (6) The content of the localization adjustment process for adjusting the localization direction θx [k, n] of each track is not limited to the above examples. For example, when the user changes the localization direction θx [k, n] of each track so that the interval between each localization direction θx [k, n] of two different tracks exceeds a predetermined value, the localization of a specific track A configuration is adopted in which the direction θx [k, n] is changed within the interval. For example, when the interval of the localization direction θx [k, n] of each track having a low priority P [n] is expanded, the localization direction θx [k, n] of a track having a high priority P [n] is automatically set. Within that interval. According to the above configuration, there is an advantage that the localization feeling of a track having a high priority P [n] can be clearly clarified.
100……音響処理装置、200……信号供給装置、12……演算処理装置、14……記憶装置、22……表示装置、24……入力装置、26……放音装置、32……音響処理部、34……信号合成部、42……定位解析部、44……表示制御部、46……優先度設定部、48……制御部、G……解析結果画像、Gx……第1音像分布画像、Gy……第2音像分布画像。
DESCRIPTION OF
Claims (6)
前記音響信号の音響特性と前記定位解析手段が解析した定位方向とを調整する調整処理をトラック毎に実行する音響処理手段と、
前記各トラックの優先度を設定する優先度設定手段と、
優先度の高いトラックの音響信号が優先度の低いトラックの音響信号と比較して明瞭化されるように、前記音響処理手段によるトラック毎の調整処理を制御する制御手段と、
前記調整処理後の各トラックの音響信号を合成する信号合成手段と
を具備する音響処理装置。 A localization analysis means for analyzing a localization direction for each of the acoustic signals of a plurality of tracks;
Acoustic processing means for performing, for each track, adjustment processing for adjusting the acoustic characteristics of the acoustic signal and the localization direction analyzed by the localization analysis means;
And priority setting means for setting the priority of each track,
Control means for controlling the adjustment processing for each track by the sound processing means so that the sound signal of the high priority track is clarified in comparison with the sound signal of the low priority track ;
A sound processing apparatus comprising: signal combining means for combining the sound signals of the tracks after the adjustment processing .
前記制御手段は、前記優先度の低いトラックの定位方向が、前記優先度の高いトラックの定位方向から離れるように、各トラックの定位調整処理を制御する
請求項1の音響処理装置。 The adjustment process includes a localization adjustment process for adjusting the localization direction of the acoustic signal,
The sound processing apparatus according to claim 1, wherein the control unit controls localization adjustment processing of each track so that a localization direction of the low priority track is separated from a localization direction of the high priority track.
前記制御手段は、優先度の低いトラックの音響信号のうち優先度の高いトラックの音響信号と重複する帯域内の各周波数成分が抑制されるように、各トラックの強度調整処理を制御する
請求項1または請求項2の音響処理装置。 The adjustment process includes an intensity adjustment process for adjusting the intensity of each frequency component of the acoustic signal,
The control means controls the intensity adjustment processing of each track so that each frequency component in a band overlapping with an acoustic signal of a high priority track among acoustic signals of a low priority track is suppressed. The sound processing apparatus according to claim 1 or 2.
前記制御手段は、優先度の高いトラックが優先度の低いトラックと比較して強調されるように、各トラックの強調処理を制御する
請求項1から請求項3の何れかの音響処理装置。 The adjustment process includes an enhancement process for enhancing the acoustic signal,
The sound processing device according to any one of claims 1 to 3, wherein the control unit controls the enhancement processing of each track so that a high priority track is enhanced as compared with a low priority track.
前記制御手段は、優先度の低いトラックに対する残響付加の度合が、優先度の高いトラックに対する残響付加の度合を上回るように、各トラックの残響付加処理を制御する
請求項1から請求項4の何れかの音響処理装置。 The adjustment process includes a reverberation adding process for adding a reverberation effect to the acoustic signal,
The control unit controls reverberation addition processing of each track so that the degree of reverberation addition to a low priority track exceeds the degree of reverberation addition to a high priority track. Sound processing device.
複数トラックの音響信号の各々について定位方向を解析し、 Analyzing the localization direction for each of the multi-track acoustic signals,
前記音響信号の音響特性と前記解析した定位方向とを調整する調整処理をトラック毎に実行し、 An adjustment process for adjusting the acoustic characteristics of the acoustic signal and the analyzed localization direction is performed for each track,
前記各トラックの優先度を設定し、 Set the priority of each track,
優先度の高いトラックの音響信号が優先度の低いトラックの音響信号と比較して明瞭化されるように、トラック毎の前記調整処理を制御し、 Controlling the adjustment process for each track so that the acoustic signal of the high priority track is clarified compared to the acoustic signal of the low priority track;
前記調整処理後の各トラックの音響信号を合成する Synthesize the acoustic signal of each track after the adjustment process
音響処理方法。 Sound processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012037499A JP5915249B2 (en) | 2012-02-23 | 2012-02-23 | Sound processing apparatus and sound processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012037499A JP5915249B2 (en) | 2012-02-23 | 2012-02-23 | Sound processing apparatus and sound processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013175809A JP2013175809A (en) | 2013-09-05 |
JP5915249B2 true JP5915249B2 (en) | 2016-05-11 |
Family
ID=49268375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012037499A Active JP5915249B2 (en) | 2012-02-23 | 2012-02-23 | Sound processing apparatus and sound processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5915249B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6492521B2 (en) * | 2014-10-17 | 2019-04-03 | ヤマハ株式会社 | Mixing equipment |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1134724B1 (en) * | 2000-03-17 | 2008-07-23 | Sony France S.A. | Real time audio spatialisation system with high level control |
JP3823847B2 (en) * | 2002-02-27 | 2006-09-20 | ヤマハ株式会社 | SOUND CONTROL DEVICE, SOUND CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM |
JP4079260B2 (en) * | 2002-12-24 | 2008-04-23 | 独立行政法人科学技術振興機構 | Music mixing apparatus, method and program |
JP4493530B2 (en) * | 2005-03-25 | 2010-06-30 | クラリオン株式会社 | In-vehicle acoustic processing device and navigation device |
JP4940671B2 (en) * | 2006-01-26 | 2012-05-30 | ソニー株式会社 | Audio signal processing apparatus, audio signal processing method, and audio signal processing program |
JP5499633B2 (en) * | 2009-10-28 | 2014-05-21 | ソニー株式会社 | REPRODUCTION DEVICE, HEADPHONE, AND REPRODUCTION METHOD |
JP5639362B2 (en) * | 2010-01-29 | 2014-12-10 | ローランド株式会社 | User interface device |
-
2012
- 2012-02-23 JP JP2012037499A patent/JP5915249B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013175809A (en) | 2013-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101387195B1 (en) | System for spatial extraction of audio signals | |
JP5955862B2 (en) | Immersive audio rendering system | |
RU2666316C2 (en) | Device and method of improving audio, system of sound improvement | |
US10178491B2 (en) | Apparatus and a method for manipulating an input audio signal | |
US9913036B2 (en) | Apparatus and method and computer program for generating a stereo output signal for providing additional output channels | |
US9071215B2 (en) | Audio signal processing device, method, program, and recording medium for processing audio signal to be reproduced by plurality of speakers | |
US9106993B2 (en) | Sound processing apparatus | |
JP5690082B2 (en) | Audio signal processing apparatus, method, program, and recording medium | |
JP5915249B2 (en) | Sound processing apparatus and sound processing method | |
CN102348149A (en) | System and method for robust audio spatialization using frequency separation | |
JP4392040B2 (en) | Acoustic signal processing apparatus, acoustic signal processing method, acoustic signal processing program, and computer-readable recording medium | |
JP6212348B2 (en) | Upmix device, sound reproduction device, sound amplification device, and program | |
JP2023548570A (en) | Audio system height channel up mixing | |
JP2013114242A (en) | Sound processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141217 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150410 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150519 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160321 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5915249 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |