WO2016038876A1 - Encoding device, decoding device, and speech signal processing device - Google Patents
Encoding device, decoding device, and speech signal processing device Download PDFInfo
- Publication number
- WO2016038876A1 WO2016038876A1 PCT/JP2015/004534 JP2015004534W WO2016038876A1 WO 2016038876 A1 WO2016038876 A1 WO 2016038876A1 JP 2015004534 W JP2015004534 W JP 2015004534W WO 2016038876 A1 WO2016038876 A1 WO 2016038876A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- audio signal
- dialog
- control
- signal processing
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Stereophonic System (AREA)
Abstract
The purpose of the present invention is to provide a system wherein an audience can control dialog by using a receiver or the like within the framework for channel-based methods of production and encoding. A coding device (1) is configured to encode an input speech signal and comprises: a compression encoding unit (11) for compressing and encoding a speech signal, and then outputting the speech signal as a compressed speech signal; and a multiplexing unit (12) for multiplexing input meta-data for controlling dialog with the compressed speech signal and outputting the multiplexed data.
Description
本出願は、日本国特許出願２０１４－１８２６９５号（２０１４年９月８日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
This application claims the priority of Japanese Patent Application No. 2014-182695 (filed on September 8, 2014), the entire disclosure of which is incorporated herein by reference.
本発明は、符号化装置、復号化装置及び音声信号処理装置に関する。
The present invention relates to an encoding device, a decoding device, and an audio signal processing device.
放送音声に対する視聴者意見は、ダイアログ（ナレーション、スピーチ、セリフ等）の聞きやすさに関するものが多い。従来の日本の放送音声は、放送局側で音声技術者がダイアログと背景の音量バランスを一意に調節してから送出するチャンネルベース方式を採用している（例えば、非特許文献１）。チャンネルベース方式とは例えばＭＰＥＧ―４ ＡＡＣ（例えば、非特許文献２）である。ダイアログの聞きやすさに対して、多くの視聴者が関心を寄せている。
Many viewers' opinions on broadcast audio are related to the ease of listening to dialogs (narration, speech, speech, etc.). Conventional Japanese broadcast audio employs a channel-based method in which a sound engineer uniquely adjusts the volume balance between a dialog and a background on the broadcast station side (for example, Non-Patent Document 1). The channel base system is, for example, MPEG-4 AAC (for example, Non-Patent Document 2). Many viewers are interested in the ease of hearing the dialog.
ダイアログを聞き取りやすくするために、欧米の次世代放送の音声システムは、オブジェクトベース方式（例えば、特許文献１）を採用する方向で検討が進められている。オブジェクトベース方式とは、ＭＰＥＧ―Ｈ ３Ｄ Ａｕｄｉｏ（例えば、非特許文献３）又はＤｏｌｂｙのＡＣ―４等の符号化方式によって伝送を行う方式であり、ダイアログ等の重要な音声オブジェクトが受信機で制御可能になる方式である。
In order to make dialogs easy to hear, studies are proceeding in the direction of adopting an object-based method (for example, Patent Document 1) for audio systems for next-generation broadcasting in Europe and the United States. The object-based system is a system that performs transmission using an encoding system such as MPEG-H 3D Audio (eg, Non-Patent Document 3) or Dolby's AC-4, and controls important audio objects such as dialogs at the receiver. This is a possible method.
上述した、日本が採用しているチャンネルベース方式においては、受信機を操作する視聴者はダイアログの音量を調節することができない。しかしながら、視聴者の好み並びに年齢及び再生環境の多様性を考えた場合、放送局で調節した音量バランスではその多様性をカバーしきれない状況も存在すると考えられる。これは、ダイアログが聞き取りにくくなる要因の一つと考えられている。
In the channel-based method adopted by Japan as described above, the viewer operating the receiver cannot adjust the volume of the dialog. However, when considering the viewer's preferences, age, and the diversity of the playback environment, there may be situations where the volume balance adjusted by the broadcast station cannot cover the diversity. This is considered to be one of the factors that make dialogue difficult to hear.
日本の８Ｋ ＳＨＶ ２２．２ｃｈ放送の音声符号化方式は、上述したＭＰＥＧ―４ ＡＡＣであり、音声信号とスピーカとが一対一に対応するチャンネルベース方式である。また日本の地上デジタル放送の音声符号化方式はＭＰＥＧ－２ ＡＡＣであり、チャンネルベース方式である。このため、現状ではダイアログ等の音声オブジェクトの制御は不可能である。
Japan's 8K SHV 22.2ch audio encoding method is the above-mentioned MPEG-4 AAC, which is a channel-based method in which audio signals and speakers correspond one-to-one. In addition, the audio encoding system of Japanese terrestrial digital broadcasting is MPEG-2 AAC, which is a channel-based system. Therefore, at present, it is impossible to control a sound object such as a dialog.
かかる事情に鑑みてなされた本発明の目的は、チャンネルベース方式の制作手法及びチャンネルベース方式の符号化手法の枠組み内で、受信機等を用いて視聴者がダイアログを制御することができる仕組みを実現する符号化装置、復号化装置及び音声信号処理装置を提供することにある。
An object of the present invention made in view of such circumstances is a mechanism in which a viewer can control a dialog using a receiver or the like within the framework of a channel-based production method and a channel-based coding method. It is an object to provide an encoding device, a decoding device, and an audio signal processing device that are realized.
上記目的を達成する第１の観点に係る発明は、
入力された音声信号を符号化する符号化装置であって、
前記音声信号を圧縮符号化して圧縮音声信号として出力する圧縮符号化部と、
入力されたダイアログ制御用メタデータを前記圧縮音声信号と多重化して出力する多重化部と、
を備えるものである。 The invention according to the first aspect to achieve the above object is
An encoding device that encodes an input audio signal,
A compression encoding unit that compresses and encodes the audio signal and outputs the compressed audio signal;
A multiplexing unit that multiplexes and outputs the input dialog control metadata with the compressed audio signal;
Is provided.
入力された音声信号を符号化する符号化装置であって、
前記音声信号を圧縮符号化して圧縮音声信号として出力する圧縮符号化部と、
入力されたダイアログ制御用メタデータを前記圧縮音声信号と多重化して出力する多重化部と、
を備えるものである。 The invention according to the first aspect to achieve the above object is
An encoding device that encodes an input audio signal,
A compression encoding unit that compresses and encodes the audio signal and outputs the compressed audio signal;
A multiplexing unit that multiplexes and outputs the input dialog control metadata with the compressed audio signal;
Is provided.
また、前記ダイアログ制御用メタデータは、ダイアログ制御機能に対応した番組か否かのフラグ並びに受信機又は当該受信機に接続された再生装置での利得制御の上限値及び下限値を含んでもよい。
Further, the dialog control metadata may include a flag indicating whether or not the program corresponds to the dialog control function, and an upper limit value and a lower limit value of gain control in the receiver or a playback device connected to the receiver.
また、前記多重化部は、前記上限値及び前記下限値の情報を符号化してもよい。
Further, the multiplexing unit may encode the information on the upper limit value and the lower limit value.
上記目的を達成する第２の観点に係る発明は、
ダイアログ制御用メタデータ及び圧縮音声信号が多重化された入力信号を前記ダイアログ制御用メタデータと、前記圧縮音声信号とに分離する分離部と、
前記圧縮音声信号を復号化する復号化部と、
を備えるものである。 The invention according to the second aspect to achieve the above object is
A separation unit that separates an input signal in which dialog control metadata and a compressed audio signal are multiplexed into the dialog control metadata and the compressed audio signal;
A decoding unit for decoding the compressed audio signal;
Is provided.
ダイアログ制御用メタデータ及び圧縮音声信号が多重化された入力信号を前記ダイアログ制御用メタデータと、前記圧縮音声信号とに分離する分離部と、
前記圧縮音声信号を復号化する復号化部と、
を備えるものである。 The invention according to the second aspect to achieve the above object is
A separation unit that separates an input signal in which dialog control metadata and a compressed audio signal are multiplexed into the dialog control metadata and the compressed audio signal;
A decoding unit for decoding the compressed audio signal;
Is provided.
上記目的を達成する第３の観点に係る発明は、
復号化装置において分離されたダイアログ制御用メタデータ及び前記復号化装置において復号化された音声信号又は復号化されなかった圧縮音声信号を用いて音声信号処理を行う音声信号処理装置であって、
ダイアログ制御機能に対応した番組か否かのフラグに基づいてダイアログ制御の可否を判定するダイアログ制御可否判定部と、
ダイアログ専用チャンネル信号を特定するダイアログ専用チャンネル信号特定部と、
ダイアログ専用チャンネル信号の利得制御量の上限値及び下限値を、ダイアログの制御情報として取得し、前記ダイアログ専用チャンネル信号とそれ以外の任意の数のチャンネル信号とに対してそれぞれ異なる信号処理を行って音声信号として出力する制御部と、
を備えるものである。 The invention according to the third aspect for achieving the above object is:
An audio signal processing device that performs audio signal processing using the dialog control metadata separated in the decoding device and the audio signal decoded in the decoding device or the compressed audio signal that has not been decoded,
A dialog control availability determination unit that determines whether or not dialog control is possible based on a flag indicating whether or not the program corresponds to a dialog control function;
A dialog dedicated channel signal specifying unit for specifying a dialog dedicated channel signal;
The upper limit value and lower limit value of the gain control amount of the dialog dedicated channel signal are acquired as dialog control information, and different signal processing is performed for each of the dialog dedicated channel signal and any other number of channel signals. A control unit for outputting as an audio signal;
Is provided.
復号化装置において分離されたダイアログ制御用メタデータ及び前記復号化装置において復号化された音声信号又は復号化されなかった圧縮音声信号を用いて音声信号処理を行う音声信号処理装置であって、
ダイアログ制御機能に対応した番組か否かのフラグに基づいてダイアログ制御の可否を判定するダイアログ制御可否判定部と、
ダイアログ専用チャンネル信号を特定するダイアログ専用チャンネル信号特定部と、
ダイアログ専用チャンネル信号の利得制御量の上限値及び下限値を、ダイアログの制御情報として取得し、前記ダイアログ専用チャンネル信号とそれ以外の任意の数のチャンネル信号とに対してそれぞれ異なる信号処理を行って音声信号として出力する制御部と、
を備えるものである。 The invention according to the third aspect for achieving the above object is:
An audio signal processing device that performs audio signal processing using the dialog control metadata separated in the decoding device and the audio signal decoded in the decoding device or the compressed audio signal that has not been decoded,
A dialog control availability determination unit that determines whether or not dialog control is possible based on a flag indicating whether or not the program corresponds to a dialog control function;
A dialog dedicated channel signal specifying unit for specifying a dialog dedicated channel signal;
The upper limit value and lower limit value of the gain control amount of the dialog dedicated channel signal are acquired as dialog control information, and different signal processing is performed for each of the dialog dedicated channel signal and any other number of channel signals. A control unit for outputting as an audio signal;
Is provided.
また、前記音声信号処理装置は、前記ダイアログの制御情報を外部の制御情報入力装置から取得する制御情報取得部を更に備え、
前記制御部は、前記制御情報に基づいて前記音声信号を調節して出力してもよい。 The audio signal processing device further includes a control information acquisition unit that acquires control information of the dialog from an external control information input device,
The control unit may adjust and output the audio signal based on the control information.
前記制御部は、前記制御情報に基づいて前記音声信号を調節して出力してもよい。 The audio signal processing device further includes a control information acquisition unit that acquires control information of the dialog from an external control information input device,
The control unit may adjust and output the audio signal based on the control information.
また、前記制御情報取得部は、前記ダイアログの制御情報としてダイアログ音量の調節情報を取得し、
前記制御部は、前記調節情報に基づいて音声信号を調節して出力してもよい。 Further, the control information acquisition unit acquires dialog volume adjustment information as the control information of the dialog,
The controller may adjust and output an audio signal based on the adjustment information.
前記制御部は、前記調節情報に基づいて音声信号を調節して出力してもよい。 Further, the control information acquisition unit acquires dialog volume adjustment information as the control information of the dialog,
The controller may adjust and output an audio signal based on the adjustment information.
また、前記ダイアログ専用チャンネル信号特定部は、ダイアログ専用チャンネルの信号を、前記復号化装置から取得した音声方式メタデータに基づいて特定してもよい。
Further, the dialog dedicated channel signal specifying unit may specify the signal of the dialog dedicated channel based on the audio system metadata acquired from the decoding device.
また、前記ダイアログ専用チャンネル信号特定部は、ダイアログ専用チャンネルの信号を、前記復号化装置以外の外部装置から取得した情報を用いて特定してもよい。
Further, the dialog dedicated channel signal specifying unit may specify the signal of the dialog dedicated channel using information acquired from an external device other than the decoding device.
また、前記制御部は更に、ダイアログに話速変換処理を行ってもよい。
Further, the control unit may further perform speech speed conversion processing on the dialog.
また、前記制御部は、前記利得制御量の上限値よりも高い又は下限値よりも低いダイアログ音量の調節情報を取得したとき、前記利得制御量の上限値又は下限値により調節を制限してもよい。
In addition, when the control unit acquires dialog volume adjustment information that is higher than the upper limit value of the gain control amount or lower than the lower limit value, the control unit may limit the adjustment by the upper limit value or lower limit value of the gain control amount. Good.
また、前記制御部は、
ダイアログ音量を増加させる調節情報を取得したとき、前記ダイアログ専用チャンネル信号以外のチャンネル信号の利得を低減させ、
ダイアログ音量を低減させる調節情報を取得したとき、前記ダイアログ専用チャンネル信号の利得のみを低減させてもよい。 In addition, the control unit
When the adjustment information that increases the dialog volume is acquired, the gain of the channel signal other than the dialog dedicated channel signal is reduced,
When the adjustment information for reducing the dialog volume is acquired, only the gain of the dialog dedicated channel signal may be reduced.
ダイアログ音量を増加させる調節情報を取得したとき、前記ダイアログ専用チャンネル信号以外のチャンネル信号の利得を低減させ、
ダイアログ音量を低減させる調節情報を取得したとき、前記ダイアログ専用チャンネル信号の利得のみを低減させてもよい。 In addition, the control unit
When the adjustment information that increases the dialog volume is acquired, the gain of the channel signal other than the dialog dedicated channel signal is reduced,
When the adjustment information for reducing the dialog volume is acquired, only the gain of the dialog dedicated channel signal may be reduced.
また、前記制御部は、ダイアログの制御を行った後にダウンミックスを含む変換手段によりチャンネル数を変換してもよい。
In addition, the control unit may convert the number of channels by conversion means including downmix after controlling the dialog.
また、前記制御部は、前記ダイアログ専用チャンネル信号とそれ以外の任意の数のチャンネル信号との双方又はどちらか一方に、それぞれ周波数補正処理を含む信号処理を行ってもよい。
In addition, the control unit may perform signal processing including frequency correction processing on both or either of the dialog dedicated channel signal and any other number of channel signals.
また、前記制御部は、前記復号化装置においてビットストリームから分離された前記圧縮音声信号を復号化せずにそのまま前記音声信号処理を行ってから、復号化して音声信号として出力するか、復号化せずに圧縮音声信号として出力してもよい。
In addition, the control unit performs the audio signal processing as it is without decoding the compressed audio signal separated from the bit stream in the decoding device, and then outputs the decoded audio signal as an audio signal or decodes the decoded audio signal. Instead, it may be output as a compressed audio signal.
また、前記制御部は、前記音声信号処理後に前記ダイアログ制御用メタデータと音声方式メタデータの双方またはどちらか一方と、前記圧縮音声信号を多重化してビットストリームとして出力してもよい。
In addition, the control unit may multiplex the compressed audio signal and / or one of the dialog control metadata and audio method metadata after the audio signal processing, and output the multiplexed audio signal as a bit stream.
本発明による符号化装置、復号化装置及び音声信号処理装置によれば、チャンネルベース方式の制作手法及びチャンネルベース方式の符号化手法の枠組み内で、受信機又は当該受信機に接続された再生装置を用いて視聴者がダイアログを制御することができる仕組みを実現することができる。
According to the encoding device, the decoding device, and the audio signal processing device of the present invention, a receiver or a playback device connected to the receiver within the framework of the channel-based production method and the channel-based encoding method. Using this, it is possible to realize a mechanism that allows the viewer to control the dialog.
以下、受信機又は当該受信機に接続された再生装置（スピーカ、録音装置等の外部再生装置）（以下、受信機等とする）においてダイアログを制御可能にする仕組みを説明する。本実施形態では、一例として複数の音声チャンネル及びダイアログ専用チャンネルを有する音響システムとして、８Ｋ ＳＨＶ用の２２．２ｃｈ音響システムを説明する。
Hereinafter, a mechanism for enabling dialog control in a receiver or a playback device (external playback device such as a speaker or a recording device) connected to the receiver (hereinafter referred to as a receiver) will be described. In this embodiment, as an example, a 22.2ch acoustic system for 8K SHV will be described as an acoustic system having a plurality of audio channels and dialog dedicated channels.
本実施形態の音声信号処理システムは、符号化装置１、復号化装置２、音声信号処理装置３及び制御情報入力装置４を備え、これらはネットワークを介して有線又は無線により通信する。以下の説明では、本発明に係る音声処理システムの各機能を説明するが、それらが備える他の機能を排除することを意図したものではないことに留意されたい。
The audio signal processing system according to the present embodiment includes an encoding device 1, a decoding device 2, an audio signal processing device 3, and a control information input device 4, which communicate with each other via a network in a wired or wireless manner. In the following description, each function of the voice processing system according to the present invention will be described, but it should be noted that it is not intended to exclude other functions included in the voice processing system.
図１は２２．２ｃｈ音響システムにおける、ダイアログ制御機能に対応した制作手法による制作時の３次元（立体）音響方式を示す図である。図１に示すように、超高精細・高臨場感映像音響システムの番組制作は、大画面映像ディスプレイ１ａ（例えば、７６８０×４３２０画素）とスピーカとを配置した標準制作条件下で行う。この標準制作条件下では、聴取位置を中心として大画面映像ディスプレイ１ａを前方にして、低域効果音用スピーカＬＦＥ１及びＬＦＥ２を除いて、９チャンネルからなる上層、１０チャンネルからなる中層及び３チャンネルからなる下層の計２２チャンネルのスピーカで音響信号を制作する。当該２２チャンネルのスピーカが配置される位置は、規格ＳＭＰＴＥ ＳＴ２０３６－２－２００８に規定されている。
FIG. 1 is a diagram showing a three-dimensional (three-dimensional) sound method at the time of production by a production method corresponding to the dialog control function in the 22.2ch sound system. As shown in FIG. 1, the program production of the ultra-high definition / high-sense video / audio system is performed under standard production conditions in which a large-screen video display 1a (for example, 7680 × 4320 pixels) and a speaker are arranged. Under the standard production conditions, the large screen image display 1a is centered on the listening position, and the upper layer consisting of 9 channels, the middle layer consisting of 10 channels, and the 3 channels except for the low-frequency sound effect speakers LFE1 and LFE2. The sound signal is produced with a total of 22 channels of speakers. The position where the 22-channel speaker is arranged is defined in the standard SMPTE ST2036-2-2-2008.
チャンネルベース方式でダイアログ制御機能を実現するためには、背景音を重ねないダイアログ専用のチャンネルが必要である。本実施形態では、一例として図１のＦＣをダイアログ専用チャンネルとして説明する。なお、ダイアログ専用チャンネルは複数存在しても構わない。ダイアログ専用チャンネルが複数存在する場合は、それらのダイアログ専用チャンネルは同一の音声信号を再生しても構わないし、それぞれ異なる音声信号を再生しても構わない。
In order to realize the dialog control function using the channel-based method, a dedicated channel for dialog that does not overlap background sounds is required. In the present embodiment, the FC in FIG. 1 will be described as a dialog-dedicated channel as an example. There may be a plurality of dialog-dedicated channels. When there are a plurality of dialog dedicated channels, these dialog dedicated channels may reproduce the same audio signal or different audio signals.
図２は、符号化装置１の機能ブロック図である。符号化装置１は、圧縮符号化部１１及び多重化部１２を備える。圧縮符号化部１１及び多重化部１２が行う各種動作は、図示しないプロセッサ又はマイコン等の任意の処理装置によって処理される。
FIG. 2 is a functional block diagram of the encoding device 1. The encoding device 1 includes a compression encoding unit 11 and a multiplexing unit 12. Various operations performed by the compression encoding unit 11 and the multiplexing unit 12 are processed by an arbitrary processing device such as a processor or a microcomputer (not shown).
圧縮符号化部１１は、入力された音声信号を取得し、デジタル方式で圧縮符号化する。圧縮符号化部１１は、圧縮符号化した音声信号を、２２．２ｃｈの圧縮音声信号に変換して多重化部１２に出力する。
The compression encoding unit 11 acquires the input audio signal and compresses and encodes the digital audio signal. The compression encoding unit 11 converts the compression encoded audio signal into a 22.2ch compressed audio signal and outputs the converted signal to the multiplexing unit 12.
多重化部１２は、圧縮符号化部１１から取得した圧縮音声信号と、入力されたダイアログ制御用メタデータ及び音声方式を示すメタデータ（例えば、ＭＰＥＧ Ａｕｄｉｏでは、ｃｈａｎｎｅｌ ｃｏｎｆｉｇｕｒａｔｉｏｎ）とを取得する。
The multiplexing unit 12 acquires the compressed audio signal acquired from the compression encoding unit 11, and the input dialog control metadata and metadata indicating the audio format (for example, channel configuration in MPEG Audio).
次いで多重化部１２は、ダイアログ制御用メタデータ、音声方式を示すメタデータを符号化し、取得した圧縮音声信号と共に多重化する。ダイアログ制御用メタデータとは、例えば、ダイアログ制御機能に対応した番組か否かのフラグ、受信機等における利得制御の上限値及び下限値等のデータである。多重化部１２は、ＭＰＥＧ―４ ＡＡＣで伝送する場合は、例えばユーザ拡張領域のＤＳＥ（Ｄａｔａ Ｓｔｒｅａｍ Ｅｌｅｍｅｎｔ）にメタデータを格納する。多重化部１２は、多重化したデータをビットストリームとして出力する。
Next, the multiplexing unit 12 encodes the dialog control metadata and the metadata indicating the audio method, and multiplexes it with the acquired compressed audio signal. The dialog control metadata is, for example, data such as a flag indicating whether or not the program corresponds to a dialog control function, an upper limit value and a lower limit value of gain control in a receiver or the like. The multiplexing unit 12 stores metadata in, for example, a DSE (Data Stream Element) in the user extension area when transmitting in MPEG-4 AAC. The multiplexing unit 12 outputs the multiplexed data as a bit stream.
図３は、復号化装置２の機能ブロック図である。復号化装置２は、分離部２１、メタデータ分離部２２及び復号化部２３を備える。分離部２１、メタデータ分離部２２及び復号化部２３が行う各種動作は、図示しないプロセッサ又はマイコン等の任意の処理装置によって処理される。
FIG. 3 is a functional block diagram of the decryption device 2. The decryption device 2 includes a separation unit 21, a metadata separation unit 22, and a decryption unit 23. Various operations performed by the separation unit 21, the metadata separation unit 22, and the decryption unit 23 are processed by an arbitrary processing device such as a processor or a microcomputer (not shown).
分離部２１は、符号化装置１から取得したビットストリームを分離する。具体的には、分離部２１は、当該ビットストリーム（入力信号）をメタデータ及び圧縮音声信号に分離し、それぞれメタデータ分離部２２及び復号化部２３に出力する。
The separation unit 21 separates the bit stream acquired from the encoding device 1. Specifically, the separation unit 21 separates the bit stream (input signal) into metadata and a compressed audio signal, and outputs them to the metadata separation unit 22 and the decoding unit 23, respectively.
メタデータ分離部２２は、取得したメタデータを、ダイアログ制御用メタデータ及び音声方式メタデータに分離する。
The metadata separation unit 22 separates the acquired metadata into dialog control metadata and audio method metadata.
復号化部２３は、取得した圧縮音声信号を音声信号に復号化する。なお復号化部２３は、取得した圧縮音声信号を復号化しなくてもよい。この場合、音声信号処理装置３の制御部３４は、当該圧縮音声信号を復号化せずにそのまま後述の音声信号処理を行ってから復号化して音声信号として出力する。制御部３４は、当該圧縮音声信号を復号化せずにそのまま後述の音声信号処理を行ってから復号化せずに圧縮音声信号として出力してもよい。
The decoding unit 23 decodes the acquired compressed audio signal into an audio signal. Note that the decoding unit 23 does not have to decode the acquired compressed audio signal. In this case, the control unit 34 of the audio signal processing device 3 decodes the compressed audio signal without performing decoding, performs audio signal processing described later, and outputs the decoded audio signal as an audio signal. The control unit 34 may output the compressed audio signal as a compressed audio signal without performing decoding after performing the audio signal processing described later without decoding the compressed audio signal.
図４は音声信号処理装置３及び制御情報入力装置４の機能ブロック図である。音声信号処理装置３は、例えば復号化装置２の後段に配置され、復号化装置２からダイアログ制御用メタデータ、音声方式メタデータ及び音声信号を取得する。音声信号処理装置３は、ダイアログ制御可否判定部３１、ダイアログ専用チャンネル信号特定部３２、音声信号分離部３３、制御部３４、制御情報取得部３５及び記憶部３６を備える。ダイアログ専用チャンネル信号特定部３２、音声信号分離部３３、制御部３４及び制御情報取得部３５が行う各種動作（音声信号処理）は、図示しないプロセッサ又はマイコン等の任意の処理装置によって処理される。
FIG. 4 is a functional block diagram of the audio signal processing device 3 and the control information input device 4. The audio signal processing device 3 is arranged, for example, at a subsequent stage of the decoding device 2 and acquires dialog control metadata, audio method metadata, and an audio signal from the decoding device 2. The audio signal processing device 3 includes a dialog control availability determination unit 31, a dialog dedicated channel signal identification unit 32, an audio signal separation unit 33, a control unit 34, a control information acquisition unit 35, and a storage unit 36. Various operations (audio signal processing) performed by the dialog dedicated channel signal specifying unit 32, the audio signal separating unit 33, the control unit 34, and the control information acquiring unit 35 are processed by an arbitrary processing device such as a processor or a microcomputer (not shown).
ダイアログ制御可否判定部３１は、復号化装置２から取得したダイアログ制御用メタデータ（ダイアログ制御機能に対応した番組か否かのフラグ）に基づいて、復号化装置２から取得した音声信号が、ダイアログ制御機能対応の番組か否か（ダイアログ制御の可否）を判定する。ダイアログ制御可否判定部３１が、当該音声信号が、ダイアログ制御機能対応の番組でないと判定すると、音声信号処理装置３は当該音声信号に音声信号処理を行わずに受信機等に出力する。
Based on the dialog control metadata (flag indicating whether or not the program is compatible with the dialog control function) acquired from the decoding device 2, the dialog control availability determination unit 31 converts the audio signal acquired from the decoding device 2 into the dialog It is determined whether the program corresponds to a control function (whether or not dialog control is possible). When the dialog control availability determination unit 31 determines that the audio signal is not a program corresponding to the dialog control function, the audio signal processing device 3 outputs the audio signal to a receiver or the like without performing audio signal processing.
ダイアログ専用チャンネル信号特定部３２は、復号化装置２から取得した音声方式メタデータに基づいて、ダイアログ専用チャンネルの信号を特定する。なおダイアログ専用チャンネル信号特定部３２は、復号化装置２以外の外部装置から取得した情報を用いてダイアログ専用チャンネルの信号を特定してもよい。
The dialog dedicated channel signal specifying unit 32 specifies the signal of the dialog dedicated channel based on the audio method metadata acquired from the decoding device 2. The dialog dedicated channel signal specifying unit 32 may specify the signal of the dialog dedicated channel using information acquired from an external device other than the decoding device 2.
音声信号分離部３３は、ダイアログ専用チャンネル信号特定部３２による特定に基づいて、当該音声信号をダイアログ専用チャンネル信号とそれ以外の背景音チャンネル信号とに分離する。
The audio signal separation unit 33 separates the audio signal into a dialog dedicated channel signal and other background sound channel signals based on the specification by the dialog dedicated channel signal specifying unit 32.
制御部３４は、音声信号分離部３３からダイアログ専用チャンネル信号及び背景音チャンネル信号を取得する。
The control unit 34 acquires a dialog dedicated channel signal and a background sound channel signal from the audio signal separation unit 33.
次いで制御部３４は、復号化装置２から取得したダイアログ制御用メタデータに基づいて、受信機等での利得制御の上限値及び下限値（例えば、上限値は＋１８ｄＢ、下限値は－∞）を取得する。
Next, based on the dialog control metadata acquired from the decoding device 2, the control unit 34 determines the upper limit value and lower limit value of gain control in the receiver or the like (for example, the upper limit value is +18 dB and the lower limit value is −∞). get.
また、制御部３４は、音声方式が２２．２ｃｈであることから、記憶部３６を参照してダイアログ専用チャンネル（本実施形態では図１のＦＣ）を特定する。なお制御部３４は、ダイアログ専用チャンネルを、その他の情報（例えば、番組情報）から特定してもよい。
In addition, since the audio system is 22.2 ch, the control unit 34 refers to the storage unit 36 and specifies a dialog dedicated channel (FC in FIG. 1 in this embodiment). The control unit 34 may specify the dialog dedicated channel from other information (for example, program information).
更に、制御部３４は、音声信号処理装置３の外部の制御情報入力装置４から、視聴者によるリモコン操作等によって受信視聴環境に応じて制御情報入力装置４に入力された制御情報（例えば、音量調節情報）を、制御情報取得部３５を介して取得する。制御部３４は、ダイアログ制御用メタデータと視聴者から与えられた制御情報とを用いて、ダイアログ専用チャンネル信号と背景音チャンネル信号とを制御する。
Further, the control unit 34 controls information (for example, volume) input from the control information input device 4 outside the audio signal processing device 3 to the control information input device 4 according to the reception viewing environment by a remote control operation by the viewer. Adjustment information) is acquired via the control information acquisition unit 35. The control unit 34 controls the dialog dedicated channel signal and the background sound channel signal by using the dialog control metadata and the control information given from the viewer.
当該制御において、制御部３４は、ダイアログに話速変換処理を行ってもよい。また、当該制御において、制御部３４は、利得制御量の上限値よりも高い又は下限値よりも低いダイアログ音量の調節情報を取得したとき、利得制御量の上限値又は下限値により調節を制限してもよい。
In this control, the control unit 34 may perform speech speed conversion processing on the dialog. Further, in the control, when the control unit 34 acquires dialog volume adjustment information that is higher than the upper limit value of the gain control amount or lower than the lower limit value, the control unit 34 limits the adjustment by the upper limit value or lower limit value of the gain control amount. May be.
当該制御において制御部３４は、ダイアログ専用チャンネル信号と背景音チャンネル信号とに対してそれぞれ異なる信号処理を行ってもよい。例えば、制御部３４は、ダイアログ音量を増加させる調節情報を取得したとき、ダイアログ専用チャンネル信号以外のチャンネル信号の利得を低減させ、ダイアログ音量を低減させる調節情報を取得したとき、前記ダイアログ専用チャンネル信号の利得のみを低減させてもよい。また、制御部３４は、前記のダイアログ音量の調節後に、ダイアログ専用チャンネル信号と背景音チャンネル信号の音量を、同時に増減してもよい。さらに、制御部３４は、ダイアログ専用チャンネル信号とそれ以外の任意の数のチャンネル信号との双方又はどちらか一方に、それぞれ周波数補正処理を含む信号処理を行ってもよい。
In this control, the control unit 34 may perform different signal processing on the dialog dedicated channel signal and the background sound channel signal. For example, when the control unit 34 obtains the adjustment information for increasing the dialog volume, the controller 34 reduces the gain of the channel signal other than the dialog-dedicated channel signal, and obtains the adjustment information for reducing the dialog volume. Only the gain may be reduced. Further, the control unit 34 may simultaneously increase or decrease the volume of the dialog dedicated channel signal and the background sound channel signal after adjusting the dialog volume. Further, the control unit 34 may perform signal processing including frequency correction processing on both or either of the dialog dedicated channel signal and any other number of channel signals.
また、制御部３４は、必要に応じてダウンミックスを含む変換手段によりチャンネル数を変換した後、ダイアログ専用チャンネル信号と背景音チャンネル信号とを組み合わせた２２．２ｃｈの音声信号を受信機に出力する。受信機は当該音声信号を、受信機に接続された再生装置から出力し、この結果、視聴者は制御情報に示す通りの所望の音声を視聴することができる。なお圧縮音声信号のまま上述の音声信号処理を行ったとき、制御部３４は、ダイアログ制御用メタデータと音声方式メタデータの双方またはどちらか一方と、圧縮音声信号を多重化してビットストリームとして受信機等に出力してもよいし、メタデータを多重化せずに圧縮音声信号を出力してもよい。
In addition, the control unit 34 converts the number of channels by conversion means including downmixing as necessary, and then outputs a 22.2ch audio signal combining the dialog dedicated channel signal and the background sound channel signal to the receiver. . The receiver outputs the audio signal from a playback device connected to the receiver, and as a result, the viewer can view desired audio as shown in the control information. When the above audio signal processing is performed with the compressed audio signal as it is, the control unit 34 multiplexes the compressed audio signal and / or one of the dialog control metadata and the audio method metadata and receives it as a bit stream. The compressed audio signal may be output without multiplexing the metadata.
図５は、本発明の一実施形態に係る動作フローを示す図である。
FIG. 5 is a diagram showing an operation flow according to an embodiment of the present invention.
符号化装置１は、入力された音声信号を取得し（ステップＳ１）、圧縮符号化する（ステップＳ２）。次いで符号化装置１は、圧縮符号化した圧縮音声信号と、ダイアログ制御用メタデータ及び音声方式を示すメタデータとを多重化する（ステップＳ３）。符号化装置１は、多重化したデータをビットストリームとして復号化装置２に出力する（ステップＳ４）。
The encoding device 1 acquires the input audio signal (step S1) and performs compression encoding (step S2). Next, the encoding device 1 multiplexes the compressed audio signal that has been compression-encoded, the dialog control metadata, and the metadata indicating the audio method (step S3). The encoding device 1 outputs the multiplexed data to the decoding device 2 as a bit stream (step S4).
復号化装置２は、符号化装置１から取得したビットストリームをメタデータ及び圧縮音声信号に分離する（ステップＳ５）。復号化装置２はまた、メタデータを、ダイアログ制御用メタデータ及び音声方式メタデータに分離する（ステップＳ６）。次いで復号化装置２は、取得した圧縮音声信号を音声信号に復号化し（ステップＳ７）、ダイアログ制御用メタデータ、音声方式メタデータ及び音声信号を音声信号処理装置３に出力する（ステップＳ８）
The decoding device 2 separates the bit stream acquired from the encoding device 1 into metadata and a compressed audio signal (step S5). The decryption apparatus 2 also separates the metadata into dialog control metadata and audio format metadata (step S6). Next, the decoding device 2 decodes the acquired compressed audio signal into an audio signal (step S7), and outputs the dialog control metadata, audio method metadata, and audio signal to the audio signal processing device 3 (step S8).
音声信号処理装置３は、復号化装置２から取得した音声信号が、ダイアログ制御機能対応の番組か否かを判定する（ステップＳ９）。音声信号処理装置３は、当該音声信号がダイアログ制御機能対応の番組でないと判定すると（ステップＳ９のＮｏ）、ステップＳ１０～ステップＳ１４を行わない。
The audio signal processing device 3 determines whether or not the audio signal acquired from the decoding device 2 is a program corresponding to the dialog control function (step S9). If the audio signal processing apparatus 3 determines that the audio signal is not a program corresponding to the dialog control function (No in step S9), it does not perform steps S10 to S14.
他方、音声信号処理装置３は、当該音声信号がダイアログ制御機能対応の番組であると判定すると（ステップＳ９のＹｅｓ）、ダイアログ制御用メタデータから、受信機等での利得制御の上限値及び下限値の情報を取得する（ステップＳ１０）。次いで音声信号処理装置３は、ダイアログ専用チャンネルの信号を特定する（ステップＳ１１）。音声信号処理装置３は、当該特定に基づいて、当該音声信号をダイアログ専用チャンネル信号とそれ以外の背景音チャンネル信号とに分離する（ステップＳ１２）。
On the other hand, when the audio signal processing device 3 determines that the audio signal is a program corresponding to the dialog control function (Yes in step S9), the upper limit value and the lower limit of the gain control in the receiver or the like from the dialog control metadata. Value information is acquired (step S10). Next, the audio signal processing device 3 specifies the signal of the dialog dedicated channel (step S11). Based on the specification, the audio signal processing device 3 separates the audio signal into a dialog dedicated channel signal and other background sound channel signals (step S12).
音声信号処理装置３は、音声信号処理装置３の外部の制御情報入力装置４から、制御情報（例えば、音量調節情報）を、制御情報取得部３５を介して取得する（ステップＳ１３）。音声信号処理装置３は、当該制御情報に基づいて音声信号を調節する（ステップＳ１４）。
The audio signal processing device 3 acquires control information (for example, volume adjustment information) from the control information input device 4 outside the audio signal processing device 3 via the control information acquisition unit 35 (step S13). The audio signal processing device 3 adjusts the audio signal based on the control information (step S14).
次いで音声信号処理装置３は、音声信号を受信機等に出力する（ステップＳ１５）。
Next, the audio signal processing device 3 outputs an audio signal to a receiver or the like (step S15).
従って、本実施形態に係る符号化装置１、復号化装置２、音声信号処理装置３及び制御情報入力装置４によれば、チャンネルベース方式の制作手法及びチャンネルベース方式の符号化手法の枠組み内で、受信機等を用いて視聴者がダイアログを制御することができる仕組みを実現することができる。
Therefore, according to the encoding device 1, the decoding device 2, the audio signal processing device 3, and the control information input device 4 according to the present embodiment, within the framework of the channel-based production method and the channel-based encoding method. Thus, it is possible to realize a mechanism that allows the viewer to control the dialog using a receiver or the like.
本発明を諸図面及び実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易である。従って、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の機能部やステップ等を１つ組み合わせること、或いは分割することが可能である。また、上述した本発明の実施形態は、それぞれ説明した実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
Although the present invention has been described based on the drawings and embodiments, those skilled in the art can easily make various modifications and corrections based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, the functions included in each functional unit, each means, each step, etc. can be rearranged so that there is no logical contradiction, and a plurality of functional units, steps, etc. can be combined or divided. It is. Further, the above-described embodiments of the present invention are not limited to being implemented faithfully to the embodiments described above, and may be implemented by appropriately combining the features or omitting some of them. it can.
また、本発明が、２２．２ｃｈ以外の音声方式に適用可能であることは言うまでもない。また本発明は、ＭＰＥＧ―４ ＡＡＣに限らず、ダイアログ制御情報を格納可能なメタデータ領域を有する音声符号化方式なら、適用可能である。更に本発明は、必ずしもダイアログのみに適用されるものではなく、何らかの音声信号のための専用チャンネルを設けて、個別に制御する目的の制御に対して応用可能であることは言うまでもない。
Needless to say, the present invention is applicable to audio systems other than 22.2ch. The present invention is not limited to MPEG-4 AAC, and can be applied to any audio coding system having a metadata area capable of storing dialog control information. Furthermore, it goes without saying that the present invention is not necessarily applied only to dialogs, but can be applied to control for the purpose of individually controlling by providing a dedicated channel for some kind of audio signal.
１ 符号化装置
１１ 圧縮符号化部
１２ 多重化部
２ 復号化装置
２１ 分離部
２２ メタデータ分離部
２３ 復号化部
３ 音声信号処理装置
３１ ダイアログ制御可否判定部
３２ ダイアログ専用チャンネル信号特定部
３３ 音声信号分離部
３４ 制御部
３５ 制御情報取得部
３６ 記憶部
４ 制御情報入力装置 DESCRIPTION OFSYMBOLS 1 Encoding apparatus 11 Compression encoding part 12 Multiplexing part 2 Decoding apparatus 21 Separation part 22 Metadata separation part 23 Decoding part 3 Audio signal processing apparatus 31 Dialog control availability determination part 32 Dialog dedicated channel signal specification part 33 Audio signal Separation unit 34 Control unit 35 Control information acquisition unit 36 Storage unit 4 Control information input device
１１ 圧縮符号化部
１２ 多重化部
２ 復号化装置
２１ 分離部
２２ メタデータ分離部
２３ 復号化部
３ 音声信号処理装置
３１ ダイアログ制御可否判定部
３２ ダイアログ専用チャンネル信号特定部
３３ 音声信号分離部
３４ 制御部
３５ 制御情報取得部
３６ 記憶部
４ 制御情報入力装置 DESCRIPTION OF
Claims (16)
- 入力された音声信号を符号化する符号化装置であって、
前記音声信号を圧縮符号化して圧縮音声信号として出力する圧縮符号化部と、
入力されたダイアログ制御用メタデータを前記圧縮音声信号と多重化して出力する多重化部と、
を備える符号化装置。 An encoding device that encodes an input audio signal,
A compression encoding unit that compresses and encodes the audio signal and outputs the compressed audio signal;
A multiplexing unit that multiplexes and outputs the input dialog control metadata with the compressed audio signal;
An encoding device comprising: - 前記ダイアログ制御用メタデータは、ダイアログ制御機能に対応した番組か否かのフラグ並びに受信機又は当該受信機に接続された再生装置での利得制御の上限値及び下限値を含む、請求項１に記載の符号化装置。 The dialog control metadata includes a flag indicating whether or not the program corresponds to a dialog control function, and an upper limit value and a lower limit value of gain control in a receiver or a playback device connected to the receiver. The encoding device described.
- 前記多重化部は、前記上限値及び前記下限値の情報を符号化する、請求項２に記載の符号化装置。 The encoding apparatus according to claim 2, wherein the multiplexing unit encodes information on the upper limit value and the lower limit value.
- ダイアログ制御用メタデータ及び圧縮音声信号が多重化された入力信号を前記ダイアログ制御用メタデータと、前記圧縮音声信号とに分離する分離部と、
前記圧縮音声信号を復号化する復号化部と、
を備える復号化装置。 A separation unit that separates an input signal in which dialog control metadata and a compressed audio signal are multiplexed into the dialog control metadata and the compressed audio signal;
A decoding unit for decoding the compressed audio signal;
A decoding device comprising: - 復号化装置において分離されたダイアログ制御用メタデータ及び前記復号化装置において復号化された音声信号又は復号化されなかった圧縮音声信号を用いて音声信号処理を行う音声信号処理装置であって、
ダイアログ制御機能に対応した番組か否かのフラグに基づいてダイアログ制御の可否を判定するダイアログ制御可否判定部と、
ダイアログ専用チャンネル信号を特定するダイアログ専用チャンネル信号特定部と、
ダイアログ専用チャンネル信号の利得制御量の上限値及び下限値を、ダイアログの制御情報として取得し、前記ダイアログ専用チャンネル信号とそれ以外の任意の数のチャンネル信号とに対してそれぞれ異なる信号処理を行って音声信号として出力する制御部と、
を備える音声信号処理装置。 An audio signal processing device that performs audio signal processing using the dialog control metadata separated in the decoding device and the audio signal decoded in the decoding device or the compressed audio signal that has not been decoded,
A dialog control availability determination unit that determines whether or not dialog control is possible based on a flag indicating whether or not the program corresponds to a dialog control function;
A dialog dedicated channel signal specifying unit for specifying a dialog dedicated channel signal;
The upper limit value and lower limit value of the gain control amount of the dialog dedicated channel signal are acquired as dialog control information, and different signal processing is performed for each of the dialog dedicated channel signal and any other number of channel signals. A control unit for outputting as an audio signal;
An audio signal processing apparatus comprising: - 前記ダイアログの制御情報を外部の制御情報入力装置から取得する制御情報取得部を更に備え、
前記制御部は、前記制御情報に基づいて前記音声信号を調節して出力する、請求項５に記載の音声信号処理装置。 A control information acquisition unit for acquiring control information of the dialog from an external control information input device;
The audio signal processing apparatus according to claim 5, wherein the control unit adjusts and outputs the audio signal based on the control information. - 前記制御情報取得部は、前記ダイアログの制御情報としてダイアログ音量の調節情報を取得し、
前記制御部は、前記調節情報に基づいて音声信号を調節して出力する、請求項６に記載の音声信号処理装置。 The control information acquisition unit acquires dialog volume adjustment information as control information of the dialog,
The audio signal processing apparatus according to claim 6, wherein the control unit adjusts and outputs an audio signal based on the adjustment information. - 前記ダイアログ専用チャンネル信号特定部は、ダイアログ専用チャンネルの信号を、前記復号化装置から取得した音声方式メタデータに基づいて特定する、請求項５～７のいずれか１項に記載の音声信号処理装置。 The audio signal processing device according to any one of claims 5 to 7, wherein the dialog dedicated channel signal specifying unit specifies a signal of the dialog dedicated channel based on audio method metadata acquired from the decoding device. .
- 前記ダイアログ専用チャンネル信号特定部は、ダイアログ専用チャンネルの信号を、前記復号化装置以外の外部装置から取得した情報を用いて特定する、請求項５～７のいずれか１項に記載の音声信号処理装置。 The audio signal processing according to any one of claims 5 to 7, wherein the dialog dedicated channel signal specifying unit specifies a signal of the dialog dedicated channel using information acquired from an external device other than the decoding device. apparatus.
- 前記制御部は更に、ダイアログに話速変換処理を行う、請求項５～９のいずれか１項に記載の音声信号処理装置。 The audio signal processing device according to any one of claims 5 to 9, wherein the control unit further performs a speech speed conversion process on the dialog.
- 前記制御部は、前記利得制御量の上限値よりも高い又は下限値よりも低いダイアログ音量の調節情報を取得したとき、前記利得制御量の上限値又は下限値により調節を制限する、請求項５～１０のいずれか１項に記載の音声信号処理装置。 The said control part restrict | limits adjustment with the upper limit or lower limit of the said gain control amount, when the adjustment information of the dialog volume higher than the upper limit of the said gain control amount or lower than a lower limit is acquired. The audio signal processing device according to any one of 1 to 10.
- 前記制御部は、
ダイアログ音量を増加させる調節情報を取得したとき、前記ダイアログ専用チャンネル信号以外のチャンネル信号の利得を低減させ、
ダイアログ音量を低減させる調節情報を取得したとき、前記ダイアログ専用チャンネル信号の利得のみを低減させる、請求項５～１１のいずれか１項に記載の音声信号処理装置。 The controller is
When the adjustment information that increases the dialog volume is acquired, the gain of the channel signal other than the dialog dedicated channel signal is reduced,
The audio signal processing device according to any one of claims 5 to 11, wherein when the adjustment information for reducing the dialog volume is acquired, only the gain of the dialog-dedicated channel signal is reduced. - 前記制御部は、ダイアログの制御を行った後にダウンミックスを含む変換手段によりチャンネル数を変換する、請求項５～１２のいずれか１項に記載の音声信号処理装置。 The audio signal processing apparatus according to any one of claims 5 to 12, wherein the control unit converts the number of channels by conversion means including downmix after controlling the dialog.
- 前記制御部は、前記ダイアログ専用チャンネル信号とそれ以外の任意の数のチャンネル信号との双方又はどちらか一方に、それぞれ周波数補正処理を含む信号処理を行う、請求項５～１３のいずれか１項に記載の音声信号処理装置。 14. The control unit according to claim 5, wherein the control unit performs signal processing including frequency correction processing on both or either of the dialog dedicated channel signal and any other number of channel signals. The audio signal processing apparatus according to 1.
- 前記制御部は、前記復号化装置においてビットストリームから分離された前記圧縮音声信号を復号化せずにそのまま前記音声信号処理を行ってから、復号化して音声信号として出力するか、復号化せずに圧縮音声信号として出力する、請求項５～１４のいずれか１項に記載の音声信号処理装置。 The control unit performs the audio signal processing as it is without decoding the compressed audio signal separated from the bit stream in the decoding device, and then outputs the decoded audio signal as an audio signal or does not decode it. The audio signal processing apparatus according to any one of claims 5 to 14, wherein the audio signal processing apparatus outputs a compressed audio signal.
- 前記制御部は、前記音声信号処理後に前記ダイアログ制御用メタデータと音声方式メタデータの双方またはどちらか一方と、前記圧縮音声信号を多重化してビットストリームとして出力する、請求項５～１５のいずれか１項に記載の音声信号処理装置。 16. The control unit according to claim 5, wherein the control unit multiplexes the compressed audio signal and / or one of the dialog control metadata and audio method metadata after the audio signal processing, and outputs the multiplexed signal as a bit stream. The audio signal processing device according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016547697A JP6683618B2 (en) | 2014-09-08 | 2015-09-07 | Audio signal processor |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014-182695 | 2014-09-08 | ||
| JP2014182695 | 2014-09-08 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016038876A1 true WO2016038876A1 (en) | 2016-03-17 |
Family
ID=55458647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2015/004534 WO2016038876A1 (en) | 2014-09-08 | 2015-09-07 | Encoding device, decoding device, and speech signal processing device |
Country Status (2)
| Country | Link |
|---|---|
| JP (3) | JP6683618B2 (en) |
| WO (1) | WO2016038876A1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010518460A (en) * | 2007-02-13 | 2010-05-27 | エルジー エレクトロニクス インコーポレイティド | Audio signal processing method and apparatus |
| JP2012527021A (en) * | 2010-02-18 | 2012-11-01 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Audio decoder and decoding method using efficient downmixing |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001245237A (en) * | 2000-02-28 | 2001-09-07 | Victor Co Of Japan Ltd | Broadcast receiving device |
| KR101061415B1 (en) * | 2006-09-14 | 2011-09-01 | 엘지전자 주식회사 | Controller and user interface for dialogue enhancement techniques |
| CA2720636C (en) * | 2008-04-18 | 2014-02-18 | Dolby Laboratories Licensing Corporation | Method and apparatus for maintaining speech audibility in multi-channel audio with minimal impact on surround experience |
| JP5241865B2 (en) * | 2011-01-21 | 2013-07-17 | 日立コンシューマエレクトロニクス株式会社 | Video camera |
| US9559651B2 (en) * | 2013-03-29 | 2017-01-31 | Apple Inc. | Metadata for loudness and dynamic range control |
| JP2016039150A (en) * | 2014-08-08 | 2016-03-22 | 国立大学法人横浜国立大学 | Polymer electrolyte fuel cell |
| RU2017106641A (en) * | 2014-09-08 | 2018-09-03 | Сони Корпорейшн | DEVICE AND METHOD OF CODING, DEVICE AND METHOD OF DECODING AND PROGRAM |
-
2015
- 2015-09-07 JP JP2016547697A patent/JP6683618B2/en active Active
- 2015-09-07 WO PCT/JP2015/004534 patent/WO2016038876A1/en active Application Filing
-
2020
- 2020-03-26 JP JP2020056076A patent/JP6924863B2/en active Active
- 2020-03-26 JP JP2020056071A patent/JP6924862B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010518460A (en) * | 2007-02-13 | 2010-05-27 | エルジー エレクトロニクス インコーポレイティド | Audio signal processing method and apparatus |
| JP2012527021A (en) * | 2010-02-18 | 2012-11-01 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Audio decoder and decoding method using efficient downmixing |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6924862B2 (en) | 2021-08-25 |
| JP6924863B2 (en) | 2021-08-25 |
| JPWO2016038876A1 (en) | 2017-06-15 |
| JP6683618B2 (en) | 2020-04-22 |
| JP2020101836A (en) | 2020-07-02 |
| JP2020101837A (en) | 2020-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10958229B2 (en) | Metadata for loudness and dynamic range control | |
| CN111492427B (en) | Priority information for higher order ambisonic audio data | |
| US20100324915A1 (en) | Encoding and decoding apparatuses for high quality multi-channel audio codec | |
| EP3329489B1 (en) | Encoded audio metadata-based equalization | |
| KR101759005B1 (en) | Loudspeaker position compensation with 3d-audio hierarchical coding | |
| US9430185B2 (en) | Loudness level control for audio reception and decoding equipment | |
| CN105075295A (en) | Methods and systems for generating and rendering object based audio with conditional rendering metadata | |
| US20140310010A1 (en) | Apparatus for encoding and apparatus for decoding supporting scalable multichannel audio signal, and method for apparatuses performing same | |
| US20100166226A1 (en) | Audio control method and audio control apparatus | |
| US20230232182A1 (en) | Spatial Audio Capture, Transmission and Reproduction | |
| US10446160B2 (en) | Coding device and method, decoding device and method, and program | |
| JP6924862B2 (en) | Audio signal processor | |
| EP2175643A1 (en) | Personal recording apparatus and control method thereof | |
| JP2006050241A (en) | Decoder | |
| JP2007142865A (en) | Television receiver | |
| KR101516968B1 (en) | Method for processing audio signal and broadcasting output apparatus using the same | |
| JP6099250B2 (en) | Broadcast transmission device and receiver | |
| JP6436573B2 (en) | Receiving apparatus, receiving method, and program | |
| US20110054917A1 (en) | Apparatus and method for structuring bitstream for object-based audio service, and apparatus for encoding the bitstream | |
| JP2017069705A (en) | Reception device, reception method, broadcast system, and program | |
| JP2011158694A (en) | Speech signal processing apparatus | |
| JP2016187137A (en) | Receiving device, receiving method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15840645 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2016547697 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15840645 Country of ref document: EP Kind code of ref document: A1 |