JPWO2016038876A1 - 符号化装置、復号化装置及び音声信号処理装置 - Google Patents

符号化装置、復号化装置及び音声信号処理装置 Download PDF

Info

Publication number
JPWO2016038876A1
JPWO2016038876A1 JP2016547697A JP2016547697A JPWO2016038876A1 JP WO2016038876 A1 JPWO2016038876 A1 JP WO2016038876A1 JP 2016547697 A JP2016547697 A JP 2016547697A JP 2016547697 A JP2016547697 A JP 2016547697A JP WO2016038876 A1 JPWO2016038876 A1 JP WO2016038876A1
Authority
JP
Japan
Prior art keywords
audio signal
dialog
control
signal processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016547697A
Other languages
English (en)
Other versions
JP6683618B2 (ja
Inventor
岳大 杉本
岳大 杉本
靖茂 中山
靖茂 中山
小森 智康
智康 小森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Publication of JPWO2016038876A1 publication Critical patent/JPWO2016038876A1/ja
Priority to JP2020056071A priority Critical patent/JP6924862B2/ja
Priority to JP2020056076A priority patent/JP6924863B2/ja
Application granted granted Critical
Publication of JP6683618B2 publication Critical patent/JP6683618B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereophonic System (AREA)

Abstract

チャンネルベース方式の制作手法及びチャンネルベース方式の符号化手法の枠組み内で、受信機等を用いて視聴者がダイアログを制御することができる仕組みを実現する。符号化装置(1)は、入力された音声信号を符号化する符号化装置であって、音声信号を圧縮符号化して圧縮音声信号として出力する圧縮符号化部(11)と、入力されたダイアログ制御用メタデータを圧縮音声信号と多重化して出力する多重化部(12)とを備える。

Description

関連出願へのクロスリファレンス
本出願は、日本国特許出願2014−182695号(2014年9月8日出願)の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
本発明は、符号化装置、復号化装置及び音声信号処理装置に関する。
放送音声に対する視聴者意見は、ダイアログ(ナレーション、スピーチ、セリフ等)の聞きやすさに関するものが多い。従来の日本の放送音声は、放送局側で音声技術者がダイアログと背景の音量バランスを一意に調節してから送出するチャンネルベース方式を採用している(例えば、非特許文献1)。チャンネルベース方式とは例えばMPEG―4 AAC(例えば、非特許文献2)である。ダイアログの聞きやすさに対して、多くの視聴者が関心を寄せている。
ダイアログを聞き取りやすくするために、欧米の次世代放送の音声システムは、オブジェクトベース方式(例えば、特許文献1)を採用する方向で検討が進められている。オブジェクトベース方式とは、MPEG―H 3D Audio(例えば、非特許文献3)又はDolbyのAC―4等の符号化方式によって伝送を行う方式であり、ダイアログ等の重要な音声オブジェクトが受信機で制御可能になる方式である。
ITU―R、"Advanced sound system for programme production"、[Online]、平成26年2月、[平成26年9月7日検索]、インターネット<http://www.itu.int/dms_pubrec/itu-r/rec/bs/R-REC-BS.2051-0-201402-I!!PDF-E.pdf> 一般社団法人 電波産業会、ARIB STD―B 3.0版 "デジタル放送における映像符号化、音声符号化及び多重化方式"、[Online]、平成26年7月31日、[平成26年9月7日検索]、インターネット<http://www.arib.or.jp/english/html/overview/doc/2-STD-B32v3_0.pdf> ISO/IEC DIS 23008−3、"Information technology―High efficiency coding and media delivery inheterogeneousenvironments―Part3:3D audio"
上述した、日本が採用しているチャンネルベース方式においては、受信機を操作する視聴者はダイアログの音量を調節することができない。しかしながら、視聴者の好み並びに年齢及び再生環境の多様性を考えた場合、放送局で調節した音量バランスではその多様性をカバーしきれない状況も存在すると考えられる。これは、ダイアログが聞き取りにくくなる要因の一つと考えられている。
日本の8K SHV 22.2ch放送の音声符号化方式は、上述したMPEG―4 AACであり、音声信号とスピーカとが一対一に対応するチャンネルベース方式である。また日本の地上デジタル放送の音声符号化方式はMPEG−2 AACであり、チャンネルベース方式である。このため、現状ではダイアログ等の音声オブジェクトの制御は不可能である。
かかる事情に鑑みてなされた本発明の目的は、チャンネルベース方式の制作手法及びチャンネルベース方式の符号化手法の枠組み内で、受信機等を用いて視聴者がダイアログを制御することができる仕組みを実現する符号化装置、復号化装置及び音声信号処理装置を提供することにある。
上記目的を達成する第1の観点に係る発明は、
入力された音声信号を符号化する符号化装置であって、
前記音声信号を圧縮符号化して圧縮音声信号として出力する圧縮符号化部と、
入力されたダイアログ制御用メタデータを前記圧縮音声信号と多重化して出力する多重化部と、
を備えるものである。
また、前記ダイアログ制御用メタデータは、ダイアログ制御機能に対応した番組か否かのフラグ並びに受信機又は当該受信機に接続された再生装置での利得制御の上限値及び下限値を含んでもよい。
また、前記多重化部は、前記上限値及び前記下限値の情報を符号化してもよい。
上記目的を達成する第2の観点に係る発明は、
ダイアログ制御用メタデータ及び圧縮音声信号が多重化された入力信号を前記ダイアログ制御用メタデータと、前記圧縮音声信号とに分離する分離部と、
前記圧縮音声信号を復号化する復号化部と、
を備えるものである。
上記目的を達成する第3の観点に係る発明は、
復号化装置において分離されたダイアログ制御用メタデータ及び前記復号化装置において復号化された音声信号又は復号化されなかった圧縮音声信号を用いて音声信号処理を行う音声信号処理装置であって、
ダイアログ制御機能に対応した番組か否かのフラグに基づいてダイアログ制御の可否を判定するダイアログ制御可否判定部と、
ダイアログ専用チャンネル信号を特定するダイアログ専用チャンネル信号特定部と、
ダイアログ専用チャンネル信号の利得制御量の上限値及び下限値を、ダイアログの制御情報として取得し、前記ダイアログ専用チャンネル信号とそれ以外の任意の数のチャンネル信号とに対してそれぞれ異なる信号処理を行って音声信号として出力する制御部と、
を備えるものである。
また、前記音声信号処理装置は、前記ダイアログの制御情報を外部の制御情報入力装置から取得する制御情報取得部を更に備え、
前記制御部は、前記制御情報に基づいて前記音声信号を調節して出力してもよい。
また、前記制御情報取得部は、前記ダイアログの制御情報としてダイアログ音量の調節情報を取得し、
前記制御部は、前記調節情報に基づいて音声信号を調節して出力してもよい。
また、前記ダイアログ専用チャンネル信号特定部は、ダイアログ専用チャンネルの信号を、前記復号化装置から取得した音声方式メタデータに基づいて特定してもよい。
また、前記ダイアログ専用チャンネル信号特定部は、ダイアログ専用チャンネルの信号を、前記復号化装置以外の外部装置から取得した情報を用いて特定してもよい。
また、前記制御部は更に、ダイアログに話速変換処理を行ってもよい。
また、前記制御部は、前記利得制御量の上限値よりも高い又は下限値よりも低いダイアログ音量の調節情報を取得したとき、前記利得制御量の上限値又は下限値により調節を制限してもよい。
また、前記制御部は、
ダイアログ音量を増加させる調節情報を取得したとき、前記ダイアログ専用チャンネル信号以外のチャンネル信号の利得を低減させ、
ダイアログ音量を低減させる調節情報を取得したとき、前記ダイアログ専用チャンネル信号の利得のみを低減させてもよい。
また、前記制御部は、ダイアログの制御を行った後にダウンミックスを含む変換手段によりチャンネル数を変換してもよい。
また、前記制御部は、前記ダイアログ専用チャンネル信号とそれ以外の任意の数のチャンネル信号との双方又はどちらか一方に、それぞれ周波数補正処理を含む信号処理を行ってもよい。
また、前記制御部は、前記復号化装置においてビットストリームから分離された前記圧縮音声信号を復号化せずにそのまま前記音声信号処理を行ってから、復号化して音声信号として出力するか、復号化せずに圧縮音声信号として出力してもよい。
また、前記制御部は、前記音声信号処理後に前記ダイアログ制御用メタデータと音声方式メタデータの双方またはどちらか一方と、前記圧縮音声信号を多重化してビットストリームとして出力してもよい。
本発明による符号化装置、復号化装置及び音声信号処理装置によれば、チャンネルベース方式の制作手法及びチャンネルベース方式の符号化手法の枠組み内で、受信機又は当該受信機に接続された再生装置を用いて視聴者がダイアログを制御することができる仕組みを実現することができる。
本発明の一実施形態に係る3次元(立体)音響方式を示す図である。 本発明の一実施形態に係る符号化装置の機能ブロック図である。 本発明の一実施形態に係る復号化装置の機能ブロック図である。 本発明の一実施形態に係る音声信号処理装置及び制御情報入力装置の機能ブロック図である。 本発明の一実施形態に係る音声信号処理システムの動作フローを示す図である。
以下、受信機又は当該受信機に接続された再生装置(スピーカ、録音装置等の外部再生装置)(以下、受信機等とする)においてダイアログを制御可能にする仕組みを説明する。本実施形態では、一例として複数の音声チャンネル及びダイアログ専用チャンネルを有する音響システムとして、8K SHV用の22.2ch音響システムを説明する。
本実施形態の音声信号処理システムは、符号化装置1、復号化装置2、音声信号処理装置3及び制御情報入力装置4を備え、これらはネットワークを介して有線又は無線により通信する。以下の説明では、本発明に係る音声処理システムの各機能を説明するが、それらが備える他の機能を排除することを意図したものではないことに留意されたい。
図1は22.2ch音響システムにおける、ダイアログ制御機能に対応した制作手法による制作時の3次元(立体)音響方式を示す図である。図1に示すように、超高精細・高臨場感映像音響システムの番組制作は、大画面映像ディスプレイ1a(例えば、7680×4320画素)とスピーカとを配置した標準制作条件下で行う。この標準制作条件下では、聴取位置を中心として大画面映像ディスプレイ1aを前方にして、低域効果音用スピーカLFE1及びLFE2を除いて、9チャンネルからなる上層、10チャンネルからなる中層及び3チャンネルからなる下層の計22チャンネルのスピーカで音響信号を制作する。当該22チャンネルのスピーカが配置される位置は、規格SMPTE ST2036−2−2008に規定されている。
チャンネルベース方式でダイアログ制御機能を実現するためには、背景音を重ねないダイアログ専用のチャンネルが必要である。本実施形態では、一例として図1のFCをダイアログ専用チャンネルとして説明する。なお、ダイアログ専用チャンネルは複数存在しても構わない。ダイアログ専用チャンネルが複数存在する場合は、それらのダイアログ専用チャンネルは同一の音声信号を再生しても構わないし、それぞれ異なる音声信号を再生しても構わない。
図2は、符号化装置1の機能ブロック図である。符号化装置1は、圧縮符号化部11及び多重化部12を備える。圧縮符号化部11及び多重化部12が行う各種動作は、図示しないプロセッサ又はマイコン等の任意の処理装置によって処理される。
圧縮符号化部11は、入力された音声信号を取得し、デジタル方式で圧縮符号化する。圧縮符号化部11は、圧縮符号化した音声信号を、22.2chの圧縮音声信号に変換して多重化部12に出力する。
多重化部12は、圧縮符号化部11から取得した圧縮音声信号と、入力されたダイアログ制御用メタデータ及び音声方式を示すメタデータ(例えば、MPEG Audioでは、channel configuration)とを取得する。
次いで多重化部12は、ダイアログ制御用メタデータ、音声方式を示すメタデータを符号化し、取得した圧縮音声信号と共に多重化する。ダイアログ制御用メタデータとは、例えば、ダイアログ制御機能に対応した番組か否かのフラグ、受信機等における利得制御の上限値及び下限値等のデータである。多重化部12は、MPEG―4 AACで伝送する場合は、例えばユーザ拡張領域のDSE(Data Stream Element)にメタデータを格納する。多重化部12は、多重化したデータをビットストリームとして出力する。
図3は、復号化装置2の機能ブロック図である。復号化装置2は、分離部21、メタデータ分離部22及び復号化部23を備える。分離部21、メタデータ分離部22及び復号化部23が行う各種動作は、図示しないプロセッサ又はマイコン等の任意の処理装置によって処理される。
分離部21は、符号化装置1から取得したビットストリームを分離する。具体的には、分離部21は、当該ビットストリーム(入力信号)をメタデータ及び圧縮音声信号に分離し、それぞれメタデータ分離部22及び復号化部23に出力する。
メタデータ分離部22は、取得したメタデータを、ダイアログ制御用メタデータ及び音声方式メタデータに分離する。
復号化部23は、取得した圧縮音声信号を音声信号に復号化する。なお復号化部23は、取得した圧縮音声信号を復号化しなくてもよい。この場合、音声信号処理装置3の制御部34は、当該圧縮音声信号を復号化せずにそのまま後述の音声信号処理を行ってから復号化して音声信号として出力する。制御部34は、当該圧縮音声信号を復号化せずにそのまま後述の音声信号処理を行ってから復号化せずに圧縮音声信号として出力してもよい。
図4は音声信号処理装置3及び制御情報入力装置4の機能ブロック図である。音声信号処理装置3は、例えば復号化装置2の後段に配置され、復号化装置2からダイアログ制御用メタデータ、音声方式メタデータ及び音声信号を取得する。音声信号処理装置3は、ダイアログ制御可否判定部31、ダイアログ専用チャンネル信号特定部32、音声信号分離部33、制御部34、制御情報取得部35及び記憶部36を備える。ダイアログ専用チャンネル信号特定部32、音声信号分離部33、制御部34及び制御情報取得部35が行う各種動作(音声信号処理)は、図示しないプロセッサ又はマイコン等の任意の処理装置によって処理される。
ダイアログ制御可否判定部31は、復号化装置2から取得したダイアログ制御用メタデータ(ダイアログ制御機能に対応した番組か否かのフラグ)に基づいて、復号化装置2から取得した音声信号が、ダイアログ制御機能対応の番組か否か(ダイアログ制御の可否)を判定する。ダイアログ制御可否判定部31が、当該音声信号が、ダイアログ制御機能対応の番組でないと判定すると、音声信号処理装置3は当該音声信号に音声信号処理を行わずに受信機等に出力する。
ダイアログ専用チャンネル信号特定部32は、復号化装置2から取得した音声方式メタデータに基づいて、ダイアログ専用チャンネルの信号を特定する。なおダイアログ専用チャンネル信号特定部32は、復号化装置2以外の外部装置から取得した情報を用いてダイアログ専用チャンネルの信号を特定してもよい。
音声信号分離部33は、ダイアログ専用チャンネル信号特定部32による特定に基づいて、当該音声信号をダイアログ専用チャンネル信号とそれ以外の背景音チャンネル信号とに分離する。
制御部34は、音声信号分離部33からダイアログ専用チャンネル信号及び背景音チャンネル信号を取得する。
次いで制御部34は、復号化装置2から取得したダイアログ制御用メタデータに基づいて、受信機等での利得制御の上限値及び下限値(例えば、上限値は+18dB、下限値は−∞)を取得する。
また、制御部34は、音声方式が22.2chであることから、記憶部36を参照してダイアログ専用チャンネル(本実施形態では図1のFC)を特定する。なお制御部34は、ダイアログ専用チャンネルを、その他の情報(例えば、番組情報)から特定してもよい。
更に、制御部34は、音声信号処理装置3の外部の制御情報入力装置4から、視聴者によるリモコン操作等によって受信視聴環境に応じて制御情報入力装置4に入力された制御情報(例えば、音量調節情報)を、制御情報取得部35を介して取得する。制御部34は、ダイアログ制御用メタデータと視聴者から与えられた制御情報とを用いて、ダイアログ専用チャンネル信号と背景音チャンネル信号とを制御する。
当該制御において、制御部34は、ダイアログに話速変換処理を行ってもよい。また、当該制御において、制御部34は、利得制御量の上限値よりも高い又は下限値よりも低いダイアログ音量の調節情報を取得したとき、利得制御量の上限値又は下限値により調節を制限してもよい。
当該制御において制御部34は、ダイアログ専用チャンネル信号と背景音チャンネル信号とに対してそれぞれ異なる信号処理を行ってもよい。例えば、制御部34は、ダイアログ音量を増加させる調節情報を取得したとき、ダイアログ専用チャンネル信号以外のチャンネル信号の利得を低減させ、ダイアログ音量を低減させる調節情報を取得したとき、前記ダイアログ専用チャンネル信号の利得のみを低減させてもよい。また、制御部34は、前記のダイアログ音量の調節後に、ダイアログ専用チャンネル信号と背景音チャンネル信号の音量を、同時に増減してもよい。さらに、制御部34は、ダイアログ専用チャンネル信号とそれ以外の任意の数のチャンネル信号との双方又はどちらか一方に、それぞれ周波数補正処理を含む信号処理を行ってもよい。
また、制御部34は、必要に応じてダウンミックスを含む変換手段によりチャンネル数を変換した後、ダイアログ専用チャンネル信号と背景音チャンネル信号とを組み合わせた22.2chの音声信号を受信機に出力する。受信機は当該音声信号を、受信機に接続された再生装置から出力し、この結果、視聴者は制御情報に示す通りの所望の音声を視聴することができる。なお圧縮音声信号のまま上述の音声信号処理を行ったとき、制御部34は、ダイアログ制御用メタデータと音声方式メタデータの双方またはどちらか一方と、圧縮音声信号を多重化してビットストリームとして受信機等に出力してもよいし、メタデータを多重化せずに圧縮音声信号を出力してもよい。
図5は、本発明の一実施形態に係る動作フローを示す図である。
符号化装置1は、入力された音声信号を取得し(ステップS1)、圧縮符号化する(ステップS2)。次いで符号化装置1は、圧縮符号化した圧縮音声信号と、ダイアログ制御用メタデータ及び音声方式を示すメタデータとを多重化する(ステップS3)。符号化装置1は、多重化したデータをビットストリームとして復号化装置2に出力する(ステップS4)。
復号化装置2は、符号化装置1から取得したビットストリームをメタデータ及び圧縮音声信号に分離する(ステップS5)。復号化装置2はまた、メタデータを、ダイアログ制御用メタデータ及び音声方式メタデータに分離する(ステップS6)。次いで復号化装置2は、取得した圧縮音声信号を音声信号に復号化し(ステップS7)、ダイアログ制御用メタデータ、音声方式メタデータ及び音声信号を音声信号処理装置3に出力する(ステップS8)
音声信号処理装置3は、復号化装置2から取得した音声信号が、ダイアログ制御機能対応の番組か否かを判定する(ステップS9)。音声信号処理装置3は、当該音声信号がダイアログ制御機能対応の番組でないと判定すると(ステップS9のNo)、ステップS10〜ステップS14を行わない。
他方、音声信号処理装置3は、当該音声信号がダイアログ制御機能対応の番組であると判定すると(ステップS9のYes)、ダイアログ制御用メタデータから、受信機等での利得制御の上限値及び下限値の情報を取得する(ステップS10)。次いで音声信号処理装置3は、ダイアログ専用チャンネルの信号を特定する(ステップS11)。音声信号処理装置3は、当該特定に基づいて、当該音声信号をダイアログ専用チャンネル信号とそれ以外の背景音チャンネル信号とに分離する(ステップS12)。
音声信号処理装置3は、音声信号処理装置3の外部の制御情報入力装置4から、制御情報(例えば、音量調節情報)を、制御情報取得部35を介して取得する(ステップS13)。音声信号処理装置3は、当該制御情報に基づいて音声信号を調節する(ステップS14)。
次いで音声信号処理装置3は、音声信号を受信機等に出力する(ステップS15)。
従って、本実施形態に係る符号化装置1、復号化装置2、音声信号処理装置3及び制御情報入力装置4によれば、チャンネルベース方式の制作手法及びチャンネルベース方式の符号化手法の枠組み内で、受信機等を用いて視聴者がダイアログを制御することができる仕組みを実現することができる。
本発明を諸図面及び実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易である。従って、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の機能部やステップ等を1つ組み合わせること、或いは分割することが可能である。また、上述した本発明の実施形態は、それぞれ説明した実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
また、本発明が、22.2ch以外の音声方式に適用可能であることは言うまでもない。また本発明は、MPEG―4 AACに限らず、ダイアログ制御情報を格納可能なメタデータ領域を有する音声符号化方式なら、適用可能である。更に本発明は、必ずしもダイアログのみに適用されるものではなく、何らかの音声信号のための専用チャンネルを設けて、個別に制御する目的の制御に対して応用可能であることは言うまでもない。
1 符号化装置
11 圧縮符号化部
12 多重化部
2 復号化装置
21 分離部
22 メタデータ分離部
23 復号化部
3 音声信号処理装置
31 ダイアログ制御可否判定部
32 ダイアログ専用チャンネル信号特定部
33 音声信号分離部
34 制御部
35 制御情報取得部
36 記憶部
4 制御情報入力装置

Claims (16)

  1. 入力された音声信号を符号化する符号化装置であって、
    前記音声信号を圧縮符号化して圧縮音声信号として出力する圧縮符号化部と、
    入力されたダイアログ制御用メタデータを前記圧縮音声信号と多重化して出力する多重化部と、
    を備える符号化装置。
  2. 前記ダイアログ制御用メタデータは、ダイアログ制御機能に対応した番組か否かのフラグ並びに受信機又は当該受信機に接続された再生装置での利得制御の上限値及び下限値を含む、請求項1に記載の符号化装置。
  3. 前記多重化部は、前記上限値及び前記下限値の情報を符号化する、請求項2に記載の符号化装置。
  4. ダイアログ制御用メタデータ及び圧縮音声信号が多重化された入力信号を前記ダイアログ制御用メタデータと、前記圧縮音声信号とに分離する分離部と、
    前記圧縮音声信号を復号化する復号化部と、
    を備える復号化装置。
  5. 復号化装置において分離されたダイアログ制御用メタデータ及び前記復号化装置において復号化された音声信号又は復号化されなかった圧縮音声信号を用いて音声信号処理を行う音声信号処理装置であって、
    ダイアログ制御機能に対応した番組か否かのフラグに基づいてダイアログ制御の可否を判定するダイアログ制御可否判定部と、
    ダイアログ専用チャンネル信号を特定するダイアログ専用チャンネル信号特定部と、
    ダイアログ専用チャンネル信号の利得制御量の上限値及び下限値を、ダイアログの制御情報として取得し、前記ダイアログ専用チャンネル信号とそれ以外の任意の数のチャンネル信号とに対してそれぞれ異なる信号処理を行って音声信号として出力する制御部と、
    を備える音声信号処理装置。
  6. 前記ダイアログの制御情報を外部の制御情報入力装置から取得する制御情報取得部を更に備え、
    前記制御部は、前記制御情報に基づいて前記音声信号を調節して出力する、請求項5に記載の音声信号処理装置。
  7. 前記制御情報取得部は、前記ダイアログの制御情報としてダイアログ音量の調節情報を取得し、
    前記制御部は、前記調節情報に基づいて音声信号を調節して出力する、請求項6に記載の音声信号処理装置。
  8. 前記ダイアログ専用チャンネル信号特定部は、ダイアログ専用チャンネルの信号を、前記復号化装置から取得した音声方式メタデータに基づいて特定する、請求項5〜7のいずれか1項に記載の音声信号処理装置。
  9. 前記ダイアログ専用チャンネル信号特定部は、ダイアログ専用チャンネルの信号を、前記復号化装置以外の外部装置から取得した情報を用いて特定する、請求項5〜7のいずれか1項に記載の音声信号処理装置。
  10. 前記制御部は更に、ダイアログに話速変換処理を行う、請求項5〜9のいずれか1項に記載の音声信号処理装置。
  11. 前記制御部は、前記利得制御量の上限値よりも高い又は下限値よりも低いダイアログ音量の調節情報を取得したとき、前記利得制御量の上限値又は下限値により調節を制限する、請求項5〜10のいずれか1項に記載の音声信号処理装置。
  12. 前記制御部は、
    ダイアログ音量を増加させる調節情報を取得したとき、前記ダイアログ専用チャンネル信号以外のチャンネル信号の利得を低減させ、
    ダイアログ音量を低減させる調節情報を取得したとき、前記ダイアログ専用チャンネル信号の利得のみを低減させる、請求項5〜11のいずれか1項に記載の音声信号処理装置。
  13. 前記制御部は、ダイアログの制御を行った後にダウンミックスを含む変換手段によりチャンネル数を変換する、請求項5〜12のいずれか1項に記載の音声信号処理装置。
  14. 前記制御部は、前記ダイアログ専用チャンネル信号とそれ以外の任意の数のチャンネル信号との双方又はどちらか一方に、それぞれ周波数補正処理を含む信号処理を行う、請求項5〜13のいずれか1項に記載の音声信号処理装置。
  15. 前記制御部は、前記復号化装置においてビットストリームから分離された前記圧縮音声信号を復号化せずにそのまま前記音声信号処理を行ってから、復号化して音声信号として出力するか、復号化せずに圧縮音声信号として出力する、請求項5〜14のいずれか1項に記載の音声信号処理装置。
  16. 前記制御部は、前記音声信号処理後に前記ダイアログ制御用メタデータと音声方式メタデータの双方またはどちらか一方と、前記圧縮音声信号を多重化してビットストリームとして出力する、請求項5〜15のいずれか1項に記載の音声信号処理装置。
JP2016547697A 2014-09-08 2015-09-07 音声信号処理装置 Active JP6683618B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020056071A JP6924862B2 (ja) 2014-09-08 2020-03-26 音声信号処理装置
JP2020056076A JP6924863B2 (ja) 2014-09-08 2020-03-26 音声信号処理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014182695 2014-09-08
JP2014182695 2014-09-08
PCT/JP2015/004534 WO2016038876A1 (ja) 2014-09-08 2015-09-07 符号化装置、復号化装置及び音声信号処理装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2020056076A Division JP6924863B2 (ja) 2014-09-08 2020-03-26 音声信号処理装置
JP2020056071A Division JP6924862B2 (ja) 2014-09-08 2020-03-26 音声信号処理装置

Publications (2)

Publication Number Publication Date
JPWO2016038876A1 true JPWO2016038876A1 (ja) 2017-06-15
JP6683618B2 JP6683618B2 (ja) 2020-04-22

Family

ID=55458647

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016547697A Active JP6683618B2 (ja) 2014-09-08 2015-09-07 音声信号処理装置
JP2020056076A Active JP6924863B2 (ja) 2014-09-08 2020-03-26 音声信号処理装置
JP2020056071A Active JP6924862B2 (ja) 2014-09-08 2020-03-26 音声信号処理装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020056076A Active JP6924863B2 (ja) 2014-09-08 2020-03-26 音声信号処理装置
JP2020056071A Active JP6924862B2 (ja) 2014-09-08 2020-03-26 音声信号処理装置

Country Status (2)

Country Link
JP (3) JP6683618B2 (ja)
WO (1) WO2016038876A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001245237A (ja) * 2000-02-28 2001-09-07 Victor Co Of Japan Ltd 放送受信装置
JP2010518460A (ja) * 2007-02-13 2010-05-27 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
JP2011172235A (ja) * 2008-04-18 2011-09-01 Dolby Lab Licensing Corp サラウンド体験に対する影響を最小限にしてマルチチャンネルオーディオにおけるスピーチの聴覚性を維持するための方法及び装置
JP2012527021A (ja) * 2010-02-18 2012-11-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 効率的なダウンミキシングを使ったオーディオ・デコーダおよびデコード方法
US20140294200A1 (en) * 2013-03-29 2014-10-02 Apple Inc. Metadata for loudness and dynamic range control
JPWO2016039150A1 (ja) * 2014-09-08 2017-06-22 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2064915B1 (en) * 2006-09-14 2014-08-27 LG Electronics Inc. Controller and user interface for dialogue enhancement techniques
JP5241865B2 (ja) * 2011-01-21 2013-07-17 日立コンシューマエレクトロニクス株式会社 ビデオカメラ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001245237A (ja) * 2000-02-28 2001-09-07 Victor Co Of Japan Ltd 放送受信装置
JP2010518460A (ja) * 2007-02-13 2010-05-27 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
JP2011172235A (ja) * 2008-04-18 2011-09-01 Dolby Lab Licensing Corp サラウンド体験に対する影響を最小限にしてマルチチャンネルオーディオにおけるスピーチの聴覚性を維持するための方法及び装置
JP2012527021A (ja) * 2010-02-18 2012-11-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 効率的なダウンミキシングを使ったオーディオ・デコーダおよびデコード方法
US20140294200A1 (en) * 2013-03-29 2014-10-02 Apple Inc. Metadata for loudness and dynamic range control
JPWO2016039150A1 (ja) * 2014-09-08 2017-06-22 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム

Also Published As

Publication number Publication date
WO2016038876A1 (ja) 2016-03-17
JP2020101837A (ja) 2020-07-02
JP2020101836A (ja) 2020-07-02
JP6924862B2 (ja) 2021-08-25
JP6924863B2 (ja) 2021-08-25
JP6683618B2 (ja) 2020-04-22

Similar Documents

Publication Publication Date Title
US10958229B2 (en) Metadata for loudness and dynamic range control
US10854213B2 (en) Apparatus and method for screen related audio object remapping
CN111492427B (zh) 高阶立体混响音频数据的优先级信息
KR101759005B1 (ko) 3d 오디오 계층적 코딩을 이용한 라우드스피커 포지션 보상
US20100324915A1 (en) Encoding and decoding apparatuses for high quality multi-channel audio codec
US8446533B2 (en) Television apparatus and method for controlling the same
CN110603585A (zh) 用于高阶立体环绕声的音频数据的分层中间压缩
US10446160B2 (en) Coding device and method, decoding device and method, and program
JP6924862B2 (ja) 音声信号処理装置
JP2014204320A (ja) 音響信号再生装置、音響信号作成装置
EP2175643A1 (en) Personal recording apparatus and control method thereof
JP6137755B2 (ja) 受信装置、受信方法及びプログラム
KR101516968B1 (ko) 오디오 신호 처리 방법 및 이를 이용한 방송 출력 장치
US20230232182A1 (en) Spatial Audio Capture, Transmission and Reproduction
JP6436573B2 (ja) 受信装置、受信方法、及びプログラム
JP6327711B2 (ja) 受信装置、放送システム、受信方法及びプログラム
JP2016092696A (ja) 受信装置、放送システム、受信方法及びプログラム
KR101432054B1 (ko) 다중 음성출력 영상표시장치
WO2017022461A1 (ja) 受信装置、送信装置、及び、データ処理方法
JP2018033159A (ja) 受信装置
US20110054917A1 (en) Apparatus and method for structuring bitstream for object-based audio service, and apparatus for encoding the bitstream
JP2017069705A (ja) 受信装置、受信方法、放送システムおよびプログラム
JP2011158694A (ja) 音声信号処理装置
JP2010098522A (ja) デジタル放送受信機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200326

R150 Certificate of patent or registration of utility model

Ref document number: 6683618

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250