JP6049190B2 - 放送装置、及び受信機 - Google Patents

Description

本発明は、放送装置、及び受信機に関する。

近年、放送と通信を融合させる取り組みが、世界的に進められている（例えば、非特許文献１参照。）。このような放送通信連携システムの特長は、放送と通信で異なる情報を送り、受信機側で精確に同期させて自由に合成・加工できる点にある。

「Hybridcastの技術仕様概説」、［online］、２０１１年、日本放送協会 放送技術研究所、インターネット＜URL:http://www.nhk.or.jp/strl/hybridcast/HCsummary.pdf＞

放送番組の音声に対する要望は、多言語放送や解説音声放送の充実、話速変換、さらにはダイアログ音声レベルの受信機での調整など様々である。ところが、放送によって伝送できる音声チャネルを多くすることは困難であり、これらの要望に対応した音声を全て放送で伝送することはできない。そこで、放送通信連携システムを利用して視聴者の要望に応じた音声を通信により伝送し、受信機側でその音声と放送番組を同期・合成させて出力することが考えられる。

通常、番組制作においては、アナウンサーコメント、ヴォーカル等のダイアログ音声と、音楽、効果音などその他の複数の素材音声をミキシング（合成）して放送番組の音声（以下、「放送番組の音声」を「番組音声」と記載する。）を生成する。しかし、番組制作が完了した後に、音楽や効果音などの背景音を変化させずにダイアログ音声のみ要望にあわせて作成するというように、個別の素材音声だけを変更・加工することは一般的に困難である。そのため、個々の要望に応じたダイアログ音声のみを通信で伝送し、受信機側で番組音声と合成することが考えられるが、通信で伝送されたダイアログ音声をそのまま番組音声に合成してしまうと、番組音声に含まれる元のダイアログ音声と重なって聞きにくくなってしまう。一方、番組音声の音声レベルを下げて、通信で伝送されたダイアログ音声を合成すると、背景音が聞きにくくなるために視聴者が受け取る音の情報が減少し得る。このようなことから、通信で伝送されたダイアログ音声と合成する前に、番組音声から元のダイアログ音声のみを除去することが望ましい。しかし、非特許文献１には、番組音声からダイアログ音声を除去するなど、番組音声に含まれる特定の素材音声のみ音声レベルを変更することについては記載されていない。

本発明は、このような事情を考慮してなされたもので、放送された番組音声に含まれる特定の素材音声のみの音声レベルを変更することができる放送装置、及び受信機を提供する。

［１］ 本発明の一態様は、複数の素材音声の音声信号が合成された合成音声信号のレベルを制御し、番組音声信号として出力するレベル制御部と、前記レベル制御部が出力した前記番組音声信号を放送する放送送出部と、前記レベル制御部が前記合成音声信号に与えたレベルの変化を算出する音声変化算出部と、前記合成音声信号に含まれる前記素材音声の音声信号と、前記音声変化算出部が算出した前記レベルの変化の情報とを、前記放送送出部による放送とは異なる伝送路により伝送する送信部と、を備えることを特徴とする放送装置である。
この態様によれば、放送装置のレベル制御部は、複数の素材音声が合成された合成音声信号のレベルを制御して番組音声信号を生成し、放送により伝送する。レベル制御部は、例えば、コンプレッサーであり、複数の素材音声は、例えば、ダイアログ音声、音楽、ビデオからの音声、効果音などである。さらに、放送装置は、レベル制御部が番組音声信号を生成するために合成音声信号に与えたレベルの変化を示す情報と、番組音声に含まれる特定の素材音声の音声信号を通信により伝送する。
これにより、放送装置は、番組音声信号を放送するとともに、番組音声内の特定の素材音声の音声信号と、番組音声信号生成時にレベル制御部が与えた音声レベルの変化を示す情報とを通信により配信する。よって、受信機において、特定の素材音声の音声信号に、放送装置のレベル制御部が与えたレベルの変化を補償し、番組音声に含まれる特定の素材音声との特性差を低減させるようにすることができる。従って、受信機において、通信で受信したダイアログ音声の音声信号にレベル制御部が与えたレベルの変化を補償し、逆位相化した後、放送で受信した番組音声信号と重畳することによって、番組音声からダイアログ音声を除去し、背景音だけの番組音声を得ることができる。また、受信機において、レベルの変化を補償したダイアログ音声の音声信号を同位相のまま番組音声信号に重畳することによって、ダイアログ音声のみ音声レベルを大きくした番組音声を得ることができる。

［２］ 本発明の一態様は、上述した放送装置であって、前記音声変化算出部は、前記レベル制御部の処理によって生じる遅延と、前記レベルの変化の算出によって生じる遅延とのいずれかまたは両方に基づいて遅延量を算出し、前記送信部は、前記素材音声の音声信号と前記音声変化算出部が算出した前記レベルの変化及び前記遅延量の情報を伝送する、あるいは、前記音声変化算出部が算出した前記遅延量の遅延が付加された前記素材音声の音声信号と前記レベルの変化の情報とを伝送する、ことを特徴とする。
この態様によれば、放送装置は、レベル制御部の動作によって生じる遅延や、レベル制御部が合成音声信号に与えたレベルの変化を算出するためにかかる遅延から遅延量を算出する。放送装置は、受信機において特定の素材音声の音声信号に遅延を付加することができるように、算出した遅延量を通信により配信する。あるいは、放送装置は、特定の素材音声の音声信号に、算出した遅延量の遅延を与えた後に、通信により受信機に配信する。
これにより、放送装置または受信機において、特定の素材音声の音声信号を番組音声信号と精度よく同期させることができる。よって、受信機において、精度よくダイアログ音声が除去された番組音声を生成できるようにしたり、音声品質を低下させることなく、ダイアログ音声のみの音声レベル大きくした番組音声を生成できるようにしたりすることができる。

［３］ 本発明の一態様は、上述した放送装置であって、前記レベルの変化は、前記合成音声信号と前記番組音声信号との比から算出される伝達関数で示される、ことを特徴とする。
この態様によれば、放送装置は、レベル制御部への入力信号である合成音声信号により、レベル制御部からの出力信号である番組音声信号を除算し、伝達関数を算出することができる。
これにより、放送装置は、周波数毎のレベルの変化を示す伝達関数を簡易な処理で算出することができるため、レベル制御部が与えた音声レベルの変化を受信機に通知する際の遅延を低減することができる。

［４］ 本発明の一態様は、複数の素材音声の音声信号が合成された合成音声信号のレベルを制御して得られた番組音声信号を放送により受信する放送受信部と、前記合成音声信号に含まれる前記素材音声の音声信号と、前記番組音声信号を生成するために前記合成音声信号に与えられたレベルの変化の情報とを、放送とは異なる伝送路により受信する受信部と、前記受信部が受信した前記素材音声の音声信号に、前記情報が示すレベルの変化を補償する補償部と、前記補償部がレベルの変化を補償した前記素材音声の音声信号の位相を番組音声における前記素材音声の音声レベルを減少させるか増大させるかに応じて調整する位相調整部と、前記放送受信部が受信した前記番組音声信号と、前記位相調整部が位相を調整した前記素材音声の音声信号とを重畳して音声信号を生成する重畳部と、を備えることを特徴とする受信機である。
この態様によれば、受信機は、通信で受信した特定の素材音声の音声信号に、番組音声信号を生成するために放送装置がコンプレッサーなどのレベル制御部により合成音声信号に与えたレベルの変化を補償する。受信機は、レベルの変化が補償された特定の素材音声の音声信号の位相を調整した後、放送で受信した番組音声信号に重畳する。
これにより、受信機は、ダイアログ音声を除去した番組音声、あるいは、ダイアログ音声のみ音声レベルを大きくした番組音声を得ることができる。

［５］ 本発明の一態様は、上述した受信機であって、前記受信部は、前記合成音声信号のレベルを制御する処理によって生じる遅延と、前記レベルの変化の算出によって生じる遅延とのいずれかまたは両方に基づいて算出された遅延量の情報をさらに受信し、前記受信部が受信した前記素材音声の音声信号に、前記受信部が受信した遅延量の情報で示される遅延を付加する遅延付加部をさらに備え、前記補償部は、前記遅延付加部が遅延を付加した前記素材音声の音声信号に、前記レベルの変化を補償する、ことを特徴とする。
この態様によれば、受信機は、放送装置のレベル制御部によって生じる遅延と、放送装置のレベル制御部が与えたレベルの変化を算出する際の遅延とに基づく遅延量を、特定の素材音声の音声信号に付加する。
これにより、受信機は、特定の素材音声の音声信号と番組音声信号とを精度よく同期させることができる。よって、受信機は、精度よくダイアログ音声が除去された番組音声を生成したり、音声品質を低下させることなく、ダイアログ音声のみの音声レベル大きくした番組音声を生成したりすることができる。

［６］ 本発明の一態様は、上述した受信機であって、前記位相調整部は、番組音声から前記素材音声を除去する場合、前記補償部がレベルの変化を補償した前記素材音声の音声信号を逆位相とする、ことを特徴とする。
この態様によれば、受信機は、番組音声から特定の素材音声を除去したい場合、その素材音声の音声信号を逆位相化する。
これにより、受信機は、番組音声からダイアログ音声を精度よく除去し、背景音だけの番組音声を得ることができる。

本発明によれば、放送された番組音声に含まれる特定の素材音声のみの音声レベルを変更することが可能となる。

本発明の第１の実施形態による放送音声調整システムの構成を示すブロック図である。 同実施形態による放送音声調整システムが備える放送装置の処理フローを示す図である。 同実施形態による放送音声調整システムが備える受信機の処理フローを示す図である。 本発明の第２の実施形態による放送音声調整システムの構成を示すブロック図である。 同実施形態による放送音声調整システムが備える放送装置の処理フローを示す図である。 同実施形態による放送音声調整システムが備える受信機の処理フローを示す図である。 第１の実施形態による放送音声調整システムを適用した放送通信連携システムの構成を示すブロック図である。 同実施形態による放送音声調整システムを適用した放送通信連携システムが備える受信機の処理フローを示す図である。

以下、図面を参照しながら本発明の実施形態を詳細に説明する。

図１は、本発明の第１の実施形態による放送音声調整システムの構成を示すブロック図であり、本実施形態に関係する機能ブロックのみを抽出して示してある。同図に示すように、放送音声調整システムは、放送局の放送装置１と、視聴者の受信機５とを備えて構成される。

放送装置１は、番組音声生成装置２及び放送送出装置３を備えて構成される。
番組音声生成装置２は、例えば、スタジオに設置された音声卓であり、素材音声入力部２１−１〜２１−ｎ（ｎは２以上の整数）、操作部２２、素材音声合成部２３、レベル制御部２４、番組音声出力部２５、音声変化算出部２６、及び素材音声出力部２７を備えて構成される。

素材音声入力部２１−１〜２１−ｎは、それぞれ異なる素材音声の音声信号（以下、「素材音声信号」と記載する。）の入力を受け、素材音声合成部２３に出力する。例えば、素材音声入力部２１−１は、アナウンサーの声、歌手のヴォーカル等のダイアログ音声の素材音声信号の入力を受け、素材音声入力部２１−２は、音楽の素材音声信号の入力を受け、素材音声入力部２１−ｎは、ビデオからの素材音声信号の入力を受ける。

操作部２２は、ユーザインタフェースであり、各素材音声に対する音声レベルの指示の入力を受ける。素材音声合成部２３は、ミキサーであり、操作部２２により入力された指示に従って、素材音声入力部２１−１〜２１−ｎから入力された各素材音声信号の音声レベルを調整し、音声レベルが調整された素材音声信号を合成して合成音声信号を生成する。

レベル制御部２４は、入力された音声信号の音声レベルを包括的に制御し、出力するコンプレッサーである。具体的には、レベル制御部２４は、素材音声合成部２３から入力された合成音声信号の音声レベルを周波数別（または周波数帯域別）に圧縮して番組音声信号を生成する。例えば、レベル制御部２４は、音声レベルが高い周波数帯域だけを圧縮の対象とする。従って、レベル制御部２４を通過した音声信号は、音声レベルだけでなく周波数特性も変化する。また、各周波数の圧縮率は、処理対象の合成音声信号の音声レベルに基づくため、時間とともに変化する。
番組音声出力部２５は、レベル制御部２４が出力した番組音声信号を放送送出装置３に出力する。

音声変化算出部２６は、番組音声信号を生成するためにレベル制御部２４が合成音声信号に与えた音声レベルの変化を算出し、算出した変化を示す情報を出力する。この音声レベルの変化は、例えば、各周波数別の音声レベルの圧縮率を示す伝達関数で表すことができる。音声変化算出部２６は、合成音声信号と番組音声信号の音声レベルの比に基づいて伝達関数を生成し、放送送出装置３に出力する。また、コンプレッサーの挿入によって番組音声信号には遅延が生じる。そこで、予めコンプレッサーの使用に伴う遅延量と、伝達関数の計算に要する遅延量を求めておき、音声変化算出部２６は、これらを合わせた遅延量を放送送出装置３に出力する。これにより、音声レベルを調整したい素材音声信号に遅延を与え、コンプレッサーの動作と素材音声信号との同期を可能とする。

素材音声出力部２７は、番組音声に含まれる中で音声レベルを調整したい素材音声の素材音声信号を放送送出装置３へ出力する。本実施形態では、音声レベルを調整したい素材音声を、素材音声入力部２１−１に入力されるダイアログ音声とする。

放送送出装置３は、デジタル放送用の放送設備であり、放送信号生成部３１、放送送出部３２、素材音声配信部３３、及び通信送信部３４（送信部）を備えて構成される。

放送信号生成部３１は、放送番組の映像信号や番組音声生成装置２から入力された番組音声信号などを含んだ放送信号を生成する。この放送信号は、現用の放送設備によって放送されている従来のデジタル放送の放送信号と同一であり、ＡＲＩＢ（Association of Radio Industries and Broadcast；社団法人電波産業会）標準規格で規定される。放送送出部３２は、放送信号生成部３１が生成した放送信号を伝送する。

素材音声配信部３３は、番組音声生成装置２から入力された素材音声信号を通信により伝送するための素材音声配信データを生成する。通信送信部３４は、素材音声配信部３３が生成した素材音声配信データと、番組音声生成装置２から入力された伝達関数及び遅延量を示す情報を、放送送出部３２が伝送に使用する放送とは異なる伝送路である通信網を介して受信機５に送信する。

受信機５は、テレビ受像機、セットトップボックス、パーソナルコンピュータ、携帯端末等のデバイスである。受信機５は、放送受信部５１、分離部５２、通信受信部５３（受信部）、遅延付加部５４、補償部５５、位相調整部５６、レベル調整部５７、重畳部５８、映像再生部５９、映像表示部６０、音声再生部６１、及び音声出力部６２を備えて構成される。なお、受信機５がセットトップボックスなどの場合、映像表示部６０及び音声出力部６２は、受信機５と接続される外部装置である。

放送受信部５１は、放送信号を受信するチューナである。分離部５２は、デマルチプレクサであり、放送信号から映像信号及び番組音声信号を分離する。

通信受信部５３は、通信網を介した通信によりデータを受信する。通信受信部５３は、受信した素材音声配信データと遅延の情報を遅延付加部５４に出力し、伝達関数の情報を補償部５５に出力する。

遅延付加部５４は、素材音声配信データから素材音声信号を取得し、放送装置１から通知された遅延量の遅延を付加する。補償部５５は、遅延付加部５４により遅延が付加された素材音声信号に、放送装置１から通知された伝達関数を掛けあわせ、番組音声内の素材音声がコンプレッサーにより受けた変化を補償する。補償部５５は、コンプレッサーによる変化を補償した素材音声信号を位相調整部５６に出力する。

位相調整部５６は、番組音声における素材音声の音声レベルを減少させるか増大させるかに応じて素材音声信号の位相を調整し、レベル調整部５７に出力する。例えば、位相調整部５６は、番組音声から素材音声を除去する場合には素材音声信号を逆位相化し、素材音声のみ大きくする場合には同位相のままとし、位相を変更しない。

レベル調整部５７は、位相が調整された素材音声信号の音声レベルを調整して重畳部５８に出力する。重畳部５８は、分離部５２から出力された番組音声信号と、レベル調整部５７から出力された素材音声信号とを重畳して音声信号を生成する。

映像再生部５９は、現在時刻に対応した提示時刻情報が付加されている映像信号を映像表示部６０に表示させる。映像表示部６０は、一般的なディスプレイであり、放送画面を表示する。音声再生部６１は、音声信号を音声出力部６２から出力させる。音声出力部６２は、一般的なスピーカーあり、音声を出力する。

次に、放送音声調整システムの動作について説明する。ここでは、番組音声からダイアログ音声を除去する場合について説明する。
まず、番組音声生成装置２の音声変化算出部２６は、予め伝達関数の計算に要する遅延量を求めておく。

図２は、放送装置１による動作フローを示す図である。
番組音声生成装置２の操作部２２は、番組制作者から各素材音声に対する音声レベルの指示を入力する。素材音声合成部２３は、素材音声入力部２１−１〜２１−ｎから入力された各素材音声信号の音声レベルを操作部２２による入力に従って調整した後に合成し、合成音声信号を生成する（ステップＳ１０５）。レベル制御部２４は、素材音声合成部２３から入力された合成音声信号の音声レベルを周波数別に圧縮して番組音声信号を生成する（ステップＳ１１０）。なお、合成音声信号の音声レベルが予め決められた閾値に満たない場合、レベル制御部２４は、圧縮を行わず、入力された合成音声信号をそのまま番組音声信号として出力する。番組音声出力部２５は、レベル制御部２４から入力された番組音声信号を放送送出装置３に出力する（ステップＳ１１５）。

放送送出装置３の放送信号生成部３１は、番組音声生成装置２の番組音声出力部２５から番組音声信号の入力を受ける。放送信号生成部３１は、映像信号や番組音声信号などから放送信号を生成する（ステップＳ１２０）。このとき、映像信号や番組音声信号には、受信機５において出力すべき時刻を示す提示時刻情報が付加される。放送送出部３２は、放送信号生成部３１が生成した放送信号を伝送する（ステップＳ１２５）。

一方、番組音声生成装置２の音声変化算出部２６は、素材音声合成部２３からレベル制御部２４に入力された合成音声信号と、レベル制御部２４から出力された番組音声信号に基づいて伝達関数を算出し（ステップＳ１３０）、放送送出装置３に出力する（ステップＳ１３５）。

具体的には、音声変化算出部２６は、ある時刻ｔにおいてレベル制御部２４へ入力された合成音声信号をｘ（ｔ）、レベル制御部２４が出力した番組音声信号をｙ（ｔ）とすると、伝達関数ｆ（ｔ）＝ｙ（ｔ）／ｘ（ｔ）を算出する。このように、伝達関数ｆ（ｔ）は、時刻ｔにおける周波数毎の音声レベルの圧縮率を表す関数である。

なお、合成音声信号が無音である、あるいは、極めて音声レベルが小さい場合、伝達関数ｆ（ｔ）が不安定になることを避けるため、音声変化算出部２６は、伝達関数ｆ（ｔ）の値を１とする。そこで、音声変化算出部２６は、予めコンプレッサーが動作する音声レベルａ（例えば、ａ＝−３０ｄＢ）を記憶しておく。音声変化算出部２６は、以下の式（１）に示すように、時刻ｔにおける合成音声信号ｘ（ｔ）の音声レベルが音声レベルａを超えていると判断した場合、伝達関数ｆ（ｔ）＝ｙ（ｔ）／ｘ（ｔ）とし、音声レベルａ以下であると判断した場合は、伝達関数ｆ（ｔ）＝１とする。

また、番組音声生成装置２の音声変化算出部２６は、レベル制御部２４の動作に伴う遅延量と、伝達関数の計算に要する遅延量とを加算した遅延量を求め、放送送出装置３に出力する。なお、音声変化算出部２６は、レベル制御部２４の動作に伴う遅延量を、レベル制御部２４に合成音声信号が入力されてから番組音声信号が出力されるまでにかかった時間により算出する。放送送出装置３の通信送信部３４は、番組音声生成装置２から入力された伝達関数及び遅延量の情報を、通信網を介して受信機５に送信する（ステップＳ１４０）。

なお、番組音声生成装置２の音声変化算出部２６は、決められた時間に、管理者による指示が入力されたときに、あるいは、遅延量が変化したときなどに、放送送出装置３に遅延量を出力するようにしてもよい。

番組音声生成装置２の番組音声出力部２５が番組音声信号を出力するのとほぼ同時に、素材音声出力部２７は、素材音声入力部２１−１に入力されたダイアログ音声の素材音声信号を放送送出装置３に出力する（ステップＳ１４５）。放送送出装置３の素材音声配信部３３には、番組音声信号とほぼ同時に番組音声生成装置２から入力された素材音声信号に提示時刻情報を付加して素材音声配信データを生成する。通信送信部３４は、素材音声配信部３３から入力された素材音声配信データを、通信網を介して受信機５に送信する（ステップＳ１５０）。

図３は、本実施形態による受信機５の動作フローを示す図である。
受信機５の放送受信部５１は放送信号を受信し、分離部５２に出力する（ステップＳ３０５）。分離部５２は、放送受信部５１から入力された放送信号から映像信号及び音声信号を分離し、映像信号を映像再生部５９に、番組音声信号を重畳部５８に出力する（ステップＳ３１０）。

一方、通信受信部５３は、通信網を介して素材音声配信データと、伝達関数及び遅延の情報を受信する（ステップＳ３１５）。通信受信部５３は、素材音声配信データと遅延の情報を遅延付加部５４に出力し、伝達関数の情報を補償部５５に出力する。

遅延付加部５４は、素材音声配信データに設定されている素材音声信号を取得し、通知された遅延量を付加して補償部５５に出力する（ステップＳ３２０）。例えば、遅延付加部５４は、現在時刻より通知された遅延量だけ遡った時刻に対応した提示時刻情報が付加されている素材音声信号を補償部５５に出力してもよく、素材音声信号に付加されている提示時刻情報が示す時刻を遅延量だけ遡った時間に書き換え、現在時刻に対応した提示時刻情報の素材音声信号を補償部５５に出力してもよい。

補償部５５は、遅延付加部５４により遅延が付加された素材音声信号に、現在時刻に対応する時刻の伝達関数ｆ（ｔ）を掛けあわせた後、位相調整部５６に出力する（ステップＳ３２５）。このように、補償部５５は、コンプレッサーを通過して生成された番組音声が受けた変化と同じ変化を、番組音声とは別系統で送出するダイアログ音声（素材音声）にも付与することにより、番組音声内のダイアログ音声との特性差を低減し、番組音声からのダイアログ音声除去の効果を向上させる。

位相調整部５６は、補償部５５から入力された素材音声信号を逆位相に変換する（ステップＳ３３０）。
番組音声に含まれるダイアログ音声の音声レベルは、素材音声信号を合成する過程で時刻とともに変化している。そのため、番組音声から最適にダイアログ音声を除去するためには、時刻とともに適切にダイアログ音声の音声レベルを制御する必要がある。そこで、レベル調整部５７は、位相調整部５６により逆位相に変換された素材音声信号の音声レベルを段階的に変えながら重畳部５８に出力する（ステップＳ３３５）。重畳部５８は、現在時刻に対応した提示時刻情報の番組音声信号と、レベル調整部５７から入力された素材音声信号それぞれとを重畳した音声信号を生成する（ステップＳ３４０）。レベル調整部５７は、重畳部５８が生成した音声信号のパワーを算出する。ダイアログ音声が最もよく除去されたとき、音声のパワーは最も低くなる。そこで、レベル調整部５７は、最もパワーが低い音声信号となったときの音声レベルを取得し、その音声レベルに調整した素材音声信号を用いて重畳したときの音声信号（以下、「ダイアログ音声除去番組音声信号」と記載する）を出力するよう重畳部５８に指示する。重畳部５８は、生成したダイアログ音声除去番組音声信号を音声再生部６１に出力する。

なお、合成音声信号を生成する際の素材音声信号の音声のレベルは短い時間では急激に変化しないため、レベル調整部５７は、一定時間、素材音声信号を、取得した音声レベルに調整して重畳部５８に出力する。重畳部５８は、分離部５２から入力された番組音声信号と、レベル調整部５７から入力された素材音声信号とを重畳して生成したダイアログ音声除去番組音声信号を音声再生部６１に出力する。一定時間が経過すると、レベル調整部５７は、逆位相に変換された素材音声信号の音声レベルを再び段階的に変えながら重畳部５８に出力し、番組音声信号と重畳したときに最も音声信号のパワーが低くなったときの音声レベルを取得し、その音声レベルを一定時間適用することを繰り返す。

映像再生部５９は、現在時刻に対応した提示時刻情報の映像信号を映像表示部６０に表示させ、音声再生部６１は、重畳部５８から入力されたダイアログ音声除去番組音声信号を音声出力部６２から出力させる（ステップＳ３４５）。

なお、例えば放送番組が録画された放送番組であり、放送信号に設定されている番組音声信号とダイアログ音声の素材音声信号とを遅延差なく伝送できる場合、放送装置１は、遅延量を０として受信機５に通知する。また、番組音声生成装置２のレベル制御部２４がアナログのコンプレッサーであるなどで遅延がほとんど発生しない場合、受信機５に遅延を通知しなくてもよい。この場合、受信機５は遅延付加部５４を備えなくともよい。補償部５５は、現在時刻に対応する提示時刻情報の素材音声信号を素材音声配信データから取得し、現在時刻に対応した時刻の伝達関数ｆ（ｔ）を掛けあわせた後、位相調整部５６に出力する。

次に、本発明の第２の実施形態を説明する。第１の実施形態では、受信機側で素材音声信号に遅延を付加しているが、第２の実施形態では、放送装置側で遅延を付加する。以下、第１の実施形態との差分を中心に説明する。

図４は、本発明の第２の実施形態による放送音声調整システムの構成を示すブロック図であり、本実施形態に関係する機能ブロックのみを抽出して示してある。同図において、図１に示す第１の実施形態の放送音声調整システムと同一の部分には同一の符号を付し、その説明を省略する。同図に示す放送音声調整システムは、放送局等の放送装置１ａと、視聴者の受信機５ａとを備えて構成され、放送装置１ａは、番組音声生成装置２及び放送送出装置３ａを備えて構成される。

放送送出装置３ａが図１に示す放送送出装置３と異なる点は、遅延付加部３５をさらに備える点、素材音声配信部３３、通信送信部３４に代えて素材音声配信部３３ａ、通信送信部３４ａを備える点である。
遅延付加部３５は、番組音声生成装置２の素材音声出力部２７から入力された素材音声信号に、番組音声生成装置２の音声変化算出部２６から通知された遅延量の遅延を付加する。素材音声配信部３３ａは、遅延付加部３５により遅延が付加された素材音声信号を通信により伝送するための通信データである素材音声配信データを生成する。通信送信部３４ａは、素材音声配信部３３ａが生成した素材音声配信データと、番組音声生成装置２から入力された伝達関数の情報を、通信網を介して受信機５に送信する。
なお、番組音声生成装置２が遅延付加部３５を備えるように構成してもよい。

受信機５ａが図１に示す受信機５と異なる点は、遅延付加部５４を備えていない点、通信受信部５３、補償部５５に代えて通信受信部５３ａ（受信部）、補償部５５ａを備える点である。
通信受信部５３ａは、通信網を介した通信によりデータを受信する。通信受信部５３ａは、受信した素材音声配信データと伝達関数の情報を補償部５５ａに出力する。補償部５５ａは、現在時刻に対応した提示時刻情報の素材音声信号を素材音声配信データから取得し、現在時刻に対応した時刻の伝達関数ｆ（ｔ）を掛けあわせて位相調整部５６に出力する。

図５は、本実施形態の放送装置１ａによる動作フローを示す図である。同図において、図２に示す第１の実施形態の放送装置１の処理と同一の処理には同一の符号を付し、その詳細な説明を省略する。

ステップＳ１０５〜ステップＳ１３５までの処理は、図２に示す処理と同様である。つまり、番組音声生成装置２は、素材音声信号を合成して生成した合成音声信号の音声レベルを、コンプレッサーにより周波数別に圧縮して番組音声信号を生成し、放送送出装置３ａに出力する。放送送出装置３ａは、映像信号や番組音声信号などから放送信号を生成し、放送により伝送する。また、番組音声生成装置２は、合成音声信号とコンプレッサー通過後の番組音声信号に基づいて算出した伝達関数を放送送出装置３ａに出力するとともに、遅延量を算出して放送送出装置３ａに通知する。放送送出装置３ａの通信送信部３４ａは、番組音声生成装置２から入力された伝達関数の情報を、通信網を介して受信機５ａに送信する（ステップＳ１４０ａ）。

ステップＳ１４５おいて、番組音声生成装置２の素材音声出力部２７は、図２に示す処理と同様に、素材音声入力部２１−１に入力されたダイアログ音声の素材音声信号を放送送出装置３ａに出力する。放送送出装置３ａの遅延付加部３５は、ステップＳ１４５において番組音声生成装置２から入力された素材音声信号に、ステップＳ１３５において番組音声生成装置２から入力された遅延量の遅延を付加する（ステップＳ１４７）。素材音声配信部３３ａは、ステップＳ１４７において遅延が付加された素材音声信号に提示時刻情報を付加して素材音声配信データを生成する。通信送信部３４ａは、素材音声配信部３３ａが生成した素材音声配信データを通信網を介して受信機５ａに送信する（ステップＳ１５０ａ）。

図６は、本実施形態の受信機５ａによる動作フローを示す図である。同図において、図３に示す第１の実施形態の受信機５の処理と同一の処理には同一の符号を付し、その詳細な説明を省略する。

受信機５ａは、受信機５と同様に、放送信号を受信して映像信号及び番組音声信号を分離する（ステップＳ３０５〜Ｓ３１０）。
受信機５ａの通信受信部５３ａは、通信網を介して素材音声配信データと伝達関数の情報を受信し、補償部５５ａに出力する（ステップＳ３１５ａ）。補償部５５ａは、現在時刻に対応した提示時刻情報の素材音声信号を素材音声配信データから取得し、現在時刻に対応した時刻の伝達関数ｆ（ｔ）を掛けあわせて位相調整部５６に出力する（ステップＳ３２５ａ）。
ステップＳ３３０以降の処理は、図３に示す処理と同様である。

次に、上述した放送音声調整システムを適用した放送通信連携システムについて説明する。放送通信連携システムは、上述した第１の実施形態または第２の実施形態の放送音声調整システムと同様にダイアログ音声除去番組音声信号を生成した後、外国語のダイアログ音声や、話速変換したダイアログ音声など視聴者が選択したダイアログ音声の音声信号を合成する。以下では、第１の実施形態の放送音声調整システムを適用した放送通信連携システムについて、第１の実施形態の放送音声調整システムとの差分を中心に説明する。

図７は、図１に示す第１の実施形態の放送音声調整システムを適用した放送通信連携システムの構成を示すブロック図であり、本実施形態に関係する機能ブロックのみを抽出して示してある。同図において、図１に示す第１の実施形態の放送音声調整システムと同一の部分には同一の符号を付し、その説明を省略する。同図に示すように、放送通信連携システムは、放送局等の放送装置１ｂと、視聴者の受信機５ｂとを備えて構成され、放送装置１ｂは、番組音声生成装置２及び放送送出装置３ｂを備えて構成される。

放送送出装置３ｂが図１に示す放送送出装置３と異なる点は、配信部３６をさらに備える点、通信送信部３４に代えて通信送信部３４ｂを備えるである。配信部３６は、所定の素材音声を除去した番組音声に合成すべき音声信号を設定した通信データを、通信網を経由して受信機５ｂに送信する。以下、所定の素材音声を除去した番組音声に合成すべき音声信号をパーソナライズ音声信号と記載し、パーソナライズ音声信号を通信により伝送するためのデータをパーソナライズ音声配信データと記載する。パーソナライズ音声信号は、例えば、外国語のダイアログ音声や、話速変換したダイアログ音声などの音声信号である。なお、配信部３６を放送局または放送局以外の事業者のサーバが備えるように構成してもよい。通信送信部３４ｂは、素材音声配信部３３が生成した素材音声配信データ、配信部３６が生成したパーソナライズ音声配信データ、及び番組音声生成装置２から入力された伝達関数及び遅延量の情報を通信網を介して受信機５ｂに送信する。

受信機５ｂが図１に示す第１の実施形態の受信機５と異なる点は、通信受信部５３に代えて通信受信部５３ｂ（受信部）を備える点、音声合成部６３をさらに備える点である。通信受信部５３ｂは、通信網を経由して素材音声配信データ及びパーソナライズ音声配信データと、伝達関数及び遅延量の情報を受信する。通信受信部５３ｂは、受信した素材音声配信データと遅延の情報を遅延付加部５４に出力し、伝達関数を補償部５５に出力し、パーソナライズ音声配信データを音声合成部６３に出力する。
音声合成部６３は、パーソナライズ音声配信データから現在時刻に対応した提示時刻情報が設定されているパーソナライズ音声信号を取得し、重畳部５８から出力されたダイアログ音声除去番組音声信号と合成して音声再生部６１に出力する。

続いて、放送通信連携システムの動作を説明する。
番組音声生成装置２及び放送送出装置３ｂは、図２に示す放送音声調整システムの番組音声生成装置２及び放送送出装置３と同様の処理を行う。さらに、放送送出装置３ｂの配信部３６はパーソナライズ音声配信データを、通信網を経由して受信機５ｂに送信する。

図８は、図７に示す放送通信連携システムにおける受信機５ｂの処理フローを示す図である。同図において、図３に示す第１の実施形態の受信機５の処理と同一の処理には同一の符号を付し、その詳細な説明を省略する。
受信機５ｂは、受信機５と同様に、放送信号を受信して映像信号及び番組音声信号を分離する（ステップＳ３０５〜Ｓ３１０）。

一方、受信機５ｂの通信受信部５３ｂは、通信網を介して受信した素材音声配信データと遅延の情報を遅延付加部５４に出力し、伝達関数の情報を補償部５５に出力し、パーソナライズ音声配信データを音声合成部６３に出力する（ステップＳ３１５ｂ）。

受信機５と同様に、受信機５ｂの遅延付加部５４は、素材音声配信データに設定されている素材音声信号を取得し、通知された遅延量を付加する。補償部５５は、遅延が付加された素材音声信号に伝達関数を掛けあわせて位相調整部５６に出力する。位相調整部５６は、素材音声信号を逆位相に変換し、レベル調整部５７は、逆位相に変換された素材音声信号の音声レベルを調整して重畳部５８に出力する。重畳部５８は、現在時刻に対応した提示時刻情報の番組音声信号と、レベル調整部５７から入力された素材音声信号を重畳してダイアログ音声除去番組音声信号を生成し、音声合成部６３に出力する（ステップＳ３２０〜Ｓ３４０）。

音声合成部６３は、パーソナライズ音声配信データから現在時刻に対応した提示時刻情報が設定されているパーソナライズ音声信号を取得し、重畳部５８から出力されたダイアログ音声除去番組音声信号と合成し、合成された音声信号を音声再生部６１に出力する（ステップＳ３４２）。映像再生部５９は、現在時刻に対応した提示時刻情報の映像信号を映像表示部６０に表示させ、音声再生部６１は、音声合成部６３から入力された音声信号を音声出力部６２から出力させる（ステップＳ３４５）。

なお、通信で伝送するパーソナライズ音声信号の種類や数には制限はなく、受信機５ｂ側で視聴者が必要とするパーソナライズ音声信号を選択することができる。

以上説明した実施形態によれば、放送音声調整システムは、放送された番組音声からダイアログ音声など特定の素材音声の音を除去し、例えば背景音だけの番組音声を生成することができる。

一般的に、番組音声の送出前段階では、コンプレッサーにより番組音声の音声レベルを包括的に制御する。コンプレッサーを通過した音声信号はレベルだけではなく、周波数特性も変化してしまう。つまり、放送信号に設定される番組音声信号に含まれるダイアログ音声と、素材音声信号単独のダイアログ音声とに特性差が生じてしまう。そのため、番組音声信号に、逆位相化した素材音声信号を重畳するだけでは、ダイアログ音声が十分に除去されない場合がある。そこで、上述した実施形態の放送装置は、コンプレッサー通過時に番組音声信号が受けた変化を受信機に通知し、受信機において、放送とは別系統で受信したダイアログ音声に、放送番組中のダイアログ音声が受けた変化と等しい変化を与える。
また、コンプレッサーは挿入による遅延が生じる。そこで、放送装置は、予めコンプレッサーの使用に伴う遅延量と、ダイアログ音声が受けた音声変化の計算に要する遅延を求めておく。そして、放送装置において受信機への送出前に、または、受信機において受信した後に、その遅延をダイアログ音声単独の素材音声信号に与えて、コンプレッサーの動作と同期させる。
このように、コンプレッサーの動作と同期され、かつ、変化が補償されたダイアログ音声を逆位相化して番組音声信号に重畳することで、番組音声から精度よくダイアログ音声を除去することが可能となる。

これにより、放送音声調整システムは、視聴者が選択した種類のダイアログ音声を背景音だけの番組音声と合成できるようにし、視聴者にとって便利かつ聞きやすい番組音声を高い自由度で提供することが可能になる。例えば、従来の二ヶ国語放送では、外国語音声を重畳する度に番組音声の音声レベルを全て下げる必要があり聴取上不自然であったが、上記実施形態の放送音声調整システムを適用した放送通信連携システムを用いることで、背景音のレベル変動のない外国語放送が可能になる。また、放送音声調整システムは、ダイアログ音声など特定の素材音声のみの音声レベルを上げた番組音声を生成することもできる。

上述した番組音声生成装置２、放送送出装置３、３ａ、３ｂ、受信機５、５ａ、５ｂの各部は、専用のハードウェアにより実現される。なお、番組音声生成装置２のレベル制御部２４、及び音声変化算出部２６、放送送出装置３の放送信号生成部３１、及び素材音声配信部３３、放送送出装置３ａの放送信号生成部３１、素材音声配信部３３ａ、及び遅延付加部３５、放送送出装置３ｂの放送信号生成部３１、素材音声配信部３３、及び配信部３６、受信機５の遅延付加部５４、補償部５５、位相調整部５６、レベル調整部５７、重畳部５８、映像再生部５９、及び音声再生部６１、受信機５ａの補償部５５ａ、位相調整部５６、レベル調整部５７、重畳部５８、映像再生部５９、及び音声再生部６１、ならびに、受信機５ｂの遅延付加部５４、補償部５５、位相調整部５６、レベル調整部５７、重畳部５８、映像再生部５９、音声再生部６１、及び音声合成部６３は、コンピュータ装置で実現することもできる。この場合、番組音声生成装置２のレベル制御部２４、及び音声変化算出部２６、放送送出装置３の放送信号生成部３１、及び素材音声配信部３３、放送送出装置３ａの放送信号生成部３１、素材音声配信部３３ａ、及び遅延付加部３５、放送送出装置３ｂの放送信号生成部３１、素材音声配信部３３、及び配信部３６、受信機５の遅延付加部５４、補償部５５、位相調整部５６、レベル調整部５７、重畳部５８、映像再生部５９、及び音声再生部６１、受信機５ａの補償部５５ａ、位相調整部５６、レベル調整部５７、重畳部５８、映像再生部５９、及び音声再生部６１、ならびに、受信機５ｂの遅延付加部５４、補償部５５、位相調整部５６、レベル調整部５７、重畳部５８、映像再生部５９、音声再生部６１、及び音声合成部６３は、メモリおよびＣＰＵ（中央処理装置）等により構成され、上述した処理過程を実現するためのプログラム（図示せず）を、これを記録している不揮発性のメモリ、磁気ディスク等から、上記メモリにロードして実行することによりその機能が実現されるものとする。

１、１ａ、１ｂ 放送装置
２ 番組音声生成装置
３、３ａ、３ｂ 放送送出装置
５、５ａ、５ｂ 受信機
２１−１、２１−２、２１−ｎ 素材音声入力部
２２ 操作部
２３ 素材音声合成部
２４ レベル制御部
２５ 番組音声出力部
２６ 音声変化算出部
２７ 素材音声出力部
３１ 放送信号生成部
３２ 放送送出部
３３、３３ａ 素材音声配信部
３４、３４ａ、３４ｂ 通信送信部（送信部）
３５ 遅延付加部
３６ 配信部
５１ 放送受信部
５２ 分離部
５３、５３ａ、５３ｂ 通信受信部（受信部）
５４ 遅延付加部
５５、５５ａ 補償部
５６ 位相調整部
５７ レベル調整部
５８ 重畳部
５９ 映像再生部
６０ 映像表示部
６１ 音声再生部
６２ 音声出力部
６３ 音声合成部

Claims (6)

1. 複数の素材音声の音声信号が合成された合成音声信号のレベルを制御し、番組音声信号として出力するレベル制御部と、
   前記レベル制御部が出力した前記番組音声信号を放送する放送送出部と、
   前記レベル制御部が前記合成音声信号に与えたレベルの変化を算出する音声変化算出部と、
   前記合成音声信号に含まれる前記素材音声の音声信号と、前記音声変化算出部が算出した前記レベルの変化の情報とを、前記放送送出部による放送とは異なる伝送路により伝送する送信部と、
   を備えることを特徴とする放送装置。
2. 前記音声変化算出部は、前記レベル制御部の処理によって生じる遅延と、前記レベルの変化の算出によって生じる遅延とのいずれかまたは両方に基づいて遅延量を算出し、
   前記送信部は、前記素材音声の音声信号と前記音声変化算出部が算出した前記レベルの変化及び前記遅延量の情報を伝送する、あるいは、前記音声変化算出部が算出した前記遅延量の遅延が付加された前記素材音声の音声信号と前記レベルの変化の情報とを伝送する、
   ことを特徴とする請求項１に記載の放送装置。
3. 前記レベルの変化は、前記合成音声信号と前記番組音声信号との比から算出される伝達関数により示される、
   ことを特徴とする請求項１または請求項２に記載の放送装置。
4. 複数の素材音声の音声信号が合成された合成音声信号のレベルを制御して得られた番組音声信号を放送により受信する放送受信部と、
   前記合成音声信号に含まれる前記素材音声の音声信号と、前記番組音声信号を生成するために前記合成音声信号に与えられたレベルの変化の情報とを、放送とは異なる伝送路により受信する受信部と、
   前記受信部が受信した前記素材音声の音声信号に、前記情報が示すレベルの変化を補償する補償部と、
   前記補償部がレベルの変化を補償した前記素材音声の音声信号の位相を番組音声における前記素材音声の音声レベルを減少させるか増大させるかに応じて調整する位相調整部と、
   前記放送受信部が受信した前記番組音声信号と、前記位相調整部が位相を調整した前記素材音声の音声信号とを重畳して音声信号を生成する重畳部と、
   を備えることを特徴とする受信機。
5. 前記受信部は、前記合成音声信号のレベルを制御する処理によって生じる遅延と、前記レベルの変化の算出によって生じる遅延とのいずれかまたは両方に基づいて算出された遅延量の情報をさらに受信し、
   前記受信部が受信した前記素材音声の音声信号に、前記受信部が受信した遅延量の情報で示される遅延を付加する遅延付加部をさらに備え、
   前記補償部は、前記遅延付加部が遅延を付加した前記素材音声の音声信号に、前記レベルの変化を補償する、
   ことを特徴とする請求項４に記載の受信機。
6. 前記位相調整部は、番組音声から前記素材音声を除去する場合、前記補償部がレベルの変化を補償した前記素材音声の音声信号を逆位相とする、
   ことを特徴とする請求項４または請求項５に記載の受信機。

Images