JP6196437B2 - 受信機、及びプログラム - Google Patents

Description

本発明は、受信機、受信方法及びプログラムに関するものであり、特に放送された情報及びインターネット通信において送信された情報の双方を受信できる受信機、受信方法及びプログラムに関するものである。

放送番組の音声に対する要望は、多言語放送や解説放送の充実化、さらに聞き取りやすいダイアログ音声レベルの設定など様々である。中でも、聞き取りやすい音声を求める要望は大きく、放送局は、例えば、番組制作にラウドネスメータを導入することにより、聞き取りやすい番組音声実現に向けた取り組みを始めている。しかし、音声が聞きとりやすいように番組制作が行われても、音声の聞き取りやすさは、放送信号の受信側の環境や聴取者（聴取者の聴覚能力）によっても変化してしまうものである。

そのため、既に放送局側で制作された番組音声から所望の音声のみを抽出することは困難であるものの、聞き取りやすさを追求するためには、ダイアログ音声のレベルを受信機側で調整できることが望まれる。従来、受信機が、チャンネル間の相関を利用して、ダイアログ音声（例えば、ナレーション音声）とそれ以外の音声（例えば、背景音や効果音）との音量差を制御する手法が提案されている（例えば、特許文献１参照）。特許文献１に記載の手法では、受信機が、まず、放送信号に含まれる２チャンネルの音声信号中から、相関が高い同相成分であるナレーション音声信号を抽出し、このナレーション音声信号に対して増幅・減衰・フィルタ処理などの処理を施す。そして、受信機が、同相成分値を抽出した２チャンネルの音声信号に対して、処理済みのナレーション信号を加算する。これにより、音声信号中のナレーション音声信号に対して、種々の処理が施されることになる。

特許第４９７０１７４号公報

しかし、ナレーション音声信号の相関のみが高いとは限らず、特許文献１に記載の従来手法では、例えば、背景音などのモノ信号は、相関が高いとみなされ、ナレーション音声信号と共に抽出されてしまう。この場合、受信機は、ナレーション音声信号のみを増幅したり、減衰したりできなくなる。

また、従来手法は、単に、ナレーション音声を強調したり、弱めたりすることを目的にするものであり、受信機側でナレーション音声の差し替えを可能にするものではない。つまり、従来の受信機は、放送信号以外を受信するものではないため、ナレーション音声に対して処理が施された放送信号に、放送信号以外の別の信号を合成することはできない。そのため、従来手法では、放送信号中の元のナレーション音声（例えば、日本語）を別のナレーション音声（例えば、英語）に置き換えるために、元のナレーション音声を削除する、つまり元のナレーション音声のレベルをゼロにすることについては何ら想定されていない。仮に、従来手法によってナレーション音声の削除が試されても、上記理由により、相関値の利用ではナレーション音声のみの削除は困難であり、効果が不十分である。

従って、上記のような問題点に鑑みてなされた本発明の目的は、受信した放送信号のダイアログ音声のレベルを効果的に調整できる受信機、受信方法及びプログラムを提供することにある。

上述した諸課題を解決すべく、本発明の第１の観点に係る受信機は、
放送された番組音声を受信する第１受信部と、
インターネット通信により前記番組音声の第１ダイアログ音声を受信する第２受信部と、
前記第１受信部及び前記第２受信部それぞれにより受信された前記番組音声と前記第１ダイアログ音声とを同期させた後、当該第１ダイアログ音声を所定数倍し、所定数倍された当該第１ダイアログ音声と、前記番組音声との合成を行う制御部と
を備え、
前記所定数は、当該所定数倍された前記第１ダイアログ音声が、前記第１受信部により受信された前記番組音声中の第１ダイアログ音声の逆相信号になるような値、または正の値である
受信機である。

また、第２の観点に係る受信機は、第１の観点に係る受信機において、
前記第２受信部は、前記インターネット通信により、前記第１ダイアログ音声とは異なる第２ダイアログ音声を受信し、
前記制御部は、前記番組音声と前記第２ダイアログ音声とを同期させ、当該第２ダイアログ音声と、前記合成の結果とを更に合成する
ことを特徴とするものである。

また、第３の観点に係る受信機は、第１の観点に係る受信機において、
前記制御部は、前記番組音声と同期した前記第１ダイアログ音声に対して話速変換処理を行い、当該第１ダイアログ音声と、前記合成の結果とを更に合成する
ことを特徴とするものである。

また、第４の観点に係る受信機は、第１の観点に係る受信機において、
前記第２受信部は、前記インターネット通信により、前記第１ダイアログ音声とは異なる第２ダイアログ音声を受信し、
前記制御部は、
前記番組音声と前記第２ダイアログ音声とを同期させ、
当該第２ダイアログ音声に対して話速変換処理を行い、
話速変換処理が行われた第２ダイアログ音声と、前記合成の結果とを更に合成する
ことを特徴とするものである。

また、第５の観点に係る受信機は、第１の観点に係る受信機において、
前記第２受信部は、前記インターネット通信により前記第１ダイアログ音声とは異なる第３ダイアログ音声を受信し、
前記制御部は、前記番組音声と前記第３ダイアログ音声とを同期させ、
前記合成の結果を所定時間遅延させ、
遅延した前記合成の前記結果と、前記第３ダイアログ音声とを更に合成する
ことを特徴とするものである。

上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当するプログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

また、本発明をプログラムとして実現させた第６の観点に係るプログラムは、
受信機のコンピュータに、
放送された番組音声を取得する第１取得ステップと、
インターネット通信により前記番組音声の第１ダイアログ音声を取得する第２取得ステップと、
取得された前記番組音声と前記第１ダイアログ音声とを同期させるステップと、
前記第１ダイアログ音声を所定数倍するステップと、
所定数倍された前記第１ダイアログ音声と、前記番組音声との合成を行うステップとを実行させ、
前記所定数は、当該所定数倍された前記第１ダイアログ音声が前記第１取得ステップにより取得された前記番組音声中の第１ダイアログ音声の逆相信号になるような値、または正の値である
プログラムである。

上記のように構成された本発明に係る受信機、受信方法及びプログラムによれば、受信した放送信号のダイアログ音声のレベルを効果的に調整できる。

図１は、本発明の第１実施形態に係る受信機の概略構成を示す機能ブロック図である。 図２は、本発明の第１実施形態に係る受信機の処理を示すフローチャートである。 図３は、本発明の第２実施形態に係る受信機の概略構成を示す機能ブロック図である。 図４は、本発明の第２実施形態に係る受信機の処理を示すフローチャートである。 図５は、本発明の第３実施形態に係る受信機の概略構成を示す機能ブロック図である。 図６は、本発明の第３実施形態に係る受信機の処理を示すフローチャートである。

以下、本発明の実施形態に係る受信機について、図面を参照して説明する。受信機は、放送信号を受信できるものであり、例えば、テレビ受像機等の放送受信端末である。受信機は、以下に説明される計算処理を行うコンピュータを含むものである。なお、受信機は、放送信号を受信できればよく、受信された放送信号の情報を表示する表示部（ディスプレイ）の有無に限定されるものではない。そのため、受信機には、チューナ搭載のレコーダ、単体チューナなどが含まれる。

放送とは、放送局から公衆（不特定多数）に向けた放送信号の送信であり、例えば、テレビジョン放送である。放送信号は、放送局が提供する番組の映像（番組映像）と音声（番組音声）の２つの信号が合成されたものである。番組音声には、人声に関するナレーション、アナウンサーコメント、ヴォーカルなどのダイアログ音声と、それ以外の音声（背景音や効果音など）とが含まれる。

そして、本受信機は、放送信号だけでなく、インターネットを介した通信信号を放送局から受信するものである。そのため、受信機と放送局とは、有線接続又は無線接続されている。このような放送信号と通信信号の双方を受信する受信機は、例えば、放送通信連携サービスの基盤システムであるHybridcast（ハイブリッドキャスト）（登録商標）における受信機である。

（第１実施形態）
図１は、本発明の第１実施形態に係る受信機１０１の概略構成を示す機能ブロック図である。本実施形態の受信機１０１は、第１受信部１１１と、第２受信部１１３と、記憶部１１５と、制御部１１７とを備える。第１受信部１１１と、第２受信部１１３と、記憶部１１５とは、制御部１１７に接続されている。

第１受信部１１１は、放送局によって放送された放送信号を受信し、放送信号を構成する番組映像と番組音声とを分離する。そして、第１受信部１１１は、番組音声を制御部１１７の後述する同期処理部１２１に送る。

第２受信部１１３は、放送局からインターネットを介して通信信号を受信するものである。本実施形態では、通信信号は、第１受信部１１１によって受信された番組音声のダイアログ音声（第１ダイアログ音声）であるとする。そして、第２受信部１１３は、第１ダイアログ音声を制御部１１７の同期処理部１２１に送る。

記憶部１１５は、受信機１０１の各機能を実現する処理内容を記述したプログラムや各種情報を記憶するものであり、例えば、ＲＡＭ（Random Access Memory）等の揮発性の記憶媒体やＲＯＭ（Read Only Memory）等の不揮発性の記憶媒体等である。また、記憶部１１５は、バッファとしても機能できる。

制御部１１７は、受信機１０１の各機能ブロックを実現する処理内容を記述したプログラムを実行するものであり、例えば、ＣＰＵ（中央処理装置）やＤＳＰ（デジタルシグナルプロセッサ）等である。制御部１１７は、同期処理部１２１と、調整部１２３と、合成部１２５とを含んでいる。同期処理部１２１は、番組音声及び第１ダイアログ音声用の２つの入力を有し、それぞれ第１受信部１１１と第２受信部１１３とに接続されている。また、同期処理部１２１は２つの出力を有し、番組音声用の出力は、合成部１２５に直接接続され、第１ダイアログ音声用の出力は、調整部１２３を介して合成部１２５に接続されている。

同期処理部１２１は、第１受信部１１１及び第２受信部１１３それぞれから、番組音声及び第１ダイアログ音声を取得し、番組音声と第１ダイアログ音声とを同期させる。例えば、放送局によって番組音声及び第１ダイアログ音声にタイムスタンプが付されている場合は、同期処理部１２１は、このタイムスタンプを利用して、番組音声と第１ダイアログ音声とを同期させることができる。このタイムスタンプは、例えば、受信側での再生出力の時刻管理情報であるＰＴＳ（Presentation Time Stamp）である。同期処理部１２１は、タイムスタンプの示す時刻に基づいて、番組音声と第１ダイアログ音声との受信時間差を求め、この受信時間差が解消されるように、記憶部１１５を利用してバッファリング処理を行う。このようにして、同期処理部１２１は、番組音声と第１ダイアログ音声との同期を実現させる。そして、同期処理部１２１は、第１ダイアログ音声と同期された番組音声を合成部１２５に送り、番組音声と同期された第１ダイアログ音声を調整部１２３に送る。

調整部１２３は、同期処理部１２１から受け取った第１ダイアログ音声を所定数倍し、合成部１２５に送る。所定数は、任意に設定されるものであり、記憶部１１５に記憶されている。所定数は、例えば、−２以上２以下の範囲内の実数である。所定数の絶対値の大きさに応じて第１ダイアログ音声のレベル（振幅）が変化し、所定数の符号に応じて第１ダイアログ音声の位相が変化する。例えば、所定数の符号が、マイナスである場合、調整部１２３の処理により、ダイアログ音声の位相が逆になることになる。

ここで、第１受信部１１１により受信された番組音声中の第１ダイアログ音声と、第２受信部１１３により受信された第１ダイアログ音声との信号レベルが同一であるとする。この場合、調整部１２３は、第１ダイアログ音声を−１倍することにより、番組音声中の第１ダイアログ音声を逆相にした波形を出力することになる。つまり、−１という所定数は、所定数倍された第１ダイアログ音声が、放送を介した第１ダイアログ音声の逆相信号になるような値である。なお、放送を介した第１ダイアログ音声の逆相信号とは、第１ダイアログ音声と絶対値のレベルが完全に一致することに限定されるものではない。本発明は、所定数倍された第１ダイアログ音声と、放送を介した第１ダイアログ音声との和が予め定めた誤差範囲であれば、所定数倍された第１ダイアログ音声と、放送を介した第１ダイアログ音声とは逆相関係であるとみなすことができる。

また、第１受信部１１１により受信された番組音声中の第１ダイアログ音声と、第２受信部１１３により受信された第１ダイアログ音声とのレベルが同一でない場合もある。例えば、放送局は、第１ダイアログ音声とそれ以外の音声を合成した後、合成音声の全体レベルを調整し、合成信号を放送することがある。放送局によってインターネットを介して送信される第１ダイアログ音声は、合成処理前の信号であるため、放送を介した第１ダイアログ音声と、通信を介した第１ダイアログ音声とのレベルは、異なることになる。

この場合、通信を介した第１ダイアログ音声に対する、放送を介した第１ダイアログ音声の比率にマイナスを乗算した値（−（放送を介した第１ダイアログ音声）／（通信を介した第１ダイアログ音声））が所定数に設定されることにより、調整部１２３は、放送を介した第１ダイアログ音声を完全に逆相にした波形を出力することになる。つまり、このときの所定数は、所定数倍された第１ダイアログ音声が、放送を介した第１ダイアログ音声の逆相信号になるような値である。

なお、本発明は、所定数が記憶部１１５に予め記憶されていることに限定されるものではなく、例えば、受信機１０１がボリューム用つまみ等の入力部を備えている場合は、所定数は、ユーザにより適宜入力された値とすることもできる。

合成部１２５は、同期処理部１２１からの番組音声と、調整部１２３からの所定数倍された第１ダイアログ音声との合成を行う。所定数倍された第１ダイアログ音声が、番組音声中の第１ダイアログ音声の逆相信号である場合、合成部１２５の処理により、所定数倍された第１ダイアログ音声と、番組音声中の第１ダイアログ音声とは打ち消しあうことになる。よって、合成部１２５は、番組音声から第１ダイアログ音声が除去されたダイアログ音声除去番組音声（つまり、ダイアログ音声以外の音声）を、例えば音出力部（図示せず）に出力する。

また、調整部１２３における所定数が正の値である場合、合成部１２５の処理により、番組音声中の第１ダイアログ音声に所定数倍された第１ダイアログ音声が加算されることになるので、第１ダイアログ音声のレベルが大きくなる。よって、合成部１２５は、第１ダイアログ音声が強調されたダイアログ音声強調番組音声を出力する。

更に、調整部１２３における所定数が負の値である場合、合成部１２５の処理により、番組音声中の第１ダイアログ音声から、所定数の絶対値が乗算された第１ダイアログ音声が減算されることになるので、第１ダイアログ音声のレベルが小さくなる。よって、合成部１２５は、第１ダイアログ音声が抑制されたダイアログ音声抑制番組音声を出力することもできる。

続いて、図２を用いて、受信機１０１の処理について説明する。図２は、本発明の第１実施形態に係る受信機１０１の処理を示すフローチャートである。

まず、第１受信部１１１は、放送局により放送された放送信号を受信し、放送信号から番組音声を取り出し、同期処理部１２１に送る（ステップＳ１０１）。そして、第２受信部１１３は、インターネット通信により、番組音声に含まれる第１ダイアログ音声（通信信号）を放送局から受信し、同期処理部１２１に送る（ステップＳ１０２）。

そして、同期処理部１２１は、番組音声と第１ダイアログ音声とを同期させ、番組音声を合成部１２５に送り、第１ダイアログ音声を調整部１２３に送る（ステップＳ１０３）。調整部１２３は、第１ダイアログ音声を所定数倍し、合成部１２５に送る（ステップＳ１０４）。

合成部１２５は、同期処理部１２１からの番組音声と、調整部１２３からの第１ダイアログ音声とを合成する（ステップＳ１０５）。調整部１２３での処理における所定数により、合成部１２５は、ダイアログ音声除去番組音声、ダイアログ音声強調番組音声又はダイアログ音声抑制番組音声を出力することになる。

このように本実施形態では、受信機１０１の第１受信部１１１は、放送された番組音声を受信し、第２受信部１１３は、インターネット通信により番組音声の第１ダイアログ音声を受信する。そして、制御部１１７は、第１受信部１１１及び第２受信部１１３それぞれにより受信された番組音声と第１ダイアログ音声とを同期させた後、当該第１ダイアログ音声を所定数倍し、所定数倍された当該第１ダイアログ音声と、番組音声との合成を行う。つまり、本実施形態における受信機１０１は、レベル調整の対象である第１ダイアログ音声のみを、放送信号（番組音声）から抽出せずに、インターネット通信により受信する。制御部１１７は、番組音声と同期した第１ダイアログ音声を、そのレベルと位相を所定数の乗算により変化させて番組音声に加えることにより、番組音声中の第１ダイアログ音声のレベルのみを変化させることができる。番組音声に加えられるものは、第１ダイアログ音声のみであるため、第１ダイアログ音声以外のレベルを変えることなく、番組音声中の第１ダイアログ音声のみを効果的に調整できる。

また、相関を求めたりせず、簡単な四則演算により、第１ダイアログ音声のレベルの調整が可能であるため、従来手法に比べ、計算負荷を抑えることができる。そのため、受信機１０１は、高い計算処理能力を有する大きな処理装置（制御部１１７）を備える必要がないため、受信機１０１の小型化が図れる。更に、本実施形態では、番組音声と第１ダイアログ音声との同期が、予め放送局側で付されたタイムスタンプの利用により実現されている。このようなタイムスタンプを利用せずに同期を図る場合、第１ダイアログ音声の中心的な帯域が１［kHz］弱であることから同期にはサブミリ秒オーダー以上の精度が要求されてしまう。よって、タイムスタンプの利用により、受信機１０１が高い同期精度を確保することなく、容易に同期を実現することができる。

また、本実施形態では、制御部１１７の調整部１２３は、第１ダイアログ音声を所定数倍するわけだが、この所定数は、当該所定数倍された第１ダイアログ音声が、第１受信部１１１により受信された番組音声中の第１ダイアログ音声の逆相信号になるような値とすることができる。これにより、所定数倍された第１ダイアログ音声と、番組音声中の第１ダイアログ音声とは、合成部１２５の処理により打ち消されることになる。これにより、制御部１１７は、番組音声から第１ダイアログ音声を除去することができる。

更に、本実施形態では、制御部１１７の調整部１２３は、第１ダイアログ音声を所定数倍するわけだが、この所定数は、正の値とすることができる。これにより、合成部１２５の処理により、番組音声中の第１ダイアログ音声のレベルは、所定数倍された第１ダイアログ音声分大きくなることになる。これにより、制御部１１７は、番組音声において第１ダイアログ音声を強調させることができる。

（第２実施形態）
第１実施形態では、受信機１０１の出力信号の１つとしてダイアログ音声除去番組音声を出力する場合について説明したが、第２実施形態では、ダイアログ音声除去番組音声に更なる信号を付加する場合について説明する。

図３は、本発明の第２実施形態に係る受信機２０１の概略構成を示す機能ブロック図である。本実施形態の受信機２０１は、第１受信部２１１と、第２受信部２１３と、記憶部２１５と、制御部２１７とを備える。第１受信部２１１と、第２受信部２１３と、記憶部２１５とは、制御部２１７に接続されている。第１受信部２１１及び記憶部２１５の機能は、それぞれ対応する第１実施形態の機能部１１１及び１１５の機能と同一であるため、説明は省略する。

第２受信部２１３は、放送局からインターネットを介して通信信号を受信するものである。本実施形態では、通信信号には、第１実施形態における第１ダイアログ音声だけでなく、第１ダイアログ音声とは異なる第２ダイアログ音声が含まれているとする。第２受信部２１３は、通信信号から第１ダイアログ音声と第２ダイアログ音声とを分離して、それぞれ制御部２１７の後述する同期処理部２２１に送る。第１ダイアログ音声は、第１受信部２１１により受信される番組音声に含まれるものであり、第２ダイアログ音声は、この番組音声には含まれないものである。なお、本発明は、番組音声に含まれないダイアログ音声は、１つに限定されるものではなく、第２受信部２１３は、インターネットを介して、第１ダイアログ音声以外のダイアログ音声を複数受信し、複数のダイアログ音声を同期処理部２２１に送ることもできる。

第１及び第２ダイアログ音声は、例えば、一方が日本語の音声であり、他方がこの日本語の音声に対応する英語の音声である。以下、第１ダイアログ音声は日本語であり、第２ダイアログ音声は英語であるとする。なお、第２ダイアログ音声は、リアルタイムで同時通訳されたものではなく、予め録音されたものであるとする。そのため、第１ダイアログ音声と第２ダイアログ音声とは、話の開始タイミング等が揃っているものとする。また、本発明は、インターネットを介した複数のダイアログ音声を１つの第２受信部２１３により受信することに限定されるものではない。例えば、ダイアログ音声毎に、異なる受信部を設けることもできる。

制御部２１７は、同期処理部２２１と、調整部２２３と、合成部２２５と、選択部２２７と、話速変換部２２９とを含んでいる。同期処理部２２１は、３つの入力を有し、番組音声用の１つの入力は第１受信部２１１に、第１及び第２ダイアログ音声用の２つの入力は第２受信部２１３に接続されている。また、同期処理部２２１は３つの出力を有し、１つ目の出力は、合成部２２５に接続され、２つ目の出力は、調整部２２３及び選択部２２７に接続され、３つ目の出力は、選択部２２７に接続されている。調整部２２３は、合成部２２５に接続されている。選択部２２７は、話速変換部２２９及び調整部２２３を介して合成部２２５に接続されている。

同期処理部２２１は、第１受信部２１１からの番組音声と、第２受信部２１３からの第１及び第２ダイアログ音声とを取得し、これら３つの信号を同期させる。そして、同期処理部２２１は、同期処理された番組音声を合成部２２５に、同期処理された第１ダイアログ音声を調整部２２３及び選択部２２７の双方に、同期処理された第２ダイアログ音声を選択部２２７に、それぞれ送る。なお、同期処理部２２１は、第１ダイアログ音声以外に複数のダイアログ音声を受け取っている場合、それぞれ番組音声と同期させて、選択部２２７に送る。

調整部２２３は、通信を介した第１ダイアログ音声を所定数倍することにより、放送を介した第１ダイアログ音声を逆相にした波形を合成部２２５に出力する。また、調整部２２３は、話速変換部２２９からの出力信号（後述の話速変換されたダイアログ音声）を所定数倍することにより、振幅や位相を調整し、調整した信号を合成部２２５に出力する。

選択部２２７は、同期処理部２２１から受け取った第１ダイアログ音声と第２ダイアログ音声とのうちの１つを話速変換部２２９に出力する。いずれのダイアログ音声を選択すべきかの選択情報については、記憶部２１５に記憶され、選択部２２７は、この選択情報を記憶部２１５から読み出すことにより、１つのダイアログ音声を選択する。受信機２０１が、例えば、選択用ボタン等の入力部を備えている場合は、選択情報は、ユーザにより適宜入力された情報とすることができる。なお、選択部２２７は、第１ダイアログ音声以外に複数のダイアログ音声を受け取っている場合、第１ダイアログ音声と、それ以外の複数のダイアログ音声からいずれか１つを選択する。

話速変換部２２９は、選択部２２７から受け取ったダイアログ音声の全体の時間長さを変えずに、ダイアログ音声に対して話速変換処理を行い、話速変換されたダイアログ音声を調整部２２３に送る。例えば、話速変換部２２９は、ダイアログ音声中の音声区間と無声区間（“ま”）とを特定し、音声区間を伸長し、その分無線区間を短縮する。これにより、話速変換部２２９は、ダイアログ音声の話速が遅くなった低速ダイアログ音声（低速第１ダイアログ音声又は低速第２ダイアログ音声）を出力することになる。話速変換の度合いは、受信機２０１の入力部等を介してユーザにより適宜設定される事項である。ユーザが、話速変換処理を望まない、つまり原速度を望む場合は、話速変換部２２９は、受け取ったダイアログ音声に対して処理を行わず、そのまま調整部２２３に出力することもできる。

合成部２２５は、同期処理部２２１からの番組音声と、調整部２２３からの第１ダイアログ音声とを合成し、第１ダイアログ音声が除去されたダイアログ音声除去番組音声（合成の結果）を生成する。そして、合成部２２５は、ダイアログ音声除去番組音声に話速変換部２２９からの調整部２２３を介したダイアログ音声を合成する。例えば、話速変換部２２９からのダイアログ音声が低速第１ダイアログ音声である場合、合成部２２５は、放送局が送信した元の番組音声の第１ダイアログ音声（日本語音声）がゆっくりになった番組音声を、例えば音出力部（図示せず）に出力する。また、話速変換部２２９からのダイアログ音声が第２ダイアログ音声（英語音声）である場合、合成部２２５は、元の番組音声に比べダイアログ音声が日本語から英語に変わった番組音声を出力する。更に、話速変換部２２９からのダイアログ音声が低速第２ダイアログ音声である場合、合成部２２５は、元の番組音声に比べ日本語音声が低速英語音声に変わった番組音声を出力する。

続いて、図４を用いて、受信機２０１の処理について説明する。図４は、本発明の第２実施形態に係る受信機２０１の処理を示すフローチャートである。以下、第１実施形態と異なる部分を特に重点的に記載する。

まず、第１実施形態におけるステップＳ１０１と同様、第１受信部２１１は、放送信号（番組音声）を受信する（ステップＳ２０１）。そして、第２受信部２１３は、第１及び第２ダイアログ音声を含む通信信号を受信し、第１及び第２ダイアログ音声を同期処理部２２１に送る（ステップＳ２０２）。

そして、同期処理部２２１は、番組音声と、第１及び第２ダイアログ音声とを同期させ、番組音声を合成部２２５に、第１ダイアログ音声を調整部２２３及び選択部２２７に、第２ダイアログ音声を選択部２２７にそれぞれ送る（ステップＳ２０３）。調整部２２３は、第１ダイアログ音声を調整し、放送を介した第１ダイアログ音声を逆相にした波形を合成部２２５に送る（ステップＳ２０４）。

同期処理部２２１が第１及び第２ダイアログ音声を選択部２２７に送ると、選択部２２７は、いずれか１つのダイアログ音声を選択し、話速変換部２２９に送る（ステップＳ２０５）。話速変換部２２９は、選択されたダイアログ音声の話速を変換し、調整部２２３に送る（ステップＳ２０６）。調整部２２３は、話速変換されたダイアログ音声を調整したのち、合成部２２５に送る（ステップＳ２０７）。

そして、合成部２２５は、受け取った番組音声と、調整された第１ダイアログ音声と、話速変換及び調整されたダイアログ音声とを合成し、元の番組音声に比べ、ダイアログ音声の話速が変換された番組音声や、ダイアログ音声自体が差し替えられた番組音声を出力する（ステップＳ２０８）。

このように本実施形態では、第２受信部２１３は、インターネットを介して番組音声中には含まれない第２ダイアログ音声を受信し、制御部２１７は、第２ダイアログ音声を番組音声と同期させた後、この第２ダイアログ音声とダイアログ音声除去番組音声とを合成する。番組音声中の第１ダイアログ音声以外に聴取を望むダイアログ音声を受信しておくことにより、容易にダイアログ音声の切り替えが可能である。また、ダイアログ音声除去番組音声には、ダイアログ音声以外の音声（背景音や効果音など）が含まれているため、ダイアログ音声除去番組音声と第２ダイアログ音声との合成により、聴取者は、背景音や効果音と第２ダイアログ音声とを同時に聴くことができる。

また、本実施形態では、制御部２１７は、話速変換処理された第１ダイアログ音声又は第２ダイアログ音声と、ダイアログ音声除去番組音声とを合成することができる。これにより、聴取者にとって望ましい音声の言語及び音声の速度を、受信機側で調整できる。受信機側において言語や速度の選択が可能であるため、放送局が聴取者毎にカスタマイズされた放送信号を送信する必要はない。

（第３実施形態）
第２実施形態では、第２ダイアログ音声が予め録音されたものである場合について説明したが、第３実施形態では、通信信号に含まれるダイアログ音声が、第１ダイアログ音声が同時通訳された音声である場合について説明する。以下、同時通訳による音声を第３ダイアログ音声とする。第３ダイアログ音声は、同時通訳による音声であるため、第１ダイアログ音声に比べ、話の開始タイミングが遅れることになる。

図５は、本発明の第３実施形態に係る受信機３０１の概略構成を示す機能ブロック図である。本実施形態の受信機３０１は、第１受信部３１１と、第２受信部３１３と、記憶部３１５と、制御部３１７とを備える。第１受信部３１１と、第２受信部３１３と、記憶部３１５とは、制御部３１７に接続されている。記憶部３１５の機能は、対応する第１実施形態の機能部１１５の機能と同一であるため、説明は省略する。

第１受信部３１１は、放送局によって放送された放送信号を受信し、放送信号を構成する番組映像と番組音声とを分離する。そして、第１受信部３１１は、番組映像及び番組音声を制御部３１７の後述する同期処理部３２１に送る。

第２受信部３１３は、放送局からインターネットを介して通信信号を受信するものである。本実施形態では、通信信号には、第１実施形態における第１ダイアログ音声だけでなく、第１ダイアログ音声とは異なる第３ダイアログ音声が含まれているとする。第２受信部３１３は、通信信号から第１ダイアログ音声と第３ダイアログ音声とを分離して、それぞれ制御部３１７の同期処理部３２１に送る。第１ダイアログ音声は、第１受信部３１１により受信される放送信号（番組音声）に含まれるものであり、第３ダイアログ音声は、この番組音声には含まれないものである。上述したように、第３ダイアログ音声は、第１ダイアログ音声と話の開始タイミングが異なるものであり、例えば、第１ダイアログ音声の同時通訳音声である。なお、本発明は、インターネットを介した複数のダイアログ音声を１つの第２受信部３１３により受信することに限定されるものではない。例えば、ダイアログ音声毎に、異なる受信部を設けることもできる。また、第２実施形態の第２ダイアログ音声と同様、同時通訳による音声は１つに限定されるものではない。

制御部３１７は、同期処理部３２１と、調整部３２３と、第１合成部３２５と、遅延部３３１と、第２合成部３３３とを含んでいる。同期処理部３２１は、４つの入力を有し、番組映像及び番組音声用の２つの入力は第１受信部３１１に、第１及び第３ダイアログ音声用の２つの入力は第２受信部３１３に接続されている。また、同期処理部３２１は４つの出力を有し、１つ目の出力は遅延部３３１に、２つ目の出力は第１合成部３２５に、３つ目の出力は調整部３２３に、４つ目の出力は調整部３２３を介して第２合成部３３３に、それぞれ接続されている。調整部３２３は、第１合成部３２５に接続されている。第１合成部３２５の出力は、遅延部３３１を介して第２合成部３３３に接続されている。

制御部３１７の同期処理部３２１は、第１受信部３１１からの番組映像及び番組音声と、第２受信部３１３からの第１及び第３ダイアログ音声とを取得し、これら４つの信号を同期させる。そして、同期処理部３２１は、同期処理された番組映像を遅延部３３１に、同期処理された番組音声を第１合成部３２５に、同期処理された第１ダイアログ音声を調整部３２３に、同期処理された第３ダイアログ音声を調整部３２３に、それぞれ送る。調整部３２３により調整された第３ダイアログ音声は、第２合成部３３３に送られる。なお、番組映像と番組音声とは、予め同期して、送信局によって放送されることがある。この場合、同期処理部３２１は、番組映像と番組音声とのいずれか一方を第１受信部３１１から受け取り、この一方の信号と、第１及び第３ダイアログ音声とを同期させることもできる。

調整部３２３は、通信を介した第１ダイアログ音声を所定数倍することにより、放送を介した第１ダイアログ音声を逆相にした波形を第１合成部３２５に出力する。また、調整部３２３は、通信を介した第３ダイアログ音声を所定数倍することにより、振幅や位相を調整し、調整した第３ダイアログ音声を第２合成部３３３に出力する。

第１合成部３２５は、同期処理部３２１からの番組音声と、調整部３２３からの第１ダイアログ音声とを合成し、第１ダイアログ音声が除去されたダイアログ音声除去番組音声を生成する。そして、第１合成部３２５は、ダイアログ音声除去番組音声を遅延部３３１に送る。

遅延部３３１は、同期処理部３２１からの番組映像と第１合成部３２５からのダイアログ音声除去番組音声とを同一の所定時間遅延させる。遅延量（所定時間）は、例えば、第１ダイアログ音声と第３ダイアログ音声との話開始タイミングの差分（例えば、３秒）である。そして、遅延部３３１は、遅延した番組映像を、例えば、表示部（図示せず）に出力する。また、遅延部３３１は、遅延したダイアログ音声除去番組音声を第２合成部３３３に送る。なお、本発明は、番組映像とダイアログ音声除去番組音声とを１つの遅延部３３１により遅延させることに限定されるものではない。例えば、映像用と音声用との２つの遅延部を設けることもできる。この場合、音声用の遅延部と映像用の遅延部との遅延量は同一にしておく。

第２合成部３３３は、遅延したダイアログ音声除去番組音声と、調整部３２３からの第３ダイアログ音声とを合成する。遅延したダイアログ音声除去番組音声は、第１ダイアログ音声を除く元の番組音声が、第１ダイアログ音声を基準としたときの第３ダイアログ音声の遅延分、遅延したものである。そのため、第２合成部３３３は、第３ダイアログ音声と第１ダイアログ音声を除く番組音声との間にずれのない信号を、例えば音出力部（図示せず）に出力することになる。

続いて、図６を用いて、受信機３０１の処理について説明する。図６は、本発明の第３実施形態に係る受信機３０１の処理を示すフローチャートである。以下、第２実施形態と異なる部分を特に重点的に記載する。

まず、第１受信部３１１は、放送信号を受信し、放送信号から番組映像及び番組音声を分離し、双方の信号を同期処理部３２１に送る（ステップＳ３０１）。そして、第２受信部３１３は、第１及び第３ダイアログ音声を含む通信信号を受信し、第１及び第３ダイアログ音声を同期処理部３２１に送る（ステップＳ３０２）。

そして、同期処理部３２１は、番組映像及び番組音声と、第１及び第３ダイアログ音声とを同期させ、番組映像を遅延部３３１に、番組音声を第１合成部３２５に、第１ダイアログ音声及び第３ダイアログ音声を調整部３２３に、それぞれ送る（ステップＳ３０３）。調整部３２３は、第１ダイアログ音声を調整し、放送を介した第１ダイアログ音声を逆相にした波形を第１合成部３２５に送る（ステップＳ３０４）。

続いて、第１合成部３２５は、受け取った番組音声と、調整された第１ダイアログ音声とを合成し、ダイアログ音声除去番組音声（合成の結果）を遅延部３３１に送る（ステップＳ３０５）。遅延部３３１は、同期処理部３２１からの番組映像と第１合成部３２５からの合成の結果とを、所定時間遅延させ、遅延した合成の結果を第２合成部３３３に送る（ステップＳ３０６）。

第３ダイアログ音声を受け取った調整部３２３は、第３ダイアログ音声を調整し、第２合成部３３３に送る（ステップＳ３０７）

そして、第２合成部３３３は、遅延した合成の結果と、調整部３２３からの調整された第３ダイアログ音声とを合成し、第３ダイアログ音声と、ダイアログ音声以外の番組音声との間にずれのない音声を出力する（ステップＳ３０８）。

このように本実施形態では、第２受信部３１３は、インターネットを介して、第１ダイアログ音声が同時通訳された第３ダイアログ音声を受信し、制御部３１７は、ダイアログ音声除去番組音声を遅延させた後、当該遅延したダイアログ音声除去番組音声と、第３ダイアログ音声とを合成する。第３ダイアログ音声は、同時通訳されたものであるため、第１ダイアログ音声と比べると遅延を伴うが、その遅延分、ダイアログ音声除去番組音声を遅延させることにより、ダイアログ音声除去番組音声と第３ダイアログ音声との間のずれを解消できる。これにより、聴取者は、第３ダイアログ音声と、ダイアログ音声以外の音声とが調和した（対応した）自然な音声を聴くこととができる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、各部材、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

上述の本発明の実施形態の説明においては、調整部１２３の処理で用いられる所定数は、記憶部１１５に予め記憶されているとしたが、本発明はこの態様に限定されるものではない。例えば、調整部は、合成部（第１合成部）からの出力をフィードバックにより取得し、所望の波形を出力できるように所定数を自動制御することができる。所望の波形が、放送を介した番組音声中の第１ダイアログ音声を逆相にした波形である場合、合成部からの出力では、放送を介した番組音声から第１ダイアログ音声が完全に除去されていることが望ましい。よって、調整部は、所定数を変更する毎に、合成部からの出力を取得し、合成部からの出力が最小値になる所定数を求めることができる。このようにして、調整部は、第１ダイアログ音声を逆相にした波形を出力するための所定数をフィードバック制御により求めることができる。

本発明によれば、受信した放送信号のダイアログ音声のレベルを効果的に調整できるという有用性がある。

１０１、２０１、３０１ 受信機
１１１、２１１、３１１ 第１受信部
１１３、２１３、３１３ 第２受信部
１１５、２１５、３１５ 記憶部
１１７、２１７、３１７ 制御部
１２１、２２１、３２１ 同期処理部
１２３、２２３、３２３ 調整部
１２５、２２５ 合成部
２２７ 選択部
２２９ 話速変換部
３２５ 第１合成部
３３１ 遅延部
３３３ 第２合成部

Claims (6)

1. 放送された番組音声を受信する第１受信部と、
   インターネット通信により前記番組音声の第１ダイアログ音声を受信する第２受信部と、
   前記第１受信部及び前記第２受信部それぞれにより受信された前記番組音声と前記第１ダイアログ音声とを同期させた後、当該第１ダイアログ音声を所定数倍し、所定数倍された当該第１ダイアログ音声と、前記番組音声との合成を行う制御部と
   を備え、
   前記所定数は、当該所定数倍された前記第１ダイアログ音声が前記第１受信部により受信された前記番組音声中の第１ダイアログ音声の逆相信号になるような値、または正の値である
   ことを特徴とする受信機。
2. 請求項１に記載の受信機において、
   前記第２受信部は、前記インターネット通信により、前記第１ダイアログ音声とは異なる第２ダイアログ音声を受信し、
   前記制御部は、前記番組音声と前記第２ダイアログ音声とを同期させ、当該第２ダイアログ音声と、前記合成の結果とを更に合成する
   ことを特徴とする受信機。
3. 請求項１に記載の受信機において、
   前記制御部は、前記番組音声と同期した前記第１ダイアログ音声に対して話速変換処理を行い、当該第１ダイアログ音声と、前記合成の結果とを更に合成する
   ことを特徴とする受信機。
4. 請求項１に記載の受信機において、
   前記第２受信部は、前記インターネット通信により、前記第１ダイアログ音声とは異なる第２ダイアログ音声を受信し、
   前記制御部は、
   前記番組音声と前記第２ダイアログ音声とを同期させ、
   当該第２ダイアログ音声に対して話速変換処理を行い、
   話速変換処理が行われた第２ダイアログ音声と、前記合成の結果とを更に合成する
   ことを特徴とする受信機。
5. 請求項１に記載の受信機において、
   前記第２受信部は、前記インターネット通信により前記第１ダイアログ音声とは異なる第３ダイアログ音声を受信し、
   前記制御部は、前記番組音声と前記第３ダイアログ音声とを同期させ、
   前記合成の結果を所定時間遅延させ、
   遅延した前記合成の前記結果と、前記第３ダイアログ音声とを更に合成する
   ことを特徴とする受信機。
6. 受信機のコンピュータに、
   放送された番組音声を取得する第１取得ステップと、
   インターネット通信により前記番組音声の第１ダイアログ音声を取得する第２取得ステップと、
   取得された前記番組音声と前記第１ダイアログ音声とを同期させるステップと、
   前記第１ダイアログ音声を所定数倍するステップと、
   所定数倍された前記第１ダイアログ音声と、前記番組音声との合成を行うステップと
   を実行させ、
   前記所定数は、当該所定数倍された前記第１ダイアログ音声が前記第１取得ステップにより取得された前記番組音声中の第１ダイアログ音声の逆相信号になるような値、または正の値である
   ことを特徴とするプログラム。

Images