JP6311784B2 - テレビジョン受像機、音声処理方法、音声処理プログラム、オーディオ機器、音声出力方法および音声出力プログラム - Google Patents

テレビジョン受像機、音声処理方法、音声処理プログラム、オーディオ機器、音声出力方法および音声出力プログラム Download PDF

Info

Publication number
JP6311784B2
JP6311784B2 JP2016246204A JP2016246204A JP6311784B2 JP 6311784 B2 JP6311784 B2 JP 6311784B2 JP 2016246204 A JP2016246204 A JP 2016246204A JP 2016246204 A JP2016246204 A JP 2016246204A JP 6311784 B2 JP6311784 B2 JP 6311784B2
Authority
JP
Japan
Prior art keywords
audio
signal
television receiver
audio signal
amplifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016246204A
Other languages
English (en)
Other versions
JP2017123648A (ja
Inventor
樋口 哲
哲 樋口
和也 立石
和也 立石
俊之 関矢
俊之 関矢
佑樹 藤樫
佑樹 藤樫
和也 香月
和也 香月
弘治 松浦
弘治 松浦
早紀 横山
早紀 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016246204A priority Critical patent/JP6311784B2/ja
Publication of JP2017123648A publication Critical patent/JP2017123648A/ja
Application granted granted Critical
Publication of JP6311784B2 publication Critical patent/JP6311784B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本開示は、オーディオ機器に関する。
近日、複数の端末間で音声を送受信しながら相手と会話を行うためのシステムが存在する。かかるシステムにおいては、通話元の端末からの通話音声は、通話先の端末に減衰しながら遅延時間を生じて到達する。また、この通話音声は、通話先の端末のマイクによって検出されて減衰しながら遅延時間を生じて通話元の端末に戻ってくる。このようにして通話音声は、減衰しながら遅延時間を生じて端末間を往復してしまうため、エコーがかかったような音声が端末から出力されてしまう現象が起こり得る。
かかる現象を低減させるために、通話先の端末においては、通話元の端末から送信された音声がスピーカから出力されてマイクによって検出されても、当該音声を打ち消すことによって通話元の端末に伝送しないようにする、いわゆるエコーキャンセリングが行われることがある(例えば、特許文献1参照)。このようなエコーキャンセリングによって通話音声が往復してしまうことを防ぐことができれば、快適な会話を行うことが可能になることが一般的に知られている。
特開2013−038763号公報
しかしながら、コンテンツの再生音声を聴きながら会話をするような場合などには、通話先の端末において通話元の会話音声だけではなく、通話元のコンテンツの再生音声もスピーカから出力されてしまう。その結果として、コンテンツの再生音声も減衰しながら遅延時間を生じて端末間を往復してしまうため、エコーがかかったような音声が端末から出力されてしまい、相手との会話が快適に行うことができなくなるという現象が起こり得る。
そこで、コンテンツの再生音声を聴きながら行う相手との会話をより快適にすることが可能な技術が提供されることが望ましい。
本開示によれば、コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号を出力させる制御部と、前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号を生成する音声処理部と、を備え、前記制御部は、前記除去信号を前記通信相手機器に送信させる、オーディオ機器が提供される。
また、本開示によれば、コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号を出力させることと、前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号を生成することと、プロセッサにより前記除去信号を前記通信相手機器に送信させることと、を含む、音声処理方法が提供される。
また、本開示によれば、コンピュータを、コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号を出力させる制御部と、前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号を生成する音声処理部と、を備え、前記制御部は、前記除去信号を前記通信相手機器に送信させる、オーディオ機器として機能させるための音声処理プログラムが提供される。
また、本開示によれば、コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号が他のオーディオ機器から入力されると、前記オーディオ信号をスピーカから出力させる制御部を備え、前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号が前記他のオーディオ機器によって生成される、オーディオ機器が提供される。
また、本開示によれば、コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号が他のオーディオ機器から入力されると、前記オーディオ信号をスピーカから出力させることを含み、前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号が前記他のオーディオ機器によって生成される、音声出力方法が提供される。
また、本開示によれば、コンピュータを、コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号が他のオーディオ機器から入力されると、前記オーディオ信号をスピーカから出力させる制御部を備え、前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号が前記他のオーディオ機器によって生成される、オーディオ機器として機能させるための音声出力プログラムが提供される。
以上説明したように本開示によれば、コンテンツの再生音声を聴きながら行う相手との会話をより快適にすることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
AVシステムの構成例を示すブロック図である。 デバイスとCEC論理アドレスの対応関係を示すCECテーブルを示す図である。 AVシステムを構成するテレビジョン受像機(シンク機器)の構成例を示すブロック図である。 AVシステムを構成するAVアンプの構成例を示すブロック図である。 AVシステムを構成するセットトップボックス(ソース機器)の構成例を示すブロック図である。 HDMI送信部(HDMIソース)とHDMI受信部(HDMIシンク)の構成例を示すブロック図である。 CECライン(CECチャネル)で伝送されるデータのブロック構成を示す図である。 ヘッダブロックのデータ構造例を示す図である。 通信システム全体の構成例を示す図である。 テレビジョン受像機によって表示パネルに表示される画面構成例を示す図である。 TV単体の場合における音声の流れを示す図である。 TV単体の場合におけるエコーキャンセリング処理に関連する構成を説明するための図である。 学習によって得られた適応フィルタ係数の例を示す図である。 TV単体の場合におけるエコーキャンセリング処理の動作の流れを示すフローチャートである。 外付けアンプの場合における通常時の映像データおよびオーディオデータの流れを示す図である。 外付けアンプの場合におけるキャンセリング連動時の映像データおよびオーディオデータの流れを示す図である。 外付けアンプの場合におけるエコーキャンセリング処理に関連する構成を説明するための図である。 デジタルチューナから出力される映像データおよび音声データが視聴される場合を説明するための図である。 ソース機器の例としてのセットトップボックスから出力される映像データおよび音声データが視聴される場合を説明するための図である。 一般的な2画面モード/非2画面モード切り替えの例を説明するための図である。 テレビジョン受像機とAVアンプとの間の情報通知の例を示す図である。 音場の切り替えを説明するための図である。 TV視聴中における通信システムの動作全体の流れを示すシーケンス図である。 STB視聴中における通信システムの動作全体の流れを示すシーケンス図である。 通話開始時および通話終了時の通信システムの動作の流れを示すシーケンス図である。 外付けアンプの場合におけるエコーキャンセリング処理(遅延量通知あり)の動作の流れを示すフローチャートである。 エコーキャンセリング開始要求受信時におけるAVアンプの動作の流れを示すフローチャートである。 エコーキャンセリングとの各種連動動作開始時におけるAVアンプの動作の流れを示すフローチャートである。 エコーキャンセリング終了要求受信時におけるAVアンプの動作の流れを示すフローチャートである。 エコーキャンセリングとの各種連動動作終了時におけるAVアンプの動作の流れを示すフローチャートである。 AVアンプにおいて音声遅延量が変化した場合における通信システム全体の動作の流れを示すシーケンス図である。 AVアンプにおいて音声遅延量が変化した場合におけるAVアンプの動作の流れを示すフローチャートである。 AVアンプの状態変化によりエコーキャンセリングとの連動を中断する場合における通信システムの動作の流れを示すシーケンス図である。 外付けアンプの場合におけるエコーキャンセリング処理(エコーキャンセリング中断あり)の動作の流れを示すフローチャートである。 各種動作条件が変更された場合におけるAVアンプの動作の流れを示すフローチャートである。 AVアンプにおけるエコーキャンセリング連動可否判断の動作の流れを示すフローチャートである。 通話中に音声出力がテレビジョン受像機からAVアンプに変更された場合における通信システムの動作例を示すシーケンス図である。 通話中に音声出力がAVアンプからテレビジョン受像機に変更された場合における通信システムの動作例を示すシーケンス図である。 AVアンプの音量が変更された場合における通信システムの動作例を示すシーケンス図である。 外付けアンプの場合におけるエコーキャンセリング処理(音量通知あり)の動作の流れを示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
1.HDMI規格の説明
2.実施形態の説明
2−1.AVシステムの構成例
2−2.通信システムの構成例
2−3.通信システムの動作の流れ
3.むすび
<<1.HDMI規格の説明>>
まず、本開示の実施形態に係るAVシステム(機器制御システム)に適用され得るHDMI規格について説明する。近年、映像信号(画像信号)及び音声信号(オーディオ信号)の伝送用デジタルインタフェースとしてHDMI(HighDefinition Multimedia Interface)が普及している。HDMIは、PC(Personal Computer)とディスプレイとの接続標準規格であるDVI(Digital Visual Interface)規格に音声伝送機能や著作権保護機能を加えて、AV(Audio Visual)機器向けにアレンジしたインタフェースとなっている。HDMI規格の詳細は、例えば、「High−Definition Multimedia Interface Specification Version 1.4」に記載されている。
また、HDMI規格のインタフェースにおいては、制御信号を双方向に伝送可能としている。そのため、例えば、HDMI規格のインタフェースにおいては、テレビジョン受像機にHDMIケーブルで接続されたSTB(Set Top Box)やビデオディスクプレーヤ等の出力装置にテレビジョン受像機からコントロール信号が伝送され得る。このように、テレビジョン受像機によりコントロール信号が伝送されることで、ユーザはテレビジョン受像機のリモートコントローラでAVシステム全体を操作することも可能となった。なお、HDMI規格の伝送ケーブルで伝送されるこれらの信号としては、機器をコントロールするための制御指令の他に、その指令に対する応答や、機器の状態を示す信号などが存在するが、本明細書ではこれらの信号を総括して制御信号と称する。
HDMI規格ではCEC(Consumer Electronics Control)を使った機器間制御が定義されている。CECは、HDMI規格で用意された1つの伝送ラインであり、双方向にデータ伝送を行うラインである。このCECラインを使うことで、HDMIネットワーク上に存在する各機器に割り当てられる固有の物理アドレスと論理アドレスに基づいて様々な制御が可能になる。例えば、ユーザがテレビジョン受像機でデジタル放送を視聴しているときに、テレビジョン受像機にHDMIケーブルで接続されたビデオディスクプレーヤを再生すると、テレビジョン受像機は自動的にビデオディスクプレーヤが接続された入力に切り換える。また、このビデオディスクプレーヤで表示するメニュー操作や、電源のオン/オフなどをテレビジョン受像機のリモートコントローラから操作することができる。
また、図2に示すように、HDMIネットワーク上に存在する各機器が割り当てられた論理アドレスに対応したCEC対応機器として認識されると、認識されたCEC対応機器に対する操作が可能となる。
HDMI−CEC規格では、テレビジョン受像機で画像を表示している機器を明示するためのCECメッセージとして<Active Source>が規定されている。この規定によれば、例えば、ユーザがHDMI規格対応のビデオディスクプレーヤの再生ボタンを操作すると、ビデオディスクプレーヤはプレーヤ自身が安定した映像信号を出力可能な状態(すなわち、アクティブな状態)であればAVストリームを出力する。また、ビデオディスクプレーヤは、アクティブ機器であることを示す<Active Source>メッセージをブロードキャストする。
ここで、「ブロードキャスト」とは、特定の機器に対してではなく全機器を送信先とした信号の一斉送信のことをいう。<Active Source>メッセージをブロードキャストされたテレビジョン受像機およびその他の外部機器は、ビデオプレーヤから出力されるAVストリームを再生するために経路の切り換えを行う。
このように、HDMI−CEC規格では、テレビジョン受像機で映像の表示を開始する機器が<Active Source>メッセージをネットワーク内の他の機器にブロードキャストすることが規定されている。なお、<Active Source>メッセージは、HDMI規格で定義されたCECメッセージの一つである。
以上、本開示の実施形態に係るAVシステムに適用され得るHDMI規格について説明した。
<<2.実施形態の説明>>
続いて、本開示の実施形態について説明する。本開示に係る技術は、多様な形態で実施され得る。
<2−1.AVシステムの構成例>
まず、本開示の実施形態に適用し得るAVシステムの構成例について説明する。図1は、AVシステムの構成例を示すブロック図である。
このAVシステム100は、テレビジョン受像機200と、AVアンプ300と、セットトップボックス400とを有している。セットトップボックス400は、HDMIのソース機器を構成している。AVアンプ300は、HDMIのリピータ機器を構成している。テレビジョン受像機200は、HDMIのシンク機器を構成している。セットトップボックス400は、各種の放送信号を受信してテレビジョン受像機200で視聴可能な信号に変換する機器である。
テレビジョン受像機200は、CEC対応機器であり、HDMI端子201,202と、光出力端子203と、を備えている。テレビジョン受像機200は、リモートコントローラ(図示せず)により遠隔制御可能な構成としてある。テレビジョン受像機200は、アプリケーションに基づく処理を実行し、所定の情報を表示したり、テレビジョン受像機200にHDMI端子201,202で接続される機器を制御したりする機能を有する。
セットトップボックス400は、HDMI端子401を備えており、CEC対応機器である。
AVアンプ300は、CEC対応機器であり、HDMI端子301,302,303,304と、光入力端子305とを備えている。このAVアンプ300には、スピーカ群が備えられており、AVアンプ300で再生処理したオーディオ信号をスピーカ群から出力させる構成としてある。AVアンプ300とスピーカ群とは、無線により接続されていてもよく、有線により接続されていてもよい。
テレビジョン受像機200およびAVアンプ300は、HDMIケーブル701および光ケーブル702を介して接続されている。すなわち、HDMIケーブル701の一端はテレビジョン受像機200のHDMI端子201に接続され、その他端はAVアンプ300のHDMI端子304に接続されている。また、光ケーブル702の一端はテレビジョン受像機200の光出力端子203に接続され、その他端はAVアンプ300の光入力端子305に接続されている。
また、AVアンプ300およびセットトップボックス400は、HDMIケーブル703を介して接続されている。すなわち、HDMIケーブル703の一端はAVアンプ300のHDMI端子301に接続され、その他端はセットトップボックス400のHDMI端子401に接続されている。
(物理アドレスおよび論理アドレスの取得)
図1に示すAVシステム100において、各機器の物理アドレス(Physical Address)およびCEC論理アドレス(Logical Address)の取得は、例えば、以下のように行われる。
すなわち、テレビジョン受像機200(物理アドレスは[0000]、CEC論理アドレスは{0})にHDMIケーブル701を介してAVアンプ300が接続されるとき、AVアンプ300はHDMI制御プロトコルを使用して、テレビジョン受像機200から物理アドレス[1000]を取得する。
CEC対応機器は、HDMI接続時に、論理アドレスを取得するように規定されている。CEC対応機器は、この論理アドレスを用いて、メッセージの送受信を行う。
図2は、デバイスとCEC論理アドレスの対応関係を表すテーブルを示す図である。デバイスの「TV」はテレビジョン受像機、プロジェクタ等の映像を表示する機器である。デバイスの「Recording Device」は、ハードディスクレコーダやDVDレコーダ等の録画機器である。デバイスの「Tuner」は、ケーブルテレビの受信などを行うSTB(Set Top Box)等のAVコンテンツを受信する機器である。デバイスの「Playback Device」はビデオプレーヤ、カムコーダ等の再生機器である。デバイスの「Audio System」はAVアンプ等のオーディオ処理装置である。
AVアンプ300は、上述したように、CEC対応機器である。AVアンプ300は、図2のテーブルに基づいて、「Audio System」として論理アドレス{5}を決定する。この場合、AVアンプ300は、CEC制御プロトコルの<Polling Message>で他の機器に、この論理アドレス{5}を持つ機器が存在しないことを認識した後に、当該論理アドレス{5}を自身の論理アドレスとして決定する。そして、AVアンプ300は、CEC制御プロトコルの<Report Physical Address>により、物理アドレス[1000]を取得した機器は、CEC対応機器で
論理アドレス{5}を取得したことを、テレビジョン受像機200など他の機器に通知する。
また、AVアンプ300にHDMIケーブル703を介してセットトップボックス400が接続されるとき、セットトップボックス400は、HDMI制御プロトコルを使用して、AVアンプ300から物理アドレス[1100]を取得する。
セットトップボックス400は、上述したように、CEC対応機器である。セットトップボックス400は、図2のテーブルに基づいて、「Tuner1」として論理アドレス{3}を決定する。この場合、セットトップボックス400は、CEC制御プロトコルの<Polling Message>で他の機器に、この論理アドレス{3}を持つ機器が存在しないことを認識した後に、当該論理アドレス{1}を自身の論理アドレスとして決定する。そして、セットトップボックス400は、CEC制御プロトコルの<Report Physical Address>により、物理アドレス[1100]を取得した機器は、CEC対応機器で{3}を取得したことを、テレビジョン受像機200およびAVアンプ300に通知する。
(映像信号および音声信号の再生)
図1に示すAVシステム100において、テレビジョン受像機200のチューナで選局された番組(コンテンツ)を視聴する場合には、以下のような動作が実行される。すなわち、チューナで得られる映像信号による画像は、テレビジョン受像機200の表示パネル(図示せず)に表示される。チューナで得られるオーディオ信号によるオーディオ(音声)は、AVアンプ300がシステムオーディオモードオフの状態にあるときは、テレビジョン受像機200のスピーカ(図示せず)から出力される。また、チューナで得られるオーディオ信号によるオーディオは、システムオーディオモードオンの状態にあるときは、AVアンプ300に備えられたスピーカ群から出力される。
テレビジョン受像機200のチューナで得られるオーディオ信号は、例えば光デジタルオーディオ信号とされて、光ケーブル702を介してAVアンプ300に供給される。また、AVアンプ300におけるシステムオーディオモードのオン/オフの設定は、ユーザがAVアンプ300の操作部(図示せず)を操作して行うことができる他、ユーザがテレビジョン受像機200の操作部(図示せず)を操作して行うことができる。また、AVアンプ300におけるシステムオーディオモードのオン/オフは、テレビジョン受像機200のリモートコントローラ(図示せず)の操作で、スピーカ切り替え指示を行うことでも設定できる。
また、図1に示すAVシステム100において、例えば、テレビジョン受像機200からの切り替え操作、セットトップボックス400の再生釦操作等により、セットトップボックス400でディスクから再生されたコンテンツ、あるいはチューナで選局された番組を視聴する場合には、以下のようになる。
すなわち、セットトップボックス400の出力映像信号による画像は、テレビジョン受像機200の表示パネル(図示せず)に表示される。この場合、セットトップボックス400の出力映像信号は、HDMIケーブル703、AVアンプ300およびHDMIケーブル701を介してテレビジョン受像機200に供給される。
セットトップボックス400の出力オーディオ信号による音声は、AVアンプ300がシステムオーディオモードオフの状態にあるときは、テレビジョン受像機200のスピーカ(図示せず)から出力される。この場合、セットトップボックス400の出力オーディオ信号は、HDMIケーブル703、AVアンプ300およびHDMIケーブル701を介してテレビジョン受像機200に供給される。
また、セットトップボックス400の出力オーディオ信号による音声は、AVアンプ300がシステムオーディオモードオンの状態にあるときは、AVアンプ300に備えられたスピーカ群から出力される。この場合、セットトップボックス400の出力オーディオ信号は、HDMIケーブル703を介してAVアンプ300に供給される。
(テレビジョン受像機の構成)
図3は、AVシステム100を構成するテレビジョン受像機(シンク機器)200の構成例を示すブロック図である。このテレビジョン受像機200は、HDMI端子201,202と、HDMIスイッチャ204と、HDMI受信部205と、アンテナ端子210と、デジタルチューナ211を有する。また、テレビジョン受像機200は、デマルチプレクサ(Demux)212と、MPEG(Moving Picture Expert Group)デコーダ213と、映像・グラフィック処理回路214と、パネル駆動回路215と、表示パネル216とを有する。さらに、テレビジョン受像機200は、音声処理回路217と、音声増幅回路218と、スピーカ219とを有する。さらにまた、テレビジョン受像機200は、内部バス230と、CPU(中央制御ユニット)231と、フラッシュROM232と、DRAM233と、受信部234と、ネットワークI/F235と、ネットワーク端子236と、マイク237と、カメラ238とを有している。
CPU231(制御部)は、テレビジョン受像機200の各部の動作を制御する。フラッシュROM232は、制御ソフトウェアの格納およびデータの保管を行う。DRAM233は、CPU231のワークエリア等を構成する。CPU231は、フラッシュROM232から読み出したソフトウェアやデータをDRAM233上に展開してソフトウェアを起動し、テレビジョン受像機200の各部を制御する。CPU231、フラッシュROM232およびDRAM233は、内部バス230に接続されている。
受信部234は、リモートコントローラRMから送信された、例えば赤外線のリモートコントロール信号(リモコンコード)を受信し、CPU231に供給する。ユーザは、リモートコントローラRMを操作することで、テレビジョン受像機200の操作、およびこのテレビジョン受像機200にHDMIケーブルで接続されているその他のCEC対応機器の操作を行うことができる。
ネットワークI/F235は、ネットワーク端子236に接続されたネットワークケーブルを介してネットワークに接続し、ネットワークに接続される各種装置との間でデータの送受信を実行する。
アンテナ端子210は、受信アンテナ(図示しない)で受信されたテレビジョン放送信号を入力する端子である。デジタルチューナ211は、アンテナ端子210に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリームを出力する。デマルチプレクサ212は、デジタルチューナ211で得られたトランスポートストリームから、ユーザの選択チャネルに対応した、パーシャルTS(Transport Stream)(映像データのTSパケット、オーディオデータのTSパケット)を抽出する。
また、デマルチプレクサ212は、デジタルチューナ211で得られたトランスポートストリームから、PSI/SI(Program Specific Information/Service Information)を取り出し、CPU231に出力する。デジタルチューナ211で得られたトランスポートストリームには、複数のチャネルが多重化されている。デマルチプレクサ212で、当該トランスポートストリームから任意のチャネルのパーシャルTSを抽出する処理は、PSI/SI(PAT/PMT)から当該任意のチャネルのパケットID(PID)の情報を得ることで可能となる。
MPEGデコーダ213は、デマルチプレクサ212で得られる映像データのTSパケットにより構成される映像PES(Packetized Elementary Stream)パケットに対してデコード処理を行って映像データを得る。また、MPEGデコーダ213は、デマルチプレクサ212で得られるオーディオデータのTSパケットにより構成されるオーディオPESパケットに対してデコード処理を行ってオーディオデータを得る。
映像・グラフィック処理回路214は、MPEGデコーダ213で得られた映像データに対して、必要に応じて、スケーリング処理、グラフィックスデータの重畳処理等を行う。また映像・グラフィック処理回路214は、フラッシュROM232に予め格納されているアプリケーションに基づく処理による画像データを生成し、パネル駆動回路215に出力する。パネル駆動回路215は、映像・グラフィック処理回路214から出力される映像データに基づいて、表示パネル216を駆動する。表示パネル216は、例えば、LCD(Liquid Crystal Display)、有機EL(Electro−Luminescence)、PDP(Plasma DisplayPanel)等で構成されている。
音声処理回路217は、MPEGデコーダ213で得られたオーディオデータに対してD/A変換等の必要な処理を行う。音声増幅回路218は、音声処理回路217から出力されるアナログオーディオ信号を増幅してスピーカ219に供給する。また、音声処理回路217は、MPEGデコーダ213で得られたオーディオデータをデジタル光信号に変換して、光出力端子203に出力する。
HDMIスイッチャ204は、HDMI端子201,202をHDMI受信部205に選択的に接続する。HDMI受信部205は、HDMIスイッチャ204を介して、HDMI端子201,202のいずれかに選択的に接続されている。このHDMI受信部205は、HDMIに準拠した通信により、HDMI端子201,202に接続されている外部機器(ソース機器、またはリピータ機器)から送信されてくる映像とオーディオのデータを受信する。このHDMI受信部205の詳細は後述する。
(テレビジョン受像機の動作)
ここで、図3に示すテレビジョン受像機200の動作を簡単に説明する。アンテナ端子210に入力されるテレビ放送信号はデジタルチューナ211に供給される。このデジタルチューナ211では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応したトランスポートストリームが得られる。このトランスポートストリームは、デマルチプレクサ212に供給される。デマルチプレクサ212では、トランスポートストリームから、ユーザの選択チャネルに対応した、パーシャルTS(映像データのTSパケット、オーディオデータのTSパケット)が抽出される。このパーシャルTSは、MPEGデコーダ213に供給される。
MPEGデコーダ213では、映像データのTSパケットにより構成される映像PESパケットに対してデコード処理が行われて映像データが得られる。この映像データは、映像・グラフィック処理回路214において、必要に応じて、スケーリング処理、グラフィックスデータの重畳処理等が行われた後に、パネル駆動回路215に供給される。そのため、表示パネル216には、ユーザの選択チャネルに対応した画像が表示される。
また、MPEGデコーダ213では、オーディオデータのTSパケットにより構成されるオーディオPESパケットに対してデコード処理が行われてオーディオデータが得られる。このオーディオデータは、音声処理回路217でD/A変換等の必要な処理が行われ、さらに、音声増幅回路218で増幅された後に、スピーカ219に供給される。そのため、スピーカ219から、ユーザの選択チャネルに対応したオーディオが出力される。
また、MPEGデコーダ213で得られるオーディオデータは、音声処理回路217で、例えばS/PDIF規格のデジタル光信号に変換されて、光出力端子203に出力される。そのため、テレビジョン受像機200は、オーディオデータを、光ケーブルを介して、外部機器に送信できる。図1に示すAVシステム100においては、上述したように、テレビジョン受像機200からのオーディオデータが、光ケーブル702を介してAVアンプ300に供給される。
そして、AVアンプ300がシステムオーディオモードオンの状態にあるとき、AVアンプ300に備えられたスピーカ群から、テレビジョン受像機200からのオーディオデータによるオーディオが出力される。なお、この場合、CPU231により音声増幅回路218はミューティングオン状態とされ、テレビジョン受像機200のスピーカ219からオーディオは出力されない。
また、HDMI受信部205では、HDMIケーブルを介してHDMI端子201,202に入力される映像およびオーディオのデータが得られる。映像データは映像・グラフィック処理回路214に供給される。オーディオデータは、音声処理回路217に供給される。以降は、上述したテレビ放送信号の受信時と同様の動作となり、表示パネル216に画像が表示され、スピーカ219からオーディオが出力される。
図1に示すAVシステム100において、例えば、セットトップボックス400からの映像データ、オーディオデータによる画像、オーディオの視聴を行う場合には、上述したように、HDMI受信部205で取得された映像データ、オーディオデータによる画像、オーディオの視聴状態となる。
なお、この場合にあっても、AVアンプ300がシステムオーディオモードオンの状態にあるとき、AVアンプ300に備えられたスピーカ群からオーディオデータによるオーディオが出力され、テレビジョン受像機200の音声増幅回路218はミューティングオン状態とされ、テレビジョン受像機200からオーディオは出力されない。
(AVアンプの構成)
図4は、AVシステム100を構成するAVアンプ300の構成例を示すブロック図である。AVアンプ300は、HDMI端子301〜304と、光入力端子305と、HDMIスイッチャ306と、HDMI受信部307と、HDMI送信部308と、変換部310とを有する。また、AVアンプ300は、アナログオーディオ入力端子311と、A/D変換器315と、セレクタ316と、DSP(Digital Signal Processor)317とを有する。さらに、AVアンプ300は、音声増幅回路318と、内部バス320と、CPU321と、ROM322と、RAM323とを有している。
CPU321(制御部)は、AVアンプ300の各部の動作を制御する。ROM322は、制御ソフトウェアの格納およびデータの保管を行う。RAM323は、CPU321のワークエリア等を構成する。CPU321は、ROM322から読み出したソフトウェアやデータをRAM323上に展開してソフトウェアを起動し、AVアンプ300の各部を制御する。CPU321、ROM322およびRAM323は、内部バス320に接続されている。なお、CPU321、ROM322およびRAM323は、ワンチップのマイクロコンピュータ(ワンチップマイコン)であってもよい。
CPU321には、操作部324および表示部325が接続されている。これら操作部324および表示部325は、ユーザインタフェースを構成している。操作部324により、ユーザがAVアンプ300の出力オーディオの選択、動作設定等を行うことができる。ユーザは、この操作部324により、システムオーディオモードのオン/オフ等を設定できる。さらに、CPU321は、HDMI端子301〜304に接続されている外部機器との間でCEC信号を送受信することができる。CEC信号は、例えば、後に説明するCECラインにより送受信され得る。CEC信号は、上記した制御信号として機能し得る。
この操作部324は、AVアンプ300の図示しない筐体に配置されたキー、釦、ダイアル、リモートコントロール信号送受信部等で構成される。表示部325は、AVアンプ300の動作状態、ユーザの操作状態等を表示し、蛍光表示管やLCD(Liquid Crystal Display)等で構成される。
光入力端子305は、光ケーブルを通じてデジタル光信号を入力する端子である。光出力端子312は、光ケーブルを通じてデジタル光信号を出力する端子である。
変換部310は、光入力端子305に入力されたデジタル光信号から、オーディオ信号のサンプリング周波数と同じ周波数(例えば、48kHz)を持つクロックLRCK、サンプリング周波数の例えば512倍あるいは256倍のマスタークロックMCKと、クロックLRCKの1周期毎に存在するそれぞれ24ビットの左右のオーディオデータLDATA,RDATAと、データの各ビットに同期したビットクロックBCKを生成して、セレクタ316に供給する。
また、変換部310は、光入力端子305に入力されたデジタル光信号を光出力端子312から送出する。さらに、変換部310は、HDMI端子304に接続されている外部機器から送信されてくる信号のうちのARC(Audio Return Channel)信号をセレクタ316に供給することができる。ARC信号については後に詳細に説明するが、このARC信号によりオーディオデータを受信することができる。ARC信号は、例えば、後に説明するリザーブラインにより送受信され得る。
アナログオーディオ入力端子311は、外部機器で得られる左右のアナログオーディオ信号を入力する端子である。A/D変換器315は、アナログオーディオ入力端子311に入力されたアナログオーディオ信号をデジタルのオーディオデータに変換してセレクタ316に供給する。
HDMIスイッチャ306は、HDMI端子301〜303をHDMI受信部307に選択的に接続する。HDMI受信部307は、HDMIスイッチャ306を介して、HDMI端子301〜303のいずれかに選択的に接続されている。このHDMI受信部307は、HDMIに準拠した通信により、HDMI端子301〜303に接続されている外部機器(ソース機器)から一方向に送信されてくる映像とオーディオのデータを受信する。
HDMI受信部307は、オーディオデータをセレクタ316に供給すると共に、映像とオーディオのデータをHDMI送信部308に供給する。HDMI送信部308は、HDMIに準拠した通信により、HDMI受信部307から供給されたベースバンドの映像とオーディオのデータをHDMI端子304から送出する。これにより、AVアンプ300はリピータ機能を発揮する。HDMI受信部307およびHDMI送信部308の詳細は後述する。
セレクタ316は、HDMI受信部307から供給されるオーディオデータ、変換部310から供給されるオーディオデータまたはA/D変換器315から供給されるオーディオデータを選択的に取り出し、DSP317に供給する。
DSP317は、セレクタ316で得られたオーディオデータを処理し、周波数帯ごとに音量を調整するイコライジング処理、音像の定位位置を設定する音像定位処理等を行う。
音声増幅回路318は、DSP317から出力されるオーディオデータをアナログ信号に変換してスピーカ群350に出力する。また、音声増幅回路318は、CPU321から出力されるスピーカ群350を制御するための各種信号をスピーカ群350に出力する。また、音声増幅回路318は、スピーカ群350からアナログ信号を受信した場合には、受信したアナログ信号をデジタル信号に変換し、変換により得られるデジタル信号をCPU321に出力する。
(AVアンプの動作)
ここで、図4に示すAVアンプ300の動作を簡単に説明する。HDMI受信部307では、HDMIケーブルを介してHDMI端子301〜303に入力されるベースバンドの映像およびオーディオのデータが得られる。この映像およびオーディオデータは、HDMI送信部308に供給され、HDMI端子304に接続されたHDMIケーブルに送出される。
また、HDMI受信部307で得られるオーディオデータは、セレクタ316に供給される。セレクタ316では、HDMI受信部307から供給されるオーディオデータ、変換部310から供給されるオーディオデータまたはA/D変換器315から供給されるオーディオデータが選択的に取り出され、DSP317に供給される。
DSP317では、オーディオデータに対して、周波数帯ごとに音量を調整するイコライジング処理、音像の定位位置を設定する音像定位処理等の必要な処理が施される。DSP317から出力される各チャネルのオーディオ信号はスピーカ群350により出力される。
例えば、図1に示すAVシステム100において、テレビジョン受像機200のデジタルチューナ211で選局された番組の視聴を行う場合であって、AVアンプ300がシステムオーディオモードオンの状態にあるときには、以下のような動作となる。すなわち、セレクタ316では変換部310からのオーディオデータが取り出される。これにより、音声増幅回路318には、テレビジョン受像機200のデジタルチューナ211で選局された番組のオーディオデータに係る各チャネルのオーディオ信号が出力される。そのため、スピーカ群350からは、テレビジョン受像機200のデジタルチューナ211で選局された番組のオーディオが出力される。
なお、テレビジョン受像機200のデジタルチューナ211で選局された番組の視聴を行う場合であって、AVアンプ300がシステムオーディオモードオフの状態にあるときには音声増幅回路318がミューティングオン状態とされる。従って、音声増幅回路318からスピーカ群350にオーディオ信号は供給されない。なお、音声増幅回路318がミューティングオン状態とされる場合には、音声増幅回路318がミューティングオン状態とされるとともに、DSP317もミューティングオン状態とされてもよい。さらに、DSP317および音声増幅回路318とは別の構成がミューティング状態とされてもよい。以降においても同様である。
また、例えば、図1に示すAVシステム100において、セットトップボックス400からの映像データ、オーディオデータによる画像、オーディオの視聴を行う場合であって、AVアンプ300がシステムオーディオモードオンの状態にあるときには、以下のような動作となる。すなわち、HDMIスイッチャ306によりHDMI端子301がHDMI受信部307に接続される。また、セレクタ316ではHDMI受信部307からのオーディオデータが取り出される。これにより、音声増幅回路318には、セットトップボックス400からのオーディオデータに係る各チャネルのオーディオ信号が出力される。そのため、スピーカ群350からは、セットトップボックス400からのオーディオデータによるオーディオが出力される。
なお、セットトップボックス400からの映像データ、オーディオデータによる画像、オーディオの視聴を行う場合であって、AVアンプ300がシステムオーディオモードオフの状態にあるときには、音声増幅回路318がミューティングオン状態とされ、音声増幅回路318からスピーカ群350にオーディオ信号は供給されない。
(セットトップボックスの構成)
図5は、AVシステム100を構成するセットトップボックス(ソース機器)400の構成例を示すブロック図である。このセットトップボックス400は、HDMI端子401と、光出力端子403と、アンテナ端子410と、デジタルチューナ411を有する。また、セットトップボックス400は、デマルチプレクサ(Demux)412と、MPEG(Moving Picture Expert Group)デコーダ413と、映像・グラフィック処理回路414と、HDMI送信部415とを有する。さらに、セットトップボックス400は、音声処理回路417と、音声増幅回路418と、アナログ音声出力端子419とを有する。さらにまた、セットトップボックス400は、内部バス430と、CPU(中央制御ユニット)431と、フラッシュROM432と、DRAM433と、受信部434と、ネットワークI/F435と、ネットワーク端子436とを有している。
CPU431は、セットトップボックス400の各部の動作を制御する。フラッシュROM432は、制御ソフトウェアの格納およびデータの保管を行う。DRAM433は、CPU431のワークエリア等を構成する。CPU431は、フラッシュROM432から読み出したソフトウェアやデータをDRAM433上に展開してソフトウェアを起動し、セットトップボックス400の各部を制御する。CPU431、フラッシュROM432およびDRAM433は、内部バス430に接続されている。
受信部434は、リモートコントローラRMから送信された、例えば赤外線のリモートコントロール信号(リモコンコード)を受信し、CPU431に供給する。ユーザは、リモートコントローラRMを操作することで、セットトップボックス400の操作、およびこのセットトップボックス400にHDMIケーブルで接続されているその他のCEC対応機器の操作を行うことができる。
ネットワークI/F435は、ネットワーク端子436に接続されたネットワークケーブルを介してネットワークに接続し、ネットワークに接続される各種装置との間でデータの送受信を実行する。
アンテナ端子410は、受信アンテナ(図示しない)で受信されたテレビジョン放送信号を入力する端子である。デジタルチューナ411は、アンテナ端子410に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリームを出力する。デマルチプレクサ412は、デジタルチューナ411で得られたトランスポートストリームから、ユーザの選択チャネルに対応した、パーシャルTS(Transport Stream)(映像データのTSパケット、オーディオデータのTSパケット)を抽出する。
また、デマルチプレクサ412は、デジタルチューナ411で得られたトランスポートストリームから、PSI/SI(Program Specific Information/Service Information)を取り出し、CPU431に出力する。デジタルチューナ411で得られたトランスポートストリームには、複数のチャネルが多重化されている。デマルチプレクサ412で、当該トランスポートストリームから任意のチャネルのパーシャルTSを抽出する処理は、PSI/SI(PAT/PMT)から当該任意のチャネルのパケットID(PID)の情報を得ることで可能となる。
MPEGデコーダ413は、デマルチプレクサ412で得られる映像データのTSパケットにより構成される映像PES(Packetized Elementary Stream)パケットに対してデコード処理を行って映像データを得る。また、MPEGデコーダ413は、デマルチプレクサ412で得られるオーディオデータのTSパケットにより構成されるオーディオPESパケットに対してデコード処理を行ってオーディオデータを得る。
映像・グラフィック処理回路414は、MPEGデコーダ413で得られた映像データに対して、必要に応じて、スケーリング処理、グラフィックスデータの重畳処理等を行う。また映像・グラフィック処理回路414は、フラッシュROM432に予め格納されているアプリケーションに基づく処理による画像データを生成し、HDMI送信部415に出力する。HDMI送信部415は、映像・グラフィック処理回路414から出力される映像データを、HDMI端子401を介してAVアンプ300に出力する。
音声処理回路417は、MPEGデコーダ413で得られたオーディオデータに対してD/A変換等の必要な処理を行う。音声増幅回路418は、音声処理回路417から出力されるアナログオーディオ信号を増幅してアナログ音声出力端子419を介してAVアンプ300に供給する。
(セットトップボックスの動作)
ここで、図5に示すセットトップボックス400の動作を簡単に説明する。アンテナ端子410に入力されるテレビ放送信号はデジタルチューナ411に供給される。このデジタルチューナ411では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応したトランスポートストリームが得られる。このトランスポートストリームは、デマルチプレクサ412に供給される。デマルチプレクサ412では、トランスポートストリームから、ユーザの選択チャネルに対応した、パーシャルTS(映像データのTSパケット、オーディオデータのTSパケット)が抽出される。このパーシャルTSは、MPEGデコーダ413に供給される。
MPEGデコーダ413では、映像データのTSパケットにより構成される映像PESパケットに対してデコード処理が行われて映像データが得られる。この映像データは、映像・グラフィック処理回路414において、必要に応じて、スケーリング処理、グラフィックスデータの重畳処理等が行われた後に、HDMI送信部415に供給され、HDMI送信部415からHDMI端子401を介してAVアンプ300に出力される。そのため、HDMI端子401から、ユーザの選択チャネルに対応した映像が出力される。
また、MPEGデコーダ413では、オーディオデータのTSパケットにより構成されるオーディオPESパケットに対してデコード処理が行われてオーディオデータが得られる。このオーディオデータは、音声処理回路417でD/A変換等の必要な処理が行われ、さらに、音声増幅回路418で増幅された後に、アナログ音声出力端子419に供給される。そのため、アナログ音声出力端子419から、ユーザの選択チャネルに対応したオーディオが出力される。
また、MPEGデコーダ413で得られるオーディオデータは、音声処理回路417で、例えばS/PDIF規格のデジタル光信号に変換されて、光出力端子403に出力される。そのため、セットトップボックス400は、オーディオデータを、光ケーブルを介して、外部機器に送信できる。
(HDMI通信の詳細)
図6は、HDMI送信部(HDMI送信部308)とHDMI受信部(HDMI受信部307)の構成例を示すブロック図である。
HDMI送信部(HDMIソース)は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間および垂直帰線区間を除いた区間である有効画像区間(以下、適宜、アクティブビデオ区間ともいう)において、1単位の伝送を行う。即ち、アクティブビデオ区間で、非圧縮の1画面分の画像の画素データに対応する差動信号を、複数のチャネルで、HDMI受信部(HDMIシンク)に一方向に送信する。また、水平帰線区間または垂直帰線区間において、少なくとも画像に付随するオーディオデータや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、HDMI受信部に一方向に送信する。
HDMI送信部は、トランスミッタ81を有する。トランスミッタ81は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである3つのTMDSチャネル#0,#1,#2で、HDMIケーブルを介して接続されているHDMI受信部に、一方向にシリアル伝送する。
また、トランスミッタ81は、非圧縮の画像に付随するオーディオデータ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換する。そしてトランスミッタ81は、変換されたデータを、3つのTMDSチャネル#0,#1,#2でHDMIケーブルを介して接続されているHDMI受信部に、一方向にシリアル伝送する。
さらに、トランスミッタ81は、3つのTMDSチャネル#0,#1,#2で送信する画素データに同期したピクセルクロックを、TMDSクロックチャネルで、HDMIケーブルを介して接続されているHDMI受信部に送信する。ここで、1つのTMDSチャネル#i(i=0,1,2)では、ピクセルクロックの1クロックの間に、10ビットの画素データが送信される。
HDMI受信部は、アクティブビデオ区間において、複数のチャネルで、HDMI送信部から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、HDMI受信部は、水平帰線区間または垂直帰線区間において、複数のチャネルで、HDMI送信部から一方向に送信されてくる、オーディオデータや制御データに対応する差動信号を受信する。
すなわち、HDMI受信部は、レシーバ82を有する。レシーバ82は、TMDSチャネル#0,#1,#2で、HDMI送信部から一方向に送信されてくる、画素データに対応する差動信号と、オーディオデータや制御データに対応する差動信号を受信する。このとき、レシーバ82は、HDMI送信部からTMDSクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
HDMIシステムの伝送チャネルには、画素データおよびオーディオデータを、シリアル伝送するための伝送チャネルとしての3つのTMDSチャネル#0〜#2と、ピクセルクロックを伝送する伝送チャネルとしてのTMDSクロックチャネルが含まれる。また、DDC(Display Data Channel)83やCECライン84と呼ばれる伝送チャネルがある。
DDC83は、HDMI送信部が、HDMIケーブルを介して接続されたHDMI受信部から、E−EDID(Enhanced Extended Display Identification Data)を読み出すために使用される。DDC83は、HDMIケーブルに含まれる図示せぬ2本の信号線からなる。
すなわち、HDMI受信部は、HDMIレシーバ82の他に、EDID ROM85を有している。EDID ROM85は、自身の性能(Configuration/capability)に関する性能情報であるE−EDIDを記憶している。HDMI送信部は、HDMIケーブルを介して接続されているHDMI受信部から、当該HDMI受信部のE−EDIDを、DDC83を介して読み出す。そして、その読み出したE−EDIDに基づき、例えば、HDMI受信部を有する電子機器が対応している画像のフォーマット(プロファイル)、例えば、RGB、YCbCr4:4:4、YCbCr4:2:2等を認識する。
CECライン84は、HDMIケーブルに含まれる図示せぬ1本の信号線からなり、HDMI送信部とHDMI受信部との間で、制御用のデータの双方向通信を行うのに用いられる。双方向の通信は時分割で行われる。
また、HDMIケーブルには、HPD(Hot Plug Detect)と呼ばれるピンに接続されるライン86が含まれている。ソース機器は、当該ライン86を利用して、シンク機器の接続を検出することができる。また、HDMIケーブルには、ソース機器からシンク機器に電源を供給するために用いられるライン87が含まれている。さらに、HDMIケーブルには、リザーブライン88が含まれている。
図7は、CECライン(CECチャネル)で伝送されるデータのブロック構成を示す図である。データ伝送開始時には、スタートビットが配置され、それに続いて、ヘッダブロックが配置され、その後に、実際に伝送したいデータが含まれる任意の個数(n個)のデータブロックが配置される。
図8は、ヘッダブロックのデータ構造例を示す図である。ヘッダブロックには、送信元の論理アドレス(ソースアドレス)と、送信先の論理アドレス(シンクアドレス)とが配置される。送信元の論理アドレスは、Initiatorに相当し、送信先の論理アドレスは、Destinationに相当する。
CECのメッセージは10ビットのデータが最大16個繋がった構成をとる。その10ビットの内、後ろの2ビットは図8に示したように最終ビットである旨を示すEOMビットと、認識したことを示すACKビットとからなる。従って、以下においては、10ビットのデータの内、前の8ビットを1バイトとして扱うこととして説明する。
CECコマンドの先頭1バイトは、コマンドの送信元の論理アドレスが格納される4ビットと、コマンドの送信先の論理アドレスが格納される4ビットとからなる。図2に示したように、テレビジョン受像機200は一般的に論理アドレスとして0が指定され、AVアンプ300は論理アドレスとして5が指定される。またコマンドの送信方法としては、1つのデバイスから全てのデバイスに対して送信するブロードキャストと、1つのデバイスから特定の論理アドレスのデバイスへ対して送信するユニキャストとがある。
以上、本開示の実施形態に適用し得るAVシステム100の構成例について説明した。
<2−2.通信システムの構成例>
続いて、本開示の実施形態に係る通信システム全体の構成について説明する。図9は、本開示の実施形態に係る通信システム全体の構成例を示す図である。図9に示すように、本開示の実施形態に係る通信システムは、AVシステム100−1とAVシステム100−2とがネットワークを介して通信可能に構成されている。より詳細には、AVシステム100−1におけるテレビジョン受像機200(オーディオ機器)とAVシステム100−2におけるテレビジョン受像機200(通信相手機器)とがネットワークを介して通信可能に構成されている。以下の説明において、AVシステム100−1はユーザ自身によって使用され、AVシステム100−2はユーザと会話を行う相手によって使用されることとする。
図10は、本開示の実施形態に係るAVシステム100におけるテレビジョン受像機200によって表示パネル216に表示される画面構成例を示す図である。図10を参照すると、テレビジョン受像機200の表示パネル216には、TV画面R0、相手表示画面R1、自身表示画面R2およびSNS画面R3が表示されている。TV画面R0には、アンテナ端子210から入力された放送信号に応じた映像が表示されてもよいし、セットトップボックス400からAVアンプ300(オーディオ機器)を介して入力された放送信号に応じた映像が表示されてもよい。なお、図10に示したような画面は、ユーザによるボタン押下操作がなされたことを契機として表示されてよい。
例えば、AVシステム100−1のテレビジョン受像機200によって表示されている画面を閲覧しているユーザ自身は、テレビジョン受像機200に備えられたカメラ238によって撮影される。カメラ238によって撮影された映像は、自身表示画面R2として表示されるとともに、相手が使用するAVシステム100−2のテレビジョン受像機200にネットワーク端子236を介して送信される。また、相手が使用するAVシステム100−2から送信された相手の映像は、相手表示画面R1として表示される。AVシステム100−2のテレビジョン受像機200にも同様に、図10に示したような画面が表示されてよい。
また、ユーザは、TV画面R0(あるいは、相手表示画面R1、自身表示画面R2、SNS画面R3)を閲覧しながら相手と会話を行うことが可能である。具体的には、相手が発した音声(以下、「通話先音声」とも言う。)は、相手が使用するAVシステム100−2のテレビジョン受像機200に設けられているマイク237によって検出され、ネットワークI/F235によってネットワーク端子236を介して送信される。AVシステム100−1のテレビジョン受像機200は、通話先音声をネットワークI/F235によってネットワーク端子236を介して受信する。
AVシステム100−1のテレビジョン受像機200において、音声処理回路217は、CPU231の制御に従って、放送信号から抽出されたオーディオ(以下、「TV音声」とも言う。)に通話先音声を付加して、音声増幅回路218を介してスピーカ219から出力する。AVシステム100−1を使用するユーザは、通話先音声とTV音声とを聴きながら自身も音声を発することができる。ユーザ自身が発した音声は、マイク237によって検出され、ネットワークI/F235によってネットワーク端子236を介してAVシステム100−2のテレビジョン受像機200に送信される。
しかし、スピーカ219から出力された通話先音声およびTV音声も伝搬してマイク237によって検出されてしまうことがある。その結果として、通話先音声およびTV音声が減衰しながら遅延時間を生じてAVシステム100−1とAVシステム100−2との間を往復してしまうため、エコーがかかったような音声がテレビジョン受像機200から出力されてしまい、相手との会話が快適に行うことができなくなるという現象が起こり得る。したがって、本明細書においては、TV音声を聴きながら行う相手との会話をより快適にすることが可能な技術を主に提案する。
具体的には、音声処理回路217は、CPU231の制御に従って、オーディオ信号が伝搬してマイク237によって検出されたマイク検出信号から所定の音声信号(以下、「エコー」とも言う。)を除去する処理(以下、「エコーキャンセリング処理」)を行って、所定の音声信号が除去された除去信号(以下、「エコー除去信号」とも言う。)を生成する。CPU231は、生成されたエコー除去信号をAVシステム100−2のテレビジョン受像機200に出力させる。
かかる処理によって、エコーがかかったような音声が出力される可能性が低減され、TV音声を聴きながら行う相手との会話をより快適にすることが可能となる。TV音声と通話先音声とを含むオーディオ信号は、テレビジョン受像機200のスピーカ219から出力される場合もあれば、AVアンプ300のスピーカ群350から出力される場合もある。まず、TV音声および通話先音声を含むオーディオ信号をテレビジョン受像機200のスピーカ219から出力させる場合(以下、単に「TV単体の場合」とも言う。)を説明する。
図11は、TV単体の場合における音声の流れを示す図である。図11に示したように、CPU231は、TV音声および通話先音声を含むオーディオ信号をテレビジョン受像機200のスピーカ219から出力させてよい。かかる場合、出力されたTV音声および通話先音声は、図11に示すように、伝搬してユーザ自身が発した音声とともにマイク237によって検出されてしまう可能性がある。そこで、音声処理回路217は、エコーキャンセリング処理を行ってエコー除去信号を生成し、CPU231は、エコー除去信号をAVシステム100−2のテレビジョン受像機200に出力させればよい。以下、エコーキャンセリング処理について説明を続ける。
図12は、TV単体の場合におけるエコーキャンセリング処理に関連する構成を説明するための図である。図12に示すように、テレビジョン受像機200は、エコーキャンセリング処理に関連する構成として、スピーカ219、A/D変換部217a、適応フィルタ217b、D/A変換部217cおよびマイク237を備える。また、図12に示された変数および数式は、以下のように説明される。
Figure 0006311784
マイク237によって検出されたマイク検出信号は、A/D変換部217aにおいてデジタル信号に変換されて加算器に出力される。一方、TV音声および通話先音声を含むオーディオ信号は、適応フィルタ217bに出力されるとともに、D/A変換部217cにおいてアナログ信号に変換されてスピーカ219から出力される。適応フィルタ217bに出力されるオーディオ信号は、遅延時間DTVを生じている。このように遅延時間DTVを生じるのは、スピーカ219からマイク237にオーディオ信号が回り込むまでに遅延が生じるからである。なお、かかる遅延時間DTVは、システム内部において生じるシステムディレイとシステム外部において生じる伝搬ディレイとに大別される。
適応フィルタ217bにおいては、エコー推定信号(所定の音声信号)が算出されて加算器に出力される。適応フィルタ217bによる演算に使用される適応フィルタ係数は、所定の適応信号処理アルゴリズムによって学習されてよい。適応信号処理アルゴリズムの種類は特に限定されないが、LMS(Least Mean Square)法であってもよいし、学習同定法であってもよい。加算器においては、マイク検出信号からエコー推定信号が減算されてエコー除去信号が算出される。
ここで、適応フィルタ係数の算出の一例について説明する。図13は、学習によって得られた適応フィルタ係数の例を示す図である。図13を参照すると、適応フィルタ係数には有意な波形の前にゼロ信号区間が生じている。このようにゼロ信号区間が生じているのは、再生されたオーディオ信号がスピーカからマイクに回り込むまでに遅延が生じるからである。
無限の長さの適応フィルタを利用することが可能であれば、あらゆるディレイに対応可能である。しかし、実際には適応フィルタの長さは有限であるため、図13に示すように、演算コストの観点から固定ディレイ分は遅延バッファで実現し、適応フィルタ係数の演算の対象から除外するのが好ましい。固定ディレイ分としては、システムディレイと伝搬ディレイとの和よりも小さい値が用いられることとしてよい。
続いて、TV単体の場合におけるエコーキャンセリング処理の動作の流れについて説明する。図14は、TV単体の場合におけるエコーキャンセリング処理の動作の流れを示すフローチャートである。まず、テレビジョン受像機200において、CPU231は、システムディレイを設定し(システムディレイDに遅延時間DTVを設定し)(ステップS101)、フィルタ係数を初期化する(ステップS102)。続いて、CPU231は、エコーキャンセリングを開始する(ステップS103)。
エコーキャンセリングが開始されると、適応フィルタ217bは、マイク237によって検出されたマイク検出信号を取得するとともに(ステップS104)、TV音声および通話先音声を含むオーディオ信号を取得する(ステップS105)。続いて、適応フィルタ217bは、エコー推定を行い(エコー推定信号を生成し)(ステップS106)、加算器は、マイク検出信号からエコー推定信号を除去してエコー除去信号を生成し、生成したエコー除去信号を出力する(ステップS107)。また、CPU231は、フィルタ係数を更新して(ステップS108)、通話が終わっていない場合には、ステップS104に戻るが、通話が終わった場合には、エコーキャンセリングを終了する(ステップS109)。
以上、TV単体の場合を説明した。テレビジョン受像機200から出力される音声の音質を良くするために、テレビジョン受像機200に接続されたAVアンプ300が音声出力に用いられることがある。すなわち、TV音声と通話先音声とを含むオーディオ信号は、テレビジョン受像機200に接続されたAVアンプ300のスピーカ群350から出力される場合(以下、単に「外付けアンプの場合」とも言う。)もある。以下、外付けアンプの場合を説明する。
ここで、セットトップボックス400とAVアンプ300とをテレビジョン受像機200にHDMI接続する場合、一般にテレビジョン受像機200よりもAVアンプ300の方がよりリッチなオーディオ信号を受けられることから、セットトップボックス400、AVアンプ300およびテレビジョン受像機200の順に接続することがある。例えば、セットトップボックス400、テレビジョン受像機200およびAVアンプ300の順に接続すると、マルチチャンネル信号をAVアンプ300において再生できなくなってしまうのが一般的である。
一般的なAVアンプ300が有するHDMIリピータ機能の場合、AVアンプ300が音声を出力する場合は、AVアンプ300としてのオーディオ信号の受信能力を示すようにEDIDを制御し、セットトップボックス400からの信号はAVアンプ300のリピータを経由してAVアンプ300に入力される。このとき、AVアンプ300のスピーカ群350から音声を出力しているときは、映像信号のみをテレビジョン受像機200に伝送する構成をとることが一般的である。
このような接続をしているときは、テレビジョン受像機200に対してオーディオ信号が伝送されないため、テレビジョン受像機200がエコーキャンセリングを行う能力を有していたとしても、テレビジョン受像機200がHDMI経由でそのオーディオ信号を受信することができないため、テレビジョン受像機200においてエコーキャンセリングを行うことができなくなってしまう。
AVアンプ300のHDMI端子を経由してセットトップボックス400などから入力された音声に対してエコーキャンセリングをテレビジョン受像機200で行わせるためには、以下のようにするとよい。すなわち、AVアンプ300においてセットトップボックス400から受信したHDMI信号をそのままテレビジョン受像機200に渡し、テレビジョン受像機200においてエコーキャンセリングを行い、テレビジョン受像機200からの音声をAVアンプ300に戻して音声を再生するようにするとよい。
図15は、外付けアンプの場合における通常時の映像データおよびオーディオデータの流れを示す図である。図15に示したように、例えば、セットトップボックス400からHDMI端子301を介して入力データがAVアンプ300に入力されたとする。入力データには、映像データとオーディオデータとが含まれている。CPU321は、HDMI端子301を介してセットトップボックス400から入力される入力データからオーディオデータを分離してスピーカ群350から出力させることができる。ユーザは、このようにスピーカ群350から出力されたオーディオを聴くことができる。
また、CPU321は、HDMI端子301を介してセットトップボックス400から入力される入力データから映像データを分離してテレビジョン受像機200に出力させることができる。映像データは、CPU321の制御に従って、HDMI端子304を介してテレビジョン受像機200に出力される。また、HDMI端子201を介してテレビジョン受像機200に入力された映像データは、CPU231の制御に従って、映像としてテレビジョン受像機200の表示パネル216から出力される。ユーザは、このようにテレビジョン受像機200から出力された映像を閲覧することができる。
次に、外付けアンプの場合におけるキャンセリングを行う場合を想定する。かかる場合には、マイクをはじめとする専用回路がAVアンプ300に必要となる上に、その用途は限定されるため現実的ではなく実現性が低い。AVアンプ300にマイクをはじめとする専用回路が設けられずにテレビジョン受像機200にAVアンプ300が接続されると、TV単体の場合に行われていたキャンセリングが行われなくなってしまう。これは音質をよくするためにテレビジョン受像機200にAVアンプ300を接続するというユーザの行為とはマッチしないものとなってしまう。
したがって、AVアンプ300から出力されたTV音声と通話先音声とを含むオーディオ信号をテレビジョン受像機200に搭載されているマイク237によって検出し、テレビジョン受像機200においてキャンセリングを行うのがよい。図16は、外付けアンプの場合におけるキャンセリング連動時の映像データおよびオーディオデータの流れを示す図である。図16に示したように、例えば、セットトップボックス400からHDMI端子301を介して入力データがAVアンプ300に入力されたとする。入力データには、映像データとオーディオデータとが含まれている。CPU321は、HDMI端子301を介してセットトップボックス400から入力される入力データを、HDMI端子304を介してテレビジョン受像機200に出力することができる。
また、CPU231は、HDMI端子201を介してAVアンプ300から入力される入力データから映像データを分離することができる。映像データは、CPU231の制御に従って、映像としてテレビジョン受像機200の表示パネル216から出力される。ユーザは、このようにテレビジョン受像機200から出力された映像を閲覧することができる。また、CPU231は、ネットワーク端子236を介してネットワークI/F235によって受信された通話先音声をオーディオデータ(TV音声)に対して付加して、TV音声と通話先音声とを含むオーディオデータを、光出力端子203を介してAVアンプ300に出力する。
AVアンプ300においては、光入力端子305、ARC対応のHDMI端子304、またはアナログオーディオ入力端子311を介して入力されるオーディオデータを、スピーカ群350に出力することが可能である。ユーザは、このようにスピーカ群350から出力されたTV音声および通話先音声を聴くことができる。TV音声と通話先音声とを含むオーディオデータは、ユーザ自身が発した音声(以下、「通話元音声」とも言う。)とともにマイク237によってマイク検出信号として検出される。しかし、音声処理回路217によってエコーキャンセリングが行われることによってマイク検出信号からエコー推定信号が除去されたエコー除去信号が生成される。
エコー除去信号には通話元音声が主に含まれる。ネットワークI/F235は、音声処理回路217によって生成されたエコー除去信号を、ネットワーク端子236を介して通信相手機器に送信することができる。以下、エコーキャンセリング処理について説明を続ける
図17は、外付けアンプの場合におけるエコーキャンセリング処理に関連する構成を説明するための図である。図17に示すように、テレビジョン受像機200は、エコーキャンセリング処理に関連する構成として、A/D変換部217a、適応フィルタ217bおよびマイク237を備える。また、テレビジョン受像機200に接続されるAVアンプ300は、エコーキャンセリング処理に関連する構成として、DSP317、D/A変換部318a、スピーカ群350およびCPU321を備える。
マイク237によって検出されたマイク検出信号は、A/D変換部217aにおいてデジタル信号に変換されて加算器に出力される。一方、TV音声および通話先音声を含むオーディオ信号は、適応フィルタ217bに出力されるとともに、AVアンプ300のDSP317によって音声処理がなされ、D/A変換部318aにおいてアナログ信号に変換されてスピーカ350から出力される。適応フィルタ217bに出力されるオーディオ信号は、遅延時間DTV+DAMPを生じている。このように遅延時間DTV+DAMPを生じるのは、スピーカ350からマイク237にオーディオ信号が回り込むまでに遅延が生じるからである。なお、かかる遅延時間DTV+DAMPは、システム内部において生じるシステムディレイとシステム外部において生じる伝搬ディレイとに大別される。
適応フィルタ217bにおいては、エコー推定信号が算出されて加算器に出力される。適応フィルタ217bによる演算に使用される適応フィルタ係数は、所定の適応信号処理アルゴリズムによって学習されてよい。適応信号処理アルゴリズムの種類は特に限定されないが、LMS(Least Mean Square)法であってもよいし、学習同定法であってもよい。加算器においては、マイク検出信号からエコー推定信号が減算されてエコー除去信号が算出される。なお、AVアンプ300の状態によって固定ディレイが変わる可能性がある場合には、固定ディレイが動的に制御されてよい。
続いて、テレビジョン受像機200のデジタルチューナ211(TV TUNER)から出力される映像データおよび音声データが視聴される場合を説明する。図18は、デジタルチューナ211から出力される映像データおよび音声データが視聴される場合を説明するための図である。図18を参照すると、エコーキャンセリングと非連動中においては、デジタルチューナ211によって選択された放送信号に応じた映像がTV画面R0に表示されている。また、エコーキャンセリングと非連動中においては、TV音声がテレビジョン受像機200からAVアンプ300に出力される。
一方、図18を参照すると、エコーキャンセリングと連動中においては、デジタルチューナ211によって選択された放送信号に応じた映像がTV画面R0に表示されている他、相手表示画面R1、自身表示画面R2、SNS画面R3なども表示されている。また、エコーキャンセリングと連動中においては、TV音声および通話先音声がテレビジョン受像機200からAVアンプ300に出力される。AVアンプ300は、音声入力をTVのままとしてTV音声および通話先音声をスピーカ群350から出力する。
続いて、ソース機器から出力される映像データおよび音声データが視聴される場合を説明する。図19は、ソース機器の例としてのセットトップボックス400から出力される映像データおよび音声データが視聴される場合を説明するための図である。図19を参照すると、エコーキャンセリングと非連動中においては、セットトップボックス400から入力された放送信号に応じた映像がSTB画面R0に表示されている。また、エコーキャンセリングと非連動中においては、TV音声がセットトップボックス400からAVアンプ300に出力される。
また、図19を参照すると、エコーキャンセリングと非連動中においては、HDMI端子301からAVアンプ300に入力された放送信号に応じた音声がAVアンプ300から出力され、AVアンプ300は、テレビジョン受像機200に音声を伝送しなくてよい。かかる場合、AVアンプ300は、音声入力をHDMIとし、AVアンプ300の能力を示すEDIDをセットトップボックス400に提示すればよい。
なお、AVアンプ300からEDIDが提示された場合、セットトップボックス400は、提示されたEDIDに対応するデータをAVアンプ300に入力する。例えば、セットトップボックス400は、テレビジョン受像機200の能力を示す性能情報がAVアンプ300から提示された場合には、テレビジョン受像機200の能力に対応する音声をAVアンプ300に入力する。一方、セットトップボックス400は、AVアンプ300の能力を示す性能情報がAVアンプ300から提示された場合には、AVアンプ300の能力に対応する音声をAVアンプ300に入力する。
一方、図19を参照すると、エコーキャンセリングと連動中においては、HDMI端子301からAVアンプ300に入力された放送信号に応じた映像がSTB画面R0に表示されている他、相手表示画面R1、自身表示画面R2、SNS画面R3なども表示されている。また、エコーキャンセリング連動中においては、HDMI端子301からAVアンプ300に入力されたTV音声および通話先音声がHDMI端子304からテレビジョン受像機200に出力される。
かかる場合、AVアンプ300は、テレビジョン受像機200およびAVアンプ300の能力を示すEDIDをセットトップボックス400に提示すればよい。AVアンプ300の能力を示すEDIDをセットトップボックス400に提示していても、AVアンプ300がその信号を変換し、テレビジョン受像機200の提示するEDIDを満たす信号で信号伝送できる場合、AVアンプ300はそのEDIDを変更することなく、音声信号をテレビジョン受像機200に出力できる。また、エコーキャンセリングと連動中においては、TV音声および通話先音声がテレビジョン受像機200からAVアンプ300に出力される。AVアンプ300は、音声入力をHDMIからTVに切り替えるとともに、テレビジョン受像機200から入力されたTV音声および通話先音声をスピーカ群350から出力する。
続いて、参考例として2画面モード/非2画面モード切り替えの例を説明する。図20は、一般的な2画面モード/非2画面モード切り替えの例を説明するための図である。図20に示すように、非2画面モードにおいては、図19に示したエコーキャンセリングと非連動中の場合と同様な動作がなされる。一方、2画面モードにおいては、HDMI端子301からAVアンプ300に入力された放送信号に応じた映像がSTB画面R01に表示されている他、デジタルチューナ211によって選択された放送信号に応じた映像がTV画面R02に表示されている。
ここで、TV画面R02にフォーカスされているとき(右画面フォーカス時)には、
デジタルチューナ211によって選択された放送信号に応じた音声がテレビジョン受像機200から出力され、AVアンプ300は、テレビジョン受像機200に音声を伝送しなくてよい。かかる場合、AVアンプ300は、音声入力をTVとし、AVアンプ300の能力を示すEDIDをセットトップボックス400に提示したままとすればよい。そして、テレビジョン受像機200は、音声入力をTV TUNERとすればよい。
一方、STB画面R01にフォーカスされているとき(左画面フォーカス時)には、HDMI端子301からAVアンプ300に入力された放送信号に応じた音声がAVアンプ300から出力され、AVアンプ300は、テレビジョン受像機200に音声を伝送しなくてよい。かかる場合、AVアンプ300は、音声入力をHDMIとし、AVアンプ300の能力を示すEDIDをセットトップボックス400に提示すればよい。そして、テレビジョン受像機200は、音声入力をHDMI1とすればよい。
続いて、テレビジョン受像機200とAVアンプ300との間の情報通知の例について説明する。図21は、テレビジョン受像機200とAVアンプ300との間の情報通知の例を示す図である。AVアンプ300は音声に対してサラウンド処理や各種変換処理(例えば、周波数変換、残響の付加など)を行うことがあり、音声に非線形性が現れたり遅延が加わったりすることがある。しかし、このような処理がなされると、スピーカから出力された音声をマイクで検知し、マイク検出信号に対してエコーキャンセリングを行うに際して、所望のエコーキャンセリングがなされなくなるといった不具合が発生し得る。
そこで、図21に示すように、テレビジョン受像機200においてCPU231は、エコーキャンセリングを開始する場合、HDMI端子201を介してAVアンプ300にエコーキャンセリング開始要求を伝送するとよい。エコーキャンセリング開始要求の伝送には、HDMI−CECコマンドが用いられてよい。また、図21に示すように、AVアンプ300においてCPU321がHDMI端子304を介してエコーキャンセリング開始要求を受信した場合、CPU321はHDMI端子304を介してテレビジョン受像機200に音声遅延量を通知するとよい。テレビジョン受像機200に通知される音声遅延量は、AVアンプ300において生じる音声遅延量であってよい。
また、AVアンプ300においてはLipSyncへの対応として映像信号に対してオーディオ信号を遅らせる処理がなされることがある。例えば、このような機能によって音声遅延量を変更した場合、変更後の音声遅延量をテレビジョン受像機200において検出されないままエコーキャンセリングが行われると、エコーキャンセリングが適切になされない可能性がある。そこで、CPU321はHDMI端子304を介してテレビジョン受像機200に変更後の音声遅延量を通知するとよい。
また、AVアンプ300においてCPU321がHDMI端子304を介してエコーキャンセリング開始要求を受信した場合、音声処理回路217は、非線形性が現れるような音声処理(例えば、上記のサラウンド処理や各種変換処理など)を停止するようにしてもよい。図22は、音場の切り替えを説明するための図である。図22に示すように、エコーキャンセリングと非連動中の状態においては、任意の音場が選択されていてよいが、エコーキャンセリングと連動中に状態が切り替わった場合には、非線形性が現れるような音声処理を停止するなどの処置によりエコーキャンセリング効果のある音場に切り替えられてもよい。
なお、AVアンプ300においてCPU321がHDMI端子304を介してエコーキャンセリング開始要求を受信した場合、音声処理回路217は、非線形性が現れるような音声処理を無条件に停止してもよいが、所定の条件が満たされる場合に、非線形性が現れるような音声処理を停止してもよい。例えば、音声処理回路217は、非線形性が現れるような音声処理を行うことができない場合には、非線形性が現れるような音声処理を停止してもよい。
例えば、AVアンプ300においてはLipSyncへの対応として映像信号に対してオーディオ信号を遅らせる処理がなされることがある。そこで、音声処理回路217は、映像信号に対するオーディオ信号の遅れの時間が閾値よりも長い場合には、サラウンド処理が困難になるとしてエコーキャンセリンングの音声処理を停止してもよい。一方、音声処理回路217は、映像信号に対するオーディオ信号の遅れの時間が閾値よりも短い場合には、エコーキャンセリンングの音声処理を継続してもよい。
図21に戻って説明を続ける。その他、AVアンプ300においてCPU321がHDMI端子304を介してエコーキャンセリング開始要求を受信した場合、CPU321は、セットトップボックス400に示す音声信号のEDIDを切り替えることによって、セットトップボックス400からの音声をテレビジョン受像機200に渡せるようにしてよい。
図21に示すように、テレビジョン受像機200においてCPU231は、エコーキャンセリングを終了する場合、HDMI端子201を介してAVアンプ300にエコーキャンセリング終了要求を伝送するとよい。エコーキャンセリング終了要求の伝送には、HDMI−CECコマンドが用いられてよい。また、図21に示すように、AVアンプ300においてCPU321がHDMI端子304を介してエコーキャンセリング終了要求を受信した場合、音声処理回路217は、音声処理を元に戻してよい。その他、AVアンプ300においてCPU321がHDMI端子304を介してエコーキャンセリング終了要求を受信した場合、CPU321は、セットトップボックス400に示す音声信号のEDIDを元に戻してよい。
また、AVアンプ300からテレビジョン受像機200に対して音声信号が入力されなくなってからも、テレビジョン受像機200においてエコーキャンセリングが継続してしまうと、本来キャンセルされるはずのオーディオ信号を逆相にしたオーディオ信号を通信相手機器に送信してしまうことになってしまう。そこで、CPU321は、テレビジョン受像機200からの音声信号を再生できなくなった場合には、HDMI端子304を介してテレビジョン受像機200にエコーキャンセリング中断要求を通知するとよい。
テレビジョン受像機200からの音声信号を再生できない場合は、AVアンプ300の音声入力がテレビジョン受像機200以外の入力に切り替わった場合であってもよいし、AVアンプ300においてMutingがオン状態となった場合であってもよい。また、テレビジョン受像機200からの音声信号を再生できない場合は、AVアンプ300にヘッドホンが接続された場合であってもよいし、AVアンプ300におけるスピーカ出力がオフになった場合であってもよいし、スピーカ出力がテレビスピーカになった場合であってもよい。
また、テレビジョン受像機200からの音声信号を再生できない場合は、AVアンプ300が電源オフされた場合であってもよいし、自動音場補正測定中になった場合であってもよいし、テストトーン出力中になった場合であってもよい。また、テレビジョン受像機200からの音声信号を再生できない場合は、HDMI出力設定があり、複数の機器に伝送できたりそれをしない設定がある場合において、テレビジョン受像機200に出力されなくなった場合であってもよい。また、CPU321は、テレビジョン受像機200に対して音声信号を入力できるようになった場合には、HDMI端子304を介してテレビジョン受像機200にエコーキャンセリング再開要求を通知してもよい。
<2−3.通信システムの動作の流れ>
続いて、本開示の実施形態に係る通信システムの動作の流れを説明する。図23は、TV視聴中における通信システムの動作全体の流れを示すシーケンス図である。図23に示すように、テレビジョン受像機200の内蔵Tuner(デジタルチューナ211)によって選択された番組の視聴中であり(ステップS201)、AVアンプ300においては音声入力がテレビジョン受像機200である場合を想定する(ステップS202)。続いて、テレビジョン受像機200において通話開始前動作がなされたとする(ステップS203)。
かかる場合、テレビジョン受像機200は、ブロードキャストによりメッセージ<Active Source>を送信する(ステップS204)。AVアンプ300は、テレビジョン受像機200からブロードキャストにより送信されるメッセージ<Active Source>に基づいて、オーディオ信号の入力をHDMI端子304またはTV専用端子(光入力端子305またはアナログオーディオ入力端子311またはARC対応のHDMI入力304)に切り替える。続いて、テレビジョン受像機200およびAVアンプ300においては、通話開始および終了処理がなされる(ステップS205)。続いて、テレビジョン受像機200において通話終了後動作がなされたとする(ステップS206)。
かかる場合、テレビジョン受像機200は、ブロードキャストによりメッセージ<Active Source>を送信する(ステップS207)。AVアンプ300は、テレビジョン受像機200からブロードキャストにより送信されるメッセージ<Active Source>に基づいて、オーディオ信号の入力をHDMI端子304またはTV専用端子(光入力端子305またはアナログオーディオ入力端子311)に切り替える。なお、既に把握されているActive Source情報を利用する場合には、ステップS204およびステップS207は、行われなくてもよい。
図24は、STB視聴中における通信システムの動作全体の流れを示すシーケンス図である。図24に示すように、STB視聴中であり(ステップS301)、AVアンプ300においてはHDMI1(1.1.0.0)を選択中である場合を想定する(ステップS306)。また、セットトップボックス400においては電源オンである場合を想定する(ステップS303)。続いて、テレビジョン受像機200において通話開始前動作がなされたとする(ステップS304)。
かかる場合、テレビジョン受像機200は、ブロードキャストによりメッセージ<Active Source>を送信する(ステップS305)。AVアンプ300は、テレビジョン受像機200からブロードキャストにより送信されるメッセージ<Active Source>に基づいて、オーディオ信号の入力をHDMI端子304またはTV専用端子(光入力端子305またはアナログオーディオ入力端子311)に切り替える。続いて、テレビジョン受像機200およびAVアンプ300においては、通話開始および終了処理がなされる(ステップS307)。続いて、テレビジョン受像機200において通話終了後動作がなされたとする(ステップS308)。
かかる場合、テレビジョン受像機200は、ブロードキャストによりメッセージ<Routing Change>を送信し(ステップS309)、AVアンプ300からメッセージ<Routing Information>[1.1.0.0]を受信することにより信号送信元(セットトップボックス400)を追跡する(ステップS310)。テレビジョン受像機200は、セットトップボックス400にメッセージ<Give Device Power Status>を送信し(ステップS311)、セットトップボックス400からメッセージ<Report Power Status>[On]を受信する(ステップS312)。
このときセットトップボックス400の電源状態がオンと判定されたとき、テレビジョン受像機200は、セットトップボックス400に対してメッセージ<Set Stream Path>[1.1.0.0]を送信する(ステップS313)。セットトップボックス400はメッセージ<Text View On>または<Image View On>を送信する(ステップS314)。また、セットトップボックス400は、ブロードキャストによりメッセージ<Active Source>を送信する(ステップS315)。
テレビジョン受像機200は、セットトップボックス400からブロードキャストにより送信されるメッセージ<Active Source>に基づいて、オーディオ信号の入力をHDMI1(1.0.0.0)に切り替え(ステップS316)、通話開始前のソース視聴状態に戻る(ステップS318)。AVアンプ300は、セットトップボックス400からブロードキャストにより送信されるメッセージ<Active Source>に基づいて、オーディオ信号の入力をHDMI1(1.0.0.0)に切り替える(ステップS317)。このような動作により、通話終了時に元のセットトップボックス400の視聴状態に戻すことができる。
図25は、通話開始時および通話終了時の通信システムの動作の流れを示すシーケンス図である。テレビジョン受像機200において通話が開始されると(ステップS401)、テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300にエコーキャンセリング開始要求を送信する(ステップS402)。AVアンプ300においてCPU321がHDMI端子304を介してエコーキャンセリング開始要求を受信した場合、CPU321は、エコーキャンセリングとの各種連動動作を行い(ステップS403)、CPU321はHDMI端子304を介してテレビジョン受像機200に音声遅延量を送信する(ステップS404)。
テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300から音声遅延量を受信すると(ステップS402)、音声遅延量をエコーキャンセリング処理に反映する(ステップS405)。続いて、テレビジョン受像機200においてCPU231は、通話が終了されると(ステップS406)、HDMI端子201を介してAVアンプ300にエコーキャンセリング終了要求を送信する(ステップS407)。AVアンプ300においてCPU321がHDMI端子304を介してエコーキャンセリング終了要求を受信した場合、CPU321は、エコーキャンセリングとの各種連動動作を元に戻す(ステップS408)。
図26は、外付けアンプの場合におけるエコーキャンセリング処理(遅延量通知あり)の動作の流れを示すフローチャートである。まず、テレビジョン受像機200において、CPU231は、AMPディレイの初期値を設定し(AMPの遅延時間Dampに初期値Dを設定し)(ステップS501)、システムディレイを設定し(システムディレイDに遅延時間DTV+遅延時間Dampを設定し)(ステップS502)、フィルタ係数を初期化する(ステップS503)。続いて、CPU231は、エコーキャンセリングを開始する(ステップS504)。
エコーキャンセリングが開始されると、適応フィルタ217bは、マイク237によって検出されたマイク検出信号を取得するとともに(ステップS505)、TV音声および通話先音声を含むオーディオ信号を取得する(ステップS506)。CPU231は、HDMI端子201を介してAVアンプ300から音声遅延量Damp_newを受信しない場合(ステップS507において「NO」)、ステップS512に進む。一方、CPU231は、HDMI端子201を介してAVアンプ300から音声遅延量Damp_newを受信した場合には(ステップS507において「YES」)、所定の条件が満たされるか否かを判断する
所定の条件は、Damp_new−Dampが閾値Dth_uより大きい、または、Damp−Damp_newが閾値‐Dth_dより小さいという条件であってもよい。CPU231は、所定の条件が満たされない場合には(ステップS508において「NO」)、ステップS512に進む。一方、CPU231は、所定の条件が満たされた場合には(ステップS508において「YES」)、AMPディレイの更新設定を行い(DampをDamp_newで更新し)(ステップS509)、システムディレイの更新設定を行い(DをD TV +D amp で更新し)(ステップS510)、フィルタ係数を初期化する(ステップS511)。
続いて、適応フィルタ217bは、エコー推定を行い(エコー推定信号を生成し)(ステップS512)、加算器は、マイク検出信号からエコー推定信号を除去してエコー除去信号を生成し、生成したエコー除去信号を出力する(ステップS513)。また、CPU231は、フィルタ係数を更新して(ステップS514)、通話が終わっていない場合には、ステップS505に戻るが、通話が終わった場合には、エコーキャンセリングを終了する(ステップS515)。
図27は、エコーキャンセリング開始要求受信時におけるAVアンプ300の動作の流れを示すフローチャートである。まず、AVアンプ300においてCPU321がHDMI端子304を介してエコーキャンセリング開始要求を受信した場合
(ステップS601)、CPU321は、要求フラグを立て(ステップS602)、エコーキャンセリングが動作できない条件の中に該当する条件があるか否かを判断する(ステップS603)。エコーキャンセリングが動作できない条件は、上記したようにテレビジョン受像機200からのオーディオ信号を再生できなくなる条件であってよい。
CPU321は、エコーキャンセリングが動作できない条件の中に該当する条件がある場合には(ステップS603において「YES」)、HDMI端子304を介してテレビジョン受像機200にエコーキャンセリング中断要求を送信する(ステップS605)。一方、CPU321は、エコーキャンセリングが動作できない条件の中に該当する条件がない場合には(ステップS603において「NO」)、動作中フラグを立てるとともにエコーキャンセリングとの各種連動動作を開始し(ステップS604)、CPU321はHDMI端子304を介してテレビジョン受像機200に音声遅延量を送信する(ステップS606)。
図28は、エコーキャンセリングとの各種連動動作開始時におけるAVアンプ300の動作の流れを示すフローチャートである。図28に示すように、AVアンプ300においては、エコーキャンセリングとの各種連動動作が以下のように開始される(ステップS701)。AVアンプ300においては、AVアンプ300を示す音声信号のEDIDを記憶している(ステップS702)。CPU321は、AVアンプ300の音声信号のEDIDをAVアンプ300+テレビジョン受像機200を示すようにすり替える(ステップS703)。このときの具体的なEDIDはAVアンプ300とテレビジョン受像機200の両方が受信可能なものを指すが、テレビジョン受像機200のみの受信能力を示してもよい。また、EDIDにAVアンプ300の能力を示しても、入力された信号をAVアンプ300内で処理し、テレビジョン受像機200の示すEDIDに沿った信号に変換できる場合は、EDIDの変更を必要としない。
また、AVアンプ300においては、元の音声処理を記憶している(ステップS704)。CPU321は、非線形処理のない音声処理を行うように設定変更を行う(ステップS705)。かかる設定変更により、非線形性が現れるような音声処理が停止されるため、エコーキャンセリング効果のある音場への切り替えがなされる。
図29は、エコーキャンセリング終了要求受信時におけるAVアンプ300の動作の流れを示すフローチャートである。まず、AVアンプ300においてHDMI受信部307がHDMI端子304を介してエコーキャンセリング終了要求を受信した場合(ステップS801)、CPU321は、要求フラグをクリアし(ステップS802)、動作中フラグが立っているか否かを判断する(ステップS803)。
CPU321は、動作中フラグが立っていない場合には(ステップS803において「NO」)、エコーキャンセル終了要求受信時の動作を終了する。一方、CPU321は、動作中フラグが立っている場合には(ステップS803において「YES」)、動作中フラグをクリアするとともにエコーキャンセリングとの各種連動動作を終了する(ステップS804)。
図30は、エコーキャンセリングとの各種連動動作終了時におけるAVアンプ300の動作の流れを示すフローチャートである。図30に示すように、AVアンプ300においては、エコーキャンセリングとの各種連動動作が以下のように終了される(ステップS901)。AVアンプ300においてCPU321は、AVアンプ300の音声信号のEDIDを戻す(AVアンプ300を示すようにEDIDをすり替える)(ステップS902)。また、AVアンプ300においてCPU321は、音声処理を元に戻す(非線形処理のある音声処理を行うように設定変更を行う)(ステップS903)。かかる設定変更により、場合により非線形性が現れるような音声処理が再開される。
図31は、AVアンプ300において音声遅延量が変化した場合における通信システム全体の動作の流れを示すシーケンス図である。図31に示すように、テレビジョン受像機200において通話中であり(ステップS1001)、AVアンプ300においてエコーキャンセリングと連動中である(ステップS1002)。
続いて、AVアンプ300においてCPU321は、音声遅延量が変化した場合(ステップS1004)には、HDMI端子304を介してテレビジョン受像機200に変化後の音声遅延量を送信する(ステップS1003)。テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300から変化後の音声遅延量を受信すると、変化後の音声遅延量をエコーキャンセリング処理に反映する。
図32は、AVアンプ300において音声遅延量が変化した場合におけるAVアンプ300の動作の流れを示すフローチャートである。まず、AVアンプ300においてCPU321は、音声遅延量が変化した場合(ステップS1201)、動作中フラグが立っているか否かを判断する(ステップS1202)。動作中フラグが立っていないと判断された場合(ステップS1202において「NO」)、音声遅延量変化時における動作が終了される。
一方、動作中フラグが立っていると判断された場合(ステップS1202において「YES」)、CPU321はHDMI端子304を介してテレビジョン受像機200に音声遅延量を通知して(ステップS1203)、音声遅延量変化時における動作が終了される。
図33は、AVアンプ300の状態変化によりエコーキャンセリングとの連動を中断する場合における通信システムの動作の流れを示すシーケンス図である。図33に示すように、テレビジョン受像機200において通話中であり(ステップS1301)、AVアンプ300においてエコーキャンセリングと連動中である(ステップS1302)。続いて、AVアンプ300においてエコーキャンセリングの中断事由(テレビジョン受像機200からのオーディオ信号を再生できなくなったこと)が検出された場合(ステップS1303)、CPU321は、HDMI端子304を介してテレビジョン受像機200にエコーキャンセリング中断要求を通知する(ステップS1304)。
テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300からエコーキャンセリング中断要求を受信すると、エコーキャンセリングを中断する(ステップS1305)。また、AVアンプ300においてエコーキャンセリングの再開事由(テレビジョン受像機200からのオーディオ信号を再生できるようになったこと)が検出された場合(ステップS1306)、CPU321は、HDMI端子304を介してテレビジョン受像機200にエコーキャンセリング再開要求を通知する(ステップS1307)。
テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300からエコーキャンセリング再開要求を受信すると、エコーキャンセリングを再開する(ステップS1308)。
図34は、外付けアンプの場合におけるエコーキャンセリング処理(エコーキャンセリング中断あり)の動作の流れを示すフローチャートである。まず、テレビジョン受像機200において、CPU231は、AMPディレイの初期値を設定し(AMPの遅延時間Dampに初期値Dを設定し)(ステップS1401)、システムディレイを設定し(システムディレイDに遅延時間DTV+遅延時間Dampを設定し)(ステップS1402)、フィルタ係数を初期化する(ステップS1403)。続いて、CPU231は、エコーキャンセリングを開始する(ステップS1404)。
エコーキャンセリングが開始されると、適応フィルタ217bは、マイク237によって検出されたマイク検出信号を取得するとともに(ステップS1405)、TV音声および通話先音声を含むオーディオ信号を取得する(ステップS1406)。ここで、HDMI端子201を介してAVアンプ300からエコーキャンセリング中断要求が受信された場合(ステップS1407において「YES」)、A/D変換部217aは、マイク検出信号のデジタル信号を出力する(ステップS1308)。
一方、HDMI端子201を介してAVアンプ300からエコーキャンセリング中断要求が受信されない場合(ステップS1407において「NO」)、適応フィルタ217bは、エコー推定を行い(エコー推定信号を生成し)(ステップS1409)、加算器は、マイク検出信号からエコー推定信号を除去してエコー除去信号を生成し、生成したエコー除去信号を出力する(ステップS1410)。また、CPU231は、フィルタ係数を更新して(ステップS1411)、通話が終わっていない場合には、ステップS1405に戻るが、通話が終わった場合には、エコーキャンセリングを終了する(ステップS1412)。
図35は、各種動作条件が変更された場合におけるAVアンプ300の動作の流れを示すフローチャートである。まず、AVアンプ300において各種動作条件が変更された場合には(ステップS1501)、CPU321は、要求フラグが立っているか否かを判断する(ステップS1502)。CPU321は、要求フラグが立っていない場合には(ステップS1502において「NO」)、各種動作条件変更時の動作を終了する。一方、CPU321は、要求フラグが立っている場合には(ステップS1502において「YES」)、エコーキャンセリングが動作できない条件の中に該当する条件があるか否かを判断する(ステップS1503)。
CPU321は、エコーキャンセリングが動作できない条件の中に該当する条件がない場合には(ステップS1503において「NO」)、動作中フラグが立っているか否かを判断する(ステップS150)。CPU321は、動作中フラグが立っている場合には(ステップS1504において「YES」)、各種動作条件変更時の動作を終了する。一方、CPU321は、動作中フラグが立っていない場合には(ステップS1504において「NO」)、動作中フラグを立てるとともにエコーキャンセリングとの各種連動動作を開始し(ステップS1505)、CPU321はHDMI端子304を介してテレビジョン受像機200にエコーキャンセリング再開要求を送信する(ステップS1506)。
一方、エコーキャンセリングが動作できない条件の中に該当する条件がある場合には(ステップS1503において「YES」)、動作中フラグが立っているか否かを判断する(ステップS1507)。CPU321は、動作中フラグが立っていない場合には(ステップS1507において「NO」)、各種動作条件変更時の動作を終了する。一方、CPU321は、動作中フラグが立っている場合には(ステップS1507において「YES」)、動作中フラグをクリアするとともにエコーキャンセリングとの各種連動動作を終了し(ステップS1508)、CPU321はHDMI端子304を介してテレビジョン受像機200にエコーキャンセリング中断要求を送信する(ステップS1509)。
図36は、AVアンプ300におけるエコーキャンセリング連動可否判断の動作の流れを示すフローチャートである。図36に示すように、AVアンプ300においては、エコーキャンセリングとの連動可否判断が以下のように開始される(ステップS1601)。CPU321は、テレビジョン受像機200からのオーディオ信号を再生できない場合には、エコーキャンセリングとの連動が不可能であると判断し、テレビジョン受像機200からのオーディオ信号を再生できる場合には、エコーキャンセリングとの連動が可能であると判断してよい。
例えば、図36に示すように、CPU321は、音声入力がTVではない場合には(ステップS1602において「NO」)、エコーキャンセリングとの連動が不可能であると判断してよい。一方、CPU321は、音声入力がTVである場合には(ステップS1602において「YES」)、ステップS1603に進んでよい。また、CPU321は、Mutingがオン状態の場合には(ステップS1603において「NO」)、エコーキャンセリングとの連動が不可能であると判断してよい。一方、CPU321は、Muting状態がオフ状態の場合には(ステップS1603において「YES」)、ステップS1604に進んでよい。
また、CPU321は、AVアンプ300にヘッドホンが接続されている場合には(ステップS1604において「NO」)、エコーキャンセリングとの連動が不可能であると判断してよい。一方、CPU321は、AVアンプ300にヘッドホンが接続されていない場合には(ステップS1604において「YES」)、エコーキャンセリングとの連動が可能であると判断してよい。
図37は、通話中に音声出力がテレビジョン受像機200からAVアンプ300に変更された場合における通信システムの動作例を示すシーケンス図である。図37に示すように、テレビジョン受像機200において通話中であり(ステップS1701)、AVアンプ300においてMutingオン状態である(ステップS1702)。ここで、音声出力がテレビジョン受像機200からAVアンプ300に変更された場合、テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300にメッセージ<System Audio Mode Request>[On]を送信する(ステップS1703)。
AVアンプ300においてCPU321は、当該メッセージを受信すると、Mutingオフ状態とする(ステップS1704)。Mutingオフ状態になると、スピーカ群350からオーディオが出力されるようになる。続いて、テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300にメッセージ<Give Audio Status>を送信する(ステップS1705)。
AVアンプ300においてCPU321は、当該メッセージを受信すると、CPU321は、HDMI端子304を介してMuting状態と音量とを含むメッセージ<report Audio Status>[Muting Off/Volume]をテレビジョン受像機200に送信する(ステップS1706)。テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300から当該メッセージを受信しAVアンプ300が所望のMuting状態になっていることを確認すると、Mutingオン状態とする(ステップS1707)。Mutingオン状態になると、スピーカ219からオーディオが出力されなくなる。

続いて、テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300にエコーキャンセリング開始要求を送信する(ステップS1708)。
AVアンプ300においてCPU321がHDMI端子304を介してエコーキャンセリング開始要求を受信した場合、CPU321は、エコーキャンセリングとの各種連動動作を行い(ステップS1709)、HDMI端子304を介してテレビジョン受像機200に音声遅延量を送信する(ステップS1710)。テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300から音声遅延量を受信すると、音声遅延量および音量をエコーキャンセリング処理に反映する(ステップS1711)。
図38は、通話中に音声出力がAVアンプ300からテレビジョン受像機200に変更された場合における通信システムの動作例を示すシーケンス図である。図38に示すように、テレビジョン受像機200において通話中、かつ、Mutingオン状態であり(ステップS1801)、AVアンプ300において各種連動動作中である(ステップS1802)。ここで、音声出力がAVアンプ300からテレビジョン受像機200に変更された場合、テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300にメッセージ<System Audio Mode Request>[Off]を送信する(ステップS1803)。
AVアンプ300においてCPU321は、当該メッセージを受信すると、Mutingオン状態とする(ステップS1804)。Mutingオン状態になると、スピーカ群350からオーディオが出力されなくなる。続いて、AVアンプ300においてCPU321は、HDMI端子304を介してメッセージ<Set System Audio Mode>[Off]をブロードキャストにより送信し(ステップS1805)、各種連動動作を解除する(ステップS1807)。
テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300から当該メッセージを受信すると、Mutingオフ状態とする(ステップS1808)。Mutingオフ状態になると、スピーカ219からオーディオが出力されるようになる。続いて、テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300にメッセージ<Give Audio Status>を送信する(ステップS1809)。
AVアンプ300においてCPU321は、当該メッセージを受信すると、CPU321は、HDMI端子304を介してMuting状態と音量とを含むメッセージ<report Audio Status>[Muting Off/Volume]をテレビジョン受像機200に送信する(ステップS1810)。テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300から当該メッセージを受信すると、音量をエコーキャンセリング処理に反映する(ステップS1811)とともにテレビジョン受像機200はAVアンプ300が所望のMuting状態であることを確認する。
図39は、AVアンプ300の音量が変更された場合における通信システムの動作例を示すシーケンス図である。図39に示すように、AVアンプ300において各種連動動作中である(ステップS1902)。ここで、テレビジョン受像機200において音量を上げる操作がなされた場合(ステップS1901)、テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300にメッセージ<User Control Pressed>[Volume Up]を送信する(ステップS1903)。
AVアンプ300においてCPU321は、当該メッセージを受信すると、音量を上げる(ステップS1904)。続いて、AVアンプ300においてCPU321は、HDMI端子304を介してメッセージ<Report Audio Status>[Muting Off/Volume]をブロードキャストにより送信する(ステップS1905)。テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300から当該メッセージを受信すると、音量およびMuting状態をエコーキャンセリング処理に反映する(ステップS1906)。
テレビジョン受像機200において音量を上げる操作が終わると、テレビジョン受像機200においてCPU231は、HDMI端子201を介してAVアンプ300にメッセージ<User Control Released>を送信する(ステップS1907)。AVアンプ300においてCPU321は、当該メッセージを受信すると、音量を上げる動作を終了する。
図40は、外付けアンプの場合におけるエコーキャンセリング処理(音量通知あり)の動作の流れを示すフローチャートである。まず、テレビジョン受像機200において、CPU231は、AMPディレイの初期値を設定し(AMPの遅延時間Dampに初期値Dを設定し)(ステップS2001)、システムディレイを設定し(システムディレイDに遅延時間DTV+遅延時間Dampを設定し)(ステップS2002)、フィルタ係数を初期化する(ステップS2003)。続いて、CPU231は、エコーキャンセリングを開始する(ステップS2004)。
エコーキャンセリングが開始されると、適応フィルタ217bは、マイク237によって検出されたマイク検出信号を取得するとともに(ステップS2005)、TV音声および通話先音声を含むオーディオ信号を取得する(ステップS2006)。ここで、HDMI端子201を介してAVアンプ300から音量Vampが通知された場合(ステップS2007において「YES」)、音量Vampが閾値Vthよりも小さい場合(ステップS2008において「YES」)、A/D変換部217aは、マイク検出信号のデジタル信号を出力する(ステップS2009)。
一方、HDMI端子201を介してAVアンプ300から音量Vampが通知されない場合(ステップS2007において「NO」)、および、音量Vampが閾値Vth以上の場合(ステップS2008において「YES」)、適応フィルタ217bは、エコー推定を行い(エコー推定信号を生成し)(ステップS2010)、加算器は、マイク検出信号からエコー推定信号を除去してエコー除去信号を生成し、生成したエコー除去信号を出力する(ステップS2011)。また、CPU231は、フィルタ係数を更新して(ステップS2012)、通話が終わっていない場合には、ステップS2005に戻るが、通話が終わった場合には、エコーキャンセリングを終了する(ステップS2013)。
<<3.むすび>>
以上説明したように、本開示の実施形態によれば、コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号を出力させる制御部と、前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号を生成する音声処理部と、を備え、前記制御部は、前記除去信号を前記通信相手機器に送信させる、オーディオ機器が提供される。かかる構成によれば、コンテンツの再生音声を聴きながら行う相手との会話をより快適にすることが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書の通信システムの動作における各ステップは、必ずしもフローチャートおよびシーケンス図として記載された順序に沿って時系列に処理する必要はない。例えば、通信システムの動作における各ステップは、フローチャートおよびシーケンス図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、テレビジョン受像機200に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述したテレビジョン受像機200の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
また、AVアンプ300に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述したAVアンプ300の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号を出力させる制御部と、
前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号を生成する音声処理部と、を備え、
前記制御部は、前記除去信号を前記通信相手機器に送信させる、
オーディオ機器。
(2)
前記制御部は、前記オーディオ信号を他のオーディオ機器に送信させる、
前記(1)に記載のオーディオ機器。
(3)
前記音声処理部は、前記他のオーディオ機器から受信された音声遅延量に基づいて前記除去信号を生成する、
前記(2)に記載のオーディオ機器。
(4)
前記制御部は、前記除去信号の生成開始に際して、前記除去信号の生成開始の旨を前記他のオーディオ機器に送信させる、
前記(2)または前記(3)に記載のオーディオ機器。
(5)
前記制御部は、前記除去信号の生成終了に際して、前記除去信号の生成終了の旨を前記他のオーディオ機器に送信させる、
前記(4)に記載のオーディオ機器。
(6)
前記制御部は、前記他のオーディオ機器から前記除去信号の生成を中断する中断要求が受信された場合には、前記除去信号の生成を中断する、
前記(2)〜(5)のいずれか一項に記載のオーディオ機器。
(7)
前記音声処理部は、前記他のオーディオ機器から受信された音量に基づいて前記除去信号を生成する、
前記(2)〜(6)のいずれか一項に記載のオーディオ機器。
(8)
前記制御部は、前記オーディオ信号を前記オーディオ機器が有するスピーカから出力させる、
前記(1)に記載のオーディオ機器。
(9)
前記所定の音声信号は、所定の適応信号処理アルゴリズムによって学習された適応フィルタ係数に基づいて算出される、
前記(1)〜(8)のいずれか一項に記載のオーディオ機器。
(10)
コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号を出力させることと、
前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号を生成することと、
プロセッサにより前記除去信号を前記通信相手機器に送信させることと、
を含む、音声処理方法。
(11)
コンピュータを、
コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号を出力させる制御部と、
前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号を生成する音声処理部と、を備え、
前記制御部は、前記除去信号を前記通信相手機器に送信させる、
オーディオ機器として機能させるための音声処理プログラム。
(12)
コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号が他のオーディオ機器から入力されると、前記オーディオ信号をスピーカから出力させる制御部を備え、
前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号が前記他のオーディオ機器によって生成される、
オーディオ機器。
(13)
前記制御部は、前記コンテンツの再生により得られた音声信号が入力されると、当該音声信号を前記他のオーディオ機器に出力する、
前記(12)に記載のオーディオ機器。
(14)
前記制御部は、前記コンテンツの再生により得られた音声信号を前記他のオーディオ機器に対して出力できなくなる場合には、前記除去信号の生成を中断させるための中断要求を前記他のオーディオ機器に送信させる、
前記(12)または(13)に記載のオーディオ機器。
(15)
前記制御部は、前記他のオーディオ機器から前記除去信号の生成開始の旨が受信された場合には、前記除去信号の生成に連動する所定の連動動作を開始する、
前記(12)〜(14)のいずれか一項に記載のオーディオ機器。
(16)
前記制御部は、前記他のオーディオ機器から前記除去信号の生成終了の旨が受信された場合には、前記所定の連動動作を終了する、
前記(15)に記載のオーディオ機器。
(17)
コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号が他のオーディオ機器から入力されると、前記オーディオ信号をスピーカから出力させることを含み、
前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号が前記他のオーディオ機器によって生成される、
音声出力方法。
(18)
コンピュータを、
コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号が他のオーディオ機器から入力されると、前記オーディオ信号をスピーカから出力させる制御部を備え、
前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号が前記他のオーディオ機器によって生成される、
オーディオ機器として機能させるための音声出力プログラム。
100 AVシステム
200 テレビジョン受像機
201 HDMI端子
203 光出力端子
204 HDMIスイッチャ
205 HDMI受信部
210 アンテナ端子
211 デジタルチューナ
212 デマルチプレクサ
213 MPEGデコーダ
214 グラフィック処理回路
215 パネル駆動回路
216 表示パネル
217 音声処理回路
217a D変換部
217b 適応フィルタ
217c D/A変換部
218 音声増幅回路
219 スピーカ
230 内部バス
231 CPU
232 フラッシュROM
233 DRAM
234 受信部
236 ネットワーク端子
237 マイク
238 カメラ
300 AVアンプ
301 HDMI端子
302 HDMI端子
304 HDMI端子
305 光入力端子
306 HDMIスイッチャ
307 HDMI受信部
308 HDMI送信部
310 変換部
312 光出力端子
311 アナログオーディオ入力端子
315 D変換器
316 セレクタ
317 DSP
318 音声増幅回路
318a D/A変換部
320 内部バス
321 CPU
322 ROM
323 RAM
324 操作部
325 表示部
350 スピーカ群
400 セットトップボックス
403 光出力端子
401 HDMI端子
410 アンテナ端子
411 デジタルチューナ
412 デマルチプレクサ
413 MPEGデコーダ
414 グラフィック処理回路
415 HDMI送信部
417 音声処理回路
418 音声増幅回路
419 アナログ音声出力端子
430 内部バス
431 CPU
432 フラッシュROM
433 DRAM
434 受信部
436 ネットワーク端子
701 HDMIケーブル
702 光ケーブル
703 HDMIケーブル

Claims (18)

  1. コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号の出力を制御する制御部と、
    前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号を生成する音声処理部と、を備え、
    前記制御部は、前記除去信号の前記通信相手機器への送信を制御し、前記除去信号の生成を行うエコーキャンセリングとの連動および非連動の間で切り替えが行われた場合に、形成される音場を変更する、
    テレビジョン受像機。
  2. 前記制御部は、前記オーディオ信号の他のオーディオ機器への送信を制御する、
    請求項1に記載のテレビジョン受像機。
  3. 前記音声処理部は、前記他のオーディオ機器から受信された音声遅延量に基づいて前記除去信号を生成する、
    請求項2に記載のテレビジョン受像機。
  4. 前記制御部は、前記除去信号の生成開始に際して、前記除去信号の生成開始の旨の前記他のオーディオ機器への送信を制御する、
    請求項2または請求項3に記載のテレビジョン受像機。
  5. 前記制御部は、前記除去信号の生成終了に際して、前記除去信号の生成終了の旨の前記他のオーディオ機器への送信を制御する、
    請求項4に記載のテレビジョン受像機。
  6. 前記制御部は、前記他のオーディオ機器から前記除去信号の生成を中断する中断要求が受信された場合には、前記除去信号の生成を中断する、
    請求項2〜5のいずれか一項に記載のテレビジョン受像機。
  7. 前記音声処理部は、前記他のオーディオ機器から受信された音量に基づいて前記除去信号を生成する、
    請求項2〜6のいずれか一項に記載のテレビジョン受像機。
  8. 前記制御部は、前記オーディオ信号の前記テレビジョン受像機が有するスピーカからの出力を制御する、
    請求項1に記載のテレビジョン受像機。
  9. 前記所定の音声信号は、所定の適応信号処理アルゴリズムによって学習された適応フィルタ係数に基づいて算出される、
    請求項1〜8のいずれか一項に記載のテレビジョン受像機。
  10. コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号の出力を制御することと、
    前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号を生成することと、
    プロセッサにより、前記除去信号の前記通信相手機器への送信を制御し、前記除去信号の生成を行うエコーキャンセリングとの連動および非連動の間で切り替えが行われた場合に、形成される音場を変更することと、
    を含む、音声処理方法。
  11. コンピュータを、
    コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号の出力を制御する制御部と、
    前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号を生成する音声処理部と、を備え、
    前記制御部は、前記除去信号の前記通信相手機器への送信を制御し、前記除去信号の生成を行うエコーキャンセリングとの連動および非連動の間で切り替えが行われた場合に、形成される音場を変更する、
    テレビジョン受像機として機能させるための音声処理プログラム。
  12. コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号がテレビジョン受像機から入力されると、前記オーディオ信号をスピーカから出力させる制御部を備え、
    前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号が前記テレビジョン受像機によって生成され、前記除去信号の生成を行うエコーキャンセリングとの連動および非連動の間で切り替えが行われた場合に、形成される音場が変更される、
    オーディオ機器
  13. 前記制御部は、前記コンテンツの再生により得られた音声信号が入力されると、当該音声信号を前記テレビジョン受像機に出力する、
    請求項12に記載のオーディオ機器
  14. 前記制御部は、前記コンテンツの再生により得られた音声信号を前記テレビジョン受像機に対して出力できなくなる場合には、前記除去信号の生成を中断させるための中断要求の前記テレビジョン受像機への送信を制御する、
    請求項12または13に記載のオーディオ機器
  15. 前記制御部は、前記テレビジョン受像機から前記除去信号の生成開始の旨が受信された場合には、前記除去信号の生成に連動する所定の連動動作を開始する、
    請求項12〜14のいずれか一項に記載のオーディオ機器
  16. 前記制御部は、前記テレビジョン受像機から前記除去信号の生成終了の旨が受信された場合には、前記所定の連動動作を終了する、
    請求項15に記載のオーディオ機器
  17. コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号がテレビジョン受像機から入力されると、前記オーディオ信号をスピーカから出力させることを含み、
    前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号が前記テレビジョン受像機によって生成され、前記除去信号の生成を行うエコーキャンセリングとの連動および非連動の間で切り替えが行われた場合に、形成される音場が変更される、
    音声出力方法。
  18. コンピュータを、
    コンテンツの再生により得られた音声信号と通信相手機器から受信された音声信号とを含むオーディオ信号がテレビジョン受像機から入力されると、前記オーディオ信号をスピーカから出力させる制御部を備え、
    前記オーディオ信号が伝搬してマイクによって検出されたマイク検出信号から所定の音声信号が除去された除去信号が前記テレビジョン受像機によって生成され、前記除去信号の生成を行うエコーキャンセリングとの連動および非連動の間で切り替えが行われた場合に、形成される音場が変更される、
    オーディオ機器として機能させるための音声出力プログラム。




JP2016246204A 2016-12-20 2016-12-20 テレビジョン受像機、音声処理方法、音声処理プログラム、オーディオ機器、音声出力方法および音声出力プログラム Active JP6311784B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016246204A JP6311784B2 (ja) 2016-12-20 2016-12-20 テレビジョン受像機、音声処理方法、音声処理プログラム、オーディオ機器、音声出力方法および音声出力プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016246204A JP6311784B2 (ja) 2016-12-20 2016-12-20 テレビジョン受像機、音声処理方法、音声処理プログラム、オーディオ機器、音声出力方法および音声出力プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014023340A Division JP6064927B2 (ja) 2014-02-10 2014-02-10 オーディオ機器、音声処理方法、音声処理プログラム、音声出力方法および音声出力プログラム

Publications (2)

Publication Number Publication Date
JP2017123648A JP2017123648A (ja) 2017-07-13
JP6311784B2 true JP6311784B2 (ja) 2018-04-18

Family

ID=59306507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016246204A Active JP6311784B2 (ja) 2016-12-20 2016-12-20 テレビジョン受像機、音声処理方法、音声処理プログラム、オーディオ機器、音声出力方法および音声出力プログラム

Country Status (1)

Country Link
JP (1) JP6311784B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116017006A (zh) * 2020-11-05 2023-04-25 海信视像科技股份有限公司 显示设备及与功放设备建立通信连接的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665645B1 (en) * 1999-07-28 2003-12-16 Matsushita Electric Industrial Co., Ltd. Speech recognition apparatus for AV equipment
JP4554044B2 (ja) * 1999-07-28 2010-09-29 パナソニック株式会社 Av機器用音声認識装置
JP2003249996A (ja) * 2002-02-25 2003-09-05 Kobe Steel Ltd 音声信号入出力装置
JP2007214976A (ja) * 2006-02-10 2007-08-23 Sharp Corp エコーキャンセル装置、テレビ電話端末、及びエコーキャンセル方法
JP2008311876A (ja) * 2007-06-13 2008-12-25 Funai Electric Co Ltd 電話機能付きテレビジョン装置、テレビジョンシステムおよび雑音信号の除去方法
JP4431836B2 (ja) * 2007-07-26 2010-03-17 株式会社カシオ日立モバイルコミュニケーションズ 音声取得装置、雑音除去システム、及び、プログラム
JP5316189B2 (ja) * 2008-05-23 2013-10-16 ヤマハ株式会社 Avシステム
JP5590186B2 (ja) * 2008-05-23 2014-09-17 ヤマハ株式会社 Avシステム
JP5877351B2 (ja) * 2010-12-15 2016-03-08 パナソニックIpマネジメント株式会社 通信装置および通信方法
JP2012175192A (ja) * 2011-02-17 2012-09-10 Panasonic Corp テレビ電話機能付きコンテンツ再生装置及びテレビ電話音声処理方法
KR20130076947A (ko) * 2011-12-29 2013-07-09 삼성전자주식회사 영상장치 및 그 제어방법

Also Published As

Publication number Publication date
JP2017123648A (ja) 2017-07-13

Similar Documents

Publication Publication Date Title
JP5515389B2 (ja) オーディオ処理装置及びオーディオ処理方法
US8903523B2 (en) Audio processing device, audio processing method, and program
JP6064927B2 (ja) オーディオ機器、音声処理方法、音声処理プログラム、音声出力方法および音声出力プログラム
KR101374160B1 (ko) 영상 및 음성 처리 시스템, 영상 처리장치, 음성 처리장치,출력장치, 및 시스템 제어 방법
JP4427733B2 (ja) 映像音声処理システム、アンプ装置および音声遅延処置方法
JP5589383B2 (ja) 機器制御装置、機器制御方法及びコンピュータプログラム
US20130051584A1 (en) Device control apparatus, device control method, and program
US10230918B2 (en) Controlling sound output based on an output mode of a device
US8364868B2 (en) Device control apparatus, device control method and program for initiating control of an operation of an external device
US8869214B2 (en) Device control apparatus, device control method and computer program
JPWO2015174108A1 (ja) 通信装置及び通信方法、並びにコンピューター・プログラム
JP2012119924A (ja) 映像表示装置及び映像表示方法、音声再生装置及び音声再生方法、映像音声同期制御システム
US20130053992A1 (en) Device control apparatus, device control method, and program
JP6311784B2 (ja) テレビジョン受像機、音声処理方法、音声処理プログラム、オーディオ機器、音声出力方法および音声出力プログラム
JP5739015B2 (ja) 通信装置、通信方法及びプログラム
JP2009022059A (ja) Av装置及びインターフェース方式
WO2017101334A1 (zh) 一种专用接口转hdmi接口的方法和装置
JP2010118806A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP5127992B2 (ja) 映像処理装置及び映像処理方法、音声再生装置及び音声再生方法
JP5248663B2 (ja) インターフェース方式
JP2013081134A (ja) 通信装置
KR20080057691A (ko) 홈씨어터 시스템의 고화질 멀티미디어 인터페이스 입/출력장치 및 방법
TW201319812A (zh) 多媒體播放系統、多媒體切換裝置及訊號切換器
JP2011239096A (ja) 送信装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180305

R151 Written notification of patent or utility model registration

Ref document number: 6311784

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151