JP5204378B2 - 端末装置およびエコーキャンセル方法 - Google Patents

Description

本発明は、テレビ電話（以下、ＴＶ電話と呼ぶ。）システムにおいて使用される端末装置に関し、特に、エコーキャンセラー機能を有する端末装置およびエコーキャンセル方法に関する。

近年、インターネット網を介して音声情報を送受信するＩＰ（Internet Protocol）電話が普及してきており、それを用いたＴＶ電話システムも開発されている。このようなＴＶ電話システムにおいて、ＴＶなどのモニタをＴＶ電話のモニタとして使用する場合、音声が循環するのを防止するために、一般にエコーキャンセラー機能がセットトップボックス（以下、ＳＴＢと呼ぶ。）に備えられている。

エコーキャンセラー機能を実現するためには、モニタなどに搭載された音声出力装置から出力される音声を、マイク入力側に戻して処理する必要がある。そのため、音声出力装置とマイクなどの音声入力装置とが同じ筐体内に備えられるのが一般的である。

このような理由から、カメラおよびマイクのみを独立した機構に搭載した場合でも、エコーキャンセラー機能を有するＳＴＢの近くに置かれ、それらの間を有線で接続することが多い。これに関連する技術として、下記の特許文献１に開示された発明がある。

特許文献１に開示されたテレビ電話システムにおいては、グループ管理部が、ネットワーク接続された、メディア情報を入力するための複数のメディア入力装置およびメディア情報を出力するための複数のメディア出力装置のうち、任意のメディア入力装置と任意のメディア出力装置とをメディア入出力装置として選択して管理する。そして、エコーキャンセルＤＳＰ（Digital Signal Processor）が、管理されるメディア入出力装置で入出力されるメディア情報における音声のエコー成分を除去するのに用いる演算パラメータを、そのメディア入出力装置の設置環境に応じて決定するものである。
特開２００４−８０１４３号公報

上述した従来のＴＶ電話システムにおいて、話者はＴＶなどのモニタから離れた位置でモニタを見ているため、ＳＴＢもカメラもモニタ付近に置く必要があり、話者の顔が小さく写るなどの問題があった。また、カメラからのコードを長くすることにより話者の付近にカメラを配置することも可能であるが、使い勝手が良くないといった問題があった。

また、特許文献１に開示されたテレビ電話システムは、管理されるメディア入出力装置で入出力されるメディア情報における音声のエコー成分を除去するものであるが、これらの問題を解決することはできない。

本発明は、上記問題点を解決するためになされたものであり、その目的は、ＴＶ電話に用いられる端末装置とセットトップボックスとを有線で接続する必要がない、利便性に優れた端末装置およびその端末装置に用いられるエコーキャンセル方法を提供することである。

本発明のある局面に従えば、テレビ電話の相手から映像および音声のパケットを受信しモニタに出力するセットトップボックスと分離した端末装置であって、映像を入力する映像入力手段と、音声を入力する音声入力手段と、モニタから出力される相手の音声のエコーキャンセル処理を、音声入力手段の入力に対して行なうエコーキャンセラー手段と、相手およびセットトップボックスとＩＰ通信するためのＩＰ通信インターフェイスとを備え、ＩＰ通信インターフェイスは、セットトップボックスによって再送信された相手の音声のパケットを受信するとともに、エコーキャンセル後の音声入力および入力された映像の相手宛パケットをＩＰ網を介して送信し、エコーキャンセラー手段は、ＩＰ通信インターフェイスによってセットトップボックスから受信した相手の音声のパケットを用いて、エコーキャンセル処理を行なう。

好ましくは、セットトップボックスによって再送信された相手の音声のパケットは、セットトップボックスによって設定されたＭＵＴＥまたはボリュームの状態を表わす状態情報を含み、エコーキャンセラー手段は、ＭＵＴＥまたはボリュームの状態にあわせてエコーキャンセル処理を行なう。

好ましくは、エコーキャンセラー手段は、セットトップボックスにおける音声データのデコードに要する時間に基づいて音声データを遅延し、エコーキャンセル処理を行なう。

本発明の別の局面に従えば、テレビ電話の相手から映像および音声のパケットを受信しモニタに出力するセットトップボックスと分離した端末装置におけるエコーキャンセル方法であって、映像を入力するステップと、音声を入力するステップと、セットトップボックスによって再送信された相手の音声のパケットを受信するステップと、セットトップボックスから受信した相手の音声のパケットを用いて、モニタから出力される相手の音声のエコーキャンセル処理を、入力された音声に対して行なうステップと、エコーキャンセル後の音声入力および入力された映像の相手宛パケットをＩＰ網を介して送信するステップとを含む。

本発明のある局面によれば、ＩＰ通信インターフェイスは、セットトップボックスによって再送信された相手の音声のパケットを受信するとともに、エコーキャンセル後の音声入力および入力された映像の相手宛パケットをＩＰ網を介して送信し、エコーキャンセラー手段は、ＩＰ通信インターフェイスによってセットトップボックスから受信した相手の音声のパケットを用いて、エコーキャンセル処理を行なうので、端末装置とセットトップボックスとを有線で接続する必要がなくなり、利便性に優れた端末装置を提供することが可能となる。

また、セットトップボックスによって再送信された相手の音声のパケットは、セットトップボックスによって設定されたＭＵＴＥまたはボリュームの状態を表わす状態情報を含み、エコーキャンセラー手段は、ＭＵＴＥまたはボリュームの状態にあわせてエコーキャンセル処理を行なうので、状況に応じたエコーキャンセル処理を行なうことが可能となる。

また、エコーキャンセラー手段は、セットトップボックスにおける音声データのデコードに要する時間に基づいて音声データを遅延し、エコーキャンセル処理を行なうので、より正確にエコーキャンセル処理を行なうことが可能となる。

図１は、本発明の実施の形態におけるＴＶ電話システムの構成例を示す図である。このＴＶ電話システムは、ＩＰ網４を介して音声パケットおよび映像パケットを送受信するＳＴＢ１と、エコーキャンセラー機能を搭載したカメラ・マイク端末２と、ＳＴＢ１によって受信された相手の映像および音声を出力するモニタ３とを含む。

ＳＴＢ１は、相手のＢさんからの音声パケットおよび映像パケットをＩＰ網４を介して受信してデコードし、音声信号および映像信号に変換してモニタ３に出力する。また、ＳＴＢ１は、相手のＢさんからの音声パケットをカメラ・マイク端末２に再送信する。この音声パケットは、ＩＰ網４を介してカメラ・マイク端末２に送信されてもよいし、直接カメラ・マイク端末２に送信されるようにしてもよい。

カメラ・マイク端末２は、カメラ２６によって撮影されたＡさんの映像および図示しないマイクによって集音されたＡさんの音声をエンコードして映像パケットおよび音声パケットを生成し、ＩＰ網４を介して相手のＢさんに送信する。このとき、ＳＴＢ１から受信した音声パケットに含まれるＢさんからの音声をデコードし、このデコードされた音声を用いてエコーキャンセルを行なう。

図２は、本発明の実施の形態におけるＳＴＢ１の概略構成を示すブロック図である。このＳＴＢ１は、ＩＰ網４に接続されるインターネットＩＦ（Interface）１１と、ＩＰ網４を介して受信した相手の音声パケットをカメラ・マイク端末２宛の音声パケットに変換して再送信する音声パケットコピー再送信部１２と、インターネットＩＦ１１を介して受信した映像パケットおよび音声パケットに含まれる映像データおよび音声データをデコードし、映像信号および音声信号を生成してモニタ３に出力する映像・音声デコーダ１３とを含む。

インターネットＩＦ１１は、有線または無線でＩＰ網４に接続されており、相手のＴＶ電話から受信した音声パケットおよび映像パケットを音声パケットコピー再送信部１２に出力する。また、インターネットＩＦ１１は、音声パケットコピー再送信部１２から受けたカメラ・マイク端末２宛の音声パケットをＩＰ網４を介して送信する。

音声パケットコピー再送信部１２は、インターネットＩＦ１１から受けた相手からの音声パケットのヘッダ部を変更し、カメラ・マイク端末２宛の音声パケットを生成してインターネットＩＦ１１に出力する。このとき、音声パケットコピー再送信部１２は、生成した音声パケットにＭＵＴＥ、ボリュームなどの音声出力に関する情報を格納する。

また、音声パケットコピー再送信部１２は、インターネットＩＦ１１から受けた相手のＴＶ電話からの音声パケットおよび映像パケットを映像・音声デコーダ１３に出力する。

映像・音声デコーダ１３は、音声パケットコピー再送信部１２から受けた音声パケットに含まれる音声データおよび映像パケットに含まれる映像データをデコードし、音声信号および映像信号としてモニタ３に出力する。

図３は、本発明の実施の形態におけるカメラ・マイク端末２の概略構成を示すブロック図である。このカメラ・マイク端末２は、ＩＰ網４に接続されるインターネットＩＦ２１と、ＩＰ網４を介して受信した音声パケットに含まれる音声データをデコードする音声デコーダ２２と、音声デコーダ２２によってデコードされた音声を用いてエコーキャンセル処理を行なうエコーキャンセラー部２３と、映像データおよび音声データをエンコードする映像・音声エンコーダ２４と、話者の音声を集音するマイク入力部２５と、話者の顔などを撮影するカメラ部２６とを含む。なお、図示していないが、カメラ・マイク端末２には一般的なＩＰ電話機の機能も有しているものとする。

インターネットＩＦ２１は、有線または無線でＩＰ網４に接続されており、ＳＴＢ１から受信した音声パケットを音声デコーダ２２に出力する。また、インターネットＩＦ２１は、映像・音声エンコーダ２４から受けた映像パケットおよび音声パケットをＩＰ網４を介して相手に送信する。

エコーキャンセラー部２３は、音声デコーダ２２によってデコードされた音声データを用いて、マイク入力部２５を介して入力された音声データのエコーキャンセル処理を行ない、エコーキャンセル後の音声データを映像・音声エンコーダ２４に出力する。

映像・音声エンコーダ２４は、カメラ部２６から出力された映像データおよびエコーキャンセラー部２３から出力された音声データをエンコードしてパケットに格納し、インターネットＩＦ２１に出力する。

図４は、音声パケットおよび映像パケットの構成例を説明するための図である。図４（ａ）は、ＳＴＢ１からカメラ・マイク端末２に送信される音声パケットのフォーマットを示しており、ＳＴＢ１が相手から受信した音声データにＩＰヘッダと、ＲＴＰ（Realtime Transport Protocol）ヘッダと、ＭＵＴＥ、ボリュームなどのＳＴＢ１の音声に関する状態情報とを付加した構成を有している。なお、この音声パケットのヘッダには、カメラ・マイク端末２のＩＰアドレスなどが格納される。

図４（ｂ）は、カメラ・マイク端末２から相手に送信される映像パケットおよび相手からＳＴＢ１に受信される映像パケットのフォーマットを示しており、ＩＰヘッダと、ＲＴＰヘッダと、映像データとを含む。

図５は、本発明の実施の形態におけるカメラ・マイク端末２のエコーキャンセルの処理手順を説明するためのフローチャートである。まず、マイク入力部２５は、話者の音声を入力すると（Ｓ１１）、その音声をＡ／Ｄ（Analog/Digital）変換してデジタルデータを生成する（Ｓ１２）。これと並行して、インターネットＩＦ２１は、ＳＴＢ１から音声パケットを受信する（Ｓ１３）。音声デコーダ２２は、受信した音声パケットに含まれる状態情報を抽出してエコーキャンセラー部２３に出力すると共に、音声パケットに含まれる相手からの音声データをデコードしてエコーキャンセラー部２３に出力する。

そして、エコーキャンセラー部２３は、デコードされた音声を指定された時間だけ遅延させる（Ｓ１４）。この遅延時間は、ＳＴＢ１における音声デコードに要する時間、カメラ・マイク端末２における音声デコードに要する時間などを考慮して決定される。

次に、エコーキャンセラー部２３は、以下のように、マイク入力部２５によって入力された音声データから音声デコーダ２２によってデコードされた音声データを引くことによりエコーキャンセルを行なう（Ｓ１５）。

図６は、エコーキャンセルの原理を説明するための図である。図６において、ｇは室内の特性を示すインパルス応答であり、ｈは推定エコーを作成するための適応フィルタである。デコードされた音声信号をＸとすると、エコー成分ｄは次式で算出される。なお、“＊”は畳み込み演算を示すものとする。

ｄ＝Ｘ＊ｇ ・・・（１）
適応フィルタｈは、室内の特性ｇと同等の特性を推定して作成される。したがって、推定エコーＹは次式で算出される。

Ｙ＝Ｘ＊ｈ （ｈ≒ｇ、したがって、ｄ≒Ｙ） ・・・（２）
マイクからの音声ｎにエコー成分ｄが加算されるので、マイクの受信信号は（ｄ＋ｎ）となる。次式のように、マイクの受信信号（ｄ＋ｎ）から推定エコーＹを差し引くことによってエコーキャンセルが行われる。

（ｄ＋ｎ）−Ｙ≒ｎ ・・・（３）
以上より、出力音声データは次式によって表わされる。

出力音声データ＝（マイク入力音声データ）−（適応フィルタの伝達関数）＊（音声パケットの音声データ） ・・・（４）
最後に、映像・音声エンコーダ２４は、エコーキャンセルされた後の音声データをエンコードし、相手宛の音声パケットを生成する。そして、インターネットＩＦ２１は、映像・音声エンコーダ２４によって生成された音声パケットをＩＰ網４を介して相手に送信する（Ｓ１６）。

図７は、本発明の実施の形態におけるＴＶ電話システムの発呼時における各機器の処理手順を説明するための図である。まず、利用者がカメラ・マイク端末２のオフフックを行ない、ダイアリングすることによって発呼が行なわれる（Ｔ１）。図示していないが、カメラ・マイク端末２にキーが備えられており、たとえば、利用者が特別キーを押下した後にテンキーを押下することによってオフフックおよびダイアリングが行なわれてもよいし、特別キーを押下した後にＩＰアドレスの一覧の中から相手のＩＰアドレスを選択することによってオフフックおよびダイアリングを行なうようにしてもよい。このオフフックおよびダイアリングに関する情報は、ＩＰ網４を介してＳＴＢ１に送信される。

ＳＴＢ１は、カメラ・マイク端末２からオフフックおよびダイアリングに関する情報を受信すると、相手のＴＶ電話に対して発呼を行ない（Ｔ２）、相手のＴＶ電話との間でネゴシエーションを行なう（Ｔ３）。なお、相手のＴＶ電話からのパケットは、全てＳＴＢ１宛に送信されるように、ネゴシエーションが行なわれる。

ＳＴＢ１は、相手のＴＶ電話からＯＫレスポンスを受けると（Ｔ４）、そのレスポンスをカメラ・マイク端末２に中継する（Ｔ５）。そして、カメラ・マイク端末２は、撮影した映像および集音した音声をそれぞれパケットに格納してＳＴＢ１に送信する（Ｔ６）。ＳＴＢ１は、カメラ・マイク端末２から受信した映像パケットおよび音声パケットを相手のＴＶ電話に中継する（Ｔ７）。

また、ＳＴＢ１は、相手のＴＶ電話から映像パケットおよび音声パケットを受信すると（Ｔ８）、映像データをデコードしてモニタ３に表示し（Ｔ９）、音声データをデコードしてモニタ３から出力させると共に、音声パケットのみをカメラ・マイク端末２に中継する（Ｔ１０）。

再度、カメラ・マイク端末２は、撮影した映像および集音した音声をそれぞれパケットに格納してＳＴＢ１に送信し（Ｔ１１）、ＳＴＢ１は、カメラ・マイク端末２から受信した映像パケットおよび音声パケットを相手のＴＶ電話に中継する（Ｔ１２）。このＴ６〜Ｔ１２の処理が通話の終了まで繰返される。

そして、通話を終了する場合、ＳＴＢ１は相手のＴＶ電話から切断通知を受信し（Ｔ１３）、その切断通知をカメラ・マイク端末２に中継する（Ｔ１４）。そして、ＳＴＢ１は、カメラ・マイク端末２からＯＫレスポンスを受信することにより切断確認を行ない（Ｔ１５）、処理を終了する。

図８は、本発明の実施の形態におけるＴＶ電話システムの着呼時における各機器の処理手順を説明するための図である。まず、ＳＴＢ１は、相手のＴＶ電話からの着信を受信すると（Ｔ２１）、相手のＴＶ電話との間でネゴシエーションを行なう（Ｔ２２）。

ネゴシエーションが完了すると、ＳＴＢ１は、相手のＴＶ電話に対してＯＫレスポンスを送信し（Ｔ２３）、モニタ３に呼出し中の画面を表示させて呼出し音を出力させると共に（Ｔ２４）、カメラ・マイク端末２に対して呼出し（着信）を行なう（Ｔ２５）。

利用者がカメラ・マイク端末２のオフフックを行なうと、その情報がＳＴＢ１に送信される（Ｔ２６）。そして、ＳＴＢ１は、相手のＴＶ電話に対してオフフックがあったことを通知する（Ｔ２７）。

ＳＴＢ１は、相手のＴＶ電話から映像パケットおよび音声パケットを受信すると（Ｔ２８）、映像データをデコードしてモニタ３に表示し（Ｔ２９）、音声データをデコードしてモニタ３から出力させると共に、音声パケットのみをカメラ・マイク端末２に中継する（Ｔ３０）。

また、カメラ・マイク端末２は、撮影した映像および集音した音声をそれぞれパケットに格納してＳＴＢ１に送信し（Ｔ３１）、ＳＴＢ１は、カメラ・マイク端末２から受信した映像パケットおよび音声パケットを相手のＴＶ電話に中継する（Ｔ３２）。

再度、ＳＴＢ１は、相手のＴＶ電話から映像パケットおよび音声パケットを受信すると（Ｔ３３）、映像データをデコードしてモニタ３に表示し（Ｔ３４）、音声データをデコードしてモニタ３から出力させると共に、音声パケットのみをカメラ・マイク端末２に中継する（Ｔ３５）。このＴ２８〜Ｔ３５の処理が通話の終了まで繰返される。

そして、通話を終了する場合、ＳＴＢ１はカメラ・マイク端末２から切断通知を受信し（Ｔ３６）、その切断通知を相手のＴＶ電話に送信する（Ｔ３７）。そして、ＳＴＢ１は、相手のＴＶ電話からＯＫレスポンスを受けることにより切断確認を行ない（Ｔ３８）、カメラ・マイク端末２にＯＫレスポンスを中継して（Ｔ３９）、処理を終了する。

以上説明したように、本実施の形態におけるカメラ・マイク端末２によれば、ＳＴＢ１から再送信された音声パケットに含まれる音声データをデコードし、デコードされた音声データを用いてエコーキャンセルを行なうようにしたので、カメラ・マイク端末２と、ＳＴＢ１などとを有線で接続する必要がなくなり、利便性に優れたＴＶ電話システムを提供することが可能となった。

また、ＳＴＢ１が相手のＴＶ電話から受信した音声パケットをカメラ・マイク端末２に再送信するようにしたので、カメラ・マイク端末２側でエコーキャンセルを行なうことが可能となった。

また、ＳＴＢ１は、相手のＴＶ電話から受信した音声パケットをカメラ・マイク端末２に再送信する際に、ＭＵＴＥ、ボリュームなどの状態情報を音声パケットに格納するようにしたので、カメラ・マイク端末２は状況に応じたエコーキャンセルを行なうことが可能となった。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態におけるＴＶ電話システムの構成例を示す図である。 本発明の実施の形態におけるＳＴＢ１の概略構成を示すブロック図である。 本発明の実施の形態におけるカメラ・マイク端末２の概略構成を示すブロック図である。 音声パケットおよび映像パケットの構成例を説明するための図である。 本発明の実施の形態におけるカメラ・マイク端末２のエコーキャンセルの処理手順を説明するためのフローチャートである。 エコーキャンセルの原理を説明するための図である。 本発明の実施の形態におけるＴＶ電話システムの発呼時における各機器の処理手順を説明するための図である。 本発明の実施の形態におけるＴＶ電話システムの着呼時における各機器の処理手順を説明するための図である。

符号の説明

１ ＳＴＢ、２ カメラ・マイク端末、３ モニタ、４ ＩＰ網、１１，２１ インターネットＩＦ、１２ 音声パケットコピー再送信部、１３ 映像・音声デコーダ、２２ 音声デコーダ、２３ エコーキャンセラー部、２４ 映像・音声エンコーダ、２５ マイク入力部、２６ カメラ部。

Claims (4)

1. テレビ電話の相手から映像および音声のパケットを受信しモニタに出力するセットトップボックスと分離した端末装置であって、
   映像を入力する映像入力手段と、
   音声を入力する音声入力手段と、
   前記モニタから出力される相手の音声のエコーキャンセル処理を、前記音声入力手段の入力に対して行なうエコーキャンセラー手段と、
   相手および前記セットトップボックスとＩＰ通信するためのＩＰ通信インターフェイスとを備え、
   前記ＩＰ通信インターフェイスは、前記セットトップボックスによって再送信された相手の音声のパケットを受信するとともに、エコーキャンセル後の音声入力および入力された映像の相手宛パケットをＩＰ網を介して送信し、
   前記エコーキャンセラー手段は、前記ＩＰ通信インターフェイスによって前記セットトップボックスから受信した相手の音声のパケットを用いて、前記エコーキャンセル処理を行なう端末装置。
2. 前記セットトップボックスによって再送信された相手の音声のパケットは、前記セットトップボックスによって設定されたＭＵＴＥまたはボリュームの状態を表わす状態情報を含み、
   前記エコーキャンセラー手段は、前記ＭＵＴＥまたはボリュームの状態にあわせて前記エコーキャンセル処理を行なう、請求項１記載の端末装置。
3. 前記エコーキャンセラー手段は、前記セットトップボックスにおける音声データのデコードに要する時間に基づいて前記音声データを遅延し、エコーキャンセル処理を行なう、請求項１または２記載の端末装置。
4. テレビ電話の相手から映像および音声のパケットを受信しモニタに出力するセットトップボックスと分離した端末装置におけるエコーキャンセル方法であって、
   映像を入力するステップと、
   音声を入力するステップと、
   前記セットトップボックスによって再送信された相手の音声のパケットを受信するステップと、
   前記セットトップボックスから受信した相手の音声のパケットを用いて、前記モニタから出力される相手の音声のエコーキャンセル処理を、前記入力された音声に対して行なうステップと、
   エコーキャンセル後の音声入力および入力された映像の相手宛パケットをＩＰ網を介して送信するステップとを含む、エコーキャンセル方法。

Images