JP4465880B2 - 通信装置及び方法 - Google Patents
通信装置及び方法 Download PDFInfo
- Publication number
- JP4465880B2 JP4465880B2 JP2000576619A JP2000576619A JP4465880B2 JP 4465880 B2 JP4465880 B2 JP 4465880B2 JP 2000576619 A JP2000576619 A JP 2000576619A JP 2000576619 A JP2000576619 A JP 2000576619A JP 4465880 B2 JP4465880 B2 JP 4465880B2
- Authority
- JP
- Japan
- Prior art keywords
- attention
- user
- unit
- conference
- detection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 66
- 238000004891 communication Methods 0.000 title claims description 57
- 238000001514 detection method Methods 0.000 claims description 212
- 230000005540 biological transmission Effects 0.000 claims description 11
- 230000007423 decrease Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 52
- 238000010586 diagram Methods 0.000 description 29
- 210000001508 eye Anatomy 0.000 description 17
- 230000003321 amplification Effects 0.000 description 15
- 238000003199 nucleic acid amplification method Methods 0.000 description 15
- 230000005484 gravity Effects 0.000 description 13
- 230000005236 sound signal Effects 0.000 description 11
- 238000003908 quality control method Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 5
- 230000002238 attenuated effect Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 241001504424 Zosteropidae Species 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2203/00—Aspects of automatic or semi-automatic exchanges
- H04M2203/20—Aspects of automatic or semi-automatic exchanges related to features of supplementary services
- H04M2203/2038—Call context notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/563—User guidance or feature selection
- H04M3/564—User guidance or feature selection whereby the feature is a sub-conference
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Small-Scale Networks (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、通信装置及び方法に関し、特に、ユーザの視線や顔の向きに対応して音量や音質、画質等を調整する通信装置及び方法に関する。
【０００２】
【従来の技術】
従来、遠隔会議システムでは、遠く離れている複数の会議室における画像及び音声をネットワークを介して相互に通信し、各会議室において他の会議室の画像及び音声を再生することにより、あたかも１つのテーブルを囲んでいるかのように会議を行うことが可能となっている。
【０００３】
【発明が解決しようとする課題】
ところで、従来の遠隔会議システムにおいては、各会議室における会議参加者が同時に発言できるようになされている。このため、複数の会議参加者が同時に発言している場合、従来の遠隔会議システムでは、聞き取りたい発言が他の発言に邪魔されて聞き取り難くなる問題がある。
【０００４】
また、従来の遠隔会議システムにおいては、各会議室における画像が全て同じ明るさ、同じ画質となされている。したがって、従来の遠隔会議システムでは、例えば所望の会議室の画像をより明るくして見たり、より詳しく見るようなことはできない。
【０００５】
そこで、本発明はこのような状況に鑑みてなされたものであり、例えば、所望の発言を聞き取り易く、また、所望の会議室の画像を見易くすることを可能とする、通信装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の通信装置は、３以上の複数の通信装置間で通信を行う通信システムにおける通信装置において、複数の方向を有し、各方向がそれぞれ他の通信装置に対応している状態において、ユーザの向いている方向を検出する方向検出部と、上記方向検出部から供給された上記ユーザが上記各方向に向いている期間を表す情報から、それぞれの方向毎に、上記ユーザが一定時間以上対応する方向に向いていることを検出したとき、上記ユーザの当該対応する方向に対する注目度が高いとして注目度を第１の値に設定し、上記ユーザが一定時間以上対応する方向に向いていることを検出した後、上記ユーザが当該対応する方向とは異なる方向に向いていることを検出したとき、そのタイミングから、上記注目度が上記第１の値に設定された状態で一定時間を経過した後、上記注目度を上記第１の値よりも低い第２の値に設定する注目度検出部と、他の複数の通信装置からの情報を受信する受信部と、それぞれの方向毎に、上記他の複数の通信装置からの情報が上記注目度が高いほどより強調されるように調整する調整部とを備える。
【０００７】
ここで、上記注目度検出部は、上記方向検出部が、第１の時間以上同じ方向を検出した時に、上記方向検出部が検出した方向に対する、上記ユーザの注目度が高いと検出する。
【０００８】
また、上記注目度検出部は、上記方向検出部が、上記第１の時間以上同じ方向を検出した以降において、他の方向を検出したことに基づいて、上記注目度を低くする。
【０００９】
また、上記注目度検出部は、上記方向検出部が上記他の方向を検出したタイミングから第２の時間経過した場合に、上記注目度を低くする。
【００１０】
また、上記注目度検出部は、上記方向検出部が上記他の方向を検出したタイミングに応じて徐々に上記注目度を低くする。また、上記注目度検出部は、上記方向検出部が上記他の方向を検出したタイミングから第２の時間経過した場合に、上記注目度を徐々に低くする。
【００１１】
また、上記注目度検出部は、上記方向毎に上記注目度を検出する。
【００１２】
さらに、上記調整部は、上記方向毎の複数の注目度に基づいて、上記情報を調整する。
【００１３】
また、上記方向検出部は、上記ユーザの視線方向を検出する。
【００１４】
また、上記方向検出部は、上記ユーザの顔向きを検出する。
【００１５】
上記調整部は、上記注目度の高い方向に対応する情報を他の情報に対して相対的に強調された状態に調整する。
【００１６】
本発明の通信装置は、上記調整部で調整された情報をユーザに提示する提示部をさらに備える。
【００１７】
ここで、上記情報は、音声情報であり、上記調整部は、上記提示部で提示される音声情報を調整する。
【００１８】
上記調整部は、上記提示部で提示される音声情報の音量を調整する。
【００１９】
また、上記調整部は、上記提示部で提示される音声情報の音質を調整する。
【００２０】
また、上記情報は、画像情報であり、上記調整部は、上記提示部で提示される画像情報を調整する。
【００２１】
上記調整部は、上記提示部で提示される画像情報の画質を調整する。
【００２２】
上記提示部は、上記複数の方向にそれぞれ対応する複数の提示部を備える。
【００２３】
本発明の通信装置は、上記ユーザの情報を取得する取得部と、上記取得部で取得された上記ユーザの情報を上記他の通信装置へ送信する送信部とをさらに備える。
【００２４】
次に、本発明の通信方法は、３以上の複数の通信装置間で通信を行う通信システムにおける通信方法において、上記複数の通信装置の一つにおいて、複数の方向を有し、各方向がそれぞれ他の通信装置に対応している状態において、ユーザの向いている方向を検出するステップと、上記方向の検出ステップにより供給された上記ユーザが上記各方向に向いている期間を表す情報から、それぞれの方向毎に、上記ユーザが一定時間以上対応する方向に向いていることを検出したとき、上記ユーザの当該対応する方向に対する注目度が高いとして注目度を第１の値に設定し、上記ユーザが一定時間以上対応する方向に向いていることを検出した後、上記ユーザが当該対応する方向とは異なる方向に向いていることを検出したとき、そのタイミングから、上記注目度が上記第１の値に設定された状態で一定時間を経過した後、上記注目度を上記第１の値よりも低い第２の値に設定する注目度を検出するステップと、上記他の複数の通信装置からの受信した情報が上記注目度が高いほどより強調されるように調整するステップとを備える。
【００２５】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００２６】
図１は、本発明の通信装置及び方法を適用した一例としての遠隔会議システムの概略構成を示している。なお、本明細書において、システムとは、複数の装置や各部などによる全体的な構成を意味するものである。
【００２７】
図１に示す遠隔会議システムでは、複数の遠隔会議装置１Ａ乃至１Ｄ（以下、遠隔会議装置１Ａ乃至１Ｄを個々に区別する必要がない場合、単に遠隔会議装置１と記述する）が例えばＩＳＤＮ（Integrated Services Digita1 Network）２を介して接続されている。遠隔会議装置１は、当該装置１が取り込んだ会議参加者３の画像データ及び音声データを、ＩＳＤＮ２を介して他の遠隔会議装置１に相互に通信するとともに、他の遠隔会議装置１から送信された画像データ及び音声データを再生可能となされている。
【００２８】
なお、図１には、図示を簡略化するために４個の遠隔会議装置１Ａ乃至１Ｄを示したが、さらに多くの遠隔会議装置を接続することも可能である。また、図１には、通信ネットワークとしてＩＳＤＮ２を例に挙げたが、このＩＳＤＮ２の代わりに、例えばケーブルテレビ網、インターネット、ディジタル衛星通信のような他の伝送媒体を用いることも可能である。
【００２９】
上記遠隔会議システムを構成する各遠隔会議装置１Ａ乃至１Ｄは、それぞれ図２に示すような構成を備えている。なお、図２は、複数の遠隔会議装置１Ａ乃至１Ｄのうち、例えば遠隔会議装置１Ａの詳細な構成例を示している。遠隔会議装置１Ｂ，１Ｃ，１Ｄの構成は、遠隔会議装置１Ａと同様であるので、その説明は省略する。
【００３０】
遠隔会議装置１Ａは、少なくとも、遠隔会議装置１Ｂから送信された会議参加者３Ｂの画像データ及び音声データを再生する再生装置１０１と、遠隔会議装置１Ｃから送信された会議参加者３Ｃの画像データ及び音声データを再生する再生装置１０２と、遠隔会議装置１Ｄから送信された会議参加者３Ｄの画像データ及び音声データを再生する再生装置１０３とから構成される。これら再生装置１０１，１０２，１０３は、会議参加者３Ａと他の会議参加者３Ｂ，３Ｃ，３Ｄがあたかも１つのテーブルを囲んで会議を行うかのように配置されている。
【００３１】
再生装置１０１のモニタ部１１１は、遠隔会議装置１Ｂから送信された画像データ（会議参加者３Ｂ及びその周辺の画像データ）を表示するようになされており、スピーカ１２１は、遠隔会議装置１Ｂから送信された音声データ（会議参加者３Ｂの発言）を再生するようになされている。また、再生装置１０２のモニタ部１１２は、遠隔会議装置１Ｃから送信された画像データ（会議参加者３Ｃ及びその周辺の画像データ）を表示するようになされており、スピーカ１２２は、遠隔会議装置１Ｃから送信された音声データ（会議参加者３Ｃの発言）を再生するようになされている。同様に、再生装置１０３のモニタ部１１３は、遠隔会議装置１Ｄから送信された画像データ（会議参加者３Ｄ及びその周辺の画像データ）を表示するようになされており、スピーカ１２３は、遠隔会議装置１Ｄから送信された音声データ（会議参加者３Ｄの発言）を再生するようになされている。
【００３２】
会議参加者３Ａの正面に配置されている再生装置（図２の例では再生装置１０２）の上部には、会議参加者３Ａを撮像するカメラ１３、及び会議参加者３Ａの発言を集音するマイク１４が配設されている。カメラ１３が撮像した画像データ、及びマイク１４が集音した音声データは、ＩＳＤＮ２を介して遠隔会議装置１Ｂ，１Ｃ，１Ｄに送信されるようになされている。
【００３３】
ここで、遠隔会議装置１Ａは、その主要部の構成として、図３に示す構成要素を備えている。また、図３に示す主要部の構成要素を備えた遠隔会議装置１Ａの具体的な構成及び各構成要素の配置は、図４に示すようになされる。
【００３４】
これら図３及び図４において、遠隔会議装置１Ａは、図２に示したように会議参加者３Ａから見た複数の方向がそれぞれ他の遠隔会議装置１Ｂ，１Ｃ，１Ｄに対応している場合、当該会議参加者３Ａの向いている方向を検出するための方向検出部１５と、上記方向検出部１５の検出結果に基づいて上記会議参加者３Ａの各方向への注目度をそれぞれ検出する注目度検出部１３１，１３２，１３３と、他の遠隔会議装置１Ｂ，１Ｃ，１Ｄからの画像データ及び音声データを受信するＩＳＤＮ接続端子１７及びデータ送受信部１６と、上記他の遠隔会議装置１Ｂ，１Ｃ，１Ｄから送られてきた画像データ及び／又は音声データを、上記注目度に応じて調整する調整部１６１，１６２，１６３とを備えている。注目度検出部１３１とその後段の調整部１６１は再生装置１０１に対応して設けられ、注目度検出部１３２とその後段の調整部１６２は再生装置１０２に、そして、注目度検出部１３３とその後段の調整部１６３は再生装置１０３に対応して設けられている。なお、上記方向と注目度の詳細及び具体例については後述する。
【００３５】
上記方向検出部１５は、カメラ１３から供給される会議参加者３Ａの画像データを解折し、会議参加者３Ａの向いている方向を一定のサンプリングレートで検出し、その検出結果を注目度検出部１３１，１３２，１３３に供給する。
【００３６】
すなわち、方向検出部１５は、図５Ａに示すように、会議参加者３Ａの向いている方向及びその方向の継続時間を表す情報として、会議参加者３Ｂが表示されているモニタ部１１１の方を向いている期間Ｉｂ、会議参加者３Ｃが表示されているモニタ部１１２の方を向いている期間Ｉｃ、会議参加者３Ｄが表示されているモニタ部１１３の方を向いている期間Ｉｄ、及び、それら各モニタ部１１１乃至１１３の何れの方をも向いていない期間Ｉｎｏｎを検出する。
【００３７】
次に、方向検出部１５は、それら検出した各期間Ｉｂ，Ｉｃ，Ｉｄ，Ｉｎｏｎから、図５Ｂに示すように、会議参加者３Ａがモニタ部１１１の方を向いている期間Ｉｂのみを抽出した信号を生成し、注目度検出部１３１に供給する。同様に、方向検出部１５は、各期間Ｉｂ，Ｉｃ，Ｉｄ，Ｉｎｏｎから、会議参加者３Ａがモニタ部１１２の方を向いている期間Ｉｃのみを抽出した信号を生成して注目度検出部１３２に供給し、会議参加者３Ａがモニタ部１１３の方を向いている期間Ｉｄのみを抽出した信号を生成して注目度検出部１３３に供給する。
【００３８】
注目度検出部１３１では、方向検出部１５から供給された信号に基づいて、各期間Ｉｂのうちで特に時間Ｔcont以上続く期間Ｉｂがあるか否か判断し、時間Ｔcont以上続く期間Ｉｂがあった場合、図５Ｃに示すように、当該時間Ｔcontを越えている時間を、会議参加者３Ａが特に会議参加者３Ｂの表示されているモニタ部１１１に注目している時間として検出する。さらに、注目度検出部１３１は、上記会議参加者３Ａがモニタ部１１１に注目している時間を検出した場合、その検出のタイミングに基づいて、図５Ｄに示すように、遠隔会議装置１Ｂから送信されてきた会議参加者３Ｂの画像データ及び／又は音声データに対して調整部１６１が行う調整のためのパラメータＰ（t）を注目度として求める。
【００３９】
具体的に、注目度検出部１３１は、時刻ｔにおけるパラメータＰ(t)を、次式（１）を用いた演算により求める。
【００４０】
Ｐ(t)＝（１−Ｐmin）Ａ−α（ｔ）＋Ｐmin （１）
なお、式（１）中の最小パラメータＰminと定数Ａ、図５に示した時間Ｔattと時間Ｔcontは、次式（２）乃至（５）をそれぞれ満足する定数である。
【００４１】
０≦Ｐmin≦１ （２）
Ａ＞１ （３）
Ｔatt≧０ （４）
Ｔcont≧０ （５）
ここで、例えば変数β(t)＝ｔ−（会議参加者３Ａが最後にモニタ部１１１の方向を向いていた時刻）と定義すれば、β(t)＜Ｔattであるとき、式（１）中の変数α(t)の値は０となり、β(t)≧Ｔattであるとき、式（１）中の変数α(t)の値はβ(t)−Ｔattとなる。また、「時刻ｔにおいて会議参加者３Ａがモニタ部１１１の方向を向いている」の定義は、時刻（ｔ−Ｔcont）から時刻ｔまでの間、会議参加者３Ａがモニタ部１１１の方向に向いていることである。
【００４２】
すなわち、注目度検出部１３１では、会議参加者３Ａがモニタ部１１１の方を向いた状態で時間Ｔcontが経過した場合、当該会議参加者３Ａはモニタ部１１１に特に注目していると判定し、図５Ｄ及び式（１）に示すようにパラメータＰ(t)を最大値（＝１）に設定する。その後、会議参加者３Ａの向いている方向がモニタ部１１１から外されると、注目度検出部１３１は、当該外れた時点から時間Ｔattが経過するまでの間、パラメータＰ(t)を最大値に保持し、当該Ｔattが経過した後は上記最大値から最小パラメータＰminまで徐々に低下するようにパラメータＰ(t)を変化させる。
【００４３】
また、注目度検出部１３１と同様に、注目度検出部１３２では、方向検出部１５から供給された信号に基づいて、各期間Ｉｃのうちで特に時間Ｔcont以上続く期間Ｉｃがあるか否か判断し、時間Ｔcont以上続く期間Ｉｃがあった場合、当該時間Ｔcontを越えている時間を、会議参加者３Ａが特に会議参加者３Ｃの表示されているモニタ部１１２に注目している時間として検出する。さらに、注目度検出部１３２は、上記会議参加者３Ａがモニタ部１１２に注目している時間を検出した場合、その検出のタイミングに基づいて、遠隔会議装置１Ｃから送信されてきた会議参加者３Ｃの画像データ及び／又は音声データに対して調整部１６２が行う調整のためのパラメータＰ（t）を注目度として求める。
【００４４】
すなわち、注目度検出部１３２では、会議参加者３Ａがモニタ部１１２の方を向いた状態で時間Ｔcontが経過した場合、当該会議参加者３Ａはモニタ部１１２に特に注目していると判定してラメータＰ(t)を最大値（＝１）に設定し、その後、会議参加者３Ａの向いている方向がモニタ部１１２から外されると、当該外れた時点から時間Ｔattが経過するまでの間、パラメータＰ(t)を最大値に保持し、当該Ｔattが経過した後は上記最大値から最小パラメータＰminまで徐々に低下するようにパラメータＰ(t)を変化させる。
【００４５】
同様に、注目度検出部１３３では、方向検出部１５から供給された信号に基づいて、各期間Ｉｄのうちで特に時間Ｔcont以上続く期間Ｉｄがあるか否か判断し、時間Ｔcont以上続く期間Ｉｄがあった場合、当該時間Ｔcontを越えている時間を、会議参加者３Ａが特に会議参加者３Ｄの表示されているモニタ部１１３に注目している時間として検出する。さらに、注目度検出部１３３は、上記会議参加者３Ａがモニタ部１１３に注目している時間を検出した場合、その検出のタイミングに基づいて、遠隔会議装置１Ｄから送信されてきた会議参加者３Ｄの画像データ及び／又は音声データに対して調整部１６３が行う調整のためのパラメータＰ（t）を注目度として求める。
【００４６】
すなわち、注目度検出部１３３では、会議参加者３Ａがモニタ部１１３の方を向いた状態で時間Ｔcontが経過した場合、当該会議参加者３Ａはモニタ部１１３に特に注目していると判定してラメータＰ(t)を最大値（＝１）に設定し、その後、会議参加者３Ａの向いている方向がモニタ部１１３から外されると、当該外れた時点から時間Ｔattが経過するまでの間、パラメータＰ(t)を最大値に保持し、当該Ｔattが経過した後は上記最大値から最小パラメータＰminまで徐々に低下するようにパラメータＰ(t)を変化させる。
【００４７】
図６には、上記注目度検出部１３１，１３２，１３３において、上記方向検出部１５から供給された信号に基づいて、それぞれ対応するモニタ部１１１，１１２，１１３を会議参加者３Ａが注目しているか否か検出する際の処理の流れを示す。なお、各注目度検出部１３１，１３２，１３３での処理内容はそれぞれ同じであるため、ここでは注目度検出部１３１のみを例に挙げて説明する。
【００４８】
この図６において、注目度検出部１３１では、先ずステップＳ２１の処理として、現在時刻ｔを変数ｃｕｒ＿ｔに格納し、更に、ステップＳ２２として、会議参加者３Ａがモニタ部１１１の方を向いた時刻を表す変数ｂｅｇ＿ｔに、上記現在時刻ｔを表す変数ｃｕｒ＿ｔの値を格納することにより、初期設定を行う。当該初期設定がなされた後、注目度検出部１３１の処理は、ステップＳ２３に進む。
【００４９】
ステップＳ２３の処理に進むと、注目度検出部１３１は、会議参加者３Ａがモニタ部１１１の方を向いてからどれだけの時間が経過したかを表す（ｃｕｒ＿ｔ）−（ｂｅｇ＿ｔ）の演算を行い、その演算により得られた時間が前述した時間Ｔcont以上であるか否かの判定を行う。ここで、初期設定直後は、変数ｂｅｇ＿ｔと変数ｃｕｒ＿ｔの値が等しいため、（ｃｕｒ＿ｔ）−（ｂｅｇ＿ｔ）＝０となり、したがってこの時の注目度検出部１３１では、ステップＳ２３にてＮｏと判定する。
【００５０】
ステップＳ２３にてＮｏと判定すると、注目度検出部１３１は、ステップＳ２５の処理として、会議参加者３Ａがモニタ部１１１を注目していないとして、図５Ｃに示したように”０”の値を設定し、ステップＳ２６の処理に進む。
【００５１】
ステップＳ２６の処理に進むと、注目度検出部１３１では、変数ｃｕｒ＿ｔに現在時刻ｔを格納し、ステップＳ２７の処理に進む。
【００５２】
ステップＳ２７の処理に進むと、注目度検出部１３１は、方向検出部１５から供給された期間Ｉｂを表す信号が”１”となっているか否か、すなわち会議参加者３Ａがモニタ部１１１の方を向いているか否かの判断を行う。当該ステップＳ２７の処理においてＮＯと判定した場合、注目度検出部１３１では、ステップＳ２８の処理として、変数ｂｅｇ＿ｔにｃｕｒ＿ｔを格納した後、ステップＳ２３の処理に戻る。一方、ステップＳ２７の処理においてＹｅｓと判定した場合、注目度検出部１３１は、ステップＳ２３の処理に戻る。
【００５３】
注目度検出部１３１では、ステップＳ２３の処理に戻ると、（ｃｕｒ＿ｔ）−（ｂｅｇ＿ｔ）の演算による時間が時間Ｔcont以上であるか否かの判定を行う。このステップＳ２３の処理において、（ｃｕｒ＿ｔ）−（ｂｅｇ＿ｔ）の演算による時間が時間Ｔcont以上となった場合、注目度検出部１３１の処理はステップＳ２４に進む。
【００５４】
ステップＳ２４の処理に進むと、注目度検出部１３１は、会議参加者３Ａがモニタ部１１１を注目しているとして、図５Ｃに示したように”１”の値を設定し、ステップＳ２６以降の処理に進む。このステップＳ２６以降の処理は上述同様である。
【００５５】
図７には、上記注目度検出部１３１，１３２，１３３において、前記パラメータＰを演算する際の処理の流れを示す。なお、各注目度検出部１３１，１３２，１３３での処理内容はそれぞれ同じであるため、ここでは注目度検出部１３１のみを例に挙げて説明する。
【００５６】
この図７において、注目度検出部１３１では、先ずステップＳ３１の処理として、現在時刻ｔを変数ｃｒ＿ｔに格納し、更に、ステップＳ３２として、会議参加者３Ａがモニタ部１１１を注目した時刻を表す変数ｂｇ＿ｔに、（ｃｒ＿ｔ−Ｔinit）の値を格納することにより、初期設定を行う。なお、Ｔinitは、最終的にパラメータＰを計算するときに用いられる前記変数βの初期値であり、所望の初期パラメータに応じて設定されている。当該初期設定がなされた後、注目度検出部１３１の処理は、ステップＳ３３に進む。
【００５７】
ステップＳ３３の処理に進むと、注目度検出部１３１は、会議参加者３Ａがモニタ部１１１の注目を止めてからの経過時間を表す（ｃｒ＿ｔ）−（ｂｇ＿ｔ）の演算を行い、当該演算により得られた値を上記変数βに格納する。
【００５８】
次に、注目度検出部１３１では、ステップＳ３４の処理として、変数βが前記時間Ｔatt以上であるか否か、すなわち会議参加者３Ａがモニタ部１１１の注目を止めてからの経過時間が時間Ｔatt以上になったか否かの判定を行う。注目度検出部１３１は、ステップＳ３４においてＮｏと判定すると、ステップＳ３６の処理として前記式（１）の変数αに０を格納し、一方、当該ステップＳ３４においてＹｅｓと判定すると、ステップＳ３５の処理として前記式（１）の変数αに（β−Ｔatt）の値を格納する。これらステップＳ３５、ステップＳ３６の処理後、注目度検出部１３１の処理はステップＳ３７に進む。
【００５９】
ステップＳ３７に進むと、注目度検出部１３１は、前記式（１）によりパラメータＰを求め、その後、ステップＳ３８の処理として変数ｃｒ＿ｔに現在時刻ｔを格納する。
【００６０】
次に、注目度検出部１３１は、ステップＳ３９の処理に進み、会議参加者３Ａがモニタ部１１１を注目しているか否か、すなわち、図５Ｃに示したように”１”となっているか否かを判断する。注目度検出部１３１は、ステップＳ３９にてＮｏと判断した場合はステップＳ３３の処理に戻り、ステップＳ３９にてＹｅｓと判断した場合はステップＳ４０にて変数ｂｇ＿ｔに変数ｃｒ＿ｔを格納した後、ステップＳ３３の処理に戻る。このステップＳ３３以降の処理は上述同様である。
【００６１】
図３及び図４に戻り、上記注目度検出部１３１から出力されたパラメータＰ(t)は調整部１６１に送られ、注目度検出部１３２から出力されたパラメータＰ(t)は調整部１６２に送られ、注目度検出部１３３から出力されたパラメータＰ(t)は調整部１６３に送られる。調整部１６１には、データ送受信部１６を介して、遠隔会議装置１Ｂからの画像データ及び音声データが供給され、調整部１６２には、データ送受信部１６を介して、遠隔会議装置１Ｃからの画像データ及び音声データが供給され、調整部１６３には、データ送受信部１６を介して、遠隔会議装置１Ｄからの画像データ及び音声データが供給されている。
【００６２】
調整部１６１は、注目度検出部１３１から供給されたパラメータＰ(t)を受け取ると、当該パラメータＰ(t)に基づいて、遠隔会議装置１Ｂから供給されている会議参加者３Ｂの音声データ及び／又は画像データを調整する。また、調整部１６２は、注目度検出部１３２から供給されたパラメータＰ(t)を受け取ると、当該パラメータＰ(t)に基づいて、遠隔会議装置１Ｃから供給されている会議参加者３Ｃの音声データ及び／又は画像データを調整する。また、調整部１６３は、注目度検出部１３３から供給されたパラメータＰ(t)を受け取ると、当該パラメータＰ(t)に基づいて、遠隔会議装置１Ｄから供給されている会議参加者３Ｄの音声データ及び／又は画像データを調整する。なお、これら調整部１６１，１６２，１６３での具体的な調整内容の詳細については後述する。
【００６３】
調整部１６１から出力された音声信号はスピーカ１２１に送られて放音され、画像信号はモニタ部１１１に送られて表示される。また、調整部１６２から出力された音声信号はスピーカ１２２に送られて放音され、画像信号はモニタ部１１２に送られて表示される。調整部１６３から出力された音声信号はスピーカ１２３に送られて放音され、画像信号はモニタ部１１３に送られて表示される。
【００６４】
次に、本実施の形態の遠隔会議装置１Ａの方向検出部１５で行われる方向検出の具体例について、以下に説明する。
【００６５】
方向検出の具体例としては、会議参加者３Ａの視線検出を挙げることができる。
【００６６】
図８には、方向検出部１５にて視線検出を行う場合の処理の流れを示す。
【００６７】
図８において、方向検出部１５は、ステップＳ１１としてカメラ１３が撮像した画像データが供給されると、次のステップＳ１２の処理として、供給された画像の色彩情報を用いて両目の輪郭を検出する。すなわち、方向検出部１５は、供給された画像の色彩情報から例えば肌、白目、黒目等の色領域を抽出し、それら抽出した色領域の例えば境界を求めること等により、図９に示すように右目の輪郭Ｅ及び左目の輪郭Ｅを検出する。なお、図９は片目のみを示している。
【００６８】
次に、方向検出部１５は、ステップＳ１３の処理として、ステップＳ１２で求めた両目のそれぞれの輪郭Ｅに基づいて、右目の左右端点Ｇ１，Ｇ２の位置及び左目の左右端点Ｇ１，Ｇ２の位置を求め、それら右目及び左目のそれぞれの左右端点Ｇ１，Ｇ２の位置を基準として、図１０に示すような鼻孔を探索するための探索範囲ＮＥを決定し、当該探索範囲ＮＥ内から鼻孔ＮＨの位置を検出する。すなわち、方向検出部１５は、左右両目について、図９に示すように、それぞれ目の輪郭Ｅを構成する画素集合の重心Ｑと、目の輪郭Ｅを構成する画素集合の２次モーメント（線に関する慣性）を最小にする線Ｍとを求め、さらに、目の輪郭Ｅを構成する画素集合の中から、上記線Ｍの方向において重心Ｑからの距離が最大距離Ｌ１，Ｌ２となる位置の画素を、重心Ｑから左右方向に一つずつ求め、これらの画素位置を上記左右端点Ｇ１，Ｇ２として求める。次いで、方向検出部１５は、図１０に示すように、上述のようにして求めた右目の左右端点Ｇ１，Ｇ２の位置と、左目の左右端点Ｇ１，Ｇ２の位置とを基準とし、それら各左右端点Ｇ１，Ｇ２から下方側に、鼻孔を探索するための探索範囲ＮＥを決定する。ここで、鼻孔ＮＨ部分の画像は他の部分の画像に比べて暗く写るので、方向検出部１５は、当該探索範囲ＮＥ内で輝度が低い画像部分を鼻孔ＮＨの位置として検出する。
【００６９】
次に、方向検出部１５は、ステップＳ１４の処理として、図１１に示すように、右目の左右端点Ｇ１，Ｇ２の位置と、左目の左右端点Ｇ１，Ｇ２の位置と、鼻孔ＮＨの位置との幾何学的な位置関係に基づいて、眼球ＥＢの中心位置ＥＣ及び眼球ＥＢの半径ｒを推定する。
【００７０】
さらに、方向検出部１５は、ステップＳ１５の処理として、右目の輪郭Ｅ及び左目の輪郭Ｅ内の画像の輝度情報を用いて、図１０に示すように、瞳孔ＥＡの中心位置ＥＡＣを検出する。
【００７１】
次に、方向検出部１５は、ステップＳ１６の処理として、図１２に示すように、ステップＳ１４で検出した眼球ＥＢの中心位置ＥＣと、ステップＳ１５で検出した瞳孔ＥＡの中心位置ＥＡＣとを結ぶベクトルＥＶを演算し、得られたベクトルＥＶを視線の方向として、そのベクトルＥＶがモニタ部１１１乃至１１３のうちのいずれを向いているかの方向判定を行う。
【００７２】
以上の流れにより、方向検出部１５では、会議参加者３Ａの視線を検出する。
【００７３】
なお、上記輪郭Ｅのような特定の画素集合の２次モーメントを最小にする線Ｍは、例えば以下のような演算により求めることができる。
【００７４】
ここでは、図１３に示すように、式（６）で表される直線Ｍを例に挙げる。
【００７５】
ｘsinθ−ｙcosθ＋ρ＝０ （６）
また、輪郭Ｅの画素集合上の各点（ｘｉ，ｙｉ）と上記直線Ｍとの距離をＲｉとするとき、上記直線Ｍに関する２次モーメントｍは、式（７）のように表すことができる。
【００７６】
【数１】
【００７７】
すなわち、２次モーメントを最小にする直線Ｍとは、上記式（７）のｍを最小にする直線Ｍのことである。結論を述べると、上記式（７）のｍを最小にするには、上記式（７）中のθ、ρとして、下記式（８），式（９）の条件を満たすものを使用する。
θ：sin2θ=b/(b２+(a-c)２)１／２ ，cos2θ=(a-c)/(b２+(a-c)２)１／２
（８）
ρ：ρ=-ｘ０sinθ+ｙ０cosθ （９）
なお、式（９）の（ｘ０sinθ-ｙ０cosθ+ρ=０）は、画素集合の重心を通ることを意味する。
【００７８】
但し、上記式（８），式（９）において、ａ，ｂ，ｃは下記式（１０），式（１１），式（１２）で表される。なお、（ｘ０-ｙ０）は画素集合の重心である。
【００７９】
【数２】
【００８０】
また、本実施の形態の遠隔会議装置１Ａの方向検出部１５で行われる方向検出の他の具体例としては、会議参加者３Ａの顔の向き検出を挙げることができる。
【００８１】
図１４には、方向検出部１５にて顔向き検出を行う場合の処理の流れを示す。
【００８２】
図１４において、方向検出部１５は、ステップＳ５１として、例えば図１５Ａや図１５Ｂに示すような、カメラ１３により撮像された原画像データが供給されると、次のステップＳ５２の処理として、供給された画像の色彩情報を用いて、肌領域と髪領域を検出する。すなわち、方向検出部１５は、供給された画像の色彩情報から、例えば肌、髪の色領域を抽出し、それら抽出した色領域により、図１６Ａや図１６Ｂに示すように、肌領域ｓｅと髪領域ｈｅを検出する。
【００８３】
次に、方向検出部１５は、ステップＳ５３の処理として、図１７Ａや図１７Ｂに示すように、肌領域ｓｅと髪領域ｈｅの和領域ｆｅ（＝ｓｅ＋ｈｅ）の重心ｆｑと、肌領域ｓｅの重心ｓｑの検出を行うための枠の設定を行う。ここで、当該枠の設定は、画像の例えば垂直方向の範囲指定により行う。具体的に説明すると、この範囲指定は、例えば髪領域ｈｅと肌領域ｓｅの和領域ｆｅの上端ｒｅを基準とし、当該基準の上端ｒｅより下方向の区間const＿ａから区間const＿ａ＋const＿ｂの間を範囲とするように行う。
【００８４】
続いて、方向検出部１５は、ステップＳ５４の処理として、ステップＳ５３にて設定した枠の範囲内において、髪領域ｈｅと肌領域ｓｅの和領域ｆｅの重心ｆｑと、肌領域ｓｅの重心ｓｑを求める。なお、これら重心は、後段の処理において、水平方向と垂直方向の両方向についての顔向き検出を行う場合や、水平方向と垂直方向の何れかの方向についての顔向き検出を行う場合に使用されるが、ここでは一例として水平方向についての顔向き検出の際に重心を使用する例を挙げて説明する。
【００８５】
方向検出部１５は、ステップＳ５４にて髪領域ｈｅと肌領域ｓｅの和領域ｆｅの重心ｆｑと、肌領域ｓｅの重心ｓｑとを求めると、ステップＳ５５の処理として、肌領域ｓｅの重心ｓｑの値から、髪領域ｈｅと肌領域ｓｅの和領域ｆｅの重心ｆｑの値を引いた差分値を求める。
【００８６】
次に、方向検出部１５は、ステップＳ５６の処理として、ステップＳ５５にて求めた差分値から顔の向きを検出する。すなわち、上記差分値から顔向きを検出する処理としては、例えば以下のような２つの方法の何れかを用いる。なお、ここでは差分値をＸ、顔向き角度をＹで表現することにし、また、会議参加者３Ａがカメラ１３の方向を向いている時の角度を０度と定義する。上記ステップＳ５６の処理の一方法例では、当該顔向き検出処理に先立って、予め差分値Ｘと顔向き角度Ｙに関する統計をとり、差分値Ｘに対する顔向き角度Ｙの値を例えば平均値として求め、図１８に示すようにその対応関係のグラフを用意しておき、この図１８の対応関係に基づいて、ステップＳ５５にて求めた差分値Ｘから顔向き角度Ｙを得る。また、ステップＳ５６の処理の他の方法例では、ステップＳ５５にて求めた差分値Ｘを用い、次式（１３）により顔向き角度Ｙを求める。
【００８７】
Ｙ＝asin（Ｘ） （１３）
以上の流れにより、方向検出部１５では、会議参加者３Ａの顔向きを検出する。
【００８８】
なお、会議参加者３Ａの向いている方向を検出する他の具体的な方法としては、例えば、会議参加者３Ａの顔に赤外線を照射し、当該会議参加者３Ａの顔にて反射された赤外線を受光して生成した画像を用いて、方向検出をを行うことも考えられる。
【００８９】
次に、本実施の形態の遠隔会議装置１Ａの注目度検出部１３１，１３２，１３３にて検出される注目度と、当該検出された注目度に基づいて調整部１６１，１６２，１６３にて行われる調整処理の具体例について、以下に説明する。
【００９０】
注目度検出及び調整処理の第１の具体例としては、前記他の遠隔会議装置１Ｂ，１Ｃ，１Ｄから遠隔会議装置１Ａに送られてきた音声データを、上記方向検出部１５の検出結果に応じて増幅させる処理を挙げることができる。
【００９１】
図１９には、注目度検出及び調整処理の第１の具体例として、上記方向検出部１５の検出結果に応じて音声データを増幅させるようにした場合の遠隔会議装置１Ａの主要部の概略構成を示す。また、図１９の例の遠隔会議装置１Ａの各構成要素の具体的な構成及び配置は図２０に示すようになされる。なお、これら図１９及び図２０において、前述した図３及び図４にそれぞれ対応する構成要素には、図３及び図４と同じ指示符号を付して、それらの説明は省略する。
【００９２】
これら図１９及び図２０において、遠隔会議装置１Ａの方向検出部１５は、カメラ１３からの画像データに基づいて、会議参加者３Ａの向いている方向、すなわち例えば前述したように視線或いは顔向きを検出し、その検出結果を、前記注目度検出部１３１に対応する音量演算部２２１と、前記注目度検出部１３２に対応する音量演算部２２２と、前記注目度検出部１３３に対応する音量演算部２２３に供給する。
【００９３】
音量演算部２２１では、方向検出部１５から供給された信号に基づき、前記注目度検出部１３１におけるパラメータＰ(t)として、後段の増幅器２３１で音声増幅或いは減衰を行う際の増幅率Ｇ(t)を演算により求める。すなわち、音量演算部２２１は、前記式（１）のパラメータＰ(t)として増幅率Ｇ(t)を求める。なお、この場合、式（１）の最小パラメータＰminは最小増幅率Ｇminとなる。
【００９４】
また、音量演算部２２２では、方向検出部１５から供給された信号に基づいて、前記注目度検出部１３２におけるパラメータＰ(t)として、後段の増幅器２３２で音声増幅或いは減衰を行う際の増幅率Ｇ(t)を演算により求める。
【００９５】
同様に、音量演算部２２３では、方向検出部１５から供給された信号に基づいて、前記注目度検出部１３３におけるパラメータＰ(t)として、後段の増幅器２３３で音声増幅或いは減衰を行う際の増幅率Ｇ(t)を演算により求める。
【００９６】
上記音量演算部２２１から出力された増幅率Ｇ(t)は増幅器２３１に送られ、音量演算部２２２から出力された増幅率Ｇ(t)は増幅器２３２に送られ、音量演算部２２３から出力された増幅率Ｇ(t)は増幅器２３３に送られる。増幅器２３１には、データ送受信部１６を介して、遠隔会議装置１Ｂからの音声データが供給され、増幅器２３２には、データ送受信部１６を介して、遠隔会議装置１Ｃからの音声データが供給され、増幅器２３３には、データ送受信部１６を介して、遠隔会議装置１Ｄからの音声データが供給されている。
【００９７】
増幅器２３１は、音量演算部２２１から供給された増幅率Ｇ(t)を受け取ると、当該増幅率Ｇ(t)に基づいて、遠隔会議装置１Ｂから供給されている会議参加者３Ｂの音声を増幅或いは減衰させる。また、増幅器２３２は、音量演算部２２２から供給された増幅率Ｇ(t)を受け取ると、当該増幅率Ｇ(t)に基づいて、遠隔会議装置１Ｃから供給されている会議参加者３Ｃの音声を増幅或いは減衰させる。また、増幅器２３３は、音量演算部２２３から供給された増幅率Ｇ(t)を受け取ると、当該増幅率Ｇ(t)に基づいて、遠隔会議装置１Ｄから供給されている会議参加者３Ｄの音声を増幅或いは減衰させる。
【００９８】
増幅器２３１から出力された音声信号はスピーカ１２１に送られて放音される。また、増幅器２３２から出力された音声信号はスピーカ１２２に送られて放音される。増幅器２３３から出力された音声信号はスピーカ１２３に送られて放音される。
【００９９】
図２１には、注目度検出及び調整処理の第１の具体例として、上記方向検出部１５の検出結果に応じて音声データを増幅させるようにした場合の遠隔会議装置１Ａにおける処理の流れを示す。
【０１００】
この図２１において、遠隔会議装置１Ａの方向検出部１５は、ステップＳ１の処理として、カメラ１３からの画像データを解折して会議参加者３Ａの向いている方向を検出する。
【０１０１】
次に、遠隔会議装置１Ａの音量演算部２２１，２２２，２２３は、ステップＳ２の処理として、方向検出部１５の検出結果に基づいて、それぞれ対応する遠隔会議装置１Ｂ，１Ｃ，１Ｄから送信されてきた会議参加者３Ｂ，３Ｃ，３Ｄの各音声データに対する各増幅率Ｇain（t）を前記式（１）を流用して演算し、それぞれ対応する増幅器２３１乃至２３３に供給する。
【０１０２】
次に、遠隔会議装置１Ａの増幅器２３１，２３２，２３３は、ステップＳ３の処理として、それぞれ対応する音量演算部２２１，２２２，２２３から供給された増幅率Ｇain（t）に基づいて、それぞれ対応する遠隔会議装置１Ｂ，１Ｃ，１Ｄから供給された会議参加者３Ｂ，３Ｃ，３Ｄの各音声データを増幅或いは減衰し、それぞれ対応するスピー力１２１，１２２，１２３に出力する。
【０１０３】
これにより、遠隔会議装置１Ａのスピーカ１２１，１２２，１２３からは、ステップＳ４の処理として、それぞれ対応した増幅器２３１，２３２，２３３から入力された音声データに基づく音声が放音される。
【０１０４】
次に、本実施の形態の遠隔会議装置１Ａの注目度検出部１３１，１３２，１３３にて検出される注目度と、当該検出された注目度に基づいて調整部１６１，１６２，１６３にて行われる調整処理の第２の具体例としては、前記他の遠隔会議装置１Ｂ，１Ｃ，１Ｄから遠隔会議装置１Ａに送られてきた音声データを、上記方向検出部１５の検出結果に応じて例えば周波数特性制御するような音質加工処理を挙げることができる。
【０１０５】
図２２には、注目度検出及び調整処理の第２の具体例として、上記方向検出部１５の検出結果に応じて音質加工するようにした場合の遠隔会議装置１Ａの主要部の概略構成を示す。また、図２３の例の遠隔会議装置１Ａの各構成要素の具体的な構成及び配置は図２４に示すようになされる。なお、これら図２２及び図２３において、前述した図３及び図４にそれぞれ対応する構成要素には、図３及び図４と同じ指示符号を付して、それらの説明は省略する。
【０１０６】
これら図２２及び図２３において、遠隔会議装置１Ａの方向検出部１５は、カメラ１３からの画像データに基づいて、会議参加者３Ａの向いている方向、すなわち例えば前述したように視線或いは顔向きを検出し、その検出結果を、前記注目度検出部１３１に対応する音質演算部２８１、前記注目度検出部１３２に対応する音質演算部２８２、前記注目度検出部１３３に対応する音質演算部２８３に供給する。
【０１０７】
音質演算部２８１では、方向検出部１５から供給された信号に基づき、前記注目度検出部１３１におけるパラメータＰ(t)として、後段の音声加工器２９１での周波数特性制御、すなわちフィルタ処理（例えばローパスフィルタ処理）を行う際のフィルタパラメータＫ(t)を演算により求める。すなわち、音質演算部２８１は、前記式（１）のパラメータＰ(t)としてフィルタパラメータＫ(t)を求める。なお、この場合、式（１）の最小パラメータＰminは最小フィルタパラメータＫminとなる。
【０１０８】
また、音質演算部２８２では、方向検出部１５から供給された信号に基づいて、前記注目度検出部１３２におけるパラメータＰ(t)として、後段の音声加工器２９２でフィルタ処理を行う際のフィルタパラメータＫ(t)を演算により求める。
【０１０９】
同様に、音質演算部２８３では、方向検出部１５から供給された信号に基づいて、前記注目度検出部１３３におけるパラメータＰ(t)として、後段の音声加工器２９３でフィルタ処理を行う際のフィルタパラメータＫ(t)を演算により求める。
【０１１０】
上記音質演算部２８１から出力されたフィルタパラメータＫ(t)は音声加工器２９１に送られ、音質演算部２８２から出力されたフィルタパラメータＫ(t)は音声加工器２９２に送られ、音質演算部２８３から出力されたフィルタパラメータＫ(t)は音声加工器２９３に送られる。音声加工器２９１には、データ送受信部１６を介して、遠隔会議装置１Ｂからの音声データが供給され、音声加工器２９２には、データ送受信部１６を介して、遠隔会議装置１Ｃからの音声データが供給され、音声加工器２９３には、データ送受信部１６を介して、遠隔会議装置１Ｄからの音声データが供給されている。
【０１１１】
音声加工器２９１は、音質演算部２８１から供給されたフィルタパラメータＫ(t)を受け取ると、当該フィルタパラメータＫ(t)に基づいて、遠隔会議装置１Ｂから供給されている会議参加者３Ｂの音声データにフィルタ処理、例えば低域濾波処理（ＬＰＦ処理）を施す。また、音声加工器２９２は、音質演算部２８２から供給されたフィルタパラメータＫ(t)を受け取ると、当該フィルタパラメータＫ(t)に基づいて、遠隔会議装置１Ｃから供給されている会議参加者３Ｃの音声データにフィルタ処理、例えば低域濾波処理を施す。また、音声加工器２９３は、音質演算部２８３から供給されたフィルタパラメータＫ(t)を受け取ると、当該フィルタパラメータＫ(t)に基づいて、遠隔会議装置１Ｄから供給されている会議参加者３Ｄの音声データにフィルタ処理、例えば低域濾波処理を施す。
【０１１２】
音声加工器２９１から出力された音声信号はスピーカ１２１に送られて放音される。また、音声加工器２９２から出力された音声信号はスピーカ１２２に送られて放音される。音声加工器２９３から出力された音声信号はスピーカ１２３に送られて放音される。
【０１１３】
図２４には、音声加工器２９１，２９２，２９３の具体的構成例を示す。なお、各音声加工器２９１，２９２，２９３はそれぞれ同じ構成を有するため、図２４には例えば音声加工器２９１の構成のみ示す。
【０１１４】
図２４において、端子３０２には、データ送受信部１６を介して遠隔会議装置１Ｂから供給された図２５に示すような周波数特性を有する音声データが入力され、端子３０１には、音質演算部２８１から供給された図２６に示すような周波数制御特性のフィルタパラメータＫ(t)が入力される。なお、図２６中のＦmaxは、入力音声の最大周波数（固定値）である。上記端子３０２を介した音声データと、端子３０１を介したフィルタパラメータＫ(t)は、音声加工器２９１の主要構成要素であるＬＰＦ（ローパスフィルタ）３００に入力する。
【０１１５】
ＬＰＦ３００は、端子３０２から入力された図２５に示す特性を有する音声データに対して、端子３０１から入力された図２６に示すようなＫ(t)・Ｆmaxの遮断周波数を有する低域通過のフィルタ処理を施す。これにより、ＬＰＦ３００からは、図２７に示すような特性の出力音声データが得られることになる。当該出力音声データは、端子３０３から後段の構成であるスピーカ１２１に送られる。このスピーカ１２１から放音された音声は、注目時に聞き取り易い周波数特性制御がなされた音声となる。
【０１１６】
図２８には、注目度検出及び調整処理の第２の具体例として、上記方向検出部１５の検出結果に応じて音声データにフィルタ処理を施すようにした場合の遠隔会議装置１Ａにおける処理の流れを示す。
【０１１７】
この図２８において、遠隔会議装置１Ａの方向検出部１５は、ステップＳ６１の処理として、カメラ１３からの画像データを解折して会議参加者３Ａの向いている方向を検出する。
【０１１８】
次に、遠隔会議装置１Ａの音質演算部２８１，２８２，２８３は、ステップＳ６２の処理として、方向検出部１５の検出結果に基づいて、それぞれ対応する遠隔会議装置１Ｂ，１Ｃ，１Ｄから送信されてきた会議参加者３Ｂ，３Ｃ，３Ｄの各音声データに対する各フィルタパラメータＫ（t）を前記式（１）を流用して演算し、それぞれ対応する音声加工器２９１乃至２９３に供給する。
【０１１９】
次に、遠隔会議装置１Ａの音声加工器２９１，２９２，２９３は、ステップＳ６３の処理として、それぞれ対応する音質演算部２８１，２８２，２８３から供給されたフィルタパラメータＫ（t）に基づいて、それぞれ対応する遠隔会議装置１Ｂ，１Ｃ，１Ｄから供給された会議参加者３Ｂ，３Ｃ，３Ｄの各音声データにフィルタ処理を施し、それぞれ対応するスピー力１２１，１２２，１２３に出力する。
【０１２０】
これにより、遠隔会議装置１Ａのスピーカ１２１，１２２，１２３からは、ステップＳ６４の処理として、それぞれ対応した音声加工器２９１，２９２，２９３から入力された音声データに基づく音声が放音される。
【０１２１】
以上のように、注目度検出及び調整処理の第２の具体例として、上記方向検出部１５の検出結果に応じて音声データをフィルタ処理するようにした場合の遠隔会議装置１Ａによれば、会議参加者３Ａがモニタ部１１１，１１２，１１３の何れかの方を向いて一定時間Ｔcont以上経過したとき、会議参加者３Ａは当該方向のモニタ部上に写し出されている会議参加者に注目していると判定して、当該注目されている会議参加者の発言の音質を高め、一方、注目されていないモニタ部上に写し出されている会議参加者の発言の音質を低下させることにより、会議参加者３Ａが注目している方向のモニタ部上に写し出されている会議参加者の発言を聞き取り易くすることができる。
【０１２２】
また、当該第２の具体例の場合の遠隔会議装置１Ａによれば、会議参加者３Ａが、ある方向のモニタ部上に写し出されている会議参加者への注目を止めたときでも、前記時間Ｔattが経過するまで、その注目していた会議参加者の発言の音質を高い状態に維持し、その後徐々に音質を低下させるようにすることで、例えば会議参加者３Ａが注目していた者以外で当該会議に参加している者に、会議参加者３Ａが少しずつ向きを変えた場合でも、元々注目していた会議参加者の発言の音質を低下させずに済む。
【０１２３】
更に、当該第２の具体例の場合の遠隔会議装置１Ａによれば、会議参加者３Ａが何れかのモニタ部の方を向いて一定時間Ｔcont以上経過した時に、会議参加者３Ａは当該方向のモニタ部の方に注目していると判定するようにしているため、例えば会議参加者３Ａの向きに一時的なプレが発生した場合や、各モニタ部の方に一時的に会議参加者３Ａが向いた場合に、音質制御が過敏に反応し過ぎることを抑止している。
【０１２４】
次に、本実施の形態の遠隔会議装置１Ａの注目度検出部１３１，１３２，１３３にて検出される注目度と、当該検出された注目度に基づいて調整部１６１，１６２，１６３にて行われる調整処理の第３の具体例としては、前記他の遠隔会議装置１Ｂ，１Ｃ，１Ｄから遠隔会議装置１Ａに送られてきた画像データを、上記方向検出部１５の検出結果に応じて画質加工する処理を挙げることができる。
【０１２５】
図２９には、注目度検出及び調整処理の第３の具体例として、上記方向検出部１５の検出結果に応じて画質加工するようにした場合の遠隔会議装置１Ａの主要部の概略構成を示す。また、図２９の例の遠隔会議装置１Ａの各構成要素の具体的な構成及び配置は図３０に示すようになされる。なお、これら図２９及び図３０において、前述した図３及び図４にそれぞれ対応する構成要素には、図３及び図４と同じ指示符号を付して、それらの説明は省略する。
【０１２６】
これら図２９及び図３０において、遠隔会議装置１Ａの方向検出部１５は、カメラ１３からの画像データに基づいて、会議参加者３Ａの向いている方向、すなわち例えば前述したように視線或いは顔向きを検出し、その検出結果を、前記注目度検出部１３１に対応する画質演算部３１１、前記注目度検出部１３２に対応する画質演算部３１２、前記注目度検出部１３３に対応する画質演算部３１３に供給する。
【０１２７】
画質演算部３１１では、方向検出部１５から供給された信号に基づき、前記注目度検出部１３１におけるパラメータＰ(t)として、後段の画像加工器３２１で画像加工処理を行う際の画質調整値Ｖ(t)を演算により求める。すなわち、画質演算部３１１は、前記式（１）のパラメータＰ(t)として画質調整値Ｖ(t)を求める。なお、この場合、式（１）の最小パラメータＰminは最小制御値Ｖminとなる。また、画像加工処理としては、例えばＲ（赤），Ｇ（緑），Ｂ（青）の原色データのそれぞれのゲインを調整することによる色加工処理や明るさ調整処理、画像の解像度やシャープネスを調整する処理等を挙げることができる。
【０１２８】
画質演算部３１２では、方向検出部１５から供給された信号に基づいて、前記注目度検出部１３２におけるパラメータＰ(t)として、後段の画質加工器３２２で画像加工処理を行う際の画質調整値Ｖ(t)を演算により求める。
【０１２９】
同様に、画質演算部３１３では、方向検出部１５から供給された信号に基づいて、前記注目度検出部１３３におけるパラメータＰ(t)として、後段の画像加工器３２３で画像加工処理を行う際の画質調整値Ｖ(t)を演算により求める。
【０１３０】
上記画質演算部３１１から出力された画質調整値Ｖ(t)は画像加工器３２１に送られ、画質演算部３１２から出力された画質調整値Ｖ(t)は画像加工器３２２に送られ、画質演算部３１３から出力された画質調整値Ｖ(t)は画像加工器３２３に送られる。画像加工器３２１には、データ送受信部１６を介して、遠隔会議装置１Ｂからの画像データが供給され、画像加工器３２２には、データ送受信部１６を介して、遠隔会議装置１Ｃからの画像データが供給され、画像加工器３２３には、データ送受信部１６を介して、遠隔会議装置１Ｄからの画像データが供給されている。
【０１３１】
画像加工器３２１は、画質演算部３１１から供給された画質調整値Ｖ(t)を受け取ると、当該画質調整値Ｖ(t)に基づいて、遠隔会議装置１Ｂから供給されている会議参加者３Ｂの画像データに画像加工処理を施す。また、画像加工器３２２は、画質演算部３１２から供給された画質調整値Ｖ(t)を受け取ると、当該画質調整値Ｖ(t)に基づいて、遠隔会議装置１Ｃから供給されている会議参加者３Ｃの画像データに画像加工処理を施す。また、画像加工器３２３は、画質演算部３１３から供給された画質調整値Ｖ(t)を受け取ると、当該画質調整値Ｖ(t)に基づいて、遠隔会議装置１Ｄから供給されている会議参加者３Ｄの画像データに画像加工処理を施す。
【０１３２】
画像加工器３２１から出力された画像信号はモニタ部１１１に送られて画像として表示される。また、画像加工器３２２から出力された画像信号はモニタ部１１２に送られて画像として表示される。画像加工器３２３から出力された画像信号はモニタ部１１３に送られて画像として表示される。
【０１３３】
図３１には、画像加工器３２１，３２２，３２３の一具体的構成例を示す。なお、各画像加工器３２１，３２２，３２３はそれぞれ同じ構成を有するため、図３１には例えば画像加工器３２１の構成のみ示す。また、この図３１の例では、画像加工処理として、Ｒ，Ｇ，Ｂの原色データのそれぞれのゲインを調整する処理を例に挙げる。
【０１３４】
図３１において、端子３３２，３３３，３３４には、データ送受信部１６を介して遠隔会議装置１Ｂから供給されたＲ，Ｇ，Ｂの原色データが入力され、端子３３１には、画質演算部３２１から供給された画質調整値Ｖ(t)が入力される。上記端子３３２，３３３，３３４を介したＲ，Ｇ，Ｂの原色データと、端子３３１を介した画質調整値Ｖ(t)は、画像加工器３２１に入力する。
【０１３５】
画像加工器３２１は、端子３３２，３３３，３３４から入力されたＲ，Ｇ，Ｂの原色データに対して、端子３３１から入力された画質調整値Ｖ(t)による画像加工処理を施す。これにより、画像加工器３２１からは、Ｒ，Ｇ，Ｂの各原色信号にそれぞれ画質調整値Ｖ(t)による調整が施された信号が出力される。これら画像加工処理後のＲ，Ｇ，Ｂのデータは、それぞれ対応する端子３３５，３３６，３３７から出力され、後段の構成であるモニタ部１１１に送られる。
【０１３６】
図３２には、注目度検出及び調整処理の第３の具体例として、上記方向検出部１５の検出結果に応じて画像データに画像加工処理を施すようにした場合の遠隔会議装置１Ａにおける処理の流れを示す。
【０１３７】
この図３２において、遠隔会議装置１Ａの方向検出部１５は、ステップＳ７１の処理として、カメラ１３からの画像データを解折して会議参加者３Ａの向いている方向を検出する。
【０１３８】
次に、遠隔会議装置１Ａの画質演算部３１１，３１２，３１３は、ステップＳ７２の処理として、方向検出部１５の検出結果に基づいて、それぞれ対応する遠隔会議装置１Ｂ，１Ｃ，１Ｄから送信されてきた会議参加者３Ｂ，３Ｃ，３Ｄの各画像データに対する各画質調整値Ｖ（t）を前記式（１）を流用して演算し、それぞれ対応する画像加工器３２１乃至３２３に供給する。
【０１３９】
次に、遠隔会議装置１Ａの画像加工器３２１，３２２，３２３は、ステップＳ７３の処理として、それぞれ対応する画質演算部３１１，３１２，３１３から供給された画質調整値Ｖ（t）に基づいて、それぞれ対応する遠隔会議装置１Ｂ，１Ｃ，１Ｄから供給された会議参加者３Ｂ，３Ｃ，３Ｄの各画像データに画像加工処理を施し、それぞれ対応するモニタ部１１１，１１２，１１３に出力する。
【０１４０】
これにより、遠隔会議装置１Ａのモニタ部１１１，１１２，１１３からは、ステップＳ７４の処理として、それぞれ対応した画像加工器３２１，３２２，３２３から入力された画像データに基づく画像が表示される。
【０１４１】
以上のように、注目度検出及び調整処理の第３の具体例として、上記方向検出部１５の検出結果に応じて画像データに画像加工処理を施すようにした場合の遠隔会議装置１Ａによれば、会議参加者３Ａがモニタ部１１１，１１２，１１３の何れかの方を向いて一定時間Ｔcont以上経過したとき、会議参加者３Ａは当該方向のモニタ部上に写し出されている会議参加者に注目していると判定して、当該注目されている会議参加者の画質（画像の色や明るさ、解像度やシャープネス等）を高め、一方、注目されていないモニタ部上に写し出されている会議参加者の画質を低下させることにより、会議参加者３Ａが注目している方向のモニタ部上に写し出されている会議参加者の画像を見易くすることができる。
【０１４２】
また、当該第３の具体例の場合の遠隔会議装置１Ａによれば、会議参加者３Ａが、ある方向のモニタ部上に写し出されている会議参加者への注目を止めたときでも、前記時間Ｔattが経過するまで、その注目していた会議参加者の画質を高い状態に維持し、その後徐々に画質を低下させるようにすることで、例えば会議参加者３Ａが注目していた者以外で当該会議に参加している者に、会議参加者３Ａが少しずつ向きを変えた場合でも、元々注目していた会議参加者の画質を低下させずに済む。
【０１４３】
更に、当該第３の具体例の場合の遠隔会議装置１Ａによれば、会議参加者３Ａが何れかのモニタ部の方を向いて一定時間Ｔcont以上経過した時に、会議参加者３Ａは当該方向のモニタ部の方に注目していると判定するようにしているため、例えば会議参加者３Ａの向きに一時的なプレが発生した場合や、各モニタ部の方に一時的に会議参加者３Ａが向いた場合に、画質制御が過敏に反応し過ぎることを抑止している。
【０１４４】
次に、図３３には、遠隔会議装置１Ａの他の構成例を示す。
【０１４５】
この図３３に示す構成例では、他の遠隔会議装置１Ｂ，１Ｃ，１Ｄの各会議参加者３Ｂ，３Ｃ，３Ｄの画像を写し出す表示装置として、前述の図２のような各遠隔会議装置１Ｂ，１Ｃ，１Ｄのそれぞれに対応したモニタ部１１１，１１２，１１３を設けるのではなく、湾曲した１つのスクリーン３１を設けるようにしている。
【０１４６】
すなわちこの図３３の構成例では、会議参加者３Ａと共に他の各会議参加者３Ｂ，３Ｃ，３Ｄがあたかも１つのテーブルを囲んで会議を行うかのように、スクリーン３１上に他の各会議参加者３Ｂ，３Ｃ，３Ｄの画像が表示される。
【０１４７】
カメラ３４及びマイクロホン３５は、例えば会議参加者３Ａの正面に置かれ、当該カメラ３４により撮像された会議参加者３Ａの画像データとマイクロホン３５により集音された会議参加者３Ａの音声データは、ＩＳＤＮ２を介して遠隔会議装置１Ｂ乃至１Ｄに送信される。
【０１４８】
一方、遠隔会議装置１Ｂから送信されてきた会議参加者３Ｂの音声データは、その音像がスクリーン３１上に表示されている会議参加者３Ｂの画像近傍に定位するように制御されて、スクリーン３１の左右に配置されたスピーカ３２，３３に供給され、放音される。また、遠隔会議装置１Ｃから送信されてきた会議参加者３Ｃの音声データは、その音像がスクリーン３１上に表示されている会議参加者３Ｃの画像近傍に定位するように制御されて、スピーカ３２，３３に供給され、放音される。同様に、遠隔会議装置１Ｄから送信されてきた会議参加者３Ｄの音声データは、その音像がスクリーン３１上に表示されている会議参加者３Ｄの画像近傍に定位するように制御されて、スピーカ３２，３３に供給され、放音される。
【０１４９】
また、この図３３の構成例において、各会議参加者３Ｂ乃至３Ｄの音声データや画像データは、カメラ３４で撮像された会議参加者３Ａの画像データを用いて検出される会議参加者３Ａの向いている方向に基づいて求められた注目度（パラメータＰ(t)）に応じて、前述したように個別に調整される。
【０１５０】
次に、図３４には、遠隔会議装置１Ａの他の構成例を示す。
【０１５１】
すなわちこの図３４には、図３３の構成例と同様に湾曲した１つのスクリーン４１を設け、さらに二人の会議参加者３Ａ，３Ｅを同席可能にした場合の遠隔会議装置１Ａの構成例を示している。
【０１５２】
この図３４の構成例では、同席する二人の会議参加者３Ａ，３Ｅと共に、他の各会議参加者３Ｂ，３Ｃ，３Ｄがあたかも１つのテーブルを囲んで会議を行うかのように、スクリーン４１上に他の各会議参加者３Ｂ，３Ｃ，３Ｄの画像が表示される。
【０１５３】
カメラ４４及びマイクロホン４６は、例えば会議参加者３Ａの正面に置かれ、当該カメラ４４により撮像された会議参加者３Ａの画像データとマイクロホン４６により集音された会議参加者３Ａの音声データは、ＩＳＤＮ２を介して遠隔会議装置１Ｂ乃至１Ｄに送信される。
【０１５４】
また、カメラ４５及びマイクロホン４７は、例えば会議参加者３Ｅの正面に置かれ、当該カメラ４５により撮像された会議参加者３Ｅの画像データとマイクロホン４７により集音された会議参加者３Ｅの音声データは、ＩＳＤＮ２を介して遠隔会議装置１Ｂ乃至１Ｄに送信される。
【０１５５】
一方、遠隔会議装置１Ｂから送信されてきた会議参加者３Ｂの音声データは、その音像がスクリーン４１上に表示されている会議参加者３Ｂの画像近傍に定位するように制御されて、スクリーン４１の左右に配置されたスピーカ４２，４３に供給され、放音される。また、遠隔会議装置１Ｃから送信されてきた会議参加者３Ｃの音声データは、その音像がスクリーン４１上に表示されている会議参加者３Ｃの画像近傍に定位するように制御されて、スピーカ４２，４３に供給され、放音される。同様に、遠隔会議装置１Ｄから送信されてきた会議参加者３Ｄの音声データは、その音像がスクリーン４１上に表示されている会議参加者３Ｄの画像近傍に定位するように制御されて、スピーカ４２，４３に供給され、放音される。
【０１５６】
また、この図３４の構成例において、各会議参加者３Ｂ乃至３Ｄの音声データや画像データは、カメラ４４で撮像された会議参加者３Ａの画像データを用いて検出される会議参加者３Ａの向いている方向に基づいて求められた注目度（パラメータＰ(t)）と、カメラ４５で撮像された会議参加者３Ｅの画像データを用いて検出される会議参加者３Ｅの向いている方向に基づいて求められた注目度（パラメータＰ(t)）との平均値に応じて、前述同様に個別に調整される。なお、画像データについては、会議参加者３Ａの方向に基づく注目度（パラメータＰ(t)）と、会議参加者３Ｅ方向に基づく注目度（パラメータＰ(t)）との平均値を取らず、それら各注目度（パラメータＰ(t)）に応じて前述同様に個別に調整することも可能である。
【０１５７】
次に、図３５には、遠隔会議装置１Ａの他の構成例を示す。
【０１５８】
すなわちこの図３５の構成例は、図３４の構成例と同様に湾曲した１つのスクリーン５１を設け、さらに二人の会議参加者３Ａ，３Ｅを同席可能にしているが、図３４の構成例のスピーカ４２，４３に代えて、会議参加者３Ａ，３Ｅに対して個別にヘッドホン５２，５３を設けた場合を示している。
【０１５９】
この図３５の構成例では、同席する二人の会議参加者３Ａ，３Ｅと共に、他の各会議参加者３Ｂ，３Ｃ，３Ｄがあたかも１つのテーブルを囲んで会議を行うかのように、スクリーン５１上に他の各会議参加者３Ｂ，３Ｃ，３Ｄの画像が表示される。
【０１６０】
カメラ５４及びマイクロホン５６は、例えば会議参加者３Ａの正面に置かれ、当該カメラ５４により撮像された会議参加者３Ａの画像データとマイクロホン５６により集音された会議参加者３Ａの音声データは、ＩＳＤＮ２を介して遠隔会議装置１Ｂ乃至１Ｄに送信される。
【０１６１】
また、カメラ５５及びマイクロホン５７は、例えば会議参加者３Ｅの正面に置かれ、当該カメラ５５により撮像された会議参加者３Ｅの画像データとマイクロホン５７により集音された会議参加者３Ｅの音声データは、ＩＳＤＮ２を介して遠隔会議装置１Ｂ乃至１Ｄに送信される。
【０１６２】
一方、遠隔会議装置１Ｂから送信されてきた会議参加者３Ｂの音声データは、その音像がスクリーン５１上に表示されている会議参加者３Ｂの画像近傍に定位するように制御されて、会議参加者３Ａ，３Ｅが個別に装着するヘッドホン５２，５３に供給され、放音される。また、遠隔会議装置１Ｃから送信されてきた会議参加者３Ｃの音声データは、その音像がスクリーン５１上に表示されている会議参加者３Ｃの画像近傍に定位するように制御されて、会議参加者３Ａ，３Ｅが個別に装着するヘッドホン５２，５３に供給され、放音される。同様に、遠隔会議装置１Ｄから送信されてきた会議参加者３Ｄの音声データは、その音像がスクリーン５１上に表示されている会議参加者３Ｄの画像近傍に定位するように制御されて、会議参加者３Ａ，３Ｅが個別に装着するヘッドホン５２，５３に供給され、放音される。
【０１６３】
また、この図３５の構成例において、各会議参加者３Ｂ乃至３Ｄの音声データや画像データは、カメラ５４で撮像された会議参加者３Ａの画像データを用いて検出される会議参加者３Ａの方向に基づいた注目度（パラメータＰ(t)）と、カメラ５５で撮像された会議参加者３Ｅの画像データを用いて検出される会議参加者３Ｅの方向に基づいた注目度（パラメータＰ(t)）とに応じて、同様に個別に調整される。なお、各会議参加者３Ｂ乃至３Ｄの音声データや画像データは、会議参加者３Ａの方向に基づく注目度（パラメータＰ(t)）と、会議参加者３Ｅ方向に基づく注目度（パラメータＰ(t)）との平均値平均値に応じて、個別に調整されるようにしてもよい。
【０１６４】
次に、図３６には、遠隔会議装置１Ａの他の構成例を示す。
【０１６５】
この図３６の構成例では、他の遠隔会議装置１Ｂ，１Ｃ，１Ｄの各会議参加者３Ｂ，３Ｃ，３Ｄの画像データは通信されず、音声データだけが通信される。このため、図３６の構成例では、会議参加者３Ａと共に、他の各会議参加者３Ｂ，３Ｃ，３Ｄがあたかも１つのテーブルを囲んで会議を行うかのように、他の各会議参加者３Ｂ，３Ｃ，３Ｄの音声を放音するためのスピーカ６１，６２，６３が配置される。但し、会議参加者３Ｂ，３Ｃ，３Ｄの音声データを放音するスピー力６１，６２，６３の近傍には、例えば写真６５Ｂ，６５Ｃ，６５Ｄのような各会議参加者３Ｂ，３Ｃ，３Ｄを象徴するものが配置される。
【０１６６】
カメラ６４及びマイクロホン６６は、例えば会議参加者３Ａの正面に置かれ、当該カメラ６４により撮像された会議参加者３Ａの画像データとマイクロホン６６により集音された会議参加者３Ａの音声データは、ＩＳＤＮ２を介して遠隔会議装置１Ｂ乃至１Ｄに送信される。
【０１６７】
遠隔会議装置１Ｂから送信されてきた会議参加者３Ｂの音声データはスピーカ６１から放音され、遠隔会議装置１Ｃから送信されてきた会議参加者３Ｃの音声データはスピーカ６２から放音され、遠隔会議装置１Ｄから送信されてきた会議参加者３Ｄの音声データはスピーカ６３から放音される。
【０１６８】
また、この図３６の構成例において、各会議参加者３Ｂ乃至３Ｄの音声データは、カメラ６４で撮像された会議参加者３Ａの画像データを用いて検出される会議参加者３Ａの方向に基づいた注目度（パラメータＰ(t)）に応じて、同様に個別に調整される。
【０１６９】
なお、本実施の形態では、方向検出部１５を遠隔会議装置内に設けた例を挙げたが、ネットワーク上に独立して設けることも可能である。
【０１７０】
本実施の形態では、方向検出の具体例として視線と顔向き検出をそれぞれ別個に行う例を挙げたが、それら両方の方向検出を同時に行うことも可能である。また、本実施の形態では、注目度検出結果に応じた調整の具体例として音量、音質、画質の調整をそれぞれ別個に行う例を挙げたが、それらの調整を２つ或いは３つ組み合わせて行うことも可能である。
【０１７１】
さらに、上述した各処理は例えばコンピュータプログラムにより実行でき、この場合の上記各処理を行うコンピュータプログラムは、磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の情報記縁媒体よりなる提供媒体のほか、インターネット、ディジタル衛星通信などのネットワーク提供媒体を介してユーザに提供することができる。
【０１７２】
【発明の効果】
以上のように、本発明の通信装置及び方法によれば、撮像したユーザの画像データを用いてユーザの視線や顔の向きを検出し、検出したユーザの視線や顔の向きからユーザの注目度を求め、その注目度に基づいて、複数の他の通信装置から入力される他のユーザの音声や画像を個別に調整するようにしているため、所望の発言を間き取り易くすることが可能となり、また、所望の画像を見易くすることが可能となる。
【図面の簡単な説明】
【図１】 図１は、本発明を適用した遠隔会議システムの構成例を示すブロック図である。
【図２】 図２は、遠隔会議システムを構成する一つの遠隔会議装置の構成例を示すブロック図である。
【図３】 図３は、遠隔会議装置の主要部の構成例を示すブロック図である。
【図４】 図４は、遠隔会議装置の主要部の具体的な構成例を示すブロック図である。
【図５】 図５Ａから図５Ｄは、遠隔会議装置の方向検出部、注目度検出部、調整部の処理動作の説明に用いる図である。
【図６】 図６は、注目検出処理の流れを示すフローチャートである。
【図７】 図７は、注目度の演算処理の流れを示すフローチャートである。
【図８】 図８は、視線検出処理の流れを示すフローチャートである。
【図９】 図９は、目の両端位置検出の説明に用いる図である。
【図１０】 図１０は、鼻孔の位置検出範囲の説明に用いる図である。
【図１１】 図１１は、目の両端位置、鼻孔位置、眼球中心位置の説明に用いる図である。
【図１２】 図１２は、視線の方向検出の説明に用いる図である。
【図１３】 図１３は、特定の画素集合の２次モーメントを最小にする線の求め方の説明に用いる図である。
【図１４】 図１４は、顔向き検出処理の流れを示すフローチャートである。
【図１５】 図１５Ａ、図１５Ｂは、顔向き検出の際の原画像を示す図である。
【図１６】 図１６Ａ、図１６Ｂは、顔向き検出の際の髪領域と肌領域の説明に用いる図である。
【図１７】 図１７Ａ、図１７Ｂは、髪領域と肌領域の重心の説明に用いる図である。
【図１８】 図１８は、顔向き検出の際の差分値と角度の関係例を示す図である。
【図１９】 図１９は、遠隔会議装置にて音量制御を行う場合の主要部の構成例を示すブロック図である。
【図２０】 図２０は、遠隔会議装置にて音量制御を行う場合の主要部の具体的な構成例を示すブロック図である。
【図２１】 図２１は、音量制御処理の流れを示すフローチャートである。
【図２２】 図２２は、遠隔会議装置にて音質制御を行う場合の主要部の構成例を示すブロック図である。
【図２３】 図２３は、遠隔会議装置にて音質制御を行う場合の主要部の具体的な構成例を示すブロック図である。
【図２４】 図２４は、音質制御を行う場合の音声加工器の具体的構成例を示すブロック図である。
【図２５】 図２５は、音声加工器への入力音声信号の周波数特性を示す図である。
【図２６】 図２６は、音声加工器の周波数制御特性を示す図である。
【図２７】 図２７は、音声加工器からの出力音声信号の周波数特性を示す図である。
【図２８】 図２８は、音質制御処理の流れを示すフローチャートである。
【図２９】 図２９は、遠隔会議装置にて画質制御を行う場合の主要部の構成例を示すブロック図である。
【図３０】 図３０は、遠隔会議装置にて画質制御を行う場合の主要部の具体的な構成例を示すブロック図である。
【図３１】 図３１は、画質制御を行う場合の画像加工器の具体的構成例を示すブロック図である。
【図３２】 図３２は、画質制御処理の流れを示すフローチャートである。
【図３３】 図３３は、本発明の遠隔会議装置の他の例として、スクリーン上に会議参加者の画像を表示し、スピーカによる音像を定位させる場合の概略構成を示すブロック図である。
【図３４】 図３４は、本発明の遠隔会議装置の他の例として、スクリーン上の会議参加者の画像を表示し、二人の会議参加者を同席可能にした場合の概略構成を示すブロック図である。
【図３５】 図３５は、本発明の遠隔会議装置の他の例として、スクリーン上の会議参加者の画像を表示し、ヘッドホンによる音像を定位させる場合の概略構成を示すブロック図である。
【図３６】 図３６は、本発明の遠隔会議装置の他の例として、会議参加者の音声のみを通信するようにした場合の概略構成を示すブロック図である。
【符号の説明】
１ 遠隔会議装置、１５ 方向検出部、１０１，１０２，１０３ 再生装置、１３１，１３２，１３３ 注目度検出部、１６１，１６２，１６３ 調整部
【発明の属する技術分野】
本発明は、通信装置及び方法に関し、特に、ユーザの視線や顔の向きに対応して音量や音質、画質等を調整する通信装置及び方法に関する。
【０００２】
【従来の技術】
従来、遠隔会議システムでは、遠く離れている複数の会議室における画像及び音声をネットワークを介して相互に通信し、各会議室において他の会議室の画像及び音声を再生することにより、あたかも１つのテーブルを囲んでいるかのように会議を行うことが可能となっている。
【０００３】
【発明が解決しようとする課題】
ところで、従来の遠隔会議システムにおいては、各会議室における会議参加者が同時に発言できるようになされている。このため、複数の会議参加者が同時に発言している場合、従来の遠隔会議システムでは、聞き取りたい発言が他の発言に邪魔されて聞き取り難くなる問題がある。
【０００４】
また、従来の遠隔会議システムにおいては、各会議室における画像が全て同じ明るさ、同じ画質となされている。したがって、従来の遠隔会議システムでは、例えば所望の会議室の画像をより明るくして見たり、より詳しく見るようなことはできない。
【０００５】
そこで、本発明はこのような状況に鑑みてなされたものであり、例えば、所望の発言を聞き取り易く、また、所望の会議室の画像を見易くすることを可能とする、通信装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の通信装置は、３以上の複数の通信装置間で通信を行う通信システムにおける通信装置において、複数の方向を有し、各方向がそれぞれ他の通信装置に対応している状態において、ユーザの向いている方向を検出する方向検出部と、上記方向検出部から供給された上記ユーザが上記各方向に向いている期間を表す情報から、それぞれの方向毎に、上記ユーザが一定時間以上対応する方向に向いていることを検出したとき、上記ユーザの当該対応する方向に対する注目度が高いとして注目度を第１の値に設定し、上記ユーザが一定時間以上対応する方向に向いていることを検出した後、上記ユーザが当該対応する方向とは異なる方向に向いていることを検出したとき、そのタイミングから、上記注目度が上記第１の値に設定された状態で一定時間を経過した後、上記注目度を上記第１の値よりも低い第２の値に設定する注目度検出部と、他の複数の通信装置からの情報を受信する受信部と、それぞれの方向毎に、上記他の複数の通信装置からの情報が上記注目度が高いほどより強調されるように調整する調整部とを備える。
【０００７】
ここで、上記注目度検出部は、上記方向検出部が、第１の時間以上同じ方向を検出した時に、上記方向検出部が検出した方向に対する、上記ユーザの注目度が高いと検出する。
【０００８】
また、上記注目度検出部は、上記方向検出部が、上記第１の時間以上同じ方向を検出した以降において、他の方向を検出したことに基づいて、上記注目度を低くする。
【０００９】
また、上記注目度検出部は、上記方向検出部が上記他の方向を検出したタイミングから第２の時間経過した場合に、上記注目度を低くする。
【００１０】
また、上記注目度検出部は、上記方向検出部が上記他の方向を検出したタイミングに応じて徐々に上記注目度を低くする。また、上記注目度検出部は、上記方向検出部が上記他の方向を検出したタイミングから第２の時間経過した場合に、上記注目度を徐々に低くする。
【００１１】
また、上記注目度検出部は、上記方向毎に上記注目度を検出する。
【００１２】
さらに、上記調整部は、上記方向毎の複数の注目度に基づいて、上記情報を調整する。
【００１３】
また、上記方向検出部は、上記ユーザの視線方向を検出する。
【００１４】
また、上記方向検出部は、上記ユーザの顔向きを検出する。
【００１５】
上記調整部は、上記注目度の高い方向に対応する情報を他の情報に対して相対的に強調された状態に調整する。
【００１６】
本発明の通信装置は、上記調整部で調整された情報をユーザに提示する提示部をさらに備える。
【００１７】
ここで、上記情報は、音声情報であり、上記調整部は、上記提示部で提示される音声情報を調整する。
【００１８】
上記調整部は、上記提示部で提示される音声情報の音量を調整する。
【００１９】
また、上記調整部は、上記提示部で提示される音声情報の音質を調整する。
【００２０】
また、上記情報は、画像情報であり、上記調整部は、上記提示部で提示される画像情報を調整する。
【００２１】
上記調整部は、上記提示部で提示される画像情報の画質を調整する。
【００２２】
上記提示部は、上記複数の方向にそれぞれ対応する複数の提示部を備える。
【００２３】
本発明の通信装置は、上記ユーザの情報を取得する取得部と、上記取得部で取得された上記ユーザの情報を上記他の通信装置へ送信する送信部とをさらに備える。
【００２４】
次に、本発明の通信方法は、３以上の複数の通信装置間で通信を行う通信システムにおける通信方法において、上記複数の通信装置の一つにおいて、複数の方向を有し、各方向がそれぞれ他の通信装置に対応している状態において、ユーザの向いている方向を検出するステップと、上記方向の検出ステップにより供給された上記ユーザが上記各方向に向いている期間を表す情報から、それぞれの方向毎に、上記ユーザが一定時間以上対応する方向に向いていることを検出したとき、上記ユーザの当該対応する方向に対する注目度が高いとして注目度を第１の値に設定し、上記ユーザが一定時間以上対応する方向に向いていることを検出した後、上記ユーザが当該対応する方向とは異なる方向に向いていることを検出したとき、そのタイミングから、上記注目度が上記第１の値に設定された状態で一定時間を経過した後、上記注目度を上記第１の値よりも低い第２の値に設定する注目度を検出するステップと、上記他の複数の通信装置からの受信した情報が上記注目度が高いほどより強調されるように調整するステップとを備える。
【００２５】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００２６】
図１は、本発明の通信装置及び方法を適用した一例としての遠隔会議システムの概略構成を示している。なお、本明細書において、システムとは、複数の装置や各部などによる全体的な構成を意味するものである。
【００２７】
図１に示す遠隔会議システムでは、複数の遠隔会議装置１Ａ乃至１Ｄ（以下、遠隔会議装置１Ａ乃至１Ｄを個々に区別する必要がない場合、単に遠隔会議装置１と記述する）が例えばＩＳＤＮ（Integrated Services Digita1 Network）２を介して接続されている。遠隔会議装置１は、当該装置１が取り込んだ会議参加者３の画像データ及び音声データを、ＩＳＤＮ２を介して他の遠隔会議装置１に相互に通信するとともに、他の遠隔会議装置１から送信された画像データ及び音声データを再生可能となされている。
【００２８】
なお、図１には、図示を簡略化するために４個の遠隔会議装置１Ａ乃至１Ｄを示したが、さらに多くの遠隔会議装置を接続することも可能である。また、図１には、通信ネットワークとしてＩＳＤＮ２を例に挙げたが、このＩＳＤＮ２の代わりに、例えばケーブルテレビ網、インターネット、ディジタル衛星通信のような他の伝送媒体を用いることも可能である。
【００２９】
上記遠隔会議システムを構成する各遠隔会議装置１Ａ乃至１Ｄは、それぞれ図２に示すような構成を備えている。なお、図２は、複数の遠隔会議装置１Ａ乃至１Ｄのうち、例えば遠隔会議装置１Ａの詳細な構成例を示している。遠隔会議装置１Ｂ，１Ｃ，１Ｄの構成は、遠隔会議装置１Ａと同様であるので、その説明は省略する。
【００３０】
遠隔会議装置１Ａは、少なくとも、遠隔会議装置１Ｂから送信された会議参加者３Ｂの画像データ及び音声データを再生する再生装置１０１と、遠隔会議装置１Ｃから送信された会議参加者３Ｃの画像データ及び音声データを再生する再生装置１０２と、遠隔会議装置１Ｄから送信された会議参加者３Ｄの画像データ及び音声データを再生する再生装置１０３とから構成される。これら再生装置１０１，１０２，１０３は、会議参加者３Ａと他の会議参加者３Ｂ，３Ｃ，３Ｄがあたかも１つのテーブルを囲んで会議を行うかのように配置されている。
【００３１】
再生装置１０１のモニタ部１１１は、遠隔会議装置１Ｂから送信された画像データ（会議参加者３Ｂ及びその周辺の画像データ）を表示するようになされており、スピーカ１２１は、遠隔会議装置１Ｂから送信された音声データ（会議参加者３Ｂの発言）を再生するようになされている。また、再生装置１０２のモニタ部１１２は、遠隔会議装置１Ｃから送信された画像データ（会議参加者３Ｃ及びその周辺の画像データ）を表示するようになされており、スピーカ１２２は、遠隔会議装置１Ｃから送信された音声データ（会議参加者３Ｃの発言）を再生するようになされている。同様に、再生装置１０３のモニタ部１１３は、遠隔会議装置１Ｄから送信された画像データ（会議参加者３Ｄ及びその周辺の画像データ）を表示するようになされており、スピーカ１２３は、遠隔会議装置１Ｄから送信された音声データ（会議参加者３Ｄの発言）を再生するようになされている。
【００３２】
会議参加者３Ａの正面に配置されている再生装置（図２の例では再生装置１０２）の上部には、会議参加者３Ａを撮像するカメラ１３、及び会議参加者３Ａの発言を集音するマイク１４が配設されている。カメラ１３が撮像した画像データ、及びマイク１４が集音した音声データは、ＩＳＤＮ２を介して遠隔会議装置１Ｂ，１Ｃ，１Ｄに送信されるようになされている。
【００３３】
ここで、遠隔会議装置１Ａは、その主要部の構成として、図３に示す構成要素を備えている。また、図３に示す主要部の構成要素を備えた遠隔会議装置１Ａの具体的な構成及び各構成要素の配置は、図４に示すようになされる。
【００３４】
これら図３及び図４において、遠隔会議装置１Ａは、図２に示したように会議参加者３Ａから見た複数の方向がそれぞれ他の遠隔会議装置１Ｂ，１Ｃ，１Ｄに対応している場合、当該会議参加者３Ａの向いている方向を検出するための方向検出部１５と、上記方向検出部１５の検出結果に基づいて上記会議参加者３Ａの各方向への注目度をそれぞれ検出する注目度検出部１３１，１３２，１３３と、他の遠隔会議装置１Ｂ，１Ｃ，１Ｄからの画像データ及び音声データを受信するＩＳＤＮ接続端子１７及びデータ送受信部１６と、上記他の遠隔会議装置１Ｂ，１Ｃ，１Ｄから送られてきた画像データ及び／又は音声データを、上記注目度に応じて調整する調整部１６１，１６２，１６３とを備えている。注目度検出部１３１とその後段の調整部１６１は再生装置１０１に対応して設けられ、注目度検出部１３２とその後段の調整部１６２は再生装置１０２に、そして、注目度検出部１３３とその後段の調整部１６３は再生装置１０３に対応して設けられている。なお、上記方向と注目度の詳細及び具体例については後述する。
【００３５】
上記方向検出部１５は、カメラ１３から供給される会議参加者３Ａの画像データを解折し、会議参加者３Ａの向いている方向を一定のサンプリングレートで検出し、その検出結果を注目度検出部１３１，１３２，１３３に供給する。
【００３６】
すなわち、方向検出部１５は、図５Ａに示すように、会議参加者３Ａの向いている方向及びその方向の継続時間を表す情報として、会議参加者３Ｂが表示されているモニタ部１１１の方を向いている期間Ｉｂ、会議参加者３Ｃが表示されているモニタ部１１２の方を向いている期間Ｉｃ、会議参加者３Ｄが表示されているモニタ部１１３の方を向いている期間Ｉｄ、及び、それら各モニタ部１１１乃至１１３の何れの方をも向いていない期間Ｉｎｏｎを検出する。
【００３７】
次に、方向検出部１５は、それら検出した各期間Ｉｂ，Ｉｃ，Ｉｄ，Ｉｎｏｎから、図５Ｂに示すように、会議参加者３Ａがモニタ部１１１の方を向いている期間Ｉｂのみを抽出した信号を生成し、注目度検出部１３１に供給する。同様に、方向検出部１５は、各期間Ｉｂ，Ｉｃ，Ｉｄ，Ｉｎｏｎから、会議参加者３Ａがモニタ部１１２の方を向いている期間Ｉｃのみを抽出した信号を生成して注目度検出部１３２に供給し、会議参加者３Ａがモニタ部１１３の方を向いている期間Ｉｄのみを抽出した信号を生成して注目度検出部１３３に供給する。
【００３８】
注目度検出部１３１では、方向検出部１５から供給された信号に基づいて、各期間Ｉｂのうちで特に時間Ｔcont以上続く期間Ｉｂがあるか否か判断し、時間Ｔcont以上続く期間Ｉｂがあった場合、図５Ｃに示すように、当該時間Ｔcontを越えている時間を、会議参加者３Ａが特に会議参加者３Ｂの表示されているモニタ部１１１に注目している時間として検出する。さらに、注目度検出部１３１は、上記会議参加者３Ａがモニタ部１１１に注目している時間を検出した場合、その検出のタイミングに基づいて、図５Ｄに示すように、遠隔会議装置１Ｂから送信されてきた会議参加者３Ｂの画像データ及び／又は音声データに対して調整部１６１が行う調整のためのパラメータＰ（t）を注目度として求める。
【００３９】
具体的に、注目度検出部１３１は、時刻ｔにおけるパラメータＰ(t)を、次式（１）を用いた演算により求める。
【００４０】
Ｐ(t)＝（１−Ｐmin）Ａ−α（ｔ）＋Ｐmin （１）
なお、式（１）中の最小パラメータＰminと定数Ａ、図５に示した時間Ｔattと時間Ｔcontは、次式（２）乃至（５）をそれぞれ満足する定数である。
【００４１】
０≦Ｐmin≦１ （２）
Ａ＞１ （３）
Ｔatt≧０ （４）
Ｔcont≧０ （５）
ここで、例えば変数β(t)＝ｔ−（会議参加者３Ａが最後にモニタ部１１１の方向を向いていた時刻）と定義すれば、β(t)＜Ｔattであるとき、式（１）中の変数α(t)の値は０となり、β(t)≧Ｔattであるとき、式（１）中の変数α(t)の値はβ(t)−Ｔattとなる。また、「時刻ｔにおいて会議参加者３Ａがモニタ部１１１の方向を向いている」の定義は、時刻（ｔ−Ｔcont）から時刻ｔまでの間、会議参加者３Ａがモニタ部１１１の方向に向いていることである。
【００４２】
すなわち、注目度検出部１３１では、会議参加者３Ａがモニタ部１１１の方を向いた状態で時間Ｔcontが経過した場合、当該会議参加者３Ａはモニタ部１１１に特に注目していると判定し、図５Ｄ及び式（１）に示すようにパラメータＰ(t)を最大値（＝１）に設定する。その後、会議参加者３Ａの向いている方向がモニタ部１１１から外されると、注目度検出部１３１は、当該外れた時点から時間Ｔattが経過するまでの間、パラメータＰ(t)を最大値に保持し、当該Ｔattが経過した後は上記最大値から最小パラメータＰminまで徐々に低下するようにパラメータＰ(t)を変化させる。
【００４３】
また、注目度検出部１３１と同様に、注目度検出部１３２では、方向検出部１５から供給された信号に基づいて、各期間Ｉｃのうちで特に時間Ｔcont以上続く期間Ｉｃがあるか否か判断し、時間Ｔcont以上続く期間Ｉｃがあった場合、当該時間Ｔcontを越えている時間を、会議参加者３Ａが特に会議参加者３Ｃの表示されているモニタ部１１２に注目している時間として検出する。さらに、注目度検出部１３２は、上記会議参加者３Ａがモニタ部１１２に注目している時間を検出した場合、その検出のタイミングに基づいて、遠隔会議装置１Ｃから送信されてきた会議参加者３Ｃの画像データ及び／又は音声データに対して調整部１６２が行う調整のためのパラメータＰ（t）を注目度として求める。
【００４４】
すなわち、注目度検出部１３２では、会議参加者３Ａがモニタ部１１２の方を向いた状態で時間Ｔcontが経過した場合、当該会議参加者３Ａはモニタ部１１２に特に注目していると判定してラメータＰ(t)を最大値（＝１）に設定し、その後、会議参加者３Ａの向いている方向がモニタ部１１２から外されると、当該外れた時点から時間Ｔattが経過するまでの間、パラメータＰ(t)を最大値に保持し、当該Ｔattが経過した後は上記最大値から最小パラメータＰminまで徐々に低下するようにパラメータＰ(t)を変化させる。
【００４５】
同様に、注目度検出部１３３では、方向検出部１５から供給された信号に基づいて、各期間Ｉｄのうちで特に時間Ｔcont以上続く期間Ｉｄがあるか否か判断し、時間Ｔcont以上続く期間Ｉｄがあった場合、当該時間Ｔcontを越えている時間を、会議参加者３Ａが特に会議参加者３Ｄの表示されているモニタ部１１３に注目している時間として検出する。さらに、注目度検出部１３３は、上記会議参加者３Ａがモニタ部１１３に注目している時間を検出した場合、その検出のタイミングに基づいて、遠隔会議装置１Ｄから送信されてきた会議参加者３Ｄの画像データ及び／又は音声データに対して調整部１６３が行う調整のためのパラメータＰ（t）を注目度として求める。
【００４６】
すなわち、注目度検出部１３３では、会議参加者３Ａがモニタ部１１３の方を向いた状態で時間Ｔcontが経過した場合、当該会議参加者３Ａはモニタ部１１３に特に注目していると判定してラメータＰ(t)を最大値（＝１）に設定し、その後、会議参加者３Ａの向いている方向がモニタ部１１３から外されると、当該外れた時点から時間Ｔattが経過するまでの間、パラメータＰ(t)を最大値に保持し、当該Ｔattが経過した後は上記最大値から最小パラメータＰminまで徐々に低下するようにパラメータＰ(t)を変化させる。
【００４７】
図６には、上記注目度検出部１３１，１３２，１３３において、上記方向検出部１５から供給された信号に基づいて、それぞれ対応するモニタ部１１１，１１２，１１３を会議参加者３Ａが注目しているか否か検出する際の処理の流れを示す。なお、各注目度検出部１３１，１３２，１３３での処理内容はそれぞれ同じであるため、ここでは注目度検出部１３１のみを例に挙げて説明する。
【００４８】
この図６において、注目度検出部１３１では、先ずステップＳ２１の処理として、現在時刻ｔを変数ｃｕｒ＿ｔに格納し、更に、ステップＳ２２として、会議参加者３Ａがモニタ部１１１の方を向いた時刻を表す変数ｂｅｇ＿ｔに、上記現在時刻ｔを表す変数ｃｕｒ＿ｔの値を格納することにより、初期設定を行う。当該初期設定がなされた後、注目度検出部１３１の処理は、ステップＳ２３に進む。
【００４９】
ステップＳ２３の処理に進むと、注目度検出部１３１は、会議参加者３Ａがモニタ部１１１の方を向いてからどれだけの時間が経過したかを表す（ｃｕｒ＿ｔ）−（ｂｅｇ＿ｔ）の演算を行い、その演算により得られた時間が前述した時間Ｔcont以上であるか否かの判定を行う。ここで、初期設定直後は、変数ｂｅｇ＿ｔと変数ｃｕｒ＿ｔの値が等しいため、（ｃｕｒ＿ｔ）−（ｂｅｇ＿ｔ）＝０となり、したがってこの時の注目度検出部１３１では、ステップＳ２３にてＮｏと判定する。
【００５０】
ステップＳ２３にてＮｏと判定すると、注目度検出部１３１は、ステップＳ２５の処理として、会議参加者３Ａがモニタ部１１１を注目していないとして、図５Ｃに示したように”０”の値を設定し、ステップＳ２６の処理に進む。
【００５１】
ステップＳ２６の処理に進むと、注目度検出部１３１では、変数ｃｕｒ＿ｔに現在時刻ｔを格納し、ステップＳ２７の処理に進む。
【００５２】
ステップＳ２７の処理に進むと、注目度検出部１３１は、方向検出部１５から供給された期間Ｉｂを表す信号が”１”となっているか否か、すなわち会議参加者３Ａがモニタ部１１１の方を向いているか否かの判断を行う。当該ステップＳ２７の処理においてＮＯと判定した場合、注目度検出部１３１では、ステップＳ２８の処理として、変数ｂｅｇ＿ｔにｃｕｒ＿ｔを格納した後、ステップＳ２３の処理に戻る。一方、ステップＳ２７の処理においてＹｅｓと判定した場合、注目度検出部１３１は、ステップＳ２３の処理に戻る。
【００５３】
注目度検出部１３１では、ステップＳ２３の処理に戻ると、（ｃｕｒ＿ｔ）−（ｂｅｇ＿ｔ）の演算による時間が時間Ｔcont以上であるか否かの判定を行う。このステップＳ２３の処理において、（ｃｕｒ＿ｔ）−（ｂｅｇ＿ｔ）の演算による時間が時間Ｔcont以上となった場合、注目度検出部１３１の処理はステップＳ２４に進む。
【００５４】
ステップＳ２４の処理に進むと、注目度検出部１３１は、会議参加者３Ａがモニタ部１１１を注目しているとして、図５Ｃに示したように”１”の値を設定し、ステップＳ２６以降の処理に進む。このステップＳ２６以降の処理は上述同様である。
【００５５】
図７には、上記注目度検出部１３１，１３２，１３３において、前記パラメータＰを演算する際の処理の流れを示す。なお、各注目度検出部１３１，１３２，１３３での処理内容はそれぞれ同じであるため、ここでは注目度検出部１３１のみを例に挙げて説明する。
【００５６】
この図７において、注目度検出部１３１では、先ずステップＳ３１の処理として、現在時刻ｔを変数ｃｒ＿ｔに格納し、更に、ステップＳ３２として、会議参加者３Ａがモニタ部１１１を注目した時刻を表す変数ｂｇ＿ｔに、（ｃｒ＿ｔ−Ｔinit）の値を格納することにより、初期設定を行う。なお、Ｔinitは、最終的にパラメータＰを計算するときに用いられる前記変数βの初期値であり、所望の初期パラメータに応じて設定されている。当該初期設定がなされた後、注目度検出部１３１の処理は、ステップＳ３３に進む。
【００５７】
ステップＳ３３の処理に進むと、注目度検出部１３１は、会議参加者３Ａがモニタ部１１１の注目を止めてからの経過時間を表す（ｃｒ＿ｔ）−（ｂｇ＿ｔ）の演算を行い、当該演算により得られた値を上記変数βに格納する。
【００５８】
次に、注目度検出部１３１では、ステップＳ３４の処理として、変数βが前記時間Ｔatt以上であるか否か、すなわち会議参加者３Ａがモニタ部１１１の注目を止めてからの経過時間が時間Ｔatt以上になったか否かの判定を行う。注目度検出部１３１は、ステップＳ３４においてＮｏと判定すると、ステップＳ３６の処理として前記式（１）の変数αに０を格納し、一方、当該ステップＳ３４においてＹｅｓと判定すると、ステップＳ３５の処理として前記式（１）の変数αに（β−Ｔatt）の値を格納する。これらステップＳ３５、ステップＳ３６の処理後、注目度検出部１３１の処理はステップＳ３７に進む。
【００５９】
ステップＳ３７に進むと、注目度検出部１３１は、前記式（１）によりパラメータＰを求め、その後、ステップＳ３８の処理として変数ｃｒ＿ｔに現在時刻ｔを格納する。
【００６０】
次に、注目度検出部１３１は、ステップＳ３９の処理に進み、会議参加者３Ａがモニタ部１１１を注目しているか否か、すなわち、図５Ｃに示したように”１”となっているか否かを判断する。注目度検出部１３１は、ステップＳ３９にてＮｏと判断した場合はステップＳ３３の処理に戻り、ステップＳ３９にてＹｅｓと判断した場合はステップＳ４０にて変数ｂｇ＿ｔに変数ｃｒ＿ｔを格納した後、ステップＳ３３の処理に戻る。このステップＳ３３以降の処理は上述同様である。
【００６１】
図３及び図４に戻り、上記注目度検出部１３１から出力されたパラメータＰ(t)は調整部１６１に送られ、注目度検出部１３２から出力されたパラメータＰ(t)は調整部１６２に送られ、注目度検出部１３３から出力されたパラメータＰ(t)は調整部１６３に送られる。調整部１６１には、データ送受信部１６を介して、遠隔会議装置１Ｂからの画像データ及び音声データが供給され、調整部１６２には、データ送受信部１６を介して、遠隔会議装置１Ｃからの画像データ及び音声データが供給され、調整部１６３には、データ送受信部１６を介して、遠隔会議装置１Ｄからの画像データ及び音声データが供給されている。
【００６２】
調整部１６１は、注目度検出部１３１から供給されたパラメータＰ(t)を受け取ると、当該パラメータＰ(t)に基づいて、遠隔会議装置１Ｂから供給されている会議参加者３Ｂの音声データ及び／又は画像データを調整する。また、調整部１６２は、注目度検出部１３２から供給されたパラメータＰ(t)を受け取ると、当該パラメータＰ(t)に基づいて、遠隔会議装置１Ｃから供給されている会議参加者３Ｃの音声データ及び／又は画像データを調整する。また、調整部１６３は、注目度検出部１３３から供給されたパラメータＰ(t)を受け取ると、当該パラメータＰ(t)に基づいて、遠隔会議装置１Ｄから供給されている会議参加者３Ｄの音声データ及び／又は画像データを調整する。なお、これら調整部１６１，１６２，１６３での具体的な調整内容の詳細については後述する。
【００６３】
調整部１６１から出力された音声信号はスピーカ１２１に送られて放音され、画像信号はモニタ部１１１に送られて表示される。また、調整部１６２から出力された音声信号はスピーカ１２２に送られて放音され、画像信号はモニタ部１１２に送られて表示される。調整部１６３から出力された音声信号はスピーカ１２３に送られて放音され、画像信号はモニタ部１１３に送られて表示される。
【００６４】
次に、本実施の形態の遠隔会議装置１Ａの方向検出部１５で行われる方向検出の具体例について、以下に説明する。
【００６５】
方向検出の具体例としては、会議参加者３Ａの視線検出を挙げることができる。
【００６６】
図８には、方向検出部１５にて視線検出を行う場合の処理の流れを示す。
【００６７】
図８において、方向検出部１５は、ステップＳ１１としてカメラ１３が撮像した画像データが供給されると、次のステップＳ１２の処理として、供給された画像の色彩情報を用いて両目の輪郭を検出する。すなわち、方向検出部１５は、供給された画像の色彩情報から例えば肌、白目、黒目等の色領域を抽出し、それら抽出した色領域の例えば境界を求めること等により、図９に示すように右目の輪郭Ｅ及び左目の輪郭Ｅを検出する。なお、図９は片目のみを示している。
【００６８】
次に、方向検出部１５は、ステップＳ１３の処理として、ステップＳ１２で求めた両目のそれぞれの輪郭Ｅに基づいて、右目の左右端点Ｇ１，Ｇ２の位置及び左目の左右端点Ｇ１，Ｇ２の位置を求め、それら右目及び左目のそれぞれの左右端点Ｇ１，Ｇ２の位置を基準として、図１０に示すような鼻孔を探索するための探索範囲ＮＥを決定し、当該探索範囲ＮＥ内から鼻孔ＮＨの位置を検出する。すなわち、方向検出部１５は、左右両目について、図９に示すように、それぞれ目の輪郭Ｅを構成する画素集合の重心Ｑと、目の輪郭Ｅを構成する画素集合の２次モーメント（線に関する慣性）を最小にする線Ｍとを求め、さらに、目の輪郭Ｅを構成する画素集合の中から、上記線Ｍの方向において重心Ｑからの距離が最大距離Ｌ１，Ｌ２となる位置の画素を、重心Ｑから左右方向に一つずつ求め、これらの画素位置を上記左右端点Ｇ１，Ｇ２として求める。次いで、方向検出部１５は、図１０に示すように、上述のようにして求めた右目の左右端点Ｇ１，Ｇ２の位置と、左目の左右端点Ｇ１，Ｇ２の位置とを基準とし、それら各左右端点Ｇ１，Ｇ２から下方側に、鼻孔を探索するための探索範囲ＮＥを決定する。ここで、鼻孔ＮＨ部分の画像は他の部分の画像に比べて暗く写るので、方向検出部１５は、当該探索範囲ＮＥ内で輝度が低い画像部分を鼻孔ＮＨの位置として検出する。
【００６９】
次に、方向検出部１５は、ステップＳ１４の処理として、図１１に示すように、右目の左右端点Ｇ１，Ｇ２の位置と、左目の左右端点Ｇ１，Ｇ２の位置と、鼻孔ＮＨの位置との幾何学的な位置関係に基づいて、眼球ＥＢの中心位置ＥＣ及び眼球ＥＢの半径ｒを推定する。
【００７０】
さらに、方向検出部１５は、ステップＳ１５の処理として、右目の輪郭Ｅ及び左目の輪郭Ｅ内の画像の輝度情報を用いて、図１０に示すように、瞳孔ＥＡの中心位置ＥＡＣを検出する。
【００７１】
次に、方向検出部１５は、ステップＳ１６の処理として、図１２に示すように、ステップＳ１４で検出した眼球ＥＢの中心位置ＥＣと、ステップＳ１５で検出した瞳孔ＥＡの中心位置ＥＡＣとを結ぶベクトルＥＶを演算し、得られたベクトルＥＶを視線の方向として、そのベクトルＥＶがモニタ部１１１乃至１１３のうちのいずれを向いているかの方向判定を行う。
【００７２】
以上の流れにより、方向検出部１５では、会議参加者３Ａの視線を検出する。
【００７３】
なお、上記輪郭Ｅのような特定の画素集合の２次モーメントを最小にする線Ｍは、例えば以下のような演算により求めることができる。
【００７４】
ここでは、図１３に示すように、式（６）で表される直線Ｍを例に挙げる。
【００７５】
ｘsinθ−ｙcosθ＋ρ＝０ （６）
また、輪郭Ｅの画素集合上の各点（ｘｉ，ｙｉ）と上記直線Ｍとの距離をＲｉとするとき、上記直線Ｍに関する２次モーメントｍは、式（７）のように表すことができる。
【００７６】
【数１】
すなわち、２次モーメントを最小にする直線Ｍとは、上記式（７）のｍを最小にする直線Ｍのことである。結論を述べると、上記式（７）のｍを最小にするには、上記式（７）中のθ、ρとして、下記式（８），式（９）の条件を満たすものを使用する。
θ：sin2θ=b/(b２+(a-c)２)１／２ ，cos2θ=(a-c)/(b２+(a-c)２)１／２
（８）
ρ：ρ=-ｘ０sinθ+ｙ０cosθ （９）
なお、式（９）の（ｘ０sinθ-ｙ０cosθ+ρ=０）は、画素集合の重心を通ることを意味する。
【００７８】
但し、上記式（８），式（９）において、ａ，ｂ，ｃは下記式（１０），式（１１），式（１２）で表される。なお、（ｘ０-ｙ０）は画素集合の重心である。
【００７９】
【数２】
また、本実施の形態の遠隔会議装置１Ａの方向検出部１５で行われる方向検出の他の具体例としては、会議参加者３Ａの顔の向き検出を挙げることができる。
【００８１】
図１４には、方向検出部１５にて顔向き検出を行う場合の処理の流れを示す。
【００８２】
図１４において、方向検出部１５は、ステップＳ５１として、例えば図１５Ａや図１５Ｂに示すような、カメラ１３により撮像された原画像データが供給されると、次のステップＳ５２の処理として、供給された画像の色彩情報を用いて、肌領域と髪領域を検出する。すなわち、方向検出部１５は、供給された画像の色彩情報から、例えば肌、髪の色領域を抽出し、それら抽出した色領域により、図１６Ａや図１６Ｂに示すように、肌領域ｓｅと髪領域ｈｅを検出する。
【００８３】
次に、方向検出部１５は、ステップＳ５３の処理として、図１７Ａや図１７Ｂに示すように、肌領域ｓｅと髪領域ｈｅの和領域ｆｅ（＝ｓｅ＋ｈｅ）の重心ｆｑと、肌領域ｓｅの重心ｓｑの検出を行うための枠の設定を行う。ここで、当該枠の設定は、画像の例えば垂直方向の範囲指定により行う。具体的に説明すると、この範囲指定は、例えば髪領域ｈｅと肌領域ｓｅの和領域ｆｅの上端ｒｅを基準とし、当該基準の上端ｒｅより下方向の区間const＿ａから区間const＿ａ＋const＿ｂの間を範囲とするように行う。
【００８４】
続いて、方向検出部１５は、ステップＳ５４の処理として、ステップＳ５３にて設定した枠の範囲内において、髪領域ｈｅと肌領域ｓｅの和領域ｆｅの重心ｆｑと、肌領域ｓｅの重心ｓｑを求める。なお、これら重心は、後段の処理において、水平方向と垂直方向の両方向についての顔向き検出を行う場合や、水平方向と垂直方向の何れかの方向についての顔向き検出を行う場合に使用されるが、ここでは一例として水平方向についての顔向き検出の際に重心を使用する例を挙げて説明する。
【００８５】
方向検出部１５は、ステップＳ５４にて髪領域ｈｅと肌領域ｓｅの和領域ｆｅの重心ｆｑと、肌領域ｓｅの重心ｓｑとを求めると、ステップＳ５５の処理として、肌領域ｓｅの重心ｓｑの値から、髪領域ｈｅと肌領域ｓｅの和領域ｆｅの重心ｆｑの値を引いた差分値を求める。
【００８６】
次に、方向検出部１５は、ステップＳ５６の処理として、ステップＳ５５にて求めた差分値から顔の向きを検出する。すなわち、上記差分値から顔向きを検出する処理としては、例えば以下のような２つの方法の何れかを用いる。なお、ここでは差分値をＸ、顔向き角度をＹで表現することにし、また、会議参加者３Ａがカメラ１３の方向を向いている時の角度を０度と定義する。上記ステップＳ５６の処理の一方法例では、当該顔向き検出処理に先立って、予め差分値Ｘと顔向き角度Ｙに関する統計をとり、差分値Ｘに対する顔向き角度Ｙの値を例えば平均値として求め、図１８に示すようにその対応関係のグラフを用意しておき、この図１８の対応関係に基づいて、ステップＳ５５にて求めた差分値Ｘから顔向き角度Ｙを得る。また、ステップＳ５６の処理の他の方法例では、ステップＳ５５にて求めた差分値Ｘを用い、次式（１３）により顔向き角度Ｙを求める。
【００８７】
Ｙ＝asin（Ｘ） （１３）
以上の流れにより、方向検出部１５では、会議参加者３Ａの顔向きを検出する。
【００８８】
なお、会議参加者３Ａの向いている方向を検出する他の具体的な方法としては、例えば、会議参加者３Ａの顔に赤外線を照射し、当該会議参加者３Ａの顔にて反射された赤外線を受光して生成した画像を用いて、方向検出をを行うことも考えられる。
【００８９】
次に、本実施の形態の遠隔会議装置１Ａの注目度検出部１３１，１３２，１３３にて検出される注目度と、当該検出された注目度に基づいて調整部１６１，１６２，１６３にて行われる調整処理の具体例について、以下に説明する。
【００９０】
注目度検出及び調整処理の第１の具体例としては、前記他の遠隔会議装置１Ｂ，１Ｃ，１Ｄから遠隔会議装置１Ａに送られてきた音声データを、上記方向検出部１５の検出結果に応じて増幅させる処理を挙げることができる。
【００９１】
図１９には、注目度検出及び調整処理の第１の具体例として、上記方向検出部１５の検出結果に応じて音声データを増幅させるようにした場合の遠隔会議装置１Ａの主要部の概略構成を示す。また、図１９の例の遠隔会議装置１Ａの各構成要素の具体的な構成及び配置は図２０に示すようになされる。なお、これら図１９及び図２０において、前述した図３及び図４にそれぞれ対応する構成要素には、図３及び図４と同じ指示符号を付して、それらの説明は省略する。
【００９２】
これら図１９及び図２０において、遠隔会議装置１Ａの方向検出部１５は、カメラ１３からの画像データに基づいて、会議参加者３Ａの向いている方向、すなわち例えば前述したように視線或いは顔向きを検出し、その検出結果を、前記注目度検出部１３１に対応する音量演算部２２１と、前記注目度検出部１３２に対応する音量演算部２２２と、前記注目度検出部１３３に対応する音量演算部２２３に供給する。
【００９３】
音量演算部２２１では、方向検出部１５から供給された信号に基づき、前記注目度検出部１３１におけるパラメータＰ(t)として、後段の増幅器２３１で音声増幅或いは減衰を行う際の増幅率Ｇ(t)を演算により求める。すなわち、音量演算部２２１は、前記式（１）のパラメータＰ(t)として増幅率Ｇ(t)を求める。なお、この場合、式（１）の最小パラメータＰminは最小増幅率Ｇminとなる。
【００９４】
また、音量演算部２２２では、方向検出部１５から供給された信号に基づいて、前記注目度検出部１３２におけるパラメータＰ(t)として、後段の増幅器２３２で音声増幅或いは減衰を行う際の増幅率Ｇ(t)を演算により求める。
【００９５】
同様に、音量演算部２２３では、方向検出部１５から供給された信号に基づいて、前記注目度検出部１３３におけるパラメータＰ(t)として、後段の増幅器２３３で音声増幅或いは減衰を行う際の増幅率Ｇ(t)を演算により求める。
【００９６】
上記音量演算部２２１から出力された増幅率Ｇ(t)は増幅器２３１に送られ、音量演算部２２２から出力された増幅率Ｇ(t)は増幅器２３２に送られ、音量演算部２２３から出力された増幅率Ｇ(t)は増幅器２３３に送られる。増幅器２３１には、データ送受信部１６を介して、遠隔会議装置１Ｂからの音声データが供給され、増幅器２３２には、データ送受信部１６を介して、遠隔会議装置１Ｃからの音声データが供給され、増幅器２３３には、データ送受信部１６を介して、遠隔会議装置１Ｄからの音声データが供給されている。
【００９７】
増幅器２３１は、音量演算部２２１から供給された増幅率Ｇ(t)を受け取ると、当該増幅率Ｇ(t)に基づいて、遠隔会議装置１Ｂから供給されている会議参加者３Ｂの音声を増幅或いは減衰させる。また、増幅器２３２は、音量演算部２２２から供給された増幅率Ｇ(t)を受け取ると、当該増幅率Ｇ(t)に基づいて、遠隔会議装置１Ｃから供給されている会議参加者３Ｃの音声を増幅或いは減衰させる。また、増幅器２３３は、音量演算部２２３から供給された増幅率Ｇ(t)を受け取ると、当該増幅率Ｇ(t)に基づいて、遠隔会議装置１Ｄから供給されている会議参加者３Ｄの音声を増幅或いは減衰させる。
【００９８】
増幅器２３１から出力された音声信号はスピーカ１２１に送られて放音される。また、増幅器２３２から出力された音声信号はスピーカ１２２に送られて放音される。増幅器２３３から出力された音声信号はスピーカ１２３に送られて放音される。
【００９９】
図２１には、注目度検出及び調整処理の第１の具体例として、上記方向検出部１５の検出結果に応じて音声データを増幅させるようにした場合の遠隔会議装置１Ａにおける処理の流れを示す。
【０１００】
この図２１において、遠隔会議装置１Ａの方向検出部１５は、ステップＳ１の処理として、カメラ１３からの画像データを解折して会議参加者３Ａの向いている方向を検出する。
【０１０１】
次に、遠隔会議装置１Ａの音量演算部２２１，２２２，２２３は、ステップＳ２の処理として、方向検出部１５の検出結果に基づいて、それぞれ対応する遠隔会議装置１Ｂ，１Ｃ，１Ｄから送信されてきた会議参加者３Ｂ，３Ｃ，３Ｄの各音声データに対する各増幅率Ｇain（t）を前記式（１）を流用して演算し、それぞれ対応する増幅器２３１乃至２３３に供給する。
【０１０２】
次に、遠隔会議装置１Ａの増幅器２３１，２３２，２３３は、ステップＳ３の処理として、それぞれ対応する音量演算部２２１，２２２，２２３から供給された増幅率Ｇain（t）に基づいて、それぞれ対応する遠隔会議装置１Ｂ，１Ｃ，１Ｄから供給された会議参加者３Ｂ，３Ｃ，３Ｄの各音声データを増幅或いは減衰し、それぞれ対応するスピー力１２１，１２２，１２３に出力する。
【０１０３】
これにより、遠隔会議装置１Ａのスピーカ１２１，１２２，１２３からは、ステップＳ４の処理として、それぞれ対応した増幅器２３１，２３２，２３３から入力された音声データに基づく音声が放音される。
【０１０４】
次に、本実施の形態の遠隔会議装置１Ａの注目度検出部１３１，１３２，１３３にて検出される注目度と、当該検出された注目度に基づいて調整部１６１，１６２，１６３にて行われる調整処理の第２の具体例としては、前記他の遠隔会議装置１Ｂ，１Ｃ，１Ｄから遠隔会議装置１Ａに送られてきた音声データを、上記方向検出部１５の検出結果に応じて例えば周波数特性制御するような音質加工処理を挙げることができる。
【０１０５】
図２２には、注目度検出及び調整処理の第２の具体例として、上記方向検出部１５の検出結果に応じて音質加工するようにした場合の遠隔会議装置１Ａの主要部の概略構成を示す。また、図２３の例の遠隔会議装置１Ａの各構成要素の具体的な構成及び配置は図２４に示すようになされる。なお、これら図２２及び図２３において、前述した図３及び図４にそれぞれ対応する構成要素には、図３及び図４と同じ指示符号を付して、それらの説明は省略する。
【０１０６】
これら図２２及び図２３において、遠隔会議装置１Ａの方向検出部１５は、カメラ１３からの画像データに基づいて、会議参加者３Ａの向いている方向、すなわち例えば前述したように視線或いは顔向きを検出し、その検出結果を、前記注目度検出部１３１に対応する音質演算部２８１、前記注目度検出部１３２に対応する音質演算部２８２、前記注目度検出部１３３に対応する音質演算部２８３に供給する。
【０１０７】
音質演算部２８１では、方向検出部１５から供給された信号に基づき、前記注目度検出部１３１におけるパラメータＰ(t)として、後段の音声加工器２９１での周波数特性制御、すなわちフィルタ処理（例えばローパスフィルタ処理）を行う際のフィルタパラメータＫ(t)を演算により求める。すなわち、音質演算部２８１は、前記式（１）のパラメータＰ(t)としてフィルタパラメータＫ(t)を求める。なお、この場合、式（１）の最小パラメータＰminは最小フィルタパラメータＫminとなる。
【０１０８】
また、音質演算部２８２では、方向検出部１５から供給された信号に基づいて、前記注目度検出部１３２におけるパラメータＰ(t)として、後段の音声加工器２９２でフィルタ処理を行う際のフィルタパラメータＫ(t)を演算により求める。
【０１０９】
同様に、音質演算部２８３では、方向検出部１５から供給された信号に基づいて、前記注目度検出部１３３におけるパラメータＰ(t)として、後段の音声加工器２９３でフィルタ処理を行う際のフィルタパラメータＫ(t)を演算により求める。
【０１１０】
上記音質演算部２８１から出力されたフィルタパラメータＫ(t)は音声加工器２９１に送られ、音質演算部２８２から出力されたフィルタパラメータＫ(t)は音声加工器２９２に送られ、音質演算部２８３から出力されたフィルタパラメータＫ(t)は音声加工器２９３に送られる。音声加工器２９１には、データ送受信部１６を介して、遠隔会議装置１Ｂからの音声データが供給され、音声加工器２９２には、データ送受信部１６を介して、遠隔会議装置１Ｃからの音声データが供給され、音声加工器２９３には、データ送受信部１６を介して、遠隔会議装置１Ｄからの音声データが供給されている。
【０１１１】
音声加工器２９１は、音質演算部２８１から供給されたフィルタパラメータＫ(t)を受け取ると、当該フィルタパラメータＫ(t)に基づいて、遠隔会議装置１Ｂから供給されている会議参加者３Ｂの音声データにフィルタ処理、例えば低域濾波処理（ＬＰＦ処理）を施す。また、音声加工器２９２は、音質演算部２８２から供給されたフィルタパラメータＫ(t)を受け取ると、当該フィルタパラメータＫ(t)に基づいて、遠隔会議装置１Ｃから供給されている会議参加者３Ｃの音声データにフィルタ処理、例えば低域濾波処理を施す。また、音声加工器２９３は、音質演算部２８３から供給されたフィルタパラメータＫ(t)を受け取ると、当該フィルタパラメータＫ(t)に基づいて、遠隔会議装置１Ｄから供給されている会議参加者３Ｄの音声データにフィルタ処理、例えば低域濾波処理を施す。
【０１１２】
音声加工器２９１から出力された音声信号はスピーカ１２１に送られて放音される。また、音声加工器２９２から出力された音声信号はスピーカ１２２に送られて放音される。音声加工器２９３から出力された音声信号はスピーカ１２３に送られて放音される。
【０１１３】
図２４には、音声加工器２９１，２９２，２９３の具体的構成例を示す。なお、各音声加工器２９１，２９２，２９３はそれぞれ同じ構成を有するため、図２４には例えば音声加工器２９１の構成のみ示す。
【０１１４】
図２４において、端子３０２には、データ送受信部１６を介して遠隔会議装置１Ｂから供給された図２５に示すような周波数特性を有する音声データが入力され、端子３０１には、音質演算部２８１から供給された図２６に示すような周波数制御特性のフィルタパラメータＫ(t)が入力される。なお、図２６中のＦmaxは、入力音声の最大周波数（固定値）である。上記端子３０２を介した音声データと、端子３０１を介したフィルタパラメータＫ(t)は、音声加工器２９１の主要構成要素であるＬＰＦ（ローパスフィルタ）３００に入力する。
【０１１５】
ＬＰＦ３００は、端子３０２から入力された図２５に示す特性を有する音声データに対して、端子３０１から入力された図２６に示すようなＫ(t)・Ｆmaxの遮断周波数を有する低域通過のフィルタ処理を施す。これにより、ＬＰＦ３００からは、図２７に示すような特性の出力音声データが得られることになる。当該出力音声データは、端子３０３から後段の構成であるスピーカ１２１に送られる。このスピーカ１２１から放音された音声は、注目時に聞き取り易い周波数特性制御がなされた音声となる。
【０１１６】
図２８には、注目度検出及び調整処理の第２の具体例として、上記方向検出部１５の検出結果に応じて音声データにフィルタ処理を施すようにした場合の遠隔会議装置１Ａにおける処理の流れを示す。
【０１１７】
この図２８において、遠隔会議装置１Ａの方向検出部１５は、ステップＳ６１の処理として、カメラ１３からの画像データを解折して会議参加者３Ａの向いている方向を検出する。
【０１１８】
次に、遠隔会議装置１Ａの音質演算部２８１，２８２，２８３は、ステップＳ６２の処理として、方向検出部１５の検出結果に基づいて、それぞれ対応する遠隔会議装置１Ｂ，１Ｃ，１Ｄから送信されてきた会議参加者３Ｂ，３Ｃ，３Ｄの各音声データに対する各フィルタパラメータＫ（t）を前記式（１）を流用して演算し、それぞれ対応する音声加工器２９１乃至２９３に供給する。
【０１１９】
次に、遠隔会議装置１Ａの音声加工器２９１，２９２，２９３は、ステップＳ６３の処理として、それぞれ対応する音質演算部２８１，２８２，２８３から供給されたフィルタパラメータＫ（t）に基づいて、それぞれ対応する遠隔会議装置１Ｂ，１Ｃ，１Ｄから供給された会議参加者３Ｂ，３Ｃ，３Ｄの各音声データにフィルタ処理を施し、それぞれ対応するスピー力１２１，１２２，１２３に出力する。
【０１２０】
これにより、遠隔会議装置１Ａのスピーカ１２１，１２２，１２３からは、ステップＳ６４の処理として、それぞれ対応した音声加工器２９１，２９２，２９３から入力された音声データに基づく音声が放音される。
【０１２１】
以上のように、注目度検出及び調整処理の第２の具体例として、上記方向検出部１５の検出結果に応じて音声データをフィルタ処理するようにした場合の遠隔会議装置１Ａによれば、会議参加者３Ａがモニタ部１１１，１１２，１１３の何れかの方を向いて一定時間Ｔcont以上経過したとき、会議参加者３Ａは当該方向のモニタ部上に写し出されている会議参加者に注目していると判定して、当該注目されている会議参加者の発言の音質を高め、一方、注目されていないモニタ部上に写し出されている会議参加者の発言の音質を低下させることにより、会議参加者３Ａが注目している方向のモニタ部上に写し出されている会議参加者の発言を聞き取り易くすることができる。
【０１２２】
また、当該第２の具体例の場合の遠隔会議装置１Ａによれば、会議参加者３Ａが、ある方向のモニタ部上に写し出されている会議参加者への注目を止めたときでも、前記時間Ｔattが経過するまで、その注目していた会議参加者の発言の音質を高い状態に維持し、その後徐々に音質を低下させるようにすることで、例えば会議参加者３Ａが注目していた者以外で当該会議に参加している者に、会議参加者３Ａが少しずつ向きを変えた場合でも、元々注目していた会議参加者の発言の音質を低下させずに済む。
【０１２３】
更に、当該第２の具体例の場合の遠隔会議装置１Ａによれば、会議参加者３Ａが何れかのモニタ部の方を向いて一定時間Ｔcont以上経過した時に、会議参加者３Ａは当該方向のモニタ部の方に注目していると判定するようにしているため、例えば会議参加者３Ａの向きに一時的なプレが発生した場合や、各モニタ部の方に一時的に会議参加者３Ａが向いた場合に、音質制御が過敏に反応し過ぎることを抑止している。
【０１２４】
次に、本実施の形態の遠隔会議装置１Ａの注目度検出部１３１，１３２，１３３にて検出される注目度と、当該検出された注目度に基づいて調整部１６１，１６２，１６３にて行われる調整処理の第３の具体例としては、前記他の遠隔会議装置１Ｂ，１Ｃ，１Ｄから遠隔会議装置１Ａに送られてきた画像データを、上記方向検出部１５の検出結果に応じて画質加工する処理を挙げることができる。
【０１２５】
図２９には、注目度検出及び調整処理の第３の具体例として、上記方向検出部１５の検出結果に応じて画質加工するようにした場合の遠隔会議装置１Ａの主要部の概略構成を示す。また、図２９の例の遠隔会議装置１Ａの各構成要素の具体的な構成及び配置は図３０に示すようになされる。なお、これら図２９及び図３０において、前述した図３及び図４にそれぞれ対応する構成要素には、図３及び図４と同じ指示符号を付して、それらの説明は省略する。
【０１２６】
これら図２９及び図３０において、遠隔会議装置１Ａの方向検出部１５は、カメラ１３からの画像データに基づいて、会議参加者３Ａの向いている方向、すなわち例えば前述したように視線或いは顔向きを検出し、その検出結果を、前記注目度検出部１３１に対応する画質演算部３１１、前記注目度検出部１３２に対応する画質演算部３１２、前記注目度検出部１３３に対応する画質演算部３１３に供給する。
【０１２７】
画質演算部３１１では、方向検出部１５から供給された信号に基づき、前記注目度検出部１３１におけるパラメータＰ(t)として、後段の画像加工器３２１で画像加工処理を行う際の画質調整値Ｖ(t)を演算により求める。すなわち、画質演算部３１１は、前記式（１）のパラメータＰ(t)として画質調整値Ｖ(t)を求める。なお、この場合、式（１）の最小パラメータＰminは最小制御値Ｖminとなる。また、画像加工処理としては、例えばＲ（赤），Ｇ（緑），Ｂ（青）の原色データのそれぞれのゲインを調整することによる色加工処理や明るさ調整処理、画像の解像度やシャープネスを調整する処理等を挙げることができる。
【０１２８】
画質演算部３１２では、方向検出部１５から供給された信号に基づいて、前記注目度検出部１３２におけるパラメータＰ(t)として、後段の画質加工器３２２で画像加工処理を行う際の画質調整値Ｖ(t)を演算により求める。
【０１２９】
同様に、画質演算部３１３では、方向検出部１５から供給された信号に基づいて、前記注目度検出部１３３におけるパラメータＰ(t)として、後段の画像加工器３２３で画像加工処理を行う際の画質調整値Ｖ(t)を演算により求める。
【０１３０】
上記画質演算部３１１から出力された画質調整値Ｖ(t)は画像加工器３２１に送られ、画質演算部３１２から出力された画質調整値Ｖ(t)は画像加工器３２２に送られ、画質演算部３１３から出力された画質調整値Ｖ(t)は画像加工器３２３に送られる。画像加工器３２１には、データ送受信部１６を介して、遠隔会議装置１Ｂからの画像データが供給され、画像加工器３２２には、データ送受信部１６を介して、遠隔会議装置１Ｃからの画像データが供給され、画像加工器３２３には、データ送受信部１６を介して、遠隔会議装置１Ｄからの画像データが供給されている。
【０１３１】
画像加工器３２１は、画質演算部３１１から供給された画質調整値Ｖ(t)を受け取ると、当該画質調整値Ｖ(t)に基づいて、遠隔会議装置１Ｂから供給されている会議参加者３Ｂの画像データに画像加工処理を施す。また、画像加工器３２２は、画質演算部３１２から供給された画質調整値Ｖ(t)を受け取ると、当該画質調整値Ｖ(t)に基づいて、遠隔会議装置１Ｃから供給されている会議参加者３Ｃの画像データに画像加工処理を施す。また、画像加工器３２３は、画質演算部３１３から供給された画質調整値Ｖ(t)を受け取ると、当該画質調整値Ｖ(t)に基づいて、遠隔会議装置１Ｄから供給されている会議参加者３Ｄの画像データに画像加工処理を施す。
【０１３２】
画像加工器３２１から出力された画像信号はモニタ部１１１に送られて画像として表示される。また、画像加工器３２２から出力された画像信号はモニタ部１１２に送られて画像として表示される。画像加工器３２３から出力された画像信号はモニタ部１１３に送られて画像として表示される。
【０１３３】
図３１には、画像加工器３２１，３２２，３２３の一具体的構成例を示す。なお、各画像加工器３２１，３２２，３２３はそれぞれ同じ構成を有するため、図３１には例えば画像加工器３２１の構成のみ示す。また、この図３１の例では、画像加工処理として、Ｒ，Ｇ，Ｂの原色データのそれぞれのゲインを調整する処理を例に挙げる。
【０１３４】
図３１において、端子３３２，３３３，３３４には、データ送受信部１６を介して遠隔会議装置１Ｂから供給されたＲ，Ｇ，Ｂの原色データが入力され、端子３３１には、画質演算部３２１から供給された画質調整値Ｖ(t)が入力される。上記端子３３２，３３３，３３４を介したＲ，Ｇ，Ｂの原色データと、端子３３１を介した画質調整値Ｖ(t)は、画像加工器３２１に入力する。
【０１３５】
画像加工器３２１は、端子３３２，３３３，３３４から入力されたＲ，Ｇ，Ｂの原色データに対して、端子３３１から入力された画質調整値Ｖ(t)による画像加工処理を施す。これにより、画像加工器３２１からは、Ｒ，Ｇ，Ｂの各原色信号にそれぞれ画質調整値Ｖ(t)による調整が施された信号が出力される。これら画像加工処理後のＲ，Ｇ，Ｂのデータは、それぞれ対応する端子３３５，３３６，３３７から出力され、後段の構成であるモニタ部１１１に送られる。
【０１３６】
図３２には、注目度検出及び調整処理の第３の具体例として、上記方向検出部１５の検出結果に応じて画像データに画像加工処理を施すようにした場合の遠隔会議装置１Ａにおける処理の流れを示す。
【０１３７】
この図３２において、遠隔会議装置１Ａの方向検出部１５は、ステップＳ７１の処理として、カメラ１３からの画像データを解折して会議参加者３Ａの向いている方向を検出する。
【０１３８】
次に、遠隔会議装置１Ａの画質演算部３１１，３１２，３１３は、ステップＳ７２の処理として、方向検出部１５の検出結果に基づいて、それぞれ対応する遠隔会議装置１Ｂ，１Ｃ，１Ｄから送信されてきた会議参加者３Ｂ，３Ｃ，３Ｄの各画像データに対する各画質調整値Ｖ（t）を前記式（１）を流用して演算し、それぞれ対応する画像加工器３２１乃至３２３に供給する。
【０１３９】
次に、遠隔会議装置１Ａの画像加工器３２１，３２２，３２３は、ステップＳ７３の処理として、それぞれ対応する画質演算部３１１，３１２，３１３から供給された画質調整値Ｖ（t）に基づいて、それぞれ対応する遠隔会議装置１Ｂ，１Ｃ，１Ｄから供給された会議参加者３Ｂ，３Ｃ，３Ｄの各画像データに画像加工処理を施し、それぞれ対応するモニタ部１１１，１１２，１１３に出力する。
【０１４０】
これにより、遠隔会議装置１Ａのモニタ部１１１，１１２，１１３からは、ステップＳ７４の処理として、それぞれ対応した画像加工器３２１，３２２，３２３から入力された画像データに基づく画像が表示される。
【０１４１】
以上のように、注目度検出及び調整処理の第３の具体例として、上記方向検出部１５の検出結果に応じて画像データに画像加工処理を施すようにした場合の遠隔会議装置１Ａによれば、会議参加者３Ａがモニタ部１１１，１１２，１１３の何れかの方を向いて一定時間Ｔcont以上経過したとき、会議参加者３Ａは当該方向のモニタ部上に写し出されている会議参加者に注目していると判定して、当該注目されている会議参加者の画質（画像の色や明るさ、解像度やシャープネス等）を高め、一方、注目されていないモニタ部上に写し出されている会議参加者の画質を低下させることにより、会議参加者３Ａが注目している方向のモニタ部上に写し出されている会議参加者の画像を見易くすることができる。
【０１４２】
また、当該第３の具体例の場合の遠隔会議装置１Ａによれば、会議参加者３Ａが、ある方向のモニタ部上に写し出されている会議参加者への注目を止めたときでも、前記時間Ｔattが経過するまで、その注目していた会議参加者の画質を高い状態に維持し、その後徐々に画質を低下させるようにすることで、例えば会議参加者３Ａが注目していた者以外で当該会議に参加している者に、会議参加者３Ａが少しずつ向きを変えた場合でも、元々注目していた会議参加者の画質を低下させずに済む。
【０１４３】
更に、当該第３の具体例の場合の遠隔会議装置１Ａによれば、会議参加者３Ａが何れかのモニタ部の方を向いて一定時間Ｔcont以上経過した時に、会議参加者３Ａは当該方向のモニタ部の方に注目していると判定するようにしているため、例えば会議参加者３Ａの向きに一時的なプレが発生した場合や、各モニタ部の方に一時的に会議参加者３Ａが向いた場合に、画質制御が過敏に反応し過ぎることを抑止している。
【０１４４】
次に、図３３には、遠隔会議装置１Ａの他の構成例を示す。
【０１４５】
この図３３に示す構成例では、他の遠隔会議装置１Ｂ，１Ｃ，１Ｄの各会議参加者３Ｂ，３Ｃ，３Ｄの画像を写し出す表示装置として、前述の図２のような各遠隔会議装置１Ｂ，１Ｃ，１Ｄのそれぞれに対応したモニタ部１１１，１１２，１１３を設けるのではなく、湾曲した１つのスクリーン３１を設けるようにしている。
【０１４６】
すなわちこの図３３の構成例では、会議参加者３Ａと共に他の各会議参加者３Ｂ，３Ｃ，３Ｄがあたかも１つのテーブルを囲んで会議を行うかのように、スクリーン３１上に他の各会議参加者３Ｂ，３Ｃ，３Ｄの画像が表示される。
【０１４７】
カメラ３４及びマイクロホン３５は、例えば会議参加者３Ａの正面に置かれ、当該カメラ３４により撮像された会議参加者３Ａの画像データとマイクロホン３５により集音された会議参加者３Ａの音声データは、ＩＳＤＮ２を介して遠隔会議装置１Ｂ乃至１Ｄに送信される。
【０１４８】
一方、遠隔会議装置１Ｂから送信されてきた会議参加者３Ｂの音声データは、その音像がスクリーン３１上に表示されている会議参加者３Ｂの画像近傍に定位するように制御されて、スクリーン３１の左右に配置されたスピーカ３２，３３に供給され、放音される。また、遠隔会議装置１Ｃから送信されてきた会議参加者３Ｃの音声データは、その音像がスクリーン３１上に表示されている会議参加者３Ｃの画像近傍に定位するように制御されて、スピーカ３２，３３に供給され、放音される。同様に、遠隔会議装置１Ｄから送信されてきた会議参加者３Ｄの音声データは、その音像がスクリーン３１上に表示されている会議参加者３Ｄの画像近傍に定位するように制御されて、スピーカ３２，３３に供給され、放音される。
【０１４９】
また、この図３３の構成例において、各会議参加者３Ｂ乃至３Ｄの音声データや画像データは、カメラ３４で撮像された会議参加者３Ａの画像データを用いて検出される会議参加者３Ａの向いている方向に基づいて求められた注目度（パラメータＰ(t)）に応じて、前述したように個別に調整される。
【０１５０】
次に、図３４には、遠隔会議装置１Ａの他の構成例を示す。
【０１５１】
すなわちこの図３４には、図３３の構成例と同様に湾曲した１つのスクリーン４１を設け、さらに二人の会議参加者３Ａ，３Ｅを同席可能にした場合の遠隔会議装置１Ａの構成例を示している。
【０１５２】
この図３４の構成例では、同席する二人の会議参加者３Ａ，３Ｅと共に、他の各会議参加者３Ｂ，３Ｃ，３Ｄがあたかも１つのテーブルを囲んで会議を行うかのように、スクリーン４１上に他の各会議参加者３Ｂ，３Ｃ，３Ｄの画像が表示される。
【０１５３】
カメラ４４及びマイクロホン４６は、例えば会議参加者３Ａの正面に置かれ、当該カメラ４４により撮像された会議参加者３Ａの画像データとマイクロホン４６により集音された会議参加者３Ａの音声データは、ＩＳＤＮ２を介して遠隔会議装置１Ｂ乃至１Ｄに送信される。
【０１５４】
また、カメラ４５及びマイクロホン４７は、例えば会議参加者３Ｅの正面に置かれ、当該カメラ４５により撮像された会議参加者３Ｅの画像データとマイクロホン４７により集音された会議参加者３Ｅの音声データは、ＩＳＤＮ２を介して遠隔会議装置１Ｂ乃至１Ｄに送信される。
【０１５５】
一方、遠隔会議装置１Ｂから送信されてきた会議参加者３Ｂの音声データは、その音像がスクリーン４１上に表示されている会議参加者３Ｂの画像近傍に定位するように制御されて、スクリーン４１の左右に配置されたスピーカ４２，４３に供給され、放音される。また、遠隔会議装置１Ｃから送信されてきた会議参加者３Ｃの音声データは、その音像がスクリーン４１上に表示されている会議参加者３Ｃの画像近傍に定位するように制御されて、スピーカ４２，４３に供給され、放音される。同様に、遠隔会議装置１Ｄから送信されてきた会議参加者３Ｄの音声データは、その音像がスクリーン４１上に表示されている会議参加者３Ｄの画像近傍に定位するように制御されて、スピーカ４２，４３に供給され、放音される。
【０１５６】
また、この図３４の構成例において、各会議参加者３Ｂ乃至３Ｄの音声データや画像データは、カメラ４４で撮像された会議参加者３Ａの画像データを用いて検出される会議参加者３Ａの向いている方向に基づいて求められた注目度（パラメータＰ(t)）と、カメラ４５で撮像された会議参加者３Ｅの画像データを用いて検出される会議参加者３Ｅの向いている方向に基づいて求められた注目度（パラメータＰ(t)）との平均値に応じて、前述同様に個別に調整される。なお、画像データについては、会議参加者３Ａの方向に基づく注目度（パラメータＰ(t)）と、会議参加者３Ｅ方向に基づく注目度（パラメータＰ(t)）との平均値を取らず、それら各注目度（パラメータＰ(t)）に応じて前述同様に個別に調整することも可能である。
【０１５７】
次に、図３５には、遠隔会議装置１Ａの他の構成例を示す。
【０１５８】
すなわちこの図３５の構成例は、図３４の構成例と同様に湾曲した１つのスクリーン５１を設け、さらに二人の会議参加者３Ａ，３Ｅを同席可能にしているが、図３４の構成例のスピーカ４２，４３に代えて、会議参加者３Ａ，３Ｅに対して個別にヘッドホン５２，５３を設けた場合を示している。
【０１５９】
この図３５の構成例では、同席する二人の会議参加者３Ａ，３Ｅと共に、他の各会議参加者３Ｂ，３Ｃ，３Ｄがあたかも１つのテーブルを囲んで会議を行うかのように、スクリーン５１上に他の各会議参加者３Ｂ，３Ｃ，３Ｄの画像が表示される。
【０１６０】
カメラ５４及びマイクロホン５６は、例えば会議参加者３Ａの正面に置かれ、当該カメラ５４により撮像された会議参加者３Ａの画像データとマイクロホン５６により集音された会議参加者３Ａの音声データは、ＩＳＤＮ２を介して遠隔会議装置１Ｂ乃至１Ｄに送信される。
【０１６１】
また、カメラ５５及びマイクロホン５７は、例えば会議参加者３Ｅの正面に置かれ、当該カメラ５５により撮像された会議参加者３Ｅの画像データとマイクロホン５７により集音された会議参加者３Ｅの音声データは、ＩＳＤＮ２を介して遠隔会議装置１Ｂ乃至１Ｄに送信される。
【０１６２】
一方、遠隔会議装置１Ｂから送信されてきた会議参加者３Ｂの音声データは、その音像がスクリーン５１上に表示されている会議参加者３Ｂの画像近傍に定位するように制御されて、会議参加者３Ａ，３Ｅが個別に装着するヘッドホン５２，５３に供給され、放音される。また、遠隔会議装置１Ｃから送信されてきた会議参加者３Ｃの音声データは、その音像がスクリーン５１上に表示されている会議参加者３Ｃの画像近傍に定位するように制御されて、会議参加者３Ａ，３Ｅが個別に装着するヘッドホン５２，５３に供給され、放音される。同様に、遠隔会議装置１Ｄから送信されてきた会議参加者３Ｄの音声データは、その音像がスクリーン５１上に表示されている会議参加者３Ｄの画像近傍に定位するように制御されて、会議参加者３Ａ，３Ｅが個別に装着するヘッドホン５２，５３に供給され、放音される。
【０１６３】
また、この図３５の構成例において、各会議参加者３Ｂ乃至３Ｄの音声データや画像データは、カメラ５４で撮像された会議参加者３Ａの画像データを用いて検出される会議参加者３Ａの方向に基づいた注目度（パラメータＰ(t)）と、カメラ５５で撮像された会議参加者３Ｅの画像データを用いて検出される会議参加者３Ｅの方向に基づいた注目度（パラメータＰ(t)）とに応じて、同様に個別に調整される。なお、各会議参加者３Ｂ乃至３Ｄの音声データや画像データは、会議参加者３Ａの方向に基づく注目度（パラメータＰ(t)）と、会議参加者３Ｅ方向に基づく注目度（パラメータＰ(t)）との平均値平均値に応じて、個別に調整されるようにしてもよい。
【０１６４】
次に、図３６には、遠隔会議装置１Ａの他の構成例を示す。
【０１６５】
この図３６の構成例では、他の遠隔会議装置１Ｂ，１Ｃ，１Ｄの各会議参加者３Ｂ，３Ｃ，３Ｄの画像データは通信されず、音声データだけが通信される。このため、図３６の構成例では、会議参加者３Ａと共に、他の各会議参加者３Ｂ，３Ｃ，３Ｄがあたかも１つのテーブルを囲んで会議を行うかのように、他の各会議参加者３Ｂ，３Ｃ，３Ｄの音声を放音するためのスピーカ６１，６２，６３が配置される。但し、会議参加者３Ｂ，３Ｃ，３Ｄの音声データを放音するスピー力６１，６２，６３の近傍には、例えば写真６５Ｂ，６５Ｃ，６５Ｄのような各会議参加者３Ｂ，３Ｃ，３Ｄを象徴するものが配置される。
【０１６６】
カメラ６４及びマイクロホン６６は、例えば会議参加者３Ａの正面に置かれ、当該カメラ６４により撮像された会議参加者３Ａの画像データとマイクロホン６６により集音された会議参加者３Ａの音声データは、ＩＳＤＮ２を介して遠隔会議装置１Ｂ乃至１Ｄに送信される。
【０１６７】
遠隔会議装置１Ｂから送信されてきた会議参加者３Ｂの音声データはスピーカ６１から放音され、遠隔会議装置１Ｃから送信されてきた会議参加者３Ｃの音声データはスピーカ６２から放音され、遠隔会議装置１Ｄから送信されてきた会議参加者３Ｄの音声データはスピーカ６３から放音される。
【０１６８】
また、この図３６の構成例において、各会議参加者３Ｂ乃至３Ｄの音声データは、カメラ６４で撮像された会議参加者３Ａの画像データを用いて検出される会議参加者３Ａの方向に基づいた注目度（パラメータＰ(t)）に応じて、同様に個別に調整される。
【０１６９】
なお、本実施の形態では、方向検出部１５を遠隔会議装置内に設けた例を挙げたが、ネットワーク上に独立して設けることも可能である。
【０１７０】
本実施の形態では、方向検出の具体例として視線と顔向き検出をそれぞれ別個に行う例を挙げたが、それら両方の方向検出を同時に行うことも可能である。また、本実施の形態では、注目度検出結果に応じた調整の具体例として音量、音質、画質の調整をそれぞれ別個に行う例を挙げたが、それらの調整を２つ或いは３つ組み合わせて行うことも可能である。
【０１７１】
さらに、上述した各処理は例えばコンピュータプログラムにより実行でき、この場合の上記各処理を行うコンピュータプログラムは、磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の情報記縁媒体よりなる提供媒体のほか、インターネット、ディジタル衛星通信などのネットワーク提供媒体を介してユーザに提供することができる。
【０１７２】
【発明の効果】
以上のように、本発明の通信装置及び方法によれば、撮像したユーザの画像データを用いてユーザの視線や顔の向きを検出し、検出したユーザの視線や顔の向きからユーザの注目度を求め、その注目度に基づいて、複数の他の通信装置から入力される他のユーザの音声や画像を個別に調整するようにしているため、所望の発言を間き取り易くすることが可能となり、また、所望の画像を見易くすることが可能となる。
【図面の簡単な説明】
【図１】 図１は、本発明を適用した遠隔会議システムの構成例を示すブロック図である。
【図２】 図２は、遠隔会議システムを構成する一つの遠隔会議装置の構成例を示すブロック図である。
【図３】 図３は、遠隔会議装置の主要部の構成例を示すブロック図である。
【図４】 図４は、遠隔会議装置の主要部の具体的な構成例を示すブロック図である。
【図５】 図５Ａから図５Ｄは、遠隔会議装置の方向検出部、注目度検出部、調整部の処理動作の説明に用いる図である。
【図６】 図６は、注目検出処理の流れを示すフローチャートである。
【図７】 図７は、注目度の演算処理の流れを示すフローチャートである。
【図８】 図８は、視線検出処理の流れを示すフローチャートである。
【図９】 図９は、目の両端位置検出の説明に用いる図である。
【図１０】 図１０は、鼻孔の位置検出範囲の説明に用いる図である。
【図１１】 図１１は、目の両端位置、鼻孔位置、眼球中心位置の説明に用いる図である。
【図１２】 図１２は、視線の方向検出の説明に用いる図である。
【図１３】 図１３は、特定の画素集合の２次モーメントを最小にする線の求め方の説明に用いる図である。
【図１４】 図１４は、顔向き検出処理の流れを示すフローチャートである。
【図１５】 図１５Ａ、図１５Ｂは、顔向き検出の際の原画像を示す図である。
【図１６】 図１６Ａ、図１６Ｂは、顔向き検出の際の髪領域と肌領域の説明に用いる図である。
【図１７】 図１７Ａ、図１７Ｂは、髪領域と肌領域の重心の説明に用いる図である。
【図１８】 図１８は、顔向き検出の際の差分値と角度の関係例を示す図である。
【図１９】 図１９は、遠隔会議装置にて音量制御を行う場合の主要部の構成例を示すブロック図である。
【図２０】 図２０は、遠隔会議装置にて音量制御を行う場合の主要部の具体的な構成例を示すブロック図である。
【図２１】 図２１は、音量制御処理の流れを示すフローチャートである。
【図２２】 図２２は、遠隔会議装置にて音質制御を行う場合の主要部の構成例を示すブロック図である。
【図２３】 図２３は、遠隔会議装置にて音質制御を行う場合の主要部の具体的な構成例を示すブロック図である。
【図２４】 図２４は、音質制御を行う場合の音声加工器の具体的構成例を示すブロック図である。
【図２５】 図２５は、音声加工器への入力音声信号の周波数特性を示す図である。
【図２６】 図２６は、音声加工器の周波数制御特性を示す図である。
【図２７】 図２７は、音声加工器からの出力音声信号の周波数特性を示す図である。
【図２８】 図２８は、音質制御処理の流れを示すフローチャートである。
【図２９】 図２９は、遠隔会議装置にて画質制御を行う場合の主要部の構成例を示すブロック図である。
【図３０】 図３０は、遠隔会議装置にて画質制御を行う場合の主要部の具体的な構成例を示すブロック図である。
【図３１】 図３１は、画質制御を行う場合の画像加工器の具体的構成例を示すブロック図である。
【図３２】 図３２は、画質制御処理の流れを示すフローチャートである。
【図３３】 図３３は、本発明の遠隔会議装置の他の例として、スクリーン上に会議参加者の画像を表示し、スピーカによる音像を定位させる場合の概略構成を示すブロック図である。
【図３４】 図３４は、本発明の遠隔会議装置の他の例として、スクリーン上の会議参加者の画像を表示し、二人の会議参加者を同席可能にした場合の概略構成を示すブロック図である。
【図３５】 図３５は、本発明の遠隔会議装置の他の例として、スクリーン上の会議参加者の画像を表示し、ヘッドホンによる音像を定位させる場合の概略構成を示すブロック図である。
【図３６】 図３６は、本発明の遠隔会議装置の他の例として、会議参加者の音声のみを通信するようにした場合の概略構成を示すブロック図である。
【符号の説明】
１ 遠隔会議装置、１５ 方向検出部、１０１，１０２，１０３ 再生装置、１３１，１３２，１３３ 注目度検出部、１６１，１６２，１６３ 調整部
Claims (14)
- ３以上の複数の通信装置間で通信を行う通信システムにおける通信装置において、
複数の方向を有し、各方向がそれぞれ他の通信装置に対応している状態において、ユーザの向いている方向を検出する方向検出部と、
上記方向検出部から供給された上記ユーザが上記各方向に向いている期間を表す情報から、それぞれの方向毎に、上記ユーザが一定時間以上対応する方向に向いていることを検出したとき、上記ユーザの当該対応する方向に対する注目度が高いとして注目度を第１の値に設定し、上記ユーザが一定時間以上対応する方向に向いていることを検出した後、上記ユーザが当該対応する方向とは異なる方向に向いていることを検出したとき、そのタイミングから、上記注目度が上記第１の値に設定された状態で一定時間を経過した後、上記注目度を上記第１の値よりも低い第２の値に設定する注目度検出部と、
他の複数の通信装置からの情報を受信する受信部と、
それぞれの方向毎に、上記他の複数の通信装置からの情報が上記注目度が高いほどより強調されるように調整する調整部と
を備える通信装置。 - 上記注目度検出部は、それぞれの方向毎に、上記方向検出部が上記ユーザが一定時間以上対応する方向に向いていることを検出した後、上記ユーザが当該対応する方向とは異なる方向に向いていることを検出したとき、そのタイミングから一定時間を経過した後、上記注目度を上記第１の値から徐々に低くなるように設定する請求項１記載の通信装置。
- 上記方向検出部は、上記ユーザの視線方向を検出する請求項１記載の通信装置。
- 上記方向検出部は、上記ユーザの顔向きを検出する請求項１記載の通信装置。
- 上記調整部で調整された情報をユーザに提示する提示部をさらに備える請求項１記載の通信装置。
- 上記情報は、音声情報であり、上記調整部は、上記提示部で提示される音声情報を調整する請求項５記載の通信装置。
- 上記調整部は、上記提示部で提示される音声情報の音量を調整する請求項６記載の通信装置。
- 上記調整部は、上記提示部で提示される音声情報の音質を調整する請求項６記載の通信装置。
- 上記情報は、画像情報であり、上記調整部は、上記提示部で提示される画像情報を調整する請求項５記載の通信装置。
- 上記調整部は、上記提示部で提示される画像情報の画質を調整する請求項９記載の通信装置。
- 上記提示部は、上記複数の方向にそれぞれ対応する複数の提示部を備える請求項５記載の通信装置。
- 上記ユーザの情報を取得する取得部と、上記取得部で取得された上記ユーザの情報を上記他の通信装置へ送信する送信部とをさらに備える請求項１記載の通信装置。
- ３以上の複数の通信装置間で通信を行う通信システムにおける通信方法において、
上記複数の通信装置の一つにおいて、複数の方向を有し、各方向がそれぞれ他の通信装置に対応している状態において、ユーザの向いている方向を検出するステップと、
上記方向の検出ステップにより供給された上記ユーザが上記各方向に向いている期間を表す情報から、それぞれの方向毎に、上記ユーザが一定時間以上対応する方向に向いていることを検出したとき、上記ユーザの当該対応する方向に対する注目度が高いとして注目度を第１の値に設定し、上記ユーザが一定時間以上対応する方向に向いていることを検出した後、上記ユーザが当該対応する方向とは異なる方向に向いていることを検出したとき、そのタイミングから、上記注目度が上記第１の値に設定された状態で一定時間を経過した後、上記注目度を上記第１の値よりも低い第２の値に設定する注目度を検出するステップと、
上記他の複数の通信装置からの受信した情報が上記注目度が高いほどより強調されるように調整するステップと
を備える通信方法。 - 上記注目度を検出するステップでは、それぞれの方向毎に、上記方向を検出するステップで上記ユーザが一定時間以上対応する方向に向いていることを検出した後、上記ユーザが当該対応する方向とは異なる方向に向いていることを検出したとき、そのタイミングから一定時間を経過した後、上記注目度を上記第１の値から徐々に低くなるように設定する請求項１３記載の通信方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28750698 | 1998-10-09 | ||
| PCT/JP1999/005587 WO2000022823A1 (fr) | 1998-10-09 | 1999-10-08 | Appareil et procede de telecommunication |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP4465880B2 true JP4465880B2 (ja) | 2010-05-26 |
Family
ID=17718230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000576619A Expired - Fee Related JP4465880B2 (ja) | 1998-10-09 | 1999-10-08 | 通信装置及び方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6606111B1 (ja) |
| EP (1) | EP1039752A4 (ja) |
| JP (1) | JP4465880B2 (ja) |
| KR (1) | KR100639750B1 (ja) |
| WO (1) | WO2000022823A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9294863B2 (en) | 2013-10-15 | 2016-03-22 | Fujitsu Limited | Acoustic device, augmented reality acoustic device, acoustic system, acoustic processing method, and recording medium |
| JP2017103801A (ja) * | 2017-01-19 | 2017-06-08 | 株式会社Ｊｖｃケンウッド | 通信端末、通信端末の制御方法、通信端末の制御プログラム |
Families Citing this family (57)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7224962B1 (en) | 1997-10-03 | 2007-05-29 | Karen Jeanne Kite | Remote operational screener |
| US6717607B1 (en) * | 2000-04-28 | 2004-04-06 | Swisscom Mobile Ag | Method and system for video conferences |
| JP4442016B2 (ja) * | 2000-10-06 | 2010-03-31 | ソニー株式会社 | 席順決定装置、グループ判定表作成方法、グループ判定表作成装置 |
| EP1425909A4 (en) | 2001-08-07 | 2006-10-18 | Polycom Inc | SYSTEM AND METHOD FOR HIGH RESOLUTION VIDEOCONFERENCE |
| US7130446B2 (en) * | 2001-12-03 | 2006-10-31 | Microsoft Corporation | Automatic detection and tracking of multiple individuals using multiple cues |
| JP3819852B2 (ja) * | 2003-01-29 | 2006-09-13 | 富士通株式会社 | 通信支援方法、通信支援装置、通信支援プログラム及び通信支援プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2004248125A (ja) * | 2003-02-17 | 2004-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 映像切り替え装置、映像切り替え方法、この方法のプログラムおよびこのプログラムを記録した記録媒体 |
| US7762665B2 (en) | 2003-03-21 | 2010-07-27 | Queen's University At Kingston | Method and apparatus for communication between humans and devices |
| US8292433B2 (en) | 2003-03-21 | 2012-10-23 | Queen's University At Kingston | Method and apparatus for communication between humans and devices |
| JP2005124160A (ja) * | 2003-09-25 | 2005-05-12 | Fuji Photo Film Co Ltd | 会議支援システム、情報表示装置、プログラム、及び制御方法 |
| US8824730B2 (en) * | 2004-01-09 | 2014-09-02 | Hewlett-Packard Development Company, L.P. | System and method for control of video bandwidth based on pose of a person |
| KR100650022B1 (ko) * | 2004-05-13 | 2006-11-24 | 한국정보통신대학교 산학협력단 | 이용자의 위치에 기반한 상황인지형 화상 채팅 시스템 및그 방법 |
| US7636365B2 (en) | 2004-05-13 | 2009-12-22 | Korea Advanced Institute Of Science And Technology (Kaist) | Smart digital modules and smart digital wall surfaces combining the same, and context aware interactive multimedia system using the same and operation method thereof |
| US20050280701A1 (en) * | 2004-06-14 | 2005-12-22 | Wardell Patrick J | Method and system for associating positional audio to positional video |
| JP4716083B2 (ja) | 2004-07-27 | 2011-07-06 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
| US20070005752A1 (en) | 2005-06-29 | 2007-01-04 | Jitendra Chawla | Methods and apparatuses for monitoring attention of a user during a collaboration session |
| JP4687266B2 (ja) * | 2004-10-20 | 2011-05-25 | 富士ゼロックス株式会社 | 注意喚起装置および方法ならびに情報処理システム |
| US8209181B2 (en) * | 2006-02-14 | 2012-06-26 | Microsoft Corporation | Personal audio-video recorder for live meetings |
| JP5055781B2 (ja) * | 2006-02-14 | 2012-10-24 | 株式会社日立製作所 | 会話音声分析方法、及び、会話音声分析装置 |
| JP4787180B2 (ja) * | 2007-01-24 | 2011-10-05 | 富士フイルム株式会社 | 撮影装置及び撮影方法 |
| JP4420056B2 (ja) | 2007-04-20 | 2010-02-24 | ソニー株式会社 | 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム |
| US20080320131A1 (en) * | 2007-06-22 | 2008-12-25 | International Business Machines Corporation | Method, Apparatus or Software for Managing Propagation of the Performance of a Node in a Network |
| US20090027485A1 (en) * | 2007-07-26 | 2009-01-29 | Avaya Technology Llc | Automatic Monitoring of a Call Participant's Attentiveness |
| JP2009060220A (ja) * | 2007-08-30 | 2009-03-19 | Konica Minolta Holdings Inc | コミュニケーションシステム及びコミュニケーションプログラム |
| US9060094B2 (en) | 2007-09-30 | 2015-06-16 | Optical Fusion, Inc. | Individual adjustment of audio and video properties in network conferencing |
| US20090172100A1 (en) * | 2007-12-31 | 2009-07-02 | International Business Machines Corporation | Deriving and communicating attention spans in collaborative applications |
| EP2228987B8 (fr) * | 2009-03-12 | 2021-08-04 | Orange | Système d'interprétation d'un mouvement d'un interlocuteur, procédé et programme d'ordinateur correspondant. |
| US20100295782A1 (en) | 2009-05-21 | 2010-11-25 | Yehuda Binder | System and method for control based on face ore hand gesture detection |
| US8995688B1 (en) * | 2009-07-23 | 2015-03-31 | Helen Jeanne Chemtob | Portable hearing-assistive sound unit system |
| US8330793B2 (en) * | 2009-10-09 | 2012-12-11 | Hewlett-Packard Development Company, L.P. | Video conference |
| WO2011051959A1 (en) * | 2009-10-30 | 2011-05-05 | Hewlett-Packard Development Company, L.P. | Method and apparatus for use with video sequences |
| US8665309B2 (en) * | 2009-11-03 | 2014-03-04 | Northrop Grumman Systems Corporation | Video teleconference systems and methods for providing virtual round table meetings |
| JP2011199847A (ja) * | 2010-02-25 | 2011-10-06 | Ricoh Co Ltd | 会議システムの端末装置、会議システム |
| JP5370380B2 (ja) * | 2011-01-25 | 2013-12-18 | ソニー株式会社 | 映像表示方法および映像表示装置 |
| US8520052B2 (en) * | 2011-02-02 | 2013-08-27 | Microsoft Corporation | Functionality for indicating direction of attention |
| US9013264B2 (en) | 2011-03-12 | 2015-04-21 | Perceptive Devices, Llc | Multipurpose controller for electronic devices, facial expressions management and drowsiness detection |
| JP5367037B2 (ja) * | 2011-09-26 | 2013-12-11 | 本田技研工業株式会社 | 顔向き検出装置 |
| US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
| US20140145936A1 (en) * | 2012-11-29 | 2014-05-29 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for 3d gesture behavior recognition |
| JP6079535B2 (ja) * | 2013-09-30 | 2017-02-15 | 株式会社Ｊｖｃケンウッド | 通信端末、通信端末の出力制御方法、通信端末の出力制御用プログラム |
| US9407871B2 (en) | 2014-03-31 | 2016-08-02 | Electronics And Telecommunications Research Instit | Apparatus and method for controlling eye-to-eye contact function |
| US9530426B1 (en) * | 2015-06-24 | 2016-12-27 | Microsoft Technology Licensing, Llc | Filtering sounds for conferencing applications |
| US10860843B1 (en) | 2015-08-22 | 2020-12-08 | Bertec Corporation | Measurement system that includes at least one measurement assembly, a head-mounted visual display device, and a data processing device |
| US9916011B1 (en) * | 2015-08-22 | 2018-03-13 | Bertec Corporation | Force measurement system that includes a force measurement assembly, a visual display device, and one or more data processing devices |
| US10390736B1 (en) | 2015-08-22 | 2019-08-27 | Bertec Corporation | Force measurement system that includes a force measurement assembly, at least one visual display device, and one or more data processing devices |
| US11992746B1 (en) | 2015-08-22 | 2024-05-28 | Bertec Corporation | Hybrid display system for a force measurement assembly, an exercise device, or an interactive game |
| US10216262B1 (en) * | 2015-08-22 | 2019-02-26 | Bertec Corporation | Force management system that includes a force measurement assembly, a visual display device, and one or more data processing devices |
| US11301045B1 (en) | 2015-08-22 | 2022-04-12 | Bertec Corporation | Measurement system that includes at least one measurement assembly, a visual display device, and at least one data processing device |
| US10555688B1 (en) | 2015-08-22 | 2020-02-11 | Bertec Corporation | Measurement system that includes at least one measurement assembly, a head-mounted visual display device, and a data processing device |
| USD862127S1 (en) | 2016-04-15 | 2019-10-08 | Steelcase Inc. | Conference table |
| US10219614B2 (en) | 2016-04-15 | 2019-03-05 | Steelcase Inc. | Reconfigurable conference table |
| USD808197S1 (en) | 2016-04-15 | 2018-01-23 | Steelcase Inc. | Support for a table |
| USD838129S1 (en) | 2016-04-15 | 2019-01-15 | Steelcase Inc. | Worksurface for a conference table |
| CN107248921A (zh) * | 2017-07-21 | 2017-10-13 | 北京阿德和合科技有限公司 | 一种会议方法、客户端及应用其的系统 |
| US10990171B2 (en) * | 2018-12-27 | 2021-04-27 | Facebook Technologies, Llc | Audio indicators of user attention in AR/VR environment |
| CN111640424B (zh) * | 2019-03-01 | 2024-02-13 | 北京搜狗科技发展有限公司 | 一种语音识别方法、装置和电子设备 |
| JP7292343B2 (ja) * | 2021-09-27 | 2023-06-16 | ソフトバンク株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01141479A (ja) * | 1987-11-28 | 1989-06-02 | A T R Tsushin Syst Kenkyusho:Kk | 視線検出を利用した画像通信装置 |
| JP2743381B2 (ja) * | 1988-05-16 | 1998-04-22 | 日本電気株式会社 | 動画像信号の復号化方式 |
| JP2733953B2 (ja) * | 1988-05-16 | 1998-03-30 | 日本電気株式会社 | 動画像信号の符号化復号化方式 |
| GB9019538D0 (en) * | 1990-09-07 | 1990-10-24 | Philips Electronic Associated | Tracking a moving object |
| JPH04205617A (ja) * | 1990-11-30 | 1992-07-27 | Toshiba Corp | 入出力インターフェース装置 |
| JPH0730877A (ja) * | 1993-07-12 | 1995-01-31 | Oki Electric Ind Co Ltd | 多地点間マルチメディア通信会議システム |
| JPH07162532A (ja) | 1993-12-07 | 1995-06-23 | Nippon Telegr & Teleph Corp <Ntt> | 多地点間通信会議コミュニケーション支援装置 |
| US5500671A (en) * | 1994-10-25 | 1996-03-19 | At&T Corp. | Video conference system and method of providing parallax correction and a sense of presence |
| US6037970A (en) | 1996-04-05 | 2000-03-14 | Sony Corporation | Videoconference system and method therefor |
| JPH09275533A (ja) | 1996-04-08 | 1997-10-21 | Sony Corp | 信号処理装置 |
| JPH09319296A (ja) * | 1996-05-24 | 1997-12-12 | Canon Inc | 表示装置 |
| JPH1056626A (ja) | 1996-08-13 | 1998-02-24 | Hitachi Software Eng Co Ltd | テレビ会議システム |
| JPH10136339A (ja) * | 1996-10-30 | 1998-05-22 | Sharp Corp | 画像情報伝送装置 |
-
1999
- 1999-10-08 US US09/555,556 patent/US6606111B1/en not_active Expired - Fee Related
- 1999-10-08 WO PCT/JP1999/005587 patent/WO2000022823A1/ja active IP Right Grant
- 1999-10-08 KR KR1020007006213A patent/KR100639750B1/ko not_active IP Right Cessation
- 1999-10-08 JP JP2000576619A patent/JP4465880B2/ja not_active Expired - Fee Related
- 1999-10-08 EP EP99970540A patent/EP1039752A4/en not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9294863B2 (en) | 2013-10-15 | 2016-03-22 | Fujitsu Limited | Acoustic device, augmented reality acoustic device, acoustic system, acoustic processing method, and recording medium |
| JP2017103801A (ja) * | 2017-01-19 | 2017-06-08 | 株式会社Ｊｖｃケンウッド | 通信端末、通信端末の制御方法、通信端末の制御プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US6606111B1 (en) | 2003-08-12 |
| KR20010032883A (ko) | 2001-04-25 |
| KR100639750B1 (ko) | 2006-10-31 |
| EP1039752A4 (en) | 2007-05-02 |
| WO2000022823A1 (fr) | 2000-04-20 |
| EP1039752A1 (en) | 2000-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4465880B2 (ja) | 通信装置及び方法 | |
| US6608644B1 (en) | Communication system | |
| TWI473009B (zh) | 用於加強音訊之系統及用於自一計算裝置輸出音訊之方法 | |
| US8115799B2 (en) | Method and apparatus for obtaining acoustic source location information and a multimedia communication system | |
| CN108737896B (zh) | 一种基于电视机的自动调节喇叭朝向的方法及电视机 | |
| US20180220231A1 (en) | Suppressing ambient sounds | |
| WO2010150475A1 (ja) | 補聴器 | |
| JP5335706B2 (ja) | 画像表示装置 | |
| JP2013057705A (ja) | 音声処理装置、音声処理方法および音声出力装置 | |
| Francart et al. | Enhancement of interaural level differences improves sound localization in bimodal hearing | |
| JPH09275533A (ja) | 信号処理装置 | |
| JP2008244917A (ja) | 受像機制御システム | |
| JP2003230071A (ja) | テレビ視聴システム | |
| US11290815B2 (en) | Method for personalizing the audio signal of an audio or video stream | |
| CN114157905B (zh) | 基于图像识别的电视声音调节方法、装置、电视机 | |
| JP4244416B2 (ja) | 情報処理装置および方法、並びに記録媒体 | |
| KR20130131844A (ko) | 음향 보정이 가능한 디스플레이 장치, 청각 레벨 제어 장치 및 방법 | |
| EP1146721A1 (en) | Communication system | |
| JP3952870B2 (ja) | 音声伝送装置、音声伝送方法及びプログラム | |
| JP2007251355A (ja) | 対話システム用中継装置、対話システム、対話方法 | |
| US11589021B1 (en) | Color correction for video communications using display content color information | |
| JP2000004395A (ja) | ビデオカメラの画像処理装置及びヘッドマウントディスプレイ | |
| US20240323616A1 (en) | Sound processing device, sound processing method, and hearing aid device | |
| WO2023228713A1 (ja) | 音声処理装置および方法、情報処理装置、並びにプログラム | |
| US20170125010A1 (en) | Method and system for controlling voice entrance to user ears, by designated system of earphone controlled by Smartphone with reversed voice recognition control system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060315 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090619 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090721 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091019 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100215 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140305 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |