JP4892927B2 - 撮影装置、および通信会議システム - Google Patents

Description

この発明は、話者等の映像を明瞭に撮影することができる撮影装置、および通信会議システムに関する。

近年、通信環境の整備が進み、映像と音声を送受信するテレビ会議システムが普及している。テレビ会議システムは、一般的に、カメラ、マイク、スピーカ、およびディスプレイを有し、送信側ではマイクで収音した音声とカメラで撮影した映像を送信する。受信側では受信音声をスピーカから発音し、受信映像をディスプレイに表示する。

このようなテレビ会議システムにおいては、１対１の会話を行うだけでなく、複数人の会議参加者で会話を行うことが多い。この場合、話者のほうに都度撮影範囲を設定する（カメラを向ける）必要がある。カメラは、主に左右方向（パン）を変更して撮影範囲を変更する。

このパンの変更をスムーズにするために、会議参加者のそれぞれに専用マイクを配置し、最も入力レベルが大きいマイクの方向に複数の話者をまとめて撮影するようにしたテレビ会議システムが提案されている（例えば特許文献１参照）。

また、会議机上に設置した複数のカメラでパノラマ画像を生成し、所定領域の画像を切り出すことで、電子的にパンを変更する方法が提案されている（例えば特許文献２参照）。
特開平７−１３５６４６号公報 特開２００１−９４８５７号公報

特許文献１のテレビ会議システムは、カメラを機械的に回動させることでパンを変更するため、カメラを回動させる機構が必要となり、ハードウェアが煩雑となりコストがかかる。また、機械的に回動させるため、故障発生の可能性が高くなり、メンテナンスの必要も生じる。また、カメラを機械的に回動させることでパンを変更するため、話者を検出してから撮影範囲を設定するまでタイムラグが大きくなるという問題が有った。さらに、特許文献１のテレビ会議システムは、話者を検出するために、専用のマイクをそれぞれの会議参加者毎に配置する必要があり、煩雑な構成となる。

特許文献２のバーチャル・カメラの制御方法においては、機械的にカメラを回動させることなく高速にパンを変更することができる。しかし、特許文献２においても話者を検出するために、専用のマイクをそれぞれの会議参加者毎に設置、または、会議机中心に複数のマイク（円形に配置したマイクアレイ）を設置する必要があり、煩雑な構成となる。また、会議机中心に複数のカメラ（カメラアレイ）を設置する例が示されているが、このような構成では机上にマイクやカメラ等、多数の機器が設置されるために会議参加者にとって邪魔になる。また、機器設置の手間もかかる。一方でディスプレイ付近にマイク、カメラを設置することが考えられるが、会議参加者とマイクの位置が離れると、音源位置を検出できる程度に発話音声を収音することができなかった。また、一般に通信会議においては、ディスプレイ前方中心位置に会議机が存在し、これを囲むように会議参加者が着座するため、ディスプレイ付近にカメラを設置しては、会議参加者の顔正面を撮影できない（横顔の画像になってしまう）という問題があった。

この発明は、簡略な構成でありながら高速にパンを変更でき、発話者の映像（特に顔正面）を明瞭に撮影する撮影装置、および通信会議システムを提供することを目的とする。

この発明の撮影装置は、音源位置を検出する音源位置検出手段と、撮影視野が少なくとも連続し、互いに撮影視野が交差するようにそれぞれ異なる向きに設置した複数のカメラと、前記複数のカメラで撮影した連続画像から前記音源位置検出手段で検出した音源位置を含む範囲の画像を切り出す画像切り出し手段と、を備えたことを特徴とする。

この発明において、音源位置検出手段（例えば赤外線センサ）で音源（例えば発話者）の位置を検出する。複数のカメラは継続的に画像を取得し、画像合成手段においてこれらの画像を合成する。各カメラの撮影視野範囲はその端部において連続となり、これを合成することでパノラマ画像を生成する。このパノラマ画像のうち、話者の位置に対応する部分を切り出して出力する。話者を検出した領域の画像を切り出して（電子的にパンを変更して）出力することで、機械的機構のない簡略な構成でありながら高速にパンを変更することができる。また、複数のカメラは、互いに撮影視野が交差する。例えば撮影装置の両端部に配置されたカメラが互いに内側方向を撮影する。一般に通信会議においては、通信会議システム（ディスプレイ）前方中心位置に会議机が存在し、これを囲むように会議参加者が存在するため、撮影装置の両端部に配置されたカメラが互いに内側方向を撮影することで会議参加者の顔正面を撮影し易くなる。

また、この発明は、さらに、前記音源位置検出手段は、複数のマイクを配列して構成されるマイクアレイと、前記複数のマイクが収音した音声信号をそれぞれ所定時間遅延して合成することにより、特定領域の音声を高レベルで収音する収音ビームを複数形成する収音信号処理手段と、前記収音信号処理手段が形成した複数の収音ビームのうち最もレベルが高い収音ビームの方向に音源が存在すると判断する音声信号選択手段と、からなることを特徴とする。

この発明において、マイクアレイにより複数方向に収音ビームを形成する。複数の収音ビームのうち最もレベルが高い方向に音源が存在するとして、音源位置を検出する。

この発明の通信会議システムは、請求項２に記載の撮影装置と、前記収音信号選択手段が選択した収音ビームの音声信号、および前記画像切り出し手段が切り出した画像信号を出力し、外部からの音声信号および画像信号を入力する送受信手段と、前記送受信手段が入力した音声信号に基づく音声を発する音声出力手段と、前記送受信手段が入力した画像信号に基づく画像を表示する表示手段と、を備えたことを特徴とする。

この発明において、他の通信会議システムから音声信号を入力し、スピーカから音声を発するとともに、複数のマイクで音声を収音し、他の通信会議システムに出力する。また、複数のカメラで撮影した映像データを他の通信会議システムに出力する。

また、この発明は、さらに、前記音声出力手段は、複数のスピーカを配列して構成されるスピーカアレイと、前記送受信手段が入力した音声信号を、前記複数のスピーカにそれぞれ所定時間遅延して出力することにより、特定領域に音声を高レベルで放音する音声ビームを形成する放音信号処理手段と、からなり、前記放音信号処理手段は、収音側における音源位置に仮想的な音源が形成されるように音声ビームを形成し、前記表示手段に表示される画像中の音源の位置と、前記仮想的な音源の位置が同じ、または、同方向となるように前記音声ビームを制御することを特徴とする。

この発明において、スピーカアレイにより音声ビームを形成する。このとき、収音側における通信会議システムと音源の位置関係で仮想音源が形成されるように、音声ビームを形成する。これにより、映像に一致した音像定位ができ、よりリアルな会議環境を得ることができる。

この発明によれば、複数のカメラでパノラマ画像を取得し、音源を検出した領域の画像を切り出して（電子的にパンを変更して）出力することで、機械的機構のない簡略な構成でありながら高速にパンを変更することができるとともに、撮影装置の両端部に配置されたカメラが互いに内側方向を撮影することで、音源（発話者）の映像を正面から明瞭に撮影することができる。

図面を参照して、本発明の実施形態に係る通信会議システムについて説明する。図１は、通信会議システムの構成を示すブロック図である。同図に示すように、この通信会議システムは、複数のスピーカ１Ａ〜１Ｍ、複数のマイク２Ａ〜２Ｍ、複数の（同図においては３つの）カメラ３Ａ〜３Ｃ、音声信号処理部４、画像処理部５、コントローラ６、入出力インターフェース７、およびディスプレイ８を備えている。

複数のスピーカ１Ａ〜１Ｍ、および複数のマイク２Ａ〜２Ｍは、音声信号処理部４に接続されている。３つのカメラ３Ａ、３Ｂ、および３Ｃは、画像処理部５に接続されている。音声信号処理部４、および画像処理部５は入出力インターフェース７に接続されるとともに、コントローラ６に接続されている。コントローラ６は、入出力インターフェース７に接続されている。入出力インターフェース７は、他の通信会議システムにネットワーク等を介して接続される。ディスプレイ８は、入出力インターフェース７および画像処理部５に接続されている。

この通信会議システムは、ネットワーク等を介して接続される他の通信会議システムから音声信号を入力し、複数のスピーカ１から音声を発するとともに、複数のマイク２で音声を収音し、他の通信会議システムに音声信号を出力する。また、他の通信会議システムから映像データを入力し、ディスプレイ８に表示するとともに、複数のカメラ３で撮影した映像データを他の通信会議システムに出力する。これにより所謂テレビ電話（テレビ会議）を実現するものである。また、この通信会議システムは、発話者の位置（領域）を上記複数のマイクにより検出するものであり、検出した発話者の領域の画像を他の通信会議システムに出力する。

複数のスピーカ１Ａ〜１Ｍは、直線状に配列され、スピーカアレイ（図６参照）を構成する。また、複数のマイク２Ａ〜２Ｍも直線上に配列され、マイクアレイ（図６参照）を構成する。３つのカメラ３Ａ、３Ｂ、および３Ｃは、それぞれ所定間隔離れた位置（図６参照）に設置され、撮影視野が少なくとも連続となるように設置される。詳細は後述する。

スピーカ１は、一般的にはコーン型スピーカを用いるが、ホーン型スピーカ等、その他の形式を用いてもよい。また、スピーカアレイのスピーカ配列個数、配列間隔は、この通信会議システムを設置する環境や必要とする周波数帯域等により適宜設定する。

各スピーカ１に入力される音声信号は、音声信号処理部４により決定される。入出力インターフェース７を介して他の会議システムから入力された音声信号は音声信号処理部４に入力される。この音声信号は、他の会議システムから入出力インターフェース７を介してコントローラ６に入力された、音源位置を示す情報に基づいて、音声信号処理部４によって所定の遅延量を付与されて各スピーカ１に入力される。各スピーカ１では、入力された音声信号を音声として放音する。なお、図１においては、ディジタル音声信号をアナログ音声信号に変換するＤ／Ａ変換器や信号を増幅するアンプ等は省略している。

例えば全てのスピーカ１に同じ遅延量の音声信号が同時に入力されると、各スピーカ１からは同時に音声（音波）が出力される。スピーカ１から出力された音波は放射状に伝搬していくが、これらの合成波面は、平行で前方のみに伝搬するもの、すなわち音声ビームとなる。これ以外の方向へ伝搬する成分は、各スピーカ１から出力された成分が合成されることによって（干渉しあうことによって）打ち消され、前方に向かう成分のみが合成によって強められて音声ビームとして残る。

また、一端のスピーカ１から最初に音声を出力し、続いて、所定時間が経過する毎に順次隣のスピーカ１から音声を出力すると、合成波面はその遅延時間に応じて傾斜し、音声ビームを斜め方向に向けることができる。このように、各スピーカ１を水平方向にライン状に配列することで、水平方向の任意の方向への指向性制御が可能となる。

なお、以上の説明は、平面波を出力する場合のディレイ処理であるが、各スピーカ１に出力する信号のディレイを適当に制御することで、スピーカアレイの前方（または後方）にビームの焦点を持たせることもできる（図８参照）。

各マイク２の前方領域のある位置で音声が発せられると、各マイク２がこれを収音する。マイク２は、収音した音声から音声信号を音声信号処理部４に出力する。マイク２は、一般的にはダイナミックマイクを用いるが、コンデンサマイク等、その他の形式を用いてもよい。また、マイクアレイのマイク配列個数、配列間隔は、この通信会議システムを設置する環境や必要とする周波数帯域等により適宜設定する。なお、図１においてはフロントエンドのアンプやアナログ音声信号をディジタル音声信号に変換するＡ／Ｄ変換器等は省略している。各マイク２から出力される音声信号は、音声信号処理部４にて合成され、入出力インターフェース７に出力される。入出力インターフェース７は他の会議システム等にこの音声信号を出力する。各マイク２で音声を収音した際、音声は各マイク２と音源との距離に応じた伝搬時間で伝搬されるので、各マイク２では収音タイミングに差が生じる。

ここで、例えば全てのマイク２に前方から同タイミングで音波が到来したとすると、各マイク２から出力された音声信号は、合成によって強められる。一方で、これ以外の方向から音波が到来すると、各マイク２から出力される音声信号はそれぞれ位相が異なるために合成されることによって弱められる。したがって、アレイマイクの感度はビーム状に絞り込まれて前方にのみ主感度（収音ビーム）を形成する。

音声信号処理部４は、各マイク２が出力した音声信号にそれぞれ所定の遅延時間を付与することで収音ビームを斜めに向けることができる。収音ビームを斜めにする場合、一方の端部マイク２から所定時間が経過する毎に順次隣のマイク２から音声信号を出力するように設定する。例えば音源がマイクアレイの一方の端部前方に存在する場合、音源に最も近い一方の端部から音波が到来し、反対の端部に最後に音波が到来するが、音声信号処理部４は、この伝搬時間差を補正するように各マイク２の音声信号に遅延時間を付与した後合成する。これによりこの方向の音声信号を合成によって強められる。したがって、一列に並んでいるマイク２から出力する音声信号を一端から他端に向けて順次遅延することにより、収音ビームは、その遅延時間に応じて傾斜する。

なお、以上の説明は、平面波を収音する場合のディレイ処理であるが、各マイク２が出力する信号のディレイを適当に制御することで、マイクアレイの前方（または後方）に収音ビームの焦点を持たせることもできる（図８参照）。

また、この収音ビームは複数を同時に形成することも可能である。図２は、音声信号処理部４のうち、マイク２に接続される主要部の構成を示すブロック図である。マイク２Ａ〜２Ｍは、それぞれ音声信号処理部４のディジタルフィルタ４１Ａ〜４１Ｍに接続される。マイク２Ａ〜２Ｍで収音した音声は、ディジタル音声信号としてディジタルフィルタ４１Ａ〜４１Ｍに入力される。なお、図２においては、ディジタルフィルタ４１Ａ〜４１Ｍの内、ディジタルフィルタ４１Ａについてのみ詳細なブロック図を図示するが、他のディジタルフィルタ４１Ｂ〜４１Ｍについても同様の構造であり、同様の動作を行うものである。

ディジタルフィルタ４１Ａは、複数段の出力を有するディレイバッファ４２Ａを備えている。ディレイバッファ４２Ａの各段の遅延量は、マイクアレイのマイク２の配置、およびマイクアレイ前方の領域（発話者を検出する領域）に応じて設定される。この例においてディレイバッファ４２Ａは４段の出力を有しており、これらの出力信号がＦＩＲフィルタ４３１Ａ〜４３４Ａに入力される。

ディレイバッファ４２Ａは、マイク２Ａが出力した音声信号に対してそれぞれ異なる遅延時間を付与した音声信号を各段にバッファし、ＦＩＲフィルタ４３１Ａ〜４３４Ａに各遅延音声信号を出力する。ここでＦＩＲフィルタ４３１Ａ〜４３４Ａに出力する遅延音声信号は、マイクアレイ前方の各領域に対応するものである。図３は音源方向検出方法の概念図である。同図（Ａ）は音源とマイクとの位置関係と、音源から発生した音が各マイクで収音される際のディレイとの関係を示した図であり、同図（Ｂ）、（Ｃ）は収音された音声信号のディレイに基づくディレイ補正量の形成概念を示す図である。

同図に示すように、この通信会議システムにおいてはマイクアレイ前方に４つの部分領域１０１〜１０４を設定している。部分領域１０１で発生した音は最も近いマイク２Ａで最初に収音される。そして、部分領域１０１とマイク２との距離に応じて順に、各マイクで収音され、最も遠いマイク（同図においてマイク２Ｌ）で最後に収音される。一方、部分領域１０４で発生した音は最も近いマイク２Ｌで最初に収音され、部分領域１０４とマイク２との距離に応じて順に、各マイクで収音され、最も遠いマイク２Ａで最後に収音される。このように、各領域で発生する音はマイクとの距離に応じた遅延時間（ディレイ）で収音される。

ここで、部分領域１０１に対しては、図３（Ｂ）に示すように、各マイク２Ａ〜２Ｌで収音される音声信号を遅延処理する。すなわち、図３（Ａ）に示すディレイを補正するように対応するディレイ補正量を設定する。一方で部分領域１０４に対しては、図３（Ｃ）に示すように各マイク２Ａ〜２Ｌで収音される音声信号を遅延処理する。

部分領域１０１に対応する収音ビームを構成するための遅延音声信号がディレイバッファ４２Ａにおいて生成され、ＦＩＲフィルタ４３１Ａに出力される。また、部分領域１０２に対応する収音ビームを構成するための遅延音声信号がＦＩＲフィルタ４３２Ａに出力される。同様に、部分領域１０３に対応する収音ビームを構成するための遅延音声信号がＦＩＲフィルタ４３３Ａに出力され、部分領域１０４に対応する収音ビームを構成するための遅延音声信号がＦＩＲフィルタ４３４Ａに出力される。これらの遅延音声信号の遅延量は、図３に示すようにマイク２と各領域との距離に応じて設定される。例えば部分領域１０１に対応する遅延音声信号は、マイク２Ａと部分領域１０１との距離が近いため遅延量が大きく、部分領域１０４に対応する遅延音声信号は、マイク２Ａと部分領域１０４との距離が最も遠いために遅延量が小さい。

図２において、ＦＩＲフィルタ４３１Ａ〜４３４Ａは全て同じ構成からなり、それぞれに入力された遅延音声信号をフィルタリングして出力する。ＦＩＲフィルタ４３１Ａ〜４３４Ａは、ディレイバッファ４２Ａでは実現できない詳細な遅延時間を設定することができる。すなわち、ＦＩＲフィルタのサンプリング周期とタップ数とを所望の値に設定することにより、例えばディレイバッファ４２Ａでのサンプリング周期を遅延時間の整数部分とする場合にこの遅延時間の小数点部分を実現することができる。

ＦＩＲフィルタ４３１Ａ〜４３４Ａから出力された遅延音声信号は、それぞれのアンプ４４１Ａ〜４４４Ａで増幅されて、加算器４５Ａ〜４５Ｄに入力される。他のディジタルフィルタ４１Ｂ〜４１Ｍにおいてもディジタルフィルタ４１Ａと同じ構成からなり、それぞれに予め設定された遅延条件にしたがって遅延音声信号を加算器４５Ａ〜４５Ｄに出力する。

加算器４５Ａは、各ディジタルフィルタ４１Ａ〜４１Ｍから入力される遅延音声信号を合成して、図３における部分領域１０１に対応する収音ビームを生成する。同様に、加算器４５Ｂは、各ディジタルフィルタ４１Ａ〜４１Ｍから入力される遅延音声信号を合成して、図３における収音領域１０２に対応する収音ビームを生成し、加算器４５Ｃは、各ディジタルフィルタ４１Ａ〜４１Ｍから入力される遅延音声信号を合成して、図３における部分領域１０３に対応する収音ビームを生成する。また、加算器４５Ｄは、各ディジタルフィルタ４１Ａ〜４１Ｍから入力される遅延音声信号を合成して、図３における部分領域１０４に対応する収音ビームを生成する。

各加算器４５Ａ〜４５Ｄから出力される収音ビームは、バンドパスフィルタ（ＢＰＦ）４６に出力される。ＢＰＦ４６は、各収音ビームをフィルタリングして所定の周波数帯域の収音ビームをレベル判定部４７に出力する。ここで、ＢＰＦ４６は、マイクアレイの幅やマイク２の設置間隔に応じてビーム化される周波数帯域が異なることを利用し、各収音ビームで収音したい音声に対応する周波数帯域を通過帯域に設定する。例えば収音したい音声が話者の発話音声であれば、人の音声帯域に相当する周波数帯域を通過帯域に設定すればよい。

レベル判定部４７は、各収音ビームのレベルを比較し、最もレベルが高い収音ビームを選択する。収音ビームのレベルが高いということは、この収音ビームに対応する領域に音源（発話者）が存在することとなり、図３において示した４つの領域に区分した場合における音源の存在領域を検出することができる。レベル判定部４７は、音源の存在領域を示す情報をコントローラ６に出力する。なお、レベル判定部４７は、単に最もレベルが高い収音ビームの情報をコントローラ６に出力するようにし、コントローラ６がこれに対応する領域を判断するようにしてもよい。

コントローラ６は、セレクタ４８に、音源の存在領域に対応する収音ビームを選択して出力するように設定する。セレクタ４８には、各加算器４５Ａ〜４５Ｄから出力された収音ビームが入力され、コントローラ６によって設定された収音ビームのみを出力する。このセレクタ４８の出力が入出力インターフェース７に入力され、他の通信会議システム等に出力される。したがって、この通信会議システムは発話者の音声のみを明瞭に他の会議システム等に送信することが可能となる。さらに、コントローラ６は、他の通信会議システムにおいて音源の存在領域が再現されるように（送信先において仮想的な音源が形成されるように）、音源の位置情報を入出力インタフェース７に出力する。音源の位置情報は、レベル判定部４７で判定した音源の存在領域を示す情報を基にする。位置情報は、音源の存在領域を示す情報（音源の位置座標等）であってもよいし、各スピーカ１に設定する遅延時間を示す情報であってもよい。

カメラ３は、ＣＣＤやＣＭＯＳ等のイメージセンサにより構成され、この通信会議システムの前方を継続的に撮影し、通信会議システム前方の画像を取得する。なお、このカメラ３は高精細のイメージセンサである必要はなく、テレビ会議に必要とされる精細度（０．３Ｍピクセル／フレーム）程度の性能を有していればよい。各カメラ３は、互いに所定距離離れた位置に直線状に配置される。

図４は、カメラ撮影範囲を示す概念図である。３つのカメラ３Ａ、３Ｂ、および３Ｃは直線状に配置される。また、カメラ３Ｂが中心位置に配置され、カメラ３Ａとカメラ３Ｃが端部に配置される。端部に配置されるカメラ３Ａ、およびカメラ３Ｃは、内側方向（正面中心方向）に向くように、つまり撮影視野範囲が交差するように配置されている。ここで、それぞれのカメラ撮影範囲はその範囲端部においてオーバーラップする（重複となる）ように配置される。同図においては、カメラ３Ａの撮影範囲右端部とカメラ３Ｂの撮影範囲左端部が重複し、カメラ３Ｃの撮影範囲左端部とカメラ３Ｂの撮影範囲右端部が重複している。したがってカメラ３Ａ〜３Ｃにおいては、その撮影範囲中心軸が交錯する位置３０でカメラを回動させて（パンを変更して）撮影する場合と略同じ画像が得られる。つまり仮想的に位置３０にカメラを設置し、パンを変更した場合と同様の効果が得られる。

各カメラ３で取得された画像は、画像処理部５に出力される。画像処理部５は、各カメラ３で取得されたそれぞれの画像を合成し、パノラマ画像を生成する。すなわち、各カメラ３の視野は、それぞれの端部において重複となるため、この端部を合成する（つなぎ合わせる）ことでパノラマ画像を生成することができる。一般に通信会議においては、通信会議システム前方中心位置に会議机が存在し、これを囲むように会議参加者が存在するため、端部に配置されたカメラ３Ａ、およびカメラ３Ｃが互いに内側方向を撮影することで会議参加者の顔正面を撮影し易くなる。

図４においては、通信会議システム前方中心付近の紙面左側（通信会議システムから見て右側）に会議参加者２００Ａ、および２００Ｂが存在する。また、通信会議システム前方中心に会議参加者２００Ｃが存在し、通信会議システム前方中心付近の紙面右側（通信会議システムから見て左側）に会議参加者２００Ｄ、および２００Ｅが存在する。各会議参加者２００Ａ〜２００Ｅは、それぞれ通信会議システム前方中心付近の会議机２１０を囲むように存在する。したがって、紙面左側の会議参加者２００Ａ、および２００Ｂは、ほぼカメラ３Ｃの方向を向き、紙面右側の会議参加者２００Ｄ、および２００Ｅは、ほぼカメラ３Ａの方向を向くこととなる。

これにより、通信会議システム付近に設置した単一のカメラでパンを変更して各会議参加者を撮影する場合に比べ、会議参加者の顔正面を撮影し易くなる。

図５は、画像処理部５の詳細な構成を示すブロック図である。画像処理部５の合成処理部５１にカメラ３Ａ、３Ｂ、および３Ｃの画像が入力される。合成処理部５１は、上記のように各画像を合成し、パノラマ画像を生成する。このパノラマ画像は画像バッファ５２に出力される。画像バッファ５２は、このパノラマ画像をバッファする。抽出部５３は、画像バッファ５２でバッファされるパノラマ画像を読み出し、一部の領域を切り出して入出力インターフェース７に出力する。この切り出す領域はコントローラ６により決定される。

コントローラ６は、上述したように音源の存在領域を示す情報を取得している。したがって、コントローラ６は、この音源が存在する領域の画像を切り出すように抽出部５３に設定する。抽出部５３は、音源が存在する領域の画像を切り出して入出力インターフェース７に出力する。これにより、音源が存在する領域の画像のみ他の通信会議システムに送信されることとなる。したがって、音源となる発話者以外の音声（ノイズ）や画像が出力されることなく、発話者の映像と音声が鮮明に出力されることとなる。

なお、ディスプレイ８には、他の通信会議システムから入力された通信先の画像を表示するが、画像処理部５（抽出部５３）から発話者自身の画像を表示することも可能である。ディスプレイ８において通信先に表示される画像を確認することができる。

図６は通信会議システムの外観の一例を示す図であり、図７はカメラ撮影範囲と音源検出領域範囲を示す図である。図６に示すように、本通信会議システムは、ディスプレイ８の上部に設置された複数（例えば１５個）のマイク２からなるマイクアレイと、複数（例えば１２個）のスピーカ１からなるスピーカアレイと、複数（例えば３個）のカメラ３とを備えている。ディスプレイ８には他の通信会議システムから受信した画像を表示する。３つのカメラ３は、複数のスピーカ１と同一直線上に配置され、外観上スピーカアレイのスピーカ１と同様に等間隔に配置される。つまり、本来であれば１５個配置されるべきスピーカ１のうち、中心位置および左右端部から一つ内側の位置におけるスピーカ１の代わりにカメラ３を配置した構成となる。カメラをスピーカに置き換えた配置とすることで、外観上カメラが目立たず、すっきりとした構成となる。なお、カメラ３の位置はこの例に限るものではないが、スピーカアレイの音声ビーム幅を確保するためにスピーカアレイの直線上、左右端部にはスピーカ１を設置する。

上述のように、本通信会議システムは、マイクアレイによって４つの音源検出部分領域１０１〜１０４に収音ビームを設定している。図７（Ａ）においては、部分領域１０３内に音源２５０が存在する。したがって、部分領域１０３に対応する収音ビームのレベルが最も高くなり、コントローラ６は、部分領域１０３に音源が存在すると判断する。

コントローラ６は、音源が存在すると判断すると、画像バッファ５２に対し、抽出部５３にパノラマ画像を出力するよう指示する。また、抽出部５３に対し、部分領域１０３に対応する部分の画像を切り出して出力するよう指示する。したがって、同図（Ｂ）に示す破線のパノラマ画像のうち、実線で示す部分領域１０３に対応する画像領域が抽出部５３から入出力インターフェース７に出力されることとなり、通信先においては発話者（音源２５０）の画像を鮮明に取得することができる。

ここで、例えば異なる領域（例えば部分領域１０１）で発話がなされると、部分領域１０１に対応する収音ビームのレベルが最も高くなり、コントローラ６は、この部分領域１０１に音源が存在すると判断する。したがって、コントローラ６は抽出部５３に対し、部分領域１０１に対応する部分の画像を切り出して出力するよう指示する。この際、機械的にカメラを移動してパンを変更するのではなく、バッファしているパノラマ画像の所望の領域の画像を切り出す（電子的にパンを変更する）ため、従来よりも簡略な構造でありながら高速に出力画像を変更することが可能となる。

また、本実施形態の通信会議システムを送信側、受信側の両方に用いることで以下のような効果を得ることができる。図８は、指向特性を説明する図である。同図（Ａ）は、送信側のマイクアレイの指向特性（収音ビーム）を示した図である。同図において、音源２５０が発した音声は、最も近いマイク２から順に到達するが、それぞれのマイク２に遅延を与え、音源から発せられた音声が各マイク２で同位相で出力されるようにし、収音ビームに焦点を持たせる。

一方で、同図（Ｂ）は、受信側のスピーカアレイの指向特性を示した図である。同図において、受信した音声信号をそれぞれのスピーカ１から出力する。このとき、入出力インタフェース７を介してコントローラ６に入力された送信側の音源位置情報に基づいて、同図（Ａ）に示したような通信会議システムと音源２５０の位置関係で、仮想音源を形成する。この仮想音源に最も近い位置のスピーカ１から最初に音声を出力し、隣のスピーカ１から順に遅延して出力する。このように、順次遅延させることにより、音声ビームに焦点を持たせることができ、音声が発話者の位置から発せられたかのような音像定位をさせることができる。したがって、従来の通信会議システムに比べ、映像に一致した音像定位ができ、よりリアルな会議環境を得ることができる。

次に、この通信会議システムの動作についてフローチャートを用いて説明する。図９は、通信会議システムの動作を示すフローチャートである。まず、各マイク２で収音した音声信号が音声信号処理部４に入力される（ｓ１１）。その後、各ディジタルフィルタ４１Ａ〜４１Ｍのディレイバッファで複数段の遅延音声信号が形成される（ｓ１２）。ディレイバッファから出力された複数の遅延音声信号は、それぞれ音源検出領域に対応する複数の加算器において合成され、複数の収音ビームが形成される（ｓ１３）。各音源検出領域に対応する複数の収音ビームはレベル判定部４７でレベル比較される（ｓ１４）。

コントローラ６は、最もレベルが高い収音ビームに対応する音源検出領域に発話者が存在すると判断する（ｓ１５）。その後、コントローラ６は、発話者が存在すると判断した音源検出領域の画像を切り出すように画像処理部５に設定し、音声信号処理部４のセレクタ４８にこの領域に対応する収音ビームを出力するよう設定する（ｓ１６）。その後、音声信号処理部４から発話者の音声信号が、また画像処理部５から発話者の画像が入出力インターフェース７に出力される（ｓ１７）。

なお、本実施形態では、前面４つの領域において音源を検出する例について説明したが、さらに多数の領域に分けて音源を検出してもよい。図２におけるディレイバッファ４２Ａの段数を変更することで音源検出領域を多数設定することが可能である。なお、本実施形態では、マイクアレイにより発話者の位置を検出する例を示したが、赤外線センサ等、他のセンサで検出するようにしてもよい。また、カメラで撮影した画像を解析し、画像認識により発話者の位置を検出するようにしてもよい。

さらに、マイクアレイの配置は上記のものに限るものではなく、複数のマイクが所定のパターンで配置されたマイクアレイ（例えばマトリクス状に配列されたマイクアレイ）であればどのような配置であってもよい。また、図９に示すように、複数次元の円状にマイクをパターン配置することで、どの方向からも音源を検出することができ、これを本発明の構成に適用することで、電子的にパンを変更する例に限らず、発話者の位置にあわせてチルトを変更することも可能となる。

通信会議システムの構成を示すブロック図 音声信号処理部の主要部の構成を示すブロック図 音源検出領域を示す図 カメラ撮影範囲を示す図 画像処理部の構成を示すブロック図 通信会議システムの外観の一例を示す図 カメラ撮影範囲と音源検出領域範囲を示す図 指向特性を説明する図 通信会議システムの動作を示すフローチャート 円状にマイクを配列したマイクアレイの構成図

符号の説明

１−スピーカ
２−マイク
３−カメラ
４−音声信号処理部
５−画像処理部
６−コントローラ
７−入出力インターフェース
８−ディスプレイ

Claims (4)

1. 音源位置を検出する音源位置検出手段と、
   撮影視野が連続し、互いに撮影視野が交差するようにそれぞれ異なる向きに、直線状に配置された複数のカメラと、
   前記複数のカメラで撮影した連続画像から前記音源位置検出手段で検出した音源位置を含む範囲の画像を切り出す画像切り出し手段と、
   を備えた撮影装置。
2. 前記音源位置検出手段は、複数のマイクを配列して構成されるマイクアレイと、
   前記複数のマイクが収音した音声信号をそれぞれ所定時間遅延して合成することにより、特定領域の音声を高レベルで収音する収音ビームを複数形成する収音信号処理手段と、
   前記収音信号処理手段が形成した複数の収音ビームのうち最もレベルが高い収音ビームの方向に音源が存在すると判断する音声信号選択手段と、
   からなることを特徴とする請求項１に記載の撮影装置。
3. 請求項２に記載の撮影装置と、
   前記収音信号選択手段が選択した収音ビームの音声信号、および前記画像切り出し手段が切り出した画像信号を出力し、外部からの音声信号および画像信号を入力する送受信手段と、
   前記送受信手段が入力した音声信号に基づく音声を発する音声出力手段と、
   前記送受信手段が入力した画像信号に基づく画像を表示する表示手段と、
   を備えた通信会議システム。
4. 前記送受信手段は、前記音源位置検出手段が検出した音源位置情報を出力するとともに、外部からの音源位置情報を入力し、
   前記音声出力手段は、複数のスピーカを配列して構成されるスピーカアレイと、
   前記送受信手段が入力した音声信号を、前記複数のスピーカにそれぞれ所定時間遅延して出力することにより、特定領域に音声を高レベルで放音する音声ビームを形成する放音信号処理手段と、
   からなり、
   前記放音信号処理手段は、前記送受信手段が入力した外部からの音源位置情報に基づいて、当該音源位置に相当する位置に仮想的な音源が形成されるように音声ビームを形成し、前記表示手段に表示される画像中の音源の位置と、前記仮想的な音源の位置が同じ、または、同方向となるように前記音声ビームを制御することを特徴とする請求項３に記載の通信会議システム。

Images