JP4581210B2

JP4581210B2 - Video conference system

Info

Publication number: JP4581210B2
Application number: JP2000300657A
Authority: JP
Inventors: 浩三里田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2000-09-29
Filing date: 2000-09-29
Publication date: 2010-11-17
Anticipated expiration: 2020-09-29
Also published as: US6563528B2; JP2002112215A; US20020041324A1

Description

【０００１】
【発明の属する技術分野】
本発明は、会議の発言者が適切に撮影されるようにカメラの撮影方向および画角を制御するテレビ会議システムに関するものである。
【０００２】
【従来の技術】
従来より、テレビ会議を行うときに、参加者の映像を撮影するために撮像方向や画角を調整可能な駆動式のカメラを用いることが多く、複数の参加者が参加するテレビ会議では、発言者の映像など適切な映像を相手に送信するために、カメラの向きや画角の選択を手動で行っていた。しかし、カメラ制御用の従来のインターフェイスでは、カメラの向きの量や画角の変更量などをボタンで指定するものが多く、直感的な操作ではないため、正確に発言者が写るようにカメラを合わせるために時間がかかってしまい、会議の進行に支障が出ることが多かった。
【０００３】
このようなカメラ制御を自動化するために、発言者を自動的に検出して、その発言者にカメラを向ける制御装置が提案されている。例えば、特開平５−１２２６８９号公報で開示されたテレビ会議システムのように、複数のマイクから最大音声レベルのものを検出してそのマイクの方向にカメラを向けるものや、特開平７−１４０５２７号公報で開示されたカメラ撮影制御装置のように、マイクに入力された音の位相の違いから音の聞こえてくる方向を検出するものなどが提案されている。これらは、音声が聞こえてくる方向を基に発言者の方向を検出して、カメラを制御し、発言者映像を撮影するものである。
【０００４】
また、カメラで参加者を撮影し、その画像から参加者を検出する手法も考案されており、特に特開平８−２９８６５２号公報で開示されたテレビ会議端末用カメラ方向制御装置では、音声で検出した方向へカメラを向け、撮影した画像から人物の輪郭を検出して、カメラの方向を補正する手法が提案されている。また、特開平１１−８８４４号公報で開示された撮像装置コントローラでは、パン、チルトが可能なカメラの稼動範囲をパノラマ画像として表示し、このパノラマ画像内で任意の領域を指定することで、指定した領域にカメラを容易に向けることができるようにしている。
【０００５】
【発明が解決しようとする課題】
しかしながら、音声によって発言者の方向を検出する方法では、方向の誤差が大きく、発言者が画面の中央にくるようにカメラを制御することが難しいという問題点があった。また、音声によって発言者の方向を検出する方法では、発言者の大きさを検出することができないため、適切な画角で発言者に合わせることができないという問題点があった。一方、特開平８−２９８６５２号公報で開示された、画像を用いて検出する方法では、発言者ではない参加者も検出してしまうという問題点があった。したがって、音声や画像を用いて発言者を検出し、検出した方向にカメラを合わせる従来の方法では、カメラの向きや画角を手動で補正する必要があった。
【０００６】
これに対して、特開平１１−８８４４号公報で開示された方法では、パノラマ画像内で撮影したい領域を指定することにより、カメラの向きを制御することができる。しかし、この方法では、テレビ会議のように一度着席した場所からあまり動かないような場合においても、カメラの向きを変える度にパノラマ画像上で撮影領域を指定しなければならず、操作が煩わしいという問題点があった。
本発明は、上記課題を解決するためになされたもので、テレビ会議において撮影対象となる参加者を簡単に指定することができ、かつ参加者を適切に撮影することができるテレビ会議システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明のテレビ会議システムは、会議室内の参加者を撮影するカメラ（１）と、カメラパラメータに従って前記カメラの撮影方向および画角を制御するカメラ駆動手段（２）と、前記カメラ駆動手段によりカメラの撮像方向を変更することで会議室全体を撮影したパノラマ映像を生成し、生成したパノラマ映像から各参加者の人物映像を抽出し、各参加者を前記カメラで適切に撮影するための方向と画角のカメラパラメータを前記人物映像に基づいて計算する人物抽出部（４）と、前記人物抽出部で抽出された人物映像を記憶する人物映像記憶手段（６２）と、前記人物抽出部で計算されたカメラパラメータを記憶するカメラパラメータ記憶手段（６１）と、前記人物映像記憶手段に記憶された人物映像の中からオペレータが撮影対象として選択した人物映像に対応するカメラパラメータを前記カメラパラメータ記憶手段から読み出して前記カメラ駆動手段に出力し、前記カメラの撮影方向および画角を制御させる人物指示部（５）とを有するものである。本発明では、カメラ駆動手段により、カメラのパンチルト、ズームなどが制御可能である。
【０００８】
また、本発明のテレビ会議システムの１構成例として、前記人物抽出部は、撮影可能な全ての方向について会議室内の映像を前記カメラで撮影させ、このカメラで撮影された複数の映像から会議室全体の第１パノラマ映像を生成する第１パノラマ映像生成手段（４１）と、この第１パノラマ映像の撮影時点とは別の時間に、撮影可能な全ての方向について会議室内の映像を前記カメラで撮影させ、このカメラで撮影された複数の映像から会議室全体の第２パノラマ映像を生成する第２パノラマ映像生成手段（４２）と、前記第１パノラマ映像と前記第２パノラマ映像の差分に基づいて各参加者の人物映像を抽出し、この人物映像を前記人物映像記憶手段に格納する人物映像抽出手段（４３）と、各参加者を前記カメラで適切に撮影するための方向と画角のカメラパラメータを前記人物映像記憶手段に記憶された人物映像に基づいて計算し、このカメラパラメータを前記カメラパラメータ記憶手段に格納するカメラパラメータ計算手段（４４）とを有するものである。
また、本発明のテレビ会議システムの１構成例として、前記人物映像抽出手段は、前記第１パノラマ映像と前記第２パノラマ映像の差分の分布から人物映像が写っている領域を示す矩形領域を抽出するものである。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は本発明の実施の形態となるテレビ会議システムの構成を示すブロック図である。
本実施の形態のテレビ会議システムは、カメラ１と、カメラ１の撮影方向および画角を変更することができるカメラ駆動手段２とを有する。
【００１０】
テレビ会議におけるカメラ制御を行うために、本実施の形態では２つの段階に分けて処理を行う。まず、会議の初期段階における人物抽出処理は人物抽出部４で行われる。人物抽出部４は、カメラ１で撮影された会議室全体の映像から、会議に参加している各参加者の映像を抽出する。抽出された各参加者の映像は人物映像記憶手段６２に格納される。そして、人物抽出部４は、各参加者をカメラ１で適切に撮影するための方向と画角のカメラパラメータを参加者の映像毎に計算して、カメラパラメータ記憶手段６１に格納する。
【００１１】
次に、会議中の処理は人物指示部５で行われる。会議中は人物指示部５によってカメラを制御するオペレータが、人物映像記憶手段６２に蓄えられた人物映像から撮影対象となる参加者の人物映像を選択することにより、カメラ１を適切な方向に向けることができる。
【００１２】
以上が本実施の形態のテレビ会議システムの大まかな動作であるが、以下、人物抽出部４および人物指示部５についてより詳細に説明する。
図２は人物抽出部４の動作を示すフローチャート図、図３は人物抽出部４の動作を説明するための説明図である。図１に示すように、人物抽出部４は、第１パノラマ映像生成手段４１と、第２パノラマ映像生成手段４２と、人物映像抽出手段４３と、カメラパラメータ計算手段４４と、パノラマ映像記憶手段４５とを備えている。
【００１３】
まず、会議室に会議参加者がいない状態において、第１パノラマ映像生成手段４１は、カメラ駆動手段２に指示を出して、撮影可能な全ての方向について会議室内の映像をカメラ１で撮影させ、カメラ１で撮影された複数の映像をつなぎ合わせることで、図３（ａ）のような無人の会議室のパノラマ映像（以下、第１パノラマ映像と呼ぶ）を生成する（図２ステップ１０１）。
【００１４】
パノラマ映像を生成する方法としては、映像のつなぎ目の重複等をなくすために、特開平１１−８８４４号公報で開示されたように、カメラの周囲に仮想球面を設定して、カメラで撮影した映像を仮想球面へ写像した後、各映像を連結するようにしてもよいが、本実施の形態のようにテレビ会議におけるカメラ制御が目的の場合、少々の画素のずれは後の処理に影響を及ぼさないので、各映像を単純につなぎ合わせてもよい。第１パノラマ映像生成手段４１は、このようにして生成した第１パノラマ映像をパノラマ映像記憶手段４５に格納する。
【００１５】
次に、会議室に会議参加者が着席した状態において、第２パノラマ映像生成手段４２は、第１パノラマ映像生成手段４１と同様の動作を行い、図３（ｂ）のように会議参加者が存在する会議室のパノラマ映像（以下、第２パノラマ映像と呼ぶ）を生成する（ステップ１０２）。第２パノラマ映像生成手段４２は、生成した第２パノラマ映像をパノラマ映像記憶手段４５に格納する。
【００１６】
第１パノラマ映像と第２パノラマ映像が生成されると、人物映像抽出手段４３は、この２枚のパノラマ映像から各参加者の映像（以下、人物映像と呼ぶ）を抽出する（ステップ１０３）。ステップ１０３において、まず、人物映像抽出手段４３は、パノラマ映像記憶手段４５から第１パノラマ映像と第２パノラマ映像を読み出し、第１パノラマ映像と第２パノラマ映像の差分を求める。第２パノラマ映像には会議参加者が映っているので、第１パノラマ映像と第２パノラマ映像の差分をとることにより、図３（ｃ）に示すように会議参加者が映っている部分だけを抽出することができる。
【００１７】
続いて、人物映像抽出手段４３は、この差分の映像から人物映像を切り出す。
人物映像を切り出す処理を図４を用いて説明する。
ここで、第１パノラマ映像中の画素位置（ｘ，ｙ）における輝度をＹ１（ｘ，ｙ）、第２パノラマ映像中の画素位置（ｘ，ｙ）における輝度をＹ２（ｘ，ｙ）とする。
【００１８】
人物映像抽出手段４３が第１パノラマ映像と第２パノラマ映像の差分をとる際に、しきい値処理を施すことにより、第１パノラマ映像と第２パノラマ映像の差分映像は２値画像となる。このとき、画素位置（ｘ，ｙ）における差分映像Ｄ（ｘ，ｙ）は、次式のような計算で求められる。
Ｄ（ｘ，ｙ）＝０（｜Ｙ１（ｘ，ｙ）−Ｙ２（ｘ，ｙ）｜＜Ｔの場合）
Ｄ（ｘ，ｙ）＝１（｜Ｙ１（ｘ，ｙ）−Ｙ２（ｘ，ｙ）｜≧Ｔの場合）
・・・（１）
【００１９】
式（１）において、Ｔは予め決められたしきい値、｜｜は値の絶対値をとることを示す。差分映像Ｄ（ｘ，ｙ）の値は会議参加者が存在する領域の画素では「１」であり、存在しない領域の画素では「０」となる。
そして、人物映像抽出手段４３は、差分映像Ｄ（ｘ，ｙ）から図４（ｂ）のように各ｘ座標毎の画素値の累積を示す垂直方向のヒストグラムＨ（ｘ）を計算する。このヒストグラムＨ（ｘ）は、次式のように計算することができる。
【００２０】
【数１】

【００２１】
式（２）において、ｈは差分映像の高さである。垂直方向のヒストグラムＨ（ｘ）は、会議参加者が存在する範囲では高い値を示し、存在しない範囲では０などの低い値を示す。したがって、ヒストグラムＨ（ｘ）が所定のしきい値以上の範囲を差分映像Ｄ（ｘ，ｙ）から切り出すことにより、会議参加者が存在する水平方向の範囲（以下、水平方向の存在範囲と呼ぶ）を抽出することができる。
【００２２】
次に、人物映像抽出手段４３は、差分映像Ｄ（ｘ，ｙ）のうち抽出した水平方向の存在範囲について、各ｙ座標毎の画素値の累積を示す水平方向のヒストグラムＶ（ｙ，ｎ）を計算する。このヒストグラムＶ（ｙ，ｎ）は、次式のように計算することができる。
【００２３】
【数２】

【００２４】
ここで、ｎは垂直方向のヒストグラムＨ（ｘ）に基づいてｎ番目に抽出された水平方向の存在範囲を示す。よって、ヒストグラムＶ（ｙ，ｎ）はｎ番目に抽出された水平方向の存在範囲についての水平方向のヒストグラムである。また、ｗｎはｎ番目に抽出された存在範囲の水平方向の大きさである。
【００２５】
水平方向のヒストグラムＶ（ｙ，ｎ）は、会議参加者が存在する範囲では高い値を示し、参加者が存在しない範囲あるいは机等で参加者が隠れている範囲では０などの低い値を示す。したがって、ヒストグラムＶ（ｙ，ｎ）が所定のしきい値以上の範囲を、会議参加者が存在する垂直方向の範囲（以下、垂直方向の存在範囲と呼ぶ）として抽出することができ、この垂直方向の存在範囲と先に抽出した水平方向の存在範囲によって規定される矩形の領域（図４（ｃ））を各参加者が存在する領域として決定することができる。
【００２６】
そして、人物映像抽出手段４３は、差分映像Ｄ（ｘ，ｙ）から各参加者が存在する矩形の領域を切り出し、切り出した領域を人物映像として人物映像記憶手段６２に格納する。これで、ステップ１０３の処理が終了する。
【００２７】
次に、カメラパラメータ計算手段４４は、人物映像抽出手段４３によって抽出された各矩形領域毎（人物映像毎）にカメラパラメータを計算する（ステップ１０４）。すなわち、カメラパラメータ計算手段４４は、各矩形領域をカメラ１によって適切な大きさで撮影するためのカメラパラメータ（画角に関するカメラパラメータ、すなわちズームのデータ）を各矩形領域の大きさから計算すると共に、各矩形領域が画面の中央にくるように適切に撮影するためのカメラパラメータ（方向に関するカメラパラメータ、すなわちパンとチルトのデータ）を各矩形領域の位置から計算し、計算したカメラパラメータをカメラパラメータ記憶手段６１に格納する。以上で、人物抽出部４の動作が終了する。
【００２８】
人物抽出部４をこのように構成することでテレビ会議において、各参加者をカメラ１で適切に撮影するための方向と画角のカメラパラメータを計算することができる。
本実施の形態では、人物映像抽出手段４３で人物映像を抽出するときに、無人の会議室のパノラマ映像を第１パノラマ映像生成手段４１で生成し、参加者が着席した時点でのパノラマ映像を第２パノラマ映像生成手段４２で生成している。
【００２９】
休憩で会議参加者の着席順が変わった場合や、会議中に参加者が動いてしまい、計算したパラメータで参加者を撮影できなくなった場合には、人物抽出部４を再度起動させて、人物映像の抽出とカメラパラメータの計算をやり直したいことがある。しかし、一般に会議が進行中の場合や休憩中でも参加者が会議室に残っている場合など、会議室に参加者が完全にいない状態でパノラマ映像を生成するのが困難なことが起こりえる。
【００３０】
このような場合の人物抽出部４の動作を図５に示す。全員がすでに着席していた場合に、人物抽出部４を起動させると、第１パノラマ映像生成手段４１は、ステップ１０１で説明した方法により、図５（ａ）のように人物を含んだ第１パノラマ映像を生成する。続いて、第２パノラマ映像生成手段４２は、ステップ１０２で説明した方法により、図５（ｂ）のように第２パノラマ映像を生成する。
【００３１】
第１パノラマ映像を生成した時点と第２パノラマ映像を生成した時点では時間にずれがあるため、会議の参加者は多少なりとも動いており、この動きを第１パノラマ映像と第２パノラマ映像の差分（図５（ｃ））として抽出することができる。したがって、人物映像抽出手段４３は、ステップ１０３で説明した方法により、各参加者が存在する矩形の領域を切り出すことができる。そして、カメラパラメータ計算手段４４は、ステップ１０４で説明した方法により、各参加者を適切に撮影するためのカメラパラメータを計算することができる。
【００３２】
次に、人物指示部５の動作を説明する。図６は人物指示部５の動作を示すフローチャート図である。人物指示部５は、人物指示手段５１と、カメラパラメータ検索手段５２とを有する。人物指示手段５１は、各参加者の人物映像を表示する表示装置と、テレビ会議のオペレータによって操作されるマウスやキーボード等の入力手段とを備えており、人物映像記憶手段６２から各参加者の人物映像を読み出して、この人物映像を表示装置の画面に表示し、オペレータからの要求を受け付ける。
【００３３】
オペレータは、マウスやキーボード等の入力手段を操作して、会議室内のどの参加者をカメラ１で写したいのかを選択する（図６ステップ２０１）。このときの選択方法としては、表示装置の画面上にすべての参加者の人物映像を表示しておき、カメラ１で撮影したい参加者の人物映像をオペレータがマウスでクリックする方法や、オペレータがキーボードの矢印キーを操作して、撮影したい参加者の人物映像上にカーソルを移動させた後に、キーボードの決定キーを押す方法などが考えられる。
【００３４】
カメラパラメータ検索手段５１は、このようにして選択された人物映像に対応するカメラパラメータをカメラパラメータ記憶手段６１から検索して、読み出したカメラパラメータをカメラ駆動手段２に渡す（ステップ２０２）。カメラ駆動手段２は、カメラパラメータに従ってカメラ１を駆動し、カメラ１のパン、チルト及びズームを制御する（ステップ２０３）。こうして、オペレータによって選択された参加者が画面の中央に位置し、かつ適切な大きさで撮影されるようにカメラ１の方向と画角が制御される。
【００３５】
カメラ１で撮影された参加者の映像は、図示しない送信手段によって他のテレビ会議地点へ送信され、さらにモニタ３の画面に表示される。
なお、本実施の形態では、人物映像記憶手段６２で記憶されている人物映像を参加者選択のキーにしているが、人物映像が抽出された際にオペレータが人物映像に対応する参加者の名前を人物抽出部４に入力する手段を設けることで、人物映像と参加者の名前とを対応付けて人物映像記憶手段６２に記憶させることができ、これによりステップ２０１における参加者選択の際に人物映像の代わりに参加者名を表示装置の画面に表示して、参加者名で撮影したい参加者を選択することもできる。
【００３６】
また、カメラパラメータ記憶手段６１で記憶されているカメラパラメータは、第２パノラマ映像生成手段４２で第２パノラマ映像が生成された時点での参加者の方向、画角の大きさを示している。したがって、第２パノラマ映像の生成後に参加者の姿勢が変わったり、参加者が横にずれたりすると、方向や画角がずれることが考えられる。これに対処するため、カメラパラメータ検索手段５２でカメラパラメータを検索し、カメラ１を参加者の方向に向けた後、オペレータによって微調整を行う手段を設けてもよい。また、オペレータによる微調整ではなく、人物の動きを検出して自動的にカメラの中央にあわせるように人物を追跡する手段を設けてもよい。
【００３７】
【発明の効果】
本発明によれば、カメラで会議室全体を撮影した映像から各参加者の人物映像を抽出し、各参加者をカメラで適切に撮影するための方向と画角のカメラパラメータを人物映像に基づいて計算する人物抽出部と、オペレータが撮影対象として選択した人物映像に対応するカメラパラメータをカメラパラメータ記憶手段から読み出してカメラ駆動手段に出力し、カメラの撮影方向および画角を制御させる人物指示部とを設けることにより、撮影対象となる参加者を人物映像で指定することができるので、参加者の指定を容易にすることができ、カメラ制御の操作を簡単にすることができる。また、人物映像に基づいてカメラパラメータを計算するので、撮影対象となる参加者が画面の中央に位置し、かつ適切な大きさで撮影されるようにカメラの方向と画角を制御することができ、テレビ会議を行いやすくすることができる。また、撮影対象となる参加者をオペレータが人物映像で指定するので、従来の参加者検出方法のように、撮影対象でない参加者を検出してしまうといった問題が発生しなくなる。
【図面の簡単な説明】
【図１】本発明の実施の形態となるテレビ会議システムの構成を示すブロック図である。
【図２】人物抽出部の動作を示すフローチャート図である。
【図３】人物抽出部の動作を説明するための説明図である。
【図４】人物映像抽出手段の動作を説明するための説明図である。
【図５】無人の会議室映像が得られない場合の人物映像抽出手段の動作を説明するための説明図である。
【図６】人物指示部の動作を示すフローチャート図である。
【符号の説明】
１…カメラ、２…カメラ駆動手段、３…モニタ、４…人物抽出部、５…人物指示部、４１…第１パノラマ映像生成手段、４２…第２パノラマ映像生成手段、４３…人物映像抽出手段、４４…カメラパラメータ計算手段、４５…パノラマ映像記憶手段、５１…人物指示手段、５２…カメラパラメータ検索手段、６１…カメラパラメータ記憶手段、６２…人物映像記憶手段。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video conference system that controls the shooting direction and angle of view of a camera so that a speaker of a conference is appropriately shot.
[0002]
[Prior art]
Conventionally, when a video conference is held, a drive-type camera that can adjust the imaging direction and angle of view is often used to take a video of the participant. In order to send an appropriate image such as a person's image to the other party, the camera orientation and angle of view were manually selected. However, many conventional interfaces for camera control use buttons to specify the amount of camera orientation and the amount of change in the angle of view, which is not an intuitive operation. It took a long time to match, which often hindered the progress of the conference.
[0003]
In order to automate such camera control, a control device that automatically detects a speaker and directs the camera to the speaker has been proposed. For example, as in the video conference system disclosed in Japanese Patent Laid-Open No. 5-122689, one having a maximum voice level detected from a plurality of microphones and pointing the camera toward the microphone, or Japanese Patent Laid-Open No. 7-140527 A device that detects a direction in which sound is heard from a difference in phase of sound input to a microphone, such as a camera photographing control device disclosed in the publication, has been proposed. In these methods, the direction of the speaker is detected based on the direction in which the sound is heard, the camera is controlled, and the speaker video is photographed.
[0004]
In addition, a technique for capturing a participant with a camera and detecting the participant from the image has been devised. In particular, the camera direction control device for a video conference terminal disclosed in Japanese Patent Application Laid-Open No. 8-298652 detects the sound with a voice. A method has been proposed in which the camera is pointed in the selected direction, the outline of a person is detected from the captured image, and the direction of the camera is corrected. In addition, the imaging apparatus controller disclosed in Japanese Patent Application Laid-Open No. 11-8844 displays the operating range of a camera that can pan and tilt as a panoramic image, and designates an arbitrary area in the panoramic image. The camera can be easily pointed to the area.
[0005]
[Problems to be solved by the invention]
However, the method of detecting the direction of the speaker by voice has a problem that the direction error is large and it is difficult to control the camera so that the speaker is at the center of the screen. Further, in the method of detecting the direction of the speaker by voice, there is a problem that the size of the speaker cannot be detected, so that the speaker cannot be matched with an appropriate angle of view. On the other hand, the method of detecting using an image disclosed in Japanese Patent Laid-Open No. 8-298652 has a problem that a participant who is not a speaker is also detected. Therefore, in the conventional method of detecting a speaker using sound or an image and aligning the camera in the detected direction, it is necessary to manually correct the direction and angle of view of the camera.
[0006]
On the other hand, in the method disclosed in Japanese Patent Laid-Open No. 11-8844, the orientation of the camera can be controlled by designating a region to be photographed in the panoramic image. However, with this method, even if you do not move much from a seated place like a video conference, you have to specify the shooting area on the panoramic image each time you change the direction of the camera, and the operation is troublesome There was a problem.
The present invention has been made to solve the above-described problems, and provides a video conference system that can easily specify a participant to be photographed in a video conference and appropriately photograph the participant. The purpose is to do.
[0007]
[Means for Solving the Problems]
Video conferencing system of the present invention includes a camera (1) for photographing the participants in the conference room, the camera driving means for controlling the photographing direction and the angle of the camera according to the camera parameters (2), the camera by the camera driving unit A panoramic image of the entire conference room is generated by changing the imaging direction of the image, and a person video of each participant is extracted from the generated panoramic image, and each participant is appropriately captured by the camera A person extraction unit (4) that calculates camera parameters of an angle of view based on the person image, a person image storage unit (62) that stores the person image extracted by the person extraction unit, and a person extraction unit The camera parameter storage means (61) for storing the camera parameters thus obtained, and the operator as a subject to be photographed from the person video stored in the person video storage means The camera parameter corresponding to the-option the person image is read out from the camera parameter storage means is output to the camera driving unit, and has a person instructing unit for controlling the photographing direction and the angle of the camera (5). In the present invention, the camera drive means can control the pan / tilt and zoom of the camera.
[0008]
Further, as one configuration example of the video conference system according to the present invention, the person extracting unit causes the camera to capture images in the conference room in all possible directions, and the conference room is configured from a plurality of images captured by the camera. First panoramic video generation means (41) for generating the entire first panoramic video, and video in the conference room with all the directions that can be taken at the time different from the shooting time of the first panoramic video by the camera. Based on the difference between the first panoramic image and the second panoramic image, second panoramic image generating means (42) for generating a second panoramic image of the entire conference room from a plurality of images captured by the camera. A person video extraction means (43) for extracting the person video of each participant and storing the person video in the person video storage means, and for appropriately shooting each participant with the camera. The camera parameter calculation means (44) for calculating the camera parameters of the direction and the angle of view based on the person video stored in the person video storage means and storing the camera parameters in the camera parameter storage means. .
Further, as one configuration example of the video conference system according to the present invention, the person video extraction unit extracts a rectangular area indicating an area in which the person video is captured from a difference distribution between the first panoramic video and the second panoramic video. To do .
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a video conference system according to an embodiment of the present invention.
The video conference system according to the present embodiment includes a camera 1 and camera driving means 2 that can change the shooting direction and angle of view of the camera 1.
[0010]
In order to perform camera control in a video conference, in this embodiment, processing is performed in two stages. First, the person extraction process at the initial stage of the meeting is performed by the person extraction unit 4. The person extraction unit 4 extracts the video of each participant participating in the conference from the video of the entire conference room taken by the camera 1. The extracted video of each participant is stored in the human video storage means 62. Then, the person extraction unit 4 calculates the camera parameters of the direction and the angle of view for appropriately capturing each participant with the camera 1 for each participant's video, and stores them in the camera parameter storage unit 61.
[0011]
Next, processing during the meeting is performed by the person instruction unit 5. During the meeting, the operator who controls the camera by the person instruction unit 5 selects the person video of the participant to be photographed from the person video stored in the person video storage means 62, thereby directing the camera 1 in an appropriate direction. be able to.
[0012]
The above is the rough operation of the video conference system of the present embodiment. Hereinafter, the person extraction unit 4 and the person instruction unit 5 will be described in more detail.
FIG. 2 is a flowchart showing the operation of the person extraction unit 4, and FIG. 3 is an explanatory diagram for explaining the operation of the person extraction unit 4. As shown in FIG. 1, the person extracting unit 4 includes a first panoramic video generation unit 41, a second panoramic video generation unit 42, a human video extraction unit 43, a camera parameter calculation unit 44, and a panoramic video storage unit 45. And.
[0013]
First, in a state in which there are no conference participants in the conference room, the first panoramic video generation unit 41 instructs the camera drive unit 2 to capture video in the conference room with the camera 1 in all possible directions. A plurality of images shot by the camera 1 are connected to generate a panoramic image (hereinafter referred to as a first panoramic image) of an unmanned conference room as shown in FIG. 3A (step 101 in FIG. 2).
[0014]
As a method of generating a panoramic image, an image taken by a camera with a virtual spherical surface set around the camera as disclosed in Japanese Patent Application Laid-Open No. 11-8844 in order to eliminate duplication of joints between images. Each image may be connected after mapping to a virtual spherical surface. However, if the purpose is camera control in a video conference as in this embodiment, a slight pixel shift will affect subsequent processing. Since there is no, each video may be simply connected. The first panoramic video generation unit 41 stores the first panoramic video generated in this way in the panoramic video storage unit 45.
[0015]
Next, in a state in which the conference participant is seated in the conference room, the second panoramic video generation means 42 performs the same operation as the first panoramic video generation means 41, and the conference participant is as shown in FIG. A panoramic video of an existing conference room (hereinafter referred to as a second panoramic video) is generated (step 102). The second panoramic video generation unit 42 stores the generated second panoramic video in the panoramic video storage unit 45.
[0016]
When the first panoramic video and the second panoramic video are generated, the human video extracting means 43 extracts each participant's video (hereinafter referred to as a human video) from the two panoramic videos (step 103). In step 103, first, the person video extracting unit 43 reads the first panoramic video and the second panoramic video from the panoramic video storage unit 45, and obtains a difference between the first panoramic video and the second panoramic video. Since the conference participant is reflected in the second panoramic video, by taking the difference between the first panoramic video and the second panoramic video, only the portion in which the conference participant is reflected is shown in FIG. Can be extracted.
[0017]
Subsequently, the person video extraction means 43 cuts out a person video from the difference video.
The process of cutting out a person video will be described with reference to FIG.
Here, the luminance at the pixel position (x, y) in the first panoramic video is Y1 (x, y), and the luminance at the pixel position (x, y) in the second panoramic video is Y2 (x, y). .
[0018]
When the person video extraction unit 43 calculates the difference between the first panoramic video and the second panoramic video, the difference video between the first panoramic video and the second panoramic video becomes a binary image by performing threshold processing. At this time, the difference image D (x, y) at the pixel position (x, y) is obtained by calculation as shown in the following equation.
D (x, y) = 0 (when | Y1 (x, y) −Y2 (x, y) | <T)
D (x, y) = 1 (when | Y1 (x, y) −Y2 (x, y) | ≧ T)
... (1)
[0019]
In equation (1), T represents a predetermined threshold value, and || represents an absolute value. The value of the difference video D (x, y) is “1” for the pixels in the area where the conference participant exists, and “0” for the pixels in the area where the conference participant does not exist.
Then, the person video extracting means 43 calculates a vertical histogram H (x) indicating the accumulation of pixel values for each x coordinate as shown in FIG. 4B from the difference video D (x, y). This histogram H (x) can be calculated as follows.
[0020]
[Expression 1]

[0021]
In Expression (2), h is the height of the difference video. The histogram H (x) in the vertical direction shows a high value in the range where the conference participants exist, and shows a low value such as 0 in the non-existing range. Therefore, by cutting out a range where the histogram H (x) is equal to or greater than a predetermined threshold value from the difference video D (x, y), a horizontal range where the conference participants exist (hereinafter referred to as a horizontal range). ) Can be extracted.
[0022]
Next, the person video extracting means 43 has a horizontal histogram V (y, n) indicating the accumulation of pixel values for each y coordinate in the horizontal existence range extracted from the difference video D (x, y). Calculate The histogram V (y, n) can be calculated as follows:
[0023]
[Expression 2]

[0024]
Here, n indicates the horizontal existence range extracted n-th based on the vertical histogram H (x). Therefore, the histogram V (y, n) is a horizontal histogram for the n-th extracted horizontal range. Further, wn is the horizontal size of the nth extracted existence range.
[0025]
The horizontal histogram V (y, n) shows a high value in a range where conference participants exist, and shows a low value such as 0 in a range where no participants exist or where a participant is hidden by a desk or the like. . Therefore, a range in which the histogram V (y, n) is equal to or greater than a predetermined threshold can be extracted as a vertical range in which conference participants exist (hereinafter referred to as a vertical range). A rectangular area (FIG. 4C) defined by the direction existence range and the previously extracted horizontal existence range can be determined as the area where each participant exists.
[0026]
Then, the person video extracting unit 43 cuts out a rectangular area where each participant exists from the difference video D (x, y), and stores the cut out area in the person video storage unit 62 as a person video. This completes the process of step 103.
[0027]
Next, the camera parameter calculation means 44 calculates camera parameters for each rectangular area (for each person video) extracted by the person video extraction means 43 (step 104). That is, the camera parameter calculation means 44 calculates camera parameters (camera parameters relating to the angle of view, that is, zoom data) for photographing each rectangular area with an appropriate size from the size of each rectangular area. , Camera parameters (camera parameters related to direction, ie pan and tilt data) for appropriate shooting so that each rectangular area is in the center of the screen are calculated from the position of each rectangular area, and the calculated camera parameters are the camera parameters Store in the storage means 61. Thus, the operation of the person extraction unit 4 ends.
[0028]
By configuring the person extracting unit 4 in this way, it is possible to calculate the camera parameters of the direction and the angle of view for appropriately capturing each participant with the camera 1 in the video conference.
In the present embodiment, when the person video is extracted by the person video extraction means 43, a panoramic video of the unattended conference room is generated by the first panoramic video generation means 41, and the panoramic video at the time when the participant is seated is generated. It is generated by the second panoramic video generation means 42.
[0029]
When the seating order of the conference participants changes due to a break, or when the participants move during the conference and the participants cannot be photographed with the calculated parameters, the person extraction unit 4 is started again to Sometimes you want to redo video extraction and camera parameter calculation. However, in general, it may be difficult to generate a panoramic image when there is no participant in the conference room, such as when the conference is in progress or when the participant remains in the conference room even during a break.
[0030]
The operation of the person extracting unit 4 in such a case is shown in FIG. When the person extraction unit 4 is activated when all the members are already seated, the first panoramic video generation unit 41 uses the method described in step 101 to display the first panorama including the person as shown in FIG. Generate panoramic video. Subsequently, the second panoramic video generation unit 42 generates the second panoramic video as shown in FIG. 5B by the method described in step 102.
[0031]
Since there is a time lag between the time when the first panoramic video is generated and the time when the second panoramic video is generated, the participants of the conference are moving somewhat. It can be extracted as a difference (FIG. 5C). Therefore, the person video extraction unit 43 can cut out a rectangular area where each participant exists by the method described in step 103. The camera parameter calculation unit 44 can calculate camera parameters for appropriately capturing each participant by the method described in step 104.
[0032]
Next, the operation of the person instruction unit 5 will be described. FIG. 6 is a flowchart showing the operation of the person instruction unit 5. The person instruction unit 5 includes a person instruction unit 51 and a camera parameter search unit 52. The person instructing means 51 includes a display device for displaying a person video of each participant and input means such as a mouse and a keyboard operated by an operator of the video conference. The person image is read out, the person image is displayed on the screen of the display device, and a request from the operator is accepted.
[0033]
The operator operates input means such as a mouse and a keyboard to select which participant in the conference room he / she wants to copy with the camera 1 (step 201 in FIG. 6). As a selection method at this time, a person video of all participants is displayed on the screen of the display device, and an operator clicks on a person video of the participant to be photographed with the camera 1, or an operator uses a keyboard. For example, the user can move the cursor over the person video of the participant who wants to shoot by pressing the arrow key, and then press the enter key on the keyboard.
[0034]
The camera parameter search means 51 searches the camera parameter storage means 61 for camera parameters corresponding to the person video selected in this way, and passes the read camera parameters to the camera drive means 2 (step 202). The camera driving means 2 drives the camera 1 according to the camera parameters, and controls the pan, tilt and zoom of the camera 1 (step 203). In this way, the direction and the angle of view of the camera 1 are controlled so that the participant selected by the operator is positioned at the center of the screen and photographed at an appropriate size.
[0035]
Participant images captured by the camera 1 are transmitted to other video conference points by a transmission means (not shown) and further displayed on the screen of the monitor 3.
In the present embodiment, the person video stored in the person video storage means 62 is used as a participant selection key. However, when the person video is extracted, the operator names the participants corresponding to the person video. Is provided in the person extraction unit 4 so that the person video and the name of the participant can be associated with each other and stored in the person video storage unit 62. A participant name can be displayed on the screen of the display device instead of the video, and a participant who wants to shoot with the participant name can be selected.
[0036]
The camera parameters stored in the camera parameter storage unit 61 indicate the direction and angle of view of the participant when the second panoramic video is generated by the second panoramic video generation unit 42. Therefore, it is conceivable that the direction and the angle of view are shifted when the attitude of the participant changes after the second panoramic image is generated or when the participant shifts to the side. In order to cope with this, there may be provided means for performing fine adjustment by an operator after searching camera parameters by the camera parameter searching means 52 and directing the camera 1 toward the participant. In addition, instead of fine adjustment by the operator, a means for tracking the person so as to detect the movement of the person and automatically adjust it to the center of the camera may be provided.
[0037]
【The invention's effect】
According to the present invention, the person video of each participant is extracted from the video of the entire conference room captured by the camera, and the camera parameters of direction and angle of view for appropriately capturing each participant by the camera are based on the person video. And a person instruction unit for reading out camera parameters corresponding to a person image selected as an imaging target by the operator from the camera parameter storage unit and outputting them to the camera driving unit to control the shooting direction and angle of view of the camera Since the participants to be photographed can be designated by the person video, the designation of the participants can be facilitated, and the camera control operation can be simplified. In addition, since the camera parameters are calculated based on the person image, it is possible to control the direction and angle of view of the camera so that the participant to be photographed is located at the center of the screen and is photographed at an appropriate size. It is possible to make a video conference easier. In addition, since the operator designates the participant to be photographed with the person video, the problem of detecting the participant who is not the subject of photographing does not occur as in the conventional participant detection method.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a video conference system according to an embodiment of the present invention.
FIG. 2 is a flowchart showing the operation of a person extraction unit.
FIG. 3 is an explanatory diagram for explaining an operation of a person extraction unit;
FIG. 4 is an explanatory diagram for explaining an operation of a person video extracting unit.
FIG. 5 is an explanatory diagram for explaining the operation of the person video extracting means when an unattended conference room video cannot be obtained.
FIG. 6 is a flowchart showing an operation of a person instruction unit.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Camera, 2 ... Camera drive means, 3 ... Monitor, 4 ... Person extraction part, 5 ... Person instruction | indication part, 41 ... 1st panorama image generation means, 42 ... 2nd panorama image generation means, 43 ... Person image extraction means 44 ... camera parameter calculation means, 45 ... panoramic video storage means, 51 ... person instruction means, 52 ... camera parameter search means, 61 ... camera parameter storage means, 62 ... person video storage means.

Claims

A camera that captures participants in the meeting room,
Camera driving means for controlling the shooting direction and angle of view of the camera according to camera parameters;
The camera driving means changes the imaging direction of the camera to generate a panoramic video that captures the entire conference room , extracts each participant's personal video from the generated panoramic video, and appropriately selects each participant with the camera. A person extraction unit that calculates camera parameters of the direction and angle of view for shooting based on the person image;
Person video storage means for storing the person video extracted by the person extraction unit;
Camera parameter storage means for storing camera parameters calculated by the person extraction unit;
The camera parameter corresponding to the person video selected by the operator as a subject to be photographed from the person video stored in the person video memory is read from the camera parameter memory and output to the camera driver, and the shooting direction of the camera And a person instruction unit for controlling the angle of view.

The video conference system according to claim 1,
The person extraction unit
First panoramic video generation means for causing the camera to capture images in the conference room in all possible directions, and generating a first panoramic video of the entire conference room from a plurality of videos captured by the camera;
At a time different from the shooting time of the first panoramic video, the camera captures video in the conference room in all possible directions, and the second panorama of the entire conference room is taken from the plurality of video images captured by the camera. Second panoramic video generation means for generating video;
Person video extraction means for extracting a person video of each participant based on a difference between the first panorama video and the second panorama video, and storing the person video in the person video storage means;
The camera parameters of the direction and the angle of view for appropriately capturing each participant with the camera are calculated based on the person video stored in the person video storage means, and the camera parameters are stored in the camera parameter storage means. A video conference system comprising camera parameter calculation means.

The video conference system according to claim 2 ,
The video conference system is characterized in that the person video extracting means extracts a rectangular area indicating an area in which a person video is captured from a distribution of differences between the first panoramic video and the second panoramic video .