JP2737682B2 - テレビ会議システム - Google Patents

テレビ会議システム

Info

Publication number
JP2737682B2
JP2737682B2 JP7024008A JP2400895A JP2737682B2 JP 2737682 B2 JP2737682 B2 JP 2737682B2 JP 7024008 A JP7024008 A JP 7024008A JP 2400895 A JP2400895 A JP 2400895A JP 2737682 B2 JP2737682 B2 JP 2737682B2
Authority
JP
Japan
Prior art keywords
microphone
video camera
video
image
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP7024008A
Other languages
English (en)
Other versions
JPH08223551A (ja
Inventor
洋子 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
Nippon Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Electric Co Ltd filed Critical Nippon Electric Co Ltd
Priority to JP7024008A priority Critical patent/JP2737682B2/ja
Publication of JPH08223551A publication Critical patent/JPH08223551A/ja
Application granted granted Critical
Publication of JP2737682B2 publication Critical patent/JP2737682B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、複数の参加者から発言
者を選択してその音声と映像をマイクロホンとビデオカ
メラとにより入力するテレビ会議システムに関し、特に
そのマイクロホンとビデオカメラの制御方法およびその
装置に関する。
【0002】
【従来の技術】上述のテレビ会議システムは、ビデオカ
メラとマイクロホンとを用いて、交互に発言する出席者
ごとの音声と身振りや表情などの映像とを同時にキャッ
チして別室あるいは遠方の会場などに伝送することを目
的とする装置であって、順序不同に発言する出席者を個
々に追尾するために従来種々の案が提示されている。
【0003】例えば、特開昭61−87489号、特開
平2−7775号、特開平3−76385号などには、
図4に示すように、予め個々の出席者に対応させてそれ
ぞれの位置の記憶情報を有するマイクロホン1’と、各
出席者または全景を写す複数のビデオカメラ4’と、各
マイクロホンの出力から検出された音声信号により発言
者の位置を検出する話者検出回路25とを設けて、検出
された発言者に応じてビデオカメラ4’を各発言者また
は全景用に切替えたり、ズーミングを行う案が開示され
ている。
【0004】また、各マイクロホンの出力から音声を識
別して発言者を特定する方法については、特開平1−1
58880号、特開平5−122689号などに開示さ
れている。
【0005】さらに、特開平5−122689号には、
図5に示すように、話者検出判定部20、画像記憶部7
aなどに各出席者ごとの音声と顔画像との情報を予め全
員について記憶しておき、各マイクロホン1’に入力さ
れた音声を話者検出判定部20で記憶情報と対照して発
言者を特定し、画像記憶部7aの顔画像の記憶情報から
特定された顔画像を検索して、該当の発言者を捉えるよ
うにビデオカメラを操作する案が開示されている。
【0006】
【発明が解決しようとする課題】上述のように従来のテ
レビ会議システムにおいては、各マイクロホンを個々の
出席者に向けて固定的に配置し、各マイクロホンごとの
入力音圧レベルを測定してそれぞれ比較し、入力音圧レ
ベルの最大なマイクロホンから発言者を判別してビデオ
カメラを操作していたので、出席者と同数かまたはそれ
に近い数のマイクロホンを必要とするという欠点があっ
た。
【0007】また、出席者ごとに個別のマイクロホンを
用意しないと、マイクロホンの正面に発言者が入らない
場合が起きる。その場合には、発言者なのに体の一部し
かビデオカメラに映らない、あるいは全く発言者の画像
が映らないという状態が発生し、マニュアル操作が必要
になるという欠点があった。
【0008】この欠点は、上述の特開平5−12268
9号によって解消されるが、この案では、予め全出席者
について各人ごとの音声および顔画像の情報を記憶して
おく準備作業が必要であり、顔画像の記憶情報と発言者
の映像とを一致させるビデオカメラの操作を含めてテレ
ビ会議システムの構成装置やその操作が複雑になるとい
う恐れがある。
【0009】本発明の目的は、出席者数より少ないマイ
クロホンとビデオカメラにより、順序不同に発生する発
言者を検出してその音声と映像を正しく送ることができ
る簡易なテレビ会議システムの制御方法とその装置を提
供することにある。
【0010】
【課題を解決するための手段】本発明のテレビ会議シス
テムの制御方法は、複数の参加者に向けて回動可能なマ
イクロホンに入力される音圧により発言者を検出し、検
出した発言者の方向にマイクロホンの集音基準軸正面を
向けて停止し、ビデオカメラのレンズ正面を停止したマ
イクロホンの集音基準軸に沿って該マイクロホンの前方
へ向けて移動しながら映像を入力してその輪郭像を抽出
し、輪郭像が所定の図形と一致した位置でビデオカメラ
の回動を停止して映像を入力する手順を有する。
【0011】また、所定の図形が肩より上の部分の人型
の輪郭像であるのが望ましい。
【0012】本発明のテレビ会議システムの制御装置
は、回動可能に支持されるマイクロホンと、制御信号を
受けてマイクロホンの回動および停止の動作を制御する
マイクロホン制御手段と、マイクロホンが回動される過
程で入力される音圧レベルを比較し、最高音圧レベルが
検出されたときのマイクロホンの正面の方向を検出する
最高感度の方向検出手段と、回動可能に支持されるビデ
オカメラと、ビデオカメラの映像信号から画像の輪郭を
抽出して所定の図形と比較する画像輪郭抽出手段と、制
御信号を受けてビデオカメラの動作を制御するビデオカ
メラ制御手段と、方向検出手段および画像輪郭抽出手段
の出力信号を解析して、マイクロホンとビデオカメラの
制御信号を出力するシステム制御手段とを有する。
【0013】また、画像輪郭抽出手段は、所定の図形と
して肩より上の部分の人型の輪郭像が画面中央部に記憶
され、ビデオカメラの映像信号から抽出した画像の輪郭
と前記記憶された輪郭像との画面上の位置の差を検出し
て出力するのが望ましい。
【0014】また、マイクロホンが各参加者の席から略
等距離の位置に各参加者に向けて水平方向に回動可能に
支持され、そのマイクロホンの支持位置付近の上方にビ
デオカメラが各参加者に向けて垂直方向および水平方向
に回動可能に支持されるのが望ましい。
【0015】また、マイクロホンは、所定の時間周期で
回動して最高音圧の方向を検出する第1の狭角度指向性
のマイクロホンと、指示された方向に回動して停止し、
その正面の音声を入力する第2のマイクロホンとからな
るのが望ましい。
【0016】本発明のテレビ会議システムの制御装置
は、複数の参加者に向けて回動可能に支持されるマイク
ロホンと、制御信号を受けてマイクロホンの回動および
停止の動作を制御するマイクロホン制御手段と、マイク
ロホンが回動される過程で入力される音圧レベルが所定
の閾値以上となったときのマイクロホンの正面の方向を
検出する方向検出手段と、複数の参加者に向けて回動可
能に支持されるビデオカメラと、ビデオカメラの映像信
号から画像の輪郭を抽出して所定の図形と比較する画像
輪郭抽出手段と、制御信号を受けてビデオカメラの動作
を制御するビデオカメラ制御手段と、方向検出手段およ
び画像輪郭抽出手段の出力信号を解析して、マイクロホ
ンとビデオカメラの制御信号を出力するシステム制御手
段とを有する。
【0017】
【作用】マイクロホンが最高感度方向検出手段の検出し
た方向に正面をむけられ、ビデオカメラがその方向に追
随して人物像を検出して撮影するので、交互に発言する
会議出席者中の発言者を逐次追跡してそれぞれの音声と
映像を自動的に入力することができる。
【0018】
【実施例】以下、本発明の実施例について図面を参照し
て説明する。
【0019】図1は本発明の第1実施例のブロック図、
図2は輪郭抽出部7に記憶される人型の図形、図3は第
2実施例のブロック図である。
【0020】図1において、本実施例のテレビ会議シス
テムは、マイクロホン1と、マイクロホン方向制御部5
と、音声方向検出部2と、ビデオカメラ4と、ビデオカ
メラ方向制御部6と、輪郭抽出部7と、システム制御部
3とからなる。
【0021】マイクロホン1は、発言者の方向検出用の
狭角度指向性の第1のマイクロホン1aと音声集音用の
第2のマイクロホン1bとが1組となり、各出席者から
略等距離の位置に水平方向に回動可能に同一の回転軸に
支持される。マイクロホン方向制御部5は、請求項3の
マイクロホン制御手段に相当し、制御信号を受けてマイ
クロホン1a,1bの回動および停止の動作を制御す
る。音声方向検出部2は、最高感度の方向検出手段に相
当し、マイクロホン1aが回動される過程で入力される
音圧レベルを比較し、最高音圧レベルが検出されたとき
のマイクロホン1aの正面の方向を検出する。ビデオカ
メラ4は、マイクロホン1a,1bの支持位置付近の上
方に各参加者に向けて垂直方向および水平方向に回動可
能に支持される。輪郭抽出部7は、画像輪郭抽出手段に
相当し、ビデオカメラ4の映像信号から画像の輪郭を抽
出して、メモリに記憶された図2に示すような人型の図
形71と比較し、抽出した輪郭画像とメモリの人型図形
71の画面上の位置の差を検出して出力する。ビデオカ
メラ方向制御部6は、ビデオカメラ制御手段に相当し、
制御信号を受けてビデオカメラ4の回動およびズーミン
グ動作を制御する。システム制御部3は、システム制御
手段に相当し、音声方向検出部2と輪郭抽出部7の出力
信号を解析して、マイクロホン方向制御部5とビデオカ
メラ方向制御部6に制御信号を出力する。
【0022】次に、本実施例の動作について説明する。
【0023】マイクロホン1aは、マイクロホン方向制
御部5からの回動指令信号により、一定の回転周期で回
転または反転を繰り返しており、狭角度指向性のマイク
ロホンの正面の音声信号を入力して音声方向検出部2へ
出力する。音声方向検出部2は、音声方向検出信号とし
て1周期内で音圧レベルが最高となったときのマイクロ
ホン1aの基準線(参加者の略中央の方向に設定され
る)からの回転偏位角度を検出してシステム制御部3に
出力する。システム制御部3は、この音声方向検出信号
により、マイクロホン方向制御部5に集音用のマイクロ
ホン1bを検出した方向に向けるようにマイクロホン方
向制御部5に信号を送ると共に、ビデオカメラ方向制御
部6にもビデオカメラ4をマイクロホン1bの向けられ
た方向に回動するようにビデオカメラ方向制御部6に信
号を送出する。ビデオカメラ方向制御部6は、ビデオカ
メラ4を指示された方向に向けながら撮影距離に応じて
ズーミング動作を制御する。輪郭抽出部7は、ビデオカ
メラ4の映像信号から画像の輪郭を抽出してそのデータ
をシステム制御部3に出力する。システム制御部3は、
このデータを予め記憶された図2の基本の人型の図形7
1と比較して、その頭部頂点ア、両肩先イ、ウの3点の
位置のずれを検出し、そのデータをビデオカメラ方向制
御部6に送り、各点の位置のずれが最小になるようにビ
デオカメラ4の方向とズーミング動作を調整させる。
【0024】ビデオカメラ4は、また、その水平回転軸
8aをマイクロホン1bの回転軸と同一として同時に回
転し、マイクロホン1bとビデオカメラ4が常に同一水
平方向を向くように制御してもよい。
【0025】次に、本発明の第2の実施例について図3
により説明する。
【0026】第2の実施例は、発言者の方向検出と集音
とを1つのマイクロホン1cで行ない、その入力音圧レ
ベルを所定の閾値と比較することにより発言者を検出す
る以外の各部の構成と動作は第1の実施例と同様であ
る。
【0027】マイクロホン1cは、ビデオカメラ4と同
じ水平方向回転軸8aを有し、参加者の方向に向って所
定の周期で回動しながら集音している。方向検出部2
は、マイクロホン1cからの入力の音圧レベルを所定の
閾値と比較して、閾値以上の音圧が検出されたときのマ
イクロホン1cの向けられている方向を発言者の方向と
認定してシステム制御部3に通知する。システム制御部
3は、その方向をビデオカメラ方向制御部6に通知し
て、ビデオカメラ4の回転軸8bのまわりの垂直方向の
回動およびズーミング開始を指示するとともに、マイク
ロホン制御部5に対してマイクロホン1cの回動停止信
号を送る。
【0028】システム制御部3は、音声方向検出部2の
検出するマイクロホン1の入力音圧レベルが閾値より低
くなると、マイクロホン方向制御部5に対してマイクロ
ホン1の回動開始を指示する。
【0029】第2の実施例では、同時に2人以上の発言
者があるときは、最初に検出した発言者の方向を指示す
ることになるが、マイクロホンの数が1つで済み、装置
構成が簡単になる利点がある。
【0030】
【発明の効果】以上説明したように、本発明によるテレ
ビ会議システムは、複数の参加者に向けてマイクロホン
を回動して入力される音圧レベルにより発言者を検出
し、その方向に向けて集音用マイクロホンとビデオカメ
ラの正面を向けるように制御するので、発言者検出およ
びその音声集音用のマイクロホンの本数を削減できる効
果がある。
【0031】また、ビデオカメラの映像入力信号から人
型の輪郭を抽出し、画面中央部に記憶した人型の図形と
合わせることによって、ビデオカメラとマイクロホンを
発言者の方へ向けてその音声と映像を正確に送ることが
できる効果がある。
【0032】また、方向検出用の狭角度指向性マイクロ
ホンを発言者の音声集音用のマイクロホンと別に用いる
ことにより、方向検出の誤差を縮小できる効果がある。
【0033】また、1つのマイクロホンを回動して所定
の閾値以上の入力音圧レベルが検出された方向にマイク
ロホンとビデオカメラを向けることにより、発言者の検
出と装置の構成を簡単にすることができる効果がある。
【図面の簡単な説明】
【図1】本発明のテレビ会議システムの第1実施例のブ
ロック図である。
【図2】輪郭抽出部7のメモリに記憶される人型の図形
である。
【図3】本発明のテレビ会議システムの第2実施例のブ
ロック図である。
【図4】従来のテレビ会議システムの1例のブロック図
である。
【図5】従来のテレビ会議システムの他の1例のブロッ
ク図である。
【符号の説明】
1,1’,1a,1b,1c マイクロホン 2 音声方向検出部 3 システム制御部 4,4’ ビデオカメラ 5 マイクロホン方向制御部 6 ビデオカメラ方向制御部 7 輪郭抽出部 71 人型記憶画像、 8a,8b 回転軸

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 複数の参加者から発言者を選択してそ
    の音声と映像をマイクロホンとビデオカメラとにより入
    力して伝送するテレビ会議システムの制御装置におい
    て、 前記複数の参加者に向けて回動可能に支持されるマイク
    ロホンと、 制御信号を受けて前記マイクロホンの回動および停止の
    動作を制御するマイクロホン制御手段と、 前記マイクロホンが回動される過程で入力される音圧レ
    ベルを比較し、最高音圧レベルが検出されたときの前記
    マイクロホンの正面の方向を検出する方向検出手段と、 前記複数の参加者に向けて回動可能に支持されるビデオ
    カメラと、 前記ビデオカメラの映像信号から画像の輪郭を抽出して
    所定の図形と比較する画像輪郭抽出手段と、 制御信号を受けて前記ビデオカメラの回動およびズーミ
    ング動作を制御するビデオカメラ制御手段と、 前記方向検出手段および画像輪郭抽出手段の出力信号を
    解析して、前記マイクロホンとビデオカメラの制御信号
    を出力するシステム制御手段とを有することを特徴とす
    るテレビ会議システムの制御装置。
  2. 【請求項2】 画像輪郭抽出手段は、所定の図形として
    人の肩より上の部分の人型の輪郭像が画面中央部に記憶
    され、ビデオカメラの映像信号から抽出した画像の輪郭
    と前記記憶された輪郭像との画面上の位置の差を検出し
    て出力する請求項に記載のテレビ会議システムの制御
    装置。
  3. 【請求項3】 マイクロホンが、所定の時間周期で回動
    しており、その基準線からの偏位角度により最高音圧の
    方向を検出する第1の狭角度指向性のマイクロホンと、
    指示された方向に回動して停止し、その正面の音声を入
    力する第2のマイクロホンとからなる請求項または
    に記載のテレビ会議システムの制御装置。
  4. 【請求項4】 複数の参加者から発言者を選択してその
    音声と映像をマイクロホンとビデオカメラとにより入力
    して伝送するテレビ会議システムの制御装置において、 前記複数の参加者に向けて回動可能に支持されるマイク
    ロホンと、 制御信号を受けて前記マイクロホンの回動および停止の
    動作を制御するマイクロホン制御手段と、 前記マイクロホンが回動される過程で入力される音圧レ
    ベルが所定の閾値以上となったときの前記マイクロホン
    の正面の方向を検出する方向検出手段と、 前記複数の参加者に向けて回動可能に支持されるビデオ
    カメラと、 前記ビデオカメラの映像信号から画像の輪郭を抽出して
    所定の図形と比較する画像輪郭抽出手段と、 制御信号を受けて前記ビデオカメラの回動およびズーミ
    ングの動作を制御するビデオカメラ制御手段と、 前記方向検出手段および画像輪郭抽出手段の出力信号を
    解析して、前記マイクロホンとビデオカメラの制御信号
    を出力するシステム制御手段とを有することを特徴とす
    るテレビ会議システムの制御装置。
  5. 【請求項5】 マイクロホンが各参加者の席から略等距
    離の位置に各参加者に向けて水平方向に回動可能に支持
    され、そのマイクロホンの支持位置付近の上方にビデオ
    カメラが各参加者に向けて垂直方向および水平方向に回
    動可能に支持される請求項に記載のテレビ会議システ
    ムの制御装置。
JP7024008A 1995-02-13 1995-02-13 テレビ会議システム Expired - Lifetime JP2737682B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7024008A JP2737682B2 (ja) 1995-02-13 1995-02-13 テレビ会議システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7024008A JP2737682B2 (ja) 1995-02-13 1995-02-13 テレビ会議システム

Publications (2)

Publication Number Publication Date
JPH08223551A JPH08223551A (ja) 1996-08-30
JP2737682B2 true JP2737682B2 (ja) 1998-04-08

Family

ID=12126533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7024008A Expired - Lifetime JP2737682B2 (ja) 1995-02-13 1995-02-13 テレビ会議システム

Country Status (1)

Country Link
JP (1) JP2737682B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545699B2 (en) 2000-05-26 2003-04-08 Nec Corporation Teleconferencing system, camera controller for a teleconferencing system, and camera control method for a teleconferencing system
US8581700B2 (en) 2006-02-28 2013-11-12 Panasonic Corporation Wearable device

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3157769B2 (ja) 1998-03-02 2001-04-16 静岡日本電気株式会社 Tv音声制御装置
US6593956B1 (en) * 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6795106B1 (en) * 1999-05-18 2004-09-21 Intel Corporation Method and apparatus for controlling a video camera in a video conferencing system
JP2004193661A (ja) * 2002-12-06 2004-07-08 Sony Corp 双方向コミュニケーションシステム,映像通信装置,および映像通信装置の撮影処理制御方法
JP2004304560A (ja) * 2003-03-31 2004-10-28 Fujitsu Ltd 電子装置
EP1705911A1 (en) * 2005-03-24 2006-09-27 Alcatel Video conference system
JP5004876B2 (ja) * 2008-06-03 2012-08-22 キヤノン株式会社 撮像装置
JP2010239499A (ja) * 2009-03-31 2010-10-21 Brother Ind Ltd 通信端末装置、通信制御装置、通信端末装置の通信制御方法、通信制御プログラム
JP5418061B2 (ja) 2009-08-20 2014-02-19 沖電気工業株式会社 遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05268599A (ja) * 1992-03-17 1993-10-15 Fujitsu Ltd テレビ会議システムにおける人物撮像カメラの自動制御方式
JP3302715B2 (ja) * 1992-04-20 2002-07-15 キヤノン株式会社 ビデオカメラ装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545699B2 (en) 2000-05-26 2003-04-08 Nec Corporation Teleconferencing system, camera controller for a teleconferencing system, and camera control method for a teleconferencing system
US8581700B2 (en) 2006-02-28 2013-11-12 Panasonic Corporation Wearable device

Also Published As

Publication number Publication date
JPH08223551A (ja) 1996-08-30

Similar Documents

Publication Publication Date Title
US6850265B1 (en) Method and apparatus for tracking moving objects using combined video and audio information in video conferencing and other applications
US9883143B2 (en) Automatic switching between dynamic and preset camera views in a video conference endpoint
US20190174068A1 (en) People detection method for auto-framing and tracking in a video conference
US6494363B1 (en) Self-service terminal
US8395653B2 (en) Videoconferencing endpoint having multiple voice-tracking cameras
US6005610A (en) Audio-visual object localization and tracking system and method therefor
US8044990B2 (en) Camera controller and teleconferencing system
JP2737682B2 (ja) テレビ会議システム
US20110285809A1 (en) Automatic Camera Framing for Videoconferencing
JP2011244456A (ja) 話者識別による音声追跡カメラ
JPH11331827A (ja) テレビカメラ装置
KR20020094011A (ko) 시청자의 위치에 의존하는 디스플레이의 자동 포지션닝
KR20120140190A (ko) 화상회의용 자동 카메라 선택
JP2004515982A (ja) テレビ会議及び他の適用においてイベントを予測する方法及び装置
CN111933136B (zh) 一种辅助语音识别控制方法和装置
US20130321625A1 (en) Electronic device and information transmission system
CN108063910B (zh) 用于视频会议系统中的摄像机底座及其方法
CN111551921A (zh) 一种声像联动的声源定向系统及方法
JPH1042264A (ja) テレビ会議システム
EP1705911A1 (en) Video conference system
JPH05122689A (ja) テレビ会議システム
JPH06351015A (ja) テレビジョン会議システム用の撮像システム
Zhang et al. Boosting-based multimodal speaker detection for distributed meetings
KR100264035B1 (ko) 화상회의 시스템의 카메라 방향 조정 장치와 제어 방법
KR20220057439A (ko) 안면 인식 기반 안면 트래킹 방법