JP3462336B2 - 状況入力装置及び分散地点間での状況通信装置 - Google Patents
状況入力装置及び分散地点間での状況通信装置Info
- Publication number
- JP3462336B2 JP3462336B2 JP05202096A JP5202096A JP3462336B2 JP 3462336 B2 JP3462336 B2 JP 3462336B2 JP 05202096 A JP05202096 A JP 05202096A JP 5202096 A JP5202096 A JP 5202096A JP 3462336 B2 JP3462336 B2 JP 3462336B2
- Authority
- JP
- Japan
- Prior art keywords
- microphone
- camera
- imaging
- image
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【0001】
【発明の属する技術分野】本発明は、例えば少人数の会
議を遠隔にて行なうための遠隔会議システム等に利用さ
れる状況入力装置及び分散地点間での状況通信装置に関
する。
議を遠隔にて行なうための遠隔会議システム等に利用さ
れる状況入力装置及び分散地点間での状況通信装置に関
する。
【0002】
【従来の技術】近年、情報通信技術の発達により、遠隔
に居ながらにして各地点の会議状況を画像と音声で相互
に通信し合い、会議や打ち合わせを行なえるようにした
TV会議システムが利用されている。
に居ながらにして各地点の会議状況を画像と音声で相互
に通信し合い、会議や打ち合わせを行なえるようにした
TV会議システムが利用されている。
【0003】このTV会議システムでは、例えば会議場
全体の画像を捕らえるカメラや出席者の各個人を捕らえ
る独立したカメラ及びマイク、他の会議場から送られた
画像を表示する大型プロジェクタやスピーカ、そして衛
星等を利用した専用の通信回線等が必要になるもので、
このようなTV会議システムは専用設計により構成され
るためコスト高となり、少人数,小規模で行なう遠隔会
議にて用いるのは不向きである。
全体の画像を捕らえるカメラや出席者の各個人を捕らえ
る独立したカメラ及びマイク、他の会議場から送られた
画像を表示する大型プロジェクタやスピーカ、そして衛
星等を利用した専用の通信回線等が必要になるもので、
このようなTV会議システムは専用設計により構成され
るためコスト高となり、少人数,小規模で行なう遠隔会
議にて用いるのは不向きである。
【0004】そこで、カメラやマイクが内蔵されたワー
クステーションやパーソナルコンピュータを利用してコ
ンピュータネットワークに接続し、比較的安価に小規模
な分散会議ができようにしたシステムも考えられてい
る。
クステーションやパーソナルコンピュータを利用してコ
ンピュータネットワークに接続し、比較的安価に小規模
な分散会議ができようにしたシステムも考えられてい
る。
【0005】すなわち、このワークステーションやパー
ソナルコンピュータを利用した従来の分散会議システム
では、会議出席者の各個人毎にカメラ及びマイクが内蔵
されたワークステーションあるいはパーソナルコンピュ
ータを設置し、各コンピュータと他の会議場所とはコン
ピュータネットワークを介して情報通信を行なうもの
で、この場合、個々のパーソナルコンピュータ毎に独立
した制御を行ない、カメラ及びマイクで捕らえた画像や
音声をネットワーク上へ送信するのと共に、他のパーソ
ナルコンピュータからネットワークを介して受信された
映像の表示,音声の出力を行なっている。
ソナルコンピュータを利用した従来の分散会議システム
では、会議出席者の各個人毎にカメラ及びマイクが内蔵
されたワークステーションあるいはパーソナルコンピュ
ータを設置し、各コンピュータと他の会議場所とはコン
ピュータネットワークを介して情報通信を行なうもの
で、この場合、個々のパーソナルコンピュータ毎に独立
した制御を行ない、カメラ及びマイクで捕らえた画像や
音声をネットワーク上へ送信するのと共に、他のパーソ
ナルコンピュータからネットワークを介して受信された
映像の表示,音声の出力を行なっている。
【0006】
【発明が解決しようとする課題】しかしながら、前記ワ
ークステーションやパーソナルコンピュータを利用した
従来の分散会議システムでは、出席者の各個人毎にカメ
ラ及びマイクを備えた個別のパーソナルコンピュータを
用意しないと、出席者全員の発言状況を画像として捕ら
えて他の出席者の全てに提供することができないため、
結局、システム全体として高価になってしまう問題があ
ると共に、各コンピュータ毎に独立した制御が必要であ
るため、出席者の個人毎に操作が繁雑になる問題があ
る。
ークステーションやパーソナルコンピュータを利用した
従来の分散会議システムでは、出席者の各個人毎にカメ
ラ及びマイクを備えた個別のパーソナルコンピュータを
用意しないと、出席者全員の発言状況を画像として捕ら
えて他の出席者の全てに提供することができないため、
結局、システム全体として高価になってしまう問題があ
ると共に、各コンピュータ毎に独立した制御が必要であ
るため、出席者の個人毎に操作が繁雑になる問題があ
る。
【0007】本発明は、前記のような問題に鑑みなされ
たもので、個人単位で個別の情報機器を用意する必要な
く、安価なシステム構成で、出席者の全員が画像及び音
声で参加することが可能になる状況入力装置及び分散地
点間での状況通信装置を提供することを目的とする。
たもので、個人単位で個別の情報機器を用意する必要な
く、安価なシステム構成で、出席者の全員が画像及び音
声で参加することが可能になる状況入力装置及び分散地
点間での状況通信装置を提供することを目的とする。
【0008】
【課題を解決するための手段】すなわち、本発明の請求
項1に係わる状況入力装置は、撮像範囲が調整可能なカ
メラと、音声あるいは音響信号を入力する1つのマイク
ロフォンと、前記カメラにより撮像された撮像画面内に
存在するマイクロフォンの位置を当該マイクロフォン自
体を画像認識して検出するマイク位置検出手段と、前記
マイクロフォンにより音声信号が入力された際に、前記
マイク位置検出手段により検出された撮像画面内のマイ
クロフォンの位置が当該撮像画面内の予め設定された領
域に位置するように、前記カメラの撮像方向の調整を制
御すると共に、ズームの調整を前記撮像画面内のマイク
ロフォンの画像認識面積に応じて制御する撮像制御手段
とを具備したことを特徴とする。
項1に係わる状況入力装置は、撮像範囲が調整可能なカ
メラと、音声あるいは音響信号を入力する1つのマイク
ロフォンと、前記カメラにより撮像された撮像画面内に
存在するマイクロフォンの位置を当該マイクロフォン自
体を画像認識して検出するマイク位置検出手段と、前記
マイクロフォンにより音声信号が入力された際に、前記
マイク位置検出手段により検出された撮像画面内のマイ
クロフォンの位置が当該撮像画面内の予め設定された領
域に位置するように、前記カメラの撮像方向の調整を制
御すると共に、ズームの調整を前記撮像画面内のマイク
ロフォンの画像認識面積に応じて制御する撮像制御手段
とを具備したことを特徴とする。
【0009】つまり、請求項1に係わる状況入力装置で
は、マイクロフォンにより音声信号が入力された際に、
マイク位置検出手段によりマイクロフォン自体を画像認
識して検出された撮像画面内のマイクロフォンの位置が
当該撮像画面内の予め設定された領域に位置するよう
に、カメラの撮像方向の調整が制御されると共に、ズー
ムの調整が撮像画面内のマイクロフォンの画像認識面積
に応じて制御されるので、例えば出席者の発言に伴な
い、その発言者に向けてカメラの撮像方向が調整されズ
ームアップされることになり、各会議場所では、1つカ
メラ,マイクロフォン及びその制御装置を設置すること
で、臨場感のある安価なシステムを実現できる。
は、マイクロフォンにより音声信号が入力された際に、
マイク位置検出手段によりマイクロフォン自体を画像認
識して検出された撮像画面内のマイクロフォンの位置が
当該撮像画面内の予め設定された領域に位置するよう
に、カメラの撮像方向の調整が制御されると共に、ズー
ムの調整が撮像画面内のマイクロフォンの画像認識面積
に応じて制御されるので、例えば出席者の発言に伴な
い、その発言者に向けてカメラの撮像方向が調整されズ
ームアップされることになり、各会議場所では、1つカ
メラ,マイクロフォン及びその制御装置を設置すること
で、臨場感のある安価なシステムを実現できる。
【0010】また、本発明の請求項2に係わる状況入力
装置は、請求項1に係わる状況入力装置にあって、さら
に、前記マイクロフォンによる音声信号の入力が停止さ
れた際に、前記撮像制御手段により制御した前記カメラ
の撮像方向調整量及びズーム調整量を復帰制御する撮像
復帰制御手段を備えたことを特徴とする。
装置は、請求項1に係わる状況入力装置にあって、さら
に、前記マイクロフォンによる音声信号の入力が停止さ
れた際に、前記撮像制御手段により制御した前記カメラ
の撮像方向調整量及びズーム調整量を復帰制御する撮像
復帰制御手段を備えたことを特徴とする。
【0011】つまり、請求項2に係わる状況入力装置で
は、マイクロフォンによる音声信号の入力が停止された
際に、撮像制御手段により制御したカメラの撮像方向調
整量及びズーム調整量が復帰制御されるので、発言者に
よる発言の終了に伴ない、発言者に向けられたカメラの
撮像方向及びズーム倍率が、例えば周辺全体を撮像する
初期状態に戻されることになる。
は、マイクロフォンによる音声信号の入力が停止された
際に、撮像制御手段により制御したカメラの撮像方向調
整量及びズーム調整量が復帰制御されるので、発言者に
よる発言の終了に伴ない、発言者に向けられたカメラの
撮像方向及びズーム倍率が、例えば周辺全体を撮像する
初期状態に戻されることになる。
【0012】また、本発明の請求項3に係わる分散地点
間での状況通信装置は、複数の分散地点において各地点
における画像情報と音声情報とをデータ通信する分散地
点間での状況通信装置であって、前記各地点において撮
像をする撮像範囲の調整が可能なカメラと、前記各地点
において音声を入力する各地点1つのマイクロフォン
と、前記カメラにより撮像された撮像画面内に存在する
マイクロフォンの位置を当該マイクロフォン自体を画像
認識して検出するマイク位置検出手段と、前記マイクロ
フォンにより音声信号が入力された際に、前記マイク位
置検出手段により検出された撮像画面内のマイクロフォ
ンの位置が当該撮像画面内の予め設定された領域に位置
するように、前記カメラの撮像方向の調整を制御すると
共に、ズームの調整を前記撮像画面内のマイクロフォン
の画像認識面積に応じて制御する撮像制御手段とを具備
したことを特徴とする。
間での状況通信装置は、複数の分散地点において各地点
における画像情報と音声情報とをデータ通信する分散地
点間での状況通信装置であって、前記各地点において撮
像をする撮像範囲の調整が可能なカメラと、前記各地点
において音声を入力する各地点1つのマイクロフォン
と、前記カメラにより撮像された撮像画面内に存在する
マイクロフォンの位置を当該マイクロフォン自体を画像
認識して検出するマイク位置検出手段と、前記マイクロ
フォンにより音声信号が入力された際に、前記マイク位
置検出手段により検出された撮像画面内のマイクロフォ
ンの位置が当該撮像画面内の予め設定された領域に位置
するように、前記カメラの撮像方向の調整を制御すると
共に、ズームの調整を前記撮像画面内のマイクロフォン
の画像認識面積に応じて制御する撮像制御手段とを具備
したことを特徴とする。
【0013】つまり、請求項3に係わる分散地点間での
状況通信装置では、マイクロフォンにより音声信号が入
力された際に、マイク位置検出手段によりマイクロフォ
ン自体を画像認識して検出された撮像画面内のマイクロ
フォンの位置が当該撮像画面内の予め設定された領域に
位置するように、カメラの撮像方向調整機能が制御され
ると共に、ズームの調整が撮像画面内のマイクロフォン
の画像認識面積に応じて制御されるので、各地点におい
て、1台のカメラ,マイクロフォン及びその制御装置を
設置することで、臨場感のある安価なシステムを実現で
き、例えば出席者の発言に伴ない、その発言者に向けて
カメラの撮像方向が調整されズームアップされることに
なる。
状況通信装置では、マイクロフォンにより音声信号が入
力された際に、マイク位置検出手段によりマイクロフォ
ン自体を画像認識して検出された撮像画面内のマイクロ
フォンの位置が当該撮像画面内の予め設定された領域に
位置するように、カメラの撮像方向調整機能が制御され
ると共に、ズームの調整が撮像画面内のマイクロフォン
の画像認識面積に応じて制御されるので、各地点におい
て、1台のカメラ,マイクロフォン及びその制御装置を
設置することで、臨場感のある安価なシステムを実現で
き、例えば出席者の発言に伴ない、その発言者に向けて
カメラの撮像方向が調整されズームアップされることに
なる。
【0014】
【0015】
【0016】また、本発明の請求項4に係わる分散地点
間での状況通信装置は、請求項3に係わる分散地点間で
の状況通信装置にあって、さらに、前記マイクロフォン
による音声信号の入力が停止された際、あるいは他の地
点におけるマイクロフォンにより入力された音声信号が
データ通信により受信された際に、前記撮像制御手段に
より制御した前記カメラの撮像方向調整量及びズーム調
整量を復帰制御する撮像復帰制御手段を備えたことを特
徴とする。
間での状況通信装置は、請求項3に係わる分散地点間で
の状況通信装置にあって、さらに、前記マイクロフォン
による音声信号の入力が停止された際、あるいは他の地
点におけるマイクロフォンにより入力された音声信号が
データ通信により受信された際に、前記撮像制御手段に
より制御した前記カメラの撮像方向調整量及びズーム調
整量を復帰制御する撮像復帰制御手段を備えたことを特
徴とする。
【0017】つまり、請求項4に係わる分散地点間での
状況通信装置では、マイクロフォンによる音声信号の入
力が停止された際、あるいは他の地点におけるマイクロ
フォンにより入力された音声信号がデータ通信により受
信された際に、撮像制御手段により制御したカメラの撮
像方向調整量及びズーム調整量が復帰制御されるので、
発言者による発言の終了に伴ない、あるいは他の地点に
おける出席者の発言に伴ない、当地点における発言者に
向けられたカメラの撮像方向及びズーム倍率が、例えば
当地点全体を撮像する初期状態に戻されることになる。
状況通信装置では、マイクロフォンによる音声信号の入
力が停止された際、あるいは他の地点におけるマイクロ
フォンにより入力された音声信号がデータ通信により受
信された際に、撮像制御手段により制御したカメラの撮
像方向調整量及びズーム調整量が復帰制御されるので、
発言者による発言の終了に伴ない、あるいは他の地点に
おける出席者の発言に伴ない、当地点における発言者に
向けられたカメラの撮像方向及びズーム倍率が、例えば
当地点全体を撮像する初期状態に戻されることになる。
【0018】
【発明の実施の形態】以下図面により本発明の実施の形
態について説明する。図1は本発明の状況入力装置及び
分散地点間での状況通信装置の実施形態に係わる遠隔会
議システムの全体構成を示す図である。
態について説明する。図1は本発明の状況入力装置及び
分散地点間での状況通信装置の実施形態に係わる遠隔会
議システムの全体構成を示す図である。
【0019】この遠隔会議システムは、遠隔地の会議場
所のそれぞれにワークステーションあるいはパーソナル
コンピュータ等からなる1台の情報端末装置(1)10
A、(2)10B、(3)10cを備え、各地点におけ
る情報端末装置10A〜10Cの相互間は、コンピュー
タネットワークNを介して接続される。
所のそれぞれにワークステーションあるいはパーソナル
コンピュータ等からなる1台の情報端末装置(1)10
A、(2)10B、(3)10cを備え、各地点におけ
る情報端末装置10A〜10Cの相互間は、コンピュー
タネットワークNを介して接続される。
【0020】この場合、コンピュータネットワークNと
して用いられる通信回線は、高速のATM回線やISD
N回線、あるいは音声回線等である。前記各地点毎に備
えられた情報端末装置10A〜10Cには、それぞれカ
ラーCCDデバイス等を使用したカメラ11A〜11
C、及びマイクロフォン12A〜12Cが接続される。
して用いられる通信回線は、高速のATM回線やISD
N回線、あるいは音声回線等である。前記各地点毎に備
えられた情報端末装置10A〜10Cには、それぞれカ
ラーCCDデバイス等を使用したカメラ11A〜11
C、及びマイクロフォン12A〜12Cが接続される。
【0021】ここで、各情報端末装置10A〜10Cに
接続されたカメラ11A〜11Cは、例えば該当会議場
所の全体を見渡せる位置に設置され、情報端末装置10
A〜10Cの制御によりその撮像方向及びズームが調整
されるもので、このカメラ11A〜11Cの撮像方向及
びズームは、当該カメラ11A〜11Cにより撮像され
た画像内で認識されるマイクロフォン12A〜12Cの
位置及びこのマイクロフォン12A〜12Cから入力さ
れた音声信号に基づき制御される。
接続されたカメラ11A〜11Cは、例えば該当会議場
所の全体を見渡せる位置に設置され、情報端末装置10
A〜10Cの制御によりその撮像方向及びズームが調整
されるもので、このカメラ11A〜11Cの撮像方向及
びズームは、当該カメラ11A〜11Cにより撮像され
た画像内で認識されるマイクロフォン12A〜12Cの
位置及びこのマイクロフォン12A〜12Cから入力さ
れた音声信号に基づき制御される。
【0022】図2は前記遠隔会議システムにおいて会議
場所に設置される情報端末装置10の構成を示すブロッ
ク図である。この情報端末装置10は、ワークステーシ
ョンあるいはパーソナルコンピュータを用いてなり、そ
の中央制御装置としてCPU13が備えられる。
場所に設置される情報端末装置10の構成を示すブロッ
ク図である。この情報端末装置10は、ワークステーシ
ョンあるいはパーソナルコンピュータを用いてなり、そ
の中央制御装置としてCPU13が備えられる。
【0023】CPU13は、メモリ14に予め記憶され
ているシステムプログラムに従って各部の動作制御を行
なうもので、このCPU13には、システム及びデータ
バス15を介して前記メモリ14が接続されると共に、
入力装置16、画像入力制御装置17、音声入出力装置
18、通信制御装置19、ディスプレイ20が接続され
る。
ているシステムプログラムに従って各部の動作制御を行
なうもので、このCPU13には、システム及びデータ
バス15を介して前記メモリ14が接続されると共に、
入力装置16、画像入力制御装置17、音声入出力装置
18、通信制御装置19、ディスプレイ20が接続され
る。
【0024】入力装置16は、キーボードやマウス等か
らなり、動作機能の選択操作や機能実行の命令操作等を
行なうもので、このキーボードの操作により任意の機能
が選択されその実行が指示されると、前記メモリ14に
記憶された対応する機能を司るプログラムが起動され、
このプログラムに従って各部の動作制御が開始される。
らなり、動作機能の選択操作や機能実行の命令操作等を
行なうもので、このキーボードの操作により任意の機能
が選択されその実行が指示されると、前記メモリ14に
記憶された対応する機能を司るプログラムが起動され、
このプログラムに従って各部の動作制御が開始される。
【0025】画像入力制御装置17は、カラーCCDカ
メラ11を接続して有し、当該カメラ11により撮像し
たカラー画像信号を入力するのと共に、この入力した画
像信号に基づくCPU13の制御により、前記カメラ1
1の方向調整機構及びズーム調整機構に対して方向調整
制御信号及びズーム調整制御信号を出力する。
メラ11を接続して有し、当該カメラ11により撮像し
たカラー画像信号を入力するのと共に、この入力した画
像信号に基づくCPU13の制御により、前記カメラ1
1の方向調整機構及びズーム調整機構に対して方向調整
制御信号及びズーム調整制御信号を出力する。
【0026】この場合、カメラ11の撮像方向は、出席
者の発言によりマイクロフォン12から音声入出力装置
18を介した音声信号入力のある状態では、当該カメラ
11により撮像された画像データの色情報から認識され
るマイクロフォン12の位置が、その撮像範囲の中央に
位置するように調整されると共に、同カメラ11のズー
ムは、例えばカメラ11と前記マイクロフォン12を持
つ出席者との距離が既知である場合には所定のズーム倍
率に調整され、また、そうでない場合には前記マイクロ
フォン12の画像面積が所定の面積になるようにズーム
調整される。
者の発言によりマイクロフォン12から音声入出力装置
18を介した音声信号入力のある状態では、当該カメラ
11により撮像された画像データの色情報から認識され
るマイクロフォン12の位置が、その撮像範囲の中央に
位置するように調整されると共に、同カメラ11のズー
ムは、例えばカメラ11と前記マイクロフォン12を持
つ出席者との距離が既知である場合には所定のズーム倍
率に調整され、また、そうでない場合には前記マイクロ
フォン12の画像面積が所定の面積になるようにズーム
調整される。
【0027】音声入力出力装置18は、有線又は無線式
マイクロフォン12及びスピーカ21を接続して有し、
当該マイクロフォン12により集音された音声信号を入
力すると共に、通信制御装置19を介して受信入力され
た音声信号をスピーカ21へ出力するもので、この際、
この音声入出力装置18によって前記マイクロフォン1
2から入力される音声信号レベルが予め設定された一定
のレベルを越え、且つ、一定の時間長を越えている場合
に、前記CPU13により出席者による発言が開始され
たと判断される。
マイクロフォン12及びスピーカ21を接続して有し、
当該マイクロフォン12により集音された音声信号を入
力すると共に、通信制御装置19を介して受信入力され
た音声信号をスピーカ21へ出力するもので、この際、
この音声入出力装置18によって前記マイクロフォン1
2から入力される音声信号レベルが予め設定された一定
のレベルを越え、且つ、一定の時間長を越えている場合
に、前記CPU13により出席者による発言が開始され
たと判断される。
【0028】通信制御装置19は、コンピュータネット
ワークNを介して他の会議場所に設置された情報端末装
置10との間で、画像及び音声信号の通信制御を行なう
もので、この通信制御装置19により、前記画像入力制
御装置17を介してカメラ11から入力された出席者の
画像データ及び前記音声入出力装置18を介してマイク
ロフォン12から入力された音声データが、ネットワー
クNを通して他の会議場所における情報端末装置10に
送られると共に、他の情報端末装置10から受信された
他の会議場所における出席者の画像データはディスプレ
イ20に表示され、また、その音声データは前記音声入
出力装置18を介してスピーカ21から出力される。
ワークNを介して他の会議場所に設置された情報端末装
置10との間で、画像及び音声信号の通信制御を行なう
もので、この通信制御装置19により、前記画像入力制
御装置17を介してカメラ11から入力された出席者の
画像データ及び前記音声入出力装置18を介してマイク
ロフォン12から入力された音声データが、ネットワー
クNを通して他の会議場所における情報端末装置10に
送られると共に、他の情報端末装置10から受信された
他の会議場所における出席者の画像データはディスプレ
イ20に表示され、また、その音声データは前記音声入
出力装置18を介してスピーカ21から出力される。
【0029】これにより、各会議場所での情報端末装置
10A〜10C間において、画像及び音声情報の相互通
信が行なえる構成とされる。次に、前記構成による遠隔
会議システムの動作について説明する。
10A〜10C間において、画像及び音声情報の相互通
信が行なえる構成とされる。次に、前記構成による遠隔
会議システムの動作について説明する。
【0030】図3は前記遠隔会議システムにおける会議
状況収集処理の概要を示すフローチャートである。図4
は前記遠隔会議システムにおける情報端末装置10の音
声入出力装置18に接続されるマイクロフォン12の構
成例を示す外観図である。
状況収集処理の概要を示すフローチャートである。図4
は前記遠隔会議システムにおける情報端末装置10の音
声入出力装置18に接続されるマイクロフォン12の構
成例を示す外観図である。
【0031】図5は前記遠隔会議システムの情報端末装
置10においてカメラ11により撮像されたカラー画像
データに基づくマイクロフォン12の画像認識状態を示
す図である。
置10においてカメラ11により撮像されたカラー画像
データに基づくマイクロフォン12の画像認識状態を示
す図である。
【0032】図6は前記遠隔会議システムの情報端末装
置10においてカメラ11により撮像されたカラー画像
データに対応させてマイクロフォン12の画像認識領域
を外接長方形として設定するためのマスクパターンの構
成を示す図である。
置10においてカメラ11により撮像されたカラー画像
データに対応させてマイクロフォン12の画像認識領域
を外接長方形として設定するためのマスクパターンの構
成を示す図である。
【0033】図7は前記遠隔会議システムの情報端末装
置10においてカメラ11により撮像されたカラー画像
データに基づくマイクロフォン12の画像認識領域の設
定状態を示す図であり、同図(A)はマイクロフォンの
みの認識領域設定状態を示す図、同図(B)は例えば中
央を手により握られたマイクロフォンの認識領域設定状
態を示す図、同図(C)は例えば2か所を手により握ら
れたマイクロフォンの認識領域設定状態を示す図、同図
(D)は例えば下端を手により握られたマイクロフォン
の認識領域設定状態を示す図である。
置10においてカメラ11により撮像されたカラー画像
データに基づくマイクロフォン12の画像認識領域の設
定状態を示す図であり、同図(A)はマイクロフォンの
みの認識領域設定状態を示す図、同図(B)は例えば中
央を手により握られたマイクロフォンの認識領域設定状
態を示す図、同図(C)は例えば2か所を手により握ら
れたマイクロフォンの認識領域設定状態を示す図、同図
(D)は例えば下端を手により握られたマイクロフォン
の認識領域設定状態を示す図である。
【0034】図8は前記遠隔会議システムの会議状況収
集処理に伴なう収集画面の遷移を示す図である。情報端
末装置10の入力装置16を操作して会議状況収集処理
の開始を指示すると、図3における会議状況収集処理が
起動され、まず、カメラ11の撮像方向が初期位置であ
る会議場所の中央へ向けて調整されると共に、ズーム倍
率が最低倍率に調整され、図8(A)に示すように、出
席者の全員を含む会議場所の全体状況が撮像される。
集処理に伴なう収集画面の遷移を示す図である。情報端
末装置10の入力装置16を操作して会議状況収集処理
の開始を指示すると、図3における会議状況収集処理が
起動され、まず、カメラ11の撮像方向が初期位置であ
る会議場所の中央へ向けて調整されると共に、ズーム倍
率が最低倍率に調整され、図8(A)に示すように、出
席者の全員を含む会議場所の全体状況が撮像される。
【0035】このカメラ11により撮像された会議場所
の全体状況を示す画像データは、画像入力制御装置17
を介してメモリ内の画像メモリに記録されると共に、通
信制御装置19を介してコンピュータネットワークNに
送出される。そして、他の会議場所における情報端末装
置10にその通信制御装置19を介して入力され、ディ
スプレイ20にて表示される。
の全体状況を示す画像データは、画像入力制御装置17
を介してメモリ内の画像メモリに記録されると共に、通
信制御装置19を介してコンピュータネットワークNに
送出される。そして、他の会議場所における情報端末装
置10にその通信制御装置19を介して入力され、ディ
スプレイ20にて表示される。
【0036】また、この会議情報収集処理が起動される
と、前記会議場所全体画像の送出と共に、マイクロフォ
ン12の位置の追跡処理が一定時間毎(例えば1秒毎)
に実行される(ステップS1)。
と、前記会議場所全体画像の送出と共に、マイクロフォ
ン12の位置の追跡処理が一定時間毎(例えば1秒毎)
に実行される(ステップS1)。
【0037】このマイク位置追跡処理は、前記画像入力
制御装置17を介して画像メモリに記録される会議場所
のカラー画像データに基づき、マイクロフォン12の色
による画像認識処理→認識領域の設定処理→重心の確定
処理を経て行なわれる。
制御装置17を介して画像メモリに記録される会議場所
のカラー画像データに基づき、マイクロフォン12の色
による画像認識処理→認識領域の設定処理→重心の確定
処理を経て行なわれる。
【0038】ここで、情報端末装置10の音声入出力装
置18に接続されて使用されるマイクロフォン12は、
例えば図4に示すように、風防(集音部)12aが赤
色、握り部12bが黄色、ケーブル12cが黒色で構成
されているものとする。
置18に接続されて使用されるマイクロフォン12は、
例えば図4に示すように、風防(集音部)12aが赤
色、握り部12bが黄色、ケーブル12cが黒色で構成
されているものとする。
【0039】すなわち、カメラ11により撮像されて画
像メモリに記録される画像データの中で、赤色部と黄色
部の領域をフィルタで抽出し、その大きさを領域設定す
ると共に、位置関係を設定領域内の重心としてとらえる
ことにより、画像データ内におけるマイクロフォン12
の位置を認識することができる。
像メモリに記録される画像データの中で、赤色部と黄色
部の領域をフィルタで抽出し、その大きさを領域設定す
ると共に、位置関係を設定領域内の重心としてとらえる
ことにより、画像データ内におけるマイクロフォン12
の位置を認識することができる。
【0040】この場合、マイクロフォン12にケーブル
12cが接続されていれば、さらに、該ケーブル12c
の色(黒)をも含めた認識処理を行なってもよい。(マ
イクロフォン12の色による画像認識処理)画像メモリ
に記録された画像データの各画素について、R(RE
D),G(GREEN),B(BLUE)からなる色の
3原色のデータがCPU13に取り込まれる。すると、
前記画像データの各画素毎のRGBのデータは、下記の
通り色相に変換される。
12cが接続されていれば、さらに、該ケーブル12c
の色(黒)をも含めた認識処理を行なってもよい。(マ
イクロフォン12の色による画像認識処理)画像メモリ
に記録された画像データの各画素について、R(RE
D),G(GREEN),B(BLUE)からなる色の
3原色のデータがCPU13に取り込まれる。すると、
前記画像データの各画素毎のRGBのデータは、下記の
通り色相に変換される。
【0041】まず、明るさを正規化する。
r=R/T,g=G/T,b=B/T,T=R+B+G
そして、色相θを、赤色からの角度として次のように計
算する。
算する。
【0042】θ=θ′ …(g≧bのとき)
θ=2π−θ′ …(g<bのとき)
ここで、
θ′=cos-1[(2r-b-g)/√(6{(r-1/3)2+(g-1/3)2+(b-1/
3)2})] である。
3)2})] である。
【0043】よって、色相θが、“0”ラジアンのとき
は「赤色」、“2π/3”のときは「緑色」、“4π/
3”のときは「青色」を示し、「黄色」の場合は赤と緑
の中間となるので“π/3”付近となる。
は「赤色」、“2π/3”のときは「緑色」、“4π/
3”のときは「青色」を示し、「黄色」の場合は赤と緑
の中間となるので“π/3”付近となる。
【0044】従って、画像データにおいて、色相θが
“0”となる「赤色」の画素領域と、“π/3”となる
「黄色」の画素領域とを全て抽出することにより、例え
ば図5に示すように、画像データ内に赤色領域(R)と
黄色領域(Y)とで存在するマイクロフォン12が認識
される。
“0”となる「赤色」の画素領域と、“π/3”となる
「黄色」の画素領域とを全て抽出することにより、例え
ば図5に示すように、画像データ内に赤色領域(R)と
黄色領域(Y)とで存在するマイクロフォン12が認識
される。
【0045】(外接長方形による認識領域の設定処理)
前記画像メモリに対応した1画面分の記憶領域を有する
別のメモリ上において、前記赤色認識された画像領域と
黄色認識された画像領域に対応させて、隣接する画素が
同色として認識された局所的な領域を、図6に示すよう
なマークパターンを選択的に用いてマークする。
前記画像メモリに対応した1画面分の記憶領域を有する
別のメモリ上において、前記赤色認識された画像領域と
黄色認識された画像領域に対応させて、隣接する画素が
同色として認識された局所的な領域を、図6に示すよう
なマークパターンを選択的に用いてマークする。
【0046】そして、前記マークが付された各色毎の認
識領域に関して、その縦方向及び横方向それぞれの最大
座標位置と最小座標位置とにより囲まれる領域を設定す
ることにより、例えば図7(A)に示すように、マイク
ロフォン12の風防12aに相当する赤色領域の外接長
方形と、握り部12bに相当する黄色領域の外接長方形
とが求められる。
識領域に関して、その縦方向及び横方向それぞれの最大
座標位置と最小座標位置とにより囲まれる領域を設定す
ることにより、例えば図7(A)に示すように、マイク
ロフォン12の風防12aに相当する赤色領域の外接長
方形と、握り部12bに相当する黄色領域の外接長方形
とが求められる。
【0047】(マイク重心GM の確定処理)前記赤色領
域として設定された外接長方形の重心座標GR と、前記
黄色領域として設定された外接長方形の重心座標GY と
をメモリ14のワークエリアに記憶し、各重心GR ,G
Y 間の距離がマイクロフォン12の風防12aと握り部
12bとの間の寸法に対応する一定の範囲内にある場合
の組み合わせを求める。
域として設定された外接長方形の重心座標GR と、前記
黄色領域として設定された外接長方形の重心座標GY と
をメモリ14のワークエリアに記憶し、各重心GR ,G
Y 間の距離がマイクロフォン12の風防12aと握り部
12bとの間の寸法に対応する一定の範囲内にある場合
の組み合わせを求める。
【0048】こうして、マイクロフォン12の風防12
aと握り部12bとの間の寸法に対応する一定の範囲内
にある重心GR ,GY の組み合わせにおいて、当該各重
心GR ,GY 間の中点をマイクロフォン12の重心GM
として確定することにより、カメラ11により撮像され
た画像範囲内でのマイクロフォン12の存在位置が検出
される。
aと握り部12bとの間の寸法に対応する一定の範囲内
にある重心GR ,GY の組み合わせにおいて、当該各重
心GR ,GY 間の中点をマイクロフォン12の重心GM
として確定することにより、カメラ11により撮像され
た画像範囲内でのマイクロフォン12の存在位置が検出
される。
【0049】このように、前記カメラ11により撮像さ
れた会議場所の画像データに対して、マイクロフォン1
2の色による画像認識処理→認識領域の設定処理→重心
GMの確定処理を一定時間(例えば1秒)毎に実行する
ことにより、マイクロフォン12の位置の追跡が行なわ
れる(ステップS1)。
れた会議場所の画像データに対して、マイクロフォン1
2の色による画像認識処理→認識領域の設定処理→重心
GMの確定処理を一定時間(例えば1秒)毎に実行する
ことにより、マイクロフォン12の位置の追跡が行なわ
れる(ステップS1)。
【0050】なお、図7(B)〜図7(D)に示すよう
に、マイクロフォン12が発言者の手により握られる場
合を考慮して、前記風防12aに相当する「赤色」領
域、及び前記握り部12bに相当する「黄色」領域と共
に、手に相当する「肌色」領域も同様にして認識し、マ
イク位置の追跡処理を実行してもよい。
に、マイクロフォン12が発言者の手により握られる場
合を考慮して、前記風防12aに相当する「赤色」領
域、及び前記握り部12bに相当する「黄色」領域と共
に、手に相当する「肌色」領域も同様にして認識し、マ
イク位置の追跡処理を実行してもよい。
【0051】こうして、カメラ11により撮像された会
議場所の画像データにおけるマイクロフォン12の存在
位置が追跡される状態において、前記マイクロフォン1
2から音声入出力装置18を介して入力される音声信号
の有無に基づき、出席者による発言が開始された否かが
判断される(ステップS2)。
議場所の画像データにおけるマイクロフォン12の存在
位置が追跡される状態において、前記マイクロフォン1
2から音声入出力装置18を介して入力される音声信号
の有無に基づき、出席者による発言が開始された否かが
判断される(ステップS2)。
【0052】つまり、マイクロフォン12により入力さ
れる音声信号が、一定レベルを越え、且つその音声入力
状態が所定時間長を越えた場合において、発言開始と判
断される。
れる音声信号が、一定レベルを越え、且つその音声入力
状態が所定時間長を越えた場合において、発言開始と判
断される。
【0053】ここで、音声信号レベルの算出は、前記音
声入出力装置18を介してCPU13に入力される音声
信号のパワーを計算することにより得られるもので、s
(t)を時刻tにおける音声信号レベルとすると、音声
パワーP(T)は、 P(T)=Σs2 (t) …(t=TからT+Lまでの和) によって得られる。
声入出力装置18を介してCPU13に入力される音声
信号のパワーを計算することにより得られるもので、s
(t)を時刻tにおける音声信号レベルとすると、音声
パワーP(T)は、 P(T)=Σs2 (t) …(t=TからT+Lまでの和) によって得られる。
【0054】ここで、Tは音声パワー算出期間の長さで
あり、例えば10KHzの音声信号をサンプリングする場
合には、10msの長さにおいて積算するか、又は、8
〜16ms毎に先の計算処理を実行する。
あり、例えば10KHzの音声信号をサンプリングする場
合には、10msの長さにおいて積算するか、又は、8
〜16ms毎に先の計算処理を実行する。
【0055】これにより、マイクロフォン12から音声
入出力装置18を介して入力された音声信号に基づき、
CPU13により計算された音声パワーP(T)の値が
一定レベルを越え、且つ所定時間長を越えた場合には、
発言開始と判断さんる(ステップS2)。
入出力装置18を介して入力された音声信号に基づき、
CPU13により計算された音声パワーP(T)の値が
一定レベルを越え、且つ所定時間長を越えた場合には、
発言開始と判断さんる(ステップS2)。
【0056】なお、より安定した発言開始の判断処理を
行なうために、前記音声パワーP(T)は、logP
(T)として算出してもよい。すなわち、図8(A)に
示すように、現在カメラ11により撮像されている会議
場所の全体を写し出す画像データにおいて、図8(B)
に示すように、会議場所のある出席者がマイクロフォン
12を持ち発言を開始することにより、発言開始と判断
されると、カメラ11に対し撮像方向を発言者の方向に
調整しズームアップするためのカメラ方向/ズーム制御
処理が実行される(ステップS2→S3)。
行なうために、前記音声パワーP(T)は、logP
(T)として算出してもよい。すなわち、図8(A)に
示すように、現在カメラ11により撮像されている会議
場所の全体を写し出す画像データにおいて、図8(B)
に示すように、会議場所のある出席者がマイクロフォン
12を持ち発言を開始することにより、発言開始と判断
されると、カメラ11に対し撮像方向を発言者の方向に
調整しズームアップするためのカメラ方向/ズーム制御
処理が実行される(ステップS2→S3)。
【0057】この際、前記マイクロフォン12から音声
入出力装置18を介して入力された発言者の音声データ
は、通信制御装置19を介してコンピュータネットワー
クNに送出される。そして、他の会議場所における情報
端末装置10にその通信制御装置19を介して入力さ
れ、音声入出力装置18を介してスピーカ21から出力
される。
入出力装置18を介して入力された発言者の音声データ
は、通信制御装置19を介してコンピュータネットワー
クNに送出される。そして、他の会議場所における情報
端末装置10にその通信制御装置19を介して入力さ
れ、音声入出力装置18を介してスピーカ21から出力
される。
【0058】会議場所を撮像した画像データ中における
マイクロフォン12の存在位置は、前記ステップS1に
おけるマイク位置の追跡処理において検出されているの
で、予め判明しているカメラ11の水平及び垂直方向調
整角度に応じた撮像範囲の変化量に基づき、前記マイク
ロフォン12の重心GM あるいは風防12aの重心GR
が画像データの中央にとらえられるように、その水平撮
像角度及び垂直撮像角度が算出され、画像入力制御装置
17を介してカメラ11の撮像方向が調整制御される。
マイクロフォン12の存在位置は、前記ステップS1に
おけるマイク位置の追跡処理において検出されているの
で、予め判明しているカメラ11の水平及び垂直方向調
整角度に応じた撮像範囲の変化量に基づき、前記マイク
ロフォン12の重心GM あるいは風防12aの重心GR
が画像データの中央にとらえられるように、その水平撮
像角度及び垂直撮像角度が算出され、画像入力制御装置
17を介してカメラ11の撮像方向が調整制御される。
【0059】例えば前記会議場所での出席者間の間隔を
2m程度、また、カメラ11から出席者までの距離を3
〜5m程度とすると、会議場所の全体画像の撮像状態に
おいて、その撮像画面の端にマイクロフォン12の追跡
位置が存在する場合には、20〜33°の水平回転制御
を行なうことにより、当該マイクロフォン12の撮像位
置は画面中央に移動される。つまり、カメラ11から出
席者までの距離や出席者間の間隔が既知である場合に
は、1回の計算により得られた水平及び垂直回転角によ
り、マイクロフォン12を撮像画面の中心にとらえるこ
とができる。
2m程度、また、カメラ11から出席者までの距離を3
〜5m程度とすると、会議場所の全体画像の撮像状態に
おいて、その撮像画面の端にマイクロフォン12の追跡
位置が存在する場合には、20〜33°の水平回転制御
を行なうことにより、当該マイクロフォン12の撮像位
置は画面中央に移動される。つまり、カメラ11から出
席者までの距離や出席者間の間隔が既知である場合に
は、1回の計算により得られた水平及び垂直回転角によ
り、マイクロフォン12を撮像画面の中心にとらえるこ
とができる。
【0060】なお、カメラ11から出席者までの距離や
出席者間の間隔が既知でない場合には、マイクロフォン
12が存在する位置の方向に、その撮像画面上での存在
位置を計算しながら一定角度(例えば5°)ずつ回転制
御することにより、該マイクロフォン12の撮像位置を
画面中央に移動させてもよい。
出席者間の間隔が既知でない場合には、マイクロフォン
12が存在する位置の方向に、その撮像画面上での存在
位置を計算しながら一定角度(例えば5°)ずつ回転制
御することにより、該マイクロフォン12の撮像位置を
画面中央に移動させてもよい。
【0061】また、これと共に、マイクロフォン12を
持った発言者が会議場所の画像上で適切な大きさとなる
ように前記カメラ11がズームアップ制御される。ここ
で、カメラ11から出席者までの距離が既知である場合
には、所定倍率のズームアップ制御を行なえばよく、ま
た、前記図7で示したような、マイクロフォン12の色
認識領域の面積を計算し、このマイク認識面積が撮像画
面内において所定の大きさになるまで、連続的にズーム
アップ制御する構成としてもよい。
持った発言者が会議場所の画像上で適切な大きさとなる
ように前記カメラ11がズームアップ制御される。ここ
で、カメラ11から出席者までの距離が既知である場合
には、所定倍率のズームアップ制御を行なえばよく、ま
た、前記図7で示したような、マイクロフォン12の色
認識領域の面積を計算し、このマイク認識面積が撮像画
面内において所定の大きさになるまで、連続的にズーム
アップ制御する構成としてもよい。
【0062】こうして、マイクロフォン12の存在位置
に対応させて、カメラ11の撮像方向を調整制御すると
共に、そのズーム制御も行なうことにより、図8(C)
に示すように、当該カメラ11には発言者のアップが撮
像され、他の会議場所における情報端末装置10に送出
される。
に対応させて、カメラ11の撮像方向を調整制御すると
共に、そのズーム制御も行なうことにより、図8(C)
に示すように、当該カメラ11には発言者のアップが撮
像され、他の会議場所における情報端末装置10に送出
される。
【0063】そして、マイクロフォン12から音声入出
力装置18を介して入力される音声信号が一定時間以上
途切れることで、発言終了と判断されると、他の会議場
所における情報端末装置10からコンピュータネットワ
ークNを介して当会議場所における情報端末装置10に
入力される音声データに基づき、他の会議場所において
発言状態にあるか否か判断される(ステップS4→S
5)。
力装置18を介して入力される音声信号が一定時間以上
途切れることで、発言終了と判断されると、他の会議場
所における情報端末装置10からコンピュータネットワ
ークNを介して当会議場所における情報端末装置10に
入力される音声データに基づき、他の会議場所において
発言状態にあるか否か判断される(ステップS4→S
5)。
【0064】ここで、他の会議場所からの音声データは
入力されてなく、発言状態にないと判断されると、カメ
ラ11の撮像方向調整角及びズーム調整倍率は初期値に
戻され、図8(D)に示すように、再び、出席者の全員
を含む会議場所の全体状況が撮像される(ステップS5
→S8→S9)。
入力されてなく、発言状態にないと判断されると、カメ
ラ11の撮像方向調整角及びズーム調整倍率は初期値に
戻され、図8(D)に示すように、再び、出席者の全員
を含む会議場所の全体状況が撮像される(ステップS5
→S8→S9)。
【0065】一方、コンピュータネットワークNから通
信制御装置19を介して、他の会議場所に設置された情
報端末装置10から入力される音声データに基づき、他
の会議場所における出席者が発言状態にあると判断され
た際に、その発言継続時間が計測され一定時間(N秒)
を越えたと判断された場合、つまり、他の会議場所にお
ける出席者の発言が確認された場合にも、カメラ11の
撮像方向調整角及びズーム調整倍率は初期値に戻され、
図8(D)に示すように、再び、出席者の全員を含む会
議場所の全体状況が撮像される(ステップS5→S6→
S7→S8→S9)。
信制御装置19を介して、他の会議場所に設置された情
報端末装置10から入力される音声データに基づき、他
の会議場所における出席者が発言状態にあると判断され
た際に、その発言継続時間が計測され一定時間(N秒)
を越えたと判断された場合、つまり、他の会議場所にお
ける出席者の発言が確認された場合にも、カメラ11の
撮像方向調整角及びズーム調整倍率は初期値に戻され、
図8(D)に示すように、再び、出席者の全員を含む会
議場所の全体状況が撮像される(ステップS5→S6→
S7→S8→S9)。
【0066】なお、マイクロフォン12が出席者間で移
動したり、机上に置かれることで、カメラ11による撮
像画面上を大幅に移動することが、当該マイクロフォン
12の存在位置の変化に基づき検出された場合には、例
えばカメラ11のズーム倍率を現在の2/3や3/4に
調整して撮像範囲を段階的に広げることで、前記ステッ
プS1において追跡されるマイク位置が撮像画面から外
れることが防止される。
動したり、机上に置かれることで、カメラ11による撮
像画面上を大幅に移動することが、当該マイクロフォン
12の存在位置の変化に基づき検出された場合には、例
えばカメラ11のズーム倍率を現在の2/3や3/4に
調整して撮像範囲を段階的に広げることで、前記ステッ
プS1において追跡されるマイク位置が撮像画面から外
れることが防止される。
【0067】ただし、カメラ11による撮像範囲が最大
となる初期設定のズーム倍率に調整した状態でも、マイ
クロフォン12の存在位置が撮像画面から外れその追跡
が不能になった場合には、出席者の全員を含む会議場所
の全体状況が撮像された初期画面のまま保持される。
となる初期設定のズーム倍率に調整した状態でも、マイ
クロフォン12の存在位置が撮像画面から外れその追跡
が不能になった場合には、出席者の全員を含む会議場所
の全体状況が撮像された初期画面のまま保持される。
【0068】さらに、例えば前記ステップS4におい
て、当会議場所における出席者の発言が終了したと判断
されない発言中の状態において、他の会議場所での発言
が開始された場合等、図3における会議状況収集処理に
含まれない条件が生じた場合にも、カメラ11の撮像方
向調整角及びズーム調整倍率は初期値に戻され、図8
(D)に示すように、出席者の全員を含む会議場所の全
体状況が撮像される。
て、当会議場所における出席者の発言が終了したと判断
されない発言中の状態において、他の会議場所での発言
が開始された場合等、図3における会議状況収集処理に
含まれない条件が生じた場合にも、カメラ11の撮像方
向調整角及びズーム調整倍率は初期値に戻され、図8
(D)に示すように、出席者の全員を含む会議場所の全
体状況が撮像される。
【0069】したがって、前記構成の遠隔会議システム
によれば、カメラ11により会議場所を撮像した際に、
そのカラー画像データに存在するマイクロフォン12の
位置を、当該マイクロフォン12の色を認識して追跡す
ると共に、このマイクロフォン12により入力される音
声信号に基づき、出席者による発言が開始されたと判断
された場合には、前記追跡しているマイク位置がカメラ
11による撮像画面内の中央に移動するように、カメラ
11の水平及び垂直撮像角度を調整すると共に、ズーム
倍率の上昇調整を行なうことで、1つの会議場所におい
て、1台の情報端末装置10とカメラ11及びマイクロ
フォン12しか設置しない場合でも、全ての出席者がそ
の発言に伴ないアップでとらえられる構成としたので、
安価なシステム構成で、しかも煩わしい操作を要するこ
となく、遠隔地に分散した会議や打ち合わせを十分な臨
場感を持って実現することができる。
によれば、カメラ11により会議場所を撮像した際に、
そのカラー画像データに存在するマイクロフォン12の
位置を、当該マイクロフォン12の色を認識して追跡す
ると共に、このマイクロフォン12により入力される音
声信号に基づき、出席者による発言が開始されたと判断
された場合には、前記追跡しているマイク位置がカメラ
11による撮像画面内の中央に移動するように、カメラ
11の水平及び垂直撮像角度を調整すると共に、ズーム
倍率の上昇調整を行なうことで、1つの会議場所におい
て、1台の情報端末装置10とカメラ11及びマイクロ
フォン12しか設置しない場合でも、全ての出席者がそ
の発言に伴ないアップでとらえられる構成としたので、
安価なシステム構成で、しかも煩わしい操作を要するこ
となく、遠隔地に分散した会議や打ち合わせを十分な臨
場感を持って実現することができる。
【0070】なお、前記実施の形態では、マイクロフォ
ン12を赤色と黄色で構成されるものとして説明した
が、これに限定されるものでなく、会議出席者の服装の
色と紛れない色を選択すればよい。
ン12を赤色と黄色で構成されるものとして説明した
が、これに限定されるものでなく、会議出席者の服装の
色と紛れない色を選択すればよい。
【0071】また、発言者の音声情報を利用すれば、話
者識別技術を使うことにより、発言者の変化を検出でき
る。発言者が変わったことを検出したときには、カメラ
の状態を初期状態に戻して、前記実施の形態と同様の処
理を行なえばよい。
者識別技術を使うことにより、発言者の変化を検出でき
る。発言者が変わったことを検出したときには、カメラ
の状態を初期状態に戻して、前記実施の形態と同様の処
理を行なえばよい。
【0072】また、前記実施の形態において説明した会
議場所の分散数は限定されるものではなく、1つのサイ
トに複数のカメラを置くことも可能である。また、会議
に限定されるものでもなく、例えばマイクロフォンの代
わりにサッカーボール等を追跡し、音声信号の喚声によ
りズームを行なう放送用の遠隔カメラシステムとしても
利用できる。
議場所の分散数は限定されるものではなく、1つのサイ
トに複数のカメラを置くことも可能である。また、会議
に限定されるものでもなく、例えばマイクロフォンの代
わりにサッカーボール等を追跡し、音声信号の喚声によ
りズームを行なう放送用の遠隔カメラシステムとしても
利用できる。
【0073】
【発明の効果】以上のように、本発明の請求項1に係わ
る状況入力装置によれば、マイクロフォンにより音声信
号が入力された際に、マイク位置検出手段によりマイク
ロフォン自体を画像認識して検出された撮像画面内のマ
イクロフォンの位置が当該撮像画面内の予め設定された
領域に位置するように、カメラの撮像方向の調整が制御
されると共に、ズームの調整が撮像画面内のマイクロフ
ォンの画像認識面積に応じて制御されるので、例えば出
席者の発言に伴ない、その発言者に向けてカメラの撮像
方向が調整されズームアップされることになり、各会議
場所では、1つカメラ,マイクロフォン及びその制御装
置を設置することで、臨場感のある安価なシステムを実
現できるようになる。
る状況入力装置によれば、マイクロフォンにより音声信
号が入力された際に、マイク位置検出手段によりマイク
ロフォン自体を画像認識して検出された撮像画面内のマ
イクロフォンの位置が当該撮像画面内の予め設定された
領域に位置するように、カメラの撮像方向の調整が制御
されると共に、ズームの調整が撮像画面内のマイクロフ
ォンの画像認識面積に応じて制御されるので、例えば出
席者の発言に伴ない、その発言者に向けてカメラの撮像
方向が調整されズームアップされることになり、各会議
場所では、1つカメラ,マイクロフォン及びその制御装
置を設置することで、臨場感のある安価なシステムを実
現できるようになる。
【0074】また、本発明の請求項2に係わる状況入力
装置によれば、マイクロフォンによる音声信号の入力が
停止された際に、撮像制御手段により制御したカメラの
撮像方向調整量及びズーム調整量が復帰制御されるの
で、発言者による発言の終了に伴ない、発言者に向けら
れたカメラの撮像方向及びズーム倍率が、例えば周辺全
体を撮像する初期状態に戻されるようになる。
装置によれば、マイクロフォンによる音声信号の入力が
停止された際に、撮像制御手段により制御したカメラの
撮像方向調整量及びズーム調整量が復帰制御されるの
で、発言者による発言の終了に伴ない、発言者に向けら
れたカメラの撮像方向及びズーム倍率が、例えば周辺全
体を撮像する初期状態に戻されるようになる。
【0075】また、本発明の請求項3に係わる分散地点
間での状況通信装置によれば、マイクロフォンにより音
声信号が入力された際に、マイク位置検出手段によりマ
イクロフォン自体を画像認識して検出された撮像画面内
のマイクロフォンの位置が当該撮像画面内の予め設定さ
れた領域に位置するように、カメラの撮像方向調整機能
が制御されると共に、ズームの調整が撮像画面内のマイ
クロフォンの画像認識面積に応じて制御されるので、各
地点において、1台のカメラ,マイクロフォン及びその
制御装置を設置することで、臨場感のある安価なシステ
ムを実現でき、例えば出席者の発言に伴ない、その発言
者に向けてカメラの撮像方向が調整されズームアップさ
れるようになる。
間での状況通信装置によれば、マイクロフォンにより音
声信号が入力された際に、マイク位置検出手段によりマ
イクロフォン自体を画像認識して検出された撮像画面内
のマイクロフォンの位置が当該撮像画面内の予め設定さ
れた領域に位置するように、カメラの撮像方向調整機能
が制御されると共に、ズームの調整が撮像画面内のマイ
クロフォンの画像認識面積に応じて制御されるので、各
地点において、1台のカメラ,マイクロフォン及びその
制御装置を設置することで、臨場感のある安価なシステ
ムを実現でき、例えば出席者の発言に伴ない、その発言
者に向けてカメラの撮像方向が調整されズームアップさ
れるようになる。
【0076】
【0077】また、本発明の請求項4に係わる分散地点
間での状況通信装置によれば、マイクロフォンによる音
声信号の入力が停止された際、あるいは他の地点におけ
るマイクロフォンにより入力された音声信号がデータ通
信により受信された際に、撮像制御手段により制御した
カメラの撮像方向調整量及びズーム調整量が復帰制御さ
れるので、発言者による発言の終了に伴ない、あるいは
他の地点における出席者の発言に伴ない、当地点におけ
る発言者に向けられたカメラの撮像方向及びズーム倍率
が、例えば当地点全体を撮像する初期状態に戻されるよ
うになる。
間での状況通信装置によれば、マイクロフォンによる音
声信号の入力が停止された際、あるいは他の地点におけ
るマイクロフォンにより入力された音声信号がデータ通
信により受信された際に、撮像制御手段により制御した
カメラの撮像方向調整量及びズーム調整量が復帰制御さ
れるので、発言者による発言の終了に伴ない、あるいは
他の地点における出席者の発言に伴ない、当地点におけ
る発言者に向けられたカメラの撮像方向及びズーム倍率
が、例えば当地点全体を撮像する初期状態に戻されるよ
うになる。
【0078】よって、本発明によれば、個人単位で個別
の情報機器を用意する必要なく、安価なシステム構成
で、出席者の全員が画像及び音声で参加することが可能
になる状況入力装置及び分散地点間での状況通信装置を
提供できる。
の情報機器を用意する必要なく、安価なシステム構成
で、出席者の全員が画像及び音声で参加することが可能
になる状況入力装置及び分散地点間での状況通信装置を
提供できる。
【図1】本発明の状況入力装置及び分散地点間での状況
通信装置の実施形態に係わる遠隔会議システムの全体構
成を示す図。
通信装置の実施形態に係わる遠隔会議システムの全体構
成を示す図。
【図2】前記遠隔会議システムにおいて会議場所に設置
される情報端末装置の構成を示すブロック図。
される情報端末装置の構成を示すブロック図。
【図3】前記遠隔会議システムにおける会議状況収集処
理の概要を示すフローチャート。
理の概要を示すフローチャート。
【図4】前記遠隔会議システムにおける情報端末装置の
音声入出力装置に接続されるマイクロフォンの構成例を
示す外観図。
音声入出力装置に接続されるマイクロフォンの構成例を
示す外観図。
【図5】前記遠隔会議システムの情報端末装置において
カメラにより撮像されたカラー画像データに基づくマイ
クロフォンの画像認識状態を示す図。
カメラにより撮像されたカラー画像データに基づくマイ
クロフォンの画像認識状態を示す図。
【図6】前記遠隔会議システムの情報端末装置において
カメラにより撮像されたカラー画像データに対応させて
マイクロフォンの画像認識領域を外接長方形として設定
するためのマスクパターンの構成を示す図。
カメラにより撮像されたカラー画像データに対応させて
マイクロフォンの画像認識領域を外接長方形として設定
するためのマスクパターンの構成を示す図。
【図7】前記遠隔会議システムの情報端末装置において
カメラにより撮像されたカラー画像データに基づくマイ
クロフォンの画像認識領域の設定状態を示す図であり、
同図(A)はマイクロフォンのみの認識領域設定状態を
示す図、同図(B)は例えば中央を手により握られたマ
イクロフォンの認識領域設定状態を示す図、同図(C)
は例えば2か所を手により握られたマイクロフォンの認
識領域設定状態を示す図、同図(D)は例えば下端を手
により握られたマイクロフォンの認識領域設定状態を示
す図。
カメラにより撮像されたカラー画像データに基づくマイ
クロフォンの画像認識領域の設定状態を示す図であり、
同図(A)はマイクロフォンのみの認識領域設定状態を
示す図、同図(B)は例えば中央を手により握られたマ
イクロフォンの認識領域設定状態を示す図、同図(C)
は例えば2か所を手により握られたマイクロフォンの認
識領域設定状態を示す図、同図(D)は例えば下端を手
により握られたマイクロフォンの認識領域設定状態を示
す図。
【図8】前記遠隔会議システムの会議状況収集処理に伴
なう収集画面の遷移を示す図。
なう収集画面の遷移を示す図。
10 …情報端末装置、
11 …カメラ、
12 …マイクロフォン、
12a…風防(集音部)、
12b…握り部、
12c…ケーブル、
13 …CPU、
14 …メモリ、
15 …システム及びデータバス、
16 …入力装置、
17 …画像入力制御装置、
18 …音声入出力装置、
19 …通信制御装置、
20 …ディスプレイ、
21 …スピーカ
N …コンピュータネットワーク。
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 松田 夏子
大阪府大阪市北区大淀中1丁目1番30号
株式会社東芝関西支社内
(72)発明者 田中 英治
大阪府大阪市北区大淀中1丁目1番30号
株式会社東芝関西支社内
(72)発明者 福井 和広
大阪府大阪市北区大淀中1丁目1番30号
株式会社東芝関西支社内
(56)参考文献 特開 平7−143743(JP,A)
特開 平4−301976(JP,A)
特開 平4−105474(JP,A)
特開 平1−162465(JP,A)
特開 平6−105306(JP,A)
特開 平7−46567(JP,A)
特開 平7−135646(JP,A)
特開 平7−140527(JP,A)
特開 昭63−23489(JP,A)
(58)調査した分野(Int.Cl.7,DB名)
H04N 7/14 - 7/15
Claims (4)
- 【請求項1】 撮像範囲が調整可能なカメラと、 音声あるいは音響信号を入力する1つのマイクロフォン
と、 前記カメラにより撮像された撮像画面内に存在するマイ
クロフォンの位置を当該マイクロフォン自体を画像認識
して検出するマイク位置検出手段と、 前記マイクロフォンにより音声信号が入力された際に、
前記マイク位置検出手段により検出された撮像画面内の
マイクロフォンの位置が当該撮像画面内の予め設定され
た領域に位置するように、前記カメラの撮像方向の調整
を制御すると共に、ズームの調整を前記撮像画面内のマ
イクロフォンの画像認識面積に応じて制御する撮像制御
手段とを具備したことを特徴とする状況入力装置。 - 【請求項2】 前記マイクロフォンによる音声信号の入
力が停止された際に、前記撮像制御手段により制御した
前記カメラの撮像方向調整量及びズーム調整量を復帰制
御する撮像復帰制御手段を備えたことを特徴とする請求
項1記載の状況入力装置。 - 【請求項3】 複数の分散地点において各地点における
画像情報と音声情報とをデータ通信する分散地点間での
状況通信装置において、 前記各地点において撮像をする撮像範囲の調整が可能な
カメラと、 前記各地点において音声を入力する各地点1つのマイク
ロフォンと、 前記カメラにより撮像された撮像画面内に存在するマイ
クロフォンの位置を当該マイクロフォン自体を画像認識
して検出するマイク位置検出手段と、前記マイクロフォンにより音声信号が入力された際に、
前記 マイク位置検出手段により検出された撮像画面内の
マイクロフォンの位置が当該撮像画面内の予め設定され
た領域に位置するように、前記カメラの撮像方向の調整
を制御すると共に、ズームの調整を前記撮像画面内のマ
イクロフォンの画像認識面積に応じて制御する撮像制御
手段とを具備したことを特徴とする分散地点間での状況
通信装置。 - 【請求項4】 前記マイクロフォンによる音声信号の入
力が停止された際、あるいは他の地点におけるマイクロ
フォンにより入力された音声信号がデータ通信により受
信された際に、前記撮像制御手段により制御した前記カ
メラの撮像方向調整量及びズーム調整量を復帰制御する
撮像復帰制御手段を備えたことを特徴とする請求項3記
載の分散地点間での状況通信装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05202096A JP3462336B2 (ja) | 1996-03-08 | 1996-03-08 | 状況入力装置及び分散地点間での状況通信装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05202096A JP3462336B2 (ja) | 1996-03-08 | 1996-03-08 | 状況入力装置及び分散地点間での状況通信装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09247641A JPH09247641A (ja) | 1997-09-19 |
JP3462336B2 true JP3462336B2 (ja) | 2003-11-05 |
Family
ID=12903139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05202096A Expired - Fee Related JP3462336B2 (ja) | 1996-03-08 | 1996-03-08 | 状況入力装置及び分散地点間での状況通信装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3462336B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6593956B1 (en) * | 1998-05-15 | 2003-07-15 | Polycom, Inc. | Locating an audio source |
JP7404568B1 (ja) * | 2023-01-18 | 2023-12-25 | Kddi株式会社 | プログラム、情報処理装置、及び情報処理方法 |
-
1996
- 1996-03-08 JP JP05202096A patent/JP3462336B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH09247641A (ja) | 1997-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6529234B2 (en) | Camera control system, camera server, camera client, control method, and storage medium | |
JP4770178B2 (ja) | カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法 | |
EP2489182B1 (en) | Device and method for camera control | |
US20100118112A1 (en) | Group table top videoconferencing device | |
CN101622871B (zh) | 视频呼叫设备控制 | |
CN107800945A (zh) | 全景拍照的方法及装置、电子设备 | |
US9417433B2 (en) | Camera arrangement | |
US12028617B2 (en) | Display apparatus and processing method for display apparatus with camera | |
US10225650B2 (en) | Directivity control system, directivity control device, abnormal sound detection system provided with either thereof and directivity control method | |
JP2006245648A (ja) | 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体 | |
US10979666B2 (en) | Asymmetric video conferencing system and method | |
JPH1042264A (ja) | テレビ会議システム | |
EP1705911A1 (en) | Video conference system | |
JPH11252411A (ja) | Tv音声制御装置 | |
CN113905204B (zh) | 图像显示方法、装置、设备及存储介质 | |
US7986336B2 (en) | Image capture apparatus with indicator | |
JP3462336B2 (ja) | 状況入力装置及び分散地点間での状況通信装置 | |
CN102308597B (zh) | 会议传声系统 | |
JP2013232830A (ja) | 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム | |
JP5171772B2 (ja) | テレビインターホン装置 | |
JP2004289779A (ja) | 移動体撮像方法、移動体撮像システム | |
KR100264035B1 (ko) | 화상회의 시스템의 카메라 방향 조정 장치와 제어 방법 | |
JPH0983856A (ja) | インテリジェントカメラ装置 | |
KR20000037652A (ko) | 영상회의 시스템에서의 음원 추적에 의한 카메라 제어 방법 | |
JPH02202275A (ja) | テレビ会議システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070815 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080815 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090815 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |