JP3659528B2 - テレビ会議システム - Google Patents
テレビ会議システム Download PDFInfo
- Publication number
- JP3659528B2 JP3659528B2 JP15940396A JP15940396A JP3659528B2 JP 3659528 B2 JP3659528 B2 JP 3659528B2 JP 15940396 A JP15940396 A JP 15940396A JP 15940396 A JP15940396 A JP 15940396A JP 3659528 B2 JP3659528 B2 JP 3659528B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- transmission
- audio
- request
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/005—Statistical coding, e.g. Huffman, run length coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/148—Interfacing a video terminal to a particular transmission medium, e.g. ISDN
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の映像／音声ソースからの映像／音声信号を選択的にネットワークに出力する送信処理装置を有するテレビ会議システムに関する。
【０００２】
【従来の技術】
コンピュータ（パーソナル・コンピュータ又はワークステーション）にカメラ、映像モニタ、マイク及びスピーカなどの映像音声入出力機器を接続して、端末間で映像及び音声を送受信できるようにした通信端末装置の構成は周知であり、例えば、テレビ会議又はビデオ会議のための通信端末装置として既に一般に使用されている。
【０００３】
カメラから入力された映像信号及びマイクにより入力された音声信号はそれぞれ、ディジタル化され、所定方式で符号化されてローカル・エリア・ネットワーク又はワイド・エリア・ネットワーク等のネットワークに出力される。ネットワークからの符号化された映像信号及び音声信号は復号化され、それぞれ、映像モニタ及びスピーカから出力される。マイクとスピーカは、音声の回り込みによるエコーを回避するためのエコーキャンセラと組みあわされる。スピーカ・フォンとして構成されているものもある。
【０００４】
従来、このようなテレビ会議システムは専用通信端末により構成されていたが、コンピュータの処理能力の向上により、オフィスの各人のデスクトップにあるコンピュータを通信端末としてテレビ会議又はビデオ会議を行なえるようになってきている。
【０００５】
映像及び／音声を遠隔地に伝送する用途では、テレビ会議だけでなく、色々な場所の様子を観察する遠隔監視システムなどがある。
【０００６】
【発明が解決しようとする課題】
映像伝送では、カメラの出力映像信号をディジタル化して取り込むためのビデオ・キャプチャ装置と圧縮符号化のビデオ圧縮装置に大きなコストがかかる。各人のコンピュータに装備した場合、その稼働率からみて、コスト効果比が低い。
【０００７】
また、遠隔監視システムのような用途では、ビデオ圧縮装置の性能（例えば、秒間３０フレームの符号化が可能）に対して、必ずしも１地点の画像をそんな高いフレーム・レートで更新する必要がなく、例えば秒間１フレームで良いといった利用形態がある。そのような利用形態では、秒間３０フレームの能力を持つビデオ圧縮装置は過剰仕様となる。
【０００８】
本発明は、このような問題点に鑑み、簡便な構成でコスト効果比の良いテレビ会議システムを堤供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明に係るテレビ会議システムは、映像と音声の通信により複数の通信端末間でテレビ会議を行うテレビ会議システムであって、映像及び音声の少なくとも一方についての複数の入力から１つを選択して、ネットワークに送信する送信処理装置であって、複数のアナログ入力信号を与えられた指示に応じて切り換える切り換え手段と、当該切り換え手段から出力されるアナログ信号をディジタル化するＡ／Ｄ変換手段と、当該Ａ／Ｄ変換手段のディジタル出力を圧縮符号化する符号化手段と、当該符号化手段により符号化されたデータをネットワークに出力する出力手段とを具備し、当該符号化手段が、映像符号化手段と音声符号化手段を具備する送信処理装置を少なくとも１台具備し、１以上の通信端末に関連するカメラの映像及びマイクの音声が所定の送信処理装置に接続され、１以上の通信端末が、符号化映像情報及び符号化音声情報の復号化手段を具備することを特徴とする。
【００１１】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【００１２】
図１は、本発明の第１実施例の概略構成ブロック図を示す。本実施例の映像／音声送信処理装置１０は、複数の（本実施例では４つの）映像・音声入力から送信処理すべき映像音声信号を選択するスイッチ１２と、スイッチ１２により選択された映像音声信号を送信処理する送信処理装置１４とからなる。
【００１３】
送信処理装置１４内のビデオ・キャプチャ１６は、スイッチ１２により選択された映像信号をディジタル化する。ビデオ・エンコーダ１８は、モーションＪＰＥＧ、ＭＰＥＧ及びＨ．２６１の各符号化方式に対応する符号化モジュールを具備し、ビデオ・キャプチャ１６の出力信号をモーションＪＰＥＧ、ＭＰＥＧ及びＨ．２６１に従って圧縮符号化する。セレクタ２０は、各符号化方式の圧縮映像データの内、送信すべき圧縮映像データを選択し、選択したデータを通信バッファ２２に供給する。他方、音声エンコーダ２４は、スイッチ１２により選択された音声信号をディジタル化及び符号化して、通信バッファ２２に供給する。通信バッファ２２に書き込まれた符号化映像データ及び符号化音声データは、適宜のフォーマット及び速度でネットワーク３０に読み出される。
【００１４】
制御回路２６は、ネットワーク３０を介して受信した制御コマンドに従い、スイッチ１２、ビデオ・キャプチャ１６、ビデオ・エンコーダ１８、セレクタ２０及び音声エンコーダ２４を制御する。
【００１５】
図２は、図１に示す実施例の動作を示すフローチャートである。先ず、送信要求、送信終了要求及び送信起動などのイベントの待ち状態になる（Ｓ１）。映像／音声送信要求を受け付けると（Ｓ２）、新たな送信処理を開始する（Ｓ３）。映像／音声送信終了要求を受け付けると（Ｓ４）、指定された映像／音声の送信処理を終了する（Ｓ５）。送信スケジューラにより映像音声送信動作を起動するイベントが発生すると（Ｓ６）、カメラからの画像データの獲得と送信処理を開始する（Ｓ７）。
【００１６】
本実施例には、２種類の送信要求がある。第１は、テレビ会議のように高いフレーム・レートの映像データ通信を要求する場合である。この場合、スイッチ１２又は送信処理装置１４の切り替え速度を上回るフレーム・レートが要求されたときには、その要求に応じるために全ての送信動作を占有する必要が発生する。このような要求を占有的処理要求と呼ぶことにする。第２は、カメラを切り替えながらの監視のように、高いフレーム・レートを要求されない場合である。このような要求を非占有的処理要求と呼ぶことにする。
【００１７】
非占有的処理要求は複数、受け付け可能であり、送信スケジューラが、指定の映像／音声ソースからの信号を順に選択し、送信する。送信スケジューラは、実際にはタイマ・イベントにより実現される。
【００１８】
制御回路２６は、まず、イベント待ち状態（Ｓ１）になる。外部からの通信又は送信スケジューラのタイマ・イベントが発生すると、通信内容及びイベントの種類に応じて、Ｓ２、Ｓ４又はＳ６の何れかに進む。
【００１９】
通信されてきたメッセージが新たな送信要求である場合、映像／音声送信要求受け付け処理（Ｓ２）に進み、メッセージの内容を読み出す。次いで、メッセージ内容に従って送信開始処理（Ｓ３）を実行する。
【００２０】
通信されてきたメッセージが送信終了の要求である場合、音声／映像送信終了要求の受け付け処理（Ｓ４）に進み、メッセージの内容を読み出す。次いで、メッセージの内容に従って送信終了処理（Ｓ５）を実行する。
【００２１】
タイマ・イベントが発生した場合には、送信処理プロセスを再起動し、イベント待ち状態（Ｓ１）に戻る。起動された送信処理プロセスが、カメラからの映像データの獲得と送信の処理を実行し、タイマを設定する（Ｓ７）。
【００２２】
図３は、図２の送信開始処理（Ｓ３）の詳細なフローチャートを示す。制御回路２６は、まず、占有的処理要求が既にあるか否かを判定する（Ｓ１１）。占有的処理要求がある場合（Ｓ１１）、他の要求を受けつけられないので、当該開始要求を拒否する（Ｓ１５）。占有的処理要求が無い場合（Ｓ１１）、開始しようとしている処理自体が占有的処理要求であるか否かを判定する（Ｓ１２）。非占有的処理要求の場合（Ｓ１２）、送信スケジューラに送信要求処理プロセスを追加し、起動のためのタイマを設定して終了する（Ｓ１３）。占有的処理要求の場合（Ｓ１２）、他の要求と共存できないので、既存の要求の処理プロセスを一時停止させた（Ｓ１４）、その後、送信スケジューラに送信要求処理プロセスを追加し、起動のためのタイマを設定して終了する（Ｓ１３）。
【００２３】
図４は、図２の送信終了処理（Ｓ５）の詳細なフローチャートを示す。制御回路２６は、まず、指定された終了すべき処理が実際に存在するかどうかを、送信スケジューラを参照して判定する（Ｓ２１）。終了指定された処理が無い場合（Ｓ２１）、エラー・メッセージを返す（Ｓ２４）。終了指定された処理が存在する場合（Ｓ２１）、対応する送信要求処理プロセスに終了信号を送り、送信スケジューラからそのプロセスを削除する（Ｓ２２）。その後、終了したプロセスが占有的処理要求によるものかどうかを判定し（Ｓ２３）、占有的処理要求によるものであれば（Ｓ２３）、そのプロセスにより一時停止状態にされたプロセスを送信スケジューラを参照して再起動可能な状態に戻し、終了する（Ｓ２５）。
【００２４】
カメラからの映像データの獲得と送信処理（Ｓ７）の内容は、処理要求が占有的処理要求であるか否かによって異なる。図５は、図２のＳ７の詳細であって、非占有的処理要求に対する処理の流れを示す。先ず、制御回路２６は、要求されたカメラの映像を入力するようにスイッチ１２を設定し（Ｓ３１）、要求された映像サイズになるようにビデオ・キャプチャ１６を設定する（Ｓ３２）、ビデオ・エンコーダ１８の３つの出力の内、要求された圧縮方式に応じた符号化データを選択するようにセレクタ２０を設定し（Ｓ３３）、ビデオ・エンコーダ１８の符号化パラメータを設定する（Ｓ３４）。
【００２５】
その後、カメラ映像が取り込まれ、データ送信される。即ち、ビデオ・キャプチャ１６がスイッチ１２からの映像信号をディジタル化し（Ｓ３５）、ビデオ・エンコーダ１８がディジタル化された映像信号を圧縮符号化する（Ｓ３６）。指定の符号化方式の符号化映像データがセレクタ２０により選択され、通信バッファ２２に格納される（Ｓ３７）。同時に、音声エンコーダ２４が、選択された音声信号をディジタル化及び符号化し、通信バッファ２２に格納する。通信バッファ２２に格納された符号化映像データ及び符号化音声データは、適当なレート及びフォーマットでネットワーク３０に読み出され、要求元（又は指定の相手）に送信される（Ｓ３８）。送信後、タイマを次の送信時期に設定して、終了する。
【００２６】
なお、この実施例では、ビデオ・エンコーダ１８内の３つのエンコード・モジュール全てにおいて符号化処理が行なわれているが、選択された符号化方式に対応するものだけが動作するようにしてもよい。
【００２７】
図６及び図７は、図２のＳ７の詳細であって、占有的処理要求に対する処理の流れを示す。図６は初期化処理であり、図７は、カメラからの映像データの獲得と送信処理の流れを示す。占有的処理要求の場合、非占有的処理要求のＳ３１〜Ｓ３４に相当する初期化設定操作が１回目（及び送信要求パラメータの変更時）にのみ行なわれ、その後はデータ獲得と送信動作のみが繰り返される。
【００２８】
初期化処理として、図６に示すように、先ず、制御回路２６は、要求されたカメラの映像を入力するようにスイッチ１２を設定し（Ｓ４１）、要求された映像サイズになるようにビデオ・キャプチャ１６を設定する（Ｓ４２）、ビデオ・エンコーダ１８の３つの出力の内、要求された圧縮方式に応じた符号化データを選択するようにセレクタ２０を設定し（Ｓ４３）、ビデオ・エンコーダ１８の符号化パラメータを設定する（Ｓ４４）。これらの処理は、図５のＳ３１〜Ｓ３４と同じである。
【００２９】
これらの初期化処理の後、実際に、カメラ映像の獲得と送信処理を繰り返す。即ち、ビデオ・キャプチャ１６が、スイッチ１２からの映像信号をディジタル化し（Ｓ５１）、ビデオ・エンコーダ１８が、ディジタル化された映像信号を圧縮符号化する（Ｓ５２）。指定の符号化方式の符号化映像データがセレクタ２０により選択され、通信バッファ２２に格納される（Ｓ５３）。同時に、音声エンコーダ２４が、選択された音声信号をディジタル化及び符号化し、通信バッファ２２に格納する。通信バッファ２２に格納された符号化映像データ及び符号化音声データは、適当なレート及びフォーマットでネットワーク３０に読み出され、要求元（又は指定の相手）に送信される（Ｓ５４）。送信後、タイマを次の送信時期に設定して、終了する。
【００３０】
以上の説明では、１つのカメラ又はマイクからの入力信号を１つの送信先に送る動作を示したが、１つのカメラ又はマイクからの入力信号に対する送信要求が複数の端末からあった場合、これらを一括して複数の送信先に送ることができることはネットワーク技術として明らかである。
【００３１】
送信データのサイズやレート等のパラメータ変更要求があった際には、図６の初期化処理が再実行された後に、図７の動作が続く。この際、パラメータの変更により占有的処理要求が非占有的処理要求となる場合には、停止された処理プロセスを再起動可能な状態に戻す。
【００３２】
また、映像／音声データの符号化及び通信バッファ２２への格納までのステップ（図５のＳ３１〜Ｓ３７、及び図７のＳ５１〜Ｓ５３）と通信バッファ２２に格納されるデータの送信（図５のＳ３８及び図７のＳ５４）を別々のプロセス（符号化処理プロセスと送信プロセス）とすると共に２つのバッファを用意し、Ｓ３８又はＳ５４を実行する送信プロセスが一方のバッファのデータをネットワークに出力している間に、符号化処理プロセスが次に送るべきデータをもう一方のバッファに格納するようにすることで、データ送信を効率を向上させることができる。このような技術自体は、並列処理技術として公知である。
【００３３】
図８は、図１に示す実施例を利用するテレビ会議システムのネットワーク構成の模式図を示す。図１に示す映像送信処理装置１０のスイッチ１２には、２台の端末４０ａ，４０ｂのカメラ出力及びマイク出力が入力されている。端末４０ａはワークステーション４２ａをベースとし、端末４０ｂはパーソナル・コンピュータ４２ｂをベースとしており、それぞれ、カメラ４４ａ，４４ｂ、マイク４６ａ，４６ｂ、映像モニタ４８ａ，４８ｂ及びスピーカ５０ａ，５０ｂが接続されている。マイク４６ａ，４６ｂとスピーカ５０ａ，５０ｂは、例えばスピーカ・フォン構成になっている。
【００３４】
一例として、端末４０ａは、ＦＤＤＩなどの高速ネットワークを介してネットワーク３０に接続し、ワークステーション４２ａは例えば、映像／音声の符号化信号を復号化するハードウェアを具備する。また、端末４０ｂは、イーサネット５２及びルータ５４を介してネットワーク３０に接続し、コンピュータ４２ｂは、映像／音声の符号化信号を復号化するソフトウエアを具備する。ここでは、映像送信処理装置１０の出力が接続するネットワーク３０は、基幹ネットワーク又はそれに近い高速ネットワークであるとする。
【００３５】
この環境下でテレビ会議の行なわれる様子を説明する。なお、端末４０ａと図示しない別の端末との間でテレビ会議が行なわれるとする。
【００３６】
テレビ会議では、自分の画像と通信相手（複数人も可）の画像をモニタ上に表示し、相手の声を自分の端末のスピーカから出力する。端末４０ａを自端末とすると、これは、自端末映像の受信処理を起動すると共に、相手端末の映像及び音声の受信処理を起動することで、実現される。
【００３７】
自端末映像の受信処理と相手端末の映像及び音声の受信処理は、ほぼ同様の動作となるので、以下、相手端末の映像及び音声の受信処理を例に説明する。
【００３８】
図９は、自端末上で動作する映像音声受信処理と、相手側のカメラ出力及びマイク出力が入力する映像音声送信処理装置（以下、相手側映像音声送信処理装置という。）のデータ送信処理との関係を示す。Ｓ６１〜Ｓ６７は自端末上で動作する映像音声の受信処理を示し、Ｓ６８〜Ｓ７０は、相手側映像音声送信処理装置のデータ送信処理を示す。
【００３９】
まず、自端末上で受信処理が起動する。映像表示及び音声出力に必要なウィンドウ・システム上のモジュールなどが初期設定され（Ｓ６１）、データ受信のためのバッファが用意される（Ｓ６２）。受信のためのポートが開かれ、受け付け可能状態になる（Ｓ６３）。相手側映像音声送信処理装置に、相手端末のカメラ出力及びマイク出力の送信を要求する（Ｓ６４）。相手側映像音声送信処理装置はこの要求を受けると、もし受け入れられるならば、送信の初期設定を実行し、相手端末（端末４０ａ）側の受信ポートへの通信コネクションを要求する（Ｓ６８）。これにより、自端末（端末４０ａ）は、相手側映像音声送信処理装置との間に通信コネクションを確立する（Ｓ６５）。
【００４０】
相手側映像音声送信処理装置は、映像及び音声データを獲得及び符号化して通信バッファに格納し（Ｓ６９）、通信バッファに格納されるデータを通信相手（端末４０ａ）に送信する（Ｓ７０）。
【００４１】
自端末（端末４０ａ）は、符号化されたデータを受信し（Ｓ６６）、これを復号化して、映像を映像モニタ４８ａのウィンドウに表示し、音声をスピーカ５０ａから出力する（Ｓ６７）。
【００４２】
その後、相手側映像音声送信処理装置は、Ｓ６９とＳ７０を繰り返し、端末４０ａも、Ｓ６６とＳ６７を繰り返す。これにより、映像及び音声が連続的に転送され、再生される。
【００４３】
カメラの映像出力及びマイク出力はアナログ信号のレベルで分岐されコンピュータ４２ａ，４２ｂと映像音声送信処理装置１０の両方に入力されるように構成しても良い。その場合、自分の映像を受信する必要はなくなるが、カメラ入力をディジタル化するビデオ・キャプチャ機能がコンピュータ４２ａ，４２ｂに必要になる。
【００４４】
尚、カメラ４４ａ，４４ｂ及びマイク４６ａ，４６ｂの出力を無線により映像音声送信処理装置１０に送信することで、配線の負担を無くすことができる。
【００４５】
このようにして、多数のカメラ・マイクの映像音声情報を伝送する環境を低コストで実現できる。また、受信端末の性能や機能に応じて、異なる圧縮符号化方式や適切な送信パラメータを用いて映像音声データを送受信できる。
【００４６】
音声信号の処理を省いて、映像信号のみを送信処理するようにしてもよい。図１０は、音声信号の処理を省略した映像送信処理装置の概略構成ブロック図を示す。図１に示す実施例から、スイッチ１２の音声入力を無くし、送信処理装置１４の音声デコーダ２４を除去した構成になっている。映像を用いた監視などの用途には、音声情報が不要な場合もあり、図１０に示すように構成することで、よりコスト効果比の良いシステムとすることができる。図１１は、図１０に示す映像送信処理装置を用いた遠隔監視システムの構成例であり、図８に示す構成から、音声の入出力装置を取り除いたものになっている。
【００４７】
このように構成することにより、より安価な構成で、監視のような目的に最適のシステムを安価に構成できる。
【００４８】
図８に示す構成をワイド・エリア・ネットワーク（ＷＡＮ）に拡張できることは明らかである。例えば、図１２に示すように、一般にビデオ・ゲートウエイなどと呼ばれる映像音声ＷＡＮ交換機６０を組みあわせればよい。
【００４９】
このように構成することにより、ＩＳＤＮなどの公衆通信回線網を介して外部のネットワークとの間でデータ交換できる。
【００５０】
上述の実施例では、映像信号を取り込むビデオ・キャプチャ及び映像と音声のエンコーダを共用することにより、そのためのコストを低減できるが、一般二、スイッチ１２としてあまり高速のものを利用できない（高価になる、大型になる。）ので、高いフレーム・レートを要求される用途では、複数の信号を実質的にも同時に扱うことができない。
【００５１】
以下に、この問題点を解決した実施例を説明する。図１３は、本発明の第３実施例の概略構成ブロック図を示す。１１０は映像音声送信サーバ、１１２は８つの映像音声入力から任意の４つの映像音声信号を選択し、選択された４つの映像音声信号の４つの出力ポートから任意に出力できるマトリクス・スイッチ、１１４は、マトリクス・スイッチ１１２からの４つの映像音声信号の１つを選択するか、又は、４つの映像音声信号を時間軸圧縮し、映像信号については４画面のマルチ画構成に合成し、音声信号については時間軸で１／４に圧縮して合成する画面分割ユニットである。
【００５２】
映像音声送信サーバ１１０は、画面分割ユニット１１４から出力される映像信号を取り込み、ディジタル化する映像キャプチャ装置１１６と、映像キャプチャ装置１１６の出力映像データを圧縮符号化する映像エンコーダ１１８と、画面分割ユニット１１４から出力される音声信号を取り込み、ディジタル化する音声キャプチャ装置１２０と、音声キャプチャ装置１２０の出力音声データを圧縮符号化する音声エンコーダ１２２と、エンコーダ１１８，１２２の符号化データ及び送信すべき情報を一時格納する通信バッファ１２４と、映像音声送信サーバ１１０の全体、マトリクス・スイッチ１１２及び画面分割ユニット１１４を制御する制御回路１２６からなる。
【００５３】
画面分割ユニット１１４は、図１４に示すように分割モードと選択モードの２つの動作モードを具備する。分割モードは４つの入力映像を水平及び垂直で１／２に縮小して１画面に合成するモードである。このとき、画面分割ユニット１１４は４つの入力音声を時間軸で圧縮及び合成して出力する。選択モードは、４つの入力映像音声信号の内の任意の１つを選択して出力するモードである。このような機能を有する装置として、例えば、ソニー株式会社製ＹＳ−Ｑ４３０などがある。
【００５４】
エンコーダ１１８は、例えば、図１５に示すように、それぞれ異なる圧縮符号化方式（例えば、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ及びＩＴＵ−Ｔ勧告Ｈ．２６１）に対応する複数のエンコーダ１３０，１３２，１３４を設け、制御回路１２６の制御下で、スイッチ１３６が、入力映像データを何れか指定のエンコーダ１３０，１３２，１３４に供給するようにした構成であってもよい。音声エンコーダ１２２についても、同様である。
【００５５】
制御回路１２６は外部からの送信要求の内容に応じて、マトリクス・スイッチ１１２及び画面分割ユニット１１４を設定すると共に、映像キャプチャ装置１１６、映像エンコーダ１１８、音声キャプチャ装置１２０及び音声エンコーダ１２２を制御して、適切な送信データを生成し、通信バッファ１２４を介して外部ネットワークに送信させる。
【００５６】
図１６は、図１３の実施例の動作を示す流れ図である。先ず、送信要求、送信終了要求及び送信起動などのイベントの待ち状態になる（Ｓ１０１）。映像／音声送信要求を受け付けると（Ｓ１０２）、新たな送信処理を開始する（Ｓ１０３）。映像／音声送信終了要求を受け付けると（Ｓ１０４）、指定された映像／音声の送信処理を終了する（Ｓ１０５）。送信スケジューラにより映像音声送信動作を起動するイベントが発生すると（Ｓ１０６）、カメラ／マイクからの映像／音声の獲得と送信処理を開始する（Ｓ１０７）。
【００５７】
この実施例でも、送信要求には占有的処理要求と非占有的処理要求の２種類がある。占有的処理要求は、全ての送信動作を特定のデータで占有させることにより高いフレーム・レートでのデータ通信を可能にする送信要求である。映像音声送信サーバ１１０に要求するフレーム・レートがマトリクス・スイッチ１１２の切り替え速度を上回る場合、占有的処理要求にする必要がある。非占有的処理要求は、高いフレーム・レートを割り当てずに、複数の映像音声信号を送信する送信要求である。非占有的処理要求は、複数受け付けることができ、送信スケジューラにより順に起動される。送信スケジューラは、実際にはタイマ・イベントにより実現される。
【００５８】
各送信要求は、さらに２種類に分けられる。第１は、テレビ会議などを行うために、解像度よりも映像のフレーム・レートを優先したデータ送信要求である。このときには、画面分割ユニット１１４の動作モードを分割モードに設定し、複数画面をマトリクス・スイッチ１１２の切り替えなしに取り込み、符号化することで実現される。第２は、物体の細部の観察などを行なうためにフレーム・レートよりも解像度を優先したデータ送信要求である。このときは、画面分割ユニット１１４の動作モードを選択モードに設定し、マトリクス・スイッチ１１２により、送信したい映像音声信号を選択する。
【００５９】
制御回路１２６は、まず、イベント待ち状態（Ｓ１０１）になる。外部からの通信又は送信スケジューラのタイマ・イベントが発生すると、通信内容及びイベントの種類に応じて、Ｓ１０２、Ｓ１０４又はＳ１０６の何れかに進む。
【００６０】
受信したメッセージが新たな送信要求である場合、映像／音声送信要求受け付け処理（Ｓ１０２）に進み、メッセージの内容を読み出す。次いで、メッセージ内容に従って送信開始処理（Ｓ１０３）を実行する。
【００６１】
受信したメッセージが送信終了の要求である場合、音声／映像送信終了要求の受け付け処理（Ｓ１０４）に進み、メッセージの内容を読み出す。次いで、メッセージの内容に従って送信終了処理（Ｓ１０５）を実行する。
【００６２】
タイマ・イベントが発生した場合には、送信処理プロセスを再起動し、イベント待ち状態（Ｓ１０１）に戻る。起動された送信処理プロセスが、カメラ／マイクからの映像／音声の獲得と送信の処理を実行し、再びタイマを設定する（Ｓ１０７）。
【００６３】
図１７は、図１６の送信開始処理Ｓ１０３の詳細なフローチャートを示す。制御回路１２６は、まず、占有的処理要求が既にあるか否かを判定する（Ｓ１１１）。占有的処理要求がある場合（Ｓ１１１）、他の要求を受けつけられないので、当該開始要求を拒否する（Ｓ１１５）。占有的処理要求が無い場合（Ｓ１１１）、開始しようとしている処理自体が占有的処理要求であるか否かを判定する（Ｓ１１２）。非占有的処理要求の場合（Ｓ１１２）、送信スケジューラに、解像度優先かフレームレート優先かに応じた送信要求プロセスを追加し、起動のためのタイマを設定して終了する（Ｓ１１３）。占有的処理要求の場合（Ｓ１１２）、他の要求と共存できないので、既存の要求の処理プロセスを一時停止させた（Ｓ１１４）、その後、送信スケジューラに送信要求処理プロセスを追加し、起動のためのタイマを設定して終了する（Ｓ１１３）。
【００６４】
非占有的処理要求の処理プロセスを送信スケジューラに追加する手順を、図１８に示す。まず、処理要求を受け取り（Ｓ１２１）、受け取った処理要求が要求するカメラと同じカメラに帯する送信処理要求が既に送信スケジューラに存在するかどうかを調べる（Ｓ１２２）。同じカメラに対する送信処理要求が存在すれば（Ｓ１２２）、その送信処理プロセスに、今受け取った送信要求の送信先を追加して終了する（Ｓ１２３）。同じカメラに対する送信処理要求が存在しない場合（Ｓ１２２）、Ｓ１２１で受け取った処理要求が解像度優先かフレーム・レート優先かを判断する（Ｓ１２４）。解像度優先の場合（Ｓ１２４）、新たに起動のためのタイマを設定して終了する（Ｓ１２５）。フレーム・レート優先であれば（Ｓ１２４）、フレームレート優先処理要求の待ち行列に空きが存在するかどうかを、送信スケジューラを参照して調べ（Ｓ１２６）、空きが存在しなければ（Ｓ１２６）、新たに起動のためのタイマを設定して終了し８Ｓ１２５）、空きがあれば（Ｓ１２６）、空いている場所に処理を追加して終了する８Ｓ１２７）。
【００６５】
このような手順により、図１９に例示するような送信要求列に対し、送信スケジューラの送信スケジュールは、図２０に示すようになる。
【００６６】
図２１は、図１６の送信終了処理Ｓ１０５の詳細なフローチャートである。制御回路１２６は、まず、指定された終了すべき処理が実際に存在するかどうかを、送信スケジューラを参照して判定する（Ｓ１３１）。終了指定された処理が無い場合（Ｓ１３１）、エラー・メッセージを返す（Ｓ１３４）。終了指定された処理が存在する場合（Ｓ１３１）、対応する送信要求処理プロセスに終了信号を送り、送信スケジューラからそのプロセスを削除する（Ｓ１３２）。その後、終了したプロセスが占有的処理要求によるものかどうかを判定し（Ｓ１３３）、占有的処理要求によるものであれば（Ｓ１３３）、そのプロセスにより一時停止状態にされたプロセスを送信スケジューラを参照して再起動可能な状態に戻し、終了する（Ｓ１３５）。
【００６７】
図１６のＳ１０７、即ち、カメラ／マイクからの映像／音声データの獲得と送信処理の内容は、処理要求が占有的処理要求であるか否かによって異なる。
【００６８】
図２２は、図１６のＳ１０７の詳細であって、非占有的処理要求の場合のフローチャートを示す。先ず、制御回路１２６は、画面分割ユニット１１４の動作モードを、要求が解像度優先であれば選択モードに、要求がフレーム・レート優先であれば分割モードにそれぞれ設定する（Ｓ１４１）。要求されたカメラ／マイクの映像／音声を取り込むように、マトリクス・スイッチ１１２を設定し（Ｓ１４２）、要求された映像サイズ及び音質になるように映像キャプチャ装置１１６及び音声キャプチャ装置１２０のパラメータを設定する（Ｓ１４３）。映像キャプチャ装置１１６及び音声キャプチャ装置１２０は映像／音声データを取り込んでディジタル化する（Ｓ１４４）。
【００６９】
映像エンコーダ１１８及び音声エンコーダ１２２に圧縮符号化パラメータ（符号化方式と圧縮率等のパラメータ、更には符号化する範囲）を設定し（Ｓ１４５）、キャプチャ装置１１６，１２０の出力をその条件で圧縮符号化させる（Ｓ１４６）。圧縮符号化条件の符号化する範囲は、例えば、送信要求が解像度優先である場合には画面全体、フレーム・レート優先の場合には、画面分割ユニット１１４によって分割された画面の内、未だ符号化されていない領域の一つである。符号化された映像／音声データは通信バッファ１２４に一時格納され（Ｓ１４７）、通信バッファ１２４からネットワークを介して要求元（又は指定の相手）に送出される。この送信後、送信スケジューラに次の送信要求処理プロセスを追加する。キャプチャされた全ての領域が送信され終えるまで、Ｓ１４５〜Ｓ１４８を繰り返す（Ｓ１４９）。
【００７０】
各入力ごと及び分割された各領域ごとに符号化パラメータを設定するので（Ｓ１４５）、各領域を異なった符号化条件で符号化できる。また、エンコーダ１１８，１２２が複数の圧縮符号化方式に対応している場合には、各入力ごとに異なった圧縮符号化方式で符号化することも可能になる。
【００７１】
図２３及び図２４は、図１６のＳ１０７の詳細であって、占有的処理要求の場合の流れを示す。図２３は初期化処理であり、図２４は、カメラ／マイクからの映像／音声データの獲得と送信処理の流れを示す。占有的処理要求の場合、図２２のＳ１４１乃至Ｓ１４３、及びＳ１４５に相当する初期化設定操作が１回目（及び送信要求パラメータの変更時）にのみ行なわれ、その後はデータ獲得と送信動作のみが繰り返される。
【００７２】
図２３を説明する。まず、画面分割ユニット１１４を選択モードに設定する（Ｓ１５１）。このように設定することにより、ある特定のカメラからの信号を高速に送信できる。次いで、要求されたカメラ／マイクの映像／音声が入力されるようにマトリクス・スイッチ１１２を設定する（Ｓ１５２）。映像キャプチャ装置１１６及び音声キャプチャ装置１２０に送信要求の内容に応じたパラメータを設定し（Ｓ１５３）、映像エンコーダ１１８及び音声エンコーダ１２２にも送信要求の内容に応じたパラメータを設定する（Ｓ１２２）。なお、Ｓ１５１で画面分割ユニット１１４を分割モードに設定すれば、複数のカメラ（図１４の例では、最大４箇所）からの映像を高速に送信できる。
【００７３】
図２４を説明する。映像キャプチャ装置１１６及び音声キャプチャ装置１２０は、画面分割ユニット１１４から出力される映像信号及び音声信号をそれぞれ取り込んでディジタル化する（Ｓ１６１）。映像エンコーダ１１８及び音声エンコーダ１２２はそれぞれ映像キャプチャ装置１１６及び音声キャプチャ装置１２０の出力データを圧縮符号化し（Ｓ１６２）、符号化データを通信バッファ１２４に格納する（Ｓ１６３）。通信バッファ１２４に格納されたデータは、所定のレート及びフォーマットでネットワークを介して送信要求元（又は指定の相手）に送信される（Ｓ１６４）。送信後、タイマを次の送信時期に設定して、終了する。
【００７４】
図２２及び図２４に示す送信処理プロセスで映像／音声データの符号化及び通信バッファ１２４への格納のステップ（Ｓ１４５〜Ｓ１４７及びＳ１６１〜Ｓ１６３）と、通信バッファ１２４に格納されているデータの送信（Ｓ１４８及びＳ１６４）を別のプロセスとすると共に２つのバッファを用意し、Ｓ１４８及びＳ１６４を実行する送信プロセスが一方のバッファのデータを転送している間に、符号化プロセスが次に送信すべきデータを他方のバッファに格納するようにして、通信バッファの書き込みと読み出しを同時に実行し、データ送信の効率を向上させることができる。
【００７５】
図２５は、図１３に示す実施例を利用するテレビ会議システムのネットワーク構成の模式図を示す。１４０は、図１３に示す映像音声送信サーバ１１０、マトリクス・スイッチ１１２及び画面分割ユニット１１４からなる映像音声送信処理装置であり、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク、一般公衆電話回線、その他のネットワークなどからなる通信ネットワーク１４２に接続している。
【００７６】
映像音声送信処理装置１４０のマトリクス・スイッチ１１２の入力には、個人の机上又はサイドに配置される２台の端末１４４ａ，１４４ｂのカメラ出力及びマイク出力が接続されている。端末１４４ａはワークステーション１４６ａをベースとし、端末１４４ｂはパーソナル・コンピュータ１４６ｂをベースとしており、それぞれ、カメラ１４８ａ，１４８ｂ、マイク１５０ａ，１５０ｂ、映像モニタ１５２ａ，１５２ｂ及びスピーカ１５４ａ，１５４ｂが接続されている。マイク１５０ａ，１５０ｂとスピーカ１５４ａ，１５４ｂは、例えばスピーカ・フォン構成になっている。
【００７７】
一例として、端末１４４ａは、ＦＤＤＩなどの高速ネットワークを介してネットワーク１４２に接続し、ワークステーション１４６ａは例えば、映像／音声の符号化信号を復号化するハードウェアを具備する。また、端末１４２ｂは、イーサネット１５６及びルータ１５８を介してネットワーク１４２に接続し、コンピュータ１４６ｂは、映像／音声の符号化信号を復号化するソフトウエアを具備する。ここでは、映像音声送信処理装置１４０の出力が接続するネットワーク１４２は、基幹ネットワーク又はそれに近い高速ネットワークであるとする。
【００７８】
この環境下でテレビ会議の行なわれる様子を説明する。なお、端末１４４ａと図示しない別の端末との間でテレビ会議が行なわれるとする。
【００７９】
テレビ会議では、自分の画像と通信相手（複数人も可）の画像をモニタ上に表示し、相手の声を自分の端末のスピーカから出力する。端末１４４ａを自端末とすると、これは、自端末映像の受信処理を起動すると共に、相手端末の映像及び音声の受信処理を起動することで、実現される。
【００８０】
自端末映像の受信処理と相手端末の映像及び音声の受信処理は、ほぼ同様の動作となるので、以下、相手端末の映像及び音声の受信処理を例に説明する。
【００８１】
図２６は、自端末上で動作する映像音声受信処理と、相手側のカメラ出力及びマイク出力が入力する映像音声送信処理装置（以下、相手側映像音声送信処理装置という。）のデータ送信処理との関係を示す。Ｓ１７１〜Ｓ１７７は自端末上で動作する映像音声の受信処理を示し、Ｓ１７８〜Ｓ１８０は、相手側映像音声送信処理装置のデータ送信処理を示す。
【００８２】
まず、自端末上で受信処理が起動する。映像表示及び音声出力に必要なウィンドウ・システム上のモジュールなどが初期設定され（Ｓ１７１）、データ受信のためのバッファが用意される（Ｓ１７２）。受信のためのポートが開かれ、受け付け可能状態になる（Ｓ１７３）。相手側映像音声送信処理装置に、相手端末のカメラ出力及びマイク出力の送信を要求する（Ｓ１７４）。相手側映像音声送信処理装置はこの要求を受けると、もし受け入れられるならば、送信の初期設定を実行し、相手端末（端末１４４ａ）側の受信ポートへの通信コネクションを要求する（Ｓ１７８）。これにより、自端末（端末１４４ａ）は、相手側映像音声送信処理装置との間に通信コネクションを確立する（Ｓ１７５）。
【００８３】
相手側映像音声送信処理装置は、映像及び音声データを獲得及び符号化して通信バッファに格納し（Ｓ１７９）、通信バッファに格納されるデータを通信相手（端末１４４ａ）に送信する（Ｓ１８０）。
【００８４】
自端末（端末１４４ａ）は、符号化されたデータを受信し（Ｓ１７６）、これを復号化して、映像を映像モニタ１５２ａのウィンドウに表示し、音声をスピーカ１５４ａから出力する（Ｓ１７７）。
【００８５】
その後、相手側映像音声送信処理装置は、Ｓ１７９とＳ１８０を繰り返し、端末１４４ａも、Ｓ１７６とＳ１７７を繰り返す。これにより、映像及び音声が連続的に転送され、再生される。
【００８６】
カメラの映像出力及びマイク出力はアナログ信号のレベルで分岐されコンピュータ１４６ａ，１４６ｂと映像音声送信処理装置１４０の両方に入力されるように構成しても良い。その場合、自分の映像を受信する必要はなくなるが、カメラ入力をディジタル化するビデオ・キャプチャ機能がコンピュータ１４６ａ，１４６ｂに必要になる。
【００８７】
尚、カメラ１４８ａ，１４８ｂ及びマイク１５０ａ，１５０ｂの出力を無線により映像音声送信処理装置１４０に送信することで、配線の負担を無くすことができる。
【００８８】
以上説明したように構成することで、複数のカメラ及びマイクから４つ以内の複数のソースからの映像音声情報を自由に選択して送信できるようになる。
【００８９】
図２７は、図１３に示す実施例の変更例の概略構成ブロック図を示す。１６０はマトリクス・スイッチ１１２と同様の８入力・４出力のマトリクス・スイッチ、１６２ａ，１６２ｂ，１６２ｃ，１６２ｄは、マトリクス・スイッチ１６０の４出力の各映像／音声出力信号を取り込み、符号化してネットワークに送出する映像音声送信サーバ、１６４は、外部からの制御信号に従い、映像音声送信サーバ１６２ａ〜ｄ及びマトリクス・スイッチ１６０を制御する制御装置である。
【００９０】
映像音声送信サーバ１６２ａ〜１６２ｄは、マトリクス・スイッチ１６０の映像音声出力信号を取り込むキャプチャ装置１６６ａ〜１６６ｄ、キャプチャ装置１６６ａ〜１６６ｄの出力を圧縮符号化するエンコーダ１６８ａ〜１６８ｄ及びエンコーダ１６８ａ〜１６８ｄの出力をネットワークに送出するために一時格納する通信バッファ１７０ａ〜１７０ｄからなる。
【００９１】
各映像音声送信サーバ１６２ａ〜１６２ｄは、他の映像音声送信サーバ１６２ａ〜１６２ｄとは独立に、マトリクス・スイッチ１６０の出力を取り込み、符号化してネットワークに出力する。従って、各映像音声情報を高品質に送信できる。多地点間で高フレームレートかつ高解像度の信号が必要な用途では、本実施例のように複数のエンコーダを用いることにより、各端末にキャプチャ装置及びエンコーダを設置するよりもコスト効果比を高めつつ負荷を分散して、、同時に複数の信号を送信処理できる。
【００９２】
図２７に示す実施例では、ある送信処理要求を、複数の映像音声送信サーバ１６２ａ〜１６２ｄのどれに割り当てるかは、以下のように決定される。即ち、送信要求を出す側（受信側）は、送信要求を受け取る側（送信側）の映像音声送信処理装置の制御装置１６４を通じて映像音声送信サーバ１６２ａ〜１６２ｄの送信スケジューラを参照する。参照した結果に基づいて、どの映像音声送信サーバ１６２ａ〜１６２ｄに送信処理を要求するかを受信側が決定し、制御装置１６４を通じて映像音声送信サーバ１６２ａ〜１６２ｄを指定して送信処理を指令する。
【００９３】
また、受信側が指定なしに送信側の制御装置１６４に送信処理を要求すると、送信側の制御装置１６４が、映像音声送信サーバ１６２ａ〜１６２ｄの送信スケジューラを参照し、負荷や能力などに応じて自動的に適切な映像音声送信サーバ１６２ａ〜１６２ｄに処理を割り振るようにしてもよい。この場合には、受信側は、送信スケジューラの参照や映像音声送信サーバの指定などの負担を負わずに済むという効果がある。
【００９４】
いずれにしても、どの送信処理要求をどの映像音声送信サーバ１６２ａ〜１６２ｄに割り当てるかが決定されると、各映像音声送信サーバ１６２ａ〜１６２ｄの送信スケジューラに、割り振られた送信処理が追加される。制御装置１６４は、各映像音声送信サーバ１６２ａ〜１６２ｄの送信スケジューラを参照して、マトリクス・スイッチ１６０を適切に設定する。各映像音声送信サーバ１６２ａ〜１６２ｄは、設定されたマトリクス・スイッチ１６０の各出力を取り込み、圧縮符号化してネットワークに送出する。
【００９５】
図２８は、図２７に示す映像音声送信処理装置を使用したテレビ会議システムの概略構成ブロック図を示す。１８０は図２７に図示した映像音声送信処理装置である。図２５と同じ構成要素には同じ符号を付してある。このように構成することにより、コスト効果比を低下させずに、負荷を分散し、複数の信号を同時にディジタル化及び圧縮符号化することができる。
【００９６】
本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ又はプリンタ等）から構成されるシステムに適用しても、単一の機器（例えば、複写機又はファクシミリ装置など）からなる装置に適用してもよい。
【００９７】
また前述した実施形態の機能を実現する各種デバイスを動作させる様に当該各種デバイスと接続された装置又はシステム内のコンピュータに、前記実施形態の機能を実現するためのソフトウエアのプログラムコードを供給し、その装置又はシステムのコンピュータ（ＣＰＵ又はＭＰＵ）が、格納されたプログラムに従って前記各種デバイスを動作させるようにしたものも、本願発明の技術的範囲に含まれる。この場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することに相当し、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は、本発明を構成する。
【００９８】
かかるプログラムコードを格納する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード及びＲＯＭ等を用いることが出来る。
【００９９】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフトウエア等と共同して前述の実施形態の機能が実現される場合にも、かかるプログラムコードは本願発明の実施形態に含まれることは言うまでもない。
【０１００】
更に、供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も、本願発明に含まれることは言うまでもない。
【０１０１】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、映像音声情報送信処理の資源を複数の端末で共用でき、これら資源の稼働率を上げて、コスト効果比を改善できる。
【０１０２】
複数の圧縮符号化手段を設け、通信先との情報交換及び／又は通信経路の状況に基づき、圧縮符号化手段を選択することにより、送信先の性能や状況に応じた適切な通信品質で映像／音声情報を送信できる。
【０１０３】
テレビ会議システムに組み込むことで、より低コストでテレビ会議システムを構築できる。映像／音声の符号化手段を集中化することで、テレビ会議システム用端末を安価なものとすることができる。
【０１０４】
また、本発明によれば、複数の入力信号から任意の複数の信号を選択するスイッチを使用することで、キャプチャ装置及びエンコーダなどを共用化でき、これらのモジュールの稼働率を上げてコスト効果比の向上を図ることができる。また、複数の入力信号を同時にディジタル化及び圧縮符号化することにより、スイッチの切り替えによる時間的損失を低減できる。
【０１０５】
また、本発明によれば、通信先との情報交換及び通信経路の状況に基づき圧縮符号化手段を選択するので、送信先の性能や状況に応じた適切な通信品質で情報を送信できる。
【図面の簡単な説明】
【図１】 本発明の第１実施例の概略構成ブロック図である。
【図２】 図１に示す実施例の基本動作のフローチャートである。
【図３】 図２のＳ３の詳細なフローチャートである。
【図４】 図２のＳ５の詳細なフローチャートである。
【図５】 非占有的処理要求に対する送信処理のフローチャートである。
【図６】 占有的処理要求に対する送信処理の初期化処理のフローチャートである。
【図７】 占有的処理要求に対するデータ送信処理のフローチャートである。
【図８】 図１に示す実施例を組み込んだテレビ会議システムの概略構成ブロック図である。
【図９】 相手側映像音声送信処理装置の映像音声送信処理と自端末の映像音声受信処理のフローチャートである。
【図１０】 本発明の第２実施例の概略構成ブロック図である。
【図１１】 図１０に示す実施例を組み込んだ遠隔監視システムの概略構成ブロック図である。
【図１２】 図８に示すシステムの変更例の概略構成ブロック図である。
【図１３】 マトリクス・スイッチを使用する本発明の第１の実施例を表す構成図である。
【図１４】 画面分割ユニット１１４の動作モードの説明図である。
【図１５】 映像エンコーダ１１８の構成例の概略ブロック図である。
【図１６】 図１３の実施例の動作を示す流れ図である。
【図１７】 図１６の送信開始処理Ｓ１０３の流れ図である。
【図１８】 非占有的処理要求の処理プロセスを送信スケジューラに追加する手順のフローチャートである。
【図１９】 送信要求列の一例である。
【図２０】 図１９に示す送信要求列に対する送信スケジュールである。
【図２１】 図１６の送信終了処理Ｓ１０５の詳細なフローチャートである。
【図２２】 非占有的処理要求の場合の、図１６のＳ１０７の詳細なフローチャートである。
【図２３】 占有的処理要求の場合の、図１６のＳ１０７の初期化処理のフローチャートである。
【図２４】 占有的処理要求の場合の、図１６のＳ１０７のデータ送信処理のフローチャートである。
【図２５】 図１３に示す実施例を使用したテレビ会議システムの概略構成ブロック図である。
【図２６】 図１３に示す実施例における、相手側映像音声送信処理装置の映像音声送信処理と自端末の映像音声受信処理のフローチャートである。
【図２７】 マトリクス・スイッチを使用する本発明の第２の実施例の概略構成ブロック図である。
【図２８】 図２７に示す実施例を使用するテレビ会議システムの概略構成ブロック図である。
【符号の説明】
１０：映像／音声送信処理装置
１２：スイッチ
１４：送信処理装置
１６：ビデオ・キャプチャ
１８：ビデオ・エンコーダ
２０：セレクタ
２２：通信バッファ
２４：音声エンコーダ
２６：制御回路
３０：ネットワーク
４０ａ，４０ｂ：端末
４２ａ：ワークステーション
４２ｂ：パーソナル・コンピュータ
４４ａ，４４ｂ：カメラ
４６ａ，４６ｂ：マイク
４８ａ，４８ｂ：映像モニタ
５０ａ，５０ｂ：スピーカ
５２：イーサネット
５４：ルータ
１１０：映像音声送信サーバ
１１２：マトリクス・スイッチ
１１４：画面分割ユニット
１１６：映像キャプチャ装置
１１８：映像エンコーダ
１２０：音声キャプチャ装置
１２２：音声エンコーダ
１２４：通信バッファ
１２６：制御回路
１３０，１３２，１３４：エンコーダ
１３６：スイッチ
１４０：映像音声送信処理装置
１４２：通信ネットワーク
１４４ａ，１４４ｂ：端末
１４６ａ：ワークステーション
１４６ｂ：パーソナル・コンピュータ
１４８ａ，１４８ｂ：カメラ
１５０ａ，１５０ｂ：マイク
１５２ａ，１５２ｂ：映像モニタ
１５４ａ，１５４ｂ：スピーカ
１５６：イーサネット
１５８：ルータ
１６０：マトリクス・スイッチ
１６２ａ，１６２ｂ，１６２ｃ，１６２ｄ：映像音声送信サーバ
１６４：制御装置
１６６ａ〜１６６ｄ：キャプチャ装置
１６８ａ〜１６８ｄ：エンコーダ
１７０ａ〜１７０ｄ：通信バッファ
【発明の属する技術分野】
本発明は、複数の映像／音声ソースからの映像／音声信号を選択的にネットワークに出力する送信処理装置を有するテレビ会議システムに関する。
【０００２】
【従来の技術】
コンピュータ（パーソナル・コンピュータ又はワークステーション）にカメラ、映像モニタ、マイク及びスピーカなどの映像音声入出力機器を接続して、端末間で映像及び音声を送受信できるようにした通信端末装置の構成は周知であり、例えば、テレビ会議又はビデオ会議のための通信端末装置として既に一般に使用されている。
【０００３】
カメラから入力された映像信号及びマイクにより入力された音声信号はそれぞれ、ディジタル化され、所定方式で符号化されてローカル・エリア・ネットワーク又はワイド・エリア・ネットワーク等のネットワークに出力される。ネットワークからの符号化された映像信号及び音声信号は復号化され、それぞれ、映像モニタ及びスピーカから出力される。マイクとスピーカは、音声の回り込みによるエコーを回避するためのエコーキャンセラと組みあわされる。スピーカ・フォンとして構成されているものもある。
【０００４】
従来、このようなテレビ会議システムは専用通信端末により構成されていたが、コンピュータの処理能力の向上により、オフィスの各人のデスクトップにあるコンピュータを通信端末としてテレビ会議又はビデオ会議を行なえるようになってきている。
【０００５】
映像及び／音声を遠隔地に伝送する用途では、テレビ会議だけでなく、色々な場所の様子を観察する遠隔監視システムなどがある。
【０００６】
【発明が解決しようとする課題】
映像伝送では、カメラの出力映像信号をディジタル化して取り込むためのビデオ・キャプチャ装置と圧縮符号化のビデオ圧縮装置に大きなコストがかかる。各人のコンピュータに装備した場合、その稼働率からみて、コスト効果比が低い。
【０００７】
また、遠隔監視システムのような用途では、ビデオ圧縮装置の性能（例えば、秒間３０フレームの符号化が可能）に対して、必ずしも１地点の画像をそんな高いフレーム・レートで更新する必要がなく、例えば秒間１フレームで良いといった利用形態がある。そのような利用形態では、秒間３０フレームの能力を持つビデオ圧縮装置は過剰仕様となる。
【０００８】
本発明は、このような問題点に鑑み、簡便な構成でコスト効果比の良いテレビ会議システムを堤供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明に係るテレビ会議システムは、映像と音声の通信により複数の通信端末間でテレビ会議を行うテレビ会議システムであって、映像及び音声の少なくとも一方についての複数の入力から１つを選択して、ネットワークに送信する送信処理装置であって、複数のアナログ入力信号を与えられた指示に応じて切り換える切り換え手段と、当該切り換え手段から出力されるアナログ信号をディジタル化するＡ／Ｄ変換手段と、当該Ａ／Ｄ変換手段のディジタル出力を圧縮符号化する符号化手段と、当該符号化手段により符号化されたデータをネットワークに出力する出力手段とを具備し、当該符号化手段が、映像符号化手段と音声符号化手段を具備する送信処理装置を少なくとも１台具備し、１以上の通信端末に関連するカメラの映像及びマイクの音声が所定の送信処理装置に接続され、１以上の通信端末が、符号化映像情報及び符号化音声情報の復号化手段を具備することを特徴とする。
【００１１】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【００１２】
図１は、本発明の第１実施例の概略構成ブロック図を示す。本実施例の映像／音声送信処理装置１０は、複数の（本実施例では４つの）映像・音声入力から送信処理すべき映像音声信号を選択するスイッチ１２と、スイッチ１２により選択された映像音声信号を送信処理する送信処理装置１４とからなる。
【００１３】
送信処理装置１４内のビデオ・キャプチャ１６は、スイッチ１２により選択された映像信号をディジタル化する。ビデオ・エンコーダ１８は、モーションＪＰＥＧ、ＭＰＥＧ及びＨ．２６１の各符号化方式に対応する符号化モジュールを具備し、ビデオ・キャプチャ１６の出力信号をモーションＪＰＥＧ、ＭＰＥＧ及びＨ．２６１に従って圧縮符号化する。セレクタ２０は、各符号化方式の圧縮映像データの内、送信すべき圧縮映像データを選択し、選択したデータを通信バッファ２２に供給する。他方、音声エンコーダ２４は、スイッチ１２により選択された音声信号をディジタル化及び符号化して、通信バッファ２２に供給する。通信バッファ２２に書き込まれた符号化映像データ及び符号化音声データは、適宜のフォーマット及び速度でネットワーク３０に読み出される。
【００１４】
制御回路２６は、ネットワーク３０を介して受信した制御コマンドに従い、スイッチ１２、ビデオ・キャプチャ１６、ビデオ・エンコーダ１８、セレクタ２０及び音声エンコーダ２４を制御する。
【００１５】
図２は、図１に示す実施例の動作を示すフローチャートである。先ず、送信要求、送信終了要求及び送信起動などのイベントの待ち状態になる（Ｓ１）。映像／音声送信要求を受け付けると（Ｓ２）、新たな送信処理を開始する（Ｓ３）。映像／音声送信終了要求を受け付けると（Ｓ４）、指定された映像／音声の送信処理を終了する（Ｓ５）。送信スケジューラにより映像音声送信動作を起動するイベントが発生すると（Ｓ６）、カメラからの画像データの獲得と送信処理を開始する（Ｓ７）。
【００１６】
本実施例には、２種類の送信要求がある。第１は、テレビ会議のように高いフレーム・レートの映像データ通信を要求する場合である。この場合、スイッチ１２又は送信処理装置１４の切り替え速度を上回るフレーム・レートが要求されたときには、その要求に応じるために全ての送信動作を占有する必要が発生する。このような要求を占有的処理要求と呼ぶことにする。第２は、カメラを切り替えながらの監視のように、高いフレーム・レートを要求されない場合である。このような要求を非占有的処理要求と呼ぶことにする。
【００１７】
非占有的処理要求は複数、受け付け可能であり、送信スケジューラが、指定の映像／音声ソースからの信号を順に選択し、送信する。送信スケジューラは、実際にはタイマ・イベントにより実現される。
【００１８】
制御回路２６は、まず、イベント待ち状態（Ｓ１）になる。外部からの通信又は送信スケジューラのタイマ・イベントが発生すると、通信内容及びイベントの種類に応じて、Ｓ２、Ｓ４又はＳ６の何れかに進む。
【００１９】
通信されてきたメッセージが新たな送信要求である場合、映像／音声送信要求受け付け処理（Ｓ２）に進み、メッセージの内容を読み出す。次いで、メッセージ内容に従って送信開始処理（Ｓ３）を実行する。
【００２０】
通信されてきたメッセージが送信終了の要求である場合、音声／映像送信終了要求の受け付け処理（Ｓ４）に進み、メッセージの内容を読み出す。次いで、メッセージの内容に従って送信終了処理（Ｓ５）を実行する。
【００２１】
タイマ・イベントが発生した場合には、送信処理プロセスを再起動し、イベント待ち状態（Ｓ１）に戻る。起動された送信処理プロセスが、カメラからの映像データの獲得と送信の処理を実行し、タイマを設定する（Ｓ７）。
【００２２】
図３は、図２の送信開始処理（Ｓ３）の詳細なフローチャートを示す。制御回路２６は、まず、占有的処理要求が既にあるか否かを判定する（Ｓ１１）。占有的処理要求がある場合（Ｓ１１）、他の要求を受けつけられないので、当該開始要求を拒否する（Ｓ１５）。占有的処理要求が無い場合（Ｓ１１）、開始しようとしている処理自体が占有的処理要求であるか否かを判定する（Ｓ１２）。非占有的処理要求の場合（Ｓ１２）、送信スケジューラに送信要求処理プロセスを追加し、起動のためのタイマを設定して終了する（Ｓ１３）。占有的処理要求の場合（Ｓ１２）、他の要求と共存できないので、既存の要求の処理プロセスを一時停止させた（Ｓ１４）、その後、送信スケジューラに送信要求処理プロセスを追加し、起動のためのタイマを設定して終了する（Ｓ１３）。
【００２３】
図４は、図２の送信終了処理（Ｓ５）の詳細なフローチャートを示す。制御回路２６は、まず、指定された終了すべき処理が実際に存在するかどうかを、送信スケジューラを参照して判定する（Ｓ２１）。終了指定された処理が無い場合（Ｓ２１）、エラー・メッセージを返す（Ｓ２４）。終了指定された処理が存在する場合（Ｓ２１）、対応する送信要求処理プロセスに終了信号を送り、送信スケジューラからそのプロセスを削除する（Ｓ２２）。その後、終了したプロセスが占有的処理要求によるものかどうかを判定し（Ｓ２３）、占有的処理要求によるものであれば（Ｓ２３）、そのプロセスにより一時停止状態にされたプロセスを送信スケジューラを参照して再起動可能な状態に戻し、終了する（Ｓ２５）。
【００２４】
カメラからの映像データの獲得と送信処理（Ｓ７）の内容は、処理要求が占有的処理要求であるか否かによって異なる。図５は、図２のＳ７の詳細であって、非占有的処理要求に対する処理の流れを示す。先ず、制御回路２６は、要求されたカメラの映像を入力するようにスイッチ１２を設定し（Ｓ３１）、要求された映像サイズになるようにビデオ・キャプチャ１６を設定する（Ｓ３２）、ビデオ・エンコーダ１８の３つの出力の内、要求された圧縮方式に応じた符号化データを選択するようにセレクタ２０を設定し（Ｓ３３）、ビデオ・エンコーダ１８の符号化パラメータを設定する（Ｓ３４）。
【００２５】
その後、カメラ映像が取り込まれ、データ送信される。即ち、ビデオ・キャプチャ１６がスイッチ１２からの映像信号をディジタル化し（Ｓ３５）、ビデオ・エンコーダ１８がディジタル化された映像信号を圧縮符号化する（Ｓ３６）。指定の符号化方式の符号化映像データがセレクタ２０により選択され、通信バッファ２２に格納される（Ｓ３７）。同時に、音声エンコーダ２４が、選択された音声信号をディジタル化及び符号化し、通信バッファ２２に格納する。通信バッファ２２に格納された符号化映像データ及び符号化音声データは、適当なレート及びフォーマットでネットワーク３０に読み出され、要求元（又は指定の相手）に送信される（Ｓ３８）。送信後、タイマを次の送信時期に設定して、終了する。
【００２６】
なお、この実施例では、ビデオ・エンコーダ１８内の３つのエンコード・モジュール全てにおいて符号化処理が行なわれているが、選択された符号化方式に対応するものだけが動作するようにしてもよい。
【００２７】
図６及び図７は、図２のＳ７の詳細であって、占有的処理要求に対する処理の流れを示す。図６は初期化処理であり、図７は、カメラからの映像データの獲得と送信処理の流れを示す。占有的処理要求の場合、非占有的処理要求のＳ３１〜Ｓ３４に相当する初期化設定操作が１回目（及び送信要求パラメータの変更時）にのみ行なわれ、その後はデータ獲得と送信動作のみが繰り返される。
【００２８】
初期化処理として、図６に示すように、先ず、制御回路２６は、要求されたカメラの映像を入力するようにスイッチ１２を設定し（Ｓ４１）、要求された映像サイズになるようにビデオ・キャプチャ１６を設定する（Ｓ４２）、ビデオ・エンコーダ１８の３つの出力の内、要求された圧縮方式に応じた符号化データを選択するようにセレクタ２０を設定し（Ｓ４３）、ビデオ・エンコーダ１８の符号化パラメータを設定する（Ｓ４４）。これらの処理は、図５のＳ３１〜Ｓ３４と同じである。
【００２９】
これらの初期化処理の後、実際に、カメラ映像の獲得と送信処理を繰り返す。即ち、ビデオ・キャプチャ１６が、スイッチ１２からの映像信号をディジタル化し（Ｓ５１）、ビデオ・エンコーダ１８が、ディジタル化された映像信号を圧縮符号化する（Ｓ５２）。指定の符号化方式の符号化映像データがセレクタ２０により選択され、通信バッファ２２に格納される（Ｓ５３）。同時に、音声エンコーダ２４が、選択された音声信号をディジタル化及び符号化し、通信バッファ２２に格納する。通信バッファ２２に格納された符号化映像データ及び符号化音声データは、適当なレート及びフォーマットでネットワーク３０に読み出され、要求元（又は指定の相手）に送信される（Ｓ５４）。送信後、タイマを次の送信時期に設定して、終了する。
【００３０】
以上の説明では、１つのカメラ又はマイクからの入力信号を１つの送信先に送る動作を示したが、１つのカメラ又はマイクからの入力信号に対する送信要求が複数の端末からあった場合、これらを一括して複数の送信先に送ることができることはネットワーク技術として明らかである。
【００３１】
送信データのサイズやレート等のパラメータ変更要求があった際には、図６の初期化処理が再実行された後に、図７の動作が続く。この際、パラメータの変更により占有的処理要求が非占有的処理要求となる場合には、停止された処理プロセスを再起動可能な状態に戻す。
【００３２】
また、映像／音声データの符号化及び通信バッファ２２への格納までのステップ（図５のＳ３１〜Ｓ３７、及び図７のＳ５１〜Ｓ５３）と通信バッファ２２に格納されるデータの送信（図５のＳ３８及び図７のＳ５４）を別々のプロセス（符号化処理プロセスと送信プロセス）とすると共に２つのバッファを用意し、Ｓ３８又はＳ５４を実行する送信プロセスが一方のバッファのデータをネットワークに出力している間に、符号化処理プロセスが次に送るべきデータをもう一方のバッファに格納するようにすることで、データ送信を効率を向上させることができる。このような技術自体は、並列処理技術として公知である。
【００３３】
図８は、図１に示す実施例を利用するテレビ会議システムのネットワーク構成の模式図を示す。図１に示す映像送信処理装置１０のスイッチ１２には、２台の端末４０ａ，４０ｂのカメラ出力及びマイク出力が入力されている。端末４０ａはワークステーション４２ａをベースとし、端末４０ｂはパーソナル・コンピュータ４２ｂをベースとしており、それぞれ、カメラ４４ａ，４４ｂ、マイク４６ａ，４６ｂ、映像モニタ４８ａ，４８ｂ及びスピーカ５０ａ，５０ｂが接続されている。マイク４６ａ，４６ｂとスピーカ５０ａ，５０ｂは、例えばスピーカ・フォン構成になっている。
【００３４】
一例として、端末４０ａは、ＦＤＤＩなどの高速ネットワークを介してネットワーク３０に接続し、ワークステーション４２ａは例えば、映像／音声の符号化信号を復号化するハードウェアを具備する。また、端末４０ｂは、イーサネット５２及びルータ５４を介してネットワーク３０に接続し、コンピュータ４２ｂは、映像／音声の符号化信号を復号化するソフトウエアを具備する。ここでは、映像送信処理装置１０の出力が接続するネットワーク３０は、基幹ネットワーク又はそれに近い高速ネットワークであるとする。
【００３５】
この環境下でテレビ会議の行なわれる様子を説明する。なお、端末４０ａと図示しない別の端末との間でテレビ会議が行なわれるとする。
【００３６】
テレビ会議では、自分の画像と通信相手（複数人も可）の画像をモニタ上に表示し、相手の声を自分の端末のスピーカから出力する。端末４０ａを自端末とすると、これは、自端末映像の受信処理を起動すると共に、相手端末の映像及び音声の受信処理を起動することで、実現される。
【００３７】
自端末映像の受信処理と相手端末の映像及び音声の受信処理は、ほぼ同様の動作となるので、以下、相手端末の映像及び音声の受信処理を例に説明する。
【００３８】
図９は、自端末上で動作する映像音声受信処理と、相手側のカメラ出力及びマイク出力が入力する映像音声送信処理装置（以下、相手側映像音声送信処理装置という。）のデータ送信処理との関係を示す。Ｓ６１〜Ｓ６７は自端末上で動作する映像音声の受信処理を示し、Ｓ６８〜Ｓ７０は、相手側映像音声送信処理装置のデータ送信処理を示す。
【００３９】
まず、自端末上で受信処理が起動する。映像表示及び音声出力に必要なウィンドウ・システム上のモジュールなどが初期設定され（Ｓ６１）、データ受信のためのバッファが用意される（Ｓ６２）。受信のためのポートが開かれ、受け付け可能状態になる（Ｓ６３）。相手側映像音声送信処理装置に、相手端末のカメラ出力及びマイク出力の送信を要求する（Ｓ６４）。相手側映像音声送信処理装置はこの要求を受けると、もし受け入れられるならば、送信の初期設定を実行し、相手端末（端末４０ａ）側の受信ポートへの通信コネクションを要求する（Ｓ６８）。これにより、自端末（端末４０ａ）は、相手側映像音声送信処理装置との間に通信コネクションを確立する（Ｓ６５）。
【００４０】
相手側映像音声送信処理装置は、映像及び音声データを獲得及び符号化して通信バッファに格納し（Ｓ６９）、通信バッファに格納されるデータを通信相手（端末４０ａ）に送信する（Ｓ７０）。
【００４１】
自端末（端末４０ａ）は、符号化されたデータを受信し（Ｓ６６）、これを復号化して、映像を映像モニタ４８ａのウィンドウに表示し、音声をスピーカ５０ａから出力する（Ｓ６７）。
【００４２】
その後、相手側映像音声送信処理装置は、Ｓ６９とＳ７０を繰り返し、端末４０ａも、Ｓ６６とＳ６７を繰り返す。これにより、映像及び音声が連続的に転送され、再生される。
【００４３】
カメラの映像出力及びマイク出力はアナログ信号のレベルで分岐されコンピュータ４２ａ，４２ｂと映像音声送信処理装置１０の両方に入力されるように構成しても良い。その場合、自分の映像を受信する必要はなくなるが、カメラ入力をディジタル化するビデオ・キャプチャ機能がコンピュータ４２ａ，４２ｂに必要になる。
【００４４】
尚、カメラ４４ａ，４４ｂ及びマイク４６ａ，４６ｂの出力を無線により映像音声送信処理装置１０に送信することで、配線の負担を無くすことができる。
【００４５】
このようにして、多数のカメラ・マイクの映像音声情報を伝送する環境を低コストで実現できる。また、受信端末の性能や機能に応じて、異なる圧縮符号化方式や適切な送信パラメータを用いて映像音声データを送受信できる。
【００４６】
音声信号の処理を省いて、映像信号のみを送信処理するようにしてもよい。図１０は、音声信号の処理を省略した映像送信処理装置の概略構成ブロック図を示す。図１に示す実施例から、スイッチ１２の音声入力を無くし、送信処理装置１４の音声デコーダ２４を除去した構成になっている。映像を用いた監視などの用途には、音声情報が不要な場合もあり、図１０に示すように構成することで、よりコスト効果比の良いシステムとすることができる。図１１は、図１０に示す映像送信処理装置を用いた遠隔監視システムの構成例であり、図８に示す構成から、音声の入出力装置を取り除いたものになっている。
【００４７】
このように構成することにより、より安価な構成で、監視のような目的に最適のシステムを安価に構成できる。
【００４８】
図８に示す構成をワイド・エリア・ネットワーク（ＷＡＮ）に拡張できることは明らかである。例えば、図１２に示すように、一般にビデオ・ゲートウエイなどと呼ばれる映像音声ＷＡＮ交換機６０を組みあわせればよい。
【００４９】
このように構成することにより、ＩＳＤＮなどの公衆通信回線網を介して外部のネットワークとの間でデータ交換できる。
【００５０】
上述の実施例では、映像信号を取り込むビデオ・キャプチャ及び映像と音声のエンコーダを共用することにより、そのためのコストを低減できるが、一般二、スイッチ１２としてあまり高速のものを利用できない（高価になる、大型になる。）ので、高いフレーム・レートを要求される用途では、複数の信号を実質的にも同時に扱うことができない。
【００５１】
以下に、この問題点を解決した実施例を説明する。図１３は、本発明の第３実施例の概略構成ブロック図を示す。１１０は映像音声送信サーバ、１１２は８つの映像音声入力から任意の４つの映像音声信号を選択し、選択された４つの映像音声信号の４つの出力ポートから任意に出力できるマトリクス・スイッチ、１１４は、マトリクス・スイッチ１１２からの４つの映像音声信号の１つを選択するか、又は、４つの映像音声信号を時間軸圧縮し、映像信号については４画面のマルチ画構成に合成し、音声信号については時間軸で１／４に圧縮して合成する画面分割ユニットである。
【００５２】
映像音声送信サーバ１１０は、画面分割ユニット１１４から出力される映像信号を取り込み、ディジタル化する映像キャプチャ装置１１６と、映像キャプチャ装置１１６の出力映像データを圧縮符号化する映像エンコーダ１１８と、画面分割ユニット１１４から出力される音声信号を取り込み、ディジタル化する音声キャプチャ装置１２０と、音声キャプチャ装置１２０の出力音声データを圧縮符号化する音声エンコーダ１２２と、エンコーダ１１８，１２２の符号化データ及び送信すべき情報を一時格納する通信バッファ１２４と、映像音声送信サーバ１１０の全体、マトリクス・スイッチ１１２及び画面分割ユニット１１４を制御する制御回路１２６からなる。
【００５３】
画面分割ユニット１１４は、図１４に示すように分割モードと選択モードの２つの動作モードを具備する。分割モードは４つの入力映像を水平及び垂直で１／２に縮小して１画面に合成するモードである。このとき、画面分割ユニット１１４は４つの入力音声を時間軸で圧縮及び合成して出力する。選択モードは、４つの入力映像音声信号の内の任意の１つを選択して出力するモードである。このような機能を有する装置として、例えば、ソニー株式会社製ＹＳ−Ｑ４３０などがある。
【００５４】
エンコーダ１１８は、例えば、図１５に示すように、それぞれ異なる圧縮符号化方式（例えば、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ及びＩＴＵ−Ｔ勧告Ｈ．２６１）に対応する複数のエンコーダ１３０，１３２，１３４を設け、制御回路１２６の制御下で、スイッチ１３６が、入力映像データを何れか指定のエンコーダ１３０，１３２，１３４に供給するようにした構成であってもよい。音声エンコーダ１２２についても、同様である。
【００５５】
制御回路１２６は外部からの送信要求の内容に応じて、マトリクス・スイッチ１１２及び画面分割ユニット１１４を設定すると共に、映像キャプチャ装置１１６、映像エンコーダ１１８、音声キャプチャ装置１２０及び音声エンコーダ１２２を制御して、適切な送信データを生成し、通信バッファ１２４を介して外部ネットワークに送信させる。
【００５６】
図１６は、図１３の実施例の動作を示す流れ図である。先ず、送信要求、送信終了要求及び送信起動などのイベントの待ち状態になる（Ｓ１０１）。映像／音声送信要求を受け付けると（Ｓ１０２）、新たな送信処理を開始する（Ｓ１０３）。映像／音声送信終了要求を受け付けると（Ｓ１０４）、指定された映像／音声の送信処理を終了する（Ｓ１０５）。送信スケジューラにより映像音声送信動作を起動するイベントが発生すると（Ｓ１０６）、カメラ／マイクからの映像／音声の獲得と送信処理を開始する（Ｓ１０７）。
【００５７】
この実施例でも、送信要求には占有的処理要求と非占有的処理要求の２種類がある。占有的処理要求は、全ての送信動作を特定のデータで占有させることにより高いフレーム・レートでのデータ通信を可能にする送信要求である。映像音声送信サーバ１１０に要求するフレーム・レートがマトリクス・スイッチ１１２の切り替え速度を上回る場合、占有的処理要求にする必要がある。非占有的処理要求は、高いフレーム・レートを割り当てずに、複数の映像音声信号を送信する送信要求である。非占有的処理要求は、複数受け付けることができ、送信スケジューラにより順に起動される。送信スケジューラは、実際にはタイマ・イベントにより実現される。
【００５８】
各送信要求は、さらに２種類に分けられる。第１は、テレビ会議などを行うために、解像度よりも映像のフレーム・レートを優先したデータ送信要求である。このときには、画面分割ユニット１１４の動作モードを分割モードに設定し、複数画面をマトリクス・スイッチ１１２の切り替えなしに取り込み、符号化することで実現される。第２は、物体の細部の観察などを行なうためにフレーム・レートよりも解像度を優先したデータ送信要求である。このときは、画面分割ユニット１１４の動作モードを選択モードに設定し、マトリクス・スイッチ１１２により、送信したい映像音声信号を選択する。
【００５９】
制御回路１２６は、まず、イベント待ち状態（Ｓ１０１）になる。外部からの通信又は送信スケジューラのタイマ・イベントが発生すると、通信内容及びイベントの種類に応じて、Ｓ１０２、Ｓ１０４又はＳ１０６の何れかに進む。
【００６０】
受信したメッセージが新たな送信要求である場合、映像／音声送信要求受け付け処理（Ｓ１０２）に進み、メッセージの内容を読み出す。次いで、メッセージ内容に従って送信開始処理（Ｓ１０３）を実行する。
【００６１】
受信したメッセージが送信終了の要求である場合、音声／映像送信終了要求の受け付け処理（Ｓ１０４）に進み、メッセージの内容を読み出す。次いで、メッセージの内容に従って送信終了処理（Ｓ１０５）を実行する。
【００６２】
タイマ・イベントが発生した場合には、送信処理プロセスを再起動し、イベント待ち状態（Ｓ１０１）に戻る。起動された送信処理プロセスが、カメラ／マイクからの映像／音声の獲得と送信の処理を実行し、再びタイマを設定する（Ｓ１０７）。
【００６３】
図１７は、図１６の送信開始処理Ｓ１０３の詳細なフローチャートを示す。制御回路１２６は、まず、占有的処理要求が既にあるか否かを判定する（Ｓ１１１）。占有的処理要求がある場合（Ｓ１１１）、他の要求を受けつけられないので、当該開始要求を拒否する（Ｓ１１５）。占有的処理要求が無い場合（Ｓ１１１）、開始しようとしている処理自体が占有的処理要求であるか否かを判定する（Ｓ１１２）。非占有的処理要求の場合（Ｓ１１２）、送信スケジューラに、解像度優先かフレームレート優先かに応じた送信要求プロセスを追加し、起動のためのタイマを設定して終了する（Ｓ１１３）。占有的処理要求の場合（Ｓ１１２）、他の要求と共存できないので、既存の要求の処理プロセスを一時停止させた（Ｓ１１４）、その後、送信スケジューラに送信要求処理プロセスを追加し、起動のためのタイマを設定して終了する（Ｓ１１３）。
【００６４】
非占有的処理要求の処理プロセスを送信スケジューラに追加する手順を、図１８に示す。まず、処理要求を受け取り（Ｓ１２１）、受け取った処理要求が要求するカメラと同じカメラに帯する送信処理要求が既に送信スケジューラに存在するかどうかを調べる（Ｓ１２２）。同じカメラに対する送信処理要求が存在すれば（Ｓ１２２）、その送信処理プロセスに、今受け取った送信要求の送信先を追加して終了する（Ｓ１２３）。同じカメラに対する送信処理要求が存在しない場合（Ｓ１２２）、Ｓ１２１で受け取った処理要求が解像度優先かフレーム・レート優先かを判断する（Ｓ１２４）。解像度優先の場合（Ｓ１２４）、新たに起動のためのタイマを設定して終了する（Ｓ１２５）。フレーム・レート優先であれば（Ｓ１２４）、フレームレート優先処理要求の待ち行列に空きが存在するかどうかを、送信スケジューラを参照して調べ（Ｓ１２６）、空きが存在しなければ（Ｓ１２６）、新たに起動のためのタイマを設定して終了し８Ｓ１２５）、空きがあれば（Ｓ１２６）、空いている場所に処理を追加して終了する８Ｓ１２７）。
【００６５】
このような手順により、図１９に例示するような送信要求列に対し、送信スケジューラの送信スケジュールは、図２０に示すようになる。
【００６６】
図２１は、図１６の送信終了処理Ｓ１０５の詳細なフローチャートである。制御回路１２６は、まず、指定された終了すべき処理が実際に存在するかどうかを、送信スケジューラを参照して判定する（Ｓ１３１）。終了指定された処理が無い場合（Ｓ１３１）、エラー・メッセージを返す（Ｓ１３４）。終了指定された処理が存在する場合（Ｓ１３１）、対応する送信要求処理プロセスに終了信号を送り、送信スケジューラからそのプロセスを削除する（Ｓ１３２）。その後、終了したプロセスが占有的処理要求によるものかどうかを判定し（Ｓ１３３）、占有的処理要求によるものであれば（Ｓ１３３）、そのプロセスにより一時停止状態にされたプロセスを送信スケジューラを参照して再起動可能な状態に戻し、終了する（Ｓ１３５）。
【００６７】
図１６のＳ１０７、即ち、カメラ／マイクからの映像／音声データの獲得と送信処理の内容は、処理要求が占有的処理要求であるか否かによって異なる。
【００６８】
図２２は、図１６のＳ１０７の詳細であって、非占有的処理要求の場合のフローチャートを示す。先ず、制御回路１２６は、画面分割ユニット１１４の動作モードを、要求が解像度優先であれば選択モードに、要求がフレーム・レート優先であれば分割モードにそれぞれ設定する（Ｓ１４１）。要求されたカメラ／マイクの映像／音声を取り込むように、マトリクス・スイッチ１１２を設定し（Ｓ１４２）、要求された映像サイズ及び音質になるように映像キャプチャ装置１１６及び音声キャプチャ装置１２０のパラメータを設定する（Ｓ１４３）。映像キャプチャ装置１１６及び音声キャプチャ装置１２０は映像／音声データを取り込んでディジタル化する（Ｓ１４４）。
【００６９】
映像エンコーダ１１８及び音声エンコーダ１２２に圧縮符号化パラメータ（符号化方式と圧縮率等のパラメータ、更には符号化する範囲）を設定し（Ｓ１４５）、キャプチャ装置１１６，１２０の出力をその条件で圧縮符号化させる（Ｓ１４６）。圧縮符号化条件の符号化する範囲は、例えば、送信要求が解像度優先である場合には画面全体、フレーム・レート優先の場合には、画面分割ユニット１１４によって分割された画面の内、未だ符号化されていない領域の一つである。符号化された映像／音声データは通信バッファ１２４に一時格納され（Ｓ１４７）、通信バッファ１２４からネットワークを介して要求元（又は指定の相手）に送出される。この送信後、送信スケジューラに次の送信要求処理プロセスを追加する。キャプチャされた全ての領域が送信され終えるまで、Ｓ１４５〜Ｓ１４８を繰り返す（Ｓ１４９）。
【００７０】
各入力ごと及び分割された各領域ごとに符号化パラメータを設定するので（Ｓ１４５）、各領域を異なった符号化条件で符号化できる。また、エンコーダ１１８，１２２が複数の圧縮符号化方式に対応している場合には、各入力ごとに異なった圧縮符号化方式で符号化することも可能になる。
【００７１】
図２３及び図２４は、図１６のＳ１０７の詳細であって、占有的処理要求の場合の流れを示す。図２３は初期化処理であり、図２４は、カメラ／マイクからの映像／音声データの獲得と送信処理の流れを示す。占有的処理要求の場合、図２２のＳ１４１乃至Ｓ１４３、及びＳ１４５に相当する初期化設定操作が１回目（及び送信要求パラメータの変更時）にのみ行なわれ、その後はデータ獲得と送信動作のみが繰り返される。
【００７２】
図２３を説明する。まず、画面分割ユニット１１４を選択モードに設定する（Ｓ１５１）。このように設定することにより、ある特定のカメラからの信号を高速に送信できる。次いで、要求されたカメラ／マイクの映像／音声が入力されるようにマトリクス・スイッチ１１２を設定する（Ｓ１５２）。映像キャプチャ装置１１６及び音声キャプチャ装置１２０に送信要求の内容に応じたパラメータを設定し（Ｓ１５３）、映像エンコーダ１１８及び音声エンコーダ１２２にも送信要求の内容に応じたパラメータを設定する（Ｓ１２２）。なお、Ｓ１５１で画面分割ユニット１１４を分割モードに設定すれば、複数のカメラ（図１４の例では、最大４箇所）からの映像を高速に送信できる。
【００７３】
図２４を説明する。映像キャプチャ装置１１６及び音声キャプチャ装置１２０は、画面分割ユニット１１４から出力される映像信号及び音声信号をそれぞれ取り込んでディジタル化する（Ｓ１６１）。映像エンコーダ１１８及び音声エンコーダ１２２はそれぞれ映像キャプチャ装置１１６及び音声キャプチャ装置１２０の出力データを圧縮符号化し（Ｓ１６２）、符号化データを通信バッファ１２４に格納する（Ｓ１６３）。通信バッファ１２４に格納されたデータは、所定のレート及びフォーマットでネットワークを介して送信要求元（又は指定の相手）に送信される（Ｓ１６４）。送信後、タイマを次の送信時期に設定して、終了する。
【００７４】
図２２及び図２４に示す送信処理プロセスで映像／音声データの符号化及び通信バッファ１２４への格納のステップ（Ｓ１４５〜Ｓ１４７及びＳ１６１〜Ｓ１６３）と、通信バッファ１２４に格納されているデータの送信（Ｓ１４８及びＳ１６４）を別のプロセスとすると共に２つのバッファを用意し、Ｓ１４８及びＳ１６４を実行する送信プロセスが一方のバッファのデータを転送している間に、符号化プロセスが次に送信すべきデータを他方のバッファに格納するようにして、通信バッファの書き込みと読み出しを同時に実行し、データ送信の効率を向上させることができる。
【００７５】
図２５は、図１３に示す実施例を利用するテレビ会議システムのネットワーク構成の模式図を示す。１４０は、図１３に示す映像音声送信サーバ１１０、マトリクス・スイッチ１１２及び画面分割ユニット１１４からなる映像音声送信処理装置であり、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク、一般公衆電話回線、その他のネットワークなどからなる通信ネットワーク１４２に接続している。
【００７６】
映像音声送信処理装置１４０のマトリクス・スイッチ１１２の入力には、個人の机上又はサイドに配置される２台の端末１４４ａ，１４４ｂのカメラ出力及びマイク出力が接続されている。端末１４４ａはワークステーション１４６ａをベースとし、端末１４４ｂはパーソナル・コンピュータ１４６ｂをベースとしており、それぞれ、カメラ１４８ａ，１４８ｂ、マイク１５０ａ，１５０ｂ、映像モニタ１５２ａ，１５２ｂ及びスピーカ１５４ａ，１５４ｂが接続されている。マイク１５０ａ，１５０ｂとスピーカ１５４ａ，１５４ｂは、例えばスピーカ・フォン構成になっている。
【００７７】
一例として、端末１４４ａは、ＦＤＤＩなどの高速ネットワークを介してネットワーク１４２に接続し、ワークステーション１４６ａは例えば、映像／音声の符号化信号を復号化するハードウェアを具備する。また、端末１４２ｂは、イーサネット１５６及びルータ１５８を介してネットワーク１４２に接続し、コンピュータ１４６ｂは、映像／音声の符号化信号を復号化するソフトウエアを具備する。ここでは、映像音声送信処理装置１４０の出力が接続するネットワーク１４２は、基幹ネットワーク又はそれに近い高速ネットワークであるとする。
【００７８】
この環境下でテレビ会議の行なわれる様子を説明する。なお、端末１４４ａと図示しない別の端末との間でテレビ会議が行なわれるとする。
【００７９】
テレビ会議では、自分の画像と通信相手（複数人も可）の画像をモニタ上に表示し、相手の声を自分の端末のスピーカから出力する。端末１４４ａを自端末とすると、これは、自端末映像の受信処理を起動すると共に、相手端末の映像及び音声の受信処理を起動することで、実現される。
【００８０】
自端末映像の受信処理と相手端末の映像及び音声の受信処理は、ほぼ同様の動作となるので、以下、相手端末の映像及び音声の受信処理を例に説明する。
【００８１】
図２６は、自端末上で動作する映像音声受信処理と、相手側のカメラ出力及びマイク出力が入力する映像音声送信処理装置（以下、相手側映像音声送信処理装置という。）のデータ送信処理との関係を示す。Ｓ１７１〜Ｓ１７７は自端末上で動作する映像音声の受信処理を示し、Ｓ１７８〜Ｓ１８０は、相手側映像音声送信処理装置のデータ送信処理を示す。
【００８２】
まず、自端末上で受信処理が起動する。映像表示及び音声出力に必要なウィンドウ・システム上のモジュールなどが初期設定され（Ｓ１７１）、データ受信のためのバッファが用意される（Ｓ１７２）。受信のためのポートが開かれ、受け付け可能状態になる（Ｓ１７３）。相手側映像音声送信処理装置に、相手端末のカメラ出力及びマイク出力の送信を要求する（Ｓ１７４）。相手側映像音声送信処理装置はこの要求を受けると、もし受け入れられるならば、送信の初期設定を実行し、相手端末（端末１４４ａ）側の受信ポートへの通信コネクションを要求する（Ｓ１７８）。これにより、自端末（端末１４４ａ）は、相手側映像音声送信処理装置との間に通信コネクションを確立する（Ｓ１７５）。
【００８３】
相手側映像音声送信処理装置は、映像及び音声データを獲得及び符号化して通信バッファに格納し（Ｓ１７９）、通信バッファに格納されるデータを通信相手（端末１４４ａ）に送信する（Ｓ１８０）。
【００８４】
自端末（端末１４４ａ）は、符号化されたデータを受信し（Ｓ１７６）、これを復号化して、映像を映像モニタ１５２ａのウィンドウに表示し、音声をスピーカ１５４ａから出力する（Ｓ１７７）。
【００８５】
その後、相手側映像音声送信処理装置は、Ｓ１７９とＳ１８０を繰り返し、端末１４４ａも、Ｓ１７６とＳ１７７を繰り返す。これにより、映像及び音声が連続的に転送され、再生される。
【００８６】
カメラの映像出力及びマイク出力はアナログ信号のレベルで分岐されコンピュータ１４６ａ，１４６ｂと映像音声送信処理装置１４０の両方に入力されるように構成しても良い。その場合、自分の映像を受信する必要はなくなるが、カメラ入力をディジタル化するビデオ・キャプチャ機能がコンピュータ１４６ａ，１４６ｂに必要になる。
【００８７】
尚、カメラ１４８ａ，１４８ｂ及びマイク１５０ａ，１５０ｂの出力を無線により映像音声送信処理装置１４０に送信することで、配線の負担を無くすことができる。
【００８８】
以上説明したように構成することで、複数のカメラ及びマイクから４つ以内の複数のソースからの映像音声情報を自由に選択して送信できるようになる。
【００８９】
図２７は、図１３に示す実施例の変更例の概略構成ブロック図を示す。１６０はマトリクス・スイッチ１１２と同様の８入力・４出力のマトリクス・スイッチ、１６２ａ，１６２ｂ，１６２ｃ，１６２ｄは、マトリクス・スイッチ１６０の４出力の各映像／音声出力信号を取り込み、符号化してネットワークに送出する映像音声送信サーバ、１６４は、外部からの制御信号に従い、映像音声送信サーバ１６２ａ〜ｄ及びマトリクス・スイッチ１６０を制御する制御装置である。
【００９０】
映像音声送信サーバ１６２ａ〜１６２ｄは、マトリクス・スイッチ１６０の映像音声出力信号を取り込むキャプチャ装置１６６ａ〜１６６ｄ、キャプチャ装置１６６ａ〜１６６ｄの出力を圧縮符号化するエンコーダ１６８ａ〜１６８ｄ及びエンコーダ１６８ａ〜１６８ｄの出力をネットワークに送出するために一時格納する通信バッファ１７０ａ〜１７０ｄからなる。
【００９１】
各映像音声送信サーバ１６２ａ〜１６２ｄは、他の映像音声送信サーバ１６２ａ〜１６２ｄとは独立に、マトリクス・スイッチ１６０の出力を取り込み、符号化してネットワークに出力する。従って、各映像音声情報を高品質に送信できる。多地点間で高フレームレートかつ高解像度の信号が必要な用途では、本実施例のように複数のエンコーダを用いることにより、各端末にキャプチャ装置及びエンコーダを設置するよりもコスト効果比を高めつつ負荷を分散して、、同時に複数の信号を送信処理できる。
【００９２】
図２７に示す実施例では、ある送信処理要求を、複数の映像音声送信サーバ１６２ａ〜１６２ｄのどれに割り当てるかは、以下のように決定される。即ち、送信要求を出す側（受信側）は、送信要求を受け取る側（送信側）の映像音声送信処理装置の制御装置１６４を通じて映像音声送信サーバ１６２ａ〜１６２ｄの送信スケジューラを参照する。参照した結果に基づいて、どの映像音声送信サーバ１６２ａ〜１６２ｄに送信処理を要求するかを受信側が決定し、制御装置１６４を通じて映像音声送信サーバ１６２ａ〜１６２ｄを指定して送信処理を指令する。
【００９３】
また、受信側が指定なしに送信側の制御装置１６４に送信処理を要求すると、送信側の制御装置１６４が、映像音声送信サーバ１６２ａ〜１６２ｄの送信スケジューラを参照し、負荷や能力などに応じて自動的に適切な映像音声送信サーバ１６２ａ〜１６２ｄに処理を割り振るようにしてもよい。この場合には、受信側は、送信スケジューラの参照や映像音声送信サーバの指定などの負担を負わずに済むという効果がある。
【００９４】
いずれにしても、どの送信処理要求をどの映像音声送信サーバ１６２ａ〜１６２ｄに割り当てるかが決定されると、各映像音声送信サーバ１６２ａ〜１６２ｄの送信スケジューラに、割り振られた送信処理が追加される。制御装置１６４は、各映像音声送信サーバ１６２ａ〜１６２ｄの送信スケジューラを参照して、マトリクス・スイッチ１６０を適切に設定する。各映像音声送信サーバ１６２ａ〜１６２ｄは、設定されたマトリクス・スイッチ１６０の各出力を取り込み、圧縮符号化してネットワークに送出する。
【００９５】
図２８は、図２７に示す映像音声送信処理装置を使用したテレビ会議システムの概略構成ブロック図を示す。１８０は図２７に図示した映像音声送信処理装置である。図２５と同じ構成要素には同じ符号を付してある。このように構成することにより、コスト効果比を低下させずに、負荷を分散し、複数の信号を同時にディジタル化及び圧縮符号化することができる。
【００９６】
本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ又はプリンタ等）から構成されるシステムに適用しても、単一の機器（例えば、複写機又はファクシミリ装置など）からなる装置に適用してもよい。
【００９７】
また前述した実施形態の機能を実現する各種デバイスを動作させる様に当該各種デバイスと接続された装置又はシステム内のコンピュータに、前記実施形態の機能を実現するためのソフトウエアのプログラムコードを供給し、その装置又はシステムのコンピュータ（ＣＰＵ又はＭＰＵ）が、格納されたプログラムに従って前記各種デバイスを動作させるようにしたものも、本願発明の技術的範囲に含まれる。この場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することに相当し、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は、本発明を構成する。
【００９８】
かかるプログラムコードを格納する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード及びＲＯＭ等を用いることが出来る。
【００９９】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフトウエア等と共同して前述の実施形態の機能が実現される場合にも、かかるプログラムコードは本願発明の実施形態に含まれることは言うまでもない。
【０１００】
更に、供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も、本願発明に含まれることは言うまでもない。
【０１０１】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、映像音声情報送信処理の資源を複数の端末で共用でき、これら資源の稼働率を上げて、コスト効果比を改善できる。
【０１０２】
複数の圧縮符号化手段を設け、通信先との情報交換及び／又は通信経路の状況に基づき、圧縮符号化手段を選択することにより、送信先の性能や状況に応じた適切な通信品質で映像／音声情報を送信できる。
【０１０３】
テレビ会議システムに組み込むことで、より低コストでテレビ会議システムを構築できる。映像／音声の符号化手段を集中化することで、テレビ会議システム用端末を安価なものとすることができる。
【０１０４】
また、本発明によれば、複数の入力信号から任意の複数の信号を選択するスイッチを使用することで、キャプチャ装置及びエンコーダなどを共用化でき、これらのモジュールの稼働率を上げてコスト効果比の向上を図ることができる。また、複数の入力信号を同時にディジタル化及び圧縮符号化することにより、スイッチの切り替えによる時間的損失を低減できる。
【０１０５】
また、本発明によれば、通信先との情報交換及び通信経路の状況に基づき圧縮符号化手段を選択するので、送信先の性能や状況に応じた適切な通信品質で情報を送信できる。
【図面の簡単な説明】
【図１】 本発明の第１実施例の概略構成ブロック図である。
【図２】 図１に示す実施例の基本動作のフローチャートである。
【図３】 図２のＳ３の詳細なフローチャートである。
【図４】 図２のＳ５の詳細なフローチャートである。
【図５】 非占有的処理要求に対する送信処理のフローチャートである。
【図６】 占有的処理要求に対する送信処理の初期化処理のフローチャートである。
【図７】 占有的処理要求に対するデータ送信処理のフローチャートである。
【図８】 図１に示す実施例を組み込んだテレビ会議システムの概略構成ブロック図である。
【図９】 相手側映像音声送信処理装置の映像音声送信処理と自端末の映像音声受信処理のフローチャートである。
【図１０】 本発明の第２実施例の概略構成ブロック図である。
【図１１】 図１０に示す実施例を組み込んだ遠隔監視システムの概略構成ブロック図である。
【図１２】 図８に示すシステムの変更例の概略構成ブロック図である。
【図１３】 マトリクス・スイッチを使用する本発明の第１の実施例を表す構成図である。
【図１４】 画面分割ユニット１１４の動作モードの説明図である。
【図１５】 映像エンコーダ１１８の構成例の概略ブロック図である。
【図１６】 図１３の実施例の動作を示す流れ図である。
【図１７】 図１６の送信開始処理Ｓ１０３の流れ図である。
【図１８】 非占有的処理要求の処理プロセスを送信スケジューラに追加する手順のフローチャートである。
【図１９】 送信要求列の一例である。
【図２０】 図１９に示す送信要求列に対する送信スケジュールである。
【図２１】 図１６の送信終了処理Ｓ１０５の詳細なフローチャートである。
【図２２】 非占有的処理要求の場合の、図１６のＳ１０７の詳細なフローチャートである。
【図２３】 占有的処理要求の場合の、図１６のＳ１０７の初期化処理のフローチャートである。
【図２４】 占有的処理要求の場合の、図１６のＳ１０７のデータ送信処理のフローチャートである。
【図２５】 図１３に示す実施例を使用したテレビ会議システムの概略構成ブロック図である。
【図２６】 図１３に示す実施例における、相手側映像音声送信処理装置の映像音声送信処理と自端末の映像音声受信処理のフローチャートである。
【図２７】 マトリクス・スイッチを使用する本発明の第２の実施例の概略構成ブロック図である。
【図２８】 図２７に示す実施例を使用するテレビ会議システムの概略構成ブロック図である。
【符号の説明】
１０：映像／音声送信処理装置
１２：スイッチ
１４：送信処理装置
１６：ビデオ・キャプチャ
１８：ビデオ・エンコーダ
２０：セレクタ
２２：通信バッファ
２４：音声エンコーダ
２６：制御回路
３０：ネットワーク
４０ａ，４０ｂ：端末
４２ａ：ワークステーション
４２ｂ：パーソナル・コンピュータ
４４ａ，４４ｂ：カメラ
４６ａ，４６ｂ：マイク
４８ａ，４８ｂ：映像モニタ
５０ａ，５０ｂ：スピーカ
５２：イーサネット
５４：ルータ
１１０：映像音声送信サーバ
１１２：マトリクス・スイッチ
１１４：画面分割ユニット
１１６：映像キャプチャ装置
１１８：映像エンコーダ
１２０：音声キャプチャ装置
１２２：音声エンコーダ
１２４：通信バッファ
１２６：制御回路
１３０，１３２，１３４：エンコーダ
１３６：スイッチ
１４０：映像音声送信処理装置
１４２：通信ネットワーク
１４４ａ，１４４ｂ：端末
１４６ａ：ワークステーション
１４６ｂ：パーソナル・コンピュータ
１４８ａ，１４８ｂ：カメラ
１５０ａ，１５０ｂ：マイク
１５２ａ，１５２ｂ：映像モニタ
１５４ａ，１５４ｂ：スピーカ
１５６：イーサネット
１５８：ルータ
１６０：マトリクス・スイッチ
１６２ａ，１６２ｂ，１６２ｃ，１６２ｄ：映像音声送信サーバ
１６４：制御装置
１６６ａ〜１６６ｄ：キャプチャ装置
１６８ａ〜１６８ｄ：エンコーダ
１７０ａ〜１７０ｄ：通信バッファ
Claims (1)
- 映像と音声の通信により複数の通信端末間でテレビ会議を行うテレビ会議システムであって、
映像及び音声の少なくとも一方についての複数の入力から１つを選択して、ネットワークに送信する送信処理装置であって、複数のアナログ入力信号を与えられた指示に応じて切り換える切り換え手段と、当該切り換え手段から出力されるアナログ信号をディジタル化するＡ／Ｄ変換手段と、当該Ａ／Ｄ変換手段のディジタル出力を圧縮符号化する符号化手段と、当該符号化手段により符号化されたデータをネットワークに出力する出力手段とを具備し、当該符号化手段が、映像符号化手段と音声符号化手段を具備する送信処理装置を少なくとも１台具備し、
１以上の通信端末に関連するカメラの映像及びマイクの音声が所定の送信処理装置に接続され、
１以上の通信端末が、符号化映像情報及び符号化音声情報の復号化手段を具備する
ことを特徴とするテレビ会議システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15940396A JP3659528B2 (ja) | 1996-01-08 | 1996-06-20 | テレビ会議システム |
| US08/777,409 US6249324B1 (en) | 1996-01-08 | 1996-12-30 | Transmission processing apparatus, television conference system, transmission processing method and memory medium |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8-686 | 1996-01-08 | ||
| JP68696 | 1996-01-08 | ||
| JP15940396A JP3659528B2 (ja) | 1996-01-08 | 1996-06-20 | テレビ会議システム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004337892A Division JP2005151584A (ja) | 1996-01-08 | 2004-11-22 | 送信処理装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09252462A JPH09252462A (ja) | 1997-09-22 |
| JP3659528B2 true JP3659528B2 (ja) | 2005-06-15 |
Family
ID=26333731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15940396A Expired - Fee Related JP3659528B2 (ja) | 1996-01-08 | 1996-06-20 | テレビ会議システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6249324B1 (ja) |
| JP (1) | JP3659528B2 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6243725B1 (en) * | 1997-05-21 | 2001-06-05 | Premier International, Ltd. | List building system |
| WO1998054899A1 (fr) * | 1997-05-30 | 1998-12-03 | Sony Corporation | Systeme et procede de transmission de donnees, et procede et dispositif de reception de donnees |
| KR100400808B1 (ko) * | 1997-06-24 | 2003-10-08 | 매사츄세츠 인스티튜트 오브 테크놀러지 | 그레이드된 ＧｅＳｉ층 및 평탄화를 사용한 Ｓｉ상의 Ｇｅ의 쓰레딩 전위 밀도 제어 |
| KR100287728B1 (ko) * | 1998-01-17 | 2001-04-16 | 구자홍 | 영상프레임동기화장치및그방법 |
| US6532218B1 (en) * | 1999-04-05 | 2003-03-11 | Siemens Information & Communication Networks, Inc. | System and method for multimedia collaborative conferencing |
| US6973501B1 (en) * | 2000-06-21 | 2005-12-06 | Adc Telecommunications, Inc. | Reducing loss in transmission quality under changing network conditions |
| US7219364B2 (en) * | 2000-11-22 | 2007-05-15 | International Business Machines Corporation | System and method for selectable semantic codec pairs for very low data-rate video transmission |
| US8126276B2 (en) * | 2001-02-21 | 2012-02-28 | International Business Machines Corporation | Business method for selectable semantic codec pairs for very low data-rate video transmission |
| JP2002290973A (ja) * | 2001-03-28 | 2002-10-04 | Mitsubishi Electric Corp | マルチメディア通信装置 |
| KR100493281B1 (ko) * | 2001-10-15 | 2005-06-02 | 엘지전자 주식회사 | 디지털 티브이의 영상신호 처리장치 |
| EP1343162A3 (en) * | 2002-03-05 | 2006-06-28 | D&M Holdings, Inc. | Audio reproducing apparatus |
| US6788225B2 (en) * | 2002-12-19 | 2004-09-07 | Sony Corporation | System and method for intraframe timing in multiplexed channel |
| US8107525B1 (en) * | 2003-06-10 | 2012-01-31 | Avaya Inc. | Variable bit rate video CODEC using adaptive tracking for video conferencing |
| JP4540552B2 (ja) * | 2005-05-30 | 2010-09-08 | 三洋電機株式会社 | 画像伝送装置 |
| JP4616135B2 (ja) * | 2005-09-21 | 2011-01-19 | オリンパス株式会社 | 撮像装置および画像記録装置 |
| US7940653B2 (en) * | 2006-08-29 | 2011-05-10 | Verizon Data Services Llc | Audiovisual data transport protocol |
| US7817557B2 (en) * | 2006-08-29 | 2010-10-19 | Telesector Resources Group, Inc. | Method and system for buffering audio/video data |
| JP5047607B2 (ja) * | 2006-12-26 | 2012-10-10 | パナソニック株式会社 | ストリーム記録装置、ストリーム記録方法、記録システム、および記録再生システム |
| KR101611531B1 (ko) * | 2009-11-13 | 2016-04-12 | 삼성전자주식회사 | 촬영장치 및 촬영영상 제공방법 |
| CN101778306B (zh) * | 2010-02-08 | 2012-07-04 | 冠林电子有限公司 | 一种可视对讲系统调试设备 |
| US9357215B2 (en) * | 2013-02-12 | 2016-05-31 | Michael Boden | Audio output distribution |
| JP6604719B2 (ja) * | 2014-11-25 | 2019-11-13 | シャープ株式会社 | 受信装置、映像表示方法、及びプログラム |
| US20230097803A1 (en) * | 2021-09-28 | 2023-03-30 | eScapes Network LLC | Hybrid Audio/Visual Imagery Entertainment System With Live Audio Stream Playout And Separate Live Or Prerecorded Visual Imagery Stream Playout |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS647791A (en) * | 1987-06-30 | 1989-01-11 | Nec Corp | Multiscreen video conference method and device therefor |
| JP3617089B2 (ja) * | 1993-12-27 | 2005-02-02 | 株式会社日立製作所 | 映像蓄積配送装置及び映像蓄積配送システム |
| US5652630A (en) * | 1995-05-31 | 1997-07-29 | International Business Machines Corporation | Video receiver display, three axis remote control, and microcontroller for executing programs |
| JP3088268B2 (ja) * | 1995-06-21 | 2000-09-18 | 日本電気株式会社 | ビデオ・オン・デマンドシステムにおけるビデオサーバ |
| US5734443A (en) * | 1995-12-28 | 1998-03-31 | Philips Electronics North America Corporation | Method and device for performing source transitions in a video system which performs entropy encoding |
-
1996
- 1996-06-20 JP JP15940396A patent/JP3659528B2/ja not_active Expired - Fee Related
- 1996-12-30 US US08/777,409 patent/US6249324B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09252462A (ja) | 1997-09-22 |
| US6249324B1 (en) | 2001-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3659528B2 (ja) | テレビ会議システム | |
| US5821987A (en) | Videophone for simultaneous audio and video communication via a standard telephone line | |
| US5150357A (en) | Integrated communications system | |
| US6646677B2 (en) | Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method | |
| US5228076A (en) | High fidelity speech encoding for telecommunications systems | |
| JP3658087B2 (ja) | 端末装置及び端末装置の制御方法 | |
| JP2002007294A (ja) | 画像配信システム及び方法並びに記憶媒体 | |
| JP6172610B2 (ja) | テレビ会議用システム | |
| JP2003532347A (ja) | ビデオ会議ネットワークにおけるメディアの役割管理 | |
| JPH08509310A (ja) | コンピュータ・サポートによる協調動作を行うためのシステム | |
| US5953505A (en) | Communication apparatus and method for reading out stored function information in response to identifying information | |
| JP2003299069A (ja) | 画像配信方法およびその動作処理を実行するプログラムおよびそのプログラムを記憶した記憶媒体、および画像配信装置および画像受信装置 | |
| JPH08228329A (ja) | 通信会議方法および通信会議端末装置 | |
| Lazar et al. | Packetized video on MAGNET | |
| JP2001077924A (ja) | 多地点通信システム及びその方法 | |
| JP2005151584A (ja) | 送信処理装置及び方法 | |
| JPH1198257A (ja) | 会議システム | |
| JP2902220B2 (ja) | 通信会議システム | |
| US7499085B2 (en) | Information terminal with controller for stopping voice data | |
| JP6481937B2 (ja) | テレビ会議用通信装置 | |
| JPH09120369A (ja) | 通信装置 | |
| JPH06268757A (ja) | 端末識別方法 | |
| JPH0888842A (ja) | 画像伝送システム | |
| JP3030019B2 (ja) | 通信会議システム | |
| JP2004282785A (ja) | 表示制御装置及び表示制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040806 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050309 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050311 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080325 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090325 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100325 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100325 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110325 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120325 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |