JP5397126B2

JP5397126B2 - 端末装置、通信方法および通信プログラム

Info

Publication number: JP5397126B2
Application number: JP2009222148A
Authority: JP
Inventors: 友大稲垣
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2009-09-28
Filing date: 2009-09-28
Publication date: 2014-01-22
Anticipated expiration: 2029-09-28
Also published as: JP2011071822A

Description

この発明は、端末装置間で情報の送受信をおこなう端末装置、通信方法および通信プログラムに関し、特に、自拠点と、ネットワークを介して接続された複数の他拠点との間で送受信される情報を利用して会議をおこなう端末装置、通信方法および通信プログラムに関する。

テレビ会議システムは、複数の端末装置間で各拠点の参加者の状況などを示す映像情報を送受信する。テレビ会議システムは、端末装置によって送受信された各拠点の映像情報をデコードして各拠点の映像を表示する。各拠点における会議の参加者は、端末装置によって表示された映像を確認して会議をおこなう。

近年では、自拠点の端末装置が送信した映像情報が相手拠点の端末装置によって、どのような映像として表示されているかを把握するため、自拠点の端末装置は、相手拠点の端末装置から、相手拠点における再生画質情報を受信する。自拠点の端末装置は、相手拠点へ送信した映像情報を、受信した再生画質にして確認用の映像として出力するコミュニケーションシステムが提案されている（特許文献１）。

特開２００７−１５０９１６号公報

しかしながら、上述した特許文献１に記載の従来技術では、自拠点の端末装置は、相手拠点の映像情報のデコードに加え、相手拠点へ送信した映像情報を相手拠点から受信した再生画質情報に基づいてデコードをおこなう必要があり、処理負荷がかかるという問題が一例として挙げられる。

この発明は、上述した問題を解決するため、相手拠点からの映像情報のデコードだけおこなう簡易な構成で処理負荷の低減を図りつつ、相手拠点で表示されている自拠点の映像の状況を正確に把握することができる端末装置、通信方法および通信プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１の発明にかかる端末装置は、自拠点と、ネットワークを介して接続された複数の他拠点との間で送受信される情報を利用して会議をおこなう端末装置であって、前記自拠点の参加者を含む自拠点映像を撮像する撮像手段と、前記他拠点から、他拠点映像を含む他拠点映像情報を受信する受信手段と、所定の条件に基づいて、前記撮像手段によって撮像された前記自拠点映像と、前記他拠点映像とを合成するか否かを判断する判断手段と、前記判断手段によって前記自拠点映像と、前記他拠点映像とを合成しないと判断された場合、前記自拠点映像から前記他拠点に対して送信する自拠点映像情報を生成し、合成すると判断された場合、前記自拠点映像と、前記他拠点映像とから前記自拠点映像情報を生成する生成手段と、前記生成手段によって生成された前記自拠点映像情報を、前記他拠点に対して送信する送信手段と、を備え、前記判断手段は、前記他拠点映像情報に含まれる前記他拠点映像に、前記自拠点映像が含まれているか否かを判断し、前記自拠点映像が含まれていた場合、前記自拠点映像と、前記他拠点映像とを合成しないと判断し、前記自拠点映像が含まれていない場合、前記自拠点映像と、前記他拠点映像とを合成すると判断することを特徴とする。

請求項２の発明にかかる端末装置は、自拠点と、ネットワークを介して接続された複数の他拠点との間で送受信される情報を利用して会議をおこなう端末装置であって、前記自拠点の参加者を含む自拠点映像を撮像する撮像手段と、前記他拠点から、他拠点映像を含む他拠点映像情報を受信する受信手段と、所定の条件に基づいて、前記撮像手段によって撮像された前記自拠点映像と、前記他拠点映像とを合成するか否かを判断する判断手段と、前記判断手段によって前記自拠点映像と、前記他拠点映像とを合成しないと判断された場合、前記自拠点映像から前記他拠点に対して送信する自拠点映像情報を生成し、合成すると判断された場合、前記自拠点映像と、前記他拠点映像とから前記自拠点映像情報を生成する生成手段と、前記生成手段によって生成された前記自拠点映像情報を、前記他拠点に対して送信する送信手段と、を備え、前記受信手段は、複数の前記他拠点からそれぞれ前記他拠点映像情報を受信し、複数の前記他拠点映像情報に前記自拠点映像が含まれていた場合、前記他拠点映像情報に含まれていた前記自拠点映像同士の差分を演算し、前記差分が一定以上である場合、前記差分が一定以上あった他拠点を示す警告を前記参加者に報知する報知手段をさらに備えることを特徴とする。

請求項３の発明にかかる端末装置は、請求項１または２に記載の発明において、前記判断手段は、所定周期で前記自拠点映像と、前記他拠点映像とを合成すると判断することを特徴とする。

請求項４の発明にかかる端末装置は、請求項１〜３のいずれかに記載の発明において、前記判断手段は、所定タイミングで前記自拠点映像と、前記他拠点映像とを合成すると判断することを特徴とする。

請求項５の発明にかかる通信方法は、自拠点と、ネットワークを介して接続された複数の他拠点との間で送受信される情報を利用して会議をおこなう通信方法であって、前記自拠点の参加者を含む自拠点映像を撮像する撮像工程と、前記他拠点から、他拠点映像を含む他拠点映像情報を受信する受信工程と、所定の条件に基づいて、前記撮像工程によって撮像された前記自拠点映像と、前記受信工程によって受信された前記他拠点映像情報に含まれる前記他拠点映像とを合成するか否かを判断する判断工程と、前記判断工程によって前記自拠点映像と、前記他拠点映像とを合成しないと判断された場合、前記自拠点映像から前記他拠点に対して送信する自拠点映像情報を生成し、合成すると判断された場合、前記自拠点映像と、前記他拠点映像とから前記自拠点映像情報を生成する生成工程と、前記生成工程によって生成された前記自拠点映像情報を、前記他拠点に対して送信する送信工程と、を含み、前記判断工程は、前記他拠点映像情報に含まれる前記他拠点映像に、前記自拠点映像が含まれているか否かを判断し、前記自拠点映像が含まれていた場合、前記自拠点映像と、前記他拠点映像とを合成しないと判断し、前記自拠点映像が含まれていない場合、前記自拠点映像と、前記他拠点映像とを合成すると判断することを特徴とする。

請求項６の発明にかかる通信プログラムは、自拠点と、ネットワークを介して接続された複数の他拠点との間で送受信される情報を利用して会議をおこなう端末装置のための通信プログラムであって、前記自拠点の参加者を含む自拠点映像を撮像させる撮像工程と、前記他拠点から、他拠点映像を含む他拠点映像情報を受信させる受信工程と、所定の条件に基づいて、前記撮像工程によって撮像させた前記自拠点映像と、前記他拠点映像とを合成させるか否かを判断させる判断工程と、前記判断工程によって前記自拠点映像と、前記他拠点映像とを合成しないと判断された場合、前記自拠点映像から前記他拠点に対して送信する自拠点映像情報を生成させ、合成すると判断された場合、前記自拠点映像と、前記他拠点映像とから前記自拠点映像情報を生成させる生成工程と、前記生成工程によって生成させた前記自拠点映像情報を、前記他拠点に対して送信させる送信工程と、をコンピュータに実行させ、前記判断工程は、前記他拠点映像情報に含まれる前記他拠点映像に、前記自拠点映像が含まれているか否かを判断し、前記自拠点映像が含まれていた場合、前記自拠点映像と、前記他拠点映像とを合成しないと判断し、前記自拠点映像が含まれていない場合、前記自拠点映像と、前記他拠点映像とを合成すると判断することを特徴とする。
請求項７の発明にかかる通信プログラムは、自拠点と、ネットワークを介して接続された複数の他拠点との間で送受信される情報を利用して会議をおこなう端末装置のための通信プログラムであって、前記自拠点の参加者を含む自拠点映像を撮像させる撮像工程と、前記他拠点から、他拠点映像を含む他拠点映像情報を受信させる受信工程と、所定の条件に基づいて、前記撮像工程によって撮像させた前記自拠点映像と、前記他拠点映像とを合成させるか否かを判断させる判断工程と、前記判断工程によって前記自拠点映像と、前記他拠点映像とを合成しないと判断された場合、前記自拠点映像から前記他拠点に対して送信する自拠点映像情報を生成させ、合成すると判断された場合、前記自拠点映像と、前記他拠点映像とから前記自拠点映像情報を生成させる生成工程と、前記生成工程によって生成させた前記自拠点映像情報を、前記他拠点に対して送信させる送信工程と、をコンピュータに実行させ、前記受信工程は、複数の前記他拠点からそれぞれ前記他拠点映像情報を受信し、複数の前記他拠点映像情報に前記自拠点映像が含まれていた場合、前記他拠点映像情報に含まれていた前記自拠点映像同士の差分を演算し、前記差分が一定以上である場合、前記差分が一定以上あった他拠点を示す警告を前記参加者に報知する報知工程をさらに備えることを特徴とする。

請求項１にかかる発明によれば、自拠点で撮像された自拠点映像に他拠点から受信された他拠点映像を合成した自拠点映像情報を送信することができる。したがって、他拠点では、自拠点から送信された自拠点映像を確認することで、自拠点の映像とともに自拠点で表示されている他拠点の映像を確認することができる。同様に、自拠点では、他拠点から送信された他拠点映像を確認することで、他拠点の映像とともに他拠点で表示されている自拠点の映像を確認することができるため、簡易な構成で処理負荷の低減を図りつつ、相互で相手拠点に表示される映像の状態を把握することができる。また、他拠点映像に自拠点映像が含まれている場合は、自拠点映像と他拠点映像との合成をおこなわないため、表示する映像に複数の自拠点映像や他拠点映像が入り込んでしまうという無限の連鎖を防ぐことができる。
請求項２にかかる発明によれば、複数拠点からの他拠点映像に含まれる自拠点映像を比較して、差分の大きい場合に警告を報知できるため、自拠点の映像が適切に送信できなかった他拠点を的確に把握することができる。

請求項３にかかる発明によれば、所定周期で自拠点映像と他拠点映像とを合成することができる。すなわち、すべての映像を合成することなく他拠点で表示される自拠点の映像を確認するのに十分な程度の合成でよいため、自拠点映像と他拠点映像との合成処理の負荷を軽減することができる。

請求項４にかかる発明によれば、所定タイミングで自拠点映像と他拠点映像とを合成することができるため、他拠点で表示される自拠点の映像を確認できる適切なタイミングで合成映像の生成処理の最適化を図ることができる。

請求項５にかかる発明によれば、自拠点で撮像された自拠点映像に他拠点から受信された他拠点映像を合成した自拠点映像情報を送信することができる。したがって、他拠点では、自拠点から送信された自拠点映像を確認することで、自拠点の映像とともに自拠点で表示されている他拠点の映像を確認することができる。同様に、自拠点では、他拠点から送信された他拠点映像を確認することで、他拠点の映像とともに他拠点で表示されている自拠点の映像を確認することができるため、簡易な構成で処理負荷の低減を図りつつ、相互で相手拠点に表示される映像の状態を把握することができる。また、他拠点映像に自拠点映像が含まれている場合は、自拠点映像と他拠点映像との合成をおこなわないため、表示する映像に複数の自拠点映像や他拠点映像が入り込んでしまうという無限の連鎖を防ぐことができる。

請求項６にかかる発明によれば、自拠点で撮像された自拠点映像に他拠点から受信された他拠点映像を合成した自拠点映像情報を送信することができる。したがって、他拠点では、自拠点から送信された自拠点映像を確認することで、自拠点の映像とともに自拠点で表示されている他拠点の映像を確認することができる。同様に、自拠点では、他拠点から送信された他拠点映像を確認することで、他拠点の映像とともに他拠点で表示されている自拠点の映像を確認することができるため、簡易な構成で処理負荷の低減を図りつつ、相互で相手拠点に表示される映像の状態を把握することができる。また、他拠点映像に自拠点映像が含まれている場合は、自拠点映像と他拠点映像との合成をおこなわないため、表示する映像に複数の自拠点映像や他拠点映像が入り込んでしまうという無限の連鎖を防ぐことができる。
請求項７にかかる発明によれば、複数拠点からの他拠点映像に含まれる自拠点映像を比較して、差分の大きい場合に警告を報知できるため、自拠点の映像が適切に送信できなかった他拠点を的確に把握することができる。

以上説明したように、本発明にかかる端末装置、通信方法および通信プログラムよれば、簡易な構成で処理負荷の低減を図りつつ、相手拠点で表示されている自拠点の映像の状況を正確に把握することができる。

本発明の実施形態１にかかるテレビ会議システムの一例を示す説明図である。本発明の実施形態１にかかるテレビ会議端末の機能的構成の一例を示す説明図である。本発明の実施形態１にかかる会議映像として表示される合成映像の一例を示す説明図である。本発明の実施形態１にかかるテレビ会議端末の処理の内容を示すフローチャートである。本発明の実施形態１にかかる映像パケットの生成処理の内容を示すフローチャートである。本発明の実施形態１にかかる映像パケットの送受信の一例を示す説明図である。本発明の変形例にかかる自拠点の映像パケットの生成処理の内容を示すフローチャートである。本発明の実施形態２にかかる映像比較・報知処理の内容を示すフローチャートである。本発明の実施形態２にかかる映像比較の概要について説明する説明図である。

以下に添付図面を参照して、この発明にかかる端末装置、通信方法および通信プログラムの好適な実施の形態を詳細に説明する。

（実施形態１）
（全体構成）
図１を用いて、本発明の実施形態１にかかる端末装置を、テレビ会議をおこなうテレビ会議システムのために複数拠点に設置されたテレビ会議端末に適用した場合について説明する。図１は、本発明の実施形態１にかかるテレビ会議システムの一例を示す説明図である。なお、本実施形態１では、各拠点（Ａ，Ｂ，Ｃ，Ｄ）に設置されたテレビ会議端末１１０（１１０ａ，１１０ｂ，１１０ｃ，１１０ｄ）によって、本発明にかかる端末装置を実現し、ネットワーク１５０を介してテレビ会議端末１１０が接続されたテレビ会議システム１００またはテレビ会議端末１１０によって、本発明にかかる通信方法の処理が実行され、本発明にかかる通信プログラムによって、テレビ会議端末１１０に処理を実行させる場合について説明する。

図１において、テレビ会議システム１００は、各拠点（Ａ，Ｂ，Ｃ，Ｄ）に設置されたテレビ会議端末１１０ａ，１１０ｂ，１１０ｃ，１１０ｄがネットワーク１５０を介して接続されて構成されている。具体的には、地理的に離れた各拠点（Ａ，Ｂ，Ｃ，Ｄ）に設置されたテレビ会議端末１１０ａ，１１０ｂ，１１０ｃ，１１０ｄがインターネットなどのネットワークを介して接続されたり、建物内の離れた各拠点（Ａ，Ｂ，Ｃ，Ｄ）に設置されたテレビ会議端末１１０ａ，１１０ｂ，１１０ｃ，１１０ｄがＬＡＮ（ローカルエリアネットワーク）などのネットワーク１５０を介して接続されたりしている。また、ネットワーク１５０は、公衆電話回線網により構成されていてもよい。なお、図１では、テレビ会議端末１１０ａ，１１０ｂ，１１０ｃ，１１０ｄがネットワークを介して相互に接続されることとして説明するが、ネットワーク上の任意の位置に設置された管理サーバなどを介して相互に接続される構成でもよい。以降の説明では、各拠点の区別をしない場合、符号の末尾の記号である「ａ」，「ｂ」，「ｃ」，「ｄ」を省略して説明する。

テレビ会議システム１００は、各拠点でテレビ会議に参加する参加者１１６の映像および音声を各テレビ会議端末１１０によって相互に送受信させる。テレビ会議端末１１０は、ＣＰＵ（セントラルプロセッシングユニット）などの機能部の筐体である本体部１１１に接続された、各種映像を表示する表示部１１２と、参加者１１６の映像を撮像するカメラ１１３と、参加者１１６の音声を集音するマイク１１４と、各種音声を出力するスピーカ１１５とを備えている。

テレビ会議端末１１０は、カメラ１１３によって自拠点の参加者１１６の映像を撮像する。テレビ会議端末１１０は、撮像された映像を含む映像パケットをネットワーク１５０を介して他拠点のテレビ会議端末１１０に送信する。

テレビ会議端末１１０は、マイク１１４によって自拠点における参加者１１６の音声を集音する。テレビ会議端末１１０は、集音した参加者１１６の音声を含む音声パケットをネットワーク１５０を介して他拠点のテレビ会議端末１１０に送信する。

テレビ会議端末１１０は、他拠点のテレビ会議端末１１０から送信される参加者１１６の映像を含む映像パケットを受信する。テレビ会議端末１１０は、受信した映像パケットをデコードして表示部１１２によって会議映像を表示する。

テレビ会議端末１１０は、他拠点のテレビ会議端末１１０から送信される参加者１１６の音声を含む音声パケットを受信する。テレビ会議端末１１０は、受信した音声パケットをデコードしてスピーカ１１５によって会議音声を出力する。

テレビ会議端末１１０は、映像パケットを生成する際、自拠点のカメラ１１３で撮像された映像に、他拠点から受信した映像パケットに含まれる他拠点の映像を合成するか否かを判断する。映像の合成に関する判断は、たとえば、前回、他拠点へ送信した映像パケットについて合成をおこなったか否かによって、前回に合成をおこなっている場合は、今回は合成しないこととする。すなわち、所定周期として合成と非合成を交互に繰り返すこととなる。以降の説明では、自拠点をテレビ会議端末１１０ａが設置されたＡ拠点、他拠点をテレビ会議端末１１０ｂが設置されたＢ拠点として説明するが、自拠点および他拠点がいずれの拠点（Ａ，Ｂ，Ｃ，Ｄ）に相当することとしてもよい。

テレビ会議端末１１０ａは、Ａ拠点の映像に、受信した映像パケットに基づくＢ拠点の映像を合成しないと判断された場合、カメラ１１３ａによって撮像された映像をＢ拠点へ送信する映像パケットとして生成する。すなわち、Ａ拠点の映像のみをＢ拠点へ送信する。

テレビ会議端末１１０ａは、Ａ拠点の映像に、受信した映像パケットに基づくＢ拠点の映像を合成すると判断された場合、Ａ拠点の映像とＢ拠点の映像とを合成した合成映像をＢ拠点へ送信する映像パケットとして生成する。具体的には、テレビ会議端末１１０ａは、Ｂ拠点から受信した映像パケットに基づく会議映像中のＢ拠点の映像を、カメラ１１３ａによって撮像されたＡ拠点の映像に合成する。テレビ会議端末１１０ａは、Ａ拠点の映像にＢ拠点の映像が合成された映像をパケット化して、ネットワーク１５０を介してＢ拠点へ送信する。

Ｂ拠点のテレビ会議端末１１０ｂが表示する会議映像には、Ａ拠点において表示されているＢ拠点の映像が所定の割合で含まれていることとなる。したがって、参加者１１６ｂは、表示された会議映像に含まれるＢ拠点の映像を確認することによって、Ａ拠点においてＢ拠点の映像がどのように表示されていたのかを容易に把握することができる。同様にして、テレビ会議端末１１０ａが表示する会議映像には、Ｂ拠点で表示されたはずのＡ拠点の映像が所定の割合で含まれていることとなる。したがって、参加者１１６ａは、表示された会議映像に含まれるＡ拠点の映像を確認することによって、Ｂ拠点においてＡ拠点の映像がどのように表示されていたのかを容易に把握することができる。

（機能的構成）
図２を用いて、テレビ会議端末１１０の機能的構成について説明する。図２は、本発明の実施形態１にかかるテレビ会議端末の機能的構成の一例を示す説明図である。

図２において、テレビ会議端末１１０は、ＣＰＵ（セントラルプロセッシングユニット）２０１と、ＲＡＭ（ランダムアクセスメモリ）２０２と、ＲＯＭ（リードオンリーメモリ）２０３と、表示部１１２やカメラ１１３に対して映像の入出力を制御する映像Ｉ／Ｆ２０４と、スピーカ１１５やマイク１１４に対して音声の入出力を制御する音声Ｉ／Ｆ２０５と、各種情報の入力を受け付ける操作部２０６と、外部機器との通信を制御する通信Ｉ／Ｆ２０７と、各種情報を記憶する記憶媒体２０８と、を備えている。また、テレビ会議端末１１０の各構成部は、バス２００によってそれぞれ接続されている。

ＣＰＵ２０１は、テレビ会議端末１１０全体の制御をおこなう。ＣＰＵ２０１は、ＲＡＭ２０２をワークエリアとして、ＲＯＭ２０３から読み込まれる各種プログラムを実行する。

映像Ｉ／Ｆ２０４は、ＣＰＵ２０１の制御にしたがって、表示部１１２に各種情報を表示させる。映像Ｉ／Ｆ２０４は、他拠点のテレビ会議端末１１０から受信された映像パケットを、ＣＰＵ２０１の制御にしたがって、記憶媒体２０８から読み出してデコードし、会議映像として表示部１１２に表示させる。映像Ｉ／Ｆ２０４は、カメラ１１３によって撮像された自拠点の映像や、他拠点とのテレビ会議に関する処理の入力を受け付けるための入力画面などを表示させる構成でもよい。

映像Ｉ／Ｆ２０４は、ＣＰＵ２０１の制御にしたがって、カメラ１１３によって自拠点の参加者１１６の映像を撮像する。映像Ｉ／Ｆ２０４は、ＣＰＵ２０１の制御にしたがって、カメラ１１３によって撮像された映像を記憶媒体２０８に出力する。

音声Ｉ／Ｆ２０５は、ＣＰＵ２０１の制御にしたがって、スピーカ１１５に各種音声を出力させる。音声Ｉ／Ｆ２０５は、他拠点のテレビ会議端末１１０から受信された音声パケットを、ＣＰＵ２０１の制御にしたがって、記憶媒体２０８から読み出してデコードし、会議音声としてスピーカ１１５に出力させる。音声Ｉ／Ｆ２０５は、他拠点とのテレビ会議に関する指示コマンドの案内音声などを出力させる構成でもよい。

音声Ｉ／Ｆ２０５は、ＣＰＵ２０１の制御にしたがって、マイク１１４によって自拠点の参加者１１６の音声を集音する。音声Ｉ／Ｆ２０５は、ＣＰＵ２０１の制御にしたがって、マイク１１４によって集音された音声を記憶媒体２０８に出力する。

操作部２０６は、参加者１１６などから各種情報の入力を受け付ける。操作部２０６は、タッチパネルや操作ボタンなどによって構成され、テレビ会議に関する情報の入力を受け付けて、入力された信号をＣＰＵ２０１へ出力する。

通信Ｉ／Ｆ２０７は、通信回線を通じてインターネットなどのネットワーク１５０に接続され、このネットワーク１５０を介して他のテレビ会議端末１１０やその他外部機器に接続される。通信Ｉ／Ｆ２０７は、ネットワーク１５０とテレビ会議端末１１０内部のインターフェースをつかさどり、外部機器に対するデータの入出力を制御する。通信Ｉ／Ｆ２０７には、たとえば、モデムやＬＡＮアダプタなどを採用することができる。

通信Ｉ／Ｆ２０７は、他拠点のテレビ会議端末１１０から送信される映像パケットおよび音声パケットを受信する。通信Ｉ／Ｆ２０７は、ＣＰＵ２０１の制御にしたがって、受信した映像パケットおよび音声パケットを記録媒体２０８へ出力する。

通信Ｉ／Ｆ２０７は、ＣＰＵ２０１の制御にしたがって、記憶媒体２０８に記憶された自拠点の映像および音声を、他拠点のテレビ会議端末１１０へ送信する。通信Ｉ／Ｆ２０７は、ＣＰＵ２０１の制御にしたがって、映像および音声を含む映像パケットおよび音声パケットとして所定のタイミングで送信する。

具体的には、ＣＰＵ２０１は、記録媒体２０８に記憶された自拠点の映像および音声から、他拠点のテレビ会議端末１１０へ送信するために映像パケットおよび音声パケットを生成する。ＣＰＵ２０１は、生成した映像パケットおよび音声パケットを、通信Ｉ／Ｆ２０７を介して他拠点のテレビ会議端末１１０に送信する。

ＣＰＵ２０１は、映像パケットを生成する際、自拠点の映像に、他拠点の映像を合成するか否かを判断し、判断結果に応じて映像パケットを生成する。ＣＰＵ２０１は、前回、他拠点へ送信した映像パケットについて合成をおこなっていなければ合成すると判断する。

ＣＰＵ２０１は、自拠点の映像に他拠点の映像を合成すると判断された場合、記憶媒体２０８から読み出した自拠点の映像に、表示部１１２に表示させる会議映像中の他拠点の映像を合成した合成映像を他拠点へ送信する映像パケットとして生成する。

ここで、図３を用いて、本発明の実施形態１にかかる会議映像として表示される合成映像について説明する。図３は、本発明の実施形態１にかかる会議映像として表示される合成映像の一例を示す説明図である。図３では、Ａ拠点のテレビ会議端末１１０ａからＡ拠点の映像と、Ｂ拠点の映像とが合成された合成映像が映像パケットとしてＢ拠点のテレビ会議端末１１０ｂに送信され、Ｂ拠点のテレビ会議端末１１０ｂにおいてデコードされた会議映像について説明する。

図３において、Ｂ拠点のテレビ会議端末１１０ｂは、Ａ拠点のテレビ会議端末１１０ａから受信した映像パケットをデコードする。テレビ会議端末１１０ｂは、表示部１１２ｂに映像パケットをデコードした会議映像３００を表示させる。

表示部１１２ｂには、会議映像３００として、送信元のＡ拠点の参加者１１６ａのＡ拠点映像３０１と、Ｂ拠点の参加者１１６ｂのＢ拠点映像３０２とが合成されて表示されている。すなわち、Ａ拠点のテレビ会議端末１１０ａによって、Ｂ拠点から送信されていたＢ拠点の映像と、カメラ１１３ａで撮像されたＡ拠点の映像とが合成された合成映像の映像パケットを生成し、生成した映像パケットをＡ拠点のテレビ会議端末１１０ａからＢ拠点のテレビ会議端末１１０ｂへ送信している。

具体的には、Ａ拠点のテレビ会議端末１１０ａは、会議映像３００の映像パケットを生成する際、Ｂ拠点から送信されていた映像パケットをデコードする。テレビ会議端末１１０ａは、映像パケットをデコードした会議映像を表示部１１２ａに表示させるとともに、前回Ｂ拠点へ送信したＡ拠点の映像パケットは、Ｂ拠点の映像と合成処理をおこなったか否かを判断する。

テレビ会議端末１１０ａは、前回、合成処理をおこなっていない場合、カメラ１１３ａで撮像したＡ拠点の映像に、Ｂ拠点の映像を合成した合成映像を、Ｂ拠点へ送信する映像パケットとして生成する。そして、テレビ会議端末１１０ａは、生成した映像パケットを通信Ｉ／Ｆ２０７ａを介してＢ拠点のテレビ会議端末１１０ｂへ送信する構成である。

Ｂ拠点の参加者１１６ｂは、表示部１１２ｂに表示された会議映像３００に含まれるＢ拠点映像３０２を確認することで、Ｂ拠点のテレビ会議端末１１０ｂが送信していた映像が、Ａ拠点でどのように表示されていたのかについて、Ａ拠点に問合せることなく容易に把握することができる。

図２に戻って、記憶媒体２０８は、ＨＤ（ハードディスク）や着脱可能な記録媒体の一例としてのＦＤ（フレキシブルディスク）などである。記憶媒体２０８は、それぞれのドライブデバイスを有し、ＣＰＵ２０１の制御にしたがって各種データが記録される。また、記憶媒体２０８からは、それぞれのドライブデバイスの制御にしたがってデータが読み取られる。

なお、各構成要素と、各機能を対応付けて説明すると、図２に示したＣＰＵ２０１、映像Ｉ／Ｆ２０４およびカメラ１１３によって、本発明にかかる撮像手段の機能を実現する。ＣＰＵ２０１および通信Ｉ／Ｆ２０７によって、本発明にかかる受信手段および送信手段の機能を実現する。ＣＰＵ２０１によって、本発明にかかる判断手段および生成手段の機能を実現する。

（テレビ会議端末１１０の処理の内容）
図４〜図６を用いて、本発明の実施形態１にかかるテレビ会議システム１００の処理の内容について説明する。図４〜図６では、Ａ拠点のテレビ会議端末１１０ａと、Ｂ拠点のテレビ会議端末１１０ｂとによってテレビ会議をおこなう場合について説明する。図４は、本発明の実施形態１にかかるテレビ会議端末の処理の内容を示すフローチャートである。図４（ａ）は、Ａ拠点のテレビ会議端末の処理の内容を示すフローチャートである。図４（ｂ）は、Ｂ拠点のテレビ会議端末の処理の内容を示すフローチャートである。なお、図４（ｂ）におけるステップＳ４５１〜ステップＳ４５７の処理は、図４（ａ）におけるステップＳ４０１〜ステップＳ４０７の処理とほぼ同様の処理であるため説明を省略する。

図４（ａ）のフローチャートにおいて、まず、ＣＰＵ２０１ａは、テレビ会議が開始されたか否かを判断する（ステップＳ４０１）。テレビ会議の開始は、たとえば、参加者１１６ａによる操作部２０６ａの操作に基づいて、通信Ｉ／Ｆ２０７ａを介して他のテレビ会議端末１１０ａに対して接続要求をおこなう。通信Ｉ／Ｆ２０７ａを介して他のテレビ会議端末１１０ｂから応答を受信することによって判断される。

ステップＳ４０１において、テレビ会議が開始されるのを待って、開始された場合（ステップＳ４０１：Ｙｅｓ）は、ＣＰＵ２０１は、映像Ｉ／Ｆ２０４ａを介してカメラ１１３ａによってＡ拠点の映像を撮像する（ステップＳ４０２）。

ＣＰＵ２０１ａは、通信Ｉ／Ｆ２０７ａによって、Ｂ拠点から映像パケットを受信したか否かを判断する（ステップＳ４０３）。

ステップＳ４０３において、Ｂ拠点から映像パケットを受信しない場合（ステップＳ４０３：Ｎｏ）は、ＣＰＵ２０１は、所定の時間が経過してタイムアウトしたか否かを判断する（ステップＳ４０４）。所定の時間の経過は、たとえば、図示しないタイマなどによって、会議開始や、直前のデコードなどを起点にして計時される。

ステップＳ４０４において、タイムアウトしていない場合（ステップＳ４０４：Ｎｏ）は、ステップＳ４０３へ戻って処理を繰り返し、タイムアウトした場合（ステップＳ４０４：Ｙｅｓ）は、そのままステップＳ４０５へ移行する。

ステップＳ４０３において、Ｂ拠点から映像パケットを受信した場合（ステップＳ４０３：Ｙｅｓ）は、ＣＰＵ２０１ａは、受信された映像パケットを記憶媒体２０８ａに記憶して、ステップＳ４０５へ移行する。

ＣＰＵ２０１ａは、映像Ｉ／Ｆ２０４ａを制御して、記憶媒体２０８ａに記憶された他拠点の映像パケットを読み出してデコードし、表示部１１２ａに会議映像を表示する（ステップＳ４０５）。このステップＳ４０５では、未受信の状態で記憶媒体２０８ａにＢ拠点の映像パケットが記憶されていない場合や、Ｂ拠点の映像パケットが欠損していた場合でも、そのままデコードして黒一色映像や一部が欠損した映像などを表示することとなる。

ＣＰＵ２０１ａは、Ａ拠点の映像パケットの生成・送信処理をおこなう（ステップＳ４０６）。ここで、図５を用いて、本発明の実施形態１にかかるテレビ会議端末の映像パケットの生成・送信処理について説明する。図５（ａ）を用いて、本発明の実施形態１にかかるテレビ会議端末１１０ａにおけるＡ拠点の映像パケットの生成・送信処理（図４（ａ）に示したステップＳ４０６）について説明する。図５（ａ）は、本発明の実施形態１にかかるＡ拠点の映像パケットの生成・送信処理（図４（ａ）に示したステップＳ４０６）の内容を示すフローチャートである。なお、図５（ｂ）は、本発明の実施形態１にかかるＢ拠点の映像パケットの生成・送信処理（図４（ｂ）に示したステップＳ４５６）の内容を示すフローチャートである。図５（ｂ）におけるステップＳ５５１〜ステップＳ５５４の処理は、図５（ｂ）におけるステップＳ５０１〜ステップＳ５０４の処理とほぼ同様であるため説明を省略する。

図５（ａ）のフローチャートにおいて、まず、ＣＰＵ２０１ａは、ステップＳ４０５において会議映像を表示する前にＢ拠点のテレビ会議端末１１０ｂに送信した映像パケットは合成した映像パケットだったか否かを判断する（ステップＳ５０１）。

ステップＳ５０１において、前回合成していない場合（ステップＳ５０１：Ｎｏ）は、ＣＰＵ２０１ａは、記憶媒体２０８ａから読み出したＡ拠点の映像に、表示対象の会議映像中のＢ拠点の映像を合成する（ステップＳ５０２）。ＣＰＵ２０１ａは、ステップＳ５０２において合成した合成映像に基づいて、Ｂ拠点へ送信する映像パケットを生成する（ステップＳ５０３）。

ＣＰＵ２０１ａは、通信Ｉ／Ｆ２０７ａを介して、ステップＳ５０３において生成された映像パケットをＢ拠点に送信して（ステップＳ５０４）、そのままＡ拠点の映像パケットの生成・送信処理を終了して、図４（ａ）に示したステップＳ４０７へ戻る。

ステップＳ５０１において、前回合成した場合（ステップＳ５０１：Ｙｅｓ）は、ＣＰＵ２０１は、ステップＳ５０３へ移行して、ステップＳ４０２において撮像された自拠点（Ａ拠点）の映像に基づいて、他拠点（Ｂ拠点）へ送信する映像パケットを生成する（ステップＳ５０３）。

ＣＰＵ２０１ａは、通信Ｉ／Ｆ２０７ａを介して、ステップＳ５０３において生成された映像パケットを他拠点に送信して（ステップＳ５０４）、そのままＡ拠点の映像パケットの生成・送信処理を終了して、図４に示したステップＳ４０７へ戻る。

図４（ａ）に戻って、ＣＰＵ２０１ａは、ステップＳ４０１で開始されたテレビ会議が終了するか否かを判断する（ステップＳ４０７）。テレビ会議の終了は、たとえば、参加者１１６ａによる操作部２０６ａの操作に基づいて、通信Ｉ／Ｆ２０７ａを介して他のテレビ会議端末１１０ｂに対して切断要求をおこなう。通信Ｉ／Ｆ２０７ａを介して他のテレビ会議端末１１０ｂから応答を受信することによって判断される。

ステップＳ４０７において、テレビ会議が継続される場合（ステップＳ４０７：Ｎｏ）は、ステップＳ４０２へ戻って処理を繰り返す。ステップＳ４０７において、テレビ会議が終了される場合（ステップＳ４０７：Ｙｅｓ）は、そのまま一連の処理を終了する。

ここで、図６を用いて、図４および図５におけるテレビ会議システム１００の処理の内容について具体的に説明する。図６は、本発明の実施形態１にかかる映像パケットの送受信の一例を示す説明図である。図６では、Ａ拠点のテレビ会議端末１１０ａの処理の内容を示す図４（ａ）および図５（ａ）と、Ｂ拠点のテレビ会議端末１１０ｂの処理の内容を示す図４（ｂ）および図５（ｂ）とのフローチャートの順序にしたがって説明する。

図６において、ステップＳ４０１でテレビ会議が開始されると、Ａ拠点のテレビ会議端末１１０ａは、ステップＳ４０２において、自拠点であるＡ拠点の映像を撮像する（Ｔ１）。Ｂ拠点のテレビ会議端末１１０ｂもステップＳ４５１およびステップＳ４５２において同様の処理をおこなう。

テレビ会議端末１１０ａは、相手拠点から映像パケットを受信する前であるため、ステップＳ４０４においてタイムアウトすることとなる（Ｔ２）。換言すれば、テレビ会議端末１１０ａは、ステップＳ５０４における相手拠点であるＢ拠点へ映像パケットの送信をおこなう前であるためタイムアウトとなる。Ｂ拠点のテレビ会議端末１１０ｂもステップＳ４５４において同様の処理をおこなう。

テレビ会議端末１１０ａは、相手拠点であるＢ拠点から映像パケットを受信していないため、ステップＳ４０５において、Ｂ拠点の映像がないことを示す黒映像を表示する（Ｔ３）。テレビ会議端末１１０ｂもステップＳ４５５において同様の処理をおこなう。

テレビ会議端末１１０ａは、ステップＳ４０６における映像パケットの生成・送信処理へ移行すると、前回は映像パケットの合成をおこなっていないため（ステップＳ５０１：Ｎｏ）、ステップＳ５０２において、相手拠点の映像である黒映像と、自拠点で撮像された映像とを合成し、ステップＳ５０３において相手拠点へ送信する映像パケットを生成する（Ｔ４）。テレビ会議端末１１０ｂも、ステップＳ４５６、ステップＳ５５１、ステップＳ５５２およびステップＳ５５３において同様の処理をおこなう。

テレビ会議端末１１０ａは、ステップＳ５０３において生成された映像パケットを相手拠点であるＢ拠点へ送信すると（Ｔ５）、Ｂ拠点から送信された映像パケットを受信し、会議映像として表示する（Ｔ６）。テレビ会議端末１１０ｂもステップＳ５５３において同様の処理をおこなう。

テレビ会議端末１１０ａは、ステップＳ４０７において会議が継続されている場合は、ステップＳ４０２において、新たに自拠点の映像を撮像している（Ｔ７）。テレビ会議端末１１０ｂも、ステップＳ４５７およびステップＳ４５２において同様の処理をおこなう。

テレビ会議端末１１０ａは、ステップＳ４０６における映像パケットの生成・送信処理へ移行すると、前回はＴ４において映像パケットの合成をおこなっているため、合成はおこなわずに、自拠点であるＡ拠点の映像からステップＳ５０３において相手拠点であるＢ拠点へ送信する映像パケットを生成する（Ｔ８）。テレビ会議端末１１０ｂもステップＳ４５６およびステップＳ５５３において同様の処理をおこなう。

テレビ会議端末１１０ａは、ステップＳ５０３において生成された映像パケットを相手拠点であるＢ拠点へ送信すると（Ｔ９）、Ｂ拠点から送信された映像パケットを受信し、会議映像として表示する（Ｔ１０）。テレビ会議端末１１０ｂもステップＳ５５３において同様の処理をおこなう。

テレビ会議端末１１０ａは、ステップＳ４０７において会議が継続されている場合は、ステップＳ４０２において、新たにＡ拠点の映像を撮像している（Ｔ１１）。テレビ会議端末１１０ｂもステップＳ４５７およびステップＳ４５２において同様の処理をおこなう。

テレビ会議端末１１０ａは、ステップＳ４０６における映像パケットの生成・送信処理へ移行すると、前回はＴ８において映像パケットの合成をおこなっていないため、ステップＳ５０２において、Ｔ１０において受信・表示をおこなった相手拠点であるＢ拠点の映像と、自拠点であるＡ拠点で撮像された映像とを合成し、ステップＳ５０３においてＢ拠点へ送信する映像パケットを生成する（Ｔ１２）。テレビ会議端末１１０ｂもステップＳ４５６、ステップＳ５５２およびステップＳ５５３において同様の処理をおこなう。

テレビ会議端末１１０ａは、ステップＳ５０３において生成された映像パケットをＢ拠点へ送信すると（Ｔ１３）、Ｂ拠点から送信された映像パケットを受信し、会議映像として表示する（Ｔ１４）。テレビ会議端末１１０ｂもステップＳ５５３において同様の処理をおこなう。

テレビ会議端末１１０ａは、ステップＳ４０７において会議が継続されている期間は、Ａ拠点の映像に対してＢ拠点の映像の合成と、非合成とを繰り返して映像パケットを生成して、Ｂ拠点へ送信することとなる。テレビ会議端末１１０ｂも同様に、ステップＳ４５７において会議が継続している間は映像の合成と、非合成を繰り返して映像パケットを生成して、Ａ拠点へ送信する構成である。

なお、本発明の各構成要素における通信方法と、本発明の実施形態１の各処理または各機能とを関連付けて説明すると、ステップＳ４０２（Ｓ４５２）におけるＣＰＵ２０１、映像Ｉ／Ｆ２０４およびカメラ１１３の処理によって、本発明にかかる撮像工程の処理が実行される。ステップＳ４０３（Ｓ４５３）およびステップＳ４０４（Ｓ４５４）におけるＣＰＵ２０１および通信Ｉ／Ｆ２０７の処理によって、本発明にかかる受信工程の処理が実行される。ステップＳ４０６（ステップＳ５０１〜ステップＳ５０３）（Ｓ４５６（Ｓ５５１〜Ｓ５５３））におけるＣＰＵ２０１および記憶媒体２０８の処理によって、本発明にかかる判断工程および生成工程の処理が実行される。ステップＳ５０４（Ｓ５５４）におけるＣＰＵ２０１および通信Ｉ／Ｆ２０７の処理によって、本発明にかかる送信工程の処理が実行される。

以上説明したように、本発明の実施形態１によれば、自拠点で撮像された自拠点映像に他拠点から受信された他拠点映像を合成した自拠点映像情報を送信することができる。したがって、他拠点では、自拠点から送信された自拠点映像を確認することで、自拠点の映像とともに自拠点で表示されている他拠点の映像を確認することができる。

同様に、自拠点では、他拠点から送信された他拠点映像を確認することで、他拠点の映像とともに他拠点で表示されている自拠点の映像を確認することができるため、自拠点の映像をデコードすることなく、簡易な構成で処理負荷の低減を図りつつ、相互で相手拠点に表示される映像の状態を把握することができる。

また、交互に合成と非合成を繰り返す構成としているため、合成された映像を繰り返し合成して、合成映像の連鎖を防止することができるとともに、無駄な合成処理をおこなうことがない。

（その他の一部の変形例）
本発明の実施形態１では特に、相互に表示対象となる映像について映像パケットとして送受信する構成としたがこれに限ることはない。すなわち、映像を送受信するデータ形式は、テレビ会議をおこなうテレビ会議端末１１０同士が送受信するのに適したデータ形式であればなんでもよい。このようにすることで、送受信するデータ形式について汎用性の向上を図ることができる。

また、本発明の実施形態１では特に、図６で示したようにＡ拠点と、Ｂ拠点の映像について、合成映像および合成をおこなっていない映像の送受信について同タイミングで説明したが、これに限ることはない。具体的には、Ａ拠点から合成映像に基づくＡ拠点映像パケットが送信されるタイミングで、Ｂ拠点からは合成をおこなっていない映像に基づくＢ拠点映像パケットが送信される構成でもよい。

また、本発明の実施形態１では特に、ステップＳ５０１およびステップＳ５５１において、所定周期として、合成と、非合成を交互に繰り返すこととして説明したがこれに限ることはない。具体的には、たとえば、交互に繰り返す代わりに、合成と、非合成とを複数回ごとに繰り返す構成でもよい。すなわち、１回の合成の後に複数回非合成を繰り返したりしてもよく、合成処理負荷の最適化を図ることができる。また、所定周期の代わりに所定タイミングを検知して合成を判断してもよい。

ここで、図７を用いて、本変形例にかかる自拠点の映像パケットの生成・送信処理について説明する。図７は、本発明の変形例にかかる自拠点の映像パケットの生成処理（図４（ａ）に示したステップＳ４０６または図４（ｂ）に示したステップＳ４５６）の内容を示すフローチャートである。図７のフローチャートにおいて、まず、ＣＰＵ２０１は、所定タイミングとなったか否かを判断する（ステップＳ７０１）。所定タイミングは、テレビ会議端末１１０の起動時、ネットワーク１５０環境の変動時、テレビ会議端末１１０のテレビ会議への新たな接続時や切断時などのタイミングである。

ステップＳ７０１において、所定タイミングとなった場合（ステップＳ７０１：Ｙｅｓ）は、ＣＰＵ２０１は、記憶媒体２０８から読み出した自拠点の映像に、表示対象の会議映像中の他拠点の映像を合成する（ステップＳ７０２）。

ＣＰＵ２０１は、ステップＳ７０２において自拠点の映像に会議映像中の他拠点の映像を合成した合成映像に基づいて、他拠点へ送信する映像パケットを生成する（ステップＳ７０３）。

ＣＰＵ２０１は、通信Ｉ／Ｆ２０７を介して、ステップＳ７０３において生成された映像パケットを他拠点に送信して（ステップＳ７０４）、そのまま自拠点の映像パケットの生成・送信処理を終了して、図４（ａ）に示したステップＳ４０７（または、図４（ｂ）に示したステップＳ４５７）へ戻る。

ステップＳ７０１において、所定タイミングとなっていない場合（ステップＳ７０１：Ｎｏ）は、ＣＰＵ２０１は、ステップＳ７０３へ移行して、ステップＳ４０２において撮像された自拠点の映像に基づいて、他拠点へ送信する映像パケットを生成する（ステップＳ７０３）。

このように、会議映像を用いずに所定タイミングによって合成の要否を判断することで、簡易な構成によって、表示する映像に複数の自拠点映像や他拠点映像が入り込んでしまうという無限の連鎖を防ぐことができる。また、所定のタイミングで、映像の合成の要否を判断することで、合成映像の生成処理の最適化を図ることができる。

また、本発明の実施形態１では特に、所定周期の経過によって、映像の合成と非合成を豪語に繰り返すこととして説明したが、これに限ることはない。具体的には、会議映像に自拠点の映像が含まれているか否かに基づいて、自拠点の映像に他拠点の映像を合成すると判断してもよい。すなわち、他拠点から送信された映像パケットをデコードした会議映像に、自拠点の映像が含まれていなければ合成すると判断する。

他拠点から送信された映像パケットに基づく会議映像に自拠点映像が含まれている場合は、自拠点映像と他拠点映像との合成をおこなわないため、表示する映像に複数の自拠点映像が入り込んでしまうことを防ぐことができ、最適な会議映像によって円滑なテレビ会議をおこなうことができる。

（実施形態２）
つぎに、本発明の実施形態２について説明する。本発明の実施形態２では、実施形態１で説明した会議映像について、複数の他拠点から受信した場合に、表示に不具合がある他拠点を報知する場合について説明する。なお、本発明の実施形態２にかかるテレビ会議システム１００の概要、テレビ会議端末１１０の機能的構成、テレビ会議端末１１０の処理の内容については、実施形態１に示したそれぞれ図１、図２、図４および図５とほぼ同様であるため説明を省略する。

本発明の実施形態２においては、図４（ａ）に示したステップＳ４０４〜Ｓ４０７または図４（ｂ）に示したステップＳ４５４〜Ｓ４５７の間に、複数の他拠点から受信した映像パケットについて、映像比較および報知処理をおこなう構成である。すなわち、通信Ｉ／Ｆ２０７は、複数の他拠点のテレビ会議端末１１０から送信される映像パケットを受信し、記録媒体２０８へ出力する。

ＣＰＵ２０１は、複数の他拠点から送信された映像パケットをデコードした会議映像に、自拠点の映像が含まれているか否かを判断し、含まれている場合は、自拠点の映像の差分を算出する。ＣＰＵ２０１は、差分が一定値以上である場合に、表示部１１２やスピーカ１１５によってその旨を参加者１１６へ報知する構成である。

（映像比較・報知処理の内容）
ここで、図８を用いて、本発明の実施形態２にかかるテレビ会議端末１１０による会議映像の映像比較・報知処理について説明する。図８は、本発明の実施形態２にかかる映像比較・報知処理の内容を示すフローチャートである。図８のフローチャートにおいて、まず、ＣＰＵ２０１は、複数の他拠点から受信した映像パケットに基づく会議映像に自拠点の映像があるか否かを判断する（ステップＳ８０１）。

ステップＳ８０１において、自拠点の映像がない場合（ステップＳ８０１：Ｎｏ）は、そのまま一連の映像比較・報知処理を終了し、図４のフローチャートへ戻る。ステップＳ１３０１において、自拠点の映像がある場合（ステップＳ８０１：Ｙｅｓ）は、ＣＰＵ２０１は、会議映像に含まれる各自拠点の映像の画素間の差分を算出する（ステップＳ８０２）。

ＣＰＵ２０１は、ステップＳ８０２において算出された差分が一定以上か否かを判断する（ステップＳ８０３）。差分が一定以上か否かの判断は、たとえば、自拠点の映像が適切に表示されていないことを判断するものである。

ここで、図９を用いて、本発明の実施形態２にかかるテレビ会議端末１１０による映像比較の概要についてＢ拠点のテレビ会議端末１１０ｂが、Ａ，Ｃ，Ｄ拠点のテレビ会議端末１１０ａ，１１０ｃ，１１０ｄからＡ拠点の映像を含む会議映像の映像パケットを受信する例を説明する。図９は、本発明の実施形態２にかかる映像比較の概要について説明する説明図である。

図９において、Ｂ拠点のテレビ会議端末１１０ｂは、テレビ会議端末１１０ａ，１１０ｃ，１１０ｄから映像パケットを受信する。テレビ会議端末１１０ｂは、Ａ，Ｃ，Ｄ拠点から受信した映像パケットをＡ拠点の会議映像９００、Ｃ拠点の会議映像９１０、Ｄ拠点の会議映像９２０としてそれぞれデコードする。

会議映像９００には、参加者１１６ａのＡ拠点映像９０１と、Ａ拠点で表示された参加者１１６ｂのＢ拠点映像９０２とが合成されている。会議映像９１０には、参加者１１６ｃのＣ拠点映像９１１と、Ｃ拠点で表示された参加者１１６ｂのＢ拠点映像９１２とが合成されている。会議映像９２０には、参加者１１６ｄのＤ拠点映像９１１と、Ｃ拠点で表示された参加者１１６ｂのＢ拠点映像９２２とが合成されている。

会議映像９２０におけるＢ拠点映像９２２には、欠損個所９５０が存在しており、Ｂ拠点の自拠点とする各Ｂ拠点映像９０２，９１２，９２２の画素間の差分を算出すると、Ｂ拠点映像９２２について一定以上の差分が算出されることとなる。

テレビ会議端末１１０ｂは、一定以上の差分があったＢ拠点映像９２２を含む会議映像９２０の送信元のＤ拠点に対して、自拠点であるＢ拠点の映像パケットが適切に送信されなかったこととして、その旨を報知する。報知は、たとえば、Ｂ拠点の参加者１１６ｂに対して「Ｄ拠点でうまく再生できていません」などのメッセージ９６０を表示する。

図８に戻って、ステップＳ８０３において、一定以上の差分がない場合（ステップＳ８０３：Ｎｏ）は、そのまま一連の映像比較・報知処理を終了し、図４のフローチャートへ戻る。

ステップＳ８０３において、一定以上の差分があった場合（ステップＳ８０３：Ｙｅｓ）は、ＣＰＵ２０１は、映像Ｉ／Ｆ２０４を制御して、表示部１１２に一定以上の差分があった旨を表示して（ステップＳ８０４）、一連の映像比較・報知処理を終了し、図４のフローチャートへ戻る。

以上説明したように、本発明の実施形態２によれば、他拠点の映像に含まれる自拠点の映像を比較して、差分の大きい場合に警告を報知できるため、自拠点の映像が適切に送信できなかった他拠点を的確に把握することができる。

（その他の一部の変形例）
本発明の実施形態２では特に、自拠点の参加者１１６に対して、自拠点の映像が適切に送信されなかった他拠点を報知することとしたが、これに限ることはない。具体的には、図９の例で、たとえば、テレビ会議端末１１０ｂは、他拠点Ａ，Ｃ，Ｄに対しても、適切に映像が送信されていない拠点間を報知することとしてもよい。相互に、通信が適切に確立されていないことを報知することで、参加者１１６は、通信が確立できない拠点間を特定することができる。

また、本発明の実施形態２では特に、各会議映像９００，９１０，９２０における各Ｂ拠点映像９０２，９１２，９２２の画素間の差分を算出することとして説明したが、テレビ会議端末１１０ｂは、タイムスタンプを付与してＢ拠点映像９０２，９１２，９２２を送信した場合、同時刻のタイムスタンプが付与されている場合に差分を算出する構成でもよい。タイムスタンプを利用することで、通信の不具合を正確に把握することができる。

また、本発明の実施形態２では特に、各会議映像９００，９１０，９２０における各Ｂ拠点映像９０２，９１２，９２２の画素間の差分を算出することとして説明したが、これに限ることはない。具体手には、たとえば、テレビ会議端末１１０ｂは、自装置が送信したＢ拠点映像９０２，９１２，９２２を一時保持可能とする。各会議映像９００，９１０，９２０における各Ｂ拠点映像９０２，９１２，９２２と、一時保持されている（かつて自装置が送信した）Ｂ拠点映像９０２，９１２，９２２との差分をそれぞれ算出する構成でもよい。このようにすれば、通信の不具合を正確に把握することができる。

また、本発明の実施形態２では特に、一定以上の差分があった旨をメッセージ９６０として表示する構成としたが、これに限ることはない。具体的には、一定以上の差分があるＤ拠点からの会議映像９２０を強調表示したり、音声による報知をおこなったりしてもよい。このように、様々な報知形態を適用することで、テレビ会議端末１１０の利便性の向上を図ることができる。

また、本発明の実施形態２では特に、Ｄ拠点に映像パケットが適切に送信されなかったこととしてメッセージ９６０を表示することとしたが、これに限ることはない。具体的には、Ｄ拠点から送信される映像パケットに不具合について「Ｄ拠点からの送信に不具合があります」や「Ｄ拠点との通信に不具合が発生しています」というメッセージでもよい。

また、上述した説明では、実施形態１、実施形態２および一部の変形例について別々の例として説明したが、これに限ることはない。すなわち、それぞれ実施形態１、実施形態２および一部の変形例による手法を適宜組み合わせて利用してもよい。

なお、本発明の実施形態１、２および変形例で説明した通信方法は、あらかじめ用意された通信プログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。この通信プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。

１００テレビ会議システム
１１０（１１０ａ，１１０ｂ，１１０ｃ，１１０ｄ）テレビ会議端末
１１１（１１１ａ，１１１ｂ，１１１ｃ，１１１ｄ）筐体
１１２（１１２ａ，１１２ｂ，１１２ｃ，１１２ｄ）表示部
１１３（１１３ａ，１１３ｂ，１１３ｃ，１１３ｄ）カメラ
１１４（１１４ａ，１１４ｂ，１１４ｃ，１１４ｄ）マイク
１１５（１１５ａ，１１５ｂ，１１５ｃ，１１５ｄ）スピーカ
１１６（１１６ａ，１１６ｂ，１１６ｃ，１１６ｄ）参加者
１５０ネットワーク
２００バス
２０１ＣＰＵ
２０２ＲＡＭ
２０３ＲＯＭ
２０４映像Ｉ／Ｆ
２０５音声Ｉ／Ｆ
２０６操作部
２０７通信Ｉ／Ｆ
２０８記憶媒体

Claims

自拠点と、ネットワークを介して接続された複数の他拠点との間で送受信される情報を利用して会議をおこなう端末装置であって、
前記自拠点の参加者を含む自拠点映像を撮像する撮像手段と、
前記他拠点から、他拠点映像を含む他拠点映像情報を受信する受信手段と、
所定の条件に基づいて、前記撮像手段によって撮像された前記自拠点映像と、前記他拠点映像とを合成するか否かを判断する判断手段と、
前記判断手段によって前記自拠点映像と、前記他拠点映像とを合成しないと判断された場合、前記自拠点映像から前記他拠点に対して送信する自拠点映像情報を生成し、合成すると判断された場合、前記自拠点映像と、前記他拠点映像とから前記自拠点映像情報を生成する生成手段と、
前記生成手段によって生成された前記自拠点映像情報を、前記他拠点に対して送信する送信手段と、
を備え、
前記判断手段は、前記他拠点映像情報に含まれる前記他拠点映像に、前記自拠点映像が含まれているか否かを判断し、
前記自拠点映像が含まれていた場合、前記自拠点映像と、前記他拠点映像とを合成しないと判断し、前記自拠点映像が含まれていない場合、前記自拠点映像と、前記他拠点映像とを合成すると判断することを特徴とする端末装置。
自拠点と、ネットワークを介して接続された複数の他拠点との間で送受信される情報を利用して会議をおこなう端末装置であって、
前記自拠点の参加者を含む自拠点映像を撮像する撮像手段と、
前記他拠点から、他拠点映像を含む他拠点映像情報を受信する受信手段と、
所定の条件に基づいて、前記撮像手段によって撮像された前記自拠点映像と、前記他拠点映像とを合成するか否かを判断する判断手段と、
前記判断手段によって前記自拠点映像と、前記他拠点映像とを合成しないと判断された場合、前記自拠点映像から前記他拠点に対して送信する自拠点映像情報を生成し、合成すると判断された場合、前記自拠点映像と、前記他拠点映像とから前記自拠点映像情報を生成する生成手段と、
前記生成手段によって生成された前記自拠点映像情報を、前記他拠点に対して送信する送信手段と、
を備え、
前記受信手段は、複数の前記他拠点からそれぞれ前記他拠点映像情報を受信し、複数の前記他拠点映像情報に前記自拠点映像が含まれていた場合、前記他拠点映像情報に含まれていた前記自拠点映像同士の差分を演算し、前記差分が一定以上である場合、前記差分が一定以上あった他拠点を示す警告を前記参加者に報知する報知手段をさらに備えることを特徴とする端末装置。
前記判断手段は、所定周期で前記自拠点映像と、前記他拠点映像とを合成すると判断することを特徴とする請求項１又は２に記載の端末装置。
前記判断手段は、所定タイミングで前記自拠点映像と、前記他拠点映像とを合成すると判断することを特徴とする請求項１〜３のいずれかに記載の端末装置。
自拠点と、ネットワークを介して接続された複数の他拠点との間で送受信される情報を利用して会議をおこなう通信方法であって、
前記自拠点の参加者を含む自拠点映像を撮像する撮像工程と、
前記他拠点から、他拠点映像を含む他拠点映像情報を受信する受信工程と、
所定の条件に基づいて、前記撮像工程によって撮像された前記自拠点映像と、前記受信工程によって受信された前記他拠点映像情報に含まれる前記他拠点映像とを合成するか否かを判断する判断工程と、
前記判断工程によって前記自拠点映像と、前記他拠点映像とを合成しないと判断された場合、前記自拠点映像から前記他拠点に対して送信する自拠点映像情報を生成し、合成すると判断された場合、前記自拠点映像と、前記他拠点映像とから前記自拠点映像情報を生成する生成工程と、
前記生成工程によって生成された前記自拠点映像情報を、前記他拠点に対して送信する送信工程と、
を含み、
前記判断工程は、前記他拠点映像情報に含まれる前記他拠点映像に、前記自拠点映像が含まれているか否かを判断し、前記自拠点映像が含まれていた場合、前記自拠点映像と、前記他拠点映像とを合成しないと判断し、前記自拠点映像が含まれていない場合、前記自拠点映像と、前記他拠点映像とを合成すると判断することを特徴とする通信方法。
自拠点と、ネットワークを介して接続された複数の他拠点との間で送受信される情報を利用して会議をおこなう端末装置のための通信プログラムであって、
前記自拠点の参加者を含む自拠点映像を撮像させる撮像工程と、
前記他拠点から、他拠点映像を含む他拠点映像情報を受信させる受信工程と、
所定の条件に基づいて、前記撮像工程によって撮像させた前記自拠点映像と、前記他拠点映像とを合成させるか否かを判断させる判断工程と、
前記判断工程によって前記自拠点映像と、前記他拠点映像とを合成しないと判断された場合、前記自拠点映像から前記他拠点に対して送信する自拠点映像情報を生成させ、合成すると判断された場合、前記自拠点映像と、前記他拠点映像とから前記自拠点映像情報を生成させる生成工程と、
前記生成工程によって生成させた前記自拠点映像情報を、前記他拠点に対して送信させる送信工程と、
をコンピュータに実行させ、
前記判断工程は、前記他拠点映像情報に含まれる前記他拠点映像に、前記自拠点映像が含まれているか否かを判断し、前記自拠点映像が含まれていた場合、前記自拠点映像と、前記他拠点映像とを合成しないと判断し、前記自拠点映像が含まれていない場合、前記自拠点映像と、前記他拠点映像とを合成すると判断することを特徴とする端末装置のための通信プログラム。
自拠点と、ネットワークを介して接続された複数の他拠点との間で送受信される情報を利用して会議をおこなう端末装置のための通信プログラムであって、
前記自拠点の参加者を含む自拠点映像を撮像させる撮像工程と、
前記他拠点から、他拠点映像を含む他拠点映像情報を受信させる受信工程と、
所定の条件に基づいて、前記撮像工程によって撮像させた前記自拠点映像と、前記他拠点映像とを合成させるか否かを判断させる判断工程と、
前記判断工程によって前記自拠点映像と、前記他拠点映像とを合成しないと判断された場合、前記自拠点映像から前記他拠点に対して送信する自拠点映像情報を生成させ、合成すると判断された場合、前記自拠点映像と、前記他拠点映像とから前記自拠点映像情報を生成させる生成工程と、
前記生成工程によって生成させた前記自拠点映像情報を、前記他拠点に対して送信させる送信工程と、
をコンピュータに実行させ、
前記受信工程は、複数の前記他拠点からそれぞれ前記他拠点映像情報を受信し、複数の前記他拠点映像情報に前記自拠点映像が含まれていた場合、前記他拠点映像情報に含まれていた前記自拠点映像同士の差分を演算し、前記差分が一定以上である場合、前記差分が一定以上あった他拠点を示す警告を前記参加者に報知する報知工程をさらに備えることを特徴とする端末装置のための通信プログラム。