JP5760458B2

JP5760458B2 - Ｔｖ会議システム

Info

Publication number: JP5760458B2
Application number: JP2011018087A
Authority: JP
Inventors: 異青黄
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2011-01-31
Filing date: 2011-01-31
Publication date: 2015-08-12
Anticipated expiration: 2031-01-31
Also published as: JP2012160838A

Description

本発明は、ＴＶ会議システムに関して、ＴＶ会議システムのようなリアルタイムで画像を送受信するシステムにおいて、端末と端末間を中継するサーバーが行う送信画像の調整技術に関するものである。

ＴＶ会議システムにおいて、画像及び音声情報を各端末間で通信しようとした場合、各端末と通信を中継するサーバーにはコーデックが必要である。また、端末側のエンコーダーは、カメラが撮像した画像データをリアルタイムに符号化して、サーバーに送信する。また、サーバーからの画像データを端末側のデコーダーを使って復号化する。サーバー側は、複数のエンコーダーとデコーダーを利用して、各端末からの画像データを一つに合成して、それぞれの端末に配信するという機能がある。現在の圧縮技術を利用して、画像ストリームの圧縮率は効率化することができるが、ＴＶ会議の画像の高品質化や低遅延の要求が厳しいため、端末側やサーバー側のエンコーダーとデコーダーには、常時高負荷がかかっている状態である。そこて、端末側やサーバー側の負荷又は消費電力を下げる技術として、ローエフォートＴＶ会議システムが知られている。

図４は従来のＴＶ会議における端末と端末間を中継するサーバーの構成を示す図である。図４のＴＶ会議システム１００は、夫々、カメラ５２、ディスプレイ５１を備えた端末Ａ、Ｂと、サーバー５６により構成されている。ＴＶ会議をする際にカメラ５２がオリジナル画像をリアタイムで撮像する。各端末Ａ、Ｂでは、表示用のディスプレイ５１を用意する。端末Ａ、Ｂには、符号化処理するエンコーダー５３、復号化処理するデコーダー５５、及びエンコーダー５３のリファレンスフレームとデコーダー５５のアウトプットフレームを保存するためのバッファー５４がある。サーバー５６は、各端末Ａ、Ｂの要求によって、符号化された複数のビットストリームを一つに合成したストリームとして各端末に送信する。そのため、コーデックエンジン５７と画像合成モジュール６０がサーバー５６中に存在する。
例えば、図４は２拠点のＴＶ会議システムである。ＡさんとＢさんの端末側で、現在撮像されている会議画面を符号化して、ビットストリーム（Ｓ１、Ｓ２）を生成して、サーバー５６に送信する。サーバー５６側で、受信したビットストリームを復号化して、ピクセルレベルの画像データ（Ｓ３、Ｓ４）を画像合成モジュール６０に送る。そして、画像合成モジュール６０は、各端末のフォーマット情報によって、会議画面を合成して、合成された画像データ（Ｓ５、Ｓ６）を各エンコーダー６３、６４に送る。サーバー５６側のエンコーダー６３、６４は合成された画像を符号化して、そのアウトプットストリーム（Ｓ７、Ｓ８）を各端末Ａ、Ｂに送信する。端末側でデコーダー５３を利用して、ディスプレイ５１に合成された会議画面を表示する。

図５は、従来のＴＶ会議システムにおける処理を示すフローチャートである。まず、ＴＶ会議をしている各端末側で、現在の会議画面をカメラ５２で撮像する（Ｓ５０）。各端末は撮像された画像をエンコーダー５３により符号化する（Ｓ５１）。各端末は符号化されたビットストリームをサーバー５６に送信する（Ｓ５２）。そのとき、端末側で表示したい画面構成スペック（フォーマット）を一緒に送る。そして、サーバー５６側で、各端末から入力ビットストリームをインプットして、サーバー５６側のデコーダー５８、５９を使って、入力画像データを復号化する（Ｓ５３）。次に、端末のフォーマットを受信して、各端末に対する画像合成スペックを作る（Ｓ５４）。復号化された各端末の画像データを合成する（Ｓ５５）。そして、合成された画像データをもう一回符号化する（Ｓ５６）。符号化されたビットストリームを各端末に送信する（Ｓ５７）。各端末はビットストリームを受信して、端末のデコーダー５５を利用して、合成された画像をディスプレイ５１に表示する（Ｓ５８）。
このような構成においては、実際は、テレビ会議の過程中、前景として動いている画面部分と、背景として動かない部分が存在しているので、常に全負荷である必要がないにも関わらず、各端末の情況と画像特徴を考慮していないので、端末Ａ、Ｂ側やサーバー５６側は、常に全負荷で運行してしまう。

特許文献１には、異種のネットワーク環境／端末上で低遅延と高品質のテレビ会議を行う目的で、サーバー側でスケーラブルなビデオ符号化（ＳＶＣ）フォーマットを用いて、各端末からの画像情報を一つに合成して、ＴＶ会議の遅延時間の増加やエラーを抑制するテレビ会議システム構成について開示されている。

しかし、今までの制御技術では、撮像された画像データ内容に関らず、圧縮技術を使ってすべての画像フレームをサーバーに送信している。即ち、今までの圧縮技術の、例えば、Ｈ．２６４／ＡＶＣ、又はＨ．２６４／ＳＶＣでは、画像品質を守ると同時にネットワーク帯域負荷の減少を目指して、いろいろな低ビットレート化技術を採用しているので、演算量が大幅に増えて、ＴＶ会議としてのシステム全体負荷、又は消費電力が増加するといった問題があった。
また、特許文献１に開示されている従来技術は、端末とサーバーの両方が圧縮技術を利用して、テレビ会議システムを立ち上げる点では本発明と類似しているが、テレビ会議システムの高演算量、高負荷、及び高消費電力という問題は解消できていない。
本発明は、かかる課題に鑑みてなされたものであり、各端末ではエンコード前の画像分析処理は行わず、サーバー側で復号化された端末の画像データに対して、画像分析処理を実行することにより、システム全体の負荷を軽くするＴＶ会議システムを提供することを目的とする。
また、他の目的は、サーバー側の画像分析結果を利用して、サーバー側のコーデックと端末側のデコーダーの消費電力を減少させることである。

本発明はかかる課題を解決するために、請求項１は、少なくとも２つの端末において夫々撮像対象物を撮像することによって得られた画像データを、コーデック機能を有するサーバーにより中継して会議を行うＴＶ会議システムであって、前記サーバーは、前記各端末により符号化された画像データを夫々復号化することにより入力画像の動きモード情報を回復する複数のサーバー側デコーダーと、該サーバー側デコーダーにより復号化された画像データに対して前景と背景とを識別して画像マップ情報を生成する複数の画像分析手段と、前記各端末のフォーマット情報によって前記画像データを合成する画像合成手段と、該画像合成手段により合成された前記各端末の夫々の画像データを時間に係るインターモードと空間に係るイントラモードを用いて符号化する複数のサーバー側エンコーダーと、前記サーバー側デコーダーのアウトプットフレームと前記サーバー側エンコーダーのリファレンスフレームを保存するバッファーと、を備え、前記サーバーは、前記画像分析手段により前記サーバー側デコーダーにより復号化された前記各画像データ中の前景に係る画像データと背景に係る画像データを識別して生成された画像マップ情報と、前記サーバー側のデコーダーにより回復された入力画像の動きモード情報とに基づいて、前記画像合成手段、及びサーバー側エンコーダーに指示して、前記背景に係る画像データを粗く処理して前記各端末に送信するか、又は処理せずに前記バッファーに記憶されたデータを前記各端末に送信するかを判断し、全フレームが前記背景に係る画像データではない場合に、前記サーバー側エンコーダーが前記動きモード情報に従って前記インターモードに係る処理をスキップすることを特徴とする。
本発明の最も大きな特徴は、サーバー側で、復号化された画像から前景と背景の部分を検出して、その検出内容に基づいて画像合成手段とエンコーダー処理の方法を制御する。これにより、システム全体の負荷を軽くすると共に、コーデックの消費電力を低減することができる。

請求項２は、前記各端末に夫々備えられて前記各撮像対象物を撮像する撮像手段と、前記各端末に夫々備えられて復号化された画像を表示する表示手段と、前記各端末に夫々備えられて前記各撮像手段により得られた各端末の画像データをスケーラブル圧縮符号化する端末側エンコーダー、及び前記表示手段に表示するための画像データを復号化する端末側デコーダーを有する端末と、前記サーバーと、を備えたＴＶ会議システムであって、前記画像分析手段により分析された画像マップ情報、及び前記各サーバー側デコーダーにより符号化された情報に基づいて、前記画像合成手段、及び前記各サーバー側エンコーダーを制御することを特徴とする。
本発明の具体的な構成要件の特徴は、従来のサーバーの構成に、サーバー側デコーダーにより復号化された画像データに対して前景と背景とを識別して画像マップ情報を生成する複数の画像分析手段を備えた点である。この画像分析手段は、画像合成手段と各エンコーダーを制御する。即ち、画像分析手段により分析された画像マップ情報、及び各サーバー側デコーダーにより符号化された情報に基づいて動作を制御するものである。これにより、端末から受信した画像データに基づいて、効率的に画像合成と復号処理を行うので、サーバーの負荷を軽くすると共に、消費電力も低減することができる。

請求項３は、前記画像分析手段によりビットストリームが全て背景に係る画像データと判断された場合、前記画像合成手段、及び前記サーバー側エンコーダーの動作を停止して、前記バッファーに保存されたフレーム情報を送信することを特徴とする。
具体的な画像分析手段の動作としては、例えば、ビットストリームが全て背景に係る画像データと判断された場合は、画像合成手段、及びサーバー側エンコーダーの動作を停止する。そして、バッファーに保存されたフレーム情報をそのまま送信する。これにより、サーバー側及び端末側の消費電力を低減することができる。
請求項４は、前記画像合成手段は、前記画像マップ情報に従って画像の合成方法を切り替えることを特徴とする。
画像合成手段は、画像分析手段により分析された画像マップ情報により合成方法を切り替えるように働く。即ち、画像マップ情報が背景である場合は、バッファーに記録された情報を利用して合成するか、又は合成しないで出力する。また、画像マップ情報が背景でない場合は、他の復号化された画像と一緒に合成する。これにより、合成する画像が、背景であるか否かにより切り替えて、不要な合成処理を省くことができる。

請求項５は、前記サーバー側エンコーダーは、前記画像マップ情報に従って画像のエンコード方法を切り替えることを特徴とする。
サーバー側エンコーダーは、画像分析手段により分析された画像マップ情報によりエンコード方法を切り替えるように働く。即ち、画像マップ情報が背景である場合で、且つ、インターモードのときは、中心だけでインター１６×１６を採用して動きを予測する。また、インターモードでなければ、イントラ１６×１６を予測する。また、画像マップ情報が背景でない場合で、且つ、インターモードのときは、全サーチウィンドウと全モードで動きを予測する。また、インターモードでなければ、イントラ１６×１６と４×４を予測する。これにより、システム負荷が常時、高負荷である状態を回避することができる。
請求項６は、前記各端末に前記サーバーから受信した画像マップ情報を受信する画像マップ情報受信手段を備え、前記端末側デコーダーは、前記画像マップ情報受信手段により受信した画像マップ情報に従って画像のデコード方法を切り替えることを特徴とする。
各端末側は、画像マップ情報を受信する画像マップ情報受信手段を備えておき、受信した画像マップ情報に基づいてデコード方法を切り替える。即ち、画像マップ情報が背景であれば、バッファーに保存された前フレームの情報を利用する。これにより、端末側の負荷が常時、高負荷である状態を回避することができる。

本発明によれば、サーバー側で、復号化された端末画像データの前景と背景の部分を識別し、その識別された情報を利用して、サーバー側の画像合成や、エンコーダーに指示して、背景の部分を粗く処理して送信するか、又は処理せずにバッファデータを送信するかを判断するので、サーバー側だけで入力画像データの画像分析処理を実行して、システム全体の負荷を軽くすることができる。また、画素レベルの画像分析結果を利用する際に、サーバー側のコーデックと各端末側のデコーダーの消費電力を低減することができる。

本発明のＴＶ会議システムにおける端末とサーバーの構成について説明する図である。サーバー側のエンコーダーの動作を示すフローチャートである。本発明を利用したＴＶ会議システムの処理を示すフローチャートである。従来のＴＶ会議における端末と端末間を中継するサーバーの構成を示す図である。従来のＴＶ会議システムにおける処理を示すフローチャートである。

以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。

図１は、本発明のＴＶ会議システムにおける端末とサーバーの構成について説明する図である。同じ構成要素には図４と同じ参照番号を付して説明する。図１が図３と異なる点は、図３の従来の構成に画像分析モジュール１５、１６を追加した点である。
本発明のＴＶ会議システム５０は、端末Ａ、Ｂに夫々備えられて各撮像対象物を撮像するカメラ（撮像手段）２と、拠点に夫々備えられて復号化された画像を表示するディスプレイ（表示手段）１と、拠点に夫々備えられてカメラ２により撮像された自端末の画像データをスケーラブル圧縮符号化する端末側エンコーダー（以下、単にエンコーダーと呼ぶ）３、及びディスプレイ１に表示するための画像データを復号化する端末側デコーダー（以下、単にデコーダーと呼ぶ）５を有する端末Ａ、Ｂと、エンコーダー３により符号化された画像データを夫々復号化する複数のサーバー側デコーダー（以下、単にデコーダーと呼ぶ）８、９、各端末Ａ、Ｂのフォーマット情報によって画像データを合成する画像合成モジュール（画像合成手段）１０、画像合成モジュール１０により合成された各端末の夫々の画像データを符号化する複数のサーバー側エンコーダー（以下、単にエンコーダーと呼ぶ）１３、１４、及びデコーダー７、８のアウトプットフレームとエンコーダー１３、１４のリファレンスフレームを保存するバッファー１１、１２を備えたサーバー６と、サーバー６にデコーダー７、８により復号化された画像データに対して前景と背景とを判断して画像マップ情報を生成する複数の画像分析モジュール（画像分析手段）１５、１６と、を備えたＴＶ会議システムであって、画像分析モジュール１５、１６により分析された画像マップ情報、及びデコーダー７、８により符号化された情報に基づいて、画像合成モジュール１０、及びエンコーダー１３、１４を制御する。

即ち、端末側のカメラ２で撮像された各撮影対象物の画像を符号化して、ビットストリームとしてサーバー６に送信する。サーバー６側で、各端末Ａ、Ｂからのビットストリームを受信して復号化する。そして、復号化された画像データを画像分析モジュール１５、１６と画像合成モジュール１０に送る。この画像分析モジュール１５、１６は既存の画素レベル背景検知技術を利用して、各端末Ａ、Ｂの画像の前景と背景情報を整理して、サーバー６のエンコーダー１３、１４に分析した情報（Ｓ１０、Ｓ９）を送る。又、Ｈ．２６４／ＡＶＣ等の圧縮技術には、動きモード情報をよく使っている。その情報が復号化処理後で取得することができる。本発明はデコーダー７、８で回復された入力画像の動きモード情報をエンコーダー１３、１４に指示する。そして、従来のサーバー側コーデック５７と違って、図１のコーデックエンジン７のエンコーダー１３、１４は画像分析モジュール１５、１６からの情報（Ｓ１０、Ｓ９）とデコーダー７、８からのモード情報（Ｓ１１、Ｓ１２）によって動作する。例えば、今回のビットストリームＳ２は全部背景と判断すれば、サーバー側の画像合成モジュールやエンコーダーは全部動作しなくて、直接バッファー中で保存されたフレーム情報を利用する。
もし、ビットストリームＳ２中には背景と前景が両方あるならば、前景の部分はデコーダー８から入力画像のモード情報に従って処理を行い、背景の部分もモード情報を参考して更に粗く処理をする。尚、各端末Ａ、Ｂ側でサーバー６側の画像分析情報を参考にして、サーバー６から合成されたビットストリームをアダプティブで復号化する。そうすると、ＴＶ会議画面の特徴を活用して、端末Ａ、Ｂとサーバー６側両方を低消費電力化することができる。

本発明の具体的な構成要件の特徴は、従来のサーバーの構成に、デコーダー８、９により復号化された画像に対して前景と背景とを判断して画像マップ情報を生成する画像分析モジュール１５、１６を備えた点である。この画像分析モジュール１５、１６は、画像合成モジュール１０と各エンコーダー１３、１４を制御する。即ち、画像分析モジュール１５、１６により分析された画像マップ情報、及び各デコーダー８、９により符号化された情報に基づいて動作を制御するものである。これにより、端末から受信した画像に基づいて、効率的に画像合成と復号処理を行うので、サーバー６の負荷を軽くすると共に、消費電力も低減することができる。

また、具体的な画像分析モジュール１５、１６の動作としては、例えば、ビットストリームが全て背景と判断された場合は、画像合成モジュール１０、及びエンコーダー１３、１４の動作を停止する。そして、バッファー１１、１２に保存されたフレーム情報をそのまま送信する。これにより、サーバー側及び端末側の消費電力を低減することができる。
また、画像合成モジュール１０は、画像分析モジュール１５、１６により分析された画像マップ情報により合成方法を切り替えるように働く。即ち、画像マップ情報が背景である場合は、バッファー１１、１２に記録された情報を利用して合成するか、又は合成しないで出力する。また、画像マップ情報が背景でない場合は、他の復号化された画像と一緒に合成する。これにより、合成する画像が、背景であるか否かにより切り替えて、不要な合成処理を省くことができる。

また、エンコーダー１３、１４は、画像分析モジュール１５、１６により分析された画像マップ情報によりエンコード方法を切り替えるように働く。即ち、画像マップ情報が背景である場合で、且つ、インターモードのときは、中心だけでインター１６×１６を採用して動きを予測する。また、インターモードでなければ、イントラ１６×１６を予測する。また、画像マップ情報が背景でない場合で、且つ、インターモードのときは、全サーチウィンドウと全モードで動きを予測する。また、インターモードでなければ、イントラ１６×１６と４×４を予測する。これにより、システム負荷が常時、高負荷である状態を回避することができる。
また、各端末Ａ、Ｂは、画像マップ情報を受信する画像マップ情報受信手段を備えておき、受信した画像マップ情報に基づいてデコード方法を切り替える。即ち、画像マップ情報が背景であれば、バッファーに保存された前フレームの情報を利用する。これにより、端末側の負荷が常時、高負荷である状態を回避することができる。

図２は、サーバー側のエンコーダーの動作を示すフローチャートである。
エンコーディングが開始されると、画像分析モジュール１５、１６により、全フレームが背景であるか否かをチェックする（Ｓ１）。全フレームが背景であれば（Ｓ１でＹｅｓ）、エンコーディングを終了し、全フレームが背景でなければ（Ｓ１でＮｏ）、現在の部分のフレームが背景か否かをチェックする（Ｓ２）。現在のフレームが背景でなければ（Ｓ２でＮｏ）、そのフレームがインターモードが否かをチェックする（Ｓ６）。インターモードであれば（Ｓ６でＹｅｓ）、全サーチウィンドウと全モードで動き予測をする（Ｓ７）。ステップＳ６でインターモードでなければ（Ｓ６でＮｏ）、イントラ１６×１６と４×４を予測する（Ｓ８）。一方、ステップＳ２で現在のフレームが背景である場合は（Ｓ２でＹｅｓ）、そのフレームがインターモードが否かをチェックする（Ｓ３）。インターモードであれば（Ｓ３でＹｅｓ）、中心だけでインター１６×１６を採用して動き予測をする（Ｓ４）。ステップＳ３でインターモードでなければ（Ｓ３でＮｏ）、イントラ１６×１６を予測する（Ｓ５）。

即ち、図１中のデコーダー９、８からの入力画像動きモード情報Ｓ１１、Ｓ１２と、画像分析モジュール１５、１６からの分析結果Ｓ９、Ｓ１０によって、エンコーディングストラテジーを設定する。具体的に、合成画面のエンコーディング処理前に、画像分析モジュール１５、１６からの背景情報を確認する。既存のガウス混合モデル（Gaussian Mixture Model）等の検出ツールで画素レベル背景情報を取得することができる。もし、画像分析モジュール１５、１６の結果で今回の合成画面は全フレームが背景と判断すれば、エンコーダー１３、１４が動作せず、全フレームの符号化タスクをスキップする。もし、全フレームが背景でないならば、エンコーダー１３、１４がデコーダー８、９からの動きモード情報（図１中のＳ１２、Ｓ１１）に従って軽く処理対策を実装する。
Ｈ．２６４／ＡＶＣ等の圧縮技術は空間と時間の冗長を減らすため、時間のインターモードと空間のイントラモードを使って、動画像の運動情報を表示する。インター処理の場合は、現在のブロックが前の参考フレームのサーチウィンドウ中で一番小さい残差の位置を探して、その位置に指向する動きベクトルを取得する。決定された動きベクトルと、それに関する残差が符号化処理を行う。イントラの場合は、現在のブロックの隣接画素を利用して、予測画像ブロックを作成して、現在のブロックと残差を計算する。更に、様々の運動特性をカバーするため、Ｈ．２６４／ＡＶＣは７つのインター予測モード（インター１６×１６モードからインター４×４モード）が存在している。イントラ予測モードについて、イントラ１６×１６とイントラ４×４という２つのモードがある。

本発明は図２によって、デコーダー８、９から入力画像のモード情報と画像分析モジュール１５、１６からの背景情報を利用して、エンコーダー１３、１４に軽く処理を指示する。例えば、図２によって、全フレームは背景ではない場合は、合成された画面の各部分に対して符号化処理を続ける。もし、現在の部分について、画像分析結果が背景と判断して、デコーダー８、９側で対応する部分の解析モードがインターモードならば（「背景＋インター」の場合）、現在の部分のエンコーディング処理はインター１６×１６予測モードを採用して、サーチウィンドウが中心だけで動き予測プロセスを実行する。それにより、元々の高演算量インター処理（全サーチウィンドウでインター又はイントラの全モードの動き予測過程）を無くして、システム負荷を減らすことができる。もし、「背景＋イントラ」の場合は、イントラ１６×１６モードだけを実行して、全てのイントラ４ｘ４予測モードの処理を省略する。又は、画像分析モジュールの結果は背景ではないなら、デコーダーからのモード種類だけを予測処理する。例えば、「背景ではない＋イントラ」の場合なら、合成のエンコーダー側で二つイントラモード（イントラ１６×１６とイントラ４×４モード）を実装して、インターに関する処理をスキップする。

図３は、本発明を利用したＴＶ会議システムの処理を示すフローチャートである。本発明を利用し、端末画像データの内容を分析して、低消費電力化できるＴＶ会議システムでは、ＴＶ会議をしている各端末側で、現在の会議画面を撮像する（Ｓ１０）。各端末は撮像された画像データをエンコーダーを利用して符号化する（Ｓ１１）。各端末は符号化されたビットストリームをサーバー６に送信する。又は、端末側で表示したい画面構成スペック（フォーマット）を一緒に送る（Ｓ１２）。サーバー６側で、各端末から入力ストリームをインプットして、サーバー６側で、入力ストリームを復号化する（Ｓ１３）。次に、サーバー６側で、復号化された画像は画像分析モジュールにより、各端末の画像背景を識別する（Ｓ１４）。識別方法について、既存のガウス混合モデル（Gaussian Mixture Model）という検出ツールを利用して、画素レベルの背景情報を検出する。各端末の画面構成スペックによって、各端末への画像合成要求を作る（Ｓ１５）。

画像分析モジュールの情報を利用して、復号化された各端末の画像をアダプティブで合成する（バッファー情報をして、合成する。又は合成しないケースもある）（Ｓ１６）。画像分析モジュールの情報を利用して、合成された画像をアダプティブで符号化する（バッファー情報をして、符号化する。又は符号化しないケースもうある）（Ｓ２０）。符号化されたビットストリームは各端末に送信する（Ｓ２４）。各端末はビットストリームを受信して、端末のデコーダーでサーバーからの合成されたストリーム特徴を参考して、復号化する（Ｓ２５）。アウトプット画像はディスプレイに表示するというＴＶ会議の画像配信を実施している。
このような構成においては、各端末の情況と画像特徴を考えているので、端末側やサーバー側も軽く処理することができる。もし背景ならば、今回の処理をスッキプして、バッファーに保存された前フレームの情報を利用する。

１ディスプレイ、２カメラ、３エンコーダー、４バッファー、５デコーダー、６サーバー、７コーデックエンジン、８デコーダー、９デコーダー、１０画像合成モジュール、１１バッファー、１２バッファー、１３エンコーダー、１４エンコーダー、１５画像分析モジュール、１６画像分析モジュール、５０ＴＶ会議システム

特表２００９−５２１８８０公報

Claims

少なくとも２つの端末において夫々撮像対象物を撮像することによって得られた画像データを、コーデック機能を有するサーバーにより中継して会議を行うＴＶ会議システムであって、
前記サーバーは、
前記各端末により符号化された画像データを夫々復号化することにより入力画像の動きモード情報を回復する複数のサーバー側デコーダーと、
該サーバー側デコーダーにより復号化された画像データに対して前景と背景とを識別して画像マップ情報を生成する複数の画像分析手段と、
前記各端末のフォーマット情報によって前記画像データを合成する画像合成手段と、
該画像合成手段により合成された前記各端末の夫々の画像データを時間に係るインターモードと空間に係るイントラモードを用いて符号化する複数のサーバー側エンコーダーと、
前記サーバー側デコーダーのアウトプットフレームと前記サーバー側エンコーダーのリファレンスフレームを保存するバッファーと、を備え、
前記サーバーは、
前記画像分析手段により前記サーバー側デコーダーにより復号化された前記各画像データ中の前景に係る画像データと背景に係る画像データを識別して生成された画像マップ情報と、前記サーバー側のデコーダーにより回復された入力画像の動きモード情報とに基づいて、前記画像合成手段、及びサーバー側エンコーダーに指示して、前記背景に係る画像データを粗く処理して前記各端末に送信するか、又は処理せずに前記バッファーに記憶されたデータを前記各端末に送信するかを判断し、全フレームが前記背景に係る画像データではない場合に、前記サーバー側エンコーダーが前記動きモード情報に従って前記インターモードに係る処理をスキップすることを特徴とするＴＶ会議システム。
前記各端末に夫々備えられて前記各撮像対象物を撮像する撮像手段と、
前記各端末に夫々備えられて復号化された画像を表示する表示手段と、
前記各端末に夫々備えられて前記各撮像手段により得られた各端末の画像データをスケーラブル圧縮符号化する端末側エンコーダー、及び前記表示手段に表示するための画像データを復号化する端末側デコーダーを有する端末と、
前記サーバーと、を備えたＴＶ会議システムであって、
前記画像分析手段により分析された画像マップ情報、及び前記各サーバー側デコーダーにより符号化された情報に基づいて、前記画像合成手段、及び前記各サーバー側エンコーダーを制御することを特徴とする請求項１に記載のＴＶ会議システム。
前記画像分析手段によりビットストリームが全て背景に係る画像データと判断された場合、前記画像合成手段、及び前記サーバー側エンコーダーの動作を停止して、前記バッファーに保存されたフレーム情報を送信することを特徴とする請求項２に記載のＴＶ会議システム。
前記画像合成手段は、前記画像マップ情報に従って画像の合成方法を切り替えることを特徴とする請求項１又は２に記載のＴＶ会議システム。
前記サーバー側エンコーダーは、前記画像マップ情報に従って画像のエンコード方法を切り替えることを特徴とする請求項１又は２に記載のＴＶ会議システム。
前記各端末に前記サーバーから受信した画像マップ情報を受信する画像マップ情報受信手段を備え、
前記端末側デコーダーは、前記画像マップ情報受信手段により受信した画像マップ情報に従って画像のデコード方法を切り替えることを特徴とする請求項２に記載のＴＶ会議システム。