JP4208315B2 - データ通信制御装置及びその制御方法、データ通信システム、記録媒体 - Google Patents
データ通信制御装置及びその制御方法、データ通信システム、記録媒体 Download PDFInfo
- Publication number
- JP4208315B2 JP4208315B2 JP37147898A JP37147898A JP4208315B2 JP 4208315 B2 JP4208315 B2 JP 4208315B2 JP 37147898 A JP37147898 A JP 37147898A JP 37147898 A JP37147898 A JP 37147898A JP 4208315 B2 JP4208315 B2 JP 4208315B2
- Authority
- JP
- Japan
- Prior art keywords
- compression
- image data
- communication
- data
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/005—Statistical coding, e.g. Huffman, run length coding
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/18—Error detection or correction; Testing, e.g. of drop-outs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はデータ通信制御装置及びその制御方法、画像処理装置及びその方法、及びデータ通信システムに関し、例えば、複数地点間の相互映像通信を実現するデータ通信制御装置及びその制御方法、画像処理装置及びその方法、及びデータ通信システムに関する。
【０００２】
【従来の技術】
現在普及している多地点テレビ会議システムは、ITU-T勧告H.320規格等に準拠するテレビ会議端末を多地点間で相互通信可能とするものである。
【０００３】
このようなテレビ会議端末の多地点における接続を制御する多地点接続装置に関する標準規格としては、多地点接続装置の機能構成や多地点通信の形態を定義するITU-T勧告H.231、インチャンネルの通信手順を定めたITU-T勧告H.243等が策定されている。
【０００４】
図1に、従来のテレビ会議システムの構成を示す。同図によれば、多地点接続装置122は、3ポイント以上のテレビ会議端末21a〜21nを相互接続し、音声のミキシング、映像データの配信制御あるいは映像データの多画面合成、更には、会議進行のための議長制御等を司る。H.320規格に準ずる端末であれば、このような多地点接続装置を使用して接続する事で、複数の遠隔地を結ぶ多地点会議を実現する事が可能である。
【０００５】
従来のH.320規格に準ずるテレビ会議システムにおいて多地点の相互映像通信を実現する場合、例えば図1に示す多地点接続装置22からテレビ会議端末21a〜21nへ画像データを配信する方法としては、
(1)議長端末が指示する特定のテレビ会議端末の映像を各テレビ会議端末へ配信する方法、
(2)図10に示す様に、多地点接続装置22において各テレビ会議端末の映像を縮小して合成することによって、各テレビ会議端末21a〜21nの画像を限られた帯域で同時に配信する方法、
等が実施されている。尚、図10において31a〜31dは、各テレビ会議端末21a〜21dから送出される映像データ、32は多地点接続装置22から各テレビ会議端末21a〜21dへ配信される縮小合成映像データを示す。
【０００６】
また、インターネット環境におけるテレビ会議システムを実現するために、例えば米WhitePine社のCU-SeeMe等のソフトウエアが提供されている。これらの多地点テレビ会議システムによれば、各クライアント端末から送出された画像データは多地点接続サーバを経由して各クライアント端末にそのまま配信される。図11に、当該方式における映像データ転送の様子を示す。図11において41a〜41cはクライアントとなる端末であり、映像・音声入出力機能を有するパーソナルコンピュータ等により実現される。42は多地点接続サーバであり、各クライアント端末41a〜41cの映像及び音声をそのまま各クライアント端末41a〜41cに配信する。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来のH.320等の標準規格に基づく多地点接線方法によるテレビ会議システムにおいては、その各端末に対して限られた帯域による通信を行なうため、
(1)特定の会議参加者の映像のみしか配信されない、
あるいは、
(2)複数の会議参加者の縮小画像を伝送するため、各話者の画像が不明瞭となる、
等の問題があり、テレビ会議端末において複数の会議参加者を鮮明に表示することは困難であった。
【０００８】
また、図11に示すようなインターネットを利用したテレビ会議システムにおいては、多地点接続サーバ42は、各クライアント端末41a〜41cの映像及び音声をそのまま各クライアント端末41a〜41cに配信する。例えば多地点接続サーバ42とクライアント端末41a間においては、クライアント端末41aから多地点接続サーバ42へ端末情報Ａを送出し、多地点接続サーバ42からクライアント端末41aへ他のクライアント端末41b，41cの端末情報Ｂ，Ｃが転送される。従って、多地点接続サーバ42からクライアント端末41a〜41cに配信される画像データの符号量は、参加者(端末)の数に比例して増加する。従って、通信路に十分な帯域が確保されていない場合、クライアント端末41a〜41cで受信される画像のフレームレートが著しく低下してしまうため、受信した画像は例えばコマ落とし表示せざるを得ないという問題があった。
【０００９】
本発明は、このような問題を解決するためになされたものであり、狭帯域通信路における高品位の画像通信を可能とするデータ通信制御装置及びその制御方法、及びデータ通信システムを提供することを目的とする。
【００１０】
また、多地点テレビ会議システムにおいて会議参加者の表情を鮮明に表示可能なデータ通信制御装置及びその制御方法、及びデータ通信システムを提供することを目的とする。
【００１１】
また、本発明は与えられた圧縮画像データを再利用する際の画質の劣化を低減した画像処理装置及びその方法を提供することを他の目的とする。
【００１２】
上記目的を達成するための一手段として、本発明のデータ通信制御装置は以下の構成を備える。即ち、接続された複数の通信端末間におけるデータ通信を制御するデータ通信制御装置であって、第１の通信端末から受信した画像データの特定領域を認識する認識手段と、該特定領域であるか否かに応じて前記画像データの圧縮方法を制御する圧縮制御手段と、前記圧縮制御手段によって制御された圧縮方法によって前記画像データを圧縮する圧縮手段と、前記圧縮された画像データを第２の通信端末に送信する通信手段と、前記第２の通信端末の指示に従って、前記認識手段による前記画像データの特定領域の認識および前記圧縮手段による前記画像データの圧縮を行うか否かを判断する判断手段と、を有し、前記通信手段は、前記判断手段によって前記認識手段による前記画像データの特定領域の認識および前記圧縮手段による前記画像データの圧縮を行わないと判断された場合、前記圧縮手段によって圧縮されていない前記画像データを前記第２の通信端末に送信することを特徴とする。
【００１３】
上記目的を達成するための一手段として、本発明のデータ通信制御装置の制御方法は以下の構成を備える。即ち、接続された複数の通信端末間におけるデータ通信を制御するデータ通信制御装置における制御方法であって、第１の通信端末から受信した画像データの特定領域を認識する認識工程と、該特定領域であるか否かに応じて前記画像データの圧縮方法を制御する圧縮制御工程と、前記圧縮制御工程において制御された圧縮方法によって前記画像データを圧縮する圧縮工程と、前記圧縮された画像データを第２の通信端末に送信する送信工程と、前記第２の通信端末の指示に従って、前記認識工程における前記画像データの特定領域の認識および前記圧縮工程における前記画像データの圧縮を行うか否かを判断する判断工程と、を有し、前記送信工程において、前記認識工程における前記画像データの特定領域の認識および前記圧縮工程における前記画像データの圧縮を行わないと前記判断工程において判断された場合、前記圧縮工程において圧縮されていない前記画像データを前記第２の通信端末に送信することを特徴とする。
【００１４】
上記目的を達成するための一手段として、本発明のデータ通信システムは以下の構成を備える。即ち、データ通信制御装置を介して複数の通信端末を接続し、該複数の通信端末間におけるデータ通信を行なうデータ通信システムであって、該データ通信制御装置は、第１の通信端末から受信した画像データの特定領域を認識する認識手段と、該特定領域であるか否かに応じて前記画像データの圧縮方法を制御する圧縮制御手段と、前記圧縮制御手段によって制御された圧縮方法によって前記画像データを圧縮する圧縮手段と、前記圧縮された画像データを第２の通信端末に送信する通信手段と、前記第２の通信端末の指示に従って、前記認識手段による前記画像データの特定領域の認識および前記圧縮手段による前記画像データの圧縮を行うか否かを判断する判断手段と、を有し、前記通信手段は、前記判断手段によって前記認識手段による前記画像データの特定領域の認識および前記圧縮手段による前記画像データの圧縮を行わないと判断された場合、前記圧縮手段によって圧縮されていない前記画像データを前記第２の通信端末に送信することを特徴とする。
【００１５】
上記目的を達成するための一手段として、本発明の記録媒体は以下の構成を備える。即ち、接続された複数の通信端末間におけるデータ通信を制御するデータ通信制御装置を制御するプログラムを記録した記録媒体であって、該プログラムは、前記データ通信制御装置に、第１の通信端末から受信した画像データの特定領域を認識する認識工程と、該特定領域であるか否かに応じて前記画像データの圧縮方法を制御する圧縮制御工程と、前記圧縮制御工程において制御された圧縮方法によって前記画像データを圧縮する圧縮工程と、前記圧縮された画像データを第２の通信端末に送信する送信工程と、前記第２の通信端末の指示に従って、前記認識工程における前記画像データの特定領域の認識および前記圧縮工程における前記画像データの圧縮を行うか否かを判断する判断工程と、を実行させ、前記送信工程において、前記認識工程における前記画像データの特定領域の認識および前記圧縮工程における前記画像データの圧縮を行わないと前記判断工程において判断された場合、前記圧縮工程において圧縮されていない前記画像データを前記第２の通信端末に送信することを特徴とする。
【００１９】
【発明の実施の形態】
以下、本発明に係る一実施形態について図面を参照して詳細に説明する。
【００２０】
＜第１実施形態＞
本実施形態におけるテレビ会議システムの基本構成は上述した従来例に示した図1と同様であり、多地点接続装置22によって、3ポイント以上のテレビ会議端末21a〜21nが相互接続されている。画像データは、多地点接続装置22を経由してテレビ会議端末(以下、単に端末と称する)21a〜21nへ配信される。
【００２１】
図2に、本実施形態における多地点接続装置22の機能ブロック構成を示す。同図において、11a〜11nは遠隔地の端末21a〜21nを収容するための網インタフェース部であり、ISDN、PSTN等の回線インタフェースを司る。12a〜12nは多重／分離部であり、例えばITU-T勧告H.221等に従って、画像・音声・制御等に関する各種データの多重／分離処理を行なう。尚、多地点接続装置22においては、網インタフェース部11a〜11n及び、多重／分離部12a〜12nは本多地点接続装置に直接接続可能なテレビ会議端末の数だけ有する。また、網インタフェース部11a〜11n及び多重／分離部12a〜12nを介して、他の多地点接続装置やサーバ等に接続する事も可能である。
【００２２】
13は音声処理部であり、各端末21a〜21nから送出された音声符号データに対して伸張／ミキシング処理を施した後、再び圧縮符号化して各端末21a〜21dに分配する。14は画像デコーダ部であり、多重分離部12a〜12nで分離された圧縮画像の符号データをデコードし、非圧縮の画像データを生成する。15は顔領域認識部であり、画像デコーダ14により復元された画像データの中から、人物の顔領域を認識する。16は画像エンコーダであり、画像デコーダ14によって復元された画像データを再び圧縮する。17は量子化制御部であり、顔領域認識結果に従って、再圧縮時の量子化制御を行う。具体的には、量子化に使用する量子化テーブルを複数用意し、量子化対象画像が顔領域認識によって顔以外の領域であると判定された場合は、デコードに使用した量子化係数よりも大きいステップの係数を選択する。18はシステム制御部であり、各種通信プロトコル処理及び多地点接続装置22全体の動作を司るものである。
【００２３】
図3は、本実施形態の多地点テレビ会議システムにおける端末21a〜21nに表示される画面構成の一例を示す図である。例えば、尚、図3に示す画面が端末21dにおける表示画面であるとすると、71は当該端末21dのユーザ自身の映像を表示するウインドウ、72a〜72cは会議に参加している他端末(例えば端末21a〜21c)におけるユーザの映像を示すウィンドウである。73はホワイトボード等の、会議における共有画面ウインドウである。
【００２４】
以下、多地点接続装置22における画像処理について、図4に示すフローチャートを参照して詳細に説明する。
【００２５】
端末21a〜21nを収容する通信インタフェース11a〜11nを介して送られたマルチメディア多重データは、多重／分離部12a〜12nによってフレーム分離され、音声圧縮データ，映像圧縮データ，データ会議用低速データ，システム制御用データ等が分離抽出される(S1001)。分離された音声圧縮データは音声処理部13で伸張処理され、各多重／分離処理部12a〜12nで分離された他の音声圧縮データを伸張したものとミキシング処理される。尚、ミキシング処理された音声データは圧縮され、多重／分離部12a〜12nにおいて画像データ等の他のデータと共に多重化されて、各端末21a〜21nに配信される。
【００２６】
一方、分離抽出された映像圧縮データは、当該データの配信先となる端末からの指示に従って、符号量制御を行なうか否かがシステム制御部18において判断される(S1002)。符号量制御を行わない場合にはそのまま、多重／分離部12a〜12nにおいて再び他のデータと共に符号多重処理される(S1009)。これにより、多地点接続装置22において、例えばユーザによって指示された特定端末の映像に関しては、背景画像を含めた詳細な画像として配信する事も可能である。
【００２７】
一方、符号量制御を行う場合には、映像圧縮データは画像デコーダ14によりデコードされ(S1003)、画像デコーダ内14内の不図示のRAM等に一時格納される。そして顔領域認識部15において、該復元された画像データに対して顔領域の認識処理が行われる(S1004)。尚、顔領域認識部15における認識方法は特に限定されないが、例えば横尾、萩原「遺伝的アルゴリズムを用いた自然画像からの複数顔領域抽出」(電気学会論文誌Ｃ Vo1.117-C,No.9,Sep.,1997)に記載された方法等により、人物の顔を含む領域を認識することができる。
【００２８】
尚、顔領域の認識処理としてはどのような方法を用いても良く、装置の処理能力が十分であれば、顔領域の正確な輪郭を抽出する等のより高度な方法を用いることも可能である。また、顔領域の認識手法によっては、画像デコーダ14において画像データを完全にデコードする必要が無い場合も有る。
【００２９】
顔領域の認識後、復元された画像データは画像エンコーダ16において再び圧縮されるが、本実施形態においてはこの圧縮処理の際に、顔領域認識結果に基づいた量子化係数の制御を行うことを特徴とする。
【００３０】
顔領域の認識結果は量子化制御部17に出力される。量子化制御部17においては、画像デコーダ14におけるデコード時に使用した量子化係数(あるいは量子化のためのQファクタ)と、それをn倍(n＞1)した量子化係数が予め用意されており、前者の係数がデフォルトとして設定されている。そして、ステップS1005で顔領域であると判定された領域に対してはデコード時と同一の係数(デフォルト)を、顔領域以外と判定された領域に対してはn倍された係数を設定(S1006)した後、画像エンコーダ16において、画像デコーダ14内に保持されている画像データに対して該量子化係数に基づく量子化を含む圧縮処理を施す(S1007)。
【００３１】
これにより、画像データ内において重要度の高い顔領域については画像を劣化させること無く再圧縮し、背景等、重要度の低い顔領域以外の領域については量子化ステップが大きくなるように変更して圧縮することにより、符号量を削減することができる。
【００３２】
多地点接続装置22においては、以上の処理を各端末21a〜21nから転送されてくるデータ毎に独立に処理する。尚、再圧縮された画像データは、多重／分離部12a〜12nにおいて音声圧縮データと共に多重化された後(S1008)、通信プロトコルに従って各端末21a〜21nへ配信される。
【００３３】
図5は、本実施形態のテレビ会議システムにおいて、例えば端末21dにおいて撮影され、多地点接続装置22において上述したように処理された後に、各端末21a〜21nに配信された画像データの表示例を示す。図5において、51で示す円内の領域は顔領域と認識された領域、52は顔領域以外であると認識された背景領域を示す。背景領域52は大きな量子化係数によって量子化されるために解像度の低下した画像となるが、顔領域51については、端末21dにおいて撮影された際の画像と同等の品質が得られることになる。
【００３４】
以上説明したように本実施形態によれば、テレビ会議システムの各端末に対して、他端末の撮影画像のうちの重要部位のみを高精細に転送する事が可能となる。従って、たとえ各端末が狭帯域通信路により接続された場合であっても、重要部位については高品位の画像通信を行なうことが可能となるため、各端末においては、他端末から転送されてくる画像を縮小或いはコマ落としすること無く、重要部位である顔領域、即ちユーザの表情を鮮明に表示することができる。
。
【００３５】
更に、端末からの指示により、他の任意の端末からの画像を随時、全画面高画質で受信することも可能である。
【００３６】
尚、本実施形態におけるデコード及びエンコード処理は、もちろん画像データの所定ブロック単位で行われても良い。この場合、各ブロック単位で、上述したステップS1003〜S1007の処理を繰り返すことになる。
【００３７】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。
【００３８】
第2実施形態におけるテレビ会議システムの基本構成は上述した第1実施形態に示した図1と同様であるため、説明を省略する。
【００３９】
図6は、第2実施形態における多地点接続装置22の機能ブロック構成を示す。同図において、第1実施形態に示した図2と基本的に同様の処理を行なう構成には同一番号を付し、説明を省略する。
【００４０】
図6において、86は空間フィルタ処理部であり、顔領域認識部15における認識結果に基づいて、デコードされた画像データに対して低周波フィルタ処理を施す。具体的には、顔以外の領域のみに対して低域通過フィルタによる空間フィルタ処理を施し、高周波成分を減衰させる。
【００４１】
以下、第2実施形態の多地点接続装置22における画像処理について、図7に示すフローチャートを参照して詳細に説明する。尚、図7において上述した第1実施形態で説明した図4のフローチャートと同様の処理を行なうステップについては同一ステップ番号を付し、説明を省略する。
【００４２】
第1実施形態と同様に、ステップS1004における顔領域の認識後、復元された画像データは画像エンコーダ16において再び圧縮されるが、第2実施形態においてはこの圧縮処理の際に、顔領域認識結果に基づいた空間フィルタ処理を行なうことを特徴とする。
【００４３】
空間フィルタ処理部86には、デコードされた画像データと、その顔領域認識結果が入力される。空間フィルタ処理部86には、予め低域通過フィルタが用意されており、ステップS1005で顔領域であると判定された領域に対して、該低域通過フィルタによる空間フィルタ処理を施す(S1106)。その後、画像エンコーダ16において、空間フィルタ処理後の画像データを圧縮する(S1008)。
【００４４】
ここで、空間フィルタ処理部86における低域通過フィルタの例を図8に示す。該フィルタにより、次式(1)に示すフィルタ処理が行われる。
【００４５】
尚、P(x,y)は座標(x,y)の画素値。
【００４６】
尚、第2実施形態における空間フィルタは図8に示す例に限定されず、低域通過フィルタであればどのようなものであっても良い。
【００４７】
また、第2実施形態においては顔領域であるか否かに応じて空間フィルタ処理を施すか否かを制御する例について説明したが、例えば、いずれの場合にも空間フィルタ処理を施すものとし、顔領域であるか否かに応じて低域通過フィルタを切り替えるようにしても良い。即ち、顔領域以外に対するフィルタを、前記特定領域に対するフィルタよりも高周波成分を除去するように設定すれば良い。
【００４８】
以上説明したように第2実施形態によれば、画像データ内において重要度の高い顔領域については画像を劣化させること無く再圧縮し、背景等、重要度の低い顔領域以外の領域については高周波成分を減衰させることにより、符号量を削減することができる。従って、上述した第1実施形態と同様の効果を得ることができる。
【００４９】
更に、第2実施形態においては空間フィルタ処理により解像度を制御するため、上述した第1実施形態で示した量子化係数の制御により符号量を削減する方法に比べて、画像品質の劣化が視覚的に目立たないと言う効果を奏する。
【００５０】
＜第３実施形態＞
以下、本発明に係る第3実施形態について説明する。第3実施形態におけるテレビ会議システムの基本構成は上述した第1実施形態に示した図1と同様であるため、説明を省略する。
【００５１】
第3実施形態においては、第1実施形態に示した機能を有する多地点接続装置22を、その主要な処理をソフトウェアによって実現する様に構成することを特徴とする。
【００５２】
図9は、第3実施形態における多地点接続装置22の構成を示すブロック図である。61は通信インタフェース部であり、ISDNやPSTN等の通信インタフェースを司る。62は主要な信号処理を司るメディアプロセッサであり、例えばマルチメディア信号処理用に特化されたプロセッサやDSP(Digital Signal Processor)等により、各種のディジタル信号処理を行う。第3実施形態においてはメディアプロセッサ62を利用して、マルチタスク処理によって各データを処理する事で、専用のハードウエアを用意すること無く、簡易な構成でテレビ会議システムを低コストに実現する事が可能となる。
【００５３】
63はRAM(Randam Access Memory)であり、メディアプロセッサ62の動作に必要なメモリ及び処理すべき画像・音声データの各種バッファメモリとして使用される。RAM63は、例えばSDRAM(Synchronous DRAM)等の高速大容量のメモリにより実現される。64はCPUであり、多地点接続装置22のシステム制御、通信プロトコル処理などを司る。65は、CPU64の動作に必要な作業バッファ等に利用されるRAMである。66はROM(Read Only Memory)であり、CPU64の動作に必要な制御プログラムおよびメディアプロセッサ62の動作に必要な制御プログラムを格納する。メディアプロセッサ62の動作に必要なプログラムは、システムの初期化時にROM66からRAM63へ転送される。
【００５４】
第3実施形態においては、上記構成により、図4のフローチャートに示す処理を実現する。即ち、該処理を実現する制御プログラムがROM66に予め格納されており、これがRAM63又はRAM65上に展開されて、メディアプロセッサ62やCPU64によって実行される。例えば、特にデータの圧縮／伸張に関する処理はメディアプロセッサ62によって行われ、その他の処理はCPU64によって制御される。
【００５５】
以上説明した様に第3実施形態によれば、上述した第1実施形態で説明した処理をソフトウェアによって実現することにより、第1実施形態と同様の効果が得られる。
【００５６】
尚、第3実施形態においては第1実施形態に示した多地点接続装置22をソフトウェアによって実現する例について説明したが、第2実施形態に示した多地点接続装置22をソフトウェアによって実現することも、もちろん同様に可能である。
【００５７】
尚、上述した第1乃至第3実施形態において適用される符号化方式はどのようなものであっても良く、例えばH.320で使用されるH.261等のDCT(離散コサイン変換)をベースとした符号化方式を適用することも可能である。その場合、顔領域の認識結果による量子化係数の制御はマクロブロック単位で行われることになる。
【００５８】
更に、本発明の符号化制御方法としては、第1実施形態に示した量子化制御と、第2実施形態に示した空間フィルタ制御の両方を組み合わせることにより、配信する画像データのさらなる高画質化を実現することも可能である。
【００５９】
また、本発明における多地点接続装置に接続されるテレビ会議端末は、専用端末であっても良いし、パーソナルコンピュータ等の汎用端末に対して所定のアプリケーション(ソフトウェア)を動作させるものであっても良い。
【００６０】
加えて、本発明の多地点接続装置としては、多地点の端末の接続に関する機能に加えて、HTML(Hyper Text Markup Language)データの自動生成機能及びHTTP(Hyper Text Transfer Protocol)サーバ機能等を有していても良い。これにより、多地点接続装置に内蔵するHTTPサーバに蓄積された画像・音声等のデータを表示・可聴化する事が可能な汎用通信端末を接続することが可能となる。この汎用通信端末としては、所謂WWWブラウザを内蔵するパーソナルコンピュータやネットワークコンピュータが適用可能であり、近年の半導体技術の発展により、携帯環境での使用も可能とする簡便な端末として使用できる。これら汎用通信端末は、ISDNやPSTN等の公衆網やイーサネット等のLAN(Local Area Network)を介して、多地点接続装置にIP(Internet Protocol)接続する。これにより、既存のテレビ会議専用端末と、パーソナルコンピュータやネットワークコンピュータ等の汎用端末とを相互接続することができる。
【００６１】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００６２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００６３】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６４】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００６５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６６】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになる。
【００６７】
【発明の効果】
以上説明した様に本発明によれば、狭帯域通信路における多地点テレビ会議システムにおいて会議参加者の表情を鮮明に表示することが可能となる。
【００６８】
また、圧縮された画像データの再圧縮を行なう際に、画像品位の劣化を低減することができる。
【００６９】
【図面の簡単な説明】
【図１】本発明に係る一実施形態における多地点テレビ会議システムの構成を示すブロック図、
【図２】多地点接続装置の基本構成を示すブロック図、
【図３】テレビ会議端末における表示画面例を示す図、
【図４】多地点接続装置における画像処理を示すフローチャート、
【図５】本実施形態により配信される画像例を示す図、
【図６】第2実施形態における多地点接続装置の基本構成を示すブロック図、
【図７】多地点接続装置における画像処理を示すフローチャート、
【図８】空間フィルタ例を示す図、
【図９】本発明に係る第3実施形態における多地点接続装置の構成を示すブロック図、
【図１０】従来の多地点接続装置における画像処理例を示す図、
【図１１】インターネット型の多地点テレビ会議システムを説明する図、である。
【符号の説明】
11a〜11n 網インタフェース
12a〜12n 多重／分離処理部
13 音声処理部
14 画像デコーダ
15 顔領域認識部
16 画像エンコーダ
17 量子化制御部
18 システム制御部
21a〜21n テレビ会議端末
22 多地点接続装置
【発明の属する技術分野】
本発明はデータ通信制御装置及びその制御方法、画像処理装置及びその方法、及びデータ通信システムに関し、例えば、複数地点間の相互映像通信を実現するデータ通信制御装置及びその制御方法、画像処理装置及びその方法、及びデータ通信システムに関する。
【０００２】
【従来の技術】
現在普及している多地点テレビ会議システムは、ITU-T勧告H.320規格等に準拠するテレビ会議端末を多地点間で相互通信可能とするものである。
【０００３】
このようなテレビ会議端末の多地点における接続を制御する多地点接続装置に関する標準規格としては、多地点接続装置の機能構成や多地点通信の形態を定義するITU-T勧告H.231、インチャンネルの通信手順を定めたITU-T勧告H.243等が策定されている。
【０００４】
図1に、従来のテレビ会議システムの構成を示す。同図によれば、多地点接続装置122は、3ポイント以上のテレビ会議端末21a〜21nを相互接続し、音声のミキシング、映像データの配信制御あるいは映像データの多画面合成、更には、会議進行のための議長制御等を司る。H.320規格に準ずる端末であれば、このような多地点接続装置を使用して接続する事で、複数の遠隔地を結ぶ多地点会議を実現する事が可能である。
【０００５】
従来のH.320規格に準ずるテレビ会議システムにおいて多地点の相互映像通信を実現する場合、例えば図1に示す多地点接続装置22からテレビ会議端末21a〜21nへ画像データを配信する方法としては、
(1)議長端末が指示する特定のテレビ会議端末の映像を各テレビ会議端末へ配信する方法、
(2)図10に示す様に、多地点接続装置22において各テレビ会議端末の映像を縮小して合成することによって、各テレビ会議端末21a〜21nの画像を限られた帯域で同時に配信する方法、
等が実施されている。尚、図10において31a〜31dは、各テレビ会議端末21a〜21dから送出される映像データ、32は多地点接続装置22から各テレビ会議端末21a〜21dへ配信される縮小合成映像データを示す。
【０００６】
また、インターネット環境におけるテレビ会議システムを実現するために、例えば米WhitePine社のCU-SeeMe等のソフトウエアが提供されている。これらの多地点テレビ会議システムによれば、各クライアント端末から送出された画像データは多地点接続サーバを経由して各クライアント端末にそのまま配信される。図11に、当該方式における映像データ転送の様子を示す。図11において41a〜41cはクライアントとなる端末であり、映像・音声入出力機能を有するパーソナルコンピュータ等により実現される。42は多地点接続サーバであり、各クライアント端末41a〜41cの映像及び音声をそのまま各クライアント端末41a〜41cに配信する。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来のH.320等の標準規格に基づく多地点接線方法によるテレビ会議システムにおいては、その各端末に対して限られた帯域による通信を行なうため、
(1)特定の会議参加者の映像のみしか配信されない、
あるいは、
(2)複数の会議参加者の縮小画像を伝送するため、各話者の画像が不明瞭となる、
等の問題があり、テレビ会議端末において複数の会議参加者を鮮明に表示することは困難であった。
【０００８】
また、図11に示すようなインターネットを利用したテレビ会議システムにおいては、多地点接続サーバ42は、各クライアント端末41a〜41cの映像及び音声をそのまま各クライアント端末41a〜41cに配信する。例えば多地点接続サーバ42とクライアント端末41a間においては、クライアント端末41aから多地点接続サーバ42へ端末情報Ａを送出し、多地点接続サーバ42からクライアント端末41aへ他のクライアント端末41b，41cの端末情報Ｂ，Ｃが転送される。従って、多地点接続サーバ42からクライアント端末41a〜41cに配信される画像データの符号量は、参加者(端末)の数に比例して増加する。従って、通信路に十分な帯域が確保されていない場合、クライアント端末41a〜41cで受信される画像のフレームレートが著しく低下してしまうため、受信した画像は例えばコマ落とし表示せざるを得ないという問題があった。
【０００９】
本発明は、このような問題を解決するためになされたものであり、狭帯域通信路における高品位の画像通信を可能とするデータ通信制御装置及びその制御方法、及びデータ通信システムを提供することを目的とする。
【００１０】
また、多地点テレビ会議システムにおいて会議参加者の表情を鮮明に表示可能なデータ通信制御装置及びその制御方法、及びデータ通信システムを提供することを目的とする。
【００１１】
また、本発明は与えられた圧縮画像データを再利用する際の画質の劣化を低減した画像処理装置及びその方法を提供することを他の目的とする。
【００１２】
上記目的を達成するための一手段として、本発明のデータ通信制御装置は以下の構成を備える。即ち、接続された複数の通信端末間におけるデータ通信を制御するデータ通信制御装置であって、第１の通信端末から受信した画像データの特定領域を認識する認識手段と、該特定領域であるか否かに応じて前記画像データの圧縮方法を制御する圧縮制御手段と、前記圧縮制御手段によって制御された圧縮方法によって前記画像データを圧縮する圧縮手段と、前記圧縮された画像データを第２の通信端末に送信する通信手段と、前記第２の通信端末の指示に従って、前記認識手段による前記画像データの特定領域の認識および前記圧縮手段による前記画像データの圧縮を行うか否かを判断する判断手段と、を有し、前記通信手段は、前記判断手段によって前記認識手段による前記画像データの特定領域の認識および前記圧縮手段による前記画像データの圧縮を行わないと判断された場合、前記圧縮手段によって圧縮されていない前記画像データを前記第２の通信端末に送信することを特徴とする。
【００１３】
上記目的を達成するための一手段として、本発明のデータ通信制御装置の制御方法は以下の構成を備える。即ち、接続された複数の通信端末間におけるデータ通信を制御するデータ通信制御装置における制御方法であって、第１の通信端末から受信した画像データの特定領域を認識する認識工程と、該特定領域であるか否かに応じて前記画像データの圧縮方法を制御する圧縮制御工程と、前記圧縮制御工程において制御された圧縮方法によって前記画像データを圧縮する圧縮工程と、前記圧縮された画像データを第２の通信端末に送信する送信工程と、前記第２の通信端末の指示に従って、前記認識工程における前記画像データの特定領域の認識および前記圧縮工程における前記画像データの圧縮を行うか否かを判断する判断工程と、を有し、前記送信工程において、前記認識工程における前記画像データの特定領域の認識および前記圧縮工程における前記画像データの圧縮を行わないと前記判断工程において判断された場合、前記圧縮工程において圧縮されていない前記画像データを前記第２の通信端末に送信することを特徴とする。
【００１４】
上記目的を達成するための一手段として、本発明のデータ通信システムは以下の構成を備える。即ち、データ通信制御装置を介して複数の通信端末を接続し、該複数の通信端末間におけるデータ通信を行なうデータ通信システムであって、該データ通信制御装置は、第１の通信端末から受信した画像データの特定領域を認識する認識手段と、該特定領域であるか否かに応じて前記画像データの圧縮方法を制御する圧縮制御手段と、前記圧縮制御手段によって制御された圧縮方法によって前記画像データを圧縮する圧縮手段と、前記圧縮された画像データを第２の通信端末に送信する通信手段と、前記第２の通信端末の指示に従って、前記認識手段による前記画像データの特定領域の認識および前記圧縮手段による前記画像データの圧縮を行うか否かを判断する判断手段と、を有し、前記通信手段は、前記判断手段によって前記認識手段による前記画像データの特定領域の認識および前記圧縮手段による前記画像データの圧縮を行わないと判断された場合、前記圧縮手段によって圧縮されていない前記画像データを前記第２の通信端末に送信することを特徴とする。
【００１５】
上記目的を達成するための一手段として、本発明の記録媒体は以下の構成を備える。即ち、接続された複数の通信端末間におけるデータ通信を制御するデータ通信制御装置を制御するプログラムを記録した記録媒体であって、該プログラムは、前記データ通信制御装置に、第１の通信端末から受信した画像データの特定領域を認識する認識工程と、該特定領域であるか否かに応じて前記画像データの圧縮方法を制御する圧縮制御工程と、前記圧縮制御工程において制御された圧縮方法によって前記画像データを圧縮する圧縮工程と、前記圧縮された画像データを第２の通信端末に送信する送信工程と、前記第２の通信端末の指示に従って、前記認識工程における前記画像データの特定領域の認識および前記圧縮工程における前記画像データの圧縮を行うか否かを判断する判断工程と、を実行させ、前記送信工程において、前記認識工程における前記画像データの特定領域の認識および前記圧縮工程における前記画像データの圧縮を行わないと前記判断工程において判断された場合、前記圧縮工程において圧縮されていない前記画像データを前記第２の通信端末に送信することを特徴とする。
【００１９】
【発明の実施の形態】
以下、本発明に係る一実施形態について図面を参照して詳細に説明する。
【００２０】
＜第１実施形態＞
本実施形態におけるテレビ会議システムの基本構成は上述した従来例に示した図1と同様であり、多地点接続装置22によって、3ポイント以上のテレビ会議端末21a〜21nが相互接続されている。画像データは、多地点接続装置22を経由してテレビ会議端末(以下、単に端末と称する)21a〜21nへ配信される。
【００２１】
図2に、本実施形態における多地点接続装置22の機能ブロック構成を示す。同図において、11a〜11nは遠隔地の端末21a〜21nを収容するための網インタフェース部であり、ISDN、PSTN等の回線インタフェースを司る。12a〜12nは多重／分離部であり、例えばITU-T勧告H.221等に従って、画像・音声・制御等に関する各種データの多重／分離処理を行なう。尚、多地点接続装置22においては、網インタフェース部11a〜11n及び、多重／分離部12a〜12nは本多地点接続装置に直接接続可能なテレビ会議端末の数だけ有する。また、網インタフェース部11a〜11n及び多重／分離部12a〜12nを介して、他の多地点接続装置やサーバ等に接続する事も可能である。
【００２２】
13は音声処理部であり、各端末21a〜21nから送出された音声符号データに対して伸張／ミキシング処理を施した後、再び圧縮符号化して各端末21a〜21dに分配する。14は画像デコーダ部であり、多重分離部12a〜12nで分離された圧縮画像の符号データをデコードし、非圧縮の画像データを生成する。15は顔領域認識部であり、画像デコーダ14により復元された画像データの中から、人物の顔領域を認識する。16は画像エンコーダであり、画像デコーダ14によって復元された画像データを再び圧縮する。17は量子化制御部であり、顔領域認識結果に従って、再圧縮時の量子化制御を行う。具体的には、量子化に使用する量子化テーブルを複数用意し、量子化対象画像が顔領域認識によって顔以外の領域であると判定された場合は、デコードに使用した量子化係数よりも大きいステップの係数を選択する。18はシステム制御部であり、各種通信プロトコル処理及び多地点接続装置22全体の動作を司るものである。
【００２３】
図3は、本実施形態の多地点テレビ会議システムにおける端末21a〜21nに表示される画面構成の一例を示す図である。例えば、尚、図3に示す画面が端末21dにおける表示画面であるとすると、71は当該端末21dのユーザ自身の映像を表示するウインドウ、72a〜72cは会議に参加している他端末(例えば端末21a〜21c)におけるユーザの映像を示すウィンドウである。73はホワイトボード等の、会議における共有画面ウインドウである。
【００２４】
以下、多地点接続装置22における画像処理について、図4に示すフローチャートを参照して詳細に説明する。
【００２５】
端末21a〜21nを収容する通信インタフェース11a〜11nを介して送られたマルチメディア多重データは、多重／分離部12a〜12nによってフレーム分離され、音声圧縮データ，映像圧縮データ，データ会議用低速データ，システム制御用データ等が分離抽出される(S1001)。分離された音声圧縮データは音声処理部13で伸張処理され、各多重／分離処理部12a〜12nで分離された他の音声圧縮データを伸張したものとミキシング処理される。尚、ミキシング処理された音声データは圧縮され、多重／分離部12a〜12nにおいて画像データ等の他のデータと共に多重化されて、各端末21a〜21nに配信される。
【００２６】
一方、分離抽出された映像圧縮データは、当該データの配信先となる端末からの指示に従って、符号量制御を行なうか否かがシステム制御部18において判断される(S1002)。符号量制御を行わない場合にはそのまま、多重／分離部12a〜12nにおいて再び他のデータと共に符号多重処理される(S1009)。これにより、多地点接続装置22において、例えばユーザによって指示された特定端末の映像に関しては、背景画像を含めた詳細な画像として配信する事も可能である。
【００２７】
一方、符号量制御を行う場合には、映像圧縮データは画像デコーダ14によりデコードされ(S1003)、画像デコーダ内14内の不図示のRAM等に一時格納される。そして顔領域認識部15において、該復元された画像データに対して顔領域の認識処理が行われる(S1004)。尚、顔領域認識部15における認識方法は特に限定されないが、例えば横尾、萩原「遺伝的アルゴリズムを用いた自然画像からの複数顔領域抽出」(電気学会論文誌Ｃ Vo1.117-C,No.9,Sep.,1997)に記載された方法等により、人物の顔を含む領域を認識することができる。
【００２８】
尚、顔領域の認識処理としてはどのような方法を用いても良く、装置の処理能力が十分であれば、顔領域の正確な輪郭を抽出する等のより高度な方法を用いることも可能である。また、顔領域の認識手法によっては、画像デコーダ14において画像データを完全にデコードする必要が無い場合も有る。
【００２９】
顔領域の認識後、復元された画像データは画像エンコーダ16において再び圧縮されるが、本実施形態においてはこの圧縮処理の際に、顔領域認識結果に基づいた量子化係数の制御を行うことを特徴とする。
【００３０】
顔領域の認識結果は量子化制御部17に出力される。量子化制御部17においては、画像デコーダ14におけるデコード時に使用した量子化係数(あるいは量子化のためのQファクタ)と、それをn倍(n＞1)した量子化係数が予め用意されており、前者の係数がデフォルトとして設定されている。そして、ステップS1005で顔領域であると判定された領域に対してはデコード時と同一の係数(デフォルト)を、顔領域以外と判定された領域に対してはn倍された係数を設定(S1006)した後、画像エンコーダ16において、画像デコーダ14内に保持されている画像データに対して該量子化係数に基づく量子化を含む圧縮処理を施す(S1007)。
【００３１】
これにより、画像データ内において重要度の高い顔領域については画像を劣化させること無く再圧縮し、背景等、重要度の低い顔領域以外の領域については量子化ステップが大きくなるように変更して圧縮することにより、符号量を削減することができる。
【００３２】
多地点接続装置22においては、以上の処理を各端末21a〜21nから転送されてくるデータ毎に独立に処理する。尚、再圧縮された画像データは、多重／分離部12a〜12nにおいて音声圧縮データと共に多重化された後(S1008)、通信プロトコルに従って各端末21a〜21nへ配信される。
【００３３】
図5は、本実施形態のテレビ会議システムにおいて、例えば端末21dにおいて撮影され、多地点接続装置22において上述したように処理された後に、各端末21a〜21nに配信された画像データの表示例を示す。図5において、51で示す円内の領域は顔領域と認識された領域、52は顔領域以外であると認識された背景領域を示す。背景領域52は大きな量子化係数によって量子化されるために解像度の低下した画像となるが、顔領域51については、端末21dにおいて撮影された際の画像と同等の品質が得られることになる。
【００３４】
以上説明したように本実施形態によれば、テレビ会議システムの各端末に対して、他端末の撮影画像のうちの重要部位のみを高精細に転送する事が可能となる。従って、たとえ各端末が狭帯域通信路により接続された場合であっても、重要部位については高品位の画像通信を行なうことが可能となるため、各端末においては、他端末から転送されてくる画像を縮小或いはコマ落としすること無く、重要部位である顔領域、即ちユーザの表情を鮮明に表示することができる。
。
【００３５】
更に、端末からの指示により、他の任意の端末からの画像を随時、全画面高画質で受信することも可能である。
【００３６】
尚、本実施形態におけるデコード及びエンコード処理は、もちろん画像データの所定ブロック単位で行われても良い。この場合、各ブロック単位で、上述したステップS1003〜S1007の処理を繰り返すことになる。
【００３７】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。
【００３８】
第2実施形態におけるテレビ会議システムの基本構成は上述した第1実施形態に示した図1と同様であるため、説明を省略する。
【００３９】
図6は、第2実施形態における多地点接続装置22の機能ブロック構成を示す。同図において、第1実施形態に示した図2と基本的に同様の処理を行なう構成には同一番号を付し、説明を省略する。
【００４０】
図6において、86は空間フィルタ処理部であり、顔領域認識部15における認識結果に基づいて、デコードされた画像データに対して低周波フィルタ処理を施す。具体的には、顔以外の領域のみに対して低域通過フィルタによる空間フィルタ処理を施し、高周波成分を減衰させる。
【００４１】
以下、第2実施形態の多地点接続装置22における画像処理について、図7に示すフローチャートを参照して詳細に説明する。尚、図7において上述した第1実施形態で説明した図4のフローチャートと同様の処理を行なうステップについては同一ステップ番号を付し、説明を省略する。
【００４２】
第1実施形態と同様に、ステップS1004における顔領域の認識後、復元された画像データは画像エンコーダ16において再び圧縮されるが、第2実施形態においてはこの圧縮処理の際に、顔領域認識結果に基づいた空間フィルタ処理を行なうことを特徴とする。
【００４３】
空間フィルタ処理部86には、デコードされた画像データと、その顔領域認識結果が入力される。空間フィルタ処理部86には、予め低域通過フィルタが用意されており、ステップS1005で顔領域であると判定された領域に対して、該低域通過フィルタによる空間フィルタ処理を施す(S1106)。その後、画像エンコーダ16において、空間フィルタ処理後の画像データを圧縮する(S1008)。
【００４４】
ここで、空間フィルタ処理部86における低域通過フィルタの例を図8に示す。該フィルタにより、次式(1)に示すフィルタ処理が行われる。
【００４５】
【００４６】
尚、第2実施形態における空間フィルタは図8に示す例に限定されず、低域通過フィルタであればどのようなものであっても良い。
【００４７】
また、第2実施形態においては顔領域であるか否かに応じて空間フィルタ処理を施すか否かを制御する例について説明したが、例えば、いずれの場合にも空間フィルタ処理を施すものとし、顔領域であるか否かに応じて低域通過フィルタを切り替えるようにしても良い。即ち、顔領域以外に対するフィルタを、前記特定領域に対するフィルタよりも高周波成分を除去するように設定すれば良い。
【００４８】
以上説明したように第2実施形態によれば、画像データ内において重要度の高い顔領域については画像を劣化させること無く再圧縮し、背景等、重要度の低い顔領域以外の領域については高周波成分を減衰させることにより、符号量を削減することができる。従って、上述した第1実施形態と同様の効果を得ることができる。
【００４９】
更に、第2実施形態においては空間フィルタ処理により解像度を制御するため、上述した第1実施形態で示した量子化係数の制御により符号量を削減する方法に比べて、画像品質の劣化が視覚的に目立たないと言う効果を奏する。
【００５０】
＜第３実施形態＞
以下、本発明に係る第3実施形態について説明する。第3実施形態におけるテレビ会議システムの基本構成は上述した第1実施形態に示した図1と同様であるため、説明を省略する。
【００５１】
第3実施形態においては、第1実施形態に示した機能を有する多地点接続装置22を、その主要な処理をソフトウェアによって実現する様に構成することを特徴とする。
【００５２】
図9は、第3実施形態における多地点接続装置22の構成を示すブロック図である。61は通信インタフェース部であり、ISDNやPSTN等の通信インタフェースを司る。62は主要な信号処理を司るメディアプロセッサであり、例えばマルチメディア信号処理用に特化されたプロセッサやDSP(Digital Signal Processor)等により、各種のディジタル信号処理を行う。第3実施形態においてはメディアプロセッサ62を利用して、マルチタスク処理によって各データを処理する事で、専用のハードウエアを用意すること無く、簡易な構成でテレビ会議システムを低コストに実現する事が可能となる。
【００５３】
63はRAM(Randam Access Memory)であり、メディアプロセッサ62の動作に必要なメモリ及び処理すべき画像・音声データの各種バッファメモリとして使用される。RAM63は、例えばSDRAM(Synchronous DRAM)等の高速大容量のメモリにより実現される。64はCPUであり、多地点接続装置22のシステム制御、通信プロトコル処理などを司る。65は、CPU64の動作に必要な作業バッファ等に利用されるRAMである。66はROM(Read Only Memory)であり、CPU64の動作に必要な制御プログラムおよびメディアプロセッサ62の動作に必要な制御プログラムを格納する。メディアプロセッサ62の動作に必要なプログラムは、システムの初期化時にROM66からRAM63へ転送される。
【００５４】
第3実施形態においては、上記構成により、図4のフローチャートに示す処理を実現する。即ち、該処理を実現する制御プログラムがROM66に予め格納されており、これがRAM63又はRAM65上に展開されて、メディアプロセッサ62やCPU64によって実行される。例えば、特にデータの圧縮／伸張に関する処理はメディアプロセッサ62によって行われ、その他の処理はCPU64によって制御される。
【００５５】
以上説明した様に第3実施形態によれば、上述した第1実施形態で説明した処理をソフトウェアによって実現することにより、第1実施形態と同様の効果が得られる。
【００５６】
尚、第3実施形態においては第1実施形態に示した多地点接続装置22をソフトウェアによって実現する例について説明したが、第2実施形態に示した多地点接続装置22をソフトウェアによって実現することも、もちろん同様に可能である。
【００５７】
尚、上述した第1乃至第3実施形態において適用される符号化方式はどのようなものであっても良く、例えばH.320で使用されるH.261等のDCT(離散コサイン変換)をベースとした符号化方式を適用することも可能である。その場合、顔領域の認識結果による量子化係数の制御はマクロブロック単位で行われることになる。
【００５８】
更に、本発明の符号化制御方法としては、第1実施形態に示した量子化制御と、第2実施形態に示した空間フィルタ制御の両方を組み合わせることにより、配信する画像データのさらなる高画質化を実現することも可能である。
【００５９】
また、本発明における多地点接続装置に接続されるテレビ会議端末は、専用端末であっても良いし、パーソナルコンピュータ等の汎用端末に対して所定のアプリケーション(ソフトウェア)を動作させるものであっても良い。
【００６０】
加えて、本発明の多地点接続装置としては、多地点の端末の接続に関する機能に加えて、HTML(Hyper Text Markup Language)データの自動生成機能及びHTTP(Hyper Text Transfer Protocol)サーバ機能等を有していても良い。これにより、多地点接続装置に内蔵するHTTPサーバに蓄積された画像・音声等のデータを表示・可聴化する事が可能な汎用通信端末を接続することが可能となる。この汎用通信端末としては、所謂WWWブラウザを内蔵するパーソナルコンピュータやネットワークコンピュータが適用可能であり、近年の半導体技術の発展により、携帯環境での使用も可能とする簡便な端末として使用できる。これら汎用通信端末は、ISDNやPSTN等の公衆網やイーサネット等のLAN(Local Area Network)を介して、多地点接続装置にIP(Internet Protocol)接続する。これにより、既存のテレビ会議専用端末と、パーソナルコンピュータやネットワークコンピュータ等の汎用端末とを相互接続することができる。
【００６１】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００６２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００６３】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６４】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００６５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６６】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになる。
【００６７】
【発明の効果】
以上説明した様に本発明によれば、狭帯域通信路における多地点テレビ会議システムにおいて会議参加者の表情を鮮明に表示することが可能となる。
【００６８】
また、圧縮された画像データの再圧縮を行なう際に、画像品位の劣化を低減することができる。
【００６９】
【図面の簡単な説明】
【図１】本発明に係る一実施形態における多地点テレビ会議システムの構成を示すブロック図、
【図２】多地点接続装置の基本構成を示すブロック図、
【図３】テレビ会議端末における表示画面例を示す図、
【図４】多地点接続装置における画像処理を示すフローチャート、
【図５】本実施形態により配信される画像例を示す図、
【図６】第2実施形態における多地点接続装置の基本構成を示すブロック図、
【図７】多地点接続装置における画像処理を示すフローチャート、
【図８】空間フィルタ例を示す図、
【図９】本発明に係る第3実施形態における多地点接続装置の構成を示すブロック図、
【図１０】従来の多地点接続装置における画像処理例を示す図、
【図１１】インターネット型の多地点テレビ会議システムを説明する図、である。
【符号の説明】
11a〜11n 網インタフェース
12a〜12n 多重／分離処理部
13 音声処理部
14 画像デコーダ
15 顔領域認識部
16 画像エンコーダ
17 量子化制御部
18 システム制御部
21a〜21n テレビ会議端末
22 多地点接続装置
Claims (7)
- 接続された複数の通信端末間におけるデータ通信を制御するデータ通信制御装置であって、
第１の通信端末から受信した画像データの特定領域を認識する認識手段と、
該特定領域であるか否かに応じて前記画像データの圧縮方法を制御する圧縮制御手段と、
前記圧縮制御手段によって制御された圧縮方法によって前記画像データを圧縮する圧縮手段と、
前記圧縮された画像データを第２の通信端末に送信する通信手段と、
前記第２の通信端末の指示に従って、前記認識手段による前記画像データの特定領域の認識および前記圧縮手段による前記画像データの圧縮を行うか否かを判断する判断手段と、
を有し、
前記通信手段は、前記判断手段によって前記認識手段による前記画像データの特定領域の認識および前記圧縮手段による前記画像データの圧縮を行わないと判断された場合、前記圧縮手段によって圧縮されていない前記画像データを前記第２の通信端末に送信することを特徴とするデータ通信制御装置。 - 前記圧縮制御手段は、前記特定領域以外の領域に対する量子化係数が前記特定領域に対する量子化係数よりも大きくなるように制御することを特徴とする請求項１記載のデータ通信制御装置。
- 前記圧縮制御手段は、前記特定領域以外の領域に対して低域通過フィルタによる空間フィルタ処理を施すように制御することを特徴とする請求項１記載のデータ通信制御装置。
- 前記特定領域は顔領域であることを特徴とする請求項１乃至３のいずれかに記載のデータ通信制御装置。
- 接続された複数の通信端末間におけるデータ通信を制御するデータ通信制御装置における制御方法であって、
第１の通信端末から受信した画像データの特定領域を認識する認識工程と、
該特定領域であるか否かに応じて前記画像データの圧縮方法を制御する圧縮制御工程と、
前記圧縮制御工程において制御された圧縮方法によって前記画像データを圧縮する圧縮工程と、
前記圧縮された画像データを第２の通信端末に送信する送信工程と、
前記第２の通信端末の指示に従って、前記認識工程における前記画像データの特定領域の認識および前記圧縮工程における前記画像データの圧縮を行うか否かを判断する判断工程と、
を有し、
前記送信工程において、前記認識工程における前記画像データの特定領域の認識および前記圧縮工程における前記画像データの圧縮を行わないと前記判断工程において判断された場合、前記圧縮工程において圧縮されていない前記画像データを前記第２の通信端末に送信することを特徴とする制御方法。 - データ通信制御装置を介して複数の通信端末を接続し、該複数の通信端末間におけるデータ通信を行なうデータ通信システムであって、
該データ通信制御装置は、
第１の通信端末から受信した画像データの特定領域を認識する認識手段と、
該特定領域であるか否かに応じて前記画像データの圧縮方法を制御する圧縮制御手段と、
前記圧縮制御手段によって制御された圧縮方法によって前記画像データを圧縮する圧縮手段と、
前記圧縮された画像データを第２の通信端末に送信する通信手段と、
前記第２の通信端末の指示に従って、前記認識手段による前記画像データの特定領域の認識および前記圧縮手段による前記画像データの圧縮を行うか否かを判断する判断手段と、
を有し、
前記通信手段は、前記判断手段によって前記認識手段による前記画像データの特定領域の認識および前記圧縮手段による前記画像データの圧縮を行わないと判断された場合、前記圧縮手段によって圧縮されていない前記画像データを前記第２の通信端末に送信することを特徴とするデータ通信システム。 - 接続された複数の通信端末間におけるデータ通信を制御するデータ通信制御装置を制御するプログラムを記録した記録媒体であって、
該プログラムは、前記データ通信制御装置に、
第１の通信端末から受信した画像データの特定領域を認識する認識工程と、
該特定領域であるか否かに応じて前記画像データの圧縮方法を制御する圧縮制御工程と、
前記圧縮制御工程において制御された圧縮方法によって前記画像データを圧縮する圧縮工程と、
前記圧縮された画像データを第２の通信端末に送信する送信工程と、
前記第２の通信端末の指示に従って、前記認識工程における前記画像データの特定領域の認識および前記圧縮工程における前記画像データの圧縮を行うか否かを判断する判断工程と、
を実行させ、
前記送信工程において、前記認識工程における前記画像データの特定領域の認識および前記圧縮工程における前記画像データの圧縮を行わないと前記判断工程において判断された場合、前記圧縮工程において圧縮されていない前記画像データを前記第２の通信端末に送信することを特徴とする記録媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP37147898A JP4208315B2 (ja) | 1998-12-25 | 1998-12-25 | データ通信制御装置及びその制御方法、データ通信システム、記録媒体 |
| US09/469,789 US6684360B1 (en) | 1998-12-25 | 1999-12-22 | Transmission apparatus, reception apparatus, transmission method and reception method, each for efficiently transmitting error information |
| US09/469,798 US6744927B1 (en) | 1998-12-25 | 1999-12-22 | Data communication control apparatus and its control method, image processing apparatus and its method, and data communication system |
| US10/852,159 US20040213474A1 (en) | 1998-12-25 | 2004-05-25 | Data communication control apparatus and its control method, image processing apparatus and its method, and data communication system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP37147898A JP4208315B2 (ja) | 1998-12-25 | 1998-12-25 | データ通信制御装置及びその制御方法、データ通信システム、記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000197043A JP2000197043A (ja) | 2000-07-14 |
| JP2000197043A5 JP2000197043A5 (ja) | 2006-03-09 |
| JP4208315B2 true JP4208315B2 (ja) | 2009-01-14 |
Family
ID=18498779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP37147898A Expired - Fee Related JP4208315B2 (ja) | 1998-12-25 | 1998-12-25 | データ通信制御装置及びその制御方法、データ通信システム、記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6744927B1 (ja) |
| JP (1) | JP4208315B2 (ja) |
Families Citing this family (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8977683B2 (en) | 2000-12-26 | 2015-03-10 | Polycom, Inc. | Speakerphone transmitting password information to a remote device |
| US9001702B2 (en) | 2000-12-26 | 2015-04-07 | Polycom, Inc. | Speakerphone using a secure audio connection to initiate a second secure connection |
| US7864938B2 (en) | 2000-12-26 | 2011-01-04 | Polycom, Inc. | Speakerphone transmitting URL information to a remote device |
| US8948059B2 (en) | 2000-12-26 | 2015-02-03 | Polycom, Inc. | Conference endpoint controlling audio volume of a remote device |
| US8964604B2 (en) | 2000-12-26 | 2015-02-24 | Polycom, Inc. | Conference endpoint instructing conference bridge to dial phone number |
| US7339605B2 (en) | 2004-04-16 | 2008-03-04 | Polycom, Inc. | Conference link between a speakerphone and a video conference unit |
| US8976712B2 (en) | 2001-05-10 | 2015-03-10 | Polycom, Inc. | Speakerphone and conference bridge which request and perform polling operations |
| JP4231698B2 (ja) | 2001-05-10 | 2009-03-04 | ポリコム イスラエル リミテッド | 多地点マルチメディア／音声システムの制御ユニット |
| US8934382B2 (en) | 2001-05-10 | 2015-01-13 | Polycom, Inc. | Conference endpoint controlling functions of a remote device |
| DE10138267A1 (de) * | 2001-08-03 | 2003-02-20 | Siemens Ag | Verfahren und Endeinrichtung zur Mehrpunktkommunikation |
| US8947487B2 (en) | 2001-12-31 | 2015-02-03 | Polycom, Inc. | Method and apparatus for combining speakerphone and video conference unit operations |
| US8705719B2 (en) | 2001-12-31 | 2014-04-22 | Polycom, Inc. | Speakerphone and conference bridge which receive and provide participant monitoring information |
| US7742588B2 (en) * | 2001-12-31 | 2010-06-22 | Polycom, Inc. | Speakerphone establishing and using a second connection of graphics information |
| US8144854B2 (en) | 2001-12-31 | 2012-03-27 | Polycom Inc. | Conference bridge which detects control information embedded in audio information to prioritize operations |
| US8934381B2 (en) * | 2001-12-31 | 2015-01-13 | Polycom, Inc. | Conference endpoint instructing a remote device to establish a new connection |
| US8102984B2 (en) | 2001-12-31 | 2012-01-24 | Polycom Inc. | Speakerphone and conference bridge which receive and provide participant monitoring information |
| US8885523B2 (en) | 2001-12-31 | 2014-11-11 | Polycom, Inc. | Speakerphone transmitting control information embedded in audio information through a conference bridge |
| US7787605B2 (en) * | 2001-12-31 | 2010-08-31 | Polycom, Inc. | Conference bridge which decodes and responds to control information embedded in audio information |
| US8223942B2 (en) * | 2001-12-31 | 2012-07-17 | Polycom, Inc. | Conference endpoint requesting and receiving billing information from a conference bridge |
| US7978838B2 (en) | 2001-12-31 | 2011-07-12 | Polycom, Inc. | Conference endpoint instructing conference bridge to mute participants |
| JP2003208085A (ja) * | 2002-01-10 | 2003-07-25 | Nova:Kk | フリートークサービスを提供する教育サービス提供方法、教育サービス提供装置およびプログラム |
| JP4015934B2 (ja) * | 2002-04-18 | 2007-11-28 | 株式会社東芝 | 動画像符号化方法及び装置 |
| ATE405069T1 (de) * | 2002-03-22 | 2008-08-15 | Ericsson Telefon Ab L M | Verringern der übertragungszeit für datenpakete; die durch ein sicherungsschichtprotokoll mit einer fragmentierungs-/defragmentierungsfähigkeit gesteuert werden |
| JP3716225B2 (ja) * | 2002-04-05 | 2005-11-16 | 松下電器産業株式会社 | 符号量制御装置および符号量制御方法 |
| JP3999091B2 (ja) * | 2002-09-25 | 2007-10-31 | 富士フイルム株式会社 | 画像補正処理装置及びプログラム |
| KR100539923B1 (ko) * | 2003-02-10 | 2005-12-28 | 삼성전자주식회사 | 화상통화시 화자의 영상을 구분하여 차등적 부호화할 수있는 비디오 엔코더 및 이를 이용한 비디오신호의 압축방법 |
| JP3787633B2 (ja) * | 2003-04-21 | 2006-06-21 | 独立行政法人情報通信研究機構 | 実時間コンテンツ編集システム |
| US20050008240A1 (en) * | 2003-05-02 | 2005-01-13 | Ashish Banerji | Stitching of video for continuous presence multipoint video conferencing |
| JP4346966B2 (ja) * | 2003-06-13 | 2009-10-21 | キヤノン株式会社 | 撮像装置 |
| WO2005081515A1 (ja) * | 2004-02-23 | 2005-09-01 | Toa Corporation | 画像圧縮法、画像圧縮装置、画像伝送システム、データ圧縮前処理装置及びコンピュータプログラム |
| JP2005346202A (ja) * | 2004-05-31 | 2005-12-15 | Toshiba Corp | 電子機器 |
| US7580685B2 (en) * | 2004-07-09 | 2009-08-25 | Hitachi Kokusai Electric, Inc. | Radio communication system |
| US7539341B2 (en) * | 2004-07-29 | 2009-05-26 | Xerox Corporation | Systems and methods for processing image data prior to compression |
| US7620892B2 (en) * | 2004-07-29 | 2009-11-17 | Xerox Corporation | Server based image processing for client display of documents |
| US20060106929A1 (en) * | 2004-10-15 | 2006-05-18 | Kenoyer Michael L | Network conference communications |
| US7706576B1 (en) * | 2004-12-28 | 2010-04-27 | Avaya Inc. | Dynamic video equalization of images using face-tracking |
| US7460150B1 (en) | 2005-03-14 | 2008-12-02 | Avaya Inc. | Using gaze detection to determine an area of interest within a scene |
| EP1867175B1 (en) * | 2005-04-05 | 2012-08-15 | Thomson Licensing | Method for locally adjusting a quantization step |
| US7564476B1 (en) | 2005-05-13 | 2009-07-21 | Avaya Inc. | Prevent video calls based on appearance |
| US7796565B2 (en) * | 2005-06-08 | 2010-09-14 | Polycom, Inc. | Mixed voice and spread spectrum data signaling with multiplexing multiple users with CDMA |
| US8199791B2 (en) | 2005-06-08 | 2012-06-12 | Polycom, Inc. | Mixed voice and spread spectrum data signaling with enhanced concealment of data |
| US8126029B2 (en) | 2005-06-08 | 2012-02-28 | Polycom, Inc. | Voice interference correction for mixed voice and spread spectrum data signaling |
| WO2007063922A1 (ja) * | 2005-11-29 | 2007-06-07 | Kyocera Corporation | 通信端末および通信システム、並びに通信端末の表示方法 |
| US8812978B2 (en) * | 2005-12-22 | 2014-08-19 | Xerox Corporation | System and method for dynamic zoom to view documents on small displays |
| US7489772B2 (en) | 2005-12-30 | 2009-02-10 | Nokia Corporation | Network entity, method and computer program product for effectuating a conference session |
| US8165282B1 (en) | 2006-05-25 | 2012-04-24 | Avaya Inc. | Exploiting facial characteristics for improved agent selection |
| JP5181294B2 (ja) * | 2008-03-31 | 2013-04-10 | 富士フイルム株式会社 | 撮像システム、撮像方法、およびプログラム |
| JP4961582B2 (ja) * | 2008-04-07 | 2012-06-27 | 富士フイルム株式会社 | 画像処理システム、画像処理方法、およびプログラム |
| US8913668B2 (en) * | 2008-09-29 | 2014-12-16 | Microsoft Corporation | Perceptual mechanism for the selection of residues in video coders |
| US8457194B2 (en) * | 2008-09-29 | 2013-06-04 | Microsoft Corporation | Processing real-time video |
| CN101742324A (zh) * | 2008-11-14 | 2010-06-16 | 北京中星微电子有限公司 | 视频编解码方法、视频编解码系统及编解码器 |
| US20100188476A1 (en) * | 2009-01-29 | 2010-07-29 | Optical Fusion Inc. | Image Quality of Video Conferences |
| JP2014060577A (ja) * | 2012-09-18 | 2014-04-03 | Sony Corp | 通信端末、プログラムおよび情報処理装置 |
| US11798204B2 (en) * | 2022-03-02 | 2023-10-24 | Qualcomm Incorporated | Systems and methods of image processing based on gaze detection |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0330455A3 (en) * | 1988-02-22 | 1990-07-04 | Kabushiki Kaisha Toshiba | Image encoding apparatus |
| JPH07154763A (ja) * | 1993-11-26 | 1995-06-16 | Fujitsu Ltd | 在席テレビ会議装置 |
| JPH0818979A (ja) | 1994-06-27 | 1996-01-19 | Canon Inc | 画像処理装置 |
| US6343313B1 (en) * | 1996-03-26 | 2002-01-29 | Pixion, Inc. | Computer conferencing system with real-time multipoint, multi-speed, multi-stream scalability |
| US6181711B1 (en) * | 1997-06-26 | 2001-01-30 | Cisco Systems, Inc. | System and method for transporting a compressed video and data bit stream over a communication channel |
| US6285661B1 (en) * | 1998-01-28 | 2001-09-04 | Picturetel Corporation | Low delay real time digital video mixing for multipoint video conferencing |
| US6112233A (en) * | 1998-02-04 | 2000-08-29 | Intel Corporation | Saving and retrieving a message via a network server using an index page |
| JP3684525B2 (ja) * | 1998-02-19 | 2005-08-17 | 富士通株式会社 | 多画面合成方法及び多画面合成装置 |
| AUPP248498A0 (en) * | 1998-03-20 | 1998-04-23 | Canon Kabushiki Kaisha | A method and apparatus for encoding and decoding an image |
-
1998
- 1998-12-25 JP JP37147898A patent/JP4208315B2/ja not_active Expired - Fee Related
-
1999
- 1999-12-22 US US09/469,798 patent/US6744927B1/en not_active Expired - Fee Related
-
2004
- 2004-05-25 US US10/852,159 patent/US20040213474A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US6744927B1 (en) | 2004-06-01 |
| JP2000197043A (ja) | 2000-07-14 |
| US20040213474A1 (en) | 2004-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4208315B2 (ja) | データ通信制御装置及びその制御方法、データ通信システム、記録媒体 | |
| US7039675B1 (en) | Data communication control apparatus and method adapted to control distribution of data corresponding to various types of a plurality of terminals | |
| US6989868B2 (en) | Method of converting format of encoded video data and apparatus therefor | |
| US6014689A (en) | E-mail system with a video e-mail player | |
| KR0180543B1 (ko) | 화상통신장치 | |
| US8542266B2 (en) | Method and system for adapting a CP layout according to interaction between conferees | |
| JP2004506347A (ja) | 分散処理構造を有するパーソナル・テレビ会議システム | |
| US9020042B2 (en) | Audio/video speedup system and method in a server-client streaming architecture | |
| JP2002007294A (ja) | 画像配信システム及び方法並びに記憶媒体 | |
| JP2000013769A (ja) | 多点画像会議システム及びその具現方法 | |
| JP2002330440A (ja) | 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置 | |
| JPH10178639A (ja) | 画像コーデック部および画像データ符号化方法 | |
| US20060239572A1 (en) | Encoding device and method, decoding device and method, and program | |
| JP2000324463A (ja) | テレビ会議システム | |
| JPH1169330A (ja) | 留守録機能を備えた画像通信装置 | |
| JP2003061098A (ja) | 画像処理装置、画像処理方法、記録媒体及びプログラム | |
| JPH10322674A (ja) | テレビ会議システム | |
| JP2004297229A (ja) | 画像処理装置及びその方法並びにそれを用いた画像処理システム及びプログラム | |
| JPS62200883A (ja) | 電子会議システムにおける図形表示装置 | |
| JP4090293B2 (ja) | 動画像再生装置 | |
| KR0171381B1 (ko) | 다자간 데스크탑 영상회의를 위한 멀티미디어 보드 | |
| JPH11187372A (ja) | 多地点テレビ会議システム | |
| JP2000209592A (ja) | 画像伝送装置と方法及びシステムとその制御方法 | |
| JP3689511B2 (ja) | 撮像制御方法と装置及び撮像システム | |
| CN114938460A (zh) | 直播数据处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051220 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051220 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20051220 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20051220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071109 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071226 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080723 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080912 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081021 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |