JP3565115B2 - テレビ会議端末及びそれに用いる画像・音声再生方法 - Google Patents
テレビ会議端末及びそれに用いる画像・音声再生方法 Download PDFInfo
- Publication number
- JP3565115B2 JP3565115B2 JP31316899A JP31316899A JP3565115B2 JP 3565115 B2 JP3565115 B2 JP 3565115B2 JP 31316899 A JP31316899 A JP 31316899A JP 31316899 A JP31316899 A JP 31316899A JP 3565115 B2 JP3565115 B2 JP 3565115B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- audio
- marking signal
- marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Time-Division Multiplex Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はテレビ会議端末及びそれに用いる画像・音声再生方法に関し、特にテレビ会議端末における画像及び音声の再生方法に関する。
【０００２】
【従来の技術】
テレビ会議端末を使用して画像と音声とを送信する場合、それぞれの信号が圧縮及び伸長処理のために要する時間が異なるために、圧縮・伸長処理された後では画像と音声とのタイミングが原信号とは異なってしまう。
【０００３】
一般的には、画像の方が音声よりも処理量が多いことから、受信側では画像信号が音声信号よりも遅れて処理が終了する。その結果、音声に対して映像が遅れるといった不自然な再生が行われてしまう。
【０００４】
従来、この問題を回避するために、受信側で予め決められた何種類かの固定値から音声再生時の遅延量を選択する機能を持つテレビ会議端末が開発されている。この機能を有するテレビ会議端末を使用すれば、ある程度は画像と音声との再生タイミングを一致させることができる。
【０００５】
別の技術としては、動画圧縮方式の一つであるＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ２）の画像・音声同期方式がある。
【０００６】
ＭＰＥＧ−１（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐｐｈａｓｅ １）及びＭＰＥＧ−２方式（以下、ＭＰＥＧ方式とする）では、画像パケットと音声パケットとがそれぞれＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）と呼ばれるタイムスタンプを持っている。
【０００７】
ＰＴＳは送信時にビデオ・パケット及びオーディオ・パケットの先頭（パケット・ヘッダ）に付加され、受信側に伝送される。図６にＭＰＥＧ−２で画像及び音声がパケットに多重された状態を示す。画像パケット及び音声パケットの先頭にパケット・ヘッダがあり、このパケット・ヘッダにＰＴＳの値が格納されている。
【０００８】
一方、受信側には送信側と正確に同期したカウンタ（ＳＴＣ：Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）があって、デコーダは受信した画像及び音声のパケット・ヘッダに格納されたＰＴＳが受信機のＳＴＣと等しい値になった時に画像及び音声を再生する。
【０００９】
すなわち、受信側で同時に再生されるように、ＰＴＳの値（再生時刻）を送信時にセットしておけば、画像と音声とが同期した出力が得られる。尚、このＭＰＥＧ方式については、「最新ＭＰＥＧ教科書」（アスキー出版刊，１９９５年）に詳述されている。
【００１０】
【発明が解決しようとする課題】
上述した従来のテレビ会議端末では、画像と音声とを送信する場合、圧縮処理及び伸長処理に要する時間が入力信号の内容によって一定ではなく、遅延量が固定されている従来の方式では画像と音声との再生タイミングを常時一致させることはできないという問題がある。
【００１１】
また、ＭＰＥＧ方式で採用されたこの画像・音声の同期方式では、画像及び音声の再生タイミングを一致させることができるが、他方で以下のような問題がある。
【００１２】
まず、上記の画像・音声の同期方式では、同期再生のための情報量が大きいという問題がある。ＰＴＳの値は受信側での設定範囲が長く（２４時間以上）とられており、このためＰＴＳのデータ幅は４４ビットと大きい。したがって、回路規模が大きくなるとともに、ＰＴＳをヘッダに格納しているためにヘッダ長が大きくなる。
【００１３】
また、上記の画像・音声の同期方式では、ＭＰＥＧ専用方式であるという問題がある。ＰＴＳはＭＰＥＧ方式固有のパケットのヘッダに格納されるため、ＰＴＳを利用することができるのはＭＰＥＧ方式を用いたシステムだけであって、他の動画符号化方式との互換性がない。
【００１４】
そこで、本発明の目的は上記の問題点を解消し、ヘッダの情報を増やすことなく、また圧縮・伸長方式に依存することなく、画像と音声とが送信側と同じタイミングで再生される自然なテレビ会議を容易に実現することができるテレビ会議端末及びそれに用いる画像・音声再生方法を提供することにある。
【００１５】
【課題を解決するための手段】
本発明によるテレビ会議端末は、入力された画像及び音声の各アナログ信号を量子化する量子化手段と、前記量子化手段で量子化した前記画像及び音声の信号に対して予め設定されたマーキング信号を同時かつ周期的に付加するマーキング信号付加手段と、前記マーキング信号付加手段で前記マーキング信号が付加された信号を圧縮して送信する圧縮手段と、受信しかつ圧縮された信号を伸長する伸長手段と、前記伸長手段で伸長された前記画像及び音声の信号各々から前記マーキング信号を検出して前記画像及び音声の信号各々に付加されたマーキング信号の到着時間差を検出するマーキング信号検出手段と、前記伸長手段で伸長された前記画像及び音声の信号各々を前記画像及び音声のアナログ信号各々に再生する再生手段と、前記マーキング信号検出手段の検出結果に応じて前記再生手段で再生された前記画像及び音声のアナログ信号各々のうちの一方の出力を遅延して前記画像及び音声のアナログ信号各々を送信時と同一タイミングで出力する遅延手段とを備え、
前記マーキング信号付加手段は、前記量子化手段で量子化した前記画像及び音声の信号の一部のビットをマーキング信号と置換することで前記マーキング信号の付加を行い、
前記圧縮手段及び前記伸長手段は、前記マーキング信号が付加された信号の圧縮及び伸長処理に可逆なアルゴリズムを使用している。
【００１６】
本発明によるテレビ会議端末の画像・音声再生方法は、送信側において、入力された画像及び音声の各アナログ信号を量子化し、その量子化した前記画像及び音声の信号に対して予め設定されたマーキング信号を同時かつ周期的に付加し、このマーキング信号が付加された信号を圧縮して送信するとともに、
受信側において、受信しかつ圧縮された信号を伸長し、その伸長された前記画像及び音声の信号各々から前記マーキング信号を検出して前記画像及び音声の信号各々に付加されたマーキング信号の到着時間差を検出し、伸長された前記画像及び音声の信号各々から再生した前記画像及び音声のアナログ信号各々のうちのの一方の出力をこの検出結果に応じて遅延して前記画像及び音声のアナログ信号各々を送信時と同一タイミングで出力し、
前記マーキング信号の付加は、前記量子化手段で量子化した前記画像及び音声の信号の一部のビットをマーキング信号と置換することで行い、
前記マーキング信号が付加された信号の圧縮及び伸長処理に可逆なアルゴリズムを使用している。
【００１７】
すなわち、本発明のテレビ会議端末は、送信側の画像と音声との再生タイミングをつねに正確に一致させることで、受信側端末において、映像と音声とを送信時と同じタイミングで再生可能とすることを特徴とする。
【００１８】
より具体的に、本発明のテレビ会議端末では、カメラ等からのアナログ画像入力信号を画像Ａ／Ｄコンバータで量子化し、その後にマーキング信号付加回路を通して画像圧縮回路で伝送路の速度に応じた圧縮処理を受けた後、多重化回路で音声信号と多重化して伝送路に送出する。
【００１９】
一方、マイク等からのアナログ音声入力信号は音声Ａ／Ｄコンバータで量子化され、音声圧縮回路で圧縮され、多重化回路で画像信号と多重化された後に伝送路に送出される。画像圧縮回路及び音声圧縮回路は可逆な符号化アルゴリズムを用いて、量子化された画像及び音声信号を圧縮している。
【００２０】
受信側においては通信の相手方から伝送路を通じて受信した信号を分離回路で画像信号と音声信号とに分離し、画像信号を画像伸長回路、マーキング信号検出回路、及びＤ／Ａコンバータを通してアナログ画像出力信号として再生する。
【００２１】
同様に、音声信号も音声伸長回路及び音声Ｄ／Ａコンバータによってアナログ音声出力信号として再生される。画像伸長回路及び音声伸長回路は送信側と逆のアルゴリズムによって圧縮された信号を伸長する。
【００２２】
本発明のテレビ会議端末では、入力された画像及び音声の各アナログ信号がＡ／Ｄコンバータで量子化された直後、すなわち圧縮されるよりも前の段階において、画像及び音声のそれぞれの量子化された信号に対して、マーキング信号付加回路によって同時かつ周期的にマーキング信号が付加される。マーキング信号の付加は信号の一部のビットをマーキング信号と置換することで行われる。
【００２３】
ここで、信号の圧縮及び伸長処理に可逆なアルゴリズムを使用することによって、受信側において圧縮前の信号が完全に再現される。このため、送信側で付加されたマーキング信号を受信側のマーキング信号検出回路において検出し、画像信号に付加されたマーキング信号と音声信号に付加されたマーキング信号との到着時間差ｔを知ることができる。
【００２４】
その結果、画像信号及び音声信号のうち、先に到着した信号の出力を遅延回路において到着時間差ｔだけ遅らせることによって、画像と音声とを送信時と同じタイミングで再生することが可能になる。すなわち、画像及び音声信号の間で到着する時間に差があった場合でも、受信側テレビ会議端末では常に画像と音声とを送信時と同じタイミングで再生することが可能となる。
【００２５】
本発明の方式では、画像信号及び音声信号が量子化された直後あるいはアナログ化される直前にマーキング信号が処理されるので、可逆なアルゴリズムであれば圧縮・伸長方式に依存せずに音声と画像との同期再生機能を提供することが可能となる。
【００２６】
本発明に述べたテレビ会議端末では、長いタイムスタンプを使用する代わりに短いマーキング信号を画像信号及び音声信号に直接埋込むため、より少ない情報量で画像と音声との同期再生を行うことが可能となる。
【００２７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。図１は本発明の実施の形態によるテレビ会議端末の構成を示すブロック図である。図１において、テレビ会議端末１は画像Ａ／Ｄ（アナログ／ディジタル）コンバータ１１と、音声Ａ／Ｄコンバータ１２と、マーキング信号付加回路１３と、画像圧縮回路１４と、音声圧縮回路１５と、多重化回路１６と、分離回路１７と、画像伸長回路１８と、音声伸長回路１９と、マーキング信号検出回路２０と、画像Ｄ／Ａ（ディジタル／アナログ）コンバータ２１と、音声Ｄ／Ａコンバータ２２と、遅延回路２３とから構成されている。
【００２８】
送信側において、図示せぬカメラ等からのアナログ画像入力信号１０１は画像Ａ／Ｄコンバータ１１で量子化され、マーキング信号付加回路１３でマーキング信号が付加され、画像圧縮回路１４で伝送路１００の速度に応じた圧縮処理を受けた後、多重化回路１６で音声信号と多重化されて伝送路１００に送出される。
【００２９】
一方、図示せぬマイク等からのアナログ音声入力信号１０２は音声Ａ／Ｄコンバータ１２で量子化され、マーキング信号付加回路１３でマーキング信号が付加され、音声圧縮回路１５で圧縮された後、多重化回路１６で画像信号と多重化されて伝送路１００に送出される。
【００３０】
マーキング信号付加回路１３は画像Ａ／Ｄコンバータ１１及び音声Ａ／Ｄコンバータ１２でそれぞれ量子化された直後、すなわち圧縮されるよりも前の段階において、画像及び音声のそれぞれの量子化された信号に対して同時かつ周期的にマーキング信号を付加する。マーキング信号の付加は信号の一部のビットをマーキング信号と置換することで行われる。
【００３１】
画像圧縮回路１４及び音声圧縮回路１５はマーキング信号付加回路１３でマーキング信号が付加された信号を、つまり量子化された画像及び音声信号を可逆な符号化アルゴリズムを用いて圧縮している。
【００３２】
受信側において、通信の相手方から伝送路１００を通じて受信した信号は分離回路１７で画像信号と音声信号とに分離される。画像信号、つまり圧縮された信号は画像伸長回路１８で送信側と逆のアルゴリズムによって伸長され、マーキング信号検出回路２０を介して画像Ｄ／Ａコンバータ２１に入力され、画像Ｄ／Ａコンバータ２１でアナログ画像出力信号１０３として再生される。
【００３３】
音声信号は、画像信号と同様に、音声伸長回路１９で送信側と逆のアルゴリズムによって伸長され、マーキング信号検出回路２０を介して音声Ｄ／Ａコンバータ２２に入力され、音声Ｄ／Ａコンバータ２２でアナログ音声出力信号１０４として再生される。
【００３４】
本発明の実施の形態によるテレビ会議端末１では入力された画像及び音声の各アナログ信号が画像Ａ／Ｄコンバータ１１及び音声Ａ／Ｄコンバータ１２で量子化された直後、すなわち圧縮されるよりも前の段階において、画像及び音声のそれぞれの量子化された信号に対してマーキング信号付加回路１３によって同時かつ周期的にマーキング信号が付加される。
【００３５】
マーキング信号の付加は信号の一部のビットをマーキング信号と置換することで行われる。ここで、信号の圧縮及び伸長処理に可逆なアルゴリズムを使用することによって、受信側において圧縮前の信号が完全に再現される。
【００３６】
このため、送信側で付加されたマーキング信号を、受信側のマーキング信号検出回路２０において検出し、画像信号に付加されたマーキング信号と音声信号に付加されたマーキング信号との到着時間差ｔを知ることができる。その結果、画像信号及び音声信号のうち、先に到着した信号の出力を遅延回路２３において到着時間差ｔだけ遅らせることによって、画像と音声とを送信時と同じタイミングで再生することが可能になる。
【００３７】
すなわち、画像及び音声信号の間で到着する時間に差があった場合でも、受信側のテレビ会議端末１では常に画像と音声とを送信時と同じタイミングで再生することが可能となる。
【００３８】
本発明の実施の形態によるテレビ会議端末１では、画像信号及び音声信号が量子化された直後あるいはアナログ化される直前にマーキング信号が処理されるので、可逆なアルゴリズムであれば圧縮・伸長方式に依存せずに音声と画像との同期再生機能を提供することができる。
【００３９】
本発明の実施の形態によるテレビ会議端末１では、長いタイムスタンプを使用する代わりに短いマーキング信号を画像信号及び音声信号に直接埋込むため、より少ない情報量で画像と音声との同期再生を行うことができる。
【００４０】
続いて、本発明の実施例について図面を参照して説明する。図２は本発明の一実施例によるテレビ会議端末の構成を示すブロック図である。図２において、テレビ会議端末３は画像コーデック３１と、音声コーデック３２と、マーキング回路３３と、多重化回路３４、分離回路３５と、音声遅延回路３６とから構成されている。
【００４１】
画像コーデック３１は画像入力２０１を量子化・圧縮し、受信した画像信号を伸長・アナログ化して画像出力２０２として出力する。音声コーデック３２は音声入力２０３を量子化・圧縮し、受信した音声信号を伸長・アナログ化して音声出力２０４として出力する。
【００４２】
マーキング回路３３は符号化した画像及び音声信号にマーキング信号を送出し、かつ受信した画像信号及び音声信号から検出したマーキング信号を処理する。多重化回路３４は画像コーデック３１及び音声コーデック３２の出力を多重化して伝送路２００に送出する。分離回路３５は伝送路２００から受信した信号を画像信号と音声信号とに分離する。音声遅延回路３６はマーキング回路３３の指示にしたがって音声信号の出力を遅延させる。
【００４３】
図３は図２の画像コーデック３１及び音声コーデック３２の構成を示すブロック図である。図３においては、共通な回路構成をとる画像コーデック３１及び音声コーデック３２の内部構成を示している。
【００４４】
コーデック４はＡ／Ｄコンバータ４１と、マーキング信号付加回路４２と、圧縮回路４３と、伸長回路４４と、マーキング信号検出回路４５と、Ｄ／Ａコンバータ４６とから構成されている。
【００４５】
圧縮回路４３及び伸長回路４４は可逆なアルゴリズムによって処理を行う。マーキング信号付加回路４２及びマーキング信号検出回路４５は図２に示すマーキング回路３３に接続されている。マーキング回路３３の出力は音声コーデック３２の出力に接続された音声遅延回路３６を制御する。
【００４６】
図４は本発明の一実施例において送信側及び受信側で授受される信号の構成を示す図である。図４において、送信側及び受信側で授受される信号はディジタル化されたデータとマーキング信号とからなり、マーキング信号には通常時に“０”が、時刻Ｔ毎に“１”が付加される。
【００４７】
これら図２〜図４を参照して本発明の一実施例によるテレビ会議端末３の動作について説明する。まず、送信側での処理について説明する。図示せぬカメラ及びマイクからテレビ会議端末３に入力されたアナログ画像入力信号２０１及びアナログ音声入力信号２０３は画像コーデック３１及び音声コーデック３２内にあるＡ／Ｄコンバータ４１で量子化された後、それぞれマーキング回路３３によってマーキング信号が付加される。
【００４８】
マーキング信号は再生時に画像信号の音声信号に対する遅れを測定するために用いられる。本実施例において、マーキング信号は１ビットのディジタル信号であって、通常は“０”挿入されるが、ある一定時間Ｔ（例えば、５０ミリ秒）毎に“１”が挿入される。
【００４９】
マーキング信号付加回路４２においてはＡ／Ｄコンバータ４１で量子化された画像信号及び音声信号のデータの一部がこのマーキング信号に置換される。この置換処理によって、本来の画像信号及び音声信号の情報が大きく損なわれることがないように、置換するビットは量子化された信号の下位ビットとしている。
【００５０】
例えば、図４に示すように、８ビットで量子化したデータに対しては最下位の８ビット目をこのマーキング信号で置換し、上位７ビットのデータはそのまま伝送する。
【００５１】
マーキング信号を付加された画像信号及び音声信号は、画像コーデック３１及び音声コーデック３２の内部で可逆なアルゴリズムによって圧縮処理を受ける。可逆なアルゴリズムの例としては、ハフマン符号等を用いる「可変長符号化方式」や、ＭＨ符号（Ｍｏｄｉｆｉｅｄ Ｈｕｆｆｍａｎ ｃｏｄｅ）等を用いる「ランレングス符号化方式」がある。
【００５２】
次に、受信側の処理について説明する。伝送路２００から受信された信号は分離回路３５で画像信号と音声信号とに分離された後、各々画像コーデック３１及び音声コーデック３２の内部で伸長処理を受ける。
【００５３】
上述したように、可逆な圧縮アルゴリズムを用いているので、伸長処理後にはマーキング信号を含めて圧縮する前のビット列が完全に復元される。この後、マーキング信号検出回路４５は各コーデック内部のＤ／Ａコンバータ４６においてアナログ信号に復号される前に、画像及び音声データの下位１ビットを監視し、マーキング信号である“１”を検出する。
【００５４】
一般に、信号の圧縮及び伸長処理に要する時間は音声信号よりも画像信号の方が大きい。このため、画像信号は音声信号よりも遅れていると考えてよい。したがって、音声信号からマーキング信号“１”を検出した時点でタイマ（図示せず）をスタートさせ、その後に画像信号からマーキング信号“１”を検出した時のタイマの値をｔとすると、画像信号は音声信号からｔだけ遅れて伝送されてきたことがわかる。
【００５５】
そこで、音声コーデック３２の再生側の出力に接続されている音声遅延回路３６に対して、マーキング回路３３から音声出力をｔだけ遅延させて出力するように制御することによって、音声に対して画像が遅れることなく出力されるため、臨場感の高いテレビ会議が実現可能となる。
【００５６】
このように、画像信号及び音声信号の量子化直後に付加したマーキング信号の到着時間差ｔを受信側で測定することによって、画像信号及び音声信号の両信号間の到着時間差ｔを受信側で把握し、画像信号と音声信号とを送信時と同一のタイミングで再生することが可能である。これによって、臨場感の高いテレビ会議を行うことができる。
【００５７】
図５は本発明の他の実施例において送信側及び受信側で授受される信号の構成を示す図である。図５では、送信側及び受信側で授受される信号にマーキング信号の置換パターンについて、本発明の一実施例よりもさらに工夫した実施例を示している。
【００５８】
尚、本発明の他の実施例で用いるテレビ会議端末は上記の図２に示す本発明の一実施例によるテレビ会議端末３と同様の構成であり、マーキング信号の付加方法のみが異なっている。
【００５９】
マーキング回路３３は送信時に画像及び音声信号のＡ／Ｄコンバータ４１の出力の下位２ビットに通常“００”、一定時間Ｔ毎、すなわち時刻Ｔ１に“０１”、Ｔ１＋Ｔに“１０”、Ｔ１＋２Ｔに“１１”を順に挿入する。時刻Ｔ１＋３Ｔには、再びマーキング信号が“０１”となって、同じ挿入サイクルを繰り返す。この様子を図５に示す。
【００６０】
マーキング回路３３は受信時に音声信号及び画像信号から“０１”，“１０”，“１１”のパターンを検出し、それぞれの間の遅れ時間を上記と同様にして計算する。
【００６１】
上述したように、マーキング信号を３種類用意することによって、同一のマーキング信号が３周期毎にのみ出現するようにすることができる。１種類のマーキング信号のみを使用する場合、１周期後には同一のマーキング信号が出現するため、挿入周期以上の遅延を正確に測定することはできない。
【００６２】
一方、マーキング信号の挿入周期を長くすると、遅延時間Ｔが更新される間隔も長くなり、短時間の遅延時間の変化への追随が困難になる。しかるに、複数のマーキング信号を用いるこの方式では、遅延時間測定の周期を延ばすことによる追随性を損なうことなく、画像信号がマーキング信号の挿入周期以上に遅れた場合でも正確に画像信号の遅延量を知ることができる。
【００６３】
また、上記の実施例のさらなる拡張として、マーキング信号を３ビットあるいはそれ以上使用してもよい。一般に、ｎビット（ｎは正の整数）をマーキング信号に割り当てると、（２ｎ −１）個のマーキング信号を使用することができる。ここで、マーキング信号の挿入間隔をＴとすると、（２ｎ −１）×Ｔの遅れまでを検出することができる。
【００６４】
マーキング信号に多くのビット数を割り当てると、原信号の情報がそれだけ失われるため、マーキング信号のビット数は画像及び音声信号の量子化ビット数とデータの一部とをマーキング信号で置き換えることによる画質劣化許容量及び要求される遅延検出の性能との兼ね合いで決定するのがよい。
【００６５】
【発明の効果】
以上説明したように本発明によれば、送信側において、入力された画像及び音声の各アナログ信号を量子化し、その量子化した前記画像及び音声の信号に対して予め設定されたマーキング信号を同時かつ周期的に付加し、このマーキング信号が付加された信号を圧縮して送信するとともに、受信側において、受信した信号を伸長し、その伸長した信号からマーキング信号を検出して画像及び音声の信号各々に付加されたマーキング信号の到着時間差を検出し、伸長された信号から再生した画像及び音声の各アナログ信号の一方の出力をこの検出結果に応じて遅延することによって、ヘッダの情報を増やすことなく、また圧縮・伸長方式に依存することなく、画像と音声とが送信側と同じタイミングで再生される自然なテレビ会議を容易に実現することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態によるテレビ会議端末の構成を示すブロック図である。
【図２】本発明の一実施例によるテレビ会議端末の構成を示すブロック図である。
【図３】図２の画像コーデック及び音声コーデックの構成を示すブロック図である。
【図４】本発明の一実施例において送信側及び受信側で授受される信号の構成を示す図である。
【図５】本発明の他の実施例において送信側及び受信側で授受される信号の構成を示す図である。
【図６】従来例において送信側及び受信側で授受される信号の構成を示す図である。
【符号の説明】
１，３ テレビ会議端末
４ コーデック
１１ 画像Ａ／Ｄコンバータ
１２ 音声Ａ／Ｄコンバータ
１３，４２ マーキング信号付加回路
１４ 画像圧縮回路
１５ 音声圧縮回路
１６，３４ 多重化回路
１７，３５ 分離回路
１８ 画像伸長回路
１９ 音声伸長回路
２０，４５ マーキング信号検出回路
２１ 画像Ｄ／Ａコンバータ
２２ 音声Ｄ／Ａコンバータ
２３ 遅延回路
３１ 画像コーデック
３２ 音声コーデック
３３ マーキング回路
３６ 音声遅延回路
４１ Ａ／Ｄコンバータ
４３ 圧縮回路
４４ 伸長回路
４６ Ｄ／Ａコンバータ
１００，２００ 伝送路
【発明の属する技術分野】
本発明はテレビ会議端末及びそれに用いる画像・音声再生方法に関し、特にテレビ会議端末における画像及び音声の再生方法に関する。
【０００２】
【従来の技術】
テレビ会議端末を使用して画像と音声とを送信する場合、それぞれの信号が圧縮及び伸長処理のために要する時間が異なるために、圧縮・伸長処理された後では画像と音声とのタイミングが原信号とは異なってしまう。
【０００３】
一般的には、画像の方が音声よりも処理量が多いことから、受信側では画像信号が音声信号よりも遅れて処理が終了する。その結果、音声に対して映像が遅れるといった不自然な再生が行われてしまう。
【０００４】
従来、この問題を回避するために、受信側で予め決められた何種類かの固定値から音声再生時の遅延量を選択する機能を持つテレビ会議端末が開発されている。この機能を有するテレビ会議端末を使用すれば、ある程度は画像と音声との再生タイミングを一致させることができる。
【０００５】
別の技術としては、動画圧縮方式の一つであるＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ２）の画像・音声同期方式がある。
【０００６】
ＭＰＥＧ−１（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐｐｈａｓｅ １）及びＭＰＥＧ−２方式（以下、ＭＰＥＧ方式とする）では、画像パケットと音声パケットとがそれぞれＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）と呼ばれるタイムスタンプを持っている。
【０００７】
ＰＴＳは送信時にビデオ・パケット及びオーディオ・パケットの先頭（パケット・ヘッダ）に付加され、受信側に伝送される。図６にＭＰＥＧ−２で画像及び音声がパケットに多重された状態を示す。画像パケット及び音声パケットの先頭にパケット・ヘッダがあり、このパケット・ヘッダにＰＴＳの値が格納されている。
【０００８】
一方、受信側には送信側と正確に同期したカウンタ（ＳＴＣ：Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）があって、デコーダは受信した画像及び音声のパケット・ヘッダに格納されたＰＴＳが受信機のＳＴＣと等しい値になった時に画像及び音声を再生する。
【０００９】
すなわち、受信側で同時に再生されるように、ＰＴＳの値（再生時刻）を送信時にセットしておけば、画像と音声とが同期した出力が得られる。尚、このＭＰＥＧ方式については、「最新ＭＰＥＧ教科書」（アスキー出版刊，１９９５年）に詳述されている。
【００１０】
【発明が解決しようとする課題】
上述した従来のテレビ会議端末では、画像と音声とを送信する場合、圧縮処理及び伸長処理に要する時間が入力信号の内容によって一定ではなく、遅延量が固定されている従来の方式では画像と音声との再生タイミングを常時一致させることはできないという問題がある。
【００１１】
また、ＭＰＥＧ方式で採用されたこの画像・音声の同期方式では、画像及び音声の再生タイミングを一致させることができるが、他方で以下のような問題がある。
【００１２】
まず、上記の画像・音声の同期方式では、同期再生のための情報量が大きいという問題がある。ＰＴＳの値は受信側での設定範囲が長く（２４時間以上）とられており、このためＰＴＳのデータ幅は４４ビットと大きい。したがって、回路規模が大きくなるとともに、ＰＴＳをヘッダに格納しているためにヘッダ長が大きくなる。
【００１３】
また、上記の画像・音声の同期方式では、ＭＰＥＧ専用方式であるという問題がある。ＰＴＳはＭＰＥＧ方式固有のパケットのヘッダに格納されるため、ＰＴＳを利用することができるのはＭＰＥＧ方式を用いたシステムだけであって、他の動画符号化方式との互換性がない。
【００１４】
そこで、本発明の目的は上記の問題点を解消し、ヘッダの情報を増やすことなく、また圧縮・伸長方式に依存することなく、画像と音声とが送信側と同じタイミングで再生される自然なテレビ会議を容易に実現することができるテレビ会議端末及びそれに用いる画像・音声再生方法を提供することにある。
【００１５】
【課題を解決するための手段】
本発明によるテレビ会議端末は、入力された画像及び音声の各アナログ信号を量子化する量子化手段と、前記量子化手段で量子化した前記画像及び音声の信号に対して予め設定されたマーキング信号を同時かつ周期的に付加するマーキング信号付加手段と、前記マーキング信号付加手段で前記マーキング信号が付加された信号を圧縮して送信する圧縮手段と、受信しかつ圧縮された信号を伸長する伸長手段と、前記伸長手段で伸長された前記画像及び音声の信号各々から前記マーキング信号を検出して前記画像及び音声の信号各々に付加されたマーキング信号の到着時間差を検出するマーキング信号検出手段と、前記伸長手段で伸長された前記画像及び音声の信号各々を前記画像及び音声のアナログ信号各々に再生する再生手段と、前記マーキング信号検出手段の検出結果に応じて前記再生手段で再生された前記画像及び音声のアナログ信号各々のうちの一方の出力を遅延して前記画像及び音声のアナログ信号各々を送信時と同一タイミングで出力する遅延手段とを備え、
前記マーキング信号付加手段は、前記量子化手段で量子化した前記画像及び音声の信号の一部のビットをマーキング信号と置換することで前記マーキング信号の付加を行い、
前記圧縮手段及び前記伸長手段は、前記マーキング信号が付加された信号の圧縮及び伸長処理に可逆なアルゴリズムを使用している。
【００１６】
本発明によるテレビ会議端末の画像・音声再生方法は、送信側において、入力された画像及び音声の各アナログ信号を量子化し、その量子化した前記画像及び音声の信号に対して予め設定されたマーキング信号を同時かつ周期的に付加し、このマーキング信号が付加された信号を圧縮して送信するとともに、
受信側において、受信しかつ圧縮された信号を伸長し、その伸長された前記画像及び音声の信号各々から前記マーキング信号を検出して前記画像及び音声の信号各々に付加されたマーキング信号の到着時間差を検出し、伸長された前記画像及び音声の信号各々から再生した前記画像及び音声のアナログ信号各々のうちのの一方の出力をこの検出結果に応じて遅延して前記画像及び音声のアナログ信号各々を送信時と同一タイミングで出力し、
前記マーキング信号の付加は、前記量子化手段で量子化した前記画像及び音声の信号の一部のビットをマーキング信号と置換することで行い、
前記マーキング信号が付加された信号の圧縮及び伸長処理に可逆なアルゴリズムを使用している。
【００１７】
すなわち、本発明のテレビ会議端末は、送信側の画像と音声との再生タイミングをつねに正確に一致させることで、受信側端末において、映像と音声とを送信時と同じタイミングで再生可能とすることを特徴とする。
【００１８】
より具体的に、本発明のテレビ会議端末では、カメラ等からのアナログ画像入力信号を画像Ａ／Ｄコンバータで量子化し、その後にマーキング信号付加回路を通して画像圧縮回路で伝送路の速度に応じた圧縮処理を受けた後、多重化回路で音声信号と多重化して伝送路に送出する。
【００１９】
一方、マイク等からのアナログ音声入力信号は音声Ａ／Ｄコンバータで量子化され、音声圧縮回路で圧縮され、多重化回路で画像信号と多重化された後に伝送路に送出される。画像圧縮回路及び音声圧縮回路は可逆な符号化アルゴリズムを用いて、量子化された画像及び音声信号を圧縮している。
【００２０】
受信側においては通信の相手方から伝送路を通じて受信した信号を分離回路で画像信号と音声信号とに分離し、画像信号を画像伸長回路、マーキング信号検出回路、及びＤ／Ａコンバータを通してアナログ画像出力信号として再生する。
【００２１】
同様に、音声信号も音声伸長回路及び音声Ｄ／Ａコンバータによってアナログ音声出力信号として再生される。画像伸長回路及び音声伸長回路は送信側と逆のアルゴリズムによって圧縮された信号を伸長する。
【００２２】
本発明のテレビ会議端末では、入力された画像及び音声の各アナログ信号がＡ／Ｄコンバータで量子化された直後、すなわち圧縮されるよりも前の段階において、画像及び音声のそれぞれの量子化された信号に対して、マーキング信号付加回路によって同時かつ周期的にマーキング信号が付加される。マーキング信号の付加は信号の一部のビットをマーキング信号と置換することで行われる。
【００２３】
ここで、信号の圧縮及び伸長処理に可逆なアルゴリズムを使用することによって、受信側において圧縮前の信号が完全に再現される。このため、送信側で付加されたマーキング信号を受信側のマーキング信号検出回路において検出し、画像信号に付加されたマーキング信号と音声信号に付加されたマーキング信号との到着時間差ｔを知ることができる。
【００２４】
その結果、画像信号及び音声信号のうち、先に到着した信号の出力を遅延回路において到着時間差ｔだけ遅らせることによって、画像と音声とを送信時と同じタイミングで再生することが可能になる。すなわち、画像及び音声信号の間で到着する時間に差があった場合でも、受信側テレビ会議端末では常に画像と音声とを送信時と同じタイミングで再生することが可能となる。
【００２５】
本発明の方式では、画像信号及び音声信号が量子化された直後あるいはアナログ化される直前にマーキング信号が処理されるので、可逆なアルゴリズムであれば圧縮・伸長方式に依存せずに音声と画像との同期再生機能を提供することが可能となる。
【００２６】
本発明に述べたテレビ会議端末では、長いタイムスタンプを使用する代わりに短いマーキング信号を画像信号及び音声信号に直接埋込むため、より少ない情報量で画像と音声との同期再生を行うことが可能となる。
【００２７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。図１は本発明の実施の形態によるテレビ会議端末の構成を示すブロック図である。図１において、テレビ会議端末１は画像Ａ／Ｄ（アナログ／ディジタル）コンバータ１１と、音声Ａ／Ｄコンバータ１２と、マーキング信号付加回路１３と、画像圧縮回路１４と、音声圧縮回路１５と、多重化回路１６と、分離回路１７と、画像伸長回路１８と、音声伸長回路１９と、マーキング信号検出回路２０と、画像Ｄ／Ａ（ディジタル／アナログ）コンバータ２１と、音声Ｄ／Ａコンバータ２２と、遅延回路２３とから構成されている。
【００２８】
送信側において、図示せぬカメラ等からのアナログ画像入力信号１０１は画像Ａ／Ｄコンバータ１１で量子化され、マーキング信号付加回路１３でマーキング信号が付加され、画像圧縮回路１４で伝送路１００の速度に応じた圧縮処理を受けた後、多重化回路１６で音声信号と多重化されて伝送路１００に送出される。
【００２９】
一方、図示せぬマイク等からのアナログ音声入力信号１０２は音声Ａ／Ｄコンバータ１２で量子化され、マーキング信号付加回路１３でマーキング信号が付加され、音声圧縮回路１５で圧縮された後、多重化回路１６で画像信号と多重化されて伝送路１００に送出される。
【００３０】
マーキング信号付加回路１３は画像Ａ／Ｄコンバータ１１及び音声Ａ／Ｄコンバータ１２でそれぞれ量子化された直後、すなわち圧縮されるよりも前の段階において、画像及び音声のそれぞれの量子化された信号に対して同時かつ周期的にマーキング信号を付加する。マーキング信号の付加は信号の一部のビットをマーキング信号と置換することで行われる。
【００３１】
画像圧縮回路１４及び音声圧縮回路１５はマーキング信号付加回路１３でマーキング信号が付加された信号を、つまり量子化された画像及び音声信号を可逆な符号化アルゴリズムを用いて圧縮している。
【００３２】
受信側において、通信の相手方から伝送路１００を通じて受信した信号は分離回路１７で画像信号と音声信号とに分離される。画像信号、つまり圧縮された信号は画像伸長回路１８で送信側と逆のアルゴリズムによって伸長され、マーキング信号検出回路２０を介して画像Ｄ／Ａコンバータ２１に入力され、画像Ｄ／Ａコンバータ２１でアナログ画像出力信号１０３として再生される。
【００３３】
音声信号は、画像信号と同様に、音声伸長回路１９で送信側と逆のアルゴリズムによって伸長され、マーキング信号検出回路２０を介して音声Ｄ／Ａコンバータ２２に入力され、音声Ｄ／Ａコンバータ２２でアナログ音声出力信号１０４として再生される。
【００３４】
本発明の実施の形態によるテレビ会議端末１では入力された画像及び音声の各アナログ信号が画像Ａ／Ｄコンバータ１１及び音声Ａ／Ｄコンバータ１２で量子化された直後、すなわち圧縮されるよりも前の段階において、画像及び音声のそれぞれの量子化された信号に対してマーキング信号付加回路１３によって同時かつ周期的にマーキング信号が付加される。
【００３５】
マーキング信号の付加は信号の一部のビットをマーキング信号と置換することで行われる。ここで、信号の圧縮及び伸長処理に可逆なアルゴリズムを使用することによって、受信側において圧縮前の信号が完全に再現される。
【００３６】
このため、送信側で付加されたマーキング信号を、受信側のマーキング信号検出回路２０において検出し、画像信号に付加されたマーキング信号と音声信号に付加されたマーキング信号との到着時間差ｔを知ることができる。その結果、画像信号及び音声信号のうち、先に到着した信号の出力を遅延回路２３において到着時間差ｔだけ遅らせることによって、画像と音声とを送信時と同じタイミングで再生することが可能になる。
【００３７】
すなわち、画像及び音声信号の間で到着する時間に差があった場合でも、受信側のテレビ会議端末１では常に画像と音声とを送信時と同じタイミングで再生することが可能となる。
【００３８】
本発明の実施の形態によるテレビ会議端末１では、画像信号及び音声信号が量子化された直後あるいはアナログ化される直前にマーキング信号が処理されるので、可逆なアルゴリズムであれば圧縮・伸長方式に依存せずに音声と画像との同期再生機能を提供することができる。
【００３９】
本発明の実施の形態によるテレビ会議端末１では、長いタイムスタンプを使用する代わりに短いマーキング信号を画像信号及び音声信号に直接埋込むため、より少ない情報量で画像と音声との同期再生を行うことができる。
【００４０】
続いて、本発明の実施例について図面を参照して説明する。図２は本発明の一実施例によるテレビ会議端末の構成を示すブロック図である。図２において、テレビ会議端末３は画像コーデック３１と、音声コーデック３２と、マーキング回路３３と、多重化回路３４、分離回路３５と、音声遅延回路３６とから構成されている。
【００４１】
画像コーデック３１は画像入力２０１を量子化・圧縮し、受信した画像信号を伸長・アナログ化して画像出力２０２として出力する。音声コーデック３２は音声入力２０３を量子化・圧縮し、受信した音声信号を伸長・アナログ化して音声出力２０４として出力する。
【００４２】
マーキング回路３３は符号化した画像及び音声信号にマーキング信号を送出し、かつ受信した画像信号及び音声信号から検出したマーキング信号を処理する。多重化回路３４は画像コーデック３１及び音声コーデック３２の出力を多重化して伝送路２００に送出する。分離回路３５は伝送路２００から受信した信号を画像信号と音声信号とに分離する。音声遅延回路３６はマーキング回路３３の指示にしたがって音声信号の出力を遅延させる。
【００４３】
図３は図２の画像コーデック３１及び音声コーデック３２の構成を示すブロック図である。図３においては、共通な回路構成をとる画像コーデック３１及び音声コーデック３２の内部構成を示している。
【００４４】
コーデック４はＡ／Ｄコンバータ４１と、マーキング信号付加回路４２と、圧縮回路４３と、伸長回路４４と、マーキング信号検出回路４５と、Ｄ／Ａコンバータ４６とから構成されている。
【００４５】
圧縮回路４３及び伸長回路４４は可逆なアルゴリズムによって処理を行う。マーキング信号付加回路４２及びマーキング信号検出回路４５は図２に示すマーキング回路３３に接続されている。マーキング回路３３の出力は音声コーデック３２の出力に接続された音声遅延回路３６を制御する。
【００４６】
図４は本発明の一実施例において送信側及び受信側で授受される信号の構成を示す図である。図４において、送信側及び受信側で授受される信号はディジタル化されたデータとマーキング信号とからなり、マーキング信号には通常時に“０”が、時刻Ｔ毎に“１”が付加される。
【００４７】
これら図２〜図４を参照して本発明の一実施例によるテレビ会議端末３の動作について説明する。まず、送信側での処理について説明する。図示せぬカメラ及びマイクからテレビ会議端末３に入力されたアナログ画像入力信号２０１及びアナログ音声入力信号２０３は画像コーデック３１及び音声コーデック３２内にあるＡ／Ｄコンバータ４１で量子化された後、それぞれマーキング回路３３によってマーキング信号が付加される。
【００４８】
マーキング信号は再生時に画像信号の音声信号に対する遅れを測定するために用いられる。本実施例において、マーキング信号は１ビットのディジタル信号であって、通常は“０”挿入されるが、ある一定時間Ｔ（例えば、５０ミリ秒）毎に“１”が挿入される。
【００４９】
マーキング信号付加回路４２においてはＡ／Ｄコンバータ４１で量子化された画像信号及び音声信号のデータの一部がこのマーキング信号に置換される。この置換処理によって、本来の画像信号及び音声信号の情報が大きく損なわれることがないように、置換するビットは量子化された信号の下位ビットとしている。
【００５０】
例えば、図４に示すように、８ビットで量子化したデータに対しては最下位の８ビット目をこのマーキング信号で置換し、上位７ビットのデータはそのまま伝送する。
【００５１】
マーキング信号を付加された画像信号及び音声信号は、画像コーデック３１及び音声コーデック３２の内部で可逆なアルゴリズムによって圧縮処理を受ける。可逆なアルゴリズムの例としては、ハフマン符号等を用いる「可変長符号化方式」や、ＭＨ符号（Ｍｏｄｉｆｉｅｄ Ｈｕｆｆｍａｎ ｃｏｄｅ）等を用いる「ランレングス符号化方式」がある。
【００５２】
次に、受信側の処理について説明する。伝送路２００から受信された信号は分離回路３５で画像信号と音声信号とに分離された後、各々画像コーデック３１及び音声コーデック３２の内部で伸長処理を受ける。
【００５３】
上述したように、可逆な圧縮アルゴリズムを用いているので、伸長処理後にはマーキング信号を含めて圧縮する前のビット列が完全に復元される。この後、マーキング信号検出回路４５は各コーデック内部のＤ／Ａコンバータ４６においてアナログ信号に復号される前に、画像及び音声データの下位１ビットを監視し、マーキング信号である“１”を検出する。
【００５４】
一般に、信号の圧縮及び伸長処理に要する時間は音声信号よりも画像信号の方が大きい。このため、画像信号は音声信号よりも遅れていると考えてよい。したがって、音声信号からマーキング信号“１”を検出した時点でタイマ（図示せず）をスタートさせ、その後に画像信号からマーキング信号“１”を検出した時のタイマの値をｔとすると、画像信号は音声信号からｔだけ遅れて伝送されてきたことがわかる。
【００５５】
そこで、音声コーデック３２の再生側の出力に接続されている音声遅延回路３６に対して、マーキング回路３３から音声出力をｔだけ遅延させて出力するように制御することによって、音声に対して画像が遅れることなく出力されるため、臨場感の高いテレビ会議が実現可能となる。
【００５６】
このように、画像信号及び音声信号の量子化直後に付加したマーキング信号の到着時間差ｔを受信側で測定することによって、画像信号及び音声信号の両信号間の到着時間差ｔを受信側で把握し、画像信号と音声信号とを送信時と同一のタイミングで再生することが可能である。これによって、臨場感の高いテレビ会議を行うことができる。
【００５７】
図５は本発明の他の実施例において送信側及び受信側で授受される信号の構成を示す図である。図５では、送信側及び受信側で授受される信号にマーキング信号の置換パターンについて、本発明の一実施例よりもさらに工夫した実施例を示している。
【００５８】
尚、本発明の他の実施例で用いるテレビ会議端末は上記の図２に示す本発明の一実施例によるテレビ会議端末３と同様の構成であり、マーキング信号の付加方法のみが異なっている。
【００５９】
マーキング回路３３は送信時に画像及び音声信号のＡ／Ｄコンバータ４１の出力の下位２ビットに通常“００”、一定時間Ｔ毎、すなわち時刻Ｔ１に“０１”、Ｔ１＋Ｔに“１０”、Ｔ１＋２Ｔに“１１”を順に挿入する。時刻Ｔ１＋３Ｔには、再びマーキング信号が“０１”となって、同じ挿入サイクルを繰り返す。この様子を図５に示す。
【００６０】
マーキング回路３３は受信時に音声信号及び画像信号から“０１”，“１０”，“１１”のパターンを検出し、それぞれの間の遅れ時間を上記と同様にして計算する。
【００６１】
上述したように、マーキング信号を３種類用意することによって、同一のマーキング信号が３周期毎にのみ出現するようにすることができる。１種類のマーキング信号のみを使用する場合、１周期後には同一のマーキング信号が出現するため、挿入周期以上の遅延を正確に測定することはできない。
【００６２】
一方、マーキング信号の挿入周期を長くすると、遅延時間Ｔが更新される間隔も長くなり、短時間の遅延時間の変化への追随が困難になる。しかるに、複数のマーキング信号を用いるこの方式では、遅延時間測定の周期を延ばすことによる追随性を損なうことなく、画像信号がマーキング信号の挿入周期以上に遅れた場合でも正確に画像信号の遅延量を知ることができる。
【００６３】
また、上記の実施例のさらなる拡張として、マーキング信号を３ビットあるいはそれ以上使用してもよい。一般に、ｎビット（ｎは正の整数）をマーキング信号に割り当てると、（２ｎ −１）個のマーキング信号を使用することができる。ここで、マーキング信号の挿入間隔をＴとすると、（２ｎ −１）×Ｔの遅れまでを検出することができる。
【００６４】
マーキング信号に多くのビット数を割り当てると、原信号の情報がそれだけ失われるため、マーキング信号のビット数は画像及び音声信号の量子化ビット数とデータの一部とをマーキング信号で置き換えることによる画質劣化許容量及び要求される遅延検出の性能との兼ね合いで決定するのがよい。
【００６５】
【発明の効果】
以上説明したように本発明によれば、送信側において、入力された画像及び音声の各アナログ信号を量子化し、その量子化した前記画像及び音声の信号に対して予め設定されたマーキング信号を同時かつ周期的に付加し、このマーキング信号が付加された信号を圧縮して送信するとともに、受信側において、受信した信号を伸長し、その伸長した信号からマーキング信号を検出して画像及び音声の信号各々に付加されたマーキング信号の到着時間差を検出し、伸長された信号から再生した画像及び音声の各アナログ信号の一方の出力をこの検出結果に応じて遅延することによって、ヘッダの情報を増やすことなく、また圧縮・伸長方式に依存することなく、画像と音声とが送信側と同じタイミングで再生される自然なテレビ会議を容易に実現することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態によるテレビ会議端末の構成を示すブロック図である。
【図２】本発明の一実施例によるテレビ会議端末の構成を示すブロック図である。
【図３】図２の画像コーデック及び音声コーデックの構成を示すブロック図である。
【図４】本発明の一実施例において送信側及び受信側で授受される信号の構成を示す図である。
【図５】本発明の他の実施例において送信側及び受信側で授受される信号の構成を示す図である。
【図６】従来例において送信側及び受信側で授受される信号の構成を示す図である。
【符号の説明】
１，３ テレビ会議端末
４ コーデック
１１ 画像Ａ／Ｄコンバータ
１２ 音声Ａ／Ｄコンバータ
１３，４２ マーキング信号付加回路
１４ 画像圧縮回路
１５ 音声圧縮回路
１６，３４ 多重化回路
１７，３５ 分離回路
１８ 画像伸長回路
１９ 音声伸長回路
２０，４５ マーキング信号検出回路
２１ 画像Ｄ／Ａコンバータ
２２ 音声Ｄ／Ａコンバータ
２３ 遅延回路
３１ 画像コーデック
３２ 音声コーデック
３３ マーキング回路
３６ 音声遅延回路
４１ Ａ／Ｄコンバータ
４３ 圧縮回路
４４ 伸長回路
４６ Ｄ／Ａコンバータ
１００，２００ 伝送路
Claims (6)
- 入力された画像及び音声の各アナログ信号を量子化する量子化手段と、前記量子化手段で量子化した前記画像及び音声の信号に対して予め設定されたマーキング信号を同時かつ周期的に付加するマーキング信号付加手段と、前記マーキング信号付加手段で前記マーキング信号が付加された信号を圧縮して送信する圧縮手段と、受信しかつ圧縮された信号を伸長する伸長手段と、前記伸長手段で伸長された前記画像及び音声の信号各々から前記マーキング信号を検出して前記画像及び音声の信号各々に付加されたマーキング信号の到着時間差を検出するマーキング信号検出手段と、前記伸長手段で伸長された前記画像及び音声の信号各々を前記画像及び音声のアナログ信号各々に再生する再生手段と、前記マーキング信号検出手段の検出結果に応じて前記再生手段で再生された前記画像及び音声のアナログ信号各々のうちの一方の出力を遅延して前記画像及び音声のアナログ信号各々を送信時と同一タイミングで出力する遅延手段とを有し、
前記マーキング信号付加手段は、前記量子化手段で量子化した前記画像及び音声の信号の一部のビットをマーキング信号と置換することで前記マーキング信号の付加を行い、
前記圧縮手段及び前記伸長手段は、前記マーキング信号が付加された信号の圧縮及び伸長処理に可逆なアルゴリズムを使用することを特徴とするテレビ会議端末。 - 前記マーキング信号付加手段は、前記量子化手段で量子化した前記画像及び音声の信号のｎビット（ｎは正の整数）をマーキング信号に割り当てることを特徴とする請求項１記載のテレビ会議端末。
- 前記遅延手段は、前記マーキング信号検出手段の検出結果に応じて前記再生手段で再生された音声アナログ信号の出力を遅延することを特徴とする請求項１または請求項２記載のテレビ会議端末。
- 送信側において、入力された画像及び音声の各アナログ信号を量子化し、その量子化した前記画像及び音声の信号に対して予め設定されたマーキング信号を同時かつ周期的に付加し、このマーキング信号が付加された信号を圧縮して送信するとともに、
受信側において、受信しかつ圧縮された信号を伸長し、その伸長された前記画像及び音声の信号各々から前記マーキング信号を検出して前記画像及び音声の信号各々に付加されたマーキング信号の到着時間差を検出し、伸長された前記画像及び音声の信号各々から再生した前記画像及び音声のアナログ信号各々のうちのの一方の出力をこの検出結果に応じて遅延して前記画像及び音声のアナログ信号各々を送信時と同一タイミングで出力し、
前記マーキング信号の付加は、前記量子化手段で量子化した前記画像及び音声の信号の一部のビットをマーキング信号と置換することで行い、
前記マーキング信号が付加された信号の圧縮及び伸長処理に可逆なアルゴリズムを使用することを特徴とするテレビ会議端末の画像・音声再生方法。 - 前記量子化手段で量子化した前記画像及び音声の信号のｎビット（ｎは正の整数）をマーキング信号に割り当てることを特徴とする請求項４記載のテレビ会議端末の画像・音声再生方法。
- 前記アナログ信号の出力の遅延は、前記マーキング信号の検出結果に応じて再生された音声アナログ信号の出力を遅延することを特徴とする請求項４または請求項５記載のテレビ会議端末の画像・音声再生方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31316899A JP3565115B2 (ja) | 1999-11-04 | 1999-11-04 | テレビ会議端末及びそれに用いる画像・音声再生方法 |
| US09/703,732 US6351233B1 (en) | 1999-11-04 | 2000-11-02 | Videoconference system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31316899A JP3565115B2 (ja) | 1999-11-04 | 1999-11-04 | テレビ会議端末及びそれに用いる画像・音声再生方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001136503A JP2001136503A (ja) | 2001-05-18 |
| JP3565115B2 true JP3565115B2 (ja) | 2004-09-15 |
Family
ID=18037934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31316899A Expired - Fee Related JP3565115B2 (ja) | 1999-11-04 | 1999-11-04 | テレビ会議端末及びそれに用いる画像・音声再生方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6351233B1 (ja) |
| JP (1) | JP3565115B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6912010B2 (en) * | 2002-04-15 | 2005-06-28 | Tektronix, Inc. | Automated lip sync error correction |
| US6693663B1 (en) * | 2002-06-14 | 2004-02-17 | Scott C. Harris | Videoconferencing systems with recognition ability |
| JP4561822B2 (ja) * | 2002-07-16 | 2010-10-13 | パナソニック株式会社 | コンテンツ受信機 |
| US6872007B2 (en) * | 2002-09-24 | 2005-03-29 | Tektronix, Inc. | Optical line-of-sight inter-board data transfer |
| JP2008109362A (ja) * | 2006-10-25 | 2008-05-08 | Opt Kk | カメラサーバおよびデータの処理方法 |
| EP2043372B1 (en) | 2007-09-26 | 2019-07-17 | Vodafone GmbH | Method for audio and video synchronization, receiving and transmitting device |
| JP5211615B2 (ja) * | 2007-09-28 | 2013-06-12 | 沖電気工業株式会社 | 映像・音声信号伝送方法及びその伝送装置 |
| CN101888302B (zh) * | 2010-07-02 | 2013-08-14 | 江苏省现代企业信息化应用支撑软件工程技术研发中心 | 一种远程会议用交互式图像信息传递系统和方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3384009B2 (ja) * | 1992-12-25 | 2003-03-10 | キヤノン株式会社 | デジタルテレビジョン受像機 |
-
1999
- 1999-11-04 JP JP31316899A patent/JP3565115B2/ja not_active Expired - Fee Related
-
2000
- 2000-11-02 US US09/703,732 patent/US6351233B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6351233B1 (en) | 2002-02-26 |
| JP2001136503A (ja) | 2001-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7010032B1 (en) | Moving image coding apparatus and decoding apparatus | |
| KR100230646B1 (ko) | 메인 비디오 신호와 보조 비디오 신호의 동기 장치 | |
| JP3809220B2 (ja) | 伝送システム及び伝送方法 | |
| EP1195996B1 (en) | Apparatus, method and computer program product for decoding and reproducing moving images, time control method and multimedia information receiving apparatus | |
| JPH04358486A (ja) | 高能率符号化信号処理装置 | |
| JP3839084B2 (ja) | データバッファの同期システム | |
| US5424733A (en) | Parallel path variable length decoding for video signals | |
| JP3565115B2 (ja) | テレビ会議端末及びそれに用いる画像・音声再生方法 | |
| KR19990057100A (ko) | 엠펙 디코더 및 디코딩 제어 방법 | |
| KR100483814B1 (ko) | 동화상 부호화 장치 및 동화상 복호화 장치 | |
| WO1997047128A3 (en) | Improvements in or relating to changing the bit rate of a signal | |
| JPH0759030A (ja) | テレビ会議システム | |
| JP5035460B2 (ja) | 音声信号伝送装置、音声信号受信装置及び音声信号伝送システム | |
| JPH0324887A (ja) | ディジタル画像信号の符号化装置 | |
| JP2558730B2 (ja) | 映像伝送方式 | |
| JPS62145985A (ja) | 音声遅延時間制御方法 | |
| JPH08191434A (ja) | 動画／音声符号化データ多重化方法及び動画／音声符号化データ多重化装置 | |
| KR19980036074A (ko) | 디코더 시스템의 비디오/오디오 동기화 장치 | |
| JP2001111610A (ja) | 情報データ伝送システムの受信装置 | |
| JP2010028642A (ja) | 画像伝送システム | |
| KR100368759B1 (ko) | 동영상 압축 양방향 전송방법 | |
| JPH02246432A (ja) | 映像・音声多重化方式 | |
| KR100527427B1 (ko) | 고출력 및 고음질의 오디오를 재생하는 동영상 재생장치및 방법 | |
| JPH09130263A (ja) | データ通信装置、符号化装置及び復号化装置 | |
| JP3573171B2 (ja) | 複数の可変レート信号の伝送方法および伝送システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040412 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040518 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040531 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080618 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090618 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100618 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100618 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110618 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |