JP3875968B2 - 移動通信システムのデジタルビデオ信号処理装置及びその方法 - Google Patents

移動通信システムのデジタルビデオ信号処理装置及びその方法 Download PDF

Info

Publication number
JP3875968B2
JP3875968B2 JP2003369708A JP2003369708A JP3875968B2 JP 3875968 B2 JP3875968 B2 JP 3875968B2 JP 2003369708 A JP2003369708 A JP 2003369708A JP 2003369708 A JP2003369708 A JP 2003369708A JP 3875968 B2 JP3875968 B2 JP 3875968B2
Authority
JP
Japan
Prior art keywords
video signal
unit
address
digital video
mobile communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003369708A
Other languages
English (en)
Other versions
JP2005039757A (ja
Inventor
セオ クワン−ドック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2005039757A publication Critical patent/JP2005039757A/ja
Application granted granted Critical
Publication of JP3875968B2 publication Critical patent/JP3875968B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331Caching operations, e.g. of an advertisement for later insertion during playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only

Description

本発明は、移動通信システムのデジタルビデオ信号処理装置及びその方法に係るもので、詳しくは、多者間画像会議のためにビデオ信号を効果的に処理し得る移動通信システムのデジタルビデオ信号処理装置及びその方法に関するものである
最近、移動通信端末機により多様なコンテンツ及びマルチメディアサービスが提供されていて、画像通信サービスに対する使用者の関心が増大されつつある。
第1世代画像通信サービスは、1対1(one−to−one)又は点対点(point−to−point)で画像通信サービスを提供するものであって、最近は、前記第1世代画像通信サービスに基づいて多者間画像通信サービスを提供する技術が活発に研究されている。このとき、前記多者間画像通信サービスは、サービスを利用する複数の対象から伝送されるビデオ信号の効果的な処理方法に最大の難点がある。
前記画像通信の代表的な応用例として画像会議が挙げられるが、一般に、画像会議システムは、複数の画像会議参加者が各端末機により使用者間の映像及び音声を交換するシステムである。
図6は一般的な多者間画像会議システムの構成を示したブロック図で、4人の会議出席者(confree)が画像会議に参加する例を示している。
前記多者間画像会議システムは、画像カメラ10aが付着された複数の画像会議用端末機10と、それら画像会議用端末機10から受信されたビデオ信号を処理して新しいビデオ信号に変換/出力するMCU(Multipoint Control Unit)20と、を含んで構成されている。
又、前記MCU20は、H.32x端末機標準で多者間画像会議を維持・管理する装置であって、各画像会議用端末機10から受信されたビデオ信号を混合して、それら画像会議用端末機10の解像度に適合した新しいビデオ信号を生成した後、該当の画像会議用端末機10にビデオ信号をそれぞれ伝送する。
このとき、前記MCU20は、前記画像会議用端末機10から伝送されたビデオ信号を画像会議に適合したフォーマットのビデオ信号に変換するビデオ信号処理部(Video Signal Processing Unit)(図示せず)を含んでいる。
図6中、点線で表示された信号は、前記画像会議用端末機10から前記MCU20に入力されるコーディングされたビデオ信号を示し、実線で表示された信号は、前記MCU20から各画像会議用端末機10に伝送される再コーディングされたビデオ信号を示している。
図7は従来MCUのビデオ信号処理動作を示したブロック図で、図8は図7に示されたMCUの細部的な構成を示したブロック図である。
図7に示されたように、前記MCU20は、前記画像会議用端末機10から入力されるビデオ信号をDCT(離散コサイン変換)(Discrete Cosine Transform)又はピクセル単位にデコーディングするデコーディング部21と、該デコーディング部21から出力されるデコーディング信号の解像度を縮小するダウンスケーリング部(down scaling unit)22と、該ダウンスケーリング部22から出力された各ビデオ信号を再びコーディングする再コーディング部23と、該再コーディング部23でコーディングされた複数のビデオ信号を混合して該当の画像会議用端末機10に伝送する混合器24と、から構成されている。
又、図8に示されたように、前記デコーディング部21は、前記画像会議用端末機10から伝送されるコーディングされたビデオ信号を逆可変長さ符号化する逆VLC(Variable Length Coding)部21aと、該逆VLC部21aの出力信号を逆離散コサイン変換する逆DCT部21bと、該逆DCT部21bの出力信号を逆量子化する逆量子化部21cと、から構成される。このとき、前記逆DCT部21bの出力信号はDCT単位に出力され、前記逆DCT部21bの出力信号が前記逆量子化部21cを経て出力されると、ピクセル単位に出力される。
又、前記ダウンスケーリング部22は、前記デコーディング部21から出力されたビデオ信号の解像度を1/2、1/4、・・・1/2n(但し、nは1以上の自然数)倍に縮小させる。
又、前記再コーディング部23は、前記ダウンスケーリング部22の出力信号を量子化する量子化部23aと、該量子化部23aの出力信号を離散コサイン変換して出力するDCT部23bと、該DCT部23bの出力信号を可変長さ符号化して出力するVLC部23cと、から構成される。
以下、このように構成されたMCUのビデオ信号処理動作に対して説明する。
まず、前記画像会議用端末機10から受信された複数のビデオ信号は、前記デコーディング部21に入力されて、DCT領域又はピクセル領域(pixel domain)にデコーディングされた後で出力される。次いで、前記デコーディング部21の出力信号は、前記ダウンスケーリング部22で解像度縮小アルゴリズムが適用された後、前記再コーディング部23から再びコーディングされる。次いで、前記混合器24は、前記再コーディング部23から出力された各ビデオ信号を混合して前記画像会議用端末機10に伝送される。このとき、前記デコーディング部21に入力された各ビデオ信号は、DCT領域で処理する場合は逆DCT部21bまで、ピクセル領域で処理する場合は逆量子化部21cまで適用されて出力される。
又、前記逆DCT部21a及び逆量子化部21bでビデオ信号をデコーディングする過程と、前記量子化部23a及びDCT部23bでビデオ信号をコーディングする過程は、両方とも損失符号化特性を含んでいる。
以上説明したように、従来のMCUは、損失符号化特性を有するデコーディング及びコーディングを連続的に適用してビデオ信号を処理するため、画質が劣化するという問題点があった。
又、ビデオ信号を逆DCT部、逆量子化部、量子化部及びDCT部を経て連続的に処理するため、ビデオ信号の処理時間が遅延するという問題点があった。
即ち、従来のビデオ信号処理装置及びその方法においては、ビデオ信号処理をMCUのみに依存するため、信号処理に要求される時間が遅延するだけでなく、処理されたビデオ信号の画質が劣化するという不都合な点があった。
本発明は、このような従来の課題に鑑みてなされたもので、多者間画像会議のためにビデオ信号を効果的に処理し得る移動通信システムのデジタルビデオ信号処理装置及びその方法を提供することを目的とする。
このような目的を達成するため、本発明に係る移動通信システムのデジタルビデオ信号処理装置は、画像カメラが付着された複数の画像会議用端末機と、それら画像会議用端末機から受信されたビデオ信号を混合して各画像会議用端末機に伝送するMCUと、を含んで構成されることを特徴とする。
又、画像カメラにより入力されるビデオ信号の解像度を縮小して伝送する複数の画像会議用端末機と、それら画像会議用端末機から受信されたビデオ信号を混合/配置した最終映像を各画像会議用端末機に伝送するMCUと、を含んで構成されることを特徴とする。
又、画像カメラにより入力されたビデオ信号をデジタルビデオ信号に変換する変換器と、デジタルビデオ信号の解像度を縮小するダウンスケーリング部と、該ダウンスケーリング部の出力信号を圧縮して送信部に伝送するエンコーディング部と、受信されたビデオ信号を逆可変長さ符号化によりデコーディングする逆VLC部と、該逆VLC部から出力されたビデオ信号のマクロブロックアドレスを設定するアドレス設定部と、アドレスの設定されたビデオ信号を可変長さ符号化により圧縮するVLC部と、複数のビデオ信号を混合して最終映像を出力する混合部と、を含んで構成されることを特徴とする。
且つ、本発明に係る移動通信システムのデジタルビデオ信号処理方法は、画像カメラにより撮影されるビデオ信号の解像度を縮小してMCUに伝送する過程と、受信したビデオ信号を混合/配置した最終映像を各画像会議用端末機にそれぞれ伝送する過程と、を行うことを特徴とする。
又、画像カメラにより入力されるビデオ信号をデジタルビデオ信号フォーマットに変換する過程と、デジタルビデオ信号の解像度を縮小する過程と、解像度の縮小されたビデオ信号を圧縮してMCUに伝送する過程と、複数のビデオ信号を受信したMCUが各ビデオ信号を逆可変長さ符号化によりデコーディングする過程と、該デコーディングされたビデオ信号のマクロブロックアドレスを設定する過程と、ビデオ信号を可変長さ符号化によりエンコーディングする過程と、該エンコーディングされた各ビデオ信号を混合して画像会議用端末機に伝送する過程と、を順次行うことを特徴とする。
前記画像会議用端末機は、画像カメラにより入力されたビデオ信号の解像度を縮小して伝送することを特徴とする。
前記画像会議用端末機は、前記画像カメラにより入力されたビデオ信号の解像度を縮小するダウンスケーリング部を含んで構成されることを特徴とする。
前記MCUは、前記画像会議用端末機から伝送されたビデオ信号が配置される領域を考慮して、マクロブロックアドレスを設定するアドレス設定部を含んで構成されることを特徴とする。
前記アドレス設定部は、前記画像会議用端末機から伝送されて混合された最終映像の各スライス中、最も左側のマクロブロックのみに絶対アドレスを設定することを特徴とする。
前記アドレス設定部は、前記絶対アドレスの設定されたマクロブロックを除いた残りのマクロブロックに対して、以前のマクロブロックとのアドレス差値を符号化することを特徴とする。
前記画像会議用端末機は、前記画像カメラにより入力されるビデオ信号をデジタルビデオ信号に変換する変換器と、デジタルビデオ信号の解像度を縮小するダウンスケーリング部と、該ダウンスケーリング部の出力信号を圧縮するエンコーディング部と、該エンコーディング部の出力信号を前記MCUに伝送する送信部と、から構成される。
前記変換器は、画像カメラにより入力されるRGB(Red−Green−Blue)フォーマットの信号をYCbCrフォーマットのビデオ信号に変換することを特徴とする。
前記MCUは、各画像会議用端末機から伝送されたビデオ信号を逆可変長さ符号化する逆VLC(Variable Length Coding)部と、該逆VLC部から出力されるビデオ信号のマクロブロックアドレスを指定するアドレス設定部と、アドレスの設定されたビデオ信号を可変長さ符号化するVLC部と、それら各VLC部から出力されるビデオ信号を混合して最終映像を具現する混合部と、から構成される。
前記アドレス設定部は、最終映像の各スライス中、最も左側のマクロブロックのみに絶対アドレスを指定することを特徴とする。
前記アドレス設定部は、最終映像の最も左側のマクロブロックを除いた残りのマクロブロックに対して、以前のマクロブロックとのアドレス差値を符号化することを特徴とする。
本発明は、移動通信システムのデジタルビデオ信号処理装置であって、画像カメラにより入力されたビデオ信号をデジタルビデオ信号に変換する変換器と、デジタルビデオ信号の解像度を縮小するダウンスケーリング部と、該ダウンスケーリング部の出力信号を圧縮して送信部に伝送するエンコーディング部と、受信されたビデオ信号を逆可変長さ符号化によりデコーディングする逆VLC部と、該逆VLC部から出力されたビデオ信号のマクロブロックアドレスを設定するアドレス設定部と、アドレスの設定されたビデオ信号を可変長さ符号化により圧縮するVLC部と、複数のビデオ信号を混合して最終映像を出力する混合部と、を含んで構成され、これにより上記目的が達成される。
前記デジタルビデオ信号は、YCbCrフォーマットのビデオ信号であることを特徴とする。
前記エンコーディング部は、MPEG−4方式により動映像を圧縮することを特徴とする。
前記アドレス設定部は、最終映像の最も左側のマクロブロック列に対してのみ絶対アドレスを指定することを特徴とする。
前記アドレス設定部は、最終映像の最も左側のマクロブロックを除いた残りのマクロブロックに対して、以前のマクロブロックとのアドレス差値を符号化することを特徴とする。
本発明は、移動通信システムのデジタルビデオ信号処理方法であって、画像カメラにより撮影されるビデオ信号の解像度を縮小してMCUに伝送する過程と、受信されたビデオ信号が混合/配置された最終映像を各画像会議用端末機にそれぞれ伝送する過程と、を行い、これにより上記目的が達成される。
前記MCUにビデオ信号を伝送する過程は、画像カメラにより入力されたビデオ信号をデジタルビデオ信号処理フォーマットに変換する過程と、前記デジタルビデオ信号の解像度を縮小して動映像を圧縮する過程と、該圧縮されたビデオ信号を前記MCUに伝送する過程と、を順次行うことを特徴とする。
前記デジタルビデオ信号処理フォーマットは、YCbCrフォーマットであることを特徴とする。
前記動映像は、MPEG−4方式により圧縮されることを特徴とする。
本発明は、移動通信システムのデジタル信号処理方法であって、最終映像を伝送する過程は、受信されたビデオ信号を逆可変長さ符号化する過程と、各画像会議用端末機から伝送されるビデオ信号のマクロブロックアドレスを設定する過程と、前記ビデオ信号を可変長さ符号化する過程と、可変長さ符号化されたビデオ信号を混合して画像会議用端末機に伝送する過程と、を順次行い、これにより上記目的が達成される。
前記マクロブロックアドレスを設定する過程は、該当のビデオ信号が最終映像で配置される領域を設定する過程と、最終映像のスライス中、最も左側のマクロブロックに対する絶対アドレスを設定する過程と、最も左側のマクロブロックを除いたマクロブロックは、以前のマクロブロックとの差値でアドレスを符号化する過程と、を行うことを特徴とする。
本発明は、移動通信システムのデジタル信号処理方法であって、画像カメラにより入力されるビデオ信号をデジタルビデオ信号フォーマットに変換する過程と、デジタルビデオ信号の解像度を縮小する過程と、解像度の縮小されたビデオ信号を圧縮してMCUに伝送する過程と、複数のビデオ信号を受信したMCUが各ビデオ信号を逆可変長さ符号化によりデコーディングする過程と、該デコーディングされたビデオ信号のマクロブロックアドレスを設定する過程と、ビデオ信号を可変長さ符号化によりエンコーディングする過程と、該エンコーディングされた各ビデオ信号を混合して画像会議用端末機に伝送する過程と、を順次行い、これにより上記目的が達成される。
前記デジタルビデオ信号処理フォーマットは、YCbCrフォーマットであることを特徴とする。
前記ビデオ信号は、MPEG−4方式により圧縮されることを特徴とする。
前記マクロブロックアドレスを設定する過程は、該当のビデオ信号が最終映像で配置される領域を設定する過程と、最終映像のスライス中、最も左側のマクロブロックに対して絶対アドレスを設定する過程と、最も左側のマクロブロックを除いたマクロブロックに対して、以前のマクロブロックとの差値でアドレスを符号化する過程と、を行うことを特徴とする。
以下で説明するように、本発明に係る移動通信システムのデジタルビデオ信号処理装置及びその方法においては、MCUが非損失符号化過程の逆VLC部及びVLC部を経てビデオ信号を連続的に処理するため、画質の劣化を防止し得るという効果がある。
又、複数の画像会議用端末機で解像度が縮小されて伝送されるビデオ信号を逆VLC部、アドレス設定部及びVLC部を経て混合するため、ビデオ信号処理時間及びMCUの計算複雑度が減少されることで、信号処理効率を増加し得るという効果がある
以下、本発明の実施の形態に対し、図面に基づいて説明する。
本発明に係る移動通信システムのデジタルビデオ信号処理装置は、画像カメラが付着された複数の画像会議用端末機と、それら画像会議用端末機から受信されたビデオ信号を混合した新しいビデオ信号を各画像会議用端末機にそれぞれ伝送するMCUと、を含んで構成されている。
又、本発明のMCUは、従来のMCUとは異なって、ダウンスケーリング過程が省略されるが、該ダウンスケーリング過程は、本発明の画像会議用端末機で行われる。
図1は本発明に係る画像会議用端末機のビデオ信号処理動作を示したブロック図で、図示されたように、本発明に係る画像会議用端末機は、画像カメラにより入力された画像会議参加者の映像をデジタルビデオ信号処理のためのフォーマットに変換する変換器110と、該変換器110から出力されたビデオ信号の解像度を縮小するダウンスケーリング部120と、該ダウンスケーリング部120から出力されたビデオ信号をMPEG−4方式によりコーディングするエンコーディング部130と、該エンコーディング部130から出力されたビデオ信号をMCUに伝送する送信部140と、から構成されている。
前記画像カメラにより入力される映像は、RGB(赤−緑−青)(Red−Green−Blue)フォーマットのVGA(Video Graphic Array)信号であって、前記変換器110を経てYCbCrフォーマットのVGA信号に変換される。このとき、前記YCbCrフォーマットは、RGBフォーマットのビデオ信号をデジタルビデオ信号として処理するためのフォーマットであって、Yは輝度信号を、Cb及びCrは色差信号をそれぞれ示したものである。
又、前記ダウンスケーリング部120は、前記変換器110から出力されたYCbCrフォーマットのVGA信号をYCbCrフォーマットのQVGA(Quarter VGA)信号として解像度を縮小し、前記ダウンスケーリング部120から出力されたQVGA信号は、エンコーディング部130を経て前記MCUに伝送される。このとき、前記ダウンスケーリング部120は、サブサンプリング(sub−sampling)方式やダウンサンプリング(down−sampling)方式などを適用して前記ビデオ信号の解像度を縮小する。
図2は本発明に係るMCUの内部構造を示したブロック図で、図示されたように、本発明に係るMCUは、前記画像会議用端末機から伝送されるビデオ信号を逆可変長さ符号化する逆VLC部210と、該逆VLC部210から出力される信号のマクロブロックアドレスを指定するアドレス設定部220と、該アドレス設定部220から出力されたビデオ信号を可変長さ符号化するVLC部230と、該VLC部230から出力された複数のビデオ信号を領域配置を考慮して混合する混合部240と、から構成されている。
且つ、前記MCUは、前記画像会議用端末機から解像度が縮小されて入力されるビデオ信号を混合するだけで各画像会議用端末機にそれぞれ伝送する。このとき、前記混合過程は、VLC領域で行い得るため、ピクセル領域やDCT領域までデコーディングする必要がない。よって、前記MCUは、非損失符号化過程を行う逆VLC部210及びVLC部230のみを含んでいる。
又、前記アドレス設定部220は、各画像会議用端末機から伝送された画面が最終ビデオ画面で配置される領域を考慮してマクロブロックアドレスを設定する。
且つ、前記MPEG標準シンタクスには、MB_addr_incrementフィールドが存在するが、該MB_addr_incrementフィールドは、現在のマクロブロックの絶対アドレスの代わりに、以前のマクロブロックとのアドレス差値のみを符号化することで符号量を減少させる。
図3は本発明に係るアドレス設定部で処理されるマクロブロックの位置を、4人が参加する多者間会議に適用して示した図である。
図示されたように、分離された4個の画面に関係なく、各スライス中、最も左側のマクロブロックアドレスに対してのみMB_addr_adjustブロックを適用して絶対アドレスを設定し、残りのマクロブロックに対してはアドレス差値のみを符号化することで、符号量及び計算複雑度を減少することができる。このとき、前記MB_addr_adjustブロックは、MCUで混合される最終ビデオ領域の配置を考慮して、マクロブロックの絶対アドレスを指定するブロックである。
即ち、4個の画面の左側の各マクロブロックアドレスに対して、MB_addr_adjustブロックを全て適用することなく、最終画面の最も左側のマクロブロックアドレスのみにMB_addr_adjustブロックを適用し、全体画面の右側に位置する画面の左側のマクロブロックアドレスは、前記MB_addr_incrementフィールドであるので、以前のマクロブロックとの差値を符号化して表示する。
図4は本発明に係る移動通信システムのデジタルビデオ信号処理方法を示したフローチャートで、画像会議用端末機の画像カメラにより入力されたビデオ信号の解像度を縮小してMCUに伝送する過程と、縮小されて前記MCUに伝送されたビデオ信号を混合して各画像会議用端末機にそれぞれ伝送する過程と、を行う。
まず、画像会議用端末機に具備された画像カメラにより実時間に入力された(S1)ビデオ信号は、変換器110でデジタル信号処理のための信号に変換される(S2)。即ち、前記変換器110は、入力されたRGBフォーマットのVGA信号をYCbCrフォーマットのVGA信号に変換して出力する。
次いで、前記変換器110から出力されたYCbCrフォーマットのVGA信号は、前記ダウンスケーリング部120で解像度が縮小されて、YCbCrフォーマットのQVGA信号に出力され(S3)、解像度の縮小されたデジタルビデオ信号は、MPEG−4コーディング過程を経て圧縮されて(S4)、前記MCUに伝送される(S5)。
次いで、各画像会議用端末機から前記MCUに伝送されたビデオ信号は、逆可変長さ符号化されて出力され(S6)、前記逆VLC部210で逆可変長さ符号化されて出力されたビデオ信号は、最終画面で配置される領域によってマクロブロックアドレスが決定される(S7)。
以下、前記アドレス設定部220でビデオ信号のマクロブロックアドレスを設定する過程に対して説明する。
まず、4個の画像会議用端末機から伝送された各映像が最終画面で配置される位置を考慮して、各スライド中、最も左側のマクロブロックに対してのみ絶対アドレスを指定し、前記最も左側のマクロブロックを除いた残りのマクロブロックに対してはアドレス増加値を設定する。よって、全てのマクロブロックに対して絶対アドレスを設定することなく、アドレス増加値を符号化するため、前記マクロブロックアドレスを指定するのに要求される計算過程及びデータ量を減少することができる。
次いで、前記アドレス設定部220の出力信号は、VLC部230で可変長さ符号化されて出力され(S8)、各VLC部230から出力された信号が前記混合部240で混合された後(S9)、各画像会議用端末機に伝送される(S10)。このとき、前記混合部240から出力されたビデオ信号は、4個の画面を一つの最終画面として構成する。
図5は本発明によって解像度の縮小されたビデオ信号を混合して最終画面を具現した例示図である。
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
本発明に係る画像会議用端末機の構成を示したブロック図である。 本発明に係るMCUの内部構造を示したブロック図である。 本発明に係るアドレス設定部で処理されるマクロブロックの位置を示した図である。 本発明に係る移動通信システムのデジタルビデオ信号処理方法を示したフローチャートである。 本発明によって解像度が縮小されたビデオ信号を混合した最終画面の表示図である。 一般的な多者間画像会議システムの構成を示したブロック図である。 従来MCUの構成を示したブロック図である。 図7に示されたMCUの細部構成を示したブロック図である。
符号の説明
110 変換器
120 ダウンスケーリング部
130 エンコーディング部
140 送信部
210 逆VLC部
220 アドレス設定部
230 VLC部
240 混合部

Claims (13)

  1. 画像カメラにより入力されるビデオ信号の解像度を縮小して伝送する複数の画像会議用端末機と、
    前記各画像会議用端末機から伝送されたビデオ信号を混合して再配置した全体画面を各画像会議用端末機に伝送するMCUと、を含み、
    前記画像会議用端末機は、
    前記画像カメラにより入力されるビデオ信号をデジタルビデオ信号に変換する変換器と、
    デジタルビデオ信号の解像度を縮小するダウンスケーリング部と、
    該ダウンスケーリング部の出力信号を圧縮するエンコーディング部と、
    該エンコーディング部の出力信号を前記MCUに伝送する送信部と、から構成され
    前記MCUは、
    前記各画像会議用端末機から伝送されたビデオ信号を逆可変長さ符号化する逆VLC(Variable Length Coding)部と、
    該逆VLC部から出力されるビデオ信号のマクロブロックアドレスを指定するアドレス設定部と、
    アドレスの設定されたビデオ信号を可変長さ符号化するVLC部と、
    それら各VLC部から出力されるビデオ信号を混合して再配置した全体画面を出力する混合部と、から構成されることを特徴とする移動通信システムのデジタルビデオ信号処理装置。
  2. 前記変換器は、
    前記画像カメラにより入力されるRGB(Red−Green−Blue)フォーマットの信号をYCbCrフォーマットのビデオ信号に変換することを特徴とする請求項1記載の移動通信システムのデジタルビデオ信号処理装置。
  3. 前記アドレス設定部は、
    前記全体画面の各画面のうち、最も左側のマクロブロックのみに絶対アドレスを指定することを特徴とする請求項1記載の移動通信システムのデジタルビデオ信号処理装置。
  4. 前記アドレス設定部は、
    前記全体画面の各画面のうち、最も左側のマクロブロックを除いた残りのマクロブロックに対して、以前のマクロブロックとのアドレス差値を符号化することを特徴とする請求項1記載の移動通信システムのデジタルビデオ信号処理装置。
  5. 画像カメラにより入力されたビデオ信号をデジタルビデオ信号に変換する変換器と、
    デジタルビデオ信号の解像度を縮小するダウンスケーリング部と、
    該ダウンスケーリング部の出力信号を圧縮して送信部に伝送するエンコーディング部とを有する画像会議用端末機と、
    前記各画像会議用端末機から伝送されたビデオ信号を逆可変長さ符号化によりデコーディングする逆VLC部と、
    該逆VLC部から出力されたビデオ信号のマクロブロックアドレスを設定するアドレス設定部と、
    アドレスの設定されたビデオ信号を可変長さ符号化により圧縮するVLC部と、
    複数のビデオ信号を混合して全体画像を出力する混合部とを有するMCUと、
    を含んで構成されることを特徴とする移動通信システムのデジタルビデオ信号処理装置。
  6. 前記デジタルビデオ信号は、
    YCbCrフォーマットのビデオ信号であることを特徴とする請求項5記載の移動通信システムのデジタルビデオ信号処理装置。
  7. 前記エンコーディング部は、
    MPEG−4方式により動映像を圧縮することを特徴とする請求項5記載の移動通信システムのデジタルビデオ信号処理装置。
  8. 前記アドレス設定部は、
    前記全体画像の各画面のうち、最も左側のマクロブロック列に対してのみ絶対アドレスを指定することを特徴とする請求項5記載の移動通信システムのデジタルビデオ信号処理装置。
  9. 前記アドレス設定部は、
    前記全体画像の各画面のうち、最も左側のマクロブロックを除いた残りのマクロブロックに対して、以前のマクロブロックとのアドレス差値を符号化することを特徴とする請求項5記載の移動通信システムのデジタルビデオ信号処理装置。
  10. 請求項1に記載された装置による移動通信システムのデジタルビデオ信号処理方法であって、
    画像カメラにより入力されるビデオ信号をデジタルビデオ信号フォーマットに変換する過程と、
    デジタルビデオ信号の解像度を縮小する過程と、
    解像度の縮小されたビデオ信号を圧縮してMCUに伝送する過程とを、前記画像会議用端末機が順次行い、
    複数のビデオ信号を受信した各ビデオ信号を逆可変長さ符号化によりデコーディングする過程と、
    該デコーディングされたビデオ信号のマクロブロックアドレスを設定する過程と、
    アドレスの設定されたビデオ信号を可変長さ符号化によりエンコーディングする過程と、
    該エンコーディングされた各ビデオ信号を混合して画像会議用端末機に伝送する過程とを前記MCUが順次行うことを特徴とする移動通信システムのデジタル信号処理方法。
  11. 前記デジタルビデオ信号処理フォーマットは、
    YCbCrフォーマットであることを特徴とする請求項10記載の移動通信システムのデジタルビデオ信号処理方法。
  12. 前記ビデオ信号は、
    MPEG−4方式により圧縮されることを特徴とする請求項10記載の移動通信システムのデジタルビデオ信号処理方法。
  13. 前記マクロブロックアドレスを設定する過程は、
    該当のビデオ信号が前記全体画面で配置される領域を設定する過程と、
    前記全体画面の各画面のうち、最も左側のマクロブロックに対して絶対アドレスを設定する過程と、
    最も左側のマクロブロックを除いたマクロブロックに対して、以前のマクロブロックとの差値でアドレスを符号化する過程と、を行うことを特徴とする請求項10記載の移動通信システムのデジタル信号処理方法。
JP2003369708A 2003-07-18 2003-10-29 移動通信システムのデジタルビデオ信号処理装置及びその方法 Expired - Fee Related JP3875968B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20030049382A KR100548383B1 (ko) 2003-07-18 2003-07-18 이동통신 시스템의 디지털 비디오 신호처리 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2005039757A JP2005039757A (ja) 2005-02-10
JP3875968B2 true JP3875968B2 (ja) 2007-01-31

Family

ID=33476039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003369708A Expired - Fee Related JP3875968B2 (ja) 2003-07-18 2003-10-29 移動通信システムのデジタルビデオ信号処理装置及びその方法

Country Status (5)

Country Link
US (1) US7145594B2 (ja)
EP (1) EP1499125A3 (ja)
JP (1) JP3875968B2 (ja)
KR (1) KR100548383B1 (ja)
CN (1) CN100592784C (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4081044B2 (ja) * 2004-05-28 2008-04-23 日本電信電話株式会社 多地点テレビ会議システム,多地点テレビ会議制御方法,サーバ装置,多地点テレビ会議制御プログラムおよびそのプログラム記録媒体
US8576270B1 (en) 2004-10-08 2013-11-05 Glowpoint, Inc. Intelligent call management and redirection
US7692683B2 (en) * 2004-10-15 2010-04-06 Lifesize Communications, Inc. Video conferencing system transcoder
US7400340B2 (en) * 2004-11-15 2008-07-15 Starent Networks, Corp. Data mixer for portable communications devices
JP2006238328A (ja) * 2005-02-28 2006-09-07 Sony Corp 会議システム及び会議端末装置並びに携帯端末装置
US20060253895A1 (en) * 2005-03-29 2006-11-09 Michael Brandofino Video communication call authorization
US20060244813A1 (en) * 2005-04-29 2006-11-02 Relan Sandeep K System and method for video teleconferencing via a video bridge
US20070002777A1 (en) * 2005-05-31 2007-01-04 Glowpoint, Inc. Video-communication interface
EP1938202A2 (en) * 2005-08-25 2008-07-02 ERIKSSON, Andreas Systems and methods of implementing a single-number follow me service for videoconferencing
KR100747895B1 (ko) * 2005-12-29 2007-08-08 주식회사 팬택 다자간 화상 통화 방법
US20070211138A1 (en) * 2006-03-09 2007-09-13 Cisco Technology, Inc. System and method for configuring devices to facilitate video telephony
CN101056384B (zh) * 2006-04-11 2011-06-15 华为技术有限公司 远程监控业务实现方法及视讯终端设备
JP4250648B2 (ja) * 2006-09-21 2009-04-08 株式会社東芝 情報処理装置
US8150917B2 (en) 2006-09-22 2012-04-03 Microsoft Corporation High availability conferencing
US7937442B2 (en) * 2006-09-22 2011-05-03 Microsoft Corporation Multipoint control unit (MCU) failure detection and rollover
KR100820678B1 (ko) * 2006-09-28 2008-04-11 엘지전자 주식회사 디지털 비디오 레코더에서의 데이터 전송장치 및 방법
JP2009077082A (ja) * 2007-09-19 2009-04-09 Toshiba Corp 解像度変換装置、解像度変換方法及びプレビュー表示装置
US20090163185A1 (en) 2007-12-24 2009-06-25 Samsung Electronics Co., Ltd. Method and system for creating, receiving and playing multiview images, and related mobile communication device
JP2011526089A (ja) * 2008-03-17 2011-09-29 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. パノラマのビデオ画像ストリームの表示
TW201012222A (en) * 2008-09-12 2010-03-16 Primax Electronics Ltd Method for producing internet video images
CN102217303A (zh) * 2008-11-13 2011-10-12 松下电器产业株式会社 影像数据生成装置、影像数据生成方法、程序及其记录介质、集成电路
US8643695B2 (en) 2009-03-04 2014-02-04 Lifesize Communications, Inc. Videoconferencing endpoint extension
US8456510B2 (en) 2009-03-04 2013-06-04 Lifesize Communications, Inc. Virtual distributed multipoint control unit
KR101265294B1 (ko) * 2009-12-21 2013-05-20 한국전자통신연구원 영상 회의 기반 실시간 양방향 원격교육 서비스 시스템 및 그 서비스 방법
CN102118601A (zh) * 2009-12-30 2011-07-06 深圳富泰宏精密工业有限公司 预约约会的系统及方法
TWI583173B (zh) * 2010-02-03 2017-05-11 群邁通訊股份有限公司 預約約會的系統及方法
DE102010023954A1 (de) * 2010-06-16 2011-12-22 Siemens Enterprise Communications Gmbh & Co. Kg Verfahren und Vorrichtung zum Mischen von Videoströmen auf der Makroblock-Ebene
WO2012091536A1 (en) * 2010-12-30 2012-07-05 Jmcs Sdn Bhd High definition (hd) video conferencing system
MY155978A (en) 2010-12-30 2015-12-31 Jmcs Sdn Bhd High definition (hd) video conferencing system
JP5927900B2 (ja) * 2011-12-22 2016-06-01 株式会社リコー 電子機器
CN103051864B (zh) * 2012-12-26 2016-08-17 浙江元亨通信技术股份有限公司 移动视频会议方法
CN104301658A (zh) * 2014-10-24 2015-01-21 四川省科本哈根能源科技有限公司 一种基于移动终端的多点视频汇聚系统
CN112995570B (zh) * 2019-12-18 2023-08-01 中国移动通信有限公司研究院 一种信息处理方法、装置、设备、系统及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63276938A (ja) 1987-05-08 1988-11-15 Nippon Telegr & Teleph Corp <Ntt> 多地点間映像通信会議方式
US6441842B1 (en) * 1992-02-19 2002-08-27 8×8, Inc. Video compression/decompression processing and processors
JPH0670040A (ja) 1992-08-19 1994-03-11 Fujitsu Ltd 多地点テレビ会議システムにおける表示形態変更方式
JP3655363B2 (ja) 1995-08-28 2005-06-02 株式会社東芝 情報通信システムおよびセンター局
JPH09130798A (ja) 1995-10-30 1997-05-16 Toshiba Corp 情報合成装置および情報合成方法
JP2000507418A (ja) 1996-03-28 2000-06-13 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー ビデオ処理
US5995146A (en) * 1997-01-24 1999-11-30 Pathway, Inc. Multiple video screen display system
JPH10262228A (ja) 1997-03-18 1998-09-29 Toshiba Corp 通信システム、多地点制御装置、映像情報表示方法
JP2002204450A (ja) * 2000-12-28 2002-07-19 Sony Corp データ処理装置および方法
KR100316639B1 (ko) 1998-05-22 2002-01-16 윤종용 다지점 영상회의 시스템 및 그에 따른 구현방법
JP2001069474A (ja) 1999-08-25 2001-03-16 Nec Corp 多地点制御装置及びそれに用いる映像表示方法
US6300973B1 (en) * 2000-01-13 2001-10-09 Meir Feder Method and system for multimedia communication control
JP4228505B2 (ja) * 2000-03-17 2009-02-25 ソニー株式会社 データ伝送方法およびデータ伝送システム
JP2001339764A (ja) * 2000-05-24 2001-12-07 Sony Corp 通信制御装置、通信装置、通信システムおよびその方法
JP2002238030A (ja) 2001-02-07 2002-08-23 Yamaha Corp スローモーション画像検出方法および検出装置
JP3922919B2 (ja) * 2001-12-11 2007-05-30 株式会社リコー 静止画像伸長装置及び静止画像伸長方法
US7826535B2 (en) * 2002-04-11 2010-11-02 Broadcom Corporation Adaptive pixel processing
KR100498445B1 (ko) * 2002-05-30 2005-07-01 삼성전자주식회사 성능향상을 위한 동영상 압축방법 및 장치

Also Published As

Publication number Publication date
CN1578456A (zh) 2005-02-09
EP1499125A3 (en) 2008-04-09
JP2005039757A (ja) 2005-02-10
CN100592784C (zh) 2010-02-24
EP1499125A2 (en) 2005-01-19
KR20050009601A (ko) 2005-01-25
US20050012812A1 (en) 2005-01-20
US7145594B2 (en) 2006-12-05
KR100548383B1 (ko) 2006-02-02

Similar Documents

Publication Publication Date Title
JP3875968B2 (ja) 移動通信システムのデジタルビデオ信号処理装置及びその方法
US8860781B2 (en) Texture compression in a video decoder for efficient 2D-3D rendering
JP4773966B2 (ja) ビデオ圧縮の方法と装置
US11558631B2 (en) Super-resolution loop restoration
US7720157B2 (en) Arrangement and method for generating CP images
US8958474B2 (en) System and method for effectively encoding and decoding a wide-area network based remote presentation session
WO2013129618A1 (ja) 画像処理装置および方法
US20140086318A1 (en) Video compression with color space scalability
JP2004140473A (ja) 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法
CN114982233A (zh) 用信号通知视频译码中的缩放矩阵
EP2030452B1 (en) Pre-processing of video data
WO2010055675A1 (ja) 動画像符号化装置及び動画像復号装置
TW202141979A (zh) 用於針對具有基於聯合圖元/變換的量化的視訊解碼的量化參數控制的方法
Wang et al. High Efficiency Video Coding (HEVC) for Next Generation Video Applications
JP2004222262A (ja) 動画圧縮のための内蔵型メモリ装置
EP1589761A1 (en) A codec adapted to operate in rgb color space
WO2024081011A1 (en) Filter coefficient derivation simplification for cross-component prediction
JPH1028260A (ja) 映像データ伝送方法および多地点テレビ会議装置
KR20040046319A (ko) 화상 통신 시스템
Jeffay COMP 249 Advanced Distributed Systems
Trivedi et al. Bandwidth Optimization for Real Time Video Streaming
KR20160034662A (ko) 다채널 부화면 처리장치 및 처리방법
KR20040046318A (ko) 화상통신 시스템에서 영상신호 처리방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050810

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20051104

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20051109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060419

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060816

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061027

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091102

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131102

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees