JPH07336461A - Picture communication equipment - Google Patents

Picture communication equipment

Info

Publication number
JPH07336461A
JPH07336461A JP12287794A JP12287794A JPH07336461A JP H07336461 A JPH07336461 A JP H07336461A JP 12287794 A JP12287794 A JP 12287794A JP 12287794 A JP12287794 A JP 12287794A JP H07336461 A JPH07336461 A JP H07336461A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
means
reception
decoding
capacity
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP12287794A
Other languages
Japanese (ja)
Inventor
Makoto Senda
誠 千田
Original Assignee
Canon Inc
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PURPOSE: To decode signals in the time-division processing and to prevent the reception of data beyond the reception capacity of a decoding part.
CONSTITUTION: A reception means 1, a decoding means 2, an adjusting means 3, a transfer means 4, and a transmission means 5 are provided, and encoded picture signals from plural terminals are received by the reception means 1 and are decoded by the decoding means 2, and the adjusting means 3 performs such adjustment that the sum total of encoded picture signals received by the reception means 1 doesn't exceed the capacity of the picture decoding means 2. The reception capacity corresponding to the processing capacity is assigned to each of plural communication terminals and is transmitted to plural communication terminals by the transfer means 4, thereby preventing the trouble that data beyond the capacity of the decoding means 2 is received at the time of decoding the encoded picture signals by the time-division processing.
COPYRIGHT: (C)1995,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は画像通信装置に係わり、 The present invention relates relates to an image communication apparatus,
例えば、通信回線を介して映像および音声の送受信を行う画像通信装置に用いて好適なものである。 For example, it is suitable for use in an image communication apparatus for transmitting and receiving video and audio through the communication line.

【0002】 [0002]

【従来の技術】従来のアナログの電話回線の場合、音声は通常の速度で伝送可能であるが、データは低速でしか伝送することができなかった。 BACKGROUND OF THE INVENTION In telephone line of the conventional analog audio can be transmitted at a normal speed, but data can not be transmitted only at a low speed.

【0003】しかし、近年、通信技術や半導体技術、および光技術等の進歩に伴って、ディジタル回線が整備され、大容量のデータを高速に伝送することが可能になった。 However, in recent years, along with communication technology and semiconductor technology, and advances in such optical technology, it is a digital line development has made it possible to transmit large volumes of data at high speed. 特に、ディジタル伝送の場合には伝送による品質低下がなく、伝送を行った後も同レベルの品質が保たれる特徴を有している。 In particular, there is no quality degradation due to transmission in the case of digital transmission has a feature that the quality of the same level is maintained even after the transmission. また、伝送データのメディアの特性に応じた伝送路を必要とせず、メディアの統合が図れる特徴を有しており、これらの特徴により複合メディア端末間の伝送が可能になった。 Also, without requiring a transmission line in accordance with the characteristics of the media of the transmission data has a feature that attained the integration of media has enabled transmission between complex media terminals by these features. このため、最近は従来の音声のみの電話から映像をも同時に伝送することができる電話端末が出現している。 Therefore, recently telephone terminals can also be simultaneously transmitted images from phone only conventional voice has emerged.

【0004】こうした状況の中、異なる複合端末間においても相互通信が可能になるように、ITUなどによる国際標準かが進められており、ディジタル回線を用いたテレビ電話、テレビ会議システムなどのAV(Audi [0004] Under these circumstances, different composite as well to allow mutual communication between the terminals, such as are or international standards is advanced by ITU, videophone using digital circuits, AV such as a TV conference system ( Audi
o Visual)サービスとしてAVサービス用のサービス規定、プロトコル規定、マルチメディア多重化フレーム構成規定等がITU勧告H. o Visual) service provisions for AV services as a service, the protocol defined, multimedia multiplex frame structure provisions, etc. is ITU Recommendation H. 320、H. 320, H. 24 24
2、H. 2, H. 221などとして発表されている。 It has been announced as such as 221.

【0005】上記H. [0005] The H. 221では、64Kbpsから1 In 221, from 64Kbps 1
920KbpsまでのAVサービスにおけるフレーム構成および端末能力の交換や、通信モードのFAS(Fr Exchange and frame structure and the terminal capability of the AV service to 920Kbps, communication mode FAS (Fr
amAlignment Signal)、BAS(B amAlignment Signal), BAS (B
it Allocation Signal)の符号割当等が定義されている。 Code assignment, etc. of it Allocation Signal) is defined.

【0006】また、上記H. [0006] In addition, the H. 242では、BASを用いたAV端末間での能力交換、および通信モード切り替えなどのプロトコルが定義されており、上記H. In 242, capability exchange between AV terminals using BAS, and protocols such as the communication mode switching has been defined, the H. 320ではAVサービス全般のシステムアスペクトが定義されている。 System Aspects of AV service in general is defined in 320.

【0007】また、上記勧告においては、エンドツーエンドの物理コネクションの設定、およびインチャネルでのFASによる同期確立後、インチャネルでBASを用いた端末能力の交換シーケンス、通信モードの指定によるモード切り替えシーケンスなどの手順により端末間で画像、音声、データなどのマルチメディア通信を行うための方法が規定されている。 Further, in the above document, setting of a physical connection end-to-end, and after establishing synchronization by FAS in-channel, exchange sequence of terminal capability using BAS in-channel, mode switching by specifying a communication mode images between terminals by procedures such as a sequence, the audio, the method for performing multimedia communications, such as data is defined. ただし、各端末において自己の端末能力を状況に応じて変化させたり交換された能力の範囲内でどの通信モードを用いるかは規定の範囲外である。 However, the method of using the communication mode within the scope of its exchanged abilities varied according to the situation the terminal capability is outside the specified range in each terminal.

【0008】ところで、マルチメディア通信における各メディアの情報転送速度は、音声情報は音声符号化方式を指定することで決定される。 By the way, the information transfer rate of each medium in the multimedia communication, voice information is determined by specifying a speech coding scheme. また、データ情報は、その使用の有無、使用する場合の転送速度を指定することにより決定され、設定した通信路全体の情報転送速度から、音声情報の転送速度とデータ情報の転送速度を引いた残りが画像情報の転送速度になる。 Further, data information, whether the use is determined by specifying a transfer rate when using, the information transfer speed of the entire communication path set, minus the transfer rate of the transfer speed and data information of the audio information balance being a transfer rate of the image information.

【0009】また、パーソナルコンピュータやワークステーションにおいてもマルチメディア化が進行しており、従来のデータ通信から音声や映像などの通信が可能になりつつある。 [0009] Also in a personal computer or a work station and multimedia proceeds, is becoming a conventional data communication can communicate voice and video. この場合の通信媒体は、主にローカルエリアネットワークであり、データをパケット化して通信を行うようにしている。 Communication media in this case is primarily a local area network, and to perform communication by packetizing data.

【0010】上記ローカルエリアネットワークは、通常、構内で閉じているネットワークである。 [0010] The local area network is typically a network that is closed on the premises. しかし、最近では通信プロトコルについても、ネットワークにおけるノードの持つ機能を階層的に分割したレイヤの内の一つである(7)フィジカルレイヤで規定され、ゲートウェイやサーバーを介してかなり広域のネットワークでの相互通信も盛んに行われている。 However, for the recent communication protocol is one of the hierarchically divided layer the functions of the nodes in the network (7) is defined by the physical layer, in fairly wide area network via a gateway or server mutual communication have also been actively carried out.

【0011】 [0011]

【発明が解決しようとする課題】しかしながら、上記従来例のTV電話装置によれば、一つの端末との相互通信しか行うことができなかったので、多地点間との相互通信を考えた場合には、回線部を複数持つ必要があった。 [SUMMARY OF THE INVENTION However, according to the conventional example of the TV telephone apparatus, because it could not be carried out only mutual communication with one of the terminals, when considering the mutual communication with the inter-multipoint had to have multiple line portions.

【0012】また、画像や音声の通信をする際には、通信路の通信容量に限りがあるのでデータの圧縮伸張する符号化復号化を行うため、同時に相互通信する端末数分だけ画像復号化部を持つ必要があった。 Further, when the communication of image and sound, in order to perform the coding and decoding of compression and decompression of data because there is a limit to the communication capacity of the communication channel, the terminal number of only the image decoding intercommunicating simultaneously part there was a need to have.

【0013】ところで、音声の圧縮の場合はデータ量が画像に比べて少ないので、符号化復号化部を複数持つことはさほど問題にはならない。 By the way, since the amount of data in the case of audio compression is smaller than the image, providing a plurality of coding and decoding unit has to much a problem. しかし、画像の圧縮の場合は、アルゴリズムが複雑であり、かつデータ量も多いため、回路規模が膨大となる。 However, in the case of image compression, the algorithm is complicated, and since the amount of data many, the circuit scale becomes huge. さらに、高速な演算処理が必要となるとともに、使用する記憶容量も非常に大きいため、複数個持つのは難しいという問題があった。 Furthermore, other high-speed processing with is required, since the storage capacity to be used is also very large, there is a problem that it is difficult to have a plurality.

【0014】そこで、時分割処理で復号化する方法が考えられるが、その場合には、各端末から受信するデータを受信して一時的にバッファリングし、そのバッファリングした蓄積量に応じて復号化して行かなければならない。 [0014] Therefore, when a method of decoding are contemplated division processing, in which case the temporarily buffered receive data received from each terminal, decoded in accordance with the accumulated amount that the buffered It must go turned into to. しかし、このようにした場合には、複数の相手端末から非同期にかつ完全に独立に画像信号を受信するので、復号化部の処理能力を上回るようなデータを受信してしまうという問題があった。 However, in such a case, since the received image signals from a plurality of counterpart terminals asynchronously and completely independent, there is a problem that receives data, such as exceeding the processing capability of the decoding section .

【0015】本発明は上述の問題点にかんがみ、時分割処理で復号化し、しかも復号化部の受信能力を上回るようなデータを受信しないようにすることを目的とする。 [0015] The present invention In view of the above problems, when decoded by the dividing process, moreover aims to avoid receiving the data, such as exceeding the reception capacity of the decoder.

【0016】 [0016]

【課題を解決するための手段】本発明の画像通信装置は、複数の通信端末と画像通信を行う画像通信装置において、上記複数端末から送られる符号化画像信号を受信する受信手段と、上記受信手段により受信された符号化画像信号を復号化する復号化手段と、上記受信手段により受信された符号化画像信号の量が上記画像復号化手段の処理能力を越えないように調整する調整手段とを具備している。 Means for Solving the Problems] image communication apparatus of the present invention is an image communication apparatus for a plurality of communication terminals and image communication, receiving means for receiving encoded image signal sent from said plurality of terminals, said receiving and decoding means for decoding the received encoded image signals by means and adjusting means for the amount of received encoded image signal by said receiving means is adjusted so as not to exceed the processing capability of the picture decoding unit It is equipped with.

【0017】また、本発明の他の特徴とするところは、 [0017] It is another aspect of the present invention,
上記調整手段によって上記複数の通信端末にそれぞれ割り当てられた処理能力に応じた受信能力を、上記複数の通信端末に伝える伝達手段とを具備している。 Are provided with a transmission means for the reception capability in accordance with the processing capabilities allocated respectively to the plurality of communication terminals transmits to the plurality of communication terminals by said adjusting means.

【0018】また、本発明その他の特徴とするところは、上記調整手段は、各端末ごとに異なる処理能力を割り当てるようにしている。 Further, it is an invention other features, the adjustment means is to assign different processing capability for each terminal.

【0019】また、本発明その他の特徴とするところは、上記伝達手段は、上記複数の端末が符号化するための符号化制御情報を上記複数の通信端末に伝えることを特徴としている。 Further, it is an invention other features, the transmission means is a coded control information for the plurality of terminals are encoded, characterized in that transmitting to the plurality of communication terminals.

【0020】また、本発明のその他の特徴とするところは、複数の通信端末と画像通信を行う画像通信装置において、上記複数端末から送られる符号化画像信号を受信する受信手段と、上記受信手段により受信された符号化画像信号を復号化する復号化手段と、上記受信手段により受信された全ての端末からの符号化画像信号をある任意の時間内に処理する画素数が、上記画像復号化手段のある任意の時間内に処理する画素数を越えないように調整する調整手段と、上記調整結果に基づいて各端末に割り当てられた上記任意の時間内に処理する画素数に応じた受信能力を上記複数の通信端末に伝える伝達手段とを具備している。 [0020] According to still another feature of the present invention is an image communication apparatus for a plurality of communication terminals and image communication, receiving means for receiving encoded image signal sent from said plurality of terminals, said receiving means and decoding means for decoding the received encoded picture signal, the number of pixels to be processed in any time in the encoded image signals from all the terminals that are received by said receiving means, said image decoding and adjustment means for adjusting so as not to exceed the number of pixels to be processed within any time a unit, receiving capability corresponding to the number of pixels to be processed in the adjustment result to the in any time allocated to each terminal based the are and a transmission means for transmitting to the plurality of communication terminals.

【0021】また、本発明のその他の特徴とするところは、複数の通信端末と画像通信を行う画像通信装置において、上記複数端末から送られる符号化画像信号を受信する受信手段と、上記受信手段により受信された符号化画像信号を復号化する復号化手段と、上記受信手段により受信された全ての端末からの符号化画像信号をある任意の時間内に処理する画素数が、上記画像復号化手段のある任意の時間内に処理する画素数を越えないように調整する第1の調整手段と、上記受信手段により受信された符号化画像信号の総計が上記画像復号化手段の処理能力を越えないように調整する第2の調整手段と、上記調整結果に基づいて各端末に割り当てられた上記任意の時間内に処理する画素数と上記フレーム当たりの画素数に応じた受信能力と [0021] According to still another feature of the present invention is an image communication apparatus for a plurality of communication terminals and image communication, receiving means for receiving encoded image signal sent from said plurality of terminals, said receiving means and decoding means for decoding the received encoded picture signal, the number of pixels to be processed in any time in the encoded image signals from all the terminals that are received by said receiving means, said image decoding beyond a first adjustment means for adjusting so as not to exceed the number of pixels to be processed within any time a unit, the total received encoded image signal by the receiving means of the processing capability of the picture decoding unit and second adjustment means for adjusting so as not, the reception ability in accordance with the number of pixels per number and the frame pixel to be processed to the adjustment results to the in any time allocated to each terminal based 各相手端末に伝える伝達手段とを具備している。 It is and a transmission means for transmitting to each remote terminal.

【0022】また、本発明のその他の特徴とするところは、上記調整手段は、各端末ごとに異なる処理能力を割り当てるようにしている。 [0022] According to still another feature of the present invention, the adjustment means is to assign different processing capability for each terminal.

【0023】また、本発明のその他の特徴とするところは、上記調整手段は、処理能力の割当ての比率を優先度の高い端末には高く割り当て、優先度の低い端末には低く割り当てるようにしている。 [0023] According to still another feature of the present invention, the adjustment means, the ratio of allocation of processing capabilities allocated higher in priority terminal, the lower priority terminal to assign low there.

【0024】また、本発明のその他の特徴とするところは、上記調整手段は、画像を表示する画面サイズが大きい端末には処理能力を多く割り当て、画面を表示する画面サイズが小さい端末には処理能力を少なく割り当てるようにしている。 [0024] According to still another feature of the present invention, the adjusting means, the image on the terminal screen size is large to display the assigned lot of processing power and the terminal screen size is small to display a screen and to allocate fewer capabilities.

【0025】 [0025]

【作用】本発明は上記技術手段を有するので、受信手段で受信された複数端末からの符号化画像信号を復号化手段でもって復号化する際に、上記符号化画像信号の総計が上記画像復号化手段の処理能力を越えないように調整されるとともに、処理能力に応じた受信能力が上記複数の通信端末にそれぞれ割り当てられ、それが伝達手段により上記複数の通信端末に伝えられるようになるので、 Since having DETAILED DESCRIPTION OF THE INVENTION The present invention said technical means, when decoding with the decoding means a coded image signal from the plurality of terminals received by the receiving means, grand total the image decoding of the coded image signal while being adjusted so as not to exceed the processing capacity of means, reception capability in accordance with the processing capacity respectively assigned to the plurality of communication terminals, because it is so transmitted to the plurality of communication terminals by transmission means ,
上記符号化画像信号を時分割処理で復号化する際に、上記復号化手段の処理能力を上回るようなデータを受信してしまう不都合が防止されるようになる。 During the decoding of a time division process the coded image signal, so that disadvantage that receives data, such as exceeding the processing capability of the decoding means is prevented.

【0026】 [0026]

【実施例】以下、本発明の画像通信装置の一実施例を図面を参照して説明する。 EXAMPLES Hereinafter, a description will be given of an embodiment of an image communication apparatus of the present invention with reference to the drawings. 図1は、本実施例の画像通信装置の主な機能を説明するための機能構成図である。 Figure 1 is a functional block diagram for explaining the main functions of the image communication apparatus of this embodiment. 図1 Figure 1
において、は受信手段、は復号化手段、は調整手段、は伝達手段、は送信手段、9は画像出力部、8 In, the receiving means, decoding means, the adjustment means, the transmission means, the transmission means, 9 image output unit, 8
は表示部である。 It is a display unit.

【0027】上記受信手段は、通信中の複数端末から送信される符号化画像信号を受信するために設けられているものである。 [0027] The receiving means is provided for receiving the coded image signal to be transmitted from a plurality of terminals in communication. また、復号化手段は上記複数端末から送信され、上記受信手段によって受信された符号化画像信号を復号化するために設けられているものである。 Further, the decoding means is transmitted from said plurality of terminals, in which is provided for decoding the received encoded picture signal by said receiving means.

【0028】調整手段は、全ての端末から受信した符号化画像信号を復号化処理する能力の総計が上記画像復号化手段の処理能力を越えないように調整するために設けられているものであり、伝達手段は上記調整結果に基づき各端末に割り当てられた処理能力に応じた受信能力を各相手端末に伝えるためのものである。 The adjustment means is for the total capability to process decoding the coded image signals received from all the terminals are provided in order to adjust so as not to exceed the processing capability of the picture decoding unit , transmission means is for transmitting the reception capability in accordance with the processing capacity assigned to each terminal based on the adjustment result to the partner terminal.

【0029】送信手段は、上記伝達手段から出力される受信能力情報を相手の端末に送信するためのである。 The transmitting unit is the order to send the reception capability information output from the transmission means to the remote terminal. また、画像出力部9は、後で詳細に説明するように上記復号化手段から出力される復号化画像信号をテレビ信号に変換するためのものであり、8は上記画像出力部9から出力されるテレビ信号を画面上に表示するためのものである。 Further, the image output unit 9 is for converting the decoded image signal output from the decoding means as will be described in detail television signal, 8 is output from the image output unit 9 that is used to display the television signal on the screen.

【0030】図2は、本発明の一実施例に係わるTV電話装置の構成を示すブロック図であり、特に、回線数を4回線とし、同時通信を4端末と想定した場合の構成を示すブロック図である。 FIG. 2 is a block diagram showing a configuration of a TV telephone apparatus according to an embodiment of the present invention, in particular, and the number of lines 4 lines, showing the configuration when assuming simultaneous communication with 4 terminal block it is a diagram.

【0031】なお、本発明の画像通信装置の場合は、回線数には制限はないが、便宜上、4回線にした場合について説明する。 [0031] In the case of the image communication apparatus of the present invention is not limited to the number of lines, for convenience, be described as being in four lines. 図2において、1は音声入出力手段の一つであるハンドセット、2は音声入出力手段の一つであるマイク、3は音声出力手段の一つであるスピーカである。 2, the handset 1 is one of the voice input and output means, 2 is one of the voice input and output means microphone, 3 is a speaker, which is one of the sound output means.

【0032】4は音声インタフェース部である。 [0032] 4 is a voice interface unit. この音声インタフェース部4は、後述するシステム制御部12 The voice interface unit 4, the system controller 12 to be described later
の識別情報により、上記ハンドセット1、マイク2およびスピーカ3を切り換える機能を有している。 The identification information, the handset 1 has a function for switching the microphone 2 and the speaker 3. また、音量レベル調整のための利得調整機能と、ハンドセット1 Further, a gain adjustment function for the volume level adjustment, the handset 1
が、オンフック状態かオフフック状態かを検知するオン/オフ検知機能と、マイク2とスピーカ3を使用した時にエコーを消去するためのエコーキャンセル機能と、ダイヤルトーン、呼出トーン、ビジートーン、着信音などのトーン生成機能等も有している。 But the on / off detection function for detecting whether the on-hook state or an off-hook condition, the echo cancellation for canceling echoes when using microphone 2 and the speaker 3, dial tone, ringing tone, busy tone, such as ringtone tone generation and the like also has.

【0033】5は音声符号化復号化部(×4)である。 [0033] 5 is a speech coding and decoding unit (× 4).
上記音声符号化復号化部5は、システム制御部12の指示により、64kbpsPCM(A−law)、64k The speech coding and decoding unit 5, in accordance with an instruction from the system controller 12, 64kbpsPCM (A-law), 64k
bpsPCM(μ−law)、7kHzオーディオ(S bpsPCM (μ-law), 7kHz audio (S
B−ADPCM)、32kbpsADPCM,16kb B-ADPCM), 32kbpsADPCM, 16kb
ps(例えば、APC−AB)8kbpsなどの音声符号化/復号化アルゴリズムに従って、送信音声信号をA ps (e.g., APC-AB) according to the voice encoding / decoding algorithm, such as 8 kbps, the transmission audio signal A
/D変換して符号化する機能と、受信音声信号を復号化してD/A変換する機能を有している。 A function of encoding / D conversion, and has a function to convert D / A decodes the received audio signal.

【0034】6は、標準装備され人物を撮像する撮像カメラ、7は画像入力手段の一つであり、絵や図面などを入力するための書画カメラ、8は撮像カメラ6または書画カメラ7からの入力画像信号や、通信の相手から送られてきた受信画像信号や、システム制御部12から入力される画像信号を表示する表示部である。 [0034] 6, standard by imaging camera for capturing a person, 7 is one of the image input unit, a document camera for inputting a picture or drawing, 8 from the imaging camera 6 or document camera 7 input image signal and the reception image signal and transmitted from the communication partner is a display unit for displaying an image signal input from the system controller 12.

【0035】9は画像入力部/出力部であり、上記システム制御部12の指示により画像入力手段の切り換え機能と、上述した各画像信号の表示切り換えおよび表示分割機能と、各画像入出力部の映像信号と電気的/信号的な整合をとるための信号変換機等を有している。 [0035] 9 is an image input unit / output unit, and the switching function of the image input unit according to an instruction of the system control unit 12, a display switching and display splitting function of each image signal described above, each image output unit and a signal converter or the like for taking a video signal and an electrical / signal integrity.

【0036】10は画像符号化復号化部であり、送信画像信号をA/D変換し符号化する機能と、受信画像信号を復号化しD/A変換する機能とを有している。 [0036] 10 is an image encoding and decoding unit, has a function of encoding and A / D conversion of the transmitted image signal, and a function of decoded D / A converts the received image signal. 上記画像符号化復号化部10は、大容量の画像信号の生データに、動き補償、駒落とし、フレーム間補償およびフレーム間補償、DCT変換、ベクトル量子化変換などの種々の手法によって帯域圧縮を行い、小容量化してデジタル回線で伝送可能にしている。 The above-mentioned image encoding and decoding unit 10, the raw data of the image signal of a large capacity, motion compensation, dropped frames, inter-frame compensation and inter-frame compensation, DCT transform, the bandwidth compression by various techniques such as vector quantization conversion performed, thereby enabling transmission in a digital line with a small capacity. なお、現在のISDN回線の基本インタフェースは64kbpsであるが、この伝送速度でも伝送可能な画像信号の符号化方式としては、 Although basic interface of the current ISDN line is 64 kbps, as a coding technique of transmittable image signal at this transmission rate,
ITU勧告H. ITU Recommendation H. 261がある。 261 there is.

【0037】11は、画像通信装置の制御をするための操作部であり、制御情報入力のためのキーボード、タッチパネルなどを有している。 [0037] 11 is an operation portion for controlling the image communication apparatus, a keyboard for controlling data input, and a touch panel. 12はシステム制御部であり、CPU、ROM、RAM、補助記憶装置、キャラクタジェネレータ、画像信号生成回路などを備え、各部の状態を監視し装置全体の制御、状態に応じた操作/表示画面作成およびアプリケーションプログラムの実行などを行う。 12 is a system control unit, CPU, ROM, RAM, an auxiliary storage device, a character generator, and the like image signal generating circuit, controls the entire monitor the various parts of the state device, operating in accordance with the state / display screen creation and perform, such as the execution of the application program. 13は多重分離部(×4)であり、音声符号化部復号化部5からの音声データ、ビデオ符号化復号化部10からの画像データ、システム制御部12からのBA 13 is a demultiplexer (× 4), the audio data from the audio encoding unit decoding unit 5, the image data from the video encoding and decoding unit 10, BA from the system control unit 12
Sを送信フレーム単位に多重化するとともに、受信フレームを構成単位の各メディアに分離し各部に通知する機能を有している。 With multiplexed into the transmission frame units S, separated into each media constituent units received frame has a function of notifying the respective units. ITU勧告としては、H. The ITU recommendation, H. 221がある。 221 there is.

【0038】14は、ISDNユーザ網インタフェースに従って回線を制御する回線インタフェース(×4)である。 [0038] 14 is a line interface for controlling the line in accordance with ISDN user network interface (× 4). また、15は画像復号化処理能力制御部であり、 Further, 15 is an image decoding processing capacity control unit,
画像復号化部の復号化処理能力に応じて、各端末ごとに処理能力を割り当てる制御を行うためのものである。 Depending on the decoding capability of the image decoding unit is for performing the control for allocating the processing capability for each terminal. なお、4端末とは、4つの回線部14と4つの多重化部1 Incidentally, 4 terminal and has four lines 14 and four multiplexer 1
3を介して同時に通信が可能となる。 3 through can communicate simultaneously. 音声復号化部5 Speech decoder 5
は、4端末から受信した音声符号化データを4つの音声復号化部で同時に復号化し、画像復号化部10はひとつの復号化部で4つの画像符号化データを時分割処理で復号化を行う。 Is simultaneously decoded in four speech decoder the speech encoded data received from the fourth terminal, performs decoding by time division processing of four encoded image data image decoding unit 10 is one of the decoding section .

【0039】次に、図3を参照しながら画像復号化部の内部構成を説明する。 Next, explaining the internal structure of the image decoding unit by referring to FIG. 図3において、16〜19は画像符号化データのBCHフレームを外すためのBCH復号化部である。 3, 16 to 19 is the BCH decoding unit for removing the BCH frame of encoded image data. また、20〜23はBCHフレームが外され画像データ多重化フレームを一次蓄積し復号化部との同期をとる受信バッファである。 Moreover, 20 to 23 is a receiving buffer to synchronize the primary storage and decoding unit image data multiplexing frame removed is BCH frame.

【0040】24は、各受信バッファ20〜23の画像符号化データのうち復号化する画像符号化データを一つ選択する復号化選択回路、25は画像データ多重化フレームのフレームヘッダとGOBヘッダとを外す画像フレーム分離部、26は画像データを可変長復号化する可変長復号化(VLD)部である。 [0040] 24, the decoding selection circuitry selects one image coded data to be decoded among the coded image data of each receive buffer 20 to 23, 25 and the frame header and GOB header of the multiplexed frame image data image frame separator to remove the, 26 is a variable length decoding (VLD) unit for variable length decoding the image data.

【0041】27は各マクロブロックの係数データを逆量子化する逆量子化部、28は係数データを基に逆DC [0041] 27 inverse quantization unit for inverse quantizing the coefficient data of each macro block, the inverse DC is based on the coefficient data 28
Tする逆DCT部、29はフレームヘッダの内容を解読するFH解読部、30はGOBヘッダの内容を解読するGOBH解読部、31はマクロブロックの内容を解読するMBH解読部である。 Inverse DCT unit for T, 29 is FH decryption unit to decrypt the content of the frame header, 30 GOBH decryption unit to decrypt the contents of the GOB header, 31 is a MBH decryption unit to decrypt the contents of the macro block.

【0042】32はGOBヘッダおよびマクロブロックヘッダからのヘッダ情報の量子化ステップサイズを設定する量子化ステップサイズ設定部である。 [0042] 32 is the quantization step size setting unit for setting the quantization step size of the header information from the GOB header and macroblock header. 33および3 33 and 3
4はINTERモード時に受信した画像データと前フレームの画像データとの差分をとりフレームメモリに書き込むか、INTRAモード時に受信した画像データをそのままフレームメモリに書き込むかを切り換えるスイッチである。 4 is a switch for switching whether written in the frame memory takes the difference between the image data of the previous frame and the image data received in INTER mode, writes the image data received in INTRA mode directly to the frame memory. 35および36はフィルタ処理するか否かを切り換えるスイッチである。 35 and 36 is a switch for switching whether to filter. 37はフィルタであり、動き補償モード時に前フレームにフィルタ処理をする。 37 is a filter, which filters the previous frame motion compensation mode.

【0043】38は第1のフレーム制御部であり、復号化時に前フレームの画像データを記憶しているフレームメモリから読み出すメモリアドレスを出力する。 [0043] 38 is a first frame control unit, and outputs a memory address to read from the frame memory which stores the image data of the previous frame during decoding. 39は第2のフレーム制御部であり、復号化時に復号化処理を施した画像データをフレームメモリに書き込むメモリアドレスを出力する。 39 is a second frame control unit, and outputs a memory address for writing the image data subjected to the decoding process in decoding in the frame memory. 40は第3のフレーム制御部であり、フレームメモリの画像データを画像入出力部に転送するためフレームメモリから読み出すメモリアドレスを出力する。 40 is a third frame control unit, and outputs a memory address to be read from the frame memory for transferring image data of the frame memory to the image output unit.

【0044】41および42は、フレームメモリ(F [0044] 41 and 42, frame memory (F
M)である。 Is M). 43はスイッチであり、第1〜第3のフレーム制御部38、39、40から選択してフレームメモリ42へメモリアドレスを出力するためのものである。 43 is a switch, is for outputting a memory address to the frame memory 42 by selecting from the first to the third frame control unit 38, 39 and 40.
44は上記第1〜第3のフレーム制御部38、39、4 44 the first to third frame controller 38,39,4
0から選択してフレームメモリ42へメモリアドレスを出力するスイッチである。 Select from 0 a switch for outputting a memory address to the frame memory 42.

【0045】45はフレームメモリへの書込み時にどのフレームメモリに書き込むかを選択するスイッチである。 [0045] 45 is a switch for selecting whether to write to any frame memory at the time of writing to the frame memory. 46はスイッチであり、INTERモード時に前フレームを参照するが、そのときにどのフレームメモリから読み出すかを選択するためのものである。 46 denotes a switch, reference is made to the previous frame to the INTER mode is for selecting read or from which the frame memory at that time.

【0046】47は画像復号化部の全体を制御する復号化制御部であり、48は管理テーブル等を記憶する記憶部、49は画像出力部へ出力する画像データのフレームメモリを選択するスイッチである。 [0046] 47 is a decoding control unit that controls the entire image decoding unit, 48 is a memory which stores management tables, etc., 49 is a switch for selecting the frame memory of the image data to be output to the image output unit is there. 上記の構成により、 According to the above-described configuration,
複数の画像データを時分割で処理し、あたかも同時に処理しているように見せることが可能となる。 Treated in time division a plurality of image data, though it is possible to show as being processed at the same time.

【0047】次に、画像出力部9の内部構成を、図4に示す。 Next, the internal configuration of the image output unit 9, shown in FIG. 図4において、50は画像メモリへの書込み読出し時のメモリ空間を指定する画像メモリ制御部、51は各端末からの画像データを記憶するメモリ空間領域登録しておく記憶部である。 4, 50 is an image memory control unit for designating a memory space during writing and reading of the image memory, 51 is a storage unit to keep the memory space area registered stores image data from each terminal.

【0048】また、52はカラールックアップテーブル、53はグラフィック画像データと受信画像データとを切り換えるスイッチ、54はビデオ同期信号発生部、 [0048] Further, 52 color lookup table, 53 switches between the received image data and graphic image data switch, 54 is a video sync signal generator,
55はA/D変換部である。 55 denotes an A / D converter.

【0049】56はグラフィック画像データのある特定のデータの時に画像データに切り換える制御を行うスイッチ制御部である。 [0049] 56 is a switch control unit that performs control for switching the image data when the specific data that the graphic image data. 57は各端末からの画像データを別々に記憶する画像メモリ、58は復号化部からの画像データを画素密度変換する画素密度変換部である。 57 image memory for separately storing the image data from each terminal, 58 is a pixel density conversion unit for pixel density conversion image data from the decoding unit.

【0050】このように構成された画像出力部9により、カラールックアップテーブル52からのグラフィックデータを画面の全面に表示し、その画面上に複数の受信画像データをウィンドウ表示させることができる。 [0050] The image output unit 9 thus configured to display the graphic data from the color look-up table 52 on the entire surface of the screen, a plurality of received image data can be a window displayed on the screen. また、受信画像データ上にスーパーインポーズ表示のようにカラールックアップテーブル52からのグラフィックデータを表示させることが可能である。 Further, it is possible to display the graphic data from the superimpose display color look-up table 52 as on the received image data. また、複数の受信画像データが重なり合った時に、その重なり部分をどちらかの受信画像を選択して表示することができる。 Further, when overlapping a plurality of received image data can be displayed by selecting one of the received image overlapping portion thereof.

【0051】次に、上記構成図の動作を説明するが、その前に、画像データの符号化について簡単に説明する。 Next will be described the operation of the block diagram, before that, briefly described coded image data.
符号化処理を行う画像の構成については、図5および図6の(a)、(b)に示す。 The configuration of the image coding is performed, (a) of FIG. 5 and FIG. 6, shown in (b). 上記H. The H. 261勧告においては、取り扱うビデオ信号は、NTSC,PAL,デジタルテレビ規格などの異なった複数の規格が存在するため、お互いに通信ができるように世界共通のビデオ信号フォーマットを採用している。 In 261 recommendation, video signals handled, NTSC, PAL, since a plurality of standards different, such as a digital television standard exists, employing a universal video signal formats to enable communication with each other.

【0052】このフォーマットは、CIFフォーマットと称し、標本数が輝度Yは352画素×288ライン、 [0052] This format is referred to as CIF format, the luminance Y is the sample size is 352 pixels × 288 lines,
色差Cr,Cbは176画素×144ラインで規定されている。 Color difference Cr, Cb is defined in 176 pixels × 144 lines. また、標本点(サンプリング点)については、 In addition, the sample point (sampling point),
色差(Cr,Cb)は、輝度4地点(Y1,Y2,Y Color difference (Cr, Cb), the luminance four points (Y1, Y2, Y
3,Y4)の等距離にある点と定められている。 3, Y4) is defined as the point which is equidistant.

【0053】更に、CIFの1/4はQCIFフォーマットと称し、標本数が輝度Yは176画素×144ライン、色差Cr,Cbは、88画素×72ラインで定義されている。 [0053] In addition, 1/4 of the CIF is called QCIF format, the number of samples the luminance Y is 176 pixels × 144 lines, the color difference Cr, Cb is defined by 88 pixels × 72 lines.

【0054】ここで、上記フォーマットは、複数個のG [0054] Here, the format includes a plurality of G
OBフォーマットで構成され、そのGOBフォーマットは33個のMBフォーマットで構成されている。 Consists of OB format, the GOB format is constituted by 33 pieces of MB format. 更に、 In addition,
MBフォーマットは8画素×8ラインの輝度ブロックを、輝度Y1,輝度Y2,輝度Y3,輝度Y4の4つのブロックと、8画素×8ラインの色差ブロックをCr、 The luminance block of MB format 8 pixels × 8 lines, the luminance Y1, luminance Y2, luminance Y3, and four blocks of luminance Y4, the color difference blocks of 8 pixels × 8 lines Cr,
Cbの2ブロックで構成されており、階層構造となっている。 It is composed of two blocks cb, and has a hierarchical structure.

【0055】この階層構造により、符号化をMBフォーマット単位で行うことが可能となる。 [0055] By this hierarchy, it is possible to perform encoding in MB format units. GOBフォーマットは、標本数が輝度176画素×48ライン、色差C GOB format, the number of specimens luminance 176 pixels × 48 lines, the chrominance C
r,Cb88画素×24ラインに定義され、CIFフォーマットの1/12,QCIFフォーマットの1/3に相当し、GOBフォーマットの番号がCIFフォーマットはGOB1からGOB12まで割り当てられ、QCI r, Cb88 are defined in pixels × 24 lines, corresponds to 1/3 of 1/12, QCIF format CIF format, GOB format number of CIF format is allocated from GOB1 to GOB12, QCI
Fフォーマットは、GOB1,GOB3,GOB5が割り当てられている。 F format, GOB1, GOB3, GOB5 is assigned.

【0056】符号化された画像データのフレーム構成は、図7に示すような多重化フレーム構成となっている。 [0056] encoded frame structure of the image data has a multiplexing frame structure shown in FIG. ただし、ここでは説明の都合上、フレームヘッダF However, here for convenience of explanation, the frame header F
Hを付加したまま説明することとする。 And it is described while adding H.

【0057】図7は、はGOBのブロックによる構成を示している。 [0057] Figure 7 shows the arrangement according to blocks GOB. このように、画面の1フレームのデータの先頭にフレームヘッダFHがつき、画面を12分割した1ブロックをGOBとして、GOB1からGOB12まで順次伝送される。 Thus, the frame header FH is attached to the head of data of one frame of the screen, the 12 divided 1 block screen as GOB, it is sequentially transmitted from GOB1 to GOB12.

【0058】フレームヘッダFHは、PSCとTRとP [0058] frame header FH is, PSC and the TR and P
TYPEとで構成されている。 It is composed of a TYPE. フレームヘッダPSC Frame header PSC
は、フレーム開始符号で20ビットの“0000 00 Is, of the 20-bit frame start code "0000 00
000000 0001 0000”である。 000000 is a 0001 0000 ".

【0059】フレームヘッダTRは、フレーム番号で5 [0059] frame header TR is, in the frame number 5
ビットの“1”から“30”までの値を使用する。 Using the values ​​from "30" to "1" bit. PT PT
YPEはタイプ情報で6ビットで、スプリット・スクリーン指示情報、書画カメラ指示情報、画面凍結解除、情報源フォーマット指示情報(CIF,QCIF)が含まれている。 YPE is 6 bits in the type information, the split screen instruction information, document camera instruction information, screen freeze release information source format instruction information (CIF, QCIF) are included. つまり、FH解読部は、上記内容の解読結果を制御部28に通知することになる。 That, FH decrypting unit will be notified of the result of decoding the contents to the control unit 28.

【0060】GOBヘッダは、GBSCとGNとGQU [0060] GOB header, GBSC and the GN and GQU
ANTで構成されている。 It is composed of ANT. ヘッダGBSCはGOB開始符号で16ビットの“0000 0000 0000 Header GBSC is a 16 bit GOB start code "0000 0000 0000
0001”である。 0001 is ".

【0061】ヘッダGNは、GOB番号で4ビットで、 [0061] header GN is a 4-bit in the GOB number,
“1”から“12”まで使用する。 Use up to "1" to "12". ヘッダGNが“0” Header GN is "0"
の場合には、フレームヘッダPSCで使用しているので、フレームヘッダFHのPSCとGOBのGBSC+ In the case of, because it uses a frame header PSC, the PSC and GOB frame header FH GBSC +
GNは、ともに20ビットで連続した値と見なすことができる。 GN can be viewed as both successive values ​​in 20 bits.

【0062】ヘッダGQUANTは、量子化特性情報で5ビットで量子化ステップサイズの情報を含む。 [0062] Header GQUANT includes information of the quantization step size with 5 bits quantization characteristic information. MBヘッダはマクロブロック(MB)と称する画素ブロックのヘッダである。 MB header is a header of a pixel block called a macroblock (MB).

【0063】マクロブロックMBは、上述したように、 [0063] macro block MB, as described above,
33個のマクロブロックMBで1つのGOBヘッダを構成しており、1MBは8画素×8ラインの輝度信号(Y)4個と、8画素×8ラインの色差信号(Cb,C 33 macro constitute one GOB header block MB, 1MB is 8 pixels × 8 lines luminance signal (Y) 4 pieces and, 8 pixels × 8 lines of the color difference signals (Cb, C
r)2個で構成されている。 r) is composed of two.

【0064】ここで、各ブロックの番号として、輝度Y [0064] Here, as the number of each block, the luminance Y
には1から4まで、Cbには5、Crには6の番号が割り当てられている。 1 to 4, the Cb 5, the Cr 6 number is assigned to. このMBヘッダはMBAとMTYP The MB header MBA and MTYP
EとMQUANTとMVDとCBPとで構成されている。 It is composed of E and MQUANT and MVD and CBP.

【0065】MBAは、マクロブロックMBの位置を表すマクロブロックアドレスで先頭のマクロブロックMB [0065] MBA is the beginning of the macro block MB in the macro block address indicating the position of the macro block MB
のみ絶対値で、それ以降は、差分の可変長符号ある。 Only in absolute value, after that, there is a variable length code of the difference. M
TYPEは、マクロブロックMBのタイプ情報で、IN TYPE is the type information of the macro block MB, IN
TRA(フレーム内符号化)、INTER(フレーム間差分符号化)、MC(動き補償付きフレーム間差分符号化)、FIL(フィルター)などそのマクロブロックM TRA (intraframe coding), INTER (interframe differential coding), MC (motion-compensated interframe differential coding), FIL (filter) such as the macro block M
Bのデータに処理を施した処理タイプが挿入されている。 Processing type which has been subjected to processing to data of B is inserted. MQUANTは、GQUANTと同じである。 MQUANT is the same as the GQUANT.

【0066】MVDは、動きベクトル情報である。 [0066] MVD is the motion vector information. CB CB
Pは有意ブロックパターンで先ほどのマクロブロックM P previous macro block at a significant block pattern M
Bの輝度Yの4個とCr,Cbのうちの有効な画素ブロックの番号を情報として含んでいる。 4 and Cr luminance Y of B, and number of effective pixel blocks of the Cb contains as information. このMBヘッダの後には、圧縮符号化した画像データが先述したように、 As after the MB header compression encoded image data has been described above,
輝度Y4個Cr,Cbのうち有意ブロックとなった画素ブロックが番号順に入っている。 Luminance Y4 or Cr, pixel block a significant block of Cb is in the numerical order.

【0067】回線に出力されるデータは、図8に示すようなフォーマットの誤り訂正フレームである。 [0067] Data to be output to the line is an error correction frame format shown in FIG. 図8に示したように、1フレームは、誤り訂正フレームビットが1ビット、フィル識別子が1ビット、画像データが49 As shown in FIG. 8, one frame, one bit error correction framing bits, 1 bit fill identifier, the image data is 49
2ビット、誤り訂正パリティーが18ビットの512ビットで構成されている。 2 bits, and a 512-bit error correction parity is 18 bits. 更に、このフレームが8フレームで1マルチフレームを構成している。 Moreover, this frame constitutes one multiframe in 8 frames.

【0068】この画像データの圧縮方法および画像フォーマットは、ITUでH. [0068] compression method and an image format of the image data, H. in ITU 261勧告として既に勧告化されており、その勧告に準拠していれば、他の勧告に準拠したTV電話とも相互通信が可能となる。 261 has already been recommended as a recommendation, if it conforms to the recommendation, mutual communication can be both TV telephone conforming to other recommendations.

【0069】次に、符号化方法を簡単に説明する。 Next, briefly described encoding method. まず、自然界の映像には画素間の相関が強いことや周波数成分が低周波に集中し高周波は小さいことなどを利用してフレーム内のデータを8画素×8画素のブロックとし2次元DCT変換するフレーム内符号化がある。 First, in nature of the image stronger structure and frequency correlation between the pixels are concentrated to a high frequency data in the frame by utilizing the like that is small and 8 pixels × 8 pixel block two-dimensional DCT transform for the low frequency there is an intra-frame coding.

【0070】次いで、前フレームと現フレームの同位置の画像ブロックにおいて両者の相関が強い時にフレーム間の差分を取りその差分値に対して8画素×8画素のブロックを2次元DCT変換するフレーム間符号化がある。 [0070] Next, inter-frame two-dimensional DCT converts 8 pixels × 8 pixel blocks with respect to the difference value takes a difference between frames when the previous frame and the correlation between them is strong in an image block at the same position of the current frame there is a coding.

【0071】次いで、前フレームから現フレームへ類似した画像ブロックが相対的に隣接移動した場合に、これを検知してその画像ブロックの移動量と移動方向の情報を送るのみで、画像データそのものを送らずに済ませることで発生データ量を減らす動き補償がある。 [0071] Then, when the image block that is similar from the previous frame to the current frame is relatively adjacent moving, only sends the amount of movement information of the moving direction of the image block detects this, the image data itself there is motion compensation to reduce the generation data amount be dispensed without sending.

【0072】次いで、DCT変換後の各周波数ごとの係数値が低周波領域では値が発生するが、高周波領域では値が発生しにくくゼロ値が続くことを利用したゼロランレングス符号化がある。 [0072] Then, the coefficient value for each frequency after DCT conversion value is generated in the low frequency region, values ​​in a high frequency region is zero run length encoding using that hardly zero values ​​followed occur.

【0073】次いで、データの発生量に応じてデータの量子化ステップ幅を変更することでデータの発生量を調整する量子化がある。 [0073] Then, there is a quantization of adjusting the amount of generated data by changing the quantization step width of the data in response to the occurrence of data.

【0074】次いで、発生頻度の高いデータパターンに対しては短い符号値を、発生頻度の低いデータパターンに対しては長い符号値を割り当てることで、トータル的には発生したデータ量よりも少ないデータ量に変換する可変長符号化がある。 [0074] Then, the short code value for high data pattern occurrence frequency and assigning a long code values ​​for infrequent data patterns, less than the amount of data generated in the total data there is a variable-length coding to convert the amount.

【0075】また、フレームをスキップして、画像データそのものを落としてしまう駒落しなど、複数の圧縮技術をハイブリットにして、低レートの通信においても動画像の通信を可能としている。 [0075] Also, by skipping frames, etc. lapse worsen image data itself, and a plurality of compression techniques hybrid, thereby enabling communication of the moving image even at a low communication rate.

【0076】次に、画像復号化処理能力制御部について図9および図10を参照して説明する。 [0076] Next, the image decoding capacity control section with reference to FIGS. 9 and 10 will be described. 図9は、復号化処理能力の割り当て制御の動作フローであり、図10 Figure 9 is an operation flow of the assignment control of the decoding processing capability, FIG. 10
は、復号化部処理可能なメモリ空間の割り付け制御の動作フローである。 Is an operational flow of the assignment control of the decoding unit process memory space. なお、画像処理能力は、一つの例として、単位時間当たりに処理可能な画素数がある。 Note that the image processing capability, as one example, there is a processable number of pixels per unit time.

【0077】例えば、CIFで60fpsの場合には、 [0077] For example, in the case of 60fps at CIF is,
1秒当たりの処理する画素数は、352画素×288ライン×60フレーム=6,082,560画素である。 The number of pixels to be processed per second is 352 pixels × 288 lines × 60 frames = 6,082,560 pixels.
なお、QCIFの場合には、その1/4である。 It should be noted that, in the case of QCIF is its 1/4.

【0078】ここで、処理能力を説明する際に、1秒当たりに処理する画素数での説明を簡略化するため、以降は、画素数ではなく、画像フォーマット(例えば、CI [0078] Here, in describing processing power, in order to simplify the description of the number of pixels to be processed per second, subsequent, rather than the number of pixels, the image format (for example, CI
F/QCIF)とフレームレート(例えば、フレーム/ F / QCIF) frame rate (e.g., frame /
秒)の組み合わせで説明することにする。 It will be explained by a combination of seconds). ただし、本発明の画像通信装置はこの組み合わせに限定されるものではない。 However, the image communication apparatus of the present invention is not limited to this combination.

【0079】画像復号化処理能力制御部の動作が開始されると、まず、ステップS1において初期化処理を行った後で、ステップS2にて画像復号化部の復号化処理能力Xを設定する。 [0079] When the operation of the image decoding processing capacity control unit is started, after the initialization process was carried out at step S1, setting a decoding capability X of the image decoding unit at step S2. 次に、ステップS3に進み、同時通信する端末数を設定するとともに、次のステップS3でその端末について優先順位の順に番号nを付ける。 Then, in step S3, and sets the number of terminals simultaneously communicating, numbered n in order of priority for the terminal in the next step S3.

【0080】その後、ステップS5において、番号nと輝度Y0は“0”を設定し、ステップS6にて番号nを+1する。 [0080] Thereafter, in step S5, the number n and the luminance Y0 is set to "0", +1 the number n at step S6. 次に、ステップS7に進み、画像復号化部の復号化処理能力を端末数で割り、各端末に割り当てる平均の復号化処理能力を求め、優先係数αnを乗ずることにより、端末に割り当てる処理能力Ynを算出する。 Then, the process proceeds to step S7, the decoding processing capability of the picture decoding unit divided by the number of terminals determines the decoding capability of the average to be allocated to each terminal, by multiplying the priority coefficient .alpha.n, capacity Yn to be allocated to the terminal It is calculated. そして、次のステップS8で、その算出された処理能力Y Then, at the next step S8, the calculated capacity Y
nを第n番目の端末の処理能力として設定する。 Setting the n as the n-th terminal processing capacity.

【0081】次に、ステップS9に進み、その処理能力を累計する。 [0081] Then, the program proceeds to a step S9, the total its capacity. そして、次のステップS10において、その累計した処理能力が画像復号化部の処理能力を越えていないか否かを判断し、越えていなければステップS1 Then, at the next step S10, it is determined whether the accumulated the capacity does not exceed the processing capability of the picture decoding unit, if not beyond the step S1
1に進んで全ての端末へ処理能力の割り当てが終了したか否かを調べる。 The allocation of capacity to all terminals checks whether finished proceeds to 1. そして、もし終了していなければ、ステップS6に戻る。 Then, if it has not been completed if, returns to the step S6.

【0082】ここで、番号nを+1して、次の端末の処理能力の割り当てを行うが、その際に、画像復号同時通信する端末数を設化部の処理能力から既に割り当て済みの累計の処理能力を減じた処理能力を割り当ての完了していない端末数で割り、その平均を算出する。 [0082] Here, the number n by +1, while the allocation of the next terminal processing capacity, the time, the number of terminals communicating image decoding simultaneous already assigned cumulative from the processing capability of the 設化 portion dividing the capacity obtained by subtracting the processing capability on the terminal number is not completed assignment, to calculate the average. そして、 And,
ステップS7において、それにその端末の優先係数を乗じてその端末の復号化処理能力を算出する。 In step S7, it is multiplied by the priority factor of the terminal calculates the decoding capability of the terminal.

【0083】次に、ステップS8にてその算出された処理能力をその端末の処理能力として設定し、以下同様の処理を行う。 Next, the calculated capacity at step S8 is set as the processing capability of the terminal, performs the same processing. こうして、全ての端末に処理能力の割り当てを完了すると終了する。 Thus, it ends for completing the allocation of capacity to all terminals.

【0084】また、上記ステップS10の判断の結果、 [0084] Further, as a result of the determination in step S10,
累計した処理能力が画像復号化部の処理能力を越えている場合は、ステップS12に進んでエラー処理を行い、 If total the capacity exceeds the processing capability of the picture decoding unit performs error processing proceeds to step S12,
処理を終了する。 The process is terminated. 画像復号化処理制御部は上記のようにして、算出された各端末の処理能力を基に、各端末に対して、その割り当てられた処理能力に応じた端末受信能力を送信する。 Video decoding control unit as described above, based on the processing capability of each terminal is calculated, for each terminal, transmits the terminal receiving capability in accordance with the assigned capacity.

【0085】次に、図10のフローチャートを説明する。 [0085] Next, the flowchart of FIG. ここで、画像復号化部の画像メモリ空間は、現フレームとの差分をとるために前フレームが蓄積されている参照メモリと現メモリを蓄積するメモリが必要である。 Here, the image memory space of the image decoding unit, it is necessary memory for storing the reference memory and the current memory previous frame for obtaining a difference between the current frame are stored.

【0086】しかし、この両者に割り当てられる許容メモリ空間は、復号化部が持つメモリ容量により決定してしまう。 [0086] However, the allowable memory space allocated to the two is thus determined by the memory capacity possessed by the decoding unit. そこで、この許容されるメモリ容量の範囲内で如何に各端末にメモリ容量を割り振るかを制御することが重要である。 Therefore, it is important to control how allocate memory capacity how each terminal within the memory capacity to be the permissible.

【0087】図10に示したように、まず、ステップS [0087] As shown in FIG. 10, first, the step S
21にて初期化処理を行った後で、ステップS2に進んで画像復号化部の処理可能な画素数Vを設定する。 After performing the initialization process at 21, sets the processable number of pixels V in the image decoding unit proceeds to step S2. 次に、ステップS23に進み、同時通信する端末数を設定した後、ステップS24においてその端末について優先順位の順に番号nを付ける。 Then, the process proceeds to step S23, after setting the number of terminals simultaneously communicating, numbered n for the terminals in the order of priority in step S24.

【0088】その後、ステップS25にて番号nと画素数W0に“0”を設定するとともに、ステップS26にて番号nを+1する。 [0088] Then, with "0" is set to the number n and the pixel number W0 at step S25, the +1 the number n in step S26. 次に、ステップS27に進み、画像復号化部の処理可能な画素数を端末数で割り、各端末に割り当てる平均の処理可能な画素数を求め、優先係数βnを乗ずることにより、端末に割り当てる画素数Wn Then, the program proceeds to a step S27, the number of processable pixels of the image decoding unit divided by the number of terminals, an average number of processable pixels allocated to each terminal is assigned by multiplying the priority coefficient .beta.n, the terminal pixel number Wn
を算出する。 It is calculated.

【0089】次に、ステップS28において、その算出された画素数Wnを、第n番目の端末の画素数として許容されるメモリ領域に割り当てる。 Next, in step S28, the calculated pixel number Wn, allocates the memory area allowed for the n-th pixel number of terminals. 次に、ステップS2 Next, step S2
9において、その画素数を累計するとともに、ステップS30においてその累計した画素数が画像復号化部の処理可能な画素数を越えているか否かを調べる。 In 9, as well as total the number of pixels, the number of pixels that accumulated at step S30 checks whether or not exceeds the number of processable pixels of an image decoding unit.

【0090】上記ステップS30の判断の結果、処理可能な画素数を越えていなければ、ステップS31にて全ての端末へ処理可能な画素数の割り当てが終了したか否かを調べ、もし終了していなければ、ステップS6へ戻る。 [0090] as a result of the determination in step S30, if not exceed the number that can be processed pixel, the allocation of the number of processable pixels to all terminals examines whether or not it is completed at step S31, has been completed if if not, the process returns to the step S6.

【0091】ここで、番号nを+1した後、次のステップS27で次の端末の処理可能な画素数の割り当てを行う。 [0091] Here, after +1 number n, the allocation of the processable number of pixels of the next terminal in the next step S27. その際に、画像復号化部の処理可能な画素数から既に割り当て済みの累計の処理可能な画素数を減じた画素数を割り当ての完了していない端末数で割り、その平均を算出し、それにその端末の優先係数を乗じてその端末の復号化処理能力を算出する。 At that time, divided by the number of terminals that are not completed already assigned the number of pixels by subtracting the processable number of pixels allocated total from processable number of pixels of the image decoding unit, the average is it multiplied by the priority factor of the terminal calculates the decoding capability of the terminal. 次のステップS28にて、その算出された処理可能な画素数をその端末の画素数として設定する。 In the next step S28, sets the processable number of pixels thereof is calculated as the number of pixels that terminal. 以下同様の処理を行う。 It performs the same processing below. こうして、 thus,
全ての端末に処理可能な画素数の割り当てを完了すると終了する。 It ends for completing the assignment of the processable number of pixels in all the terminals.

【0092】画像復号化処理制御部は、上記のようにして算出された各端末の画素数を基に、各端末に対して、 [0092] Image decoding processing control unit, based on the number of pixels each terminal is calculated as described above, to each terminal,
その割り当てられた画素数に応じた端末受信能力を送信する。 It transmits the terminal receiving capability in accordance with the number of the allocated pixel. なお、上記の説明では、相手端末に送信する制御情報として、上記処理能力や処理可能な画素数に応じた端末受信能力に置き換えて送信しているが、上記情報をそのまま伝達し相手端末でその情報に基づいた符号化制御を行うようにしてもい。 In the above description, as the control information to be transmitted to the counterpart terminal, although transmission by replacing the terminal receiving capability in accordance with the processing power and can be processed number of pixels, the at the other terminal directly transmits the information had so as to perform encoding control based on the information.

【0093】また、更に、上記情報以外に、符号化に係わるあらゆる制御情報(例えば、データの転送レート、 [0093] Also, further, in addition to the above information, any control information relating to the encoding (e.g., data transfer rate,
動き優先か画質優先かの優先モードなど)も図9および図10に示した割り当て制御の動作フローで同様に、各端末の割り当てを行い、その割り当て情報を相手端末に送信し、相手端末がその情報に基いて制御したり、あるいは、その情報に応じた端末受信能力を送信することは可能である。 Like an operation flowchart of the assignment control motion, such as priority or image quality priority or priority mode) is also shown in FIGS. 9 and 10, to assign each terminal, and sends the allocation information to the counterpart terminal, the other party terminal and control based on information, or it is possible to transmit the terminal receiving capability in accordance with the information.

【0094】ここでは、上述したH. [0094] In this case, the above-described H. 221やH. 221 and H. 26 26
1等の勧告に限定されないことは明白であるが、便宜上、上記勧告に沿って説明することにする。 While it is apparent that the invention is not limited to recommendations 1 such for convenience, it will be described in along the recommendation. 例えば、画像復号化部の復号化処理能力がCIFフォーマットを3 For example, the decoding processing capability of the picture decoding unit a CIF format 3
0fpsで処理可能な場合に、4端末と通信する場合に、各端末に優先順位が設定されていなければ各端末に割り当てられる処理能力は、CIFフォーマットで7. 7 If possible treatment with 0Fps, when communicating with the fourth terminal, processing capacity assigned if each terminal is not set priority to each terminal, in CIF format.
5fpsの処理能力かQCIFで30fpsの処理能力である。 In 5fps of processing capacity or QCIF is the 30fps of processing capacity.

【0095】また、4端末のうち、1端末が優先順位が設定されていて優先係数が2の場合には、平均の処理能力の2倍の能力が割り当てられるので、通常の2端末分が割り当てられ、残りの2端末分を3端末で平均することになり、結果として、各端末の処理能力の比率は、 [0095] Also, among the four terminals, 1 if the terminal is the priority coefficient is set priority is 2, because it is assigned twice the capacity of the average throughput, normal 2 terminal worth assignment is, now averaging the remaining two terminals min at 3 terminals, as a result, the ratio of the processing capability of each terminal,
3:1:1:1になる。 3: 1: 1: 1. この場合には、1端末がCIF In this case, the first terminal is CIF
フォーマットで15fps、3端末がCIFで5fps Format at 15fps, 3 5fps terminal at CIF
となるか、1端末がCIFフォーマットで15fps、 To become either, 1 15fps terminal in the CIF format,
3端末がQCIFで20fpsとなる。 3 terminal is 20fps in QCIF.

【0096】また、算出された各処理能力を各相手端末に伝えることにより、各相手端末は、その能力に応じて画像信号を符号化して送信してくるので、画像復号化部が持つ復号化能力を最大限利用するとともに、各端末に対して最適な処理能力の割り当てが可能となるので、非常に効率の良い優れた多地点画像通信が実現できる。 [0096] Furthermore, by transferring the respective processing capacity calculated for each remote terminal, the remote terminal, since coming image signals and transmits the encoded according to their ability, decoded by the image decoding unit has with maximum use of the capacity, since it is possible to assignment of optimum capacity to each terminal, very efficient excellent multipoint image communication can be realized.

【0097】次に、復号化部全体の動作について説明する。 [0097] Next, the operation of the whole decoder. 上記の方法で各端末から受信された符号化画像データは、各々別々にBCH復号化されて各々の受信バッファに蓄積される。 Encoded image data received from each terminal in the above method, are each separately stored in the receiving buffer of each are BCH decoded. なお、ここでは複数のBCH復号化部にしているが、時分割処理により一つにすることは可能である。 Here, although the plurality of BCH decoding unit, it is possible to together by time division processing.

【0098】復号化制御部47は、復号化する前に受信バッファの蓄積状況を検索し、フレームヘッダを検知する。 [0098] decoding control unit 47 searches the storage state of the reception buffer before decoding, detecting a frame header. あるいは、受信バッファの蓄積容量を算出する(H.261では、QCIFフォーマットでは1フレーム当たり最大64kbit、CIFでは1フレーム当たり最大256kbitと定められている)などの方法により1フレーム蓄積されているようであれば、この1フレーム以上蓄積されている受信バッファのうちの一つから選択して画像符号化データを読み出す。 Alternatively, (in H.261, in QCIF format up to 64k bit, is defined as CIF in 1 frame per maximum 256kbit per frame) to calculate the storage capacity of the receiving buffer seems to be one frame accumulated by a method such as if reads image encoded data by selecting from one of the reception buffer is stored the one or more frames.

【0099】そして、そのデータに対して、VLD、逆量子化、逆DCTなどの復号化を施して画像データにする。 [0099] Then, for the data, VLD, an inverse quantization, to the image data by performing decoding, such as inverse DCT. そして、INTERモードの時には、選択された受信バッファの画像データの全画像データを蓄積しているフレームメモリのメモリ領域を記憶部48に登録されているフレームメモリ管理テーブルから検索する。 Then, when the INTER mode is retrieved from the frame memory management table registered memory area of ​​the frame memory which stores the entire image data of the image data of the selected receiving buffer in the storage unit 48. そして、スイッチ46でそのフレームメモリのメモリ領域を選択し、フレームメモリ制御1のアドレス制御によりその全画像データを読み出し、フィルタが必要であればフィルタ37でフィルタ処理を施す。 Then, select the memory area of ​​the frame memory in the switch 46, reads out the entire image data by the address control of the frame memory control 1, the filtering process performed by the filter 37 if the filter is required.

【0100】次に、スイッチ33とスイッチ34により加算器を選択し、先ほどの復号化された画像データと全画像データを加算し、空いているフレームメモリのメモリ領域をフレームメモリ管理テーブルから検索する。 Next, select the adder by the switch 33 and the switch 34, and adds the image data and all image data decoded in previous searches the memory area of ​​the frame memory vacant from the frame memory management table . そして、スイッチ45でそのフレームメモリのメモリ領域を選択し、第2のフレームメモリ制御部39のアドレス制御により加算した画像データを書き込む。 Then, select the memory area of ​​the frame memory in the switch 45, and writes the image data obtained by adding the address control of the second frame memory controller 39.

【0101】また、INTRAモードの時には、スイッチ46で選択したフレームメモリのメモリ領域からの読み出しはなく、復号化された画像データをスイッチ33 [0102] Further, in the case of INTRA mode, rather than reading from the memory area of ​​the frame memory selected by the switch 46, the decoded image data switch 33
とスイッチ34により加算器OFFを選択し、先ほどスイッチ45で選択したフレームメモリのメモリ領域にその画像データを書き込む。 And select adder OFF by a switch 34, and writes the image data in the memory area of ​​the frame memory selected in the previous switch 45.

【0102】また、画像データを画像出力部へ転送する際には、スイッチ49により読み出す画像データのフレームメモリのメモリ領域を選択し、第3のフレーム制御部40からのアドレス制御により、画像データを読み出す。 [0102] Further, when transferring the image data to the image output unit selects a memory area of ​​the frame memory of the image data read out by the switch 49, the address control from the third frame control unit 40, the image data read out. そして、この画像データを転送する際には、画像復号化部10から画像出力部9へその画像データがどの受信バッファからの画像データであるかを識別する情報も転送する。 Then, when transferring the image data is also transferred information identifying whether the image data from the image decoding unit 10 from which the reception buffer image data of the image output unit 9 navel.

【0103】次に、受信画像のフレームメモリの割当例を、図11および図12に示す。 [0103] Next, an example of allocation of the frame memories of the received image, shown in FIGS. 11 and 12. 図11の(a)は、C (A) of FIG. 11, C
IFフォーマットで、1:1通信において受信した場合のフレームメモリの使用である。 In IF formats, 1: 1 is the use of the frame memory when receiving the communication.

【0104】また、図11の(b)は、QCIFフォーマットで1:1通信した場合のフレームメモリの使用である。 [0104] Further, (b) in FIG. 11, 1 QCIF format: 1 is the use of a frame memory in the case where the communication. つまり、QCIFで通信している場合にはメモリの未使用領域が多くかなり無駄である。 That is, when communicating with QCIF is fairly many unused area of ​​the memory useless.

【0105】図11の(c)は、本実施例において4端末が同じ復号化処理能力を割り当てられ同時通信する場合で、各端末からはQCIFフォーマットで受信される。 [0105] Figure 11 (c) shows a case where 4 terminal in this embodiment to communicate simultaneously assigned to the same decoding capability, from each terminal is received in QCIF format. また、A,B,C,Dに対してフレームメモリのメモリ領域を4分割してQCIF(A),QCIF Further, A, B, C, and divided into four memory areas of the frame memory for the D QCIF (A), QCIF
(B),QCIF(C),QCIF(D)に割り当てられている。 (B), it is assigned to QCIF (C), QCIF (D).

【0106】図12の(d)は、図11の(c)の時のCIFで割り当てられた場合を示している。 [0106] Figure 12 (d) shows a case assigned at CIF when the (c) of FIG. 11. この場合は、メモリはQCIFで受信する場合より多く必要である。 In this case, the memory is required more than the case of receiving with QCIF. 図12の(e)は、本実施例において4端末中1端末が優先され、その処理能力の比率が3:1:1:1の場合で、1端末がCIFで3端末がQCIFの場合である。 Figure (e) is 12, 1 terminal 4 terminal in the present embodiment has priority, the ratio of the processing capacity 3: 1: 1: 1, the first terminal 3 terminal at CIF there is in the case of QCIF is there.

【0107】なお、復号化処理に必要な参照フレームは同様に必要なので、フレームメモリは上記フレームメモリの2倍必要になる。 [0107] Since the reference frames necessary for decoding processing is the same as required, a frame memory is required twice the frame memory. こうして、各端末からの画像データの復号化は、上記割り当てられたメモリ領域を使用して行われる。 Thus, decoding of image data from each terminal is performed using the memory area assigned. また、画像入出力部への画像データの転送も、各端末の割り当てられたメモリ領域ごとに転送される。 The transfer of image data to the image output unit are also transferred to each memory area assigned of each terminal.

【0108】図13に、フレーム制御タイミングを示す。 [0108] FIG. 13 shows a frame control timing. 図13において、画像データは、現在復号化されている画像データを示している。 13, the image data shows the image data currently being decoded. フレームの処理周期に対して、1フレームの画像データの復号化処理時間は短くなるようにフレーム周期は設定されている。 The processing cycle of the frame, the frame period as the decoding processing time is shortened in the image data of one frame is set.

【0109】また、ブロックの大きさは処理時間を示している。 [0109] The size of the block indicates the processing time. そして、ブロック内の数字はフレーム識別番号で受信バッファとフレーム番号で現している。 The numbers in the block are expressed by the receive buffer and the frame number in the frame identification number. 例えば、 For example,
A1は受信バッファAのフレーム番号1番目である。 A1 is the first frame number of the reception buffer A.

【0110】書き込みフレームメモリは、上記の画像データが書き込まれるフレームメモリ番号である。 [0110] The write frame memory is a frame memory number image data described above is written. 読み出しフレームメモリは、上記画像データと加算されるための全画像データが読み出されるフレームメモリ番号である。 Reading the frame memory is a frame memory number all the image data to be added to the image data is read out.

【0111】このことから、画像データがA2で書込みフレームメモリがFM2(A)で読み出しフレームメモリがFM1(A)の場合には、受信バッファAから読み出された画像符号化データを復号化した画像データを、 [0111] Therefore, image data write frame memory A2 when reading frame memory FM2 (A) is FM1 (A) is obtained by decoding coded image data read out from the receiving buffer A the image data,
INTERモード時はFM1(A)に蓄積されている前回の受信バッファAの画像データA1と加算してFM2 INTER mode by adding the image data A1 of the receiving buffer A of the previous stored in FM1 (A) FM2
(A)に書込み、INTRAモード時はそのままFM (A) in writing, INTRA mode as it is FM
(A)に書き込むことを現している。 It represents the be written to (A).

【0112】また、バッファに復号化すべき画像符号化データが1フレーム分蓄積されていない場合には、そのフレーム処理周期は何もしない。 [0112] Further, when the image coded data to be decoded in the buffer is not stored one frame, the frame processing period does nothing. また、画像符号化データを復号化している途中でエラーが発生した場合は、復号化処理を中断し書き込まれていたフレームメモリは直ちに更新されずに引き続き空のフレームメモリとして登録される。 The error in the middle that decodes the coded image data if generated, the frame memory has been written to interrupt the decoding process is registered as a frame memory continue empty to not updated immediately. また、読み出されていたフレームメモリも更新されずに引き続き保持されて、次回の復号化処理まで持ち越される。 Also, a frame memory which has been read out subsequently held without being updated, carried over until the next decoding process. そのため、フレーム処理周期ごとにフレームメモリの使用状況を管理する必要がある。 Therefore, it is necessary to manage the usage of the frame memory for each frame processing period.

【0113】図14は、そのために用いるフレームメモリ管理テーブルを示している。 [0113] Figure 14 shows the frame memory management table used for this purpose. この管理テーブルは、記憶部47に記憶されており、毎フレーム周期ごとに画像データの書込みの最初に空きフレームメモリを参照する。 This management table is stored in the storage unit 47, refers to the free frame memory to the beginning of the writing of the image data for each frame period. そして、書込みが終了すると、加算するために読み出されていたフレームメモリの画像データは古くなり、 When the writing is completed, the image data of the frame memory which has been read out to adding becomes stale,
この古い画像データは不要となるためこのフレームメモリは空として登録され、書き込まれていたフレームメモリの画像データが古い画像データに取って替わることになる。 The old image data the frame memory to become unnecessary is registered as empty, so that the image data of the frame memory which has been written is changed taking the old image data. このため、このフレームメモリが新規に登録される。 Because of this, the frame memory is registered to the new.

【0114】なお、図14の場合は、図13の矢印の位置での登録状況が示されている。 [0114] In the case of FIG. 14, there is shown a registration status at the position of the arrow in FIG. 13. 画像データB2をFM FM image data B2
1(B)から画像データB1を読み出して加算しFM 1 (B) adding the image data is read B1 from and FM
(B)への書込みが終了したところなので、FM1 Because where the writing to the (B) has been completed, FM1
(B)が空き、FM2(B)がB2となっている。 (B) is a free, FM2 (B) has become a B2.

【0115】復号化された画像データを画像出力部へ転送するためにフレームメモリから読み出す場合には、フレーム処理周期の1周期前に復号化処理された画像データを次のフレーム処理周期の時に読み出すのが容易な制御でよい。 [0115] When reading the decoded image data from the frame memory to be transferred to the image output unit reads the image data processed decrypted before one period of the frame processing period at the next frame processing period the may be the easy control.

【0116】ただし、復号化のために書込み処理中のフレームメモリ以外であればどのフレームメモリから画像データを読み出してよい。 [0116] However, from which the frame memory as long than the frame memory during a write process may read the image data for decoding. また、その読み出された画像データとともに、フレーム識別番号も図4の画像出力部へ転送される。 Also, together with the read image data, frame identification numbers is also transferred to the image output unit of FIG.

【0117】転送された画像データは画素密度変換されて、画像メモリへ記憶される。 [0117] transferred image data is converted pixel density, is stored into the image memory. その際に、画像メモリ制御部50は、記憶部51に記憶されている各相手端末用に割振られた画像メモリのメモリ空間を参照して、先ほどのフレーム識別番号により対応する画像メモリ空間へ画像データを書き込む。 At this time, the image memory control unit 50, an image with reference to the memory space of the image memory that is allocated for each destination terminal stored in the storage unit 51, the image memory space corresponding with the previous frame identification number and writes the data. そして、書き込まれた画像データを表示する場合は、そのメモリ空間を読出しスイッチ54とA/D変換器を経て表示部に出力される。 Then, when displaying the image data written is output to the memory space in the display unit via the readout switch 54 and the A / D converter.

【0118】このように、複数端末からの複数の画像データを時分割処理で復号化することにより、復号部を複数持たずに一つでよくなる。 [0118] Thus, by decoding a time division processing a plurality of image data from a plurality of terminals, the better one without having plural decoding unit. また、復号部のフレームメモリの数も同時に通信する必要がある端末の台数の数分に、1つ分だけ加算した数だけあればよいので、複数の端末と同時に通信する場合でも経済的に復号化部を構築できるようになる。 Also, a few minutes of the number of the number of the frame memory of the decoder it is necessary to simultaneously communicate terminal, since it is sufficient for the number obtained by adding one minute, economically decoded even when simultaneously communicate with a plurality of terminals it becomes possible to construct the unit.

【0119】図15は、フレームメモリFM1とFM2 [0119] FIG. 15, the frame memory FM1 and FM2
をフルに活用した場合のメモリ割り当て例を示すものである。 The shows a memory allocation example in the case of full advantage. この場合は、フレームメモリFM1とFM2を、 In this case, the frame memory FM1 and FM2,
QCIFフォーマットで8つに分割し、最大7台の端末と同時通信することが可能となる。 Divided into eight in QCIF format, it is possible to simultaneously communicate with up to seven terminals.

【0120】この場合、各QCIFのメモリ領域は端末ごとに固定されず、各端末の復号化される画像データは、INTRAモードの時は、図16のフレームメモリ管理テーブルから空いている若番のメモリ領域を検出して、該当するメモリ領域に書き込まれる。 [0120] In this case, the memory area of ​​each QCIF is not fixed for each terminal, the image data to be decoded in each terminal, when the INTRA mode, youth turn vacant from the frame memory management table in FIG. 16 It detects the memory area is written to the appropriate memory area.

【0121】INTERモードの時は、加算の対象となる全画像データは図16のフレームメモリ管理テーブルから検出し、該当するメモリ領域の画像データを読み出し、復号化された画像データと加算して上記のメモリ領域に書き込まれる。 [0121] When the INTER mode, all the image data to be added is detected from the frame memory management table in FIG. 16, reads the image data of the corresponding memory area, and adds the decoded image data above It is written in the memory area.

【0122】このように、画像復号化部の復号化処理能力を最大限利用して、大容量の画像メモリも最大限利用し、更に、端末ごとの転送能力が最適になるように処理能力を割り付けることが可能となるので、無駄の全くない最適な多地点間の画像通信が可能となる。 [0122] Thus, the decoding processing capability of the picture decoding unit to full advantage, the image memory having a large capacity and maximum use, further, the processing capacity as transfer capability of each terminal is optimum since it becomes possible to assign, it is possible to image communication between absolutely no optimum multipoint waste.

【0123】 [0123]

【発明の効果】本発明は上述したように、複数端末から送信される複数の画像データを時分割処理で復号化し、 According to the present invention as described above, and decoded by the time division processing a plurality of image data transmitted from the plurality of terminals,
しかも復号化部の受信能力を上回るようなデータを受信しないようにしたので、画像復号化部を複数個持たずに済ますことができるとともに、画像復号化部のフレームメモリの数も必要最小限に抑えることができ、また、復号化部を経済的に構築することができるようになる。 Moreover since the do not want to receive data, such as exceeding the reception capacity of the decoder, it is possible to dispense without having a plurality of image decoding unit, the number of the frame memory of the image decoding unit also minimum necessary it can be suppressed, and it becomes possible to construct a decoding unit economically. これにより、各端末に安価に多地点間通信機能を付加することができ、そのサービスを容易に受けられ、使用者の利便性を飛躍的に向上させることができる。 Thus, each terminal can be inexpensively added to multipoint communication function, the service easily received, it is possible to remarkably improve the convenience of the user.

【0124】また、画像復号化部の処理能力を最大限に利用し、かつ、各端末ごとにその処理能力を最適に振り分けて複数の端末と同時に通信することができるので、 [0124] Further, by using the processing capability of the picture decoding unit maximally, and it is possible to simultaneously communicate with a plurality of terminals distributing the processing power optimum for each terminal,
多地点の画像通信の最適化と効率化の向上を図ることができる。 It is possible to improve the optimization and efficient image communication multipoint.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の一実施例を示す画像通信装置の機能構成図である。 1 is a functional block diagram of an image communication apparatus according to an embodiment of the present invention.

【図2】本発明の一実施例を示すTV電話装置の構成を示すブロック図である。 Is a block diagram showing a configuration of a TV telephone apparatus according to an embodiment of the present invention; FIG.

【図3】画像復号化部の内部構成を示すブロック図である。 3 is a block diagram showing an internal configuration of an image decoding unit.

【図4】画像出力部の内部構成を示すブロック図である。 4 is a block diagram showing the internal configuration of the image output unit.

【図5】画像フォーマットを示す図である。 5 is a diagram illustrating an image format.

【図6】画像フォーマットおよびサンプリング点を示す図である。 6 is a diagram illustrating an image format and sampling points.

【図7】画像データ多重フレームを示す図である。 7 is a diagram showing an image data multiplex frame.

【図8】誤り訂正フレームを示す図である。 FIG. 8 is a diagram showing an error correction frame.

【図9】画像復号化処理能力制御部の動作を示すフローチャートである。 9 is a flowchart showing the operation of the image decoding processing capacity control unit.

【図10】画像復号化処理能力制御部の動作を示すフローチャートである。 10 is a flowchart showing the operation of the image decoding processing capacity control unit.

【図11】受信画像フレームメモリの割り当てを示す図である。 11 is a diagram showing the allocation of the received image frame memory.

【図12】受信画像フレームメモリの割り当てを示す図である。 12 is a diagram showing the allocation of the received image frame memory.

【図13】フレーム制御タイミングを示す図である。 13 is a diagram showing a frame control timing.

【図14】フレームメモリ管理テーブルの一例を示す図である。 14 is a diagram showing an example of a frame memory management table.

【図15】受信画像のフレームメモリの割り当ての一例を示す図である。 15 is a diagram showing an example of allocation of the frame memory of the received image.

【図16】フレームメモリ管理テーブルの一例を示す図である。 16 is a diagram showing an example of a frame memory management table.

【符号の説明】 受信手段 復号化手段 調整手段 伝達手段 送信手段 1 ハンドセット 2 マイク 3 スピーカ 4 音声インタフェース部 5 音声符号化部 6 撮像カメラ 7 書画カメラ 8 表示部 9 画像入出力部 10 画像符号化部 11 操作部 12 システム制御部 13 多重分離部 14 回線インタフェース部 15 画像復号化処理能力制御部 [EXPLANATION OF SYMBOLS] receiving means decoding means adjusting unit transmission means transmitting unit 1 handset 2 microphone 3 speaker 4 audio interface unit 5 speech coder 6 imaging camera 7 document camera 8 display unit 9 image input unit 10 image encoding unit 11 operation unit 12 the system controller 13 demultiplexer 14 line interface unit 15 the image decoding capability controller

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 6識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/18 A ────────────────────────────────────────────────── ─── front page continued (51) Int.Cl. 6 in identification symbol Agency Docket No. FI art display portion H04N 7/18 a

Claims (9)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 複数の通信端末と画像通信を行う画像通信装置において、 上記複数端末から送られる符号化画像信号を受信する受信手段と、 上記受信手段により受信された符号化画像信号を復号化する復号化手段と、 上記受信手段により受信された符号化画像信号の量が上記画像復号化手段の処理能力を越えないように調整する調整手段とを具備することを特徴とする画像通信装置。 1. A image communication apparatus for performing a plurality of communication terminals and image communication, receiving means for receiving encoded image signal sent from said plurality of terminals, decodes the coded image signal received by said receiving means decoding means for, image communication apparatus where the amount of received encoded image signal by said receiving means is characterized by comprising an adjustment means for adjusting so as not to exceed the processing capability of the picture decoding unit.
  2. 【請求項2】 上記調整手段によって上記複数の通信端末にそれぞれ割り当てられた処理能力に応じた受信能力を、上記複数の通信端末に伝える伝達手段を設けたことを特徴とする請求項1に記載の画像通信装置。 2. A method reception capability in accordance with the processing capabilities allocated respectively to the plurality of communication terminals by said adjustment means, according to claim 1, characterized in that a transmission means for transmitting to the plurality of communication terminals image communication apparatus.
  3. 【請求項3】 上記調整手段は、各端末ごとに異なる処理能力を割り当てることを特徴とする請求項1に記載の画像通信装置。 Wherein said adjusting means, the image communication apparatus according to claim 1, wherein the assigning different processing capabilities for each terminal.
  4. 【請求項4】 上記伝達手段は、上記複数の端末が符号化するための符号化制御情報を上記複数の通信端末に伝えることを特徴とする請求項2に記載の画像通信装置。 Wherein said transmission means, the image communication apparatus according to the encoding control information for the plurality of terminals to encode to claim 2, characterized in that transmitting to the plurality of communication terminals.
  5. 【請求項5】 複数の通信端末と画像通信を行う画像通信装置において、 上記複数端末から送られる符号化画像信号を受信する受信手段と、 上記受信手段により受信された符号化画像信号を復号化する復号化手段と、 上記受信手段により受信された全ての端末からの符号化画像信号をある任意の時間内に処理する画素数が、上記画像復号化手段のある任意の時間内に処理する画素数を越えないように調整する調整手段と、 上記調整結果に基づいて各端末に割り当てられた上記任意の時間内に処理する画素数に応じた受信能力を上記複数の通信端末に伝える伝達手段とを具備することを特徴とする画像通信装置。 5. An image communication apparatus for a plurality of communication terminals and image communication, receiving means for receiving encoded image signal sent from said plurality of terminals, decodes the coded image signal received by said receiving means pixel decoding means, the number of pixels to be processed in any time in the encoded image signals from all the terminals that are received by said receiving means, for processing in any time with the image decoding means for and adjustment means for adjusting so as not to exceed the number, and transmission means for transmitting a reception capability corresponding to the number of pixels to be processed in the adjustment result in the arbitrary time allocated to each terminal based on the plurality of communication terminals image communication apparatus characterized by comprising a.
  6. 【請求項6】 複数の通信端末と画像通信を行う画像通信装置において、 上記複数端末から送られる符号化画像信号を受信する受信手段と、 上記受信手段により受信された符号化画像信号を復号化する復号化手段と、 上記受信手段により受信された全ての端末からの符号化画像信号をある任意の時間内に処理する画素数が、上記画像復号化手段のある任意の時間内に処理する画素数を越えないように調整する第1の調整手段と、 上記受信手段により受信された符号化画像信号の総計が上記画像復号化手段の処理能力を越えないように調整する第2の調整手段と、 上記調整結果に基づいて各端末に割り当てられた上記任意の時間内に処理する画素数と上記フレーム当たりの画素数に応じた受信能力とを各相手端末に伝える伝達手段とを具備す 6. An image communication apparatus for a plurality of communication terminals and image communication, receiving means for receiving encoded image signal sent from said plurality of terminals, decodes the coded image signal received by said receiving means pixel decoding means, the number of pixels to be processed in any time in the encoded image signals from all the terminals that are received by said receiving means, for processing in any time with the image decoding means for a first adjustment means for adjusting so as not to exceed the number, and a second adjusting means for total received encoded image signal by said receiving means is adjusted so as not to exceed the processing capability of the picture decoding unit and a transmitting means for transmitting a reception ability in accordance with the number of pixels per number and the frame pixel to be processed in the adjustment result to the arbitrary time allocated to each terminal based on the counterpart terminal ことを特徴とする画像通信装置。 Image communication apparatus, characterized in that.
  7. 【請求項7】 上記調整手段は、各端末ごとに異なる処理能力を割り当てることを特徴とする請求項6に記載の画像通信装置。 7. The adjusting means, the image communication apparatus according to claim 6, characterized in that assigning a different capacity for each terminal.
  8. 【請求項8】 上記調整手段は、処理能力の割当ての比率を優先度の高い端末には高く割り当て、優先度の低い端末には低く割り当てることを特徴とする請求項6に記載の画像通信装置。 8. The adjustment means, the ratio of allocation of processing capabilities allocated higher in priority terminal, the image communication apparatus according to claim 6, the lower-priority terminals and allocates low .
  9. 【請求項9】 上記調整手段は、画像を表示する画面サイズが大きい端末には処理能力を多く割り当て、画面を表示する画面サイズが小さい端末には処理能力を少なく割り当てることを特徴とする請求項6に記載の画像通信装置。 9. The adjustment means according to claim image on the terminal screen size is large to display the assigned lot of processing power, the terminal screen size is small to display a screen and allocates less capacity image communication apparatus according to 6.
JP12287794A 1994-06-03 1994-06-03 Picture communication equipment Pending JPH07336461A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12287794A JPH07336461A (en) 1994-06-03 1994-06-03 Picture communication equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12287794A JPH07336461A (en) 1994-06-03 1994-06-03 Picture communication equipment

Publications (1)

Publication Number Publication Date
JPH07336461A true true JPH07336461A (en) 1995-12-22

Family

ID=14846850

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12287794A Pending JPH07336461A (en) 1994-06-03 1994-06-03 Picture communication equipment

Country Status (1)

Country Link
JP (1) JPH07336461A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007124417A (en) * 2005-10-28 2007-05-17 Kyocera Corp Communication method, communication system, and communication terminal
JP2009071879A (en) * 1997-02-13 2009-04-02 Mitsubishi Electric Corp Moving image prediction device and moving image predicting method
JP2012060529A (en) * 2010-09-10 2012-03-22 Toshiba Corp Image processing system and image processing method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9225945B2 (en) 1997-02-13 2015-12-29 Mitsubishi Electric Corporation Moving picture encoder and encoding method
JP2009071879A (en) * 1997-02-13 2009-04-02 Mitsubishi Electric Corp Moving image prediction device and moving image predicting method
JP2011250470A (en) * 1997-02-13 2011-12-08 Mitsubishi Electric Corp Moving image predicting method
JP2012120244A (en) * 1997-02-13 2012-06-21 Mitsubishi Electric Corp Moving image encoder, moving image encoding method, and moving image prediction device
US8553772B2 (en) 1997-02-13 2013-10-08 Mitsubishi Electric Corporation Moving picture prediction system
US9232198B2 (en) 1997-02-13 2016-01-05 Mitsubishi Electric Corporation Moving picture prediction system
JP2007124417A (en) * 2005-10-28 2007-05-17 Kyocera Corp Communication method, communication system, and communication terminal
JP2012060529A (en) * 2010-09-10 2012-03-22 Toshiba Corp Image processing system and image processing method

Similar Documents

Publication Publication Date Title
US6259471B1 (en) Apparatus and service for transmitting video data
US5461679A (en) Method and apparatus for encoding/decoding image data
US5821986A (en) Method and apparatus for visual communications in a scalable network environment
US5995150A (en) Dual compressed video bitstream camera for universal serial bus connection
US5267334A (en) Encoding/decoding moving images with forward and backward keyframes for forward and reverse display
US5684527A (en) Adaptively controlled multipoint videoconferencing system
US5687095A (en) Video transmission rate matching for multimedia communication systems
US5389965A (en) Video telephone station having variable image clarity
US6757005B1 (en) Method and system for multimedia video processing
EP0535890A2 (en) Multimedia communication apparatus
US20110164679A1 (en) Moving image coding method, moving image coding apparatus, program, and integrated circuit
US5887061A (en) Compression coding device with scrambling function and expansion reproducing device with descrambling function
US5357281A (en) Image processing apparatus and terminal apparatus
US5629736A (en) Coded domain picture composition for multimedia communications systems
US5623312A (en) Compressed-domain bit rate reduction system
US6456335B1 (en) Multiple picture composing method and multiple picture composing apparatus
US20010019354A1 (en) Method and an apparatus for video mixing of bit streams
US5473366A (en) Television-telephone apparatus having a message-keeping function and an automatic response transmission function
JP2005514872A (en) Coding of the dynamic filter
Sabri et al. Video conferencing systems
US6452973B1 (en) System and method for converting H.261 compressed moving picture data to MPEG-1 compressed moving picture data on compression domain
RU2350040C1 (en) Method and device for instructions of quantiser parameters in video coding system
US5898457A (en) TV conference communication device and method of controlling the same
JPH06125539A (en) Image encoder
US5253057A (en) Multiplexed transmission system of image data from two or more sources wherein thinning rates are adaptively allocated to respective sources