JP3045108B2 - Videophone equipment - Google Patents
Videophone equipmentInfo
- Publication number
- JP3045108B2 JP3045108B2 JP17391597A JP17391597A JP3045108B2 JP 3045108 B2 JP3045108 B2 JP 3045108B2 JP 17391597 A JP17391597 A JP 17391597A JP 17391597 A JP17391597 A JP 17391597A JP 3045108 B2 JP3045108 B2 JP 3045108B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data packet
- image
- packet
- retransmission request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005236 sound signal Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 48
- 230000005540 biological transmission Effects 0.000 description 27
- 238000000034 method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 11
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000006837 decompression Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001890 transfection Methods 0.000 description 1
Landscapes
- Telephonic Communication Services (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
Description
【0001】[0001]
【発明の属する技術分野】本発明はテレビ電話装置に係
り、特にディジタル動画像を前後のフレームとの相関関
係を使用して圧縮するテレビ電話装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video telephone apparatus, and more particularly to a video telephone apparatus for compressing a digital moving image by using a correlation between preceding and following frames.
【0002】[0002]
【従来の技術】図9は従来のテレビ電話装置の一例のブ
ロック図を示す。この従来のテレビ電話装置は、特開平
8−195947号公報に記載されているテレビ電話装
置で、カメラ部101と、ビデオ回路部102と、ビデ
オ処理部103と、ビデオ表示部104と、NCU部1
05と、音声処理部106と、CPU部107と、モデ
ム部108と、キー・LED109と、リモコン110
等とから構成される。2. Description of the Related Art FIG. 9 is a block diagram showing an example of a conventional video telephone. This conventional videophone device is a videophone device described in Japanese Patent Application Laid-Open No. 8-195947, which includes a camera unit 101, a video circuit unit 102, a video processing unit 103, a video display unit 104, and an NCU unit. 1
05, audio processing unit 106, CPU unit 107, modem unit 108, key / LED 109, remote controller 110
And so on.
【0003】カメラ部101は、この従来のテレビ電話
装置における利用者の映像を取り込み、映像信号として
ビデオ回路部102へ供給する。ビデオ回路部102
は、カメラ部101から供給される映像信号と、外部入
力端子INから供給される映像信号とを、リモコン11
0からの指示に基づいて切り替え、いずれか一方の映像
信号から同期信号、輝度信号及び色信号を分難し、ビデ
オ処理部103へ供給する。また、ビデオ回路部102
は、ビデオ処理部103から供給される映像信号(アナ
ログ信号)を画像出力端子OUTへ送出する。[0003] A camera unit 101 captures a user's image in this conventional videophone device and supplies it to a video circuit unit 102 as a video signal. Video circuit section 102
Converts the video signal supplied from the camera unit 101 and the video signal supplied from the external input terminal IN with the remote controller 11
Switching is performed based on the instruction from 0, the synchronization signal, the luminance signal, and the chrominance signal are separated from one of the video signals and supplied to the video processing unit 103. The video circuit unit 102
Sends the video signal (analog signal) supplied from the video processing unit 103 to the image output terminal OUT.
【0004】ビデオ処理部103は、ビデオ回路部10
2からの同期信号、輝度信号及び色信号を各々ディジタ
ル信号(以下、画像データという)に変換する一方、ビ
デオ表示部104からの画像データをアナログ映像信号
に変換してビデオ回路部102に供給する。また、ビデ
オ処理部103は、CPU部107の指示に基づき、ビ
デオ回路部102から供給された画像データを格納する
と共に、例えばJPEG(Joint Photographic coding
Experts Group)アルゴリズムなどで上記の画像データ
を圧縮符号化して得た圧縮画像データ、更に、この圧縮
画像データを復号、伸長した伸長画像データをそれぞれ
格納するメモリを有する。[0004] The video processing unit 103 includes a video circuit unit 10.
2 is converted into a digital signal (hereinafter, referred to as image data), while the image data from the video display unit 104 is converted into an analog video signal and supplied to the video circuit unit 102. . The video processing unit 103 stores the image data supplied from the video circuit unit 102 based on an instruction from the CPU unit 107 and, for example, JPEG (Joint Photographic coding).
It has a memory for storing compressed image data obtained by compression-encoding the above-mentioned image data by an Experts Group algorithm or the like, and a memory for storing expanded image data obtained by decoding and expanding the compressed image data.
【0005】ビデオ表示部104は、画像データをCP
U部107からの命令に基づいて、ビデオ処理部103
内のメモリから読み出した画像データや伸長画像データ
を受け、表示しように応じて補間、間引き処理などを行
うと共に、CPU部107からの命令に応じたキャラク
タを合成した表示画像データをビデオ処理部103へ出
力する。[0005] The video display unit 104 converts the image data into a CP.
On the basis of the instruction from the U unit 107, the video processing unit 103
The video processing unit 103 receives the image data and the decompressed image data read from the memory in the video processing unit 103, performs interpolation, thinning-out processing, and the like according to the display, and synthesizes a character according to a command from the CPU unit 107. Output to
【0006】NCU部105は、電話機からの音声入力
信号、外部音声入力、及びマイク入力信号を合成し、音
声処理部106へ供給する。また、NCU部105は、
音声処理部106から供給される出力音声信号を電話機
及び音声出力端子へ送出する。[0006] The NCU unit 105 synthesizes a voice input signal from a telephone, an external voice input, and a microphone input signal, and supplies the synthesized signal to the voice processing unit 106. Also, the NCU unit 105
The output audio signal supplied from the audio processing unit 106 is sent to the telephone and the audio output terminal.
【0007】音声処理部106は、NCU部105から
の音声信号(アナログ信号)をディジタル変換する。ま
た逆に復号化、伸長処理が行われたディジタル音声デー
タをアナログ音声データに変換してNCU部105へ供
給する。音声処理部106は、ディジタル音声データ
を、例えばCELP(Code-Excited Linear Predictio
n)アルゴリズムなどで圧縮または伸長する。[0007] The audio processing unit 106 converts the audio signal (analog signal) from the NCU 105 into a digital signal. Conversely, the digital audio data that has been decoded and decompressed is converted into analog audio data and supplied to the NCU 105. The audio processing unit 106 converts the digital audio data into, for example, CELP (Code-Excited Linear Predictio).
n) Compress or decompress by algorithm or the like.
【0008】CPU部107は、この従来のテレビ電話
装置の各部の制御を行う。CPU部107は、カメラ部
101又は外部入力端子INから供給される映像信号が
ディジタル化、圧縮・符号化されてビデオ処理部103
内のメモリに格納されている圧縮画像データと、電話機
または外部音声入力、マイク入力からの音声信号がディ
ジタル化、圧縮・符号化されて音声処理部106内のメ
モリに格納されている圧縮音声データとを多重化して、
モデム部108に供給する。また、CPU部107は、
相手先のテレビ電話装置から多重化して送信されてくる
画像・音声データがモデム部108で復調された後、画
像・音声データを分離処理し、それぞれビデオ処理部1
03と音声処理部106に送る。[0008] A CPU unit 107 controls each unit of the conventional video telephone apparatus. The CPU unit 107 converts the video signal supplied from the camera unit 101 or the external input terminal IN into a digital signal,
Compressed image data stored in a memory in the voice processing unit 106 and compressed image data stored in a memory in the voice processing unit 106, and voice signals from a telephone, an external voice input, and a microphone input are digitized, compressed, and encoded. Is multiplexed with
It is supplied to the modem unit 108. Also, the CPU unit 107
After the video / audio data multiplexed and transmitted from the other party's videophone device is demodulated by the modem unit 108, the video / audio data is separated and processed by the video processing unit 1.
03 and the voice processing unit 106.
【0009】モデム部108は、CPU部107によっ
て多重化された画像・音声圧縮データを、通信回線で伝
送可能な伝送信号(アナログ信号)に変換して送信する
変調器(モジュレータ)としての機能と、逆に、通信回
線を介して送られてきた伝送信号(アナログ信号)を、
再びCPU部107で解読可能なディジタル信号に戻す
復調器(デモジュレータ)としての機能を備えており、
NCU部105によって利用する通信回線として一般加
入者回線での使用が可能となっている。The modem unit 108 functions as a modulator that converts the compressed image / audio data multiplexed by the CPU unit 107 into a transmission signal (analog signal) that can be transmitted through a communication line and transmits the signal. Conversely, the transmission signal (analog signal) sent via the communication line is
It has a function as a demodulator (demodulator) for returning to a digital signal readable by the CPU unit 107 again.
The communication line used by the NCU unit 105 can be used on a general subscriber line.
【0010】次に、この従来のテレビ電話装置の送信側
の動作を、図10のフローチャートと共に説明する。ま
ず、これから送信する1画面分の画像データの総バイト
数を受信側に送信するとともに、送信するパケット番号
を示す変数xを「0」にする(ステップS10)。次
に、再送要求REQを受信したか否かを判断する(ステ
ップS11)。この再送要求REQは、転送エラー(C
RCエラー)の発生頻度が所定値(例えば、10秒に1
回)より多くなった場合にのみ、転送エラーが生じた際
に、受信側のテレビ電話装置から送信側のテレビ電話装
置に対して送信されるものである。そして、再送要求R
EQを受信していない場合には、ステップS12へ進
み、変数xで示される画像データパケット(x)を送信
する。Next, the operation of the transmitting side of the conventional video telephone will be described with reference to the flowchart of FIG. First, the total number of bytes of image data for one screen to be transmitted is transmitted to the receiving side, and a variable x indicating a packet number to be transmitted is set to "0" (step S10). Next, it is determined whether a retransmission request REQ has been received (step S11). This retransmission request REQ indicates a transfer error (C
The occurrence frequency of the RC error is a predetermined value (for example, 1 every 10 seconds).
Only when the number of times is greater than the number of times, a transmission error is transmitted from the receiving-side videophone to the transmitting-side videophone. Then, the retransmission request R
If the EQ has not been received, the process proceeds to step S12, and the image data packet (x) indicated by the variable x is transmitted.
【0011】一方、再送要求REQを受信した場合に
は、ステップS11からステップS13に進み、再送要
求REQに対応する画像データパケットを再度送信す
る。On the other hand, when the retransmission request REQ is received, the process proceeds from step S11 to step S13, where the image data packet corresponding to the retransmission request REQ is transmitted again.
【0012】次に、上記ステップS12またはステップ
S13の処理が終了すると、ステップS14へ進み、全
パケットの送信が完了したか否かを判断する。そして、
まだ、全パケットの送信が終了していない場合には、変
数xを「1」だけインクリメントした後(ステップS1
5)、ステップS11へ戻る。以下、ステップS11〜
ステップS15の処理を繰り返し実行し、1画面分の画
像パケットデータを送信する。Next, when the processing in step S12 or S13 is completed, the flow advances to step S14 to determine whether or not transmission of all packets has been completed. And
If the transmission of all packets has not been completed yet, the variable x is incremented by “1” (step S1).
5) Return to step S11. Hereinafter, steps S11 to S11
The process of step S15 is repeatedly executed, and image packet data for one screen is transmitted.
【0013】上述した画像データパケット送信処理にお
いて、全パケットの送信が終了すると、ステップS14
からステップS16へ進み、受信側のテレビ電話装置か
らの全パケット完了通知ENDを受信したか否かを判断
する。この全パケット完了通知ENDは、再送要求RE
Qと同様に、転送エラー(CRCエラー)の発生頻度が
所定値(例えば、10秒に1回)より多くなった場合に
のみ、全パケットの受信が完了した時点で、受信側のテ
レビ電話装置から送信側のテレビ電話装置に対して送信
されるものである。In the above-described image data packet transmission process, when transmission of all packets is completed, step S14 is performed.
Then, the process proceeds to step S16, and it is determined whether or not the all-packet completion notification END from the receiving-side videophone device has been received. This all-packet completion notification END indicates the retransmission request RE.
Similarly to Q, only when the frequency of occurrence of transfer errors (CRC errors) exceeds a predetermined value (for example, once every 10 seconds), when the reception of all packets is completed, Is transmitted from to the transmitting-side videophone device.
【0014】ステップS16において、全パケット完了
通知ENDを受信していない場合には、再送要求REQ
を受信したか否かを判断する(ステップS17)。ここ
で、再送要求REQの受信の有無を判断するのは、全パ
ケット完了通知ENDを受信する前に、次の画像データ
を送信してしまうと、その前の画像データに対する再送
要求REQが生じた際に、受信側のテレビ電話装置が該
当画像データパケットを受信する前に次の画像データパ
ケットを受信する可能性があるためである。In step S16, if the all-packet completion notification END has not been received, the retransmission request REQ
Is determined (step S17). Here, it is determined whether or not the retransmission request REQ has been received. If the next image data is transmitted before receiving the all-packet completion notification END, the retransmission request REQ for the previous image data is generated. This is because, at this time, there is a possibility that the receiving videophone device receives the next image data packet before receiving the image data packet.
【0015】そして、再送要求REQを受信した場合に
は、ステップS17からステップS18に進み、再送要
求REQに対応する画像データパケットを受信側のテレ
ビ電話装置に再度送信した後、ステップS16へ戻る。
一方、再送要求REQを受信していない場合には、ステ
ップS17から何もせずにステップS16へ戻る。以
下、全パケット完了通知ENDを受信するまで、ステッ
プS16、S17、もしくはステップS16、S17、
S18を繰り返し実行する。If the retransmission request REQ has been received, the process proceeds from step S17 to step S18, where the image data packet corresponding to the retransmission request REQ is transmitted again to the videophone device on the receiving side, and then the process returns to step S16.
On the other hand, if the retransmission request REQ has not been received, the process returns from step S17 to step S16 without doing anything. Hereinafter, steps S16 and S17, or steps S16 and S17, until all packet completion notification END is received.
S18 is repeatedly executed.
【0016】受信側のテレビ電話装置からの全パケット
完了通知ENDを受信すると、ステップS16から最初
のステップS10へ戻る。この時点で、1画面分の画像
データの送信が完了したことになる。以下、ステップS
10からS18を繰り返し実行して、次の画像データを
パケット単位で送信する。Upon receiving the all-packet completion notification END from the video telephone on the receiving side, the process returns from step S16 to the first step S10. At this point, transmission of image data for one screen is completed. Hereinafter, step S
Steps S18 to S18 are repeatedly executed to transmit the next image data in packet units.
【0017】次に、従来のテレビ電話装置の受信側の動
作を、図11のフローチャートと共に説明する。受信側
のテレビ電話装置は、まず、送信側のテレビ電話装置か
ら送信された総バイト数を受信するとともに、変数xを
「0」とする(ステップS20)。次に、変数xで示さ
れる画像データパケット(x)を受信し(ステップS2
1)、その受信画像データパケット(x)が正常に受信
されたか否かを判別するために、CRCエラーが発生し
たか否かを判断する(ステップS22)。Next, the operation of the receiving side of the conventional videophone device will be described with reference to the flowchart of FIG. The receiving-side videophone device first receives the total number of bytes transmitted from the transmitting-side videophone device, and sets the variable x to “0” (step S20). Next, the image data packet (x) indicated by the variable x is received (step S2).
1) In order to determine whether or not the received image data packet (x) has been normally received, it is determined whether or not a CRC error has occurred (step S22).
【0018】そして、CRCエラーが発生した場合に
は、CRCエラーが発生した該当画像データパケット
(x)を再度送信するよう再送要求REQを送信側のテ
レビ電話装置に送信する(ステップS23)。なお、こ
の再送要求REQは、前述したように、転送エラー(C
RC)の発生頻度が所定値(例えば、10秒に1回)よ
り多くなった場合にのみ送信される。If a CRC error has occurred, a retransmission request REQ is transmitted to the transmitting-side videophone device so as to retransmit the image data packet (x) in which the CRC error has occurred (step S23). Note that this retransmission request REQ is, as described above, a transfer error (C
It is transmitted only when the frequency of occurrence of (RC) exceeds a predetermined value (for example, once every 10 seconds).
【0019】上記ステップS23の処理が終了すると、
ステップS24へ進む。一方、CRCエラーが発生しな
ければ、何もせずに、そのままステップS24へ進む。
ステップS24では、全パケットの受信が完了したか否
かを判断する。全パケットの受信が完了していなけれ
ば、変数xを「1」だけインクリメントした後(ステッ
プS25)、ステップS21へ戻り、次の画像データパ
ケットを受信する。以下、全パケットの受信が完了する
まで、ステップS21〜ステップS25の処理を繰り返
し実行し、1画面分の画像データパケットを受信する。When the processing in step S23 is completed,
Proceed to step S24. On the other hand, if no CRC error occurs, the process directly proceeds to step S24 without doing anything.
In step S24, it is determined whether or not reception of all packets has been completed. If the reception of all the packets has not been completed, the variable x is incremented by "1" (step S25), and the process returns to step S21 to receive the next image data packet. Thereafter, the processes of steps S21 to S25 are repeatedly executed until the reception of all the packets is completed, and the image data packet for one screen is received.
【0020】上述した画像データパケットの受信処理に
おいて、全パケットの受信が終了すると、全パケットを
受信したことを示す全パケット完了通知ENDを送信側
のテレビ電話装置に送信した後(ステップS26)、最
初のステップS20へ戻る。この時点で、1画面分の画
像データの受信が完了したことになる。以下、ステップ
S20〜ステップS26の処理を繰り返し実行して、次
の画像データをパケット単位で受信する。In the above-described image data packet receiving process, when the reception of all the packets is completed, an all-packet completion notification END indicating that all the packets have been received is transmitted to the transmitting-side videophone device (step S26). It returns to the first step S20. At this point, the reception of the image data for one screen has been completed. Hereinafter, the processing of steps S20 to S26 is repeatedly executed to receive the next image data in packet units.
【0021】[0021]
【発明が解決しようとする課題】しかるに、上記の従来
のテレビ電話装置では、例えばMPEG方式のような前
後のフレームとの相関関係を使用することによって、画
像データを効率良く圧縮する方式で圧縮した画像データ
を送信した場合、1フレームのすべてのパケットが正し
く受信できた場合でも、そのフレームが全く伸長できな
くなり転送した実効データ量が減少するか、あるいは伸
長した画像データにノイズが入る可能性が高いという問
題点がある。However, in the above-mentioned conventional video telephone apparatus, image data is efficiently compressed by using the correlation between the preceding and succeeding frames such as the MPEG system. When image data is transmitted, even if all packets of one frame can be received correctly, the frame cannot be decompressed at all, and the effective data amount transferred may be reduced, or noise may be included in the decompressed image data. There is a problem that it is expensive.
【0022】その理由は、前後のフレームの伸長に必要
なキーフレーム(MPEG方式ではIまたはPピクチ
ャ)が欠落した場合、伸長に前後のフレームの情報が必
要なフレーム(MPEG方式ではPまたはBピクチャ)
のパケットをすべて受信できた場合でも、当該フレーム
の伸長が不可能になるか、仮に伸長を行ったとしても伸
長した画像データにはエラーが含まれるためである。The reason is that if a key frame (I or P picture in the MPEG system) required for decompression of the preceding and following frames is lost, a frame (P or B picture in the MPEG system) requiring information of the preceding and following frames is required. )
This is because, even if all of the packets have been received, it is impossible to expand the frame, or even if the frame is expanded, the expanded image data contains an error.
【0023】本発明は上記の点に鑑みなされたもので、
前後のフレームとの相関関係を使用することによって画
像データを効率良く圧縮する方式で圧縮した画像データ
を送信した場合でも、転送した実効データ量を低下させ
ず、画像をエラー無く伸長するテレビ電話装置を提供す
ることを目的とする。The present invention has been made in view of the above points,
A videophone device that expands an image without error without reducing the amount of transferred effective data even when transmitting compressed image data by a method that efficiently compresses image data by using the correlation with the preceding and following frames. The purpose is to provide.
【0024】[0024]
【課題を解決するための手段】上記の目的を達成するた
め、請求項1の発明は画像信号を前後のフレームとの相
関関係を使用することによって効率的に圧縮した画像デ
ータを、音声信号を圧縮符号化した音声データと共にパ
ケット化して生成して送信する送信側電話装置と、受信
した画像データパケットを伸長して元の画像信号を復元
すると共に、受信した音声データパケットを伸長して元
の音声信号に復元する受信側電話装置とからなるテレビ
電話装置において、送信側電話装置は、再送要求の有無
を判定し、再送要求がある時は指定されたキーフレーム
の画像データパケットを再送するキーフレーム再送手段
と、前後のフレームの伸長に必要なキーフレームの画像
データパケットの再送率を判定し、画像データパケット
の再送率が予め設定した値よりも高いときには、キーフ
レームの間隔を現在の値よりも長くするキーフレーム間
隔調整手段とを備え、受信側電話装置は、受信画像デー
タパケットにエラーが発生したか否か判定するエラー判
定手段と、エラー判定手段によりエラー発生と判定され
た受信画像データパケットがキーフレームの画像データ
パケットであるときに、そのキーフレームの画像データ
パケットを指定した再送要求を送信側電話装置へ送信す
る再送要求手段とを備えた構成としたものである。In order to achieve the above object, according to the present invention, an image signal obtained by efficiently compressing an image signal by using a correlation between the preceding and succeeding frames is converted into an audio signal. A transmitting-side telephone device that packetizes and generates the compressed audio data together with the audio data, transmits the generated image data packet, restores the original image signal, and expands the received audio data packet to restore the original image signal. In a video telephone device comprising a receiving telephone device for restoring an audio signal, a transmitting telephone device determines whether or not there is a retransmission request, and when there is a retransmission request, retransmits an image data packet of a designated key frame. Frame retransmission means
And key frame images required to expand the previous and next frames
The retransmission rate of the data packet is determined, and the
If the retransmission rate is higher than the preset value,
Between keyframes that make the frame interval longer than the current value
The reception-side telephone device includes: an error determination unit that determines whether an error has occurred in the received image data packet; and the reception image data packet determined to have an error by the error determination unit includes a key frame. When it is an image data packet, retransmission request means for transmitting a retransmission request designating the image data packet of the key frame to the transmitting telephone device is provided.
【0025】 この発明では、受信側電話装置において
エラー発生と判定された受信画像データパケットがキー
フレームの画像データパケットであるときに、そのキー
フレームの画像データパケットを指定した再送要求を
し、送信側電話装置から当該キーフレームの画像データ
パケットを再送するようにしているため、前後のフレー
ムの伸長に必要なキーフレームの欠落を防止することが
でき、また、再送率が大きくなりキーフレームの画像デ
ータパケットが増加すると、データ転送量が大きくなり
過ぎる可能性があるが、キーフレームの間隔を長くする
ようにしているので、データ転送量の増加を低減でき
る。 According to the present invention, when a received image data packet determined to have an error in the receiving telephone device is a key frame image data packet, a retransmission request specifying the key frame image data packet is made and transmitted. Since the side telephone device retransmits the image data packet of the key frame, it is possible to prevent the loss of the key frame necessary for decompression of the preceding and succeeding frames, and to increase the retransmission rate and increase the image of the key frame. De
As the number of data packets increases, the data transfer volume increases.
May be too long, but increase keyframe interval
So that the increase in data transfer volume can be reduced.
You.
【0026】[0026]
【0027】[0027]
【0028】[0028]
【0029】[0029]
【発明の実施の形態】次に、本発明の実施の形態の動作
について説明する。図1は本発明の第1の実施の形態の
送信側及び受信側の電話装置のブロック図を示す。本発
明の第1の実施の形態は画像信号を前後のフレームとの
相関関係を使用することによって効率的に圧縮した画像
データを、音声信号を圧縮符号化した音声データと共に
パケット化して生成して送信する送信側電話装置と、受
信した画像データパケットを伸長して元の画像信号を復
元すると共に、受信した音声データパケットを伸長して
元の音声信号に復元する受信側電話装置とからなるテレ
ビ電話装置において、送信側電話装置及び受信側電話装
置のそれぞれを図1のブロック図に示す如き構成とした
ものである。Next, the operation of the embodiment of the present invention will be described. FIG. 1 shows a block diagram of a telephone device on a transmitting side and a receiving side according to a first embodiment of the present invention. In the first embodiment of the present invention, image data obtained by efficiently compressing an image signal by using the correlation with the preceding and succeeding frames is generated by packetizing the audio signal together with the audio data obtained by compressing and encoding the audio signal. A television comprising a transmitting telephone device for transmitting and a receiving telephone device for expanding a received image data packet to restore an original image signal and expanding a received audio data packet to restore an original audio signal. In the telephone device, each of the transmitting-side telephone device and the receiving-side telephone device has a configuration as shown in the block diagram of FIG.
【0030】図1の第1の実施の形態の電話装置は、キ
ーボード等の入力装置1と、プログラム動作により動作
するデータ処理装置2と、画像や音声等の情報を記憶す
る記憶装置3と、ビデオカメラ等の画像を入力する画像
入力装置4と、マイク等の音声を入力する音声入力装置
5と、ディスプレイ等の画像出力装置6と、スピーカ等
の音声出力装置7と、モデム等の通信装置8とを含む。The telephone apparatus according to the first embodiment shown in FIG. 1 includes an input device 1 such as a keyboard, a data processing device 2 operated by a program operation, and a storage device 3 for storing information such as images and sounds. An image input device 4 for inputting an image such as a video camera, an audio input device 5 for inputting audio such as a microphone, an image output device 6 such as a display, an audio output device 7 such as a speaker, and a communication device such as a modem. 8 is included.
【0031】データ処理装置2は、画像処理手段20
と、音声処理手段21と、キーフレーム再送手段22
と、キーフレーム間隔調整手段23と、通信処理手段2
4とを備えている。画像処理手段20は、送信側では、
画像入力装置4からの画像データを前後のフレームとの
相関関係を使用して圧縮し、通信処理手段24を通して
圧縮した画像データを通信装置8から受信側へ送る。画
像処理手段20は、受信側では、通信装置8で受け取っ
た圧縮した画像データを通信処理手段24を通して受け
取り、伸長後、画像出力装置6へ送り画像を表示する。The data processing device 2 includes an image processing unit 20
Voice processing means 21 and key frame retransmission means 22
, Key frame interval adjusting means 23 and communication processing means 2
4 is provided. The image processing means 20 includes:
The image data from the image input device 4 is compressed using the correlation with the preceding and succeeding frames, and the compressed image data is sent from the communication device 8 to the receiving side through the communication processing unit 24. On the receiving side, the image processing means 20 receives the compressed image data received by the communication device 8 through the communication processing means 24, decompresses the image data, and sends it to the image output device 6 to display the image.
【0032】音声処理手段21は、送信側では、音声入
力装置5からの音声データを圧縮し、通信処理手段24
を通して通信装置8から受信側へ送る。音声処理手段2
1は、受信側では、通信装置8で受け取った圧縮した音
声データを通信処理手段24を通して受け取り、伸長
後、音声出力装置7へ送り音声を再生する。The voice processing means 21 compresses voice data from the voice input device 5 on the transmission side, and
From the communication device 8 to the receiving side. Voice processing means 2
On the receiving side, the receiving side receives the compressed audio data received by the communication device 8 through the communication processing means 24, decompresses it, sends it to the audio output device 7, and reproduces the audio.
【0033】キーフレーム再送手段22は、受信側で
は、前後のフレームの伸長に必要なキーフレームの画像
データのパケットがエラーとなり受信できなかった場合
に、送信側に対して再送要求を行う。キーフレーム再送
手段22は、送信側では、受信側からの再送要求を受け
た場合にエラーとなったパケットを受信側に再送する。The key frame retransmitting means 22 requests the transmitting side to retransmit when the packet of the image data of the key frame necessary for decompression of the preceding and succeeding frames cannot be received due to an error. The key frame retransmitting means 22 retransmits an error packet to the receiving side when the transmitting side receives a retransmission request from the receiving side.
【0034】キーフレーム間隔調整手段23は、送信側
で、受信側へのパケット再送率に応じてキーフレームの
間隔を調整する。通信処理手段24は、圧縮した画像デ
ータ及び音声データをパケット化して通信装置8を制御
して送受信を行う。The key frame interval adjusting means 23 adjusts the key frame interval on the transmitting side according to the packet retransmission rate to the receiving side. The communication processing unit 24 packetizes the compressed image data and audio data and controls the communication device 8 to perform transmission and reception.
【0035】次に、図1及び図2及び図3を参照して、
本発明の第1の実施の形態の動作について説明する。Next, referring to FIG. 1, FIG. 2 and FIG.
The operation of the first embodiment of the present invention will be described.
【0036】図2は、本発明の第1の実施の形態の送信
側のデータ処理装置2の動作を説明する流れ図である。
ここでは、画像1フレーム分の送信について説明する。FIG. 2 is a flowchart for explaining the operation of the data processor 2 on the transmitting side according to the first embodiment of the present invention.
Here, transmission of one frame of an image will be described.
【0037】画像処理手段20は、画像入力装置4から
の画像データを1フレーム圧縮する(ステップA1)。
この時、画像処理手段20は、一定間隔で前後のフレー
ムの伸長時に参照フレームとなるキーフレームを圧縮す
る。この間隔はキーフレーム間隔調整手段23が後のス
テップA6で調整する。The image processing means 20 compresses the image data from the image input device 4 by one frame (step A1).
At this time, the image processing means 20 compresses a key frame that becomes a reference frame at the time of expansion of the preceding and succeeding frames at a constant interval. This interval is adjusted by the key frame interval adjusting means 23 in a subsequent step A6.
【0038】通信処理手段24は、受信側に対して送信
する全データ量を送信し、送信する画像データパケット
番号xを0に初期化する(ステップA2)。The communication processing means 24 transmits the total amount of data to be transmitted to the receiving side, and initializes the image data packet number x to be transmitted to 0 (step A2).
【0039】キーフレーム再送手段22は、受信側から
の再送要求が無いか判定し、再送要求があった場合はス
テップA4に進み、無かった場合はステップA7に進む
(ステップA3)。The key frame retransmitting means 22 determines whether there is a retransmission request from the receiving side. If there is a retransmission request, the process proceeds to step A4, and if not, the process proceeds to step A7 (step A3).
【0040】再送要求が無かった場合、通信処理手段2
4は、画像データパケット番号xの画像データを送信し
た後(ステップA7)、画像データパケット番号を更新
する(ステップA8)。If there is no retransmission request, the communication processing means 2
4, after transmitting the image data of the image data packet number x (step A7), updates the image data packet number (step A8).
【0041】再送要求があった場合、キーフレーム再送
手段22は、受信側の指定したパケットを再送する(ス
テップA4)。キーフレーム間隔調整手段23は、再送
要求率が一定値以上になった場合(ステップA5)、キ
ーフレームの間隔を再送率に応じて変更する(ステップ
A6)。If there is a retransmission request, the key frame retransmitting means 22 retransmits the packet specified by the receiving side (step A4). When the retransmission request rate becomes equal to or more than a certain value (step A5), the key frame interval adjusting unit 23 changes the key frame interval according to the retransmission rate (step A6).
【0042】以下、通信処理手段24は、ステップA3
からA8を全パケットの送信完了まで繰り返す(ステッ
プA9)。In the following, the communication processing means 24 performs step A3
To A8 are repeated until transmission of all packets is completed (step A9).
【0043】通信処理手段24は、全パケットの送信完
了後、送信側からの全パケット受信完了信号を待つ(ス
テップA10)。通信処理手段24は、全パケット受信
完了信号を待つ間、受信側からの再送要求があった場合
(ステップA11)、受信側の指定したパケットを送信
する(ステップA12)。After completing the transmission of all the packets, the communication processing means 24 waits for an all-packet reception completion signal from the transmitting side (step A10). While waiting for the all-packet reception completion signal, the communication processing unit 24 transmits a packet specified by the receiving side (Step A12) when there is a retransmission request from the receiving side (Step A11).
【0044】図3は、本発明の第1の実施の形態の受信
側のデータ処理装置2の動作を説明する流れ図である。
ここでは、画像1フレーム分の受信について説明する。FIG. 3 is a flowchart for explaining the operation of the data processing device 2 on the receiving side according to the first embodiment of the present invention.
Here, reception of one frame of an image will be described.
【0045】通信処理手段24は、送信側から送られて
くる全データ量を受信し、受信する画像データパケット
番号xを0に初期化する(ステップB1)。The communication processing means 24 receives the total amount of data sent from the transmitting side and initializes the received image data packet number x to 0 (step B1).
【0046】次に通信処理手段24は、送信側から送ら
れてくる画像データのパケットを受信し(ステップB
2)、受信エラーが発生したか判定する(ステップB
3)。キーフレーム再送手段22は、受信エラーが発生
した場合、現在受信中のフレームがキーフレームだった
場合(ステップB4)、現在のパケットの再送要求を送
信側に送る(ステップB5)。Next, the communication processing means 24 receives the image data packet sent from the transmitting side (step B).
2), determine whether a reception error has occurred (step B)
3). When a reception error occurs or when the frame currently being received is a key frame (step B4), the key frame retransmitting unit 22 sends a request for retransmission of the current packet to the transmitting side (step B5).
【0047】以下、通信処理手段24は、すべてのパケ
ットの受信が終了する(ステップB6)まで受信パケッ
ト番号を更新(ステップB7)しながらステップB2か
らB5を繰り返す。Thereafter, the communication processing means 24 repeats steps B2 to B5 while updating the received packet number (step B7) until all the packets have been received (step B6).
【0048】 全パケットの受信が完了したら、通信処
理手段24は、全パケット受信完了信号を送信側に送り
(ステップB8)、画像処理手段20は、1フレーム分
の画像データを伸長する(ステップB9)。When the reception of all the packets is completed, the communication processing means 24 sends an all-packet reception completion signal to the transmitting side (step B8), and the image processing means 20 decompresses one frame of image data (step B9). ) .
【0049】この本発明の第1の実施の形態によれば、
他のフレームの伸長に必要なキーフレームを必ず伸長す
るので、フレームのパケットをすべて受信できた場合に
もそのフレームが参照する必要があるキーフレームが伸
長されていないことが無くなり、これが原因で転送エラ
ーが生じた際にデータ転送の実効量が減少したり伸長し
た画像にエラーが含まれたりすることが無いという効果
がある。According to the first embodiment of the present invention,
Since key frames required for decompressing other frames are always decompressed, even if all the packets of the frame can be received, the key frames that need to be referred to by that frame are not decompressed, and this causes the transfer. There is an effect that when an error occurs, the effective amount of data transfer does not decrease, and no error is included in the decompressed image.
【0050】次に、本発明の第2の実施の形態について
図面を参照して説明する。図5は本発明の第2の実施の
形態の送信側及び受信側の電話装置のブロック図を示
す。同図中、図1と同一構成部分には同一符号を付し、
その説明を省略する。図5に示す本発明の第2の実施の
形態における電話装置は、データ処理装置9が、図1に
示された第1の実施の形態におけるデータ処理装置2の
構成からキーフレーム再送手段22を除き、フレーム再
送手段92を有する点で異なる。Next, a second embodiment of the present invention will be described with reference to the drawings. FIG. 5 is a block diagram showing a telephone device on the transmitting side and the receiving side according to the second embodiment of the present invention. In the figure, the same components as those in FIG.
The description is omitted. In the telephone device according to the second embodiment of the present invention shown in FIG. 5, the data processing device 9 is different from the data processing device 2 in the first embodiment shown in FIG. Except for this point, a difference is that a frame retransmission unit 92 is provided.
【0051】フレーム再送手段92は、受信側では、画
像データのパケットがエラーとなり受信できなかった場
合に、送信側に対して再送要求を行う。フレーム再送手
段92は、送信側では、受信側からの再送要求を受けた
場合にエラーとなったパケットを受信側に再送する。The frame retransmitting means 92 sends a retransmission request to the transmitting side when the packet of the image data has an error and cannot be received on the receiving side. The frame retransmitting means 92 retransmits an error packet to the receiving side when the transmitting side receives a retransmission request from the receiving side.
【0052】次に、図5及び図6及び図7を参照して、
本発明の第2の実施の形態の動作について説明する。図
6は、本発明の第2の実施の形態の送信側のデータ処理
装置9の動作を説明用フローチャートである。ここで
は、画像1フレーム分の送信について説明する。Next, referring to FIG. 5, FIG. 6 and FIG.
The operation of the second embodiment of the present invention will be described. FIG. 6 is a flowchart for explaining the operation of the data processing device 9 on the transmission side according to the second embodiment of this invention. Here, transmission of one frame of an image will be described.
【0053】画像処理手段20は、画像入力装置4から
の画像データを1フレーム圧縮する(ステップC1)。
この時、画像処理手段20は、一定間隔で前後のフレー
ムの伸長時に参照フレームとなるキーフレームとして圧
縮する。この間隔はキーフレーム間隔調整手段23が後
のステップC6で調整する。The image processing means 20 compresses the image data from the image input device 4 by one frame (step C1).
At this time, the image processing means 20 compresses the image as a key frame that becomes a reference frame at the time of expansion of the preceding and succeeding frames at a constant interval. This interval is adjusted by the key frame interval adjusting means 23 in the subsequent step C6.
【0054】通信処理手段24は、受信側に対して送信
する全データ量を送信し、送信する画像データパケット
番号xを0に初期化する(ステップC2)。フレーム再
送手段92は、受信側からの再送要求が無いか判定し、
再送要求があった場合はステップC4に進み、無かった
場合はステップC7に進む(ステップC3)。再送要求
が無かった場合、通信処理手段24は、画像データパケ
ット番号xの画像データを送信した後(ステップC
7)、画像データパケット番号を更新する(ステップC
8)。The communication processing means 24 transmits the total amount of data to be transmitted to the receiving side, and initializes the image data packet number x to be transmitted to 0 (step C2). The frame retransmitting means 92 determines whether there is a retransmission request from the receiving side,
If there is a retransmission request, the process proceeds to step C4, and if not, the process proceeds to step C7 (step C3). If there is no retransmission request, the communication processing unit 24 transmits the image data of the image data packet number x (step C
7) Update the image data packet number (Step C)
8).
【0055】再送要求があった場合、フレーム再送手段
92は、受信側の指定したパケットを再送する(ステッ
プC4)。キーフレーム間隔調整手段23は、再送要求
率が一定値以上になった場合(ステップC5)、キーフ
レームの間隔を再送率に応じて変更する(ステップC
6)。以下、通信処理手段24は、ステップC3からC
8を全パケットの送信完了まで繰り返す(ステップC
9)。When there is a retransmission request, the frame retransmitting means 92 retransmits the packet specified by the receiving side (step C4). When the retransmission request rate becomes equal to or more than a certain value (step C5), the key frame interval adjusting means 23 changes the key frame interval according to the retransmission rate (step C5).
6). Hereinafter, the communication processing unit 24 performs steps C3 to C3.
8 until all packets have been transmitted (step C
9).
【0056】通信処理手段24は、全パケットの送信完
了後、送信側からの全パケット受信完了信号を待つ(ス
テップC10)。通信処理手段24は、全パケット受信
完了信号を待つ間、受信側からの再送要求があった場合
(ステップC11)、受信側の指定したパケットを送信
する(ステップC12)。After completing the transmission of all the packets, the communication processing means 24 waits for an all-packet reception completion signal from the transmitting side (step C10). While waiting for the all-packet reception completion signal, the communication processing unit 24 transmits a packet specified by the receiving side (Step C12) when there is a retransmission request from the receiving side (Step C11).
【0057】図7は、本発明の第2の実施の形態の受信
側のデータ処理装置9の動作説明用フローチャートであ
る。ここでは、画像1フレーム分の受信について説明す
る。通信処理手段24は、送信側から送られてくる全デ
ータ量を受信し、受信する画像データパケット番号xを
0に初期化する(ステップD1)。FIG. 7 is a flowchart for explaining the operation of the data processing device 9 on the receiving side according to the second embodiment of the present invention. Here, reception of one frame of an image will be described. The communication processing unit 24 receives the entire data amount sent from the transmission side, and initializes the received image data packet number x to 0 (step D1).
【0058】次に、通信処理手段24は、送信側から送
られてくる画像データのパケットを受信し(ステップD
2)、受信エラーが発生したか判定する(ステップD
3)。フレーム再送手段92は、受信エラーが発生した
場合、エラーの発生率が一定値以上だった場合(ステッ
プD4)、現在のパケットの再送要求を送信側に送る
(ステップD5)。Next, the communication processing means 24 receives the image data packet transmitted from the transmission side (step D).
2), determine whether a reception error has occurred (step D)
3). When a reception error occurs, or when the error occurrence rate is equal to or more than a certain value (step D4), the frame retransmission unit 92 sends a request for retransmission of the current packet to the transmission side (step D5).
【0059】以下、通信処理手段24は、すべてのパケ
ットの受信が終了する(ステップD6)まで受信パケッ
ト番号を更新(ステップD7)しながらステップD2か
らD5を繰り返す。Thereafter, the communication processing means 24 repeats steps D2 to D5 while updating the received packet number (step D7) until the reception of all the packets is completed (step D6).
【0060】 全パケットの受信が完了したら、通信処
理手段24は、全パケット受信完了信号を送信側に送り
(ステップD8)、画像処理手段20は、1フレーム分
の画像データを伸長する(ステップD9)。When the reception of all the packets is completed, the communication processing means 24 sends an all-packet reception completion signal to the transmitting side (step D8), and the image processing means 20 decompresses one frame of image data (step D9). ) .
【0061】[0061]
【実施例】次に、本発明の第1の実施の形態の一実施例
(第1実施例)の動作を詳細に説明する。この第1実施
例では、画像の圧縮にMPEG(Moving Picture Exper
tsGroup)方式を使用した例をあげる。Next, the operation of one example (first example) of the first embodiment of the present invention will be described in detail. In the first embodiment, MPEG (Moving Picture Exper
tsGroup) method.
【0062】MPEG方式では、動画像データは、動き
補償フレーム間予測とDCT(discrete cosine transf
orm:離散コサイン変換)を複合したアルゴリズムで圧
縮される。フレーム間予測を行うため、静止画像の圧縮
アルゴリズム、例えばJPEG(Joint Photographic c
oding Experts Group)方式などと比べると圧縮効率に
優れているが、フレームの伸長に前後のフレームの情報
が必要なため、フレーム単位のランダムアクセスができ
ない。このため、GOP(Group of Picture)とよばれ
る複数の画像フレームから構成されるレイヤを設け、G
OP単位でランダムアクセスを行う。In the MPEG system, moving picture data is obtained by motion-compensated inter-frame prediction and DCT (discrete cosine transfection).
orm: discrete cosine transform). In order to perform inter-frame prediction, a still image compression algorithm, for example, JPEG (Joint Photographic c)
Although the compression efficiency is superior to that of the oding expert group, the random access in units of frames cannot be performed because information of the frames before and after the expansion of the frames is required. For this reason, a layer composed of a plurality of image frames called a GOP (Group of Picture) is provided,
Random access is performed in OP units.
【0063】GOPはそのフレームのみで伸長が可能な
フレーム内符号化フレーム(Iピクチャ)と、伸長には
前のフレームが必要なフレーム間符号化フレーム(Pピ
クチャ)と、伸長には前後のフレームが必要なフレーム
内挿符号化フレーム(Bピクチャ)の3種類のフレーム
から構成される。一般的には、同程度の符号量に圧縮し
た場合、Bピクチャが最も画質が良くなり、次いでPピ
クチャ、Iピクチャの順となる。ただし、Bピクチャを
増やすとランダムアクセス性が悪くなり、また動きの激
しい画像の場合、逆に圧縮効率が低下する。1つのGO
Pには1つ以上のIピクチャと、0または複数のPピク
チャ及びBピクチャが存在する。The GOP includes an intra-coded frame (I picture) which can be decompressed only by that frame, an inter-frame coded frame (P picture) requiring a previous frame for decompression, and a preceding and succeeding frame for decompression. , And three types of frames, ie, frame interpolation coded frames (B pictures). Generally, when compressed to the same amount of code, the B picture has the highest image quality, followed by the P picture and the I picture. However, when the number of B pictures is increased, the random accessibility deteriorates, and in the case of an image having a lot of motion, the compression efficiency decreases. One GO
P has one or more I pictures and zero or more P pictures and B pictures.
【0064】図4(A)及び図8(A)は、GOP構成
の一例である。矢印は伸長時に必要なフレームの依存関
係をあらわす(矢印の元のフレームを伸長する際に矢印
の先のフレームをあらかじめ伸長しておく必要があ
る)。IピクチャまたはPピクチャが受信エラーのため
伸長できなかった場合、GOPの残りのフレームはすべ
て伸長できなくなる。このような事態を避けるため、第
1の形態の実施例では、キーフレーム再送手段22を設
けてIピクチャまたはPピクチャを必ず再送するように
している。FIGS. 4A and 8A show an example of the GOP structure. The arrow indicates the dependency of the frame required at the time of expansion (when expanding the original frame of the arrow, it is necessary to expand the frame preceding the arrow in advance). If the I picture or P picture cannot be expanded due to a reception error, all the remaining frames of the GOP cannot be expanded. In order to avoid such a situation, in the embodiment of the first embodiment, the key frame retransmitting means 22 is provided so that the I picture or the P picture is always retransmitted.
【0065】しかし、パケットの再送率が大きくなって
も、すべてのIピクチャとPピクチャの再送を続けると
データ転送量が多くなりすぎる可能性があるため、パケ
ットの再送率が一定値以上になった場合にGOPのBピ
クチャの構成比率を増やすことによってキーフレームの
間隔を長くするキーフレーム間隔調整手段23を設けて
いる。However, even if the retransmission rate of the packet increases, if the retransmission of all the I and P pictures is continued, the amount of data transfer may become too large. In this case, a key frame interval adjusting means 23 is provided to increase the interval between key frames by increasing the composition ratio of the B pictures of the GOP.
【0066】Bピクチャを増やすと前述のようにランダ
ムアクセス性の低下と、動きの激しい画像の場合の圧縮
効率低下をまねく恐れがあるが、通常のテレビ電話装置
の用途ではこれらの点はあまり大きな問題にはならな
い。When the number of B pictures is increased, there is a risk that the random access property is reduced and the compression efficiency is reduced in the case of a rapidly moving image, as described above. It doesn't matter.
【0067】以下、図2を参照して第1の形態の実施例
の送信側の動作を述べる。Hereinafter, the operation on the transmitting side of the embodiment of the first embodiment will be described with reference to FIG.
【0068】画像処理手段20は、画像入力装置4から
の画像データを1フレーム圧縮する(ステップA1)。
この時、画像処理手段20は、所定のGOP、例えば図
4(A)のようなGOP構成でフレームを圧縮する。こ
のGOP構成は、画像データの再送率が一定値を超えた
場合に後のステップA6でキーフレーム間隔調整手段2
3が変更する。The image processing means 20 compresses the image data from the image input device 4 by one frame (step A1).
At this time, the image processing means 20 compresses the frame with a predetermined GOP, for example, a GOP configuration as shown in FIG. This GOP configuration is such that when the retransmission rate of image data exceeds a certain value, the key frame interval
3 changes.
【0069】通信処理手段24は、受信側に対して送信
する全データ量を送信し、送信する画像データパケット
番号xを0に初期化する(ステップA2)。キーフレー
ム再送手段22は、受信側からの再送要求が無いか判定
し、再送要求があった場合はステップA4に進み、無か
った場合はステップA7に進む(ステップA3)。The communication processing means 24 transmits the total amount of data to be transmitted to the receiving side, and initializes the image data packet number x to be transmitted to 0 (step A2). The key frame retransmitting means 22 determines whether there is a retransmission request from the receiving side, and if there is a retransmission request, proceeds to step A4, and if not, proceeds to step A7 (step A3).
【0070】再送要求が無かった場合、通信処理手段2
4は、画像データパケット番号xの画像データを送信し
た後(ステップA7)、画像データパケット番号を更新
する(ステップA8)。If there is no retransmission request, the communication processing means 2
4, after transmitting the image data of the image data packet number x (step A7), updates the image data packet number (step A8).
【0071】再送要求があった場合、キーフレーム再送
手段22は、受信側の指定したパケットを再送する(ス
テップA4)。キーフレーム間隔調整手段23は、再送
要求率が一定値以上になった場合(ステップA5)、I
ピクチャまたはPピクチャの間隔を再送率に応じて変更
する(ステップA6)。例えば、最初は図4(B)に示
すように、GOP内のPピクチャをBピクチャに変更す
る。さらに再送率が大きくなった場合は、図4(C)に
示すようにGOPの長さを変更してIピクチャの間隔を
長くする。When there is a retransmission request, the key frame retransmitting means 22 retransmits the packet specified by the receiving side (step A4). If the retransmission request rate is equal to or more than a certain value (step A5),
The interval between pictures or P pictures is changed according to the retransmission rate (step A6). For example, first, as shown in FIG. 4B, a P picture in a GOP is changed to a B picture. When the retransmission rate further increases, the length of the GOP is changed to increase the interval between I pictures as shown in FIG.
【0072】以下、通信処理手段24は、ステップA3
からA8を全パケットの送信完了まで繰り返す(ステッ
プA9)。通信処理手段24は、全パケットの送信完了
後、送信側からの全パケット受信完了信号を待つ(ステ
ップA10)。通信処理手段24は、全パケット受信完
了信号を待つ間、受信側からの再送要求があった場合
(ステップA11)、受信側の指定したパケットを送信
する(ステップA12)。Hereinafter, the communication processing means 24 executes step A3.
To A8 are repeated until transmission of all packets is completed (step A9). After completing the transmission of all the packets, the communication processing unit 24 waits for an all-packet reception completion signal from the transmitting side (step A10). While waiting for the all-packet reception completion signal, the communication processing unit 24 transmits a packet specified by the receiving side (Step A12) when there is a retransmission request from the receiving side (Step A11).
【0073】次に、図3を参照して第1実施例の受信側
の動作を説明する。通信処理手段24は、送信側から送
られてくる全データ量を受信し、受信する画像データパ
ケット番号xを0に初期化する(ステップB1)。Next, the operation of the receiving side of the first embodiment will be described with reference to FIG. The communication processing unit 24 receives the entire data amount sent from the transmission side and initializes the received image data packet number x to 0 (step B1).
【0074】次に通信処理手段24は、送信側から送ら
れてくる画像データのパケットを受信し(ステップB
2)、受信エラーが発生したか判定する(ステップB
3)。キーフレーム再送手段22は、受信エラーが発生
した場合、現在受信中のフレームがIピクチャまたはP
ピクチャだった場合(ステップB4)、現在のパケット
の再送要求を送信側に送る(ステップB5)ことですべ
てのIピクチャとPピクチャを確実に伸長する。Next, the communication processing means 24 receives the image data packet transmitted from the transmitting side (step B).
2), determine whether a reception error has occurred (step B)
3). When a reception error occurs, the key frame retransmitting means 22 determines whether the currently received frame is an I picture or a P frame.
If it is a picture (step B4), a request for retransmission of the current packet is sent to the transmitting side (step B5), so that all I and P pictures are reliably expanded.
【0075】以下、通信処理手段24は、すべてのパケ
ットの受信が終了する(ステップB6)まで受信パケッ
ト番号を更新(ステップB7)しながらステップB2か
らB5を繰り返す。全パケットの受信が完了したなら
ば、通信処理手段24は、全パケット受信完了信号を送
信側に送り(ステップB8)、画像処理手段20は、1
フレーム分の画像データを伸長する。Thereafter, the communication processing means 24 repeats steps B2 to B5 while updating the received packet number (step B7) until all the packets have been received (step B6). When the reception of all the packets is completed, the communication processing means 24 sends an all-packet reception completion signal to the transmitting side (step B8), and the image processing means 20 outputs
Decompress the image data for the frame.
【0076】次に、本発明の第2の実施の形態の一実施
例(第2実施例)の動作を詳細に説明する。この第2実
施例でも画像の圧縮にMPEG方式を使用した例をあげ
る。Next, the operation of one example (second example) of the second embodiment of the present invention will be described in detail. Also in the second embodiment, an example in which the MPEG system is used for image compression will be described.
【0077】まず、図6を参照して第2実施例の送信側
の動作を説明する。画像処理手段20は、画像入力装置
4からの画像データを1フレーム圧縮する(ステップC
1)。この時、画像処理手段20は、所定のGOP、例
えば図8(A)のようなGOP構成でフレームを圧縮す
る。このGOP構成は、画像データの再送率が一定値を
超えた場合に後のステップC6でキーフレーム間隔調整
手段23が変更する。First, the operation on the transmitting side of the second embodiment will be described with reference to FIG. The image processing means 20 compresses the image data from the image input device 4 by one frame (step C).
1). At this time, the image processing means 20 compresses the frame in a predetermined GOP, for example, a GOP configuration as shown in FIG. This GOP configuration is changed by the key frame interval adjusting means 23 in a subsequent step C6 when the retransmission rate of the image data exceeds a certain value.
【0078】通信処理手段24は、受信側に対して送信
する全データ量を送信し、送信する画像データパケット
番号xを0に初期化する(ステップC2)。フレーム再
送手段92は、受信側からの再送要求が無いか判定し、
再送要求があった場合はステップC4に進み、無かった
場合はステップC7に進む(ステップC3)。The communication processing means 24 transmits the total amount of data to be transmitted to the receiving side, and initializes the image data packet number x to be transmitted to 0 (step C2). The frame retransmitting means 92 determines whether there is a retransmission request from the receiving side,
If there is a retransmission request, the process proceeds to step C4, and if not, the process proceeds to step C7 (step C3).
【0079】再送要求が無かった場合、通信処理手段2
4は、画像データパケット番号xの画像データを送信し
た後(ステップC7)、画像データパケット番号を更新
する(ステップC8)。If there is no retransmission request, the communication processing means 2
4, after transmitting the image data of the image data packet number x (step C7), updates the image data packet number (step C8).
【0080】再送要求があった場合、フレーム再送手段
92は、受信側の指定したパケットを再送する(ステッ
プC4)。キーフレーム間隔調整手段23は、再送要求
率が一定値以上になった場合(ステップC5)、キーフ
レームの間隔を再送率に応じて変更する(ステップC
6)。例えば、最初は図8(B)のようにGOP内のP
ピクチャをIピクチャに変更する。さらに再送率が大き
くなった場合は、GOP内のIピクチャの比率を図8
(C)に示すように増やし、最終的には図8(D)に示
すようにGOP内のピクチャをすべてIピクチャにする
(または、GOPの長さを短くする)。これにより、ピ
クチャがエラーのため伸長できなかった場合でも、次の
フレームの展開が不可能になる可能性を低減することが
できる。When there is a retransmission request, the frame retransmitting means 92 retransmits the packet specified by the receiving side (step C4). When the retransmission request rate becomes equal to or more than a certain value (step C5), the key frame interval adjusting means 23 changes the key frame interval according to the retransmission rate (step C5).
6). For example, first, as shown in FIG.
Change the picture to an I picture. If the retransmission rate further increases, the ratio of I pictures in the GOP is
The picture is increased as shown in (C), and finally all pictures in the GOP are made I pictures (or the length of the GOP is shortened) as shown in FIG. As a result, even if a picture cannot be expanded due to an error, it is possible to reduce the possibility that expansion of the next frame becomes impossible.
【0081】以下、通信処理手段24は、ステップC3
からC8を全パケットの送信完了まで繰り返す(ステッ
プC9)。通信処理手段24は、全パケットの送信完了
後、送信側からの全パケット受信完了信号を待つ(ステ
ップC10)。通信処理手段24は、全パケット受信完
了信号を待つ間、受信側からの再送要求があった場合
(ステップC11)、受信側の指定したパケットを送信
する(ステップC12)。Hereinafter, the communication processing means 24 executes step C3.
To C8 are repeated until transmission of all packets is completed (step C9). After completing the transmission of all packets, the communication processing unit 24 waits for an all-packet reception completion signal from the transmission side (step C10). While waiting for the all-packet reception completion signal, the communication processing unit 24 transmits a packet specified by the receiving side (Step C12) when there is a retransmission request from the receiving side (Step C11).
【0082】この第2実施例では、第1実施例と比べ
て、Iピクチャの構成比率が高くなるため、圧縮の効率
(画質またはデータ量)は劣るが、画像データを記録し
て後で再生する場合のランダムアクセス性や、動きの激
しい画像を送信する場合に有利である。In the second embodiment, the compression ratio (image quality or data amount) is inferior to that of the first embodiment because the composition ratio of I-pictures is high. However, image data is recorded and reproduced later. This is advantageous in the case of random accessibility in the case of transmitting the image or in the case of transmitting an image with a lot of movement.
【0083】[0083]
【発明の効果】以上説明したように、本発明によれば、
受信側電話装置においてエラー発生と判定された受信画
像データパケットがキーフレームの画像データパケット
であるときに、そのキーフレームの画像データパケット
を指定した再送要求をし、送信側電話装置から当該キー
フレームの画像データパケットを再送することで、前後
のフレームの伸長に必要なキーフレームの欠落を防止す
るようにしたため、例えばMPEG方式のような前後の
フレームとの相関関係を使用することによって画像デー
タを効率良く圧縮する方式で圧縮した画像データを送信
した場合に、転送した実効データ量を低下させずに、キ
ーフレーム欠落に起因して伸長画像にエラーが含まれる
ことを防止することができる。As described above, according to the present invention,
When the received image data packet determined to have an error in the receiving side telephone device is a key frame image data packet, a retransmission request specifying the image data packet of the key frame is made, and the key frame is transmitted from the transmitting side telephone device. The retransmission of the image data packet prevents the loss of key frames required for decompression of the preceding and succeeding frames. Therefore, for example, the image data is reconstructed by using the correlation with the preceding and succeeding frames such as the MPEG method. When image data compressed by a method of efficiently compressing is transmitted, it is possible to prevent an error from being included in a decompressed image due to a missing key frame without reducing the amount of transferred effective data.
【0084】また、本発明によれば、再送率が大きくな
りキーフレームの画像データパケットが増加すると、デ
ータ転送量が大きくなり過ぎる可能性があるが、キーフ
レームの間隔を長くするようにしているため、データ転
送量の増加を低減できる。According to the present invention, when the retransmission rate increases and the number of key frame image data packets increases, the data transfer amount may become too large, but the key frame interval is increased. Therefore, an increase in the data transfer amount can be reduced.
【0085】[0085]
【図1】本発明の送信側及び受信側の各電話装置の第1
の実施の形態を示すブロック図である。FIG. 1 is a diagram showing a first example of each of a telephone device on a transmitting side and a telephone device on a receiving side according to the present invention.
It is a block diagram showing an embodiment.
【図2】本発明の第1の実施の形態の送信側の動作説明
用フローチャートである。FIG. 2 is a flowchart for explaining an operation on a transmission side according to the first embodiment of the present invention.
【図3】本発明の第1の実施の形態の受信側の動作説明
用フローチャートである。FIG. 3 is a flowchart for explaining the operation of the receiving side according to the first embodiment of the present invention.
【図4】本発明の第1の実施の形態の実施例のキーフレ
ーム間隔調整手段23の動作を説明する説明図である。FIG. 4 is an explanatory diagram for explaining an operation of the key frame interval adjusting means 23 according to an example of the first embodiment of the present invention.
【図5】本発明の送信側及び受信側の各電話装置の第2
の実施の形態を示すブロック図である。FIG. 5 is a diagram showing a second example of each of the telephone devices on the transmitting side and the receiving side according to the present invention.
It is a block diagram showing an embodiment.
【図6】本発明の第2の実施の形態の送信側の動作説明
用フローチャートである。FIG. 6 is a flowchart for explaining an operation on the transmission side according to the second embodiment of this invention.
【図7】本発明の第2の実施の形態の受信側の動作説明
用フローチャートである。FIG. 7 is a flowchart illustrating an operation of a receiving side according to the second embodiment of this invention.
【図8】本発明の第2の実施の形態の実施例のキーフレ
ーム間隔調整手段23の動作を説明する説明図である。FIG. 8 is an explanatory diagram for explaining the operation of a key frame interval adjusting means 23 according to an example of the second embodiment of the present invention.
【図9】従来の一例のブロック図である。FIG. 9 is a block diagram of an example of the related art.
【図10】従来の送信側電話装置の動作説明用フローチ
ャートである。FIG. 10 is a flowchart for explaining the operation of a conventional transmitting-side telephone device.
【図11】従来の受信側電話装置の動作説明用フローチ
ャートである。FIG. 11 is a flowchart for explaining the operation of the conventional receiving-side telephone device.
1 入力装置 2 データ処理装置 3 記憶装置 4 画像入力装置 5 音声入力装置 6 画像出力装置 7 音声出力装置 8 通信装置 9 データ処理装置 20 画像処理手段 21 音声処理手段 22 キーフレーム再送手段 23 キーフレーム間隔調整手段 24 通信処理手段 92 フレーム再送手段 REFERENCE SIGNS LIST 1 input device 2 data processing device 3 storage device 4 image input device 5 audio input device 6 image output device 7 audio output device 8 communication device 9 data processing device 20 image processing means 21 audio processing means 22 keyframe retransmission means 23 keyframe interval Adjustment means 24 communication processing means 92 frame retransmission means
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 7/14 - 7/173 H04N 7/24 - 7/68 H04L 1/16 H04M 11/06 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int.Cl. 7 , DB name) H04N 7 /14-7/173 H04N 7/24-7/68 H04L 1/16 H04M 11/06
Claims (1)
を使用することによって効率的に圧縮した画像データ
を、音声信号を圧縮符号化した音声データと共にパケッ
ト化して生成して送信する送信側電話装置と、受信した
画像データパケットを伸長して元の画像信号を復元する
と共に、受信した音声データパケットを伸長して元の音
声信号に復元する受信側電話装置とからなるテレビ電話
装置において、 前記送信側電話装置は、再送要求の有無を判定し、該再
送要求がある時は指定されたキーフレームの画像データ
パケットを再送するキーフレーム再送手段と、 前後のフレームの伸長に必要な前記キーフレームの画像
データパケットの再送率を判定し、前記画像データパケ
ットの再送率が予め設定した値よりも高いときには、前
記キーフレームの間隔を現在の値よりも長くするキーフ
レーム間隔調整手段と を備え、 前記受信側電話装置は、受信画像データパケットにエラ
ーが発生したか否か判定するエラー判定手段と、 前記エラー判定手段によりエラー発生と判定された受信
画像データパケットが前記キーフレームの画像データパ
ケットであるときに、そのキーフレームの画像データパ
ケットを指定した前記再送要求を前記送信側電話装置へ
送信する再送要求手段とを備えたことを特徴とするテレ
ビ電話装置。1. A transmitting telephone for generating and transmitting image data obtained by efficiently compressing an image signal by using a correlation with a preceding and succeeding frame together with audio data obtained by compressing and encoding an audio signal. A video telephone device comprising: a device and a receiving telephone device that expands a received image data packet to restore an original image signal and expands a received audio data packet to restore the original audio signal. The transmitting side telephone device determines whether or not there is a retransmission request, and when there is a retransmission request, retransmits the image data packet of the designated key frame, and the key frame required for decompressing the preceding and following frames. Image of
The retransmission rate of the data packet is determined, and the image data packet
If the packet retransmission rate is higher than the preset value,
Keyframe to increase the interval between keyframes longer than the current value
An error determining unit that determines whether an error has occurred in a received image data packet; and a receiving image data packet that is determined to have an error by the error determining unit. A video telephone device comprising: a retransmission request unit that transmits the retransmission request specifying the image data packet of the key frame to the transmitting telephone device when the image data packet is the key frame image data packet.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17391597A JP3045108B2 (en) | 1997-06-30 | 1997-06-30 | Videophone equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17391597A JP3045108B2 (en) | 1997-06-30 | 1997-06-30 | Videophone equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1127645A JPH1127645A (en) | 1999-01-29 |
JP3045108B2 true JP3045108B2 (en) | 2000-05-29 |
Family
ID=15969446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17391597A Expired - Fee Related JP3045108B2 (en) | 1997-06-30 | 1997-06-30 | Videophone equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3045108B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6499060B1 (en) | 1999-03-12 | 2002-12-24 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
US6771659B1 (en) * | 2000-01-21 | 2004-08-03 | Nokia Mobile Phones Ltd. | Method and apparatus for a selective acknowledgement scheme in a modified unacknowledge mode for use over a communications link |
JP3699910B2 (en) | 2000-10-31 | 2005-09-28 | 株式会社東芝 | Data transmission apparatus, data transmission method and program |
US8634413B2 (en) | 2004-12-30 | 2014-01-21 | Microsoft Corporation | Use of frame caching to improve packet loss recovery |
JP2007013419A (en) | 2005-06-29 | 2007-01-18 | Canon Inc | Image processor and image processing method |
JP2007166479A (en) * | 2005-12-16 | 2007-06-28 | Matsushita Electric Ind Co Ltd | Moving picture display device and moving picture display method |
JP4790446B2 (en) * | 2006-03-01 | 2011-10-12 | 三菱電機株式会社 | Moving picture decoding apparatus and moving picture encoding apparatus |
JP4973381B2 (en) * | 2007-08-15 | 2012-07-11 | ソニー株式会社 | Monitoring device, monitoring method and monitoring system |
JP2012156650A (en) * | 2011-01-24 | 2012-08-16 | Panasonic Corp | Moving image transmission system |
JP2011217416A (en) * | 2011-08-01 | 2011-10-27 | Canon Inc | Image processing apparatus and method |
CN111541897A (en) * | 2020-04-21 | 2020-08-14 | 西安万像电子科技有限公司 | Data transmission method and device |
-
1997
- 1997-06-30 JP JP17391597A patent/JP3045108B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH1127645A (en) | 1999-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4949591B2 (en) | Video error recovery method | |
JP3931595B2 (en) | Data correction apparatus and data correction method | |
AU774040B2 (en) | Video coding | |
US5930526A (en) | System for progressive transmission of compressed video including video data of first type of video frame played independently of video data of second type of video frame | |
JP2002543705A (en) | Data transmission | |
JP2004507178A (en) | Video signal encoding method | |
EP1356684A1 (en) | Switching between bit-streams in video transmission | |
JP3045108B2 (en) | Videophone equipment | |
US6646674B1 (en) | TV telephone system | |
JP2002077838A (en) | Method and system for transmitting alternative visual data during interruption of video transmission system | |
JP3651706B2 (en) | Video encoding device | |
JP2003061095A (en) | Image encoder and image-encoding method | |
US20050289626A1 (en) | IP based interactive multimedia communication system | |
JPH11331843A (en) | Method and device for generating unlimitedly selected picture view from large picture | |
US5740282A (en) | System and method for contractive mapping resynchronization of a data transmission | |
KR100363550B1 (en) | Encoder and decoder in a wireless terminal for retransmitting a moving picture | |
JP3805748B2 (en) | Image transfer device | |
JPH10285565A (en) | Image transfer device | |
JP2945245B2 (en) | Still image transmission device | |
JP2000209592A (en) | Image transmitter, image transmitting method and system and its control method | |
JP3804953B2 (en) | Image transfer device | |
KR100212544B1 (en) | Method for detecting error of bit stream in h.263 algorithm | |
KR100647369B1 (en) | Video phone and lipsysnc processing method of video phone | |
JPH09130263A (en) | Data communication equipment, encoding device and decoding device | |
JPH10145760A (en) | Image communication device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080317 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090317 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090317 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110317 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110317 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 12 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 12 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 12 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130317 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130317 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140317 Year of fee payment: 14 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |