JPH1127645A - テレビ電話装置 - Google Patents

テレビ電話装置

Info

Publication number
JPH1127645A
JPH1127645A JP17391597A JP17391597A JPH1127645A JP H1127645 A JPH1127645 A JP H1127645A JP 17391597 A JP17391597 A JP 17391597A JP 17391597 A JP17391597 A JP 17391597A JP H1127645 A JPH1127645 A JP H1127645A
Authority
JP
Japan
Prior art keywords
image data
key frame
data packet
transmitting
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP17391597A
Other languages
English (en)
Other versions
JP3045108B2 (ja
Inventor
Takuya Morishita
卓也 森下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP17391597A priority Critical patent/JP3045108B2/ja
Publication of JPH1127645A publication Critical patent/JPH1127645A/ja
Application granted granted Critical
Publication of JP3045108B2 publication Critical patent/JP3045108B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Telephonic Communication Services (AREA)

Abstract

(57)【要約】 【課題】 MPEG方式のような圧縮符号化方式で画像
データが伝送されるテレビ電話装置において、1フレー
ムのすべてのパケットが正しく受信できた場合でも、そ
のフレームが全く伸長できなくなり、転送した実効デー
タ量が減少するか、あるいは伸長した画像データにノイ
ズが入る可能性が高い。 【解決手段】 送信側の電話装置内のキーフレーム再送
手段22は、受信側の電話装置から再送要求があるかど
うかを判定し、再送要求がある場合には、受信側の指定
したパケットを再送する。キーフレーム間隔調整手段2
3は、再送要求が一定値以上になった場合、画像処理手
段20が生成するキーフレームの間隔を再送率に応じて
変更する。受信側の電話装置内のキーフレーム再送手段
22は、キーフレーム受信中に受信エラーが発生した場
合、現在のパケットの再送要求を送信する。これによ
り、受信側ではキーフレームを必ず伸長できる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はテレビ電話装置に係
り、特にディジタル動画像を前後のフレームとの相関関
係を使用して圧縮するテレビ電話装置に関する。
【0002】
【従来の技術】図9は従来のテレビ電話装置の一例のブ
ロック図を示す。この従来のテレビ電話装置は、特開平
8−195947号公報に記載されているテレビ電話装
置で、カメラ部101と、ビデオ回路部102と、ビデ
オ処理部103と、ビデオ表示部104と、NCU部1
05と、音声処理部106と、CPU部107と、モデ
ム部108と、キー・LED109と、リモコン110
等とから構成される。
【0003】カメラ部101は、この従来のテレビ電話
装置における利用者の映像を取り込み、映像信号として
ビデオ回路部102へ供給する。ビデオ回路部102
は、カメラ部101から供給される映像信号と、外部入
力端子INから供給される映像信号とを、リモコン11
0からの指示に基づいて切り替え、いずれか一方の映像
信号から同期信号、輝度信号及び色信号を分難し、ビデ
オ処理部103へ供給する。また、ビデオ回路部102
は、ビデオ処理部103から供給される映像信号(アナ
ログ信号)を画像出力端子OUTへ送出する。
【0004】ビデオ処理部103は、ビデオ回路部10
2からの同期信号、輝度信号及び色信号を各々ディジタ
ル信号(以下、画像データという)に変換する一方、ビ
デオ表示部104からの画像データをアナログ映像信号
に変換してビデオ回路部102に供給する。また、ビデ
オ処理部103は、CPU部107の指示に基づき、ビ
デオ回路部102から供給された画像データを格納する
と共に、例えばJPEG(Joint Photographic coding
Experts Group)アルゴリズムなどで上記の画像データ
を圧縮符号化して得た圧縮画像データ、更に、この圧縮
画像データを復号、伸長した伸長画像データをそれぞれ
格納するメモリを有する。
【0005】ビデオ表示部104は、画像データをCP
U部107からの命令に基づいて、ビデオ処理部103
内のメモリから読み出した画像データや伸長画像データ
を受け、表示しように応じて補間、間引き処理などを行
うと共に、CPU部107からの命令に応じたキャラク
タを合成した表示画像データをビデオ処理部103へ出
力する。
【0006】NCU部105は、電話機からの音声入力
信号、外部音声入力、及びマイク入力信号を合成し、音
声処理部106へ供給する。また、NCU部105は、
音声処理部106から供給される出力音声信号を電話機
及び音声出力端子へ送出する。
【0007】音声処理部106は、NCU部105から
の音声信号(アナログ信号)をディジタル変換する。ま
た逆に復号化、伸長処理が行われたディジタル音声デー
タをアナログ音声データに変換してNCU部105へ供
給する。音声処理部106は、ディジタル音声データ
を、例えばCELP(Code-Excited Linear Predictio
n)アルゴリズムなどで圧縮または伸長する。
【0008】CPU部107は、この従来のテレビ電話
装置の各部の制御を行う。CPU部107は、カメラ部
101又は外部入力端子INから供給される映像信号が
ディジタル化、圧縮・符号化されてビデオ処理部103
内のメモリに格納されている圧縮画像データと、電話機
または外部音声入力、マイク入力からの音声信号がディ
ジタル化、圧縮・符号化されて音声処理部106内のメ
モリに格納されている圧縮音声データとを多重化して、
モデム部108に供給する。また、CPU部107は、
相手先のテレビ電話装置から多重化して送信されてくる
画像・音声データがモデム部108で復調された後、画
像・音声データを分離処理し、それぞれビデオ処理部1
03と音声処理部106に送る。
【0009】モデム部108は、CPU部107によっ
て多重化された画像・音声圧縮データを、通信回線で伝
送可能な伝送信号(アナログ信号)に変換して送信する
変調器(モジュレータ)としての機能と、逆に、通信回
線を介して送られてきた伝送信号(アナログ信号)を、
再びCPU部107で解読可能なディジタル信号に戻す
復調器(デモジュレータ)としての機能を備えており、
NCU部105によって利用する通信回線として一般加
入者回線での使用が可能となっている。
【0010】次に、この従来のテレビ電話装置の送信側
の動作を、図10のフローチャートと共に説明する。ま
ず、これから送信する1画面分の画像データの総バイト
数を受信側に送信するとともに、送信するパケット番号
を示す変数xを「0」にする(ステップS10)。次
に、再送要求REQを受信したか否かを判断する(ステ
ップS11)。この再送要求REQは、転送エラー(C
RCエラー)の発生頻度が所定値(例えば、10秒に1
回)より多くなった場合にのみ、転送エラーが生じた際
に、受信側のテレビ電話装置から送信側のテレビ電話装
置に対して送信されるものである。そして、再送要求R
EQを受信していない場合には、ステップS12へ進
み、変数xで示される画像データパケット(x)を送信
する。
【0011】一方、再送要求REQを受信した場合に
は、ステップS11からステップS13に進み、再送要
求REQに対応する画像データパケットを再度送信す
る。
【0012】次に、上記ステップS12またはステップ
S13の処理が終了すると、ステップS14へ進み、全
パケットの送信が完了したか否かを判断する。そして、
まだ、全パケットの送信が終了していない場合には、変
数xを「1」だけインクリメントした後(ステップS1
5)、ステップS11へ戻る。以下、ステップS11〜
ステップS15の処理を繰り返し実行し、1画面分の画
像パケットデータを送信する。
【0013】上述した画像データパケット送信処理にお
いて、全パケットの送信が終了すると、ステップS14
からステップS16へ進み、受信側のテレビ電話装置か
らの全パケット完了通知ENDを受信したか否かを判断
する。この全パケット完了通知ENDは、再送要求RE
Qと同様に、転送エラー(CRCエラー)の発生頻度が
所定値(例えば、10秒に1回)より多くなった場合に
のみ、全パケットの受信が完了した時点で、受信側のテ
レビ電話装置から送信側のテレビ電話装置に対して送信
されるものである。
【0014】ステップS16において、全パケット完了
通知ENDを受信していない場合には、再送要求REQ
を受信したか否かを判断する(ステップS17)。ここ
で、再送要求REQの受信の有無を判断するのは、全パ
ケット完了通知ENDを受信する前に、次の画像データ
を送信してしまうと、その前の画像データに対する再送
要求REQが生じた際に、受信側のテレビ電話装置が該
当画像データパケットを受信する前に次の画像データパ
ケットを受信する可能性があるためである。
【0015】そして、再送要求REQを受信した場合に
は、ステップS17からステップS18に進み、再送要
求REQに対応する画像データパケットを受信側のテレ
ビ電話装置に再度送信した後、ステップS16へ戻る。
一方、再送要求REQを受信していない場合には、ステ
ップS17から何もせずにステップS16へ戻る。以
下、全パケット完了通知ENDを受信するまで、ステッ
プS16、S17、もしくはステップS16、S17、
S18を繰り返し実行する。
【0016】受信側のテレビ電話装置からの全パケット
完了通知ENDを受信すると、ステップS16から最初
のステップS10へ戻る。この時点で、1画面分の画像
データの送信が完了したことになる。以下、ステップS
10からS18を繰り返し実行して、次の画像データを
パケット単位で送信する。
【0017】次に、従来のテレビ電話装置の受信側の動
作を、図11のフローチャートと共に説明する。受信側
のテレビ電話装置は、まず、送信側のテレビ電話装置か
ら送信された総バイト数を受信するとともに、変数xを
「0」とする(ステップS20)。次に、変数xで示さ
れる画像データパケット(x)を受信し(ステップS2
1)、その受信画像データパケット(x)が正常に受信
されたか否かを判別するために、CRCエラーが発生し
たか否かを判断する(ステップS22)。
【0018】そして、CRCエラーが発生した場合に
は、CRCエラーが発生した該当画像データパケット
(x)を再度送信するよう再送要求REQを送信側のテ
レビ電話装置に送信する(ステップS23)。なお、こ
の再送要求REQは、前述したように、転送エラー(C
RC)の発生頻度が所定値(例えば、10秒に1回)よ
り多くなった場合にのみ送信される。
【0019】上記ステップS23の処理が終了すると、
ステップS24へ進む。一方、CRCエラーが発生しな
ければ、何もせずに、そのままステップS24へ進む。
ステップS24では、全パケットの受信が完了したか否
かを判断する。全パケットの受信が完了していなけれ
ば、変数xを「1」だけインクリメントした後(ステッ
プS25)、ステップS21へ戻り、次の画像データパ
ケットを受信する。以下、全パケットの受信が完了する
まで、ステップS21〜ステップS25の処理を繰り返
し実行し、1画面分の画像データパケットを受信する。
【0020】上述した画像データパケットの受信処理に
おいて、全パケットの受信が終了すると、全パケットを
受信したことを示す全パケット完了通知ENDを送信側
のテレビ電話装置に送信した後(ステップS26)、最
初のステップS20へ戻る。この時点で、1画面分の画
像データの受信が完了したことになる。以下、ステップ
S20〜ステップS26の処理を繰り返し実行して、次
の画像データをパケット単位で受信する。
【0021】
【発明が解決しようとする課題】しかるに、上記の従来
のテレビ電話装置では、例えばMPEG方式のような前
後のフレームとの相関関係を使用することによって、画
像データを効率良く圧縮する方式で圧縮した画像データ
を送信した場合、1フレームのすべてのパケットが正し
く受信できた場合でも、そのフレームが全く伸長できな
くなり転送した実効データ量が減少するか、あるいは伸
長した画像データにノイズが入る可能性が高いという問
題点がある。
【0022】その理由は、前後のフレームの伸長に必要
なキーフレーム(MPEG方式ではIまたはPピクチ
ャ)が欠落した場合、伸長に前後のフレームの情報が必
要なフレーム(MPEG方式ではPまたはBピクチャ)
のパケットをすべて受信できた場合でも、当該フレーム
の伸長が不可能になるか、仮に伸長を行ったとしても伸
長した画像データにはエラーが含まれるためである。
【0023】本発明は上記の点に鑑みなされたもので、
前後のフレームとの相関関係を使用することによって画
像データを効率良く圧縮する方式で圧縮した画像データ
を送信した場合でも、転送した実効データ量を低下させ
ず、画像をエラー無く伸長するテレビ電話装置を提供す
ることを目的とする。
【0024】
【課題を解決するための手段】上記の目的を達成するた
め、請求項1の発明は画像信号を前後のフレームとの相
関関係を使用することによって効率的に圧縮した画像デ
ータを、音声信号を圧縮符号化した音声データと共にパ
ケット化して生成して送信する送信側電話装置と、受信
した画像データパケットを伸長して元の画像信号を復元
すると共に、受信した音声データパケットを伸長して元
の音声信号に復元する受信側電話装置とからなるテレビ
電話装置において、送信側電話装置は、再送要求の有無
を判定し、再送要求がある時は指定されたキーフレーム
の画像データパケットを再送するキーフレーム再送手段
を備え、受信側電話装置は、受信画像データパケットに
エラーが発生したか否か判定するエラー判定手段と、エ
ラー判定手段によりエラー発生と判定された受信画像デ
ータパケットがキーフレームの画像データパケットであ
るときに、そのキーフレームの画像データパケットを指
定した再送要求を送信側電話装置へ送信する再送要求手
段とを備えた構成としたものである。
【0025】この発明では、受信側電話装置においてエ
ラー発生と判定された受信画像データパケットがキーフ
レームの画像データパケットであるときに、そのキーフ
レームの画像データパケットを指定した再送要求をし、
送信側電話装置から当該キーフレームの画像データパケ
ットを再送するようにしているため、前後のフレームの
伸長に必要なキーフレームの欠落を防止することができ
る。
【0026】また、請求項2記載の発明では、送信側電
話装置は、前後のフレームの伸長に必要なキーフレーム
の画像データパケットの再送率を判定し、再送率に応じ
てキーフレームの間隔を調整するキーフレーム間隔調整
手段を更に有することを特徴とする。この発明では、再
送率が大きくなりキーフレームの画像データパケットが
増加すると、データ転送量が大きくなり過ぎる可能性が
あるが、キーフレームの間隔を長くすることにより、デ
ータ転送量の増加を低減できる。
【0027】また、請求項4記載の発明では、送信側電
話装置は、再送要求の有無を判定し、再送要求がある時
は指定された画像データパケットを再送するキーフレー
ム再送手段と、画像データパケットの再送率を判定し、
再送率に応じて前後のフレームの伸長に必要なキーフレ
ームの間隔を調整するキーフレーム間隔調整手段とを備
え、受信側電話装置は、受信画像データパケットにエラ
ーが発生したか否か判定するエラー判定手段と、エラー
判定手段によりエラー発生と判定されたエラー率が一定
値以上であるときに再送要求を送信側電話装置へ送信す
る再送要求手段とを備えた構成としたものである。
【0028】この発明では、受信側電話装置におけるエ
ラー発生率が一定値以上のときには、再送要求を送信側
電話装置へ送信し、送信側電話装置では再送率に応じて
前後のフレームの伸長に必要なキーフレームの間隔を調
整するようにしているため、特に、画像データパケット
の再送率が予め設定した値よりも高いときには、キーフ
レームの間隔を現在の値よりも短くするようにした場合
は、キーフレームの構成比率が再送率に応じて高くでき
る。
【0029】
【発明の実施の形態】次に、本発明の実施の形態の動作
について説明する。図1は本発明の第1の実施の形態の
送信側及び受信側の電話装置のブロック図を示す。本発
明の第1の実施の形態は画像信号を前後のフレームとの
相関関係を使用することによって効率的に圧縮した画像
データを、音声信号を圧縮符号化した音声データと共に
パケット化して生成して送信する送信側電話装置と、受
信した画像データパケットを伸長して元の画像信号を復
元すると共に、受信した音声データパケットを伸長して
元の音声信号に復元する受信側電話装置とからなるテレ
ビ電話装置において、送信側電話装置及び受信側電話装
置のそれぞれを図1のブロック図に示す如き構成とした
ものである。
【0030】図1の第1の実施の形態の電話装置は、キ
ーボード等の入力装置1と、プログラム動作により動作
するデータ処理装置2と、画像や音声等の情報を記憶す
る記憶装置3と、ビデオカメラ等の画像を入力する画像
入力装置4と、マイク等の音声を入力する音声入力装置
5と、ディスプレイ等の画像出力装置6と、スピーカ等
の音声出力装置7と、モデム等の通信装置8とを含む。
【0031】データ処理装置2は、画像処理手段20
と、音声処理手段21と、キーフレーム再送手段22
と、キーフレーム間隔調整手段23と、通信処理手段2
4とを備えている。画像処理手段20は、送信側では、
画像入力装置4からの画像データを前後のフレームとの
相関関係を使用して圧縮し、通信処理手段24を通して
圧縮した画像データを通信装置8から受信側へ送る。画
像処理手段20は、受信側では、通信装置8で受け取っ
た圧縮した画像データを通信処理手段24を通して受け
取り、伸長後、画像出力装置6へ送り画像を表示する。
【0032】音声処理手段21は、送信側では、音声入
力装置5からの音声データを圧縮し、通信処理手段24
を通して通信装置8から受信側へ送る。音声処理手段2
1は、受信側では、通信装置8で受け取った圧縮した音
声データを通信処理手段24を通して受け取り、伸長
後、音声出力装置7へ送り音声を再生する。
【0033】キーフレーム再送手段22は、受信側で
は、前後のフレームの伸長に必要なキーフレームの画像
データのパケットがエラーとなり受信できなかった場合
に、送信側に対して再送要求を行う。キーフレーム再送
手段22は、送信側では、受信側からの再送要求を受け
た場合にエラーとなったパケットを受信側に再送する。
【0034】キーフレーム間隔調整手段23は、送信側
で、受信側へのパケット再送率に応じてキーフレームの
間隔を調整する。通信処理手段24は、圧縮した画像デ
ータ及び音声データをパケット化して通信装置8を制御
して送受信を行う。
【0035】次に、図1及び図2及び図3を参照して、
本発明の第1の実施の形態の動作について説明する。
【0036】図2は、本発明の第1の実施の形態の送信
側のデータ処理装置2の動作を説明する流れ図である。
ここでは、画像1フレーム分の送信について説明する。
【0037】画像処理手段20は、画像入力装置4から
の画像データを1フレーム圧縮する(ステップA1)。
この時、画像処理手段20は、一定間隔で前後のフレー
ムの伸長時に参照フレームとなるキーフレームを圧縮す
る。この間隔はキーフレーム間隔調整手段23が後のス
テップA6で調整する。
【0038】通信処理手段24は、受信側に対して送信
する全データ量を送信し、送信する画像データパケット
番号xを0に初期化する(ステップA2)。
【0039】キーフレーム再送手段22は、受信側から
の再送要求が無いか判定し、再送要求があった場合はス
テップA4に進み、無かった場合はステップA7に進む
(ステップA3)。
【0040】再送要求が無かった場合、通信処理手段2
4は、画像データパケット番号xの画像データを送信し
た後(ステップA7)、画像データパケット番号を更新
する(ステップA8)。
【0041】再送要求があった場合、キーフレーム再送
手段22は、受信側の指定したパケットを再送する(ス
テップA4)。キーフレーム間隔調整手段23は、再送
要求率が一定値以上になった場合(ステップA5)、キ
ーフレームの間隔を再送率に応じて変更する(ステップ
A6)。
【0042】以下、通信処理手段24は、ステップA3
からA8を全パケットの送信完了まで繰り返す(ステッ
プA9)。
【0043】通信処理手段24は、全パケットの送信完
了後、送信側からの全パケット受信完了信号を待つ(ス
テップA10)。通信処理手段24は、全パケット受信
完了信号を待つ間、受信側からの再送要求があった場合
(ステップA11)、受信側の指定したパケットを送信
する(ステップA12)。
【0044】図3は、本発明の第1の実施の形態の受信
側のデータ処理装置2の動作を説明する流れ図である。
ここでは、画像1フレーム分の受信について説明する。
【0045】通信処理手段24は、送信側から送られて
くる全データ量を受信し、受信する画像データパケット
番号xを0に初期化する(ステップB1)。
【0046】次に通信処理手段24は、送信側から送ら
れてくる画像データのパケットを受信し(ステップB
2)、受信エラーが発生したか判定する(ステップB
3)。キーフレーム再送手段22は、受信エラーが発生
した場合、現在受信中のフレームがキーフレームだった
場合(ステップB4)、現在のパケットの再送要求を送
信側に送る(ステップB5)。
【0047】以下、通信処理手段24は、すべてのパケ
ットの受信が終了する(ステップB6)まで受信パケッ
ト番号を更新(ステップB7)しながらステップB2か
らB5を繰り返す。
【0048】全パケットの受信が完了したら、通信処理
手段24は、全パケット受信完了信号を送信側に送り
(ステップB8)、画像処理手段20は、1フレーム分
の画像データを伸長する。
【0049】この本発明の第1の実施の形態によれば、
他のフレームの伸長に必要なキーフレームを必ず伸長す
るので、フレームのパケットをすべて受信できた場合に
もそのフレームが参照する必要があるキーフレームが伸
長されていないことが無くなり、これが原因で転送エラ
ーが生じた際にデータ転送の実効量が減少したり伸長し
た画像にエラーが含まれたりすることが無いという効果
がある。
【0050】次に、本発明の第2の実施の形態について
図面を参照して説明する。図5は本発明の第2の実施の
形態の送信側及び受信側の電話装置のブロック図を示
す。同図中、図1と同一構成部分には同一符号を付し、
その説明を省略する。図5に示す本発明の第2の実施の
形態における電話装置は、データ処理装置9が、図1に
示された第1の実施の形態におけるデータ処理装置2の
構成からキーフレーム再送手段22を除き、フレーム再
送手段92を有する点で異なる。
【0051】フレーム再送手段92は、受信側では、画
像データのパケットがエラーとなり受信できなかった場
合に、送信側に対して再送要求を行う。フレーム再送手
段92は、送信側では、受信側からの再送要求を受けた
場合にエラーとなったパケットを受信側に再送する。
【0052】次に、図5及び図6及び図7を参照して、
本発明の第2の実施の形態の動作について説明する。図
6は、本発明の第2の実施の形態の送信側のデータ処理
装置9の動作を説明用フローチャートである。ここで
は、画像1フレーム分の送信について説明する。
【0053】画像処理手段20は、画像入力装置4から
の画像データを1フレーム圧縮する(ステップC1)。
この時、画像処理手段20は、一定間隔で前後のフレー
ムの伸長時に参照フレームとなるキーフレームとして圧
縮する。この間隔はキーフレーム間隔調整手段23が後
のステップC6で調整する。
【0054】通信処理手段24は、受信側に対して送信
する全データ量を送信し、送信する画像データパケット
番号xを0に初期化する(ステップC2)。フレーム再
送手段92は、受信側からの再送要求が無いか判定し、
再送要求があった場合はステップC4に進み、無かった
場合はステップC7に進む(ステップC3)。再送要求
が無かった場合、通信処理手段24は、画像データパケ
ット番号xの画像データを送信した後(ステップC
7)、画像データパケット番号を更新する(ステップC
8)。
【0055】再送要求があった場合、フレーム再送手段
92は、受信側の指定したパケットを再送する(ステッ
プC4)。キーフレーム間隔調整手段23は、再送要求
率が一定値以上になった場合(ステップC5)、キーフ
レームの間隔を再送率に応じて変更する(ステップC
6)。以下、通信処理手段24は、ステップC3からC
8を全パケットの送信完了まで繰り返す(ステップC
9)。
【0056】通信処理手段24は、全パケットの送信完
了後、送信側からの全パケット受信完了信号を待つ(ス
テップC10)。通信処理手段24は、全パケット受信
完了信号を待つ間、受信側からの再送要求があった場合
(ステップC11)、受信側の指定したパケットを送信
する(ステップC12)。
【0057】図7は、本発明の第2の実施の形態の受信
側のデータ処理装置9の動作説明用フローチャートであ
る。ここでは、画像1フレーム分の受信について説明す
る。通信処理手段24は、送信側から送られてくる全デ
ータ量を受信し、受信する画像データパケット番号xを
0に初期化する(ステップD1)。
【0058】次に、通信処理手段24は、送信側から送
られてくる画像データのパケットを受信し(ステップD
2)、受信エラーが発生したか判定する(ステップD
3)。フレーム再送手段92は、受信エラーが発生した
場合、エラーの発生率が一定値以上だった場合(ステッ
プD4)、現在のパケットの再送要求を送信側に送る
(ステップD5)。
【0059】以下、通信処理手段24は、すべてのパケ
ットの受信が終了する(ステップD6)まで受信パケッ
ト番号を更新(ステップD7)しながらステップD2か
らD5を繰り返す。
【0060】全パケットの受信が完了したら、通信処理
手段24は、全パケット受信完了信号を送信側に送り
(ステップD8)、画像処理手段20は、1フレーム分
の画像データを伸長する。
【0061】
【実施例】次に、本発明の第1の実施の形態の一実施例
(第1実施例)の動作を詳細に説明する。この第1実施
例では、画像の圧縮にMPEG(Moving Picture Exper
tsGroup)方式を使用した例をあげる。
【0062】MPEG方式では、動画像データは、動き
補償フレーム間予測とDCT(discrete cosine transf
orm:離散コサイン変換)を複合したアルゴリズムで圧
縮される。フレーム間予測を行うため、静止画像の圧縮
アルゴリズム、例えばJPEG(Joint Photographic c
oding Experts Group)方式などと比べると圧縮効率に
優れているが、フレームの伸長に前後のフレームの情報
が必要なため、フレーム単位のランダムアクセスができ
ない。このため、GOP(Group of Picture)とよばれ
る複数の画像フレームから構成されるレイヤを設け、G
OP単位でランダムアクセスを行う。
【0063】GOPはそのフレームのみで伸長が可能な
フレーム内符号化フレーム(Iピクチャ)と、伸長には
前のフレームが必要なフレーム間符号化フレーム(Pピ
クチャ)と、伸長には前後のフレームが必要なフレーム
内挿符号化フレーム(Bピクチャ)の3種類のフレーム
から構成される。一般的には、同程度の符号量に圧縮し
た場合、Bピクチャが最も画質が良くなり、次いでPピ
クチャ、Iピクチャの順となる。ただし、Bピクチャを
増やすとランダムアクセス性が悪くなり、また動きの激
しい画像の場合、逆に圧縮効率が低下する。1つのGO
Pには1つ以上のIピクチャと、0または複数のPピク
チャ及びBピクチャが存在する。
【0064】図4(A)及び図8(A)は、GOP構成
の一例である。矢印は伸長時に必要なフレームの依存関
係をあらわす(矢印の元のフレームを伸長する際に矢印
の先のフレームをあらかじめ伸長しておく必要があ
る)。IピクチャまたはPピクチャが受信エラーのため
伸長できなかった場合、GOPの残りのフレームはすべ
て伸長できなくなる。このような事態を避けるため、第
1の形態の実施例では、キーフレーム再送手段22を設
けてIピクチャまたはPピクチャを必ず再送するように
している。
【0065】しかし、パケットの再送率が大きくなって
も、すべてのIピクチャとPピクチャの再送を続けると
データ転送量が多くなりすぎる可能性があるため、パケ
ットの再送率が一定値以上になった場合にGOPのBピ
クチャの構成比率を増やすことによってキーフレームの
間隔を長くするキーフレーム間隔調整手段23を設けて
いる。
【0066】Bピクチャを増やすと前述のようにランダ
ムアクセス性の低下と、動きの激しい画像の場合の圧縮
効率低下をまねく恐れがあるが、通常のテレビ電話装置
の用途ではこれらの点はあまり大きな問題にはならな
い。
【0067】以下、図2を参照して第1の形態の実施例
の送信側の動作を述べる。
【0068】画像処理手段20は、画像入力装置4から
の画像データを1フレーム圧縮する(ステップA1)。
この時、画像処理手段20は、所定のGOP、例えば図
4(A)のようなGOP構成でフレームを圧縮する。こ
のGOP構成は、画像データの再送率が一定値を超えた
場合に後のステップA6でキーフレーム間隔調整手段2
3が変更する。
【0069】通信処理手段24は、受信側に対して送信
する全データ量を送信し、送信する画像データパケット
番号xを0に初期化する(ステップA2)。キーフレー
ム再送手段22は、受信側からの再送要求が無いか判定
し、再送要求があった場合はステップA4に進み、無か
った場合はステップA7に進む(ステップA3)。
【0070】再送要求が無かった場合、通信処理手段2
4は、画像データパケット番号xの画像データを送信し
た後(ステップA7)、画像データパケット番号を更新
する(ステップA8)。
【0071】再送要求があった場合、キーフレーム再送
手段22は、受信側の指定したパケットを再送する(ス
テップA4)。キーフレーム間隔調整手段23は、再送
要求率が一定値以上になった場合(ステップA5)、I
ピクチャまたはPピクチャの間隔を再送率に応じて変更
する(ステップA6)。例えば、最初は図4(B)に示
すように、GOP内のPピクチャをBピクチャに変更す
る。さらに再送率が大きくなった場合は、図4(C)に
示すようにGOPの長さを変更してIピクチャの間隔を
長くする。
【0072】以下、通信処理手段24は、ステップA3
からA8を全パケットの送信完了まで繰り返す(ステッ
プA9)。通信処理手段24は、全パケットの送信完了
後、送信側からの全パケット受信完了信号を待つ(ステ
ップA10)。通信処理手段24は、全パケット受信完
了信号を待つ間、受信側からの再送要求があった場合
(ステップA11)、受信側の指定したパケットを送信
する(ステップA12)。
【0073】次に、図3を参照して第1実施例の受信側
の動作を説明する。通信処理手段24は、送信側から送
られてくる全データ量を受信し、受信する画像データパ
ケット番号xを0に初期化する(ステップB1)。
【0074】次に通信処理手段24は、送信側から送ら
れてくる画像データのパケットを受信し(ステップB
2)、受信エラーが発生したか判定する(ステップB
3)。キーフレーム再送手段22は、受信エラーが発生
した場合、現在受信中のフレームがIピクチャまたはP
ピクチャだった場合(ステップB4)、現在のパケット
の再送要求を送信側に送る(ステップB5)ことですべ
てのIピクチャとPピクチャを確実に伸長する。
【0075】以下、通信処理手段24は、すべてのパケ
ットの受信が終了する(ステップB6)まで受信パケッ
ト番号を更新(ステップB7)しながらステップB2か
らB5を繰り返す。全パケットの受信が完了したなら
ば、通信処理手段24は、全パケット受信完了信号を送
信側に送り(ステップB8)、画像処理手段20は、1
フレーム分の画像データを伸長する。
【0076】次に、本発明の第2の実施の形態の一実施
例(第2実施例)の動作を詳細に説明する。この第2実
施例でも画像の圧縮にMPEG方式を使用した例をあげ
る。
【0077】まず、図6を参照して第2実施例の送信側
の動作を説明する。画像処理手段20は、画像入力装置
4からの画像データを1フレーム圧縮する(ステップC
1)。この時、画像処理手段20は、所定のGOP、例
えば図8(A)のようなGOP構成でフレームを圧縮す
る。このGOP構成は、画像データの再送率が一定値を
超えた場合に後のステップC6でキーフレーム間隔調整
手段23が変更する。
【0078】通信処理手段24は、受信側に対して送信
する全データ量を送信し、送信する画像データパケット
番号xを0に初期化する(ステップC2)。フレーム再
送手段92は、受信側からの再送要求が無いか判定し、
再送要求があった場合はステップC4に進み、無かった
場合はステップC7に進む(ステップC3)。
【0079】再送要求が無かった場合、通信処理手段2
4は、画像データパケット番号xの画像データを送信し
た後(ステップC7)、画像データパケット番号を更新
する(ステップC8)。
【0080】再送要求があった場合、フレーム再送手段
92は、受信側の指定したパケットを再送する(ステッ
プC4)。キーフレーム間隔調整手段23は、再送要求
率が一定値以上になった場合(ステップC5)、キーフ
レームの間隔を再送率に応じて変更する(ステップC
6)。例えば、最初は図8(B)のようにGOP内のP
ピクチャをIピクチャに変更する。さらに再送率が大き
くなった場合は、GOP内のIピクチャの比率を図8
(C)に示すように増やし、最終的には図8(D)に示
すようにGOP内のピクチャをすべてIピクチャにする
(または、GOPの長さを短くする)。これにより、ピ
クチャがエラーのため伸長できなかった場合でも、次の
フレームの展開が不可能になる可能性を低減することが
できる。
【0081】以下、通信処理手段24は、ステップC3
からC8を全パケットの送信完了まで繰り返す(ステッ
プC9)。通信処理手段24は、全パケットの送信完了
後、送信側からの全パケット受信完了信号を待つ(ステ
ップC10)。通信処理手段24は、全パケット受信完
了信号を待つ間、受信側からの再送要求があった場合
(ステップC11)、受信側の指定したパケットを送信
する(ステップC12)。
【0082】この第2実施例では、第1実施例と比べ
て、Iピクチャの構成比率が高くなるため、圧縮の効率
(画質またはデータ量)は劣るが、画像データを記録し
て後で再生する場合のランダムアクセス性や、動きの激
しい画像を送信する場合に有利である。
【0083】
【発明の効果】以上説明したように、本発明によれば、
受信側電話装置においてエラー発生と判定された受信画
像データパケットがキーフレームの画像データパケット
であるときに、そのキーフレームの画像データパケット
を指定した再送要求をし、送信側電話装置から当該キー
フレームの画像データパケットを再送することで、前後
のフレームの伸長に必要なキーフレームの欠落を防止す
るようにしたため、例えばMPEG方式のような前後の
フレームとの相関関係を使用することによって画像デー
タを効率良く圧縮する方式で圧縮した画像データを送信
した場合に、転送した実効データ量を低下させずに、キ
ーフレーム欠落に起因して伸長画像にエラーが含まれる
ことを防止することができる。
【0084】また、本発明によれば、再送率が大きくな
りキーフレームの画像データパケットが増加すると、デ
ータ転送量が大きくなり過ぎる可能性があるが、キーフ
レームの間隔を長くするようにしているため、データ転
送量の増加を低減できる。
【0085】更に、本発明によれば、受信側電話装置に
おけるエラー発生率が一定値以上のときには、再送要求
を送信側電話装置へ送信し、送信側電話装置では再送率
に応じて前後のフレームの伸長に必要なキーフレームの
間隔を調整することにより、特に、画像データパケット
の再送率が予め設定した値よりも高いときには、キーフ
レームの間隔を現在の値よりも短くするようにしたた
め、キーフレームの構成比率が再送率に応じて高くで
き、よって、画像データを記録して後で再生する場合の
ランダムアクセス性や、動きの激しい画像を送信するの
に適した構成とすることができる。
【図面の簡単な説明】
【図1】本発明の送信側及び受信側の各電話装置の第1
の実施の形態を示すブロック図である。
【図2】本発明の第1の実施の形態の送信側の動作説明
用フローチャートである。
【図3】本発明の第1の実施の形態の受信側の動作説明
用フローチャートである。
【図4】本発明の第1の実施の形態の実施例のキーフレ
ーム間隔調整手段23の動作を説明する説明図である。
【図5】本発明の送信側及び受信側の各電話装置の第2
の実施の形態を示すブロック図である。
【図6】本発明の第2の実施の形態の送信側の動作説明
用フローチャートである。
【図7】本発明の第2の実施の形態の受信側の動作説明
用フローチャートである。
【図8】本発明の第2の実施の形態の実施例のキーフレ
ーム間隔調整手段23の動作を説明する説明図である。
【図9】従来の一例のブロック図である。
【図10】従来の送信側電話装置の動作説明用フローチ
ャートである。
【図11】従来の受信側電話装置の動作説明用フローチ
ャートである。
【符号の説明】
1 入力装置 2 データ処理装置 3 記憶装置 4 画像入力装置 5 音声入力装置 6 画像出力装置 7 音声出力装置 8 通信装置 9 データ処理装置 20 画像処理手段 21 音声処理手段 22 キーフレーム再送手段 23 キーフレーム間隔調整手段 24 通信処理手段 92 フレーム再送手段

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 画像信号を前後のフレームとの相関関係
    を使用することによって効率的に圧縮した画像データ
    を、音声信号を圧縮符号化した音声データと共にパケッ
    ト化して生成して送信する送信側電話装置と、受信した
    画像データパケットを伸長して元の画像信号を復元する
    と共に、受信した音声データパケットを伸長して元の音
    声信号に復元する受信側電話装置とからなるテレビ電話
    装置において、 前記送信側電話装置は、再送要求の有無を判定し、該再
    送要求がある時は指定されたキーフレームの画像データ
    パケットを再送するキーフレーム再送手段を備え、 前記受信側電話装置は、受信画像データパケットにエラ
    ーが発生したか否か判定するエラー判定手段と、 前記エラー判定手段によりエラー発生と判定された受信
    画像データパケットが前記キーフレームの画像データパ
    ケットであるときに、そのキーフレームの画像データパ
    ケットを指定した前記再送要求を前記送信側電話装置へ
    送信する再送要求手段とを備えたことを特徴とするテレ
    ビ電話装置。
  2. 【請求項2】 前記送信側電話装置は、前後のフレーム
    の伸長に必要な前記キーフレームの画像データパケット
    の再送率を判定し、該再送率に応じて前記キーフレーム
    の間隔を調整するキーフレーム間隔調整手段を更に有す
    ることを特徴とする請求項1記載のテレビ電話装置。
  3. 【請求項3】 前記キーフレーム間隔調整手段は、前記
    画像データパケットの再送率が予め設定した値よりも高
    いときには、前記キーフレームの間隔を現在の値よりも
    長くすることを特徴とする請求項2記載のテレビ電話装
    置。
  4. 【請求項4】 画像信号を前後のフレームとの相関関係
    を使用することによって効率的に圧縮した画像データ
    を、音声信号を圧縮符号化した音声データと共にパケッ
    ト化して生成して送信する送信側電話装置と、受信した
    画像データパケットを伸長して元の画像信号を復元する
    と共に、受信した音声データパケットを伸長して元の音
    声信号に復元する受信側電話装置とからなるテレビ電話
    装置において、 前記送信側電話装置は、再送要求の有無を判定し、該再
    送要求がある時は指定された画像データパケットを再送
    するキーフレーム再送手段と、 画像データパケットの再送率を判定し、該再送率に応じ
    て前後のフレームの伸長に必要な前記キーフレームの間
    隔を調整するキーフレーム間隔調整手段とを備え、 前記受信側電話装置は、受信画像データパケットにエラ
    ーが発生したか否か判定するエラー判定手段と、 前記エラー判定手段によりエラー発生と判定されたエラ
    ー率が一定値以上であるときに前記再送要求を前記送信
    側電話装置へ送信する再送要求手段とを備えたことを特
    徴とするテレビ電話装置。
  5. 【請求項5】 前記キーフレーム間隔調整手段は、前記
    画像データパケットの再送率が予め設定した値よりも高
    いときには、前記キーフレームの間隔を現在の値よりも
    短くすることを特徴とする請求項4記載のテレビ電話装
    置。
JP17391597A 1997-06-30 1997-06-30 テレビ電話装置 Expired - Fee Related JP3045108B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17391597A JP3045108B2 (ja) 1997-06-30 1997-06-30 テレビ電話装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17391597A JP3045108B2 (ja) 1997-06-30 1997-06-30 テレビ電話装置

Publications (2)

Publication Number Publication Date
JPH1127645A true JPH1127645A (ja) 1999-01-29
JP3045108B2 JP3045108B2 (ja) 2000-05-29

Family

ID=15969446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17391597A Expired - Fee Related JP3045108B2 (ja) 1997-06-30 1997-06-30 テレビ電話装置

Country Status (1)

Country Link
JP (1) JP3045108B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003521150A (ja) * 2000-01-21 2003-07-08 ノキア コーポレーション 選択的肯定応答方式のための方法および装置
US6993689B2 (en) 2000-10-31 2006-01-31 Kabushiki Kaisha Toshiba Data transmission apparatus and method
JP2007166479A (ja) * 2005-12-16 2007-06-28 Matsushita Electric Ind Co Ltd 動画像表示装置および動画像表示方法
JP2007235588A (ja) * 2006-03-01 2007-09-13 Mitsubishi Electric Corp 動画像復号装置及び動画像符号化装置
JP2009049577A (ja) * 2007-08-15 2009-03-05 Sony Corp 監視装置、監視方法及び監視システム
JP2011217416A (ja) * 2011-08-01 2011-10-27 Canon Inc 画像処理装置、画像処理方法
JP2012090329A (ja) * 2004-12-30 2012-05-10 Microsoft Corp パケットロスのリカバリを改善するためのフレームキャッシングの使用
JP2012156650A (ja) * 2011-01-24 2012-08-16 Panasonic Corp 動画伝送システム
US8705376B2 (en) 2005-06-29 2014-04-22 Canon Kabushiki Kaisha Image processing device and image processing method
US9232219B2 (en) 1999-03-12 2016-01-05 Microsoft Technology Licensing, Llc Media coding for loss recovery with remotely predicted data units
CN111541897A (zh) * 2020-04-21 2020-08-14 西安万像电子科技有限公司 数据传输方法及装置

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9232219B2 (en) 1999-03-12 2016-01-05 Microsoft Technology Licensing, Llc Media coding for loss recovery with remotely predicted data units
US9918085B2 (en) 1999-03-12 2018-03-13 Microsoft Technology Licensing, Llc Media coding for loss recovery with remotely predicted data units
JP4812216B2 (ja) * 2000-01-21 2011-11-09 ノキア コーポレイション 選択的肯定応答方式のための方法および装置
JP2003521150A (ja) * 2000-01-21 2003-07-08 ノキア コーポレーション 選択的肯定応答方式のための方法および装置
US7193973B2 (en) 2000-10-31 2007-03-20 Kabushiki Kaisha Toshiba Data transmission apparatus and method
US7437628B2 (en) 2000-10-31 2008-10-14 Kabushiki Kaisha Toshiba Data transmission apparatus and method
US7496807B2 (en) 2000-10-31 2009-02-24 Kabushiki Kaisha Toshiba Data transmission apparatus and method
US7500159B2 (en) 2000-10-31 2009-03-03 Kabushiki Kaisha Toshiba Data transmission apparatus and method
US7502975B2 (en) 2000-10-31 2009-03-10 Kabushiki Kaisha Toshiba Data transmission apparatus and method
US6993689B2 (en) 2000-10-31 2006-01-31 Kabushiki Kaisha Toshiba Data transmission apparatus and method
US7287201B2 (en) 2000-10-31 2007-10-23 Kabushiki Kaisha Toshiba Data transmission apparatus and method
JP2012253831A (ja) * 2004-12-30 2012-12-20 Microsoft Corp パケットロスのリカバリを改善するためのフレームキャッシングの使用
US10341688B2 (en) 2004-12-30 2019-07-02 Microsoft Technology Licensing, Llc Use of frame caching to improve packet loss recovery
JP2012090329A (ja) * 2004-12-30 2012-05-10 Microsoft Corp パケットロスのリカバリを改善するためのフレームキャッシングの使用
US9866871B2 (en) 2004-12-30 2018-01-09 Microsoft Technology Licensing, Llc Use of frame caching to improve packet loss recovery
US9313501B2 (en) 2004-12-30 2016-04-12 Microsoft Technology Licensing, Llc Use of frame caching to improve packet loss recovery
US8705376B2 (en) 2005-06-29 2014-04-22 Canon Kabushiki Kaisha Image processing device and image processing method
JP2007166479A (ja) * 2005-12-16 2007-06-28 Matsushita Electric Ind Co Ltd 動画像表示装置および動画像表示方法
US8160152B2 (en) 2006-03-01 2012-04-17 Mitsubishi Electric Corporation Moving image decoding apparatus and moving image coding apparatus
JP2007235588A (ja) * 2006-03-01 2007-09-13 Mitsubishi Electric Corp 動画像復号装置及び動画像符号化装置
JP2009049577A (ja) * 2007-08-15 2009-03-05 Sony Corp 監視装置、監視方法及び監視システム
JP2012156650A (ja) * 2011-01-24 2012-08-16 Panasonic Corp 動画伝送システム
JP2011217416A (ja) * 2011-08-01 2011-10-27 Canon Inc 画像処理装置、画像処理方法
CN111541897A (zh) * 2020-04-21 2020-08-14 西安万像电子科技有限公司 数据传输方法及装置

Also Published As

Publication number Publication date
JP3045108B2 (ja) 2000-05-29

Similar Documents

Publication Publication Date Title
JP3931595B2 (ja) データ修正装置及びデータ修正方法
JP4949591B2 (ja) ビデオ誤り回復方法
US8654863B2 (en) Video coding
JP2004507178A (ja) ビデオ信号符号化方法
EP1356684A1 (en) Switching between bit-streams in video transmission
US6646674B1 (en) TV telephone system
JP3045108B2 (ja) テレビ電話装置
JP3651706B2 (ja) 動画像符号化装置
JP2002077260A (ja) 画像伝送のためのシステムおよび方法
JP2002010265A (ja) 送信装置およびその方法と受信装置およびその方法
JPH11331843A (ja) 大きな画像から無制限の選択された画像ビュ―を生成する方法および装置
JP3483806B2 (ja) 動画像信号の符号化装置及び符号化方法
US5740282A (en) System and method for contractive mapping resynchronization of a data transmission
KR100363550B1 (ko) 동영상 인코딩 장치 및 무선 단말기의 동영상 디코딩 장치
JPH10285565A (ja) 画像転送装置
KR100647369B1 (ko) 영상전화의 립싱크 동기화 방법 및 영상전화 단말장치
JPH1056563A (ja) 画像通信方法及び画像通信装置
JPH1056562A (ja) 画像通信方法及び画像通信装置
JPH10145760A (ja) 画像通信装置
JPH07245747A (ja) テレビ電話システム
JPH11313323A (ja) 大きな画像から選択された画像ビュ―を生成する方法および装置
JPH09116881A (ja) 動画像データ伝送方法およびアナログビデオフォン
KR20000039401A (ko) 동영상 부호화 시스템의 영상 데이터 재전송 장치 및 그 방법
JPH0316072B2 (ja)
JP2003264811A (ja) 画像転送装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080317

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090317

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090317

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100317

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100317

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110317

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110317

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120317

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120317

Year of fee payment: 12

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120317

Year of fee payment: 12

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120317

Year of fee payment: 12

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120317

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120317

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130317

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130317

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140317

Year of fee payment: 14

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees