JP3157123B2 - 画像通信システム及び方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、無線伝送路やＬＡ
Ｎ等の、伝送誤りが顕著に生じる可能性のある伝送路を
用いて画像を伝送する画像通信システム及び方法に関す
るものである。

【０００２】

【従来の技術】ＭＰＥＧ等に代表される汎用的な画像符
号化方式では、動画像の情報量を圧縮する手法として、
フレーム間の差分をとる方法が一般的である。このフレ
ーム間予測方式（以後、フレーム間符号化と呼ぶ）で
は、前のフレームから現在のフレームを予測し、その予
測差分を伝送する。しかし、１つのフレームに伝送路で
エラーが重畳してデータが誤ると、受信側で誤ったデー
タを使ってフレームを作るので、誤りを含むフレームが
できてしまう。更に、その誤りを含むフレームを基に次
のフレームが予測されるので、それ以降のフレームにエ
ラーが伝播するという問題がある。

【０００３】画像データにエラーが重畳するという状況
は、ＣＤ−ＲＯＭ等の蓄積媒体からの読みとりエラーが
ある場合、あるいは、通信路を介するケースでは伝送誤
りが存在する場合に生じる。特に無線伝送路を介する場
合は伝送誤りが顕著に大きい。そのような誤りのある伝
送路上での画像通信方法の第一の従来例として、受信側
で誤りを検出した場合、それを画像送信側に通知し、画
像送信側ではそれを受けてフレーム間予測を用いないで
符号化するフレーム内符号化（一般には、ＩＮＴＲＡ符
号化とも呼ぶ）方法を説明する。

【０００４】図１８に、動き補償と離散コサイン変換
（ＤＣＴ）を組み合わせた一般的な画像符号化方式と、
上記第一の従来例を組み合わせた場合の構成例を示す。
入力画像は１０１の差分部で参照画像との差分がとら
れ、１０２のＤＣＴ部でＤＣＴが行われる。処理結果の
ＤＣＴ係数は１０３の量子化器（Ｑ）で量子化され、１
０９のバッファ（ｂｕｆｆ．）に一時蓄積される。蓄積
されたデータは１１０の誤り制御部（ｅｒｒｏｒ ｃｏ
ｎｔ．）からの制御により読み出され、伝送路１２０を
介して送信される。量子化器１０３で量子化された信号
は、１０４の逆量子化器（Ｑ-1）で逆量子化された後、
１０５の逆ＤＣＴ部（ＩＤＣＴ）で逆ＤＣＴが行われ、
更に、差分部１０１で差し引かれた信号と同じ参照画像
信号が１０６の加算部で加算され、１０７のフレームメ
モリ（ＦＭ）に蓄積される。１０８のフレーム差分制御
部では、フレームメモリ１０７に蓄積されている１フレ
ーム前の符号化画像を読み出し、参照画像信号として１
０１の差分部に送る。誤り制御部１１０では、受信側か
ら誤りの検出を通知されたら、フレーム差分制御部１０
８を介しての差分部１０１への参照画像信号の入力を取
りやめ、フレーム内符号化方式に切り替える。

【０００５】伝送路１２０を介して送信された情報は、
画像受信側の１１１の誤り検出部（ｅｒｒｏｒ ｄｅｔ
ｅｃｔｏｒ）において受信誤りが無いか判定され、受信
誤りが無い場合には、１１２の逆量子化部（Ｑ^-1）で逆
量子化される。その後、１１３の逆ＤＣＴ部（ＩＤＣ
Ｔ）で逆ＤＣＴが行われ、１１４の加算部において１１
５のフレームメモリ（ＦＭ）に蓄積されている１フレー
ム前の受信画像を参照画像信号として加算され、モニタ
等へ出力されると共に、フレームメモリ１１５に蓄積さ
れる。誤り検出部１１１で受信誤りが検出された場合
は、画像送信側に誤りの検出を通知する。

【０００６】誤りのある伝送路上での画像通信方法の第
二の従来例として、符号化時にフレーム間差分をとると
きの参照画像を変更することにより、エラーの伝播を防
止する方法を説明する。すなわち、その方法とは、復号
化側で受信したフレームに誤りが検出された場合、エラ
ーが検出されたことと、そのフレーム番号または正しく
受信・復号化された最新のフレーム番号を符号化側に通
知し、次に符号化する時のフレームの参照画像を、誤り
が検出されたフレームではなく、最後に正しく受信され
たフレームとするように変更するものである。

【０００７】図１９に、動き補償と離散コサイン変換
（ＤＣＴ）を組み合わせた一般的な画像符号化方式と、
上記第二の従来例を組み合わせた場合の例を示す。な
お、図１９中の２０１〜２１５、２２０の各要素は、図
１８中の１０１〜１１５、１２０の各要素に対応してい
る。第一の従来例との違いは、符号２０７および２１５
で示すように、フレームメモリが複数あること、２１６
および２１８のフレームメモリ書き込み部が存在するこ
と、２１７および２１９のフレームメモリ選択部が存在
することである。

【０００８】まず、画像送信側の構成と動作を説明す
る。入力画像は２０１の差分部で参照画像との差分がと
られ、２０２のＤＣＴ部でＤＣＴが行われる。処理結果
のＤＣＴ係数は２０３の量子化器で量子化され、２０９
のバッファに一時蓄積される。蓄積されたデータは２１
０の誤り制御部からの制御により読み出され、伝送路２
２０を介して送信される。このとき誤り制御部２１０
は、符号化したフレーム番号と参照画像として使用した
フレームの番号も送信する。量子化器２０３で量子化さ
れた信号は、２０４の逆量子化器で逆量子化された後、
２０５の逆ＤＣＴ部で逆ＤＣＴが行われる。そして、２
０６の加算部において、逆ＤＣＴが施された信号に、差
分部２０１で差し引かれた信号と同じ参照画像信号が加
算され、加算後の信号が２１６のフレームメモリ書き込
み部に送られる。

【０００９】フレームメモリ書き込み部２１６は、送信
されてきたデータ（フレーム）を、図１９中のＦＭ１→
ＦＭ２→…→ＦＭｎ→ＦＭ１→…の順に２０７のフレー
ムメモリに蓄積すると共に、どのフレームメモリに何番
目のフレームを書き込んだかをフレームメモリ選択部２
１７に通知する。フレームメモリ選択部２１７は、フレ
ームメモリ書き込み部２１６から通知されたフレームメ
モリとフレーム番号との対応関係を記憶しておくと共
に、誤り制御部２１０からの信号により、ＦＭ１からＦ
Ｍｎまでのフレームメモリ２０７から１つを選択し、そ
こに蓄積されたフレームを読み出し、２０８のフレーム
差分制御部に送る。フレーム差分制御部２０８は、読み
出したフレームメモリの内容を参照画像信号として差分
部２０１に送る。

【００１０】誤り制御部２１０では、伝送路２２０を介
して画像受信側の誤り検出部２１１から誤りの検出およ
び誤りがあったフレーム番号を通知された場合、画像受
信側でエラーが検出されたフレーム番号をフレームメモ
リ選択部２１７に通知する。フレームメモリ選択部２１
７は、通知されたフレーム番号より前で最も新しい番号
のフレームをフレームメモリ２０７から読み出し、フレ
ーム差分制御部２０８に送る。また、読み出したフレー
ム番号を画像送信側の誤り制御部２１０に通知する。誤
り制御部２１０は、通知されたフレーム番号を参照画像
のフレーム番号として、符号化中のフレーム番号と共に
画像受信側に通知する。

【００１１】また、フレームメモリ選択部２１７におい
て、誤り制御部２１０から通知されたフレーム番号より
前の番号のフレームがフレームメモリ２０７に存在しな
い場合は、フレーム差分制御部２０８での差分部２０１
への参照画像信号の入力を取りやめ、フレーム内符号化
に切り替える。また、誤り制御部２１０は、受信側の誤
り検出部２１１から繰り返し通知される、誤りがあった
フレーム番号を示す信号（画像受信側で参照画像を変更
して符号化した画像が受信されるまで、繰り返し送信さ
れる信号）については、これを無視する。

【００１２】次に、画像受信側の構成と動作を説明す
る。伝送路２２０を介して送信された情報（データ）
は、２１１の誤り検出部において受信誤りが無いか判定
され、受信誤りが無い場合には、２１２の逆量子化部で
逆量子化された後、２１３の逆ＤＣＴ部で逆ＤＣＴが行
われる。また、誤り検出部２１１は、誤り制御部２１０
から通知される現在の符号化画像が参照画像信号として
使用したフレーム番号をフレームメモリ選択部２１９に
通知し、そのフレーム番号のフレームをフレームメモリ
２１５から読み出し、２１４の加算部に送る。２１４の
加算部では送られた参照画像信号を受信信号と加算し、
モニタ等へ出力すると共に、２１８のフレームメモリ書
き込み部に送る。

【００１３】フレームメモリ書き込み部２１８は、画像
送信側のフレームメモリ書き込み部２１６と全く同じ動
作、すなわち送られてきたデータ（フレーム）をＦＭ１
→ＦＭ２→…→ＦＭｎ→ＦＭ１→…の順にフレームメモ
リ２１５に蓄積すると共に、どのフレームメモリに何番
目のフレームを書き込んだかを２１９のフレームメモリ
選択部に通知する。２１９のフレームメモリ選択部は、
フレームメモリ書き込み部２１８から通知されたフレー
ムメモリとフレーム番号との対応関係を記憶しておくと
共に、誤り検出部２１１からの信号により、ＦＭ１から
ＦＭｎのフレームメモリから１つを選択して蓄積された
フレームを読み出し、２１４の加算部に送る。

【００１４】誤り検出部２１１では、受信誤りが検出さ
れた場合は、画像送信側へ、誤りが検出されたことと、
誤りが検出されたフレーム番号または正しく受信・復号
化された最新のフレーム番号を通知する。また、誤り検
出部２１１は、誤りが検出されたフレーム番号を記憶し
ておき、そのフレーム番号より前の番号に対応するデー
タを参照画像として符号化した画像データか、あるいは
フレーム内符号化した画像データを受信するまで、記憶
したフレーム番号をフレームメモリ選択部２１９に通知
し続ける。

【００１５】図２０は、第二の従来例の動作例を説明す
るための図であり、特に２０７および２１５のフレーム
メモリの数が４の時の動作例を時系列に示した図であ
る。同図において、３０１は画像送信側で符号化を行っ
ているフレームの番号を示しており、３０３は、１つの
フレームの符号化が終了し、次のフレームの符号化が開
始される時点でのフレームメモリ（ＦＭ１〜ＦＭ４）２
０７の内容を、フレーム番号で示している。また、３０
２は画像受信側で復号化を行っているフレーム番号を示
しており、３０４は、１つのフレームの復号化が終了
し、次のフレームの復号化が開始される時点でのフレー
ムメモリ２１５の内容を、同様にフレーム番号で示して
いる。また、符号化側の処理フレーム番号３０１と復号
化側の処理フレーム番号３０２とがずれているのは、伝
送に要する時間があるからである。また、図中の画像デ
ータを示す矢印（実線）に付した数字については、例え
ば「９／８」は、フレーム番号８のフレームを参照画像
としてフレーム番号９の符号化を行った（画像）データ
を表している。実際には、画像データはデータ量が大き
く送信側から受信側へ連続的に流れているが、図を見や
すくするため、画像データの最後の部分のみを矢印（実
線）で表している。

【００１６】図２０に示す本動作例では、フレーム番号
１０のデータにエラーが生じた場合を示している。誤り
検出部２１１は、誤りを検出すると誤りが検出されたフ
レーム番号を含むＮａｃｋ信号（図中３０５参照）を送
出する。また、誤り検出部２１１は、エラーが生じたフ
レーム番号である１０を記憶しておく。このＮａｃｋ信
号（１０Ｎ）は、画像送信側がフレーム番号１２を処理
している途中に誤り制御部２１０に受信され、誤り制御
部２１０はフレームメモリ選択部２１７に対し、誤りが
検出されたフレーム番号１０より前で最も新しい番号で
ある９を選択し、それに対応するフレームを参照画像と
して、次のフレーム番号１３のフレームが符号化される
ように制御する。同時に、参照画像としてフレーム９を
使用したことを画像受信側に通知する（図中３０６参
照）。この信号を受信した誤り検出部２１１は、フレー
ムメモリ選択部２１９に対し、フレーム番号９を参照画
像として選択して読み出すように指示する。また誤り検
出部２１１は、フレーム番号１１、１２の画像データに
対して、たとえそれ自体に誤りが含まれていなくても、
参照画像が１０より大きい番号のフレームなので、フレ
ーム番号１０を含むＮａｃｋ信号（１０Ｎ）を送出し続
ける。

【００１７】本動作例の場合では、エラーが生じた１０
番目のフレーム、およびそれを参照画像として使ってい
る１１番目のフレーム、１１番目のフレームを参照画像
として使っている１２番目のフレームにはエラーが伝播
するが、参照画像を変更した１３番目のフレームにはエ
ラーは伝播しない。このように、第二の従来例において
は、エラーが生じてもフレーム内符号化に切り替えずに
エラーの伝播をくい止めることができるという利点があ
る。

【００１８】

【発明が解決しようとする課題】上記の第一の従来例で
は、フレーム内符号化を行うことにより、誤りがない場
合に比べて１フレームの伝送に必要なデータ量が著しく
増大し、その結果としての伝送フレーム数の減少、ま
た、量子化ステップ数を荒くすることによる復号画像品
質の劣化を招くという問題があった。加えて、データ量
が多いために、フレーム内符号化データが再びエラーを
含む確率が大きくなり、繰り返しフレーム内符号化を行
わなければならないという悪循環に陥るという問題点も
あった。

【００１９】また、上記の第二の従来例では、画像受信
側が画像送信側に送るＮａｃｋ信号が何らかの原因で画
像送信側に届くのが遅れた場合、画像送信側が参照画像
を変更するまでに時間がかかり、変更しようとする時に
は既にフレームメモリ内には適当な参照画像が存在しな
いと言う事態が生じる。そのような状況は、Ｎａｃｋ信
号が途中でエラーを含んで画像送信側で認識できない場
合、伝送に要する時間が長い場合、伝送に要する時間に
揺らぎがある場合、さらに、符号化後のデータ量が一定
でない場合に生じる。このような時には、第二の従来例
においてもフレーム内符号化を行うことでしかエラーの
伝播を食い止めることができなくなり、第一の従来例と
同様の問題が生じていた。

【００２０】図２１は、図２０に示したケースと同じ条
件において、画像受信側から画像送信側への信号にエラ
ーが生じて画像送信側で認識できなかった場合の動作例
を示した図である。本動作例において、４０１は画像送
信側で符号化を行っているフレームの番号を示してお
り、４０３は、１つのフレームの符号化が終了し、次の
フレームの符号化が開始される時点でのフレームメモリ
２０７の内容をフレーム番号で示している。また、４０
２は受信側で復号化を行っているフレームの番号を示し
ており、４０４は、１つのフレームの復号化が終了し、
次のフレームの復号化が開始される時点でのフレームメ
モリ２１５の内容を同様にフレーム番号で示している。
符号化側の処理フレーム番号４０１と復号化側の処理フ
レーム番号４０２とがずれているのは、伝送に要する時
間があるからである。

【００２１】本動作例では、図２０の場合と同じフレー
ム番号１０のデータにエラーが生じた場合を示してい
る。誤り検出部２１１は、誤りを検出すると、誤りが検
出されたフレーム番号を含むＮａｃｋ信号を送出する
（図中４０５参照）。ここで、このＮａｃｋ信号にエラ
ーが生じ、誤り制御部２１０で認識できなかったので、
画像送信側は番号１２のフレームを参照画像としてフレ
ーム番号１３を符号化する。画像受信側では、次に、フ
レーム番号１１のデータを受信するが、これは誤りが検
出されたフレーム番号１０を参照画像として符号化され
ているので、フレーム番号１０を含むＮａｃｋ信号を送
信する（図中４０６参照）。このＮａｃｋ信号（１０
Ｎ）が、送信側がフレーム番号１３を処理している途中
に誤り制御部２１０に受信されると、誤り制御部２１０
は、フレームメモリ選択部２１７に誤りが検出されたフ
レーム番号１０より前で最も新しい番号を選択させ、フ
レーム番号１４を符号化しようとするが、この時点で、
フレーム番号１０より前のフレームはフレームメモリ２
０７内に存在しない。そのため、フレーム番号１４のフ
レームについては、フレーム内符号化を行わざるを得な
くなる（図中４０７参照）。

【００２２】次に、図２２は、図２０に示したケースと
同じ条件において、伝送に要する時間が長い場合の動作
例を示した図である。図２０の場合と同じく、フレーム
番号１０の画像データに誤りが生じ、それを通知するＮ
ａｃｋ信号（１０Ｎ）が誤り制御部２１０に受信される
が、その信号の到着が遅れているため（図中５０５参
照）、画像送信側で符号化する次のフレームはフレーム
番号１５に移っており、そのフレーム番号１５を符号化
する時点ではフレーム番号１０以前のフレームはフレー
ムメモリ２０７には存在しない。そのため、フレーム番
号１５のフレームについてはフレーム内符号化を行わざ
るを得なくなる。

【００２３】本発明は、上記の問題点に鑑みてなされた
もので、上記第二の従来例の持つ欠点を除去し、即ち、
画像受信側から画像送信側へ受信エラーを通知する信号
に誤りが生じた場合、あるいは画像受信側から画像送信
側への信号の到着が遅くなった場合等でも、変更すべき
参照画像がフレームメモリ内に存在しないという状況を
防ぐことができ、フレーム内符号化に切り替えて画質を
劣化させたり、フレーム内符号化に切り替えることによ
りデータ量が増大し、再びエラーを含んでしまい、フレ
ーム内符号化を繰り返したりするようなことのない画像
通信システム及び方法を提供することを目的とする。

【００２４】

【課題を解決するための手段】上記課題を解決するた
め、本発明は、画像送信側に、 ・入力画像を、フレーム間の差分を用いて圧縮を行うフ
レーム間符号化方式により符号化し、符号化画像データ
を出力する符号化部と、 ・画像受信側で受信された符号化画像データのエラーの
有無とその画像番号とを通知する信号を該画像受信側か
ら受信する信号受信部と、 ・前記符号化部から出力される符号化画像データを、前
記フレーム間符号化方式による符号化に用いる参照画像
として複数保持するためのバッファを有するメモリ部
と、 ・前記メモリ部に少なくとも１枚の画像が記憶されてい
る場合、前記信号受信部が受信した信号が示す内容に基
づき、前記メモリ部に記憶された画像の中から、前記符
号化部が使用する参照画像を選択する参照画像決定部
と、 ・前記符号化部が使用した参照画像の番号を前記画像受
信側に通知する参照画像通知部と、 ・前記符号化部が出力する符号化画像データの画像番号
を通知する画像番号通知部とを有し、一方、画像受信側
に、 ・前記画像送信側の符号化部が出力する前記符号化画像
データを受信し、該画像データのエラーの有無を検出し
て出力する画像データ受信部と、 ・前記画像送信側の画像番号通知部から通知された前記
符号化画像データの画像番号を受信する画像番号受信部
と、 ・前記画像番号受信部が受信した符号化画像データの前
記画像番号と、当該画像データに関する前記画像データ
受信部が検出したエラーの有無とを通知する異常有りも
しくは異常無し信号を前記画像送信側に送信する信号送
出部と、 ・前記画像データ受信部が受信した符号化画像データを
復号化し、復号化画像データを出力する復号化部と、 ・前記復号化部から出力される復号化画像データを、前
記復号化に用いる参照画像として複数保持するためのバ
ッファを有するメモリ部と、 ・前記画像送信側の参照画像通知部から通知された符号
化時の参照画像番号を受信する参照画像番号受信部と、 ・前記メモリ部に少なくとも１枚の画像が記憶されてい
る場合、前記参照画像番号受信部が受信した参照画像番
号に応じて、前記メモリ部に記憶された画像の中から、
前記復号化部が使用する参照画像を選択する参照画像決
定部とを有する画像通信システムであって、前記画像送
信側の信号受信部が受信した信号が示す内容に基づき、
前記符号化部が出力する符号化画像データの前記メモリ
部への書き込み制御を行うメモリ変更手段を更に有し、
該制御は、新たなデータを書き込むか否かの判定、前記
メモリ部内の書き込み位置の決定、前記メモリ部に既に
書き込まれたデータの消去を含むものであり、前記符号
化部が符号化画像データを出力した場合、前記画像送信
側の前記メモリ部に空きが無い場合は、当該メモリ部に
記憶されている画像の中で、前記異常無し信号を受信し
ていない画像が存在するか否かを判定し、存在する場合
には前記異常無し信号を受信していない最も古い画像を
消去する画像通信システムを提供する。

【００２５】また、本発明は、画像送信側が、 ・入力画像を、フレーム間の差分を用いて圧縮を行うフ
レーム間符号化方式により符号化し、符号化画像データ
を出力する過程と、 ・画像受信側で受信された符号化画像データのエラーの
有無とその画像番号とを通知する信号を該画像受信側か
ら受信する過程と、 ・前記出力された符号化画像データを前記フレーム間符
号化方式による符号化に用いる参照画像として複数保持
するためのバッファを有するメモリ部に少なくとも１枚
の画像が記憶されている場合、前記画像受信側から受信
した信号が示す内容に基づき、前記メモリ部に記憶され
た画像の中から前記符号化で使用する参照画像を選択す
る過程と、 ・前記符号化において使用した参照画像の番号を前記画
像受信側に通知する過程と、 ・前記出力された符号化画像データの画像番号を通知す
る過程とを有し、一方、画像受信側が、 ・前記画像送信側が出力する前記符号化画像データを受
信し、該画像データのエラーの有無を検出して出力する
過程と、 ・前記画像送信側から通知された前記符号化画像データ
の画像番号を受信する過程と、 ・前記受信された符号化画像データの前記画像番号と、
当該画像データに関する前記検出されたエラーの有無と
を通知する異常有りもしくは異常無し信号を前記画像送
信側に送信する過程と、 ・前記受信された符号化画像データを復号化し、復号化
画像データを出力する過程と、 ・前記画像送信側から通知された符号化時の参照画像番
号を受信する過程と、 ・前記出力された復号化画像データを前記復号化に用い
る参照画像として複数保持するためのバッファを有する
メモリ部に少なくとも１枚の画像が記憶されている場
合、前記受信された参照画像番号に応じて、前記メモリ
部に記憶された画像の中から、前記復号化で使用する参
照画像を選択する過程とを有する画像通信方法であっ
て、前記画像送信側が受信した信号が示す内容に基づ
き、前記出力された符号化画像データの前記メモリ部へ
の書き込み制御を行う過程を更に有し、該制御は、新た
なデータを書き込むか否かの判定、前記メモリ部内の書
き込み位置の決定、前記メモリ部に既に書き込まれたデ
ータの消去を含むものであり、前記符号化過程により符
号化画像データが出力された場合、前記画像送信側の前
記メモリ部に空きが無い場合は、当該メモリ部に記憶さ
れている画像の中で、前記異常無し信号を受信していな
い画像が存在するか否かを判定し、存在する場合には前
記異常無し信号を受信していない最も古い画像を消去す
る画像通信方法を提供する。

【００２６】これらシステム及び方法によれば、送信側
のメモリ部に、画像受信側で最後に正しく受信された符
号化時の参照画像が必ず一つは保持されるので、画像受
信側から受信エラーが通知された場合に、正しい参照画
像がなくなるという状況が回避される。

【００２７】ここで、メモリ変更手段の行う書き込み制
御により、画像受信側で最後に正しく受信された符号化
画像データに対応する参照画像より古い参照画像や、画
像受信側から受信エラーが通知された符号化画像データ
に対応する参照画像を上記メモリ部から消去すること
が、メモリ部のバッファ領域（フレームメモリ数等）を
削減する上で好適である。なお、本発明における画像の
処理単位は、フレーム単位が代表的な例であるが、その
ほかにも、フレームを構成する画像の小領域やその小領
域を構成する画素の集まりの単位を処理単位とすること
もできる。

【００２８】以下に、本発明を応用した形態例を挙げ
る。前記画像送信側が、前記信号受信部が、予め設定し
てある時間内に前記画像受信側からの信号を受信したか
否かを判定し、受信しなかったと判定した場合に前記メ
モリ変更手段にその旨を通知するタイマ手段を更に有す
るようにすれば、前記メモリ変更手段の書き込み制御に
より、画像受信側から画像送信側への信号、特に、受信
エラーを通知する信号に誤りが生じて受信できない場
合、あるいは、伝送遅延の増大、画像受信側の処理遅延
等により信号の到着が遅くなった場合等でも、速やかに
参照画像が変更される。

【００２９】また、前記画像送信側が、前記符号化部が
予め設定してある量の画像を符号化する間に、前記信号
受信部が前記画像受信側からの信号を受信したか否かを
判定し、受信しなかったと判定した場合に前記メモリ変
更手段にその旨を通知する画像計数手段を更に有するよ
うにすれば、前記メモリ変更手段の書き込み制御によ
り、画像の符号化量にばらつきがあり、かつ画像受信側
からの信号、特に、画像送信側へ受信エラーを通知する
信号に誤りが生じて受信できないような場合、あるいは
伝送遅延の増大、画像受信側の処理遅延等により信号の
到着が遅くなった場合等でも、速やかに参照画像が変更
される。

【００３０】また、前記画像送信側が、該送信側のメモ
リ部の内容を監視し、該メモリ部に前記フレーム間符号
化に使用できる参照画像が１つも記憶されていない場合
に、前記符号化部にその旨を通知するメモリ保持状況通
知手段を更に有するようにし、前記符号化部は、前記メ
モリ保持状況通知手段から通知を受けた場合、次の画像
の符号化をフレーム内符号化方式で行うようにしても良
い。

【００３１】また、前記符号化部が、前記フレーム間符
号化方式とフレーム内符号化方式とを併用し、いずれか
の方式により符号化を行うものである場合、前記画像送
信側が、前記符号化部がフレーム内符号化を行った場合
に、前記メモリ変更手段にその旨を通知する符号化状況
通知手段を更に有するようにし、前記メモリ変更手段の
書き込み制御により、フレーム内符号化が行われた場合
に、該符号化によるエラー波及防止効果を考慮し、メモ
リ内の不要なデータを消去する等しても良い。

【００３２】また、前記画像受信側に、該受信側のメモ
リ部に記憶された画像の情報を前記画像送信側に通知す
るメモリ情報通知手段を更に設け、前記画像送信側に、
前記メモリ情報通知手段から通知された画像情報を受信
し、その内容を前記送信側の参照画像決定部に通知する
メモリ情報受信手段を更に設け、前記画像送信側の参照
画像決定部は、前記参照画像の選択を、前記信号受信部
が受信した信号が示す内容及び前記メモリ情報受信手段
から通知された情報に基づいて行うようしても良い。こ
れにより、画像送信側の参照画像決定部が、画像受信側
のメモリ部内に存在しない画像を参照画像として選択す
ることが防止される。

【００３３】また、前記画像受信側に、前記画像データ
受信部が検出したエラーの有無の情報を受け、エラー有
りの場合には前記復号化部からの出力が前記受信側のメ
モリ部に送られず、エラー無しの場合には該復号化部か
らの出力が該メモリ部に送られるように制御する切替手
段を更に設けても良い。これにより、システム内部では
誤りの無い画像データのみが保持されながら、エラー画
像を敢えて利用したシステムの実現が可能になる。

【００３４】これら応用形態例により得られる効果は、
各形態の動作に対応する方法の実行によっても、同様に
得られる。また、本発明は、上記システムにおける画像
送信側の各構成要素を有する送信装置、画像受信側の各
構成要素を有する受信装置、及び、これら各装置に対応
する方法、また、上述した各方法を実行するコンピュー
タプログラムを記憶した記憶媒体を提供する。

【００３５】

【発明の実施の形態】以下、本発明の実施形態例を、図
面を参照して詳細に説明する。図１は、本発明による第
一の実施形態例の全体構成を示すブロック図である。始
めに、画像送信側１１０１の構成と動作を説明する。カ
メラ等から入力された画像は、フレーム間の差分を用い
て圧縮を行う画像符号化方式による符号化部６０１によ
り符号化されると共に、符号化部６０１からフレームメ
モリ変更部６０５に送られる。フレームメモリ変更部６
０５は、後記する画像受信側からのＡｃｋ，Ｎａｃｋ信
号を受信する信号受信部６０２からの信号により、符号
化部６０１からの参照画像用データを、フレームメモリ
部６０３に書き込むか否か、書き込むとすると複数保持
できるバッファ（フレームメモリ）のどこに書き込む
か、あるいは、消去する場合にはフレームメモリのどの
部分あるいは全部を消去するかを決定する。また、フレ
ーム番号通知部６０７から通知されるフレーム番号と
（書き込みを行った）符号化部６０１からの参照画像用
データとを対応させる。具体的な決定方法の例は後述す
る。

【００３６】参照画像決定部６０４は、フレームメモリ
変更部６０５からの信号により、次に符号化するフレー
ムの参照画像を何にするかを決定し、フレームメモリ部
６０３から読み出して符号化部６０１に送る。具体的な
決定方法の例は後述する。また、参照画像通知部６０６
を介して、符号化に使用した参照画像の番号を画像受信
側に通知する。また、符号化を行ったフレーム番号をフ
レーム番号通知部６０７を介して画像受信側に通知す
る。

【００３７】次に、画像受信側１２０１の構成と動作を
説明する。画像信号受信部６０８は、画像送信側から符
号化データを受信し、その符号化データのエラーの有無
を検知し、エラーが検知された場合には、信号送出部６
０９に通知する。信号送出部６０９は、エラーがあった
フレームのフレーム番号を、画像送信側のフレーム番号
通知部６０７から通知されるフレーム番号を受信するフ
レーム番号受信部６１０から読み出し、エラーが検出さ
れたというＮａｃｋ信号をそのフレーム番号と共に画像
送信側に通知する。

【００３８】また、画像信号受信部６０８は、エラーが
検出されなかった場合には、それを信号送出部６０９に
通知する。信号送出部６０９は、そのときのフレーム番
号をフレーム番号受信部６１０から読み出し、エラーが
検出されなかったことを示すＡｃｋ信号をそのフレーム
番号と共に画像送信側に通知する。それ以外の場合は、
エラーが継続していることを画像送出側に通知する。

【００３９】画像信号受信部６０８で受信した符号化デ
ータは復号化部６１３で復号される。ここで誤り無く復
号可能な場合には、参照画像決定部６１１は、画像送信
側の参照画像通知部６０６から通知される符号化データ
の参照画像番号が何かを参照画像番号受信部６１２を介
して知り、その番号に対応するデータをフレームメモリ
部６１４から読み出し、復号化部６１３に送る。

【００４０】復号化部６１３は、画像データを誤りなく
復号してモニタ等へ出力すると共に、フレームメモリ部
６１４に書き込む。誤りのない画像データが得られなか
った場合は、モニタ等への出力やフレームメモリ部６１
４への書き込みは行わない。フレームメモリ部６１４
は、フレーム番号受信部からフレーム番号を読み出し、
復号化部が書き込む復号した画像との対応を付ける。ま
た、フレームメモリ部６１４は、参照画像決定部６１１
に、新たに書き込まれたフレーム番号とその（メモリ内
の）位置を通知する。

【００４１】本実施形態例における各部の詳細は、画像
送信側のフレームメモリ変更部６０５を除いては、第二
の従来例の説明で用いた図１９の構成と同様である。た
だし、図１９の誤り制御部２１０、誤り検出部２１１に
相当する部分の動作が、第二の従来例とは異なる。第二
の従来例で説明した誤り検出部２１１は、エラーが検出
されたときのみ誤り制御部２１０にその旨を通知してい
たが、本実施形態例の画像受信側の画像信号受信部６０
８は、エラーがない場合も正しく受信したフレーム番号
を含むＡｃｋ信号を画像送信側の信号受信部６０２に通
知する。同様に、誤り制御部２１０は、誤り検出部２１
１からエラーを通知された時のみフレームメモリ選択部
２１９にその旨を通知していたが、本発明の信号受信部
６０２は、誤りなく受信したことを通知された場合に
も、フレームメモリ変更部６０５にその旨を通知する。

【００４２】次に、本発明の特徴であるフレームメモリ
変更部６０５の動作を、より詳細に説明する。図２、図
３は、フレームメモリ変更部６０５の動作フローを表し
たフローチャートである。フレームメモリ変更部６０５
は、信号受信部６０２からの入力と符号化部６０１から
の入力とを監視しており（７０１，７０２）、それぞれ
の入力により動作する。具体的な動作については以下
で、システムの動作例と共に説明する。なお、図２中の
は図３中のへ、図３中のは図２中のへ処理の流
れが続くことを表す。

【００４３】図４は、本実施形態例の動作例を時系列に
示した図である。図の記載形式及び各符号の意味は図２
０と同様であり、６０３および６１４のフレームメモリ
部の内部フレームメモリ（バッファ）数が４の場合の動
作例を時系列に示している。８０１は、画像送信側で符
号化を行っているフレームの番号を示しており、８０３
は、１つのフレームの符号化が終了して次のフレームの
符号化が開始される時点での、フレームメモリ部６０３
の参照バッファ（フレームメモリ（ＦＭ１〜ＦＭ４））
の内容をフレーム番号で示している。また、８０２は、
画像受信側で復号化を行っているフレーム番号を示して
おり、８０４は、１つのフレームの復号化が終了して次
のフレームの復号化が開始される時点での、フレームメ
モリ６１４の参照バッファ（フレームメモリ（ＦＭ１〜
ＦＭ４））の内容を、同様にフレーム番号で示してい
る。符号化側の処理フレーム番号８０１と復号化側の処
理フレーム番号８０２とがずれているのは、伝送に要す
る時間があるからである。

【００４４】また、図中の画像データを示す矢印（実
線）に付した数字については、例えば「９／８」は、フ
レーム番号８のフレームを参照画像としてフレーム番号
９の符号化を行った（画像）データを表している。但
し、参照バッファの表記は、どのフレームが最新かをわ
かりやすく示すために、図２０のように古いフレームを
上書きしていくのではなく、最新のフレームがＦＭ４に
存在するようなスタック型のメモリ管理を仮定して記載
している。

【００４５】画像受信側からフレーム番号９を含むＡｃ
ｋ信号（９Ａ）を受信した画像送信側の信号受信部６０
２は、それをフレームメモリ変更部６０５に通知する。
フレームメモリ変更部６０５は、図３のステップ７０３
の処理に従い、番号９より古いフレームである番号７、
８のフレームをフレームメモリ部６０３から消去する。
これによりフレームメモリ６０３の内容は、番号９、１
０のフレームとなる。次に、図３のステップ７０４の処
理に従い、参照画像決定部６０４に対し、フレームメモ
リ部６０３内の最新のフレームを参照画像として使用す
ることを指示する。

【００４６】次に、番号１１のフレームの符号化が終了
すると、番号１１のフレームの画像データが符号化部６
０１からフレームメモリ変更部６０５に送信される。フ
レームメモリ変更部６０５は、図２のステップ７０５の
処理に従い、番号１１のフレームの画像データをフレー
ムメモリ部６０３に書き込む。その後、符号化部により
番号１２のフレームの符号化が開始されるが、そのとき
のフレームメモリ部６０３の内容は、図４で符号８０５
で示すように「９、１０、１１」となっている。また、
参照画像としてフレームメモリ部６０３内の最新のフレ
ームを参照画像として使用するように指示されている参
照画像決定部６０４は、この時点での最新のフレームで
あるフレーム１１を、フレーム１２の符号化の参照画像
として使用するように働く。

【００４７】次に、番号１２のフレームの符号化中に番
号１０のフレームのＮａｃｋ信号（１０Ｎ）を受信した
と仮定する。信号受信部６０２は、それをフレームメモ
リ変更部６０５に通知する。フレームメモリ変更部６０
５は、図３のステップ７０６の処理に従い、直前のフレ
ーム以外のフレームを参照画像として使用したフレーム
を探すが、フレームメモリ内の番号９、１０、１１の各
フレームとも直前のフレームを参照画像として使用して
いるので、ステップ７０７の処理に従い、Ｎａｃｋ信号
に書かれている番号１０以降のフレーム１０、１１を、
フレームメモリから消去する。

【００４８】また、ステップ７０８の処理により、現在
符号化中の番号１２のフレームはフレームメモリ部６０
３に書き込まないようにする。番号１２のフレームの符
号化終了時のフレームメモリの内部は、符号８０６で示
すように、「９」のみとなっている。次に、フレーム１
３の符号化を開始するが、その時の参照画像は、ステッ
プ７０４の処理により、フレームメモリ内の唯一の最新
フレームであるフレーム９が使用される。

【００４９】次に、フレーム１３の符号化中にフレーム
１０のＮａｃｋ信号（１０Ｎ）を再び受信した信号受信
部６０２は、それをフレームメモリ変更部６０５に通知
する。フレームメモリ変更部６０５は、図３のステップ
７０６の処理に従い、直前のフレーム以外のフレームを
参照画像として使用したフレームを探す。今回はフレー
ム１３が直前のフレームではなくフレーム９を参照画像
として使用しているので、図３のステップ７０９（本動
作例では該当する、消去すべきフレームはない）、ステ
ップ７０４の処理に従い、フレーム１３を参照画像とし
てフレーム１４を符号化する。

【００５０】次のフレーム１４の符号化中にフレーム１
０のＮａｃｋ信号（１０Ｎ）を受信した場合の動作は、
上と同じである。最後に、フレーム１５の符号化中にフ
レーム１３のＡｃｋ信号（１３Ａ）を受信した信号受信
部６０２は、それをフレームメモリ変更部６０５に通知
する。フレームメモリ変更部６０５は、ステップ７０３
の処理に従い、Ａｃｋ信号に書かれたフレーム番号１３
より古い番号のフレーム９をフレームメモリ内から消去
する。フレーム１６の符号化は、ステップ７０４の処理
に従い、フレーム１５を参照画像として行う。

【００５１】図５は、動き補償と離散コサイン変換（Ｄ
ＣＴ）とを組み合わせた一般的な画像符号化方式と上記
実施形態例とを組み合わせた変形実施形態例である。前
述した実施形態例では、画像をフレーム単位に処理する
例を示したが、画像の処理単位はフレーム単位だけでな
く、ＧＯＢ（Ｇｒｏｕｐ ｏｆ Ｂｌｏｃｋ：フレーム
を構成する画像の小領域）やＭＢ（Ｍａｃｒｏ Ｂｌｏ
ｃｋ：ＧＯＢを構成する画素（Ｃｒ,Ｃｂ,Ｙ）の集まり
の単位）を単位とすることも可能である。

【００５２】そこで、本変形実施形態例では、図１の各
部の名称に関し、”フレーム番号”に代えて”画像番
号”を採用し、”フレームメモリ”に代えて複数の画像
メモリ（Ｍ１，Ｍ２，…Ｍ３）からなるメモリを採用
し、”フレームメモリ変更部”に代えて”メモリ変更
部”を採用している。ただし、図５の変形実施形態例で
は、図１に相当する構成部分には、図１と同一の番号を
付してある。なお、従来例における画像送信側の差分
部、離散コサイン変換部（ＤＣＴ）、量子化器（Ｑ）、
逆量子化器（Ｑ^-1）、逆ＤＣＴ部（ＩＤＣＴ）、加算
部、およびフレーム差分制御部に対応する部分は、図５
では符号化部６０１として記載されている。また、従来
例の画像受信側の逆量子化器（Ｑ^-1）、逆ＤＣＴ部（Ｉ
ＤＣＴ）、および加算部に対応する部分は、図５では復
号部６１３として記載されている。また、図５では、画
像メモリ（Ｍ１，Ｍ２，…Ｍ３）とメモリ書き込み部
（６１４ａ）を合わせてメモリ６１４として記載してい
る。

【００５３】なお、画像の処理単位をフレームではなく
より小さな単位とする場合、動き補償を行う範囲を、そ
の小単位内に閉じることが必要である。

【００５４】上述した第一の実施形態例によれば、参照
画像を変更することによりフレーム間符号化を続けなが
らエラー波及を防止するという従来技術に対し、従来技
術では参照画像がフレームメモリ内に存在しなくなりフ
レーム内符号化を余儀なくされるケースでも、同一のフ
レームメモリ数で、最後に正しく受信されたフレームの
参照画像をフレームメモリ内に保持しておくことがで
き、画像品質の劣化を防ぐことができる。従って、従来
技術ではうまく動作しないような場合でも、問題なく動
作させることができる。

【００５５】次に、本発明による第二の実施形態例を説
明する。図６は、第二の実施形態例の全体構成を示すブ
ロック図である。本図においては、第一の実施形態例の
全体構成を示すブロック図である図１と比べて、タイマ
を内蔵するタイマ部６１５が付加されている。その他の
各部は、第一の実施形態例と同様の構成であるので、そ
れらの各部には図１と同一の符号を付してある。

【００５６】図７は、タイマ部６１５の動作を示す動作
フローである。本実施形態例における動作では、図１の
各部による前述した動作に加え、信号受信部６０２は、
画像受信側の信号送出部６０９からのＡｃｋ，Ｎａｃｋ
信号を受信した場合に、それをタイマ部６１５に通知す
る。タイマ部６１５は、この信号でタイマリセットを行
って再起動を繰り返すが、この信号が通知されないため
にタイマが満了した場合には、それをフレームメモリ変
更部６０５に通知する。

【００５７】図８、図９は、本第二の実施形態例におけ
るフレームメモリ変更部６０５の動作フローである。同
フローに示すように、第一実施形態例に示した動作に加
え、タイマ部６１５からの信号によっても参照画像を変
更する操作が行われる（ステップＣ０１）。なお、図８
中のは図９中のへ、図９中のは図８中のへ、図
８中のは図９中のへ、処理の流れがそれぞれ続くこ
とを表す。図１０は、本第二の実施形態例の動作例を時
系列に示した図である。符号の意味は図４と同じであ
り、説明を省略する。

【００５８】タイマ部６１５は、Ａｃｋ信号あるいはＮ
ａｃｋ信号の受信により内蔵するタイマをリセットし、
再起動を繰り返す。本動作例では、図４と同様に、１０
フレーム目の画像データにエラーが生じた例を示してい
る。さらに、それに対応するＮａｃｋ信号にもエラーが
生じ、信号が失われてしまった（画像送信側の信号受信
部６０２で認識できなった）状況を示している。この場
合、タイマ部６１５では、フレーム９のＡｃｋ信号の受
信から起動していたタイマが満了するので、タイマ満了
がフレームメモリ変更部６０５に通知される。これを受
けて、フレームメモリ変更部６０５は、１３フレーム目
に対する参照画像をＡｃｋ信号を受信している９フレー
ム目の画像に変更する。なお、タイマ部６１５に設定す
るタイマ値は、信号の往復遅延時間を目安に設定すれば
よい。

【００５９】また、図１１は、動き補償と離散コサイン
変換（ＤＣＴ）を組み合わせた一般的な画像符号化方式
と、本第二の実施形態例とを組み合わせた場合の変形実
施形態例である。本図は、図５に示した第一の実施形態
例に関する変形構成例に対応する、第二実施形態例の変
形構成例であり、図５と比べてタイマ部６１５が付加さ
れている。その他の各部は、図５の（第一実施形態例
の）変形構成例と同様の構成であるので、それらの各部
には図５と同一の符号を付してある。

【００６０】本第二の変形実施形態例によれば、タイマ
部を付加することにより、画像受信側からの信号、特に
Ｎａｃｋ信号が、エラー等により画像送信側で受信され
なかった場合、あるいは伝送遅延の増大、受信側の処理
遅延等により、画像送信側での受信が遅れた場合に、速
やかに参照画像を変更でき、画像受信側におけるエラー
画像からの復帰を早めることができる。より具体的に
は、図１０において、第一実施形態例の構成であれば画
像受信側からのフレーム１０に関するＮａｃｋ信号（１
０Ｎ）が画像送信側で受信された後、フレーム１４に関
する参照画像を変更することになるが、第二実施形態例
の構成では、フレーム１３に関する参照画像を変更する
ことが可能となっている。

【００６１】次に、本発明による第三の実施形態例を示
す。図１２は、第三の実施形態例の全体構成を示すブロ
ック図である。本図においては、第一の実施形態例の全
体構成を示すブロック図である図１と比べて、フレーム
計数部６１６が付加されている。図１３は、フレーム計
数部６１６の動作を示す動作フローである。本実施形態
例における動作は、図１の各部による前述した動作に加
え、信号受信部６０２は、信号送出部からのＡｃｋ，Ｎ
ａｃｋ信号を受信した場合、それをフレーム計数部６１
６に通知する。また、フレーム番号通知部６０７は、符
号化した画像のフレーム番号をフレーム番号受信部６１
０に送ると共に、フレーム計数部６１６にも通知する。
フレーム計数部６１６は、フレーム番号通知部６０７か
ら通知されるフレームの数を計数して上記信号の通知を
受けた場合に計数値のリセットを繰り返すが、その信号
が通知されないため計数値がリセットされないで規定枚
数を超えた場合、それをフレームメモリ変更部６０５に
通知する。

【００６２】図１４、図１５は、本第三の実施形態例に
おけるフレームメモリ変更部６０５の動作フローであ
る。同フローに示すように、第一の実施形態例における
動作に加え、フレーム計数部６１６からの信号によって
も参照画像を変更する操作が行われる（ステップＨ０
１）。なお、図１４中のは図１５中のへ、図１５中
のは図１４中のへ、図１４中のは図１５中の
へ、処理の流れがそれぞれ続くことを表す。

【００６３】図１６は、本第三の実施形態例の動作例を
時系列に示した図である。符号の意味は図４と同じであ
るので、説明を省略する。本動作例では、フレーム計数
部６１６に対して、計数値が３に達した場合、それをフ
レームメモリ変更部６０５に通知するようにしている。
フレーム計数部６１６は、符号化が進むにつれて、符号
化したフレームの枚数を計数していく。ただし、Ａｃｋ
信号あるいはＮａｃｋ信号が受信された場合、計数値を
リセットする。

【００６４】本動作例では、１１フレーム目の画像デー
タにエラーが生じた例を示している。さらに、それに対
するＮａｃｋ信号（１１Ｎ）にもエラーが生じ、信号が
失われてしまった（画像送信側で認識できなった）状況
が２回続いた場合を示している。この場合、フレーム計
数部６１６は、フレーム１２の符号化終了から計数して
いた計数値が、フレーム１４の符号化終了により３にな
ったので、それをフレームメモリ変更部６０５に通知
し、フレームメモリ変更部６０５は、１５フレーム目の
参照画像をＡｃｋ信号を受信している１０フレーム目の
画像に変更する。なお、フレーム計数部６１６に設定す
る設定値は、信号の往復遅延時間と符号化する画像デー
タの量を目安に設定すればよい。

【００６５】図１７は、動き補償と離散コサイン変換
（ＤＣＴ）を組み合わせた一般的な画像符号化方式と、
本第三実施形態例とを組み合わせた場合の変形実施形態
例である。本図は、図５に示した第一の変形実施形態例
に対応する第三の変形実施形態例を示したものであり、
図５と比べてフレーム計数部に対応する画像信号計数部
６１６が付加されている。その他の各部は、図５の第一
の変形実施形態例と同様の構成であるので、それらの各
部には図５と同一の符号を付してある。

【００６６】本第三の実施形態例によれば、画像信号計
数部を設けることにより、符号化フレームの画像データ
量にばらつきがあり、かつ画像受信側からの信号、特に
Ｎａｃｋ信号が、エラー等により画像送信側で受信され
なかった場合、あるいは伝送遅延の増大、受信側の処理
遅延等により、画像送信側での受信が遅れた場合に、速
やかに参照画像を変更でき、画像受信側におけるエラー
画像からの復帰を早めることができる。特に、フレーム
間差分をとる画像符号化方式の場合、解像度を調整して
データ量を一定にするように制御しない限りは、画像の
内容により符号化後のデータ量は一定でないのが普通で
あるので、このようなケースに適用して有効である。

【００６７】より具体的には、図１６に関し、第二の実
施形態例であれば、フレーム９に対するＡｃｋ信号（９
Ａ）受信からフレーム１０に対するＡｃｋ信号（１０
Ａ）受信までの時間よりもタイマ値を大きくすることが
適当であるが、そのようにすると１０Ａ受信により起動
したタイマが満了するのはフレーム１５の符号化が終わ
った後で、フレーム１６の符号化中になる。従って、参
照画像の変更はフレーム１７から行われることになる。
しかし、本第三の実施形態例によれば、フレーム１５の
参照画像を変更することが可能となっている。

【００６８】次に、本発明による第四の実施形態例を示
す。図２３は、第四の実施形態例の全体構成を示すブロ
ック図である。本図においては、第一実施形態例の全体
構成を示すブロック図である図１と比べて、メモリ保持
状況通知部６２１が付加されている。上記第一実施形態
例の動作において、画像送信側のフレームメモリ部６０
３に記憶されたデータを消去する場合があるが、正しく
受信されたフレームの参照画像が１枚も無い等の特殊な
ケースにより、全てのデータが消去されてフレームメモ
リ部６０３の中身が空になってしまう場合がある。その
ような場合、フレーム間差分をとるフレーム間符号化方
式を行うことが不可能になるので、フレーム内符号化に
切り替えるようにした構成が、本第四実施形態例であ
る。

【００６９】即ち、フレームメモリ部６０３の記憶内容
の情報が、フレームメモリ変更部６０５を介してメモリ
保持状況通知部６２１に通知されるようになっており、
メモリ保持状況通知部６２１は、フレームメモリ部６０
３内に参照画像が１つも保持されていない場合に、符号
化部６０１にその旨を通知する。通知を受けた符号化部
６０１は、フレーム内符号化により入力画像を符号化す
るようにする。これにより、参照画像が存在しない場合
に入力画像がフレーム間符号化されてしまうような特殊
な事態が防止できる。

【００７０】次に、本発明による第五の実施形態例を示
す。図２４は、第五の実施形態例の全体構成を示すブロ
ック図である。本図においては、第一実施形態例の全体
構成を示すブロック図である図１と比べて、符号化状況
通知部６２３が付加されている。本第五実施形態例にお
いて、符号化部６０１は、フレーム間符号化に加えて条
件によりフレーム内符号化を行う。符号化状況通知部６
２３は、符号化部６０１から送信される符号化に関する
情報に基づき、符号化部６０１がフレーム内符号化を行
った場合にこれを検知し、フレームメモリ変更部６０５
にその旨を通知する。

【００７１】フレームメモリ変更部６０５は、信号受信
部６０２を介して取得する画像受信側からの信号の内容
に加え、符号化状況通知部６２３からの通知内容にも基
づき、フレームメモリ部６０３の内容の書き換えを行
う。この場合の、フレームメモリ変更部６０５の動作例
の部分フローを図２５に示す。本図は図２に示した第一
実施形態例の動作に対応するものであり、ステップＤ０
１及びＤ０２が追加されている以外は、第一実施形態例
と同様であり、即ち、本図２５と図３とを組み合わせた
フロー図が、本第五実施形態例におけるフレームメモリ
変更部６０５の動作例の全体フロー図となる。即ち、本
実施形態例によれば、フレーム内符号化が行われた場合
に、該符号化によるエラー波及防止効果を考慮し、メモ
リ内の不要なデータを消去する等して次の符号化がより
適正に行われるような内容にメモリを書き換えることが
可能となる。

【００７２】次に、本発明による第六の実施形態例を示
す。図２６は、第六の実施形態例の全体構成を示すブロ
ック図である。本図においては、第一実施形態例の全体
構成を示すブロック図である図１と比べて、メモリ情報
通知部６２５、メモリ情報受信部６２６が付加されてい
る。第一実施形態例において、送信側と受信側の動作タ
イミングやエラーの発生等により、参照画像決定部６０
４が、画像受信側のフレームメモリ部６１４内に存在し
ない画像を参照画像として選択するという特殊な事態が
あり得る。

【００７３】本第六実施形態例においては、画像受信側
のメモリ情報通知部６２５は、フレームメモリ部６１４
に保持している全ての内容、あるいは最古もしくは最新
の内容等についての情報を画像送信側のメモリ情報受信
部６２６に通知する。通知を受けたメモリ情報受信部６
２６は、その情報を参照画像決定部６０４に伝える。参
照画像決定部６０４は、フレームメモリ変更部６０５か
らの信号に加え、メモリ情報受信部６２６からの情報に
も基づき、次に符号化するフレームの参照画像を何にす
るかを決定する。

【００７４】即ち、参照画像決定部６０４は、フレーム
メモリ変更部６０５からの信号により、次に符号化する
フレームの参照画像を何にするかを決定するが、ここ
で、画像受信側のメモリ情報通知部６２５は、フレーム
メモリ部６１４に保持している全ての内容についての情
報を画像送信側のメモリ情報受信部６２６に通知するよ
うに設定されているとする。この場合、例えば図３のス
テップ７０４の処理に従い、参照画像決定部６０４に対
し、フレームメモリ部６０３内の最新のフレームを参照
画像として使用することが指示された場合、該当画像が
画像受信側のフレームメモリ部６１４内に存在しない場
合には、その画像を参照画像として選択せずに、その１
つ前のフレームを参照画像としてフレームメモリ部６０
３から読み出して符号化部６０１に送るようにすること
ができる。このような処理により、参照画像決定部６０
４が、画像受信側のフレームメモリ部６１４内に存在し
ない画像を参照画像として選択することが防止される。

【００７５】次に、本発明による第七の実施形態例を示
す。図２７は、第七の実施形態例の全体構成を示すブロ
ック図である。本図においては、第一実施形態例の全体
構成を示すブロック図である図１と比べて、切替部６２
８が付加されている。上述した第一実施形態例では、誤
りのない画像データが得られなかった場合は、復号化部
６１３からモニタ等への画像データの出力や、フレーム
メモリ部６１４へのデータの書き込みは行われない。し
かし、実用形態においては、このような場合においても
モニタ等へ画像データを出力した方が、モニタを観察す
るユーザにとって、システムがより使いやすくなる場合
も多い。但し、この場合、エラーを含む画像がフレーム
メモリ部６１４に書き込まれることは好ましくない。

【００７６】本第七実施形態例においては、画像信号受
信部６０８から切替部６２８にエラーの有無が通知され
るとともに、誤りのある画像データであっても、符号化
部６１３から切替部６２８にデータが送られる。切替部
６２８は、画像信号受信部６０８から通知される内容が
「エラー無し」の場合には復号化部６１３からの出力を
モニタ等の外部及びフレームメモリ部６１４の両方に出
力するようにし、「エラー有り」の場合には、復号化部
６１３からの出力をモニタ等の外部にのみ出力するよう
に働く。これにより、システム内部では誤りの無い画像
データのみが保持されるようにしながら、エラー画像を
敢えて利用した、ユーザにとってより使いやすいシステ
ムの実現が可能になる。

【００７７】

【発明の効果】本発明による画像通信システム及び方法
によれば、送信側のメモリ部に、画像受信側で最後に正
しく受信された符号化時の参照画像が必ず一つは保持さ
れるので、画像受信側から受信エラーが通知された場合
に、正しい参照画像がなくなるという状況を回避するこ
とができる。即ち、フレーム間符号化を続けながらエラ
ー波及を防止するという従来技術において、参照画像が
メモリ部内に存在しなくなりフレーム内符号化を余儀な
くされたようなケースでも、同じメモリ規模で、最後に
正しく受信された参照画像をメモリ部内に保持しておく
ことができ、画像品質の劣化を防ぐことができる。

【００７８】また、画像送信側に、上記タイマ手段や画
像計数手段を付加することにより、上記メモリ変更手段
の書き込み制御により、画像受信側から画像送信側への
信号、特に、受信エラーを通知する信号に誤りが生じて
受信できない場合、あるいは、伝送遅延の増大、画像受
信側の処理遅延等により信号の到着が遅くなった場合等
でも、速やかに参照画像を変更して画像受信側でのエラ
ー画像からの復帰を早めることが可能になる。

【００７９】また、画像送信側に上記メモリ保持状況通
知手段を付加することにより、メモリ部に参照画像が存
在しない場合に入力画像がフレーム間符号化されてしま
うような特殊な事態が防止できる。

【００８０】また、画像送信側に上記符号化状況通知手
段を付加することにより、フレーム内符号化が行われた
場合に、該符号化によるエラー波及防止効果を考慮し、
メモリ内の不要なデータを消去する等して次の符号化が
より適正に行われるような内容にメモリを書き換えるこ
とが可能となる。

【００８１】また、画像受信側に上記メモリ情報通知手
段を付加し、画像送信側に上記メモリ情報受信手段を付
加することにより、画像送信側の参照画像決定部が、画
像受信側のメモリ部内に存在しない画像を参照画像とし
て選択することを防止できる。

【００８２】また、画像受信側に上記切替手段を付加す
ることにより、システム内部では誤りの無い画像データ
のみが保持されるようにしながら、エラー画像を敢えて
利用した、ユーザにとってより使いやすいシステムの実
現が可能になる。なお、これら付加的形態例により得ら
れる効果は、各形態の動作に対応する方法の実行によっ
ても、同様に得られる。

【図面の簡単な説明】

【図１】 本発明の第一の実施例の全体構成を示すブロ
ック図である。

【図２】 図１のフレームメモリ変更部の動作フロー図
（その１）である。

【図３】 図１のフレームメモリ変更部の動作フロー図
（その２）である。

【図４】 第一実施例の動作例の説明図である。

【図５】 一般的な画像符号化方式と第一実施例とを組
み合わせた変形実施例の構成図である。

【図６】 本発明の第二の実施例の全体構成を示すブロ
ック図である。

【図７】 図６のタイマ部の動作フロー図である。

【図８】 図６のフレームメモリ変更部の動作フロー図
（その１）である。

【図９】 図６のフレームメモリ変更部の動作フロー図
（その２）である。

【図１０】 第二実施例の動作例の説明図である。

【図１１】 一般的な画像符号化方式と第二実施例とを
組み合わせた変形実施例の構成図である。

【図１２】 本発明の第三の実施例の全体構成を示すブ
ロック図である。

【図１３】 図１２のフレーム計数部の動作フロー図で
ある。

【図１４】 図１２のフレームメモリ変更部の動作フロ
ー図（その１）である。

【図１５】 図１５は、図１２のフレームメモリ変更部
の動作フロー図（その２）である。

【図１６】 第三実施例の動作例の説明図である。

【図１７】 一般的な画像符号化方式と第三実施例とを
組み合わせた変形実施例の構成図である。

【図１８】 一般的な画像符号化方式と第一の従来例と
を組み合わせた場合の構成図である。

【図１９】 一般的な画像符号化方式と第二の従来例と
を組み合わせた場合の構成図である。

【図２０】 第二の従来例の動作例の説明図である。

【図２１】 第二の従来例の別の動作例の説明図であ
る。

【図２２】 第二の従来例のさらに別の動作例の説明図
である。

【図２３】 本発明の第四の実施例の全体構成を示すブ
ロック図である。

【図２４】 本発明の第五の実施例の全体構成を示すブ
ロック図である。

【図２５】 図２４のフレームメモリ変更部の動作の部
分フロー図である。

【図２６】 本発明の第六の実施例の全体構成を示すブ
ロック図である。

【図２７】 本発明の第七の実施例の全体構成を示すブ
ロック図である。

【符号の説明】

６０１…符号化部 ６０２…信号受信部 ６０３…（フレーム）メモリ部 ６０４…参照画像決定部 ６０５…（フレーム）メモリ変更部 ６０６…参照画像通知部 ６０７…フレーム番号通知部（画像番号通知部） ６０８…画像信号受信部 ６０９…信号送出部 ６１０…フレーム番号受信部（画像番号受信部） ６１１…参照画像決定部 ６１２…参照画像番号受信部 ６１３…復号化部 ６１４…（フレーム）メモリ部 ６１５…タイマ部 ６１６…フレーム計数部（画像信号計数部） ６２１…メモリ保持状況通知部 ６２３…符号化状況通知部 ６２５…メモリ情報通知部 ６２６…メモリ情報受信部 ６２８…切替部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 木全 英明 東京都新宿区西新宿三丁目19番２号 日 本電信電話株式会社内 (72)発明者 鈴木 良太 東京都新宿区西新宿三丁目19番２号 日 本電信電話株式会社内 (72)発明者 秋本 ▲高▼明 東京都新宿区西新宿三丁目19番２号 日 本電信電話株式会社内 (56)参考文献 特開 平９−149421（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (46)

(57)【特許請求の範囲】
1. 【請求項１】 画像送信側に、 入力画像を、フレーム間の差分を用いて圧縮を行うフレ
   ーム間符号化方式により符号化し、符号化画像データを
   出力する符号化部と、 画像受信側で受信された符号化画像データのエラーの有
   無とその画像番号とを通知する信号を該画像受信側から
   受信する信号受信部と、 前記符号化部から出力される符号化画像データを、前記
   フレーム間符号化方式による符号化に用いる参照画像と
   して複数保持するためのバッファを有するメモリ部と、 前記メモリ部に少なくとも１枚の画像が記憶されている
   場合、前記信号受信部が受信した信号が示す内容に基づ
   き、前記メモリ部に記憶された画像の中から、前記符号
   化部が使用する参照画像を選択する参照画像決定部と、 前記符号化部が使用した参照画像の番号を前記画像受信
   側に通知する参照画像通知部と、 前記符号化部が出力する符号化画像データの画像番号を
   通知する画像番号通知部とを有し、 画像受信側に、 前記画像送信側の符号化部が出力する前記符号化画像デ
   ータを受信し、該画像データのエラーの有無を検出して
   出力する画像データ受信部と、 前記画像送信側の画像番号通知部から通知された前記符
   号化画像データの画像番号を受信する画像番号受信部
   と、 前記画像番号受信部が受信した符号化画像データの前記
   画像番号と、当該画像データに関する前記画像データ受
   信部が検出したエラーの有無とを通知する異常有りもし
   くは異常無し信号を前記画像送信側に送信する信号送出
   部と、 前記画像データ受信部が受信した符号化画像データを復
   号化し、復号化画像データを出力する復号化部と、 前記復号化部から出力される復号化画像データを、前記
   復号化に用いる参照画像として複数保持するためのバッ
   ファを有するメモリ部と、 前記画像送信側の参照画像通知部から通知された符号化
   時の参照画像番号を受信する参照画像番号受信部と、 前記メモリ部に少なくとも１枚の画像が記憶されている
   場合、前記参照画像番号受信部が受信した参照画像番号
   に応じて、前記メモリ部に記憶された画像の中から、前
   記復号化部が使用する参照画像を選択する参照画像決定
   部とを有する画像通信システムであって、 前記画像送信側の信号受信部が受信した信号が示す内容
   に基づき、前記符号化部が出力する符号化画像データの
   前記メモリ部への書き込み制御を行うメモリ変更手段を
   更に有し、該制御は、新たなデータを書き込むか否かの
   判定、前記メモリ部内の書き込み位置の決定、前記メモ
   リ部に既に書き込まれたデータの消去を含むものであ
   り、前記符号化部が符号化画像データを出力した場合、
   前記画像送信側の前記メモリ部に空きが無い場合は、当
   該メモリ部に記憶されている画像の中で、前記異常無し
   信号を受信していない画像が存在するか否かを判定し、
   存在する場合には前記異常無し信号を受信していない最
   も古い画像を消去する画像通信システム。
2. 【請求項２】 前記メモリ変更手段の書き込み制御
   は、前記メモリ部に記憶された参照画像の中から、前記
   画像受信側で最後に正しく受信された符号化画像データ
   に対応する参照画像より古い参照画像を消去することを
   含む請求項１に記載の画像通信システム。
3. 【請求項３】 前記メモリ変更手段の書き込み制御
   は、前記メモリ部に記憶された参照画像の中から、前記
   画像受信側から前記異常有り信号が通知された符号化画
   像データに対応する参照画像を消去することを含む請求
   項１に記載の画像通信システム。
4. 【請求項４】 前記入力画像の処理単位は、フレーム
   単位、フレームを構成する画像の小領域、及び、該小領
   域を構成する画素の集まりのいずれかである請求項１に
   記載の画像通信システム。
5. 【請求項５】 前記画像送信側に、 前記信号受信部が、予め設定してある時間内に前記画像
   受信側からの信号を受信したか否かを判定し、受信しな
   かったと判定した場合に前記メモリ変更手段にその旨を
   通知するタイマ手段を更に有し、 前記メモリ変更手段は、前記タイマ手段から通知を受け
   た場合、該通知の内容に基づき前記メモリ部への書き込
   み制御を行う請求項１に記載の画像通信システム。
6. 【請求項６】 前記画像送信側に、 前記符号化部が予め設定してある量の画像を符号化する
   間に、前記信号受信部が前記画像受信側からの信号を受
   信したか否かを判定し、受信しなかったと判定した場合
   に前記メモリ変更手段にその旨を通知する画像計数手段
   を更に有し、 前記メモリ変更手段は、前記画像計数手段から通知を受
   けた場合、該通知の内容に基づき前記メモリ部への書き
   込み制御を行う請求項１に記載の画像通信システム。
7. 【請求項７】 前記画像送信側に、 該送信側のメモリ部の内容を監視し、該メモリ部に前記
   フレーム間符号化に使用できる参照画像が１つも記憶さ
   れていない場合に、前記符号化部にその旨を通知するメ
   モリ保持状況通知手段を更に有し、 前記符号化部は、前記メモリ保持状況通知手段から通知
   を受けた場合、次の画像の符号化をフレーム内符号化方
   式で行う請求項１に記載の画像通信システム。
8. 【請求項８】 前記符号化部は、前記フレーム間符号
   化方式とフレーム内符号化方式とを併用し、いずれかの
   方式により符号化を行うものであり、 前記画像送信側に、 前記符号化部がフレーム内符号化を行った場合に、前記
   メモリ変更手段にその旨を通知する符号化状況通知手段
   を更に有し、 前記メモリ変更手段は、前記符号化状況通知手段から通
   知を受けた場合、該通知の内容に基づき前記メモリ部へ
   の書き込み制御を行う請求項１に記載の画像通信システ
   ム。
9. 【請求項９】 前記画像受信側に、該受信側のメモリ
   部に記憶された画像の情報を前記画像送信側に通知する
   メモリ情報通知手段を更に有し、 前記画像送信側に、前記メモリ情報通知手段から通知さ
   れた画像情報を受信し、その内容を前記送信側の参照画
   像決定部に通知するメモリ情報受信手段を更に有し、 前記画像送信側の前記参照画像決定部は、前記参照画像
   の選択を、前記信号受信部が受信した信号が示す内容及
   び前記メモリ情報受信手段から通知された情報に基づい
   て行う請求項１に記載の画像通信システム。
10. 【請求項１０】 前記画像受信側に、 前記画像データ受信部が検出したエラーの有無の情報を
    受け、エラー有りの場合には前記復号化部からの出力が
    前記受信側のメモリ部に送られず、エラー無しの場合に
    は該復号化部からの出力が該メモリ部に送られるように
    制御する切替手段を更に有する請求項１に記載の画像通
    信システム。
11. 【請求項１１】 画像送信側が、 入力画像を、フレーム間の差分を用いて圧縮を行うフレ
    ーム間符号化方式により符号化し、符号化画像データを
    出力する過程と、 画像受信側で受信された符号化画像データのエラーの有
    無とその画像番号とを通知する信号を該画像受信側から
    受信する過程と、 前記出力された符号化画像データを前記フレーム間符号
    化方式による符号化に用いる参照画像として複数保持す
    るためのバッファを有するメモリ部に少なくとも１枚の
    画像が記憶されている場合、前記画像受信側から受信し
    た信号が示す内容に基づき、前記メモリ部に記憶された
    画像の中から前記符号化で使用する参照画像を選択する
    過程と、 前記符号化において使用した参照画像の番号を前記画像
    受信側に通知する過程と、 前記出力された符号化画像データの画像番号を通知する
    過程とを有し、 画像受信側が、 前記画像送信側が出力する前記符号化画像データを受信
    し、該画像データのエラーの有無を検出して出力する過
    程と、 前記画像送信側から通知された前記符号化画像データの
    画像番号を受信する過程と、 前記受信された符号化画像データの前記画像番号と、当
    該画像データに関する前記検出されたエラーの有無とを
    通知する異常有りもしくは異常無し信号を前記画像送信
    側に送信する過程と、 前記受信された符号化画像データを復号化し、復号化画
    像データを出力する過程と、 前記画像送信側から通知された符号化時の参照画像番号
    を受信する過程と、 前記出力された復号化画像データを前記復号化に用いる
    参照画像として複数保持するためのバッファを有するメ
    モリ部に少なくとも１枚の画像が記憶されている場合、
    前記受信された参照画像番号に応じて、前記メモリ部に
    記憶された画像の中から、前記復号化で使用する参照画
    像を選択する過程とを有する画像通信方法であって、 前記画像送信側が受信した信号が示す内容に基づき、前
    記出力された符号化画像データの前記メモリ部への書き
    込み制御を行う過程を更に有し、該制御は、新たなデー
    タを書き込むか否かの判定、前記メモリ部内の書き込み
    位置の決定、前記メモリ部に既に書き込まれたデータの
    消去を含むものであり、前記符号化過程により符号化画
    像データが出力された場合、前記画像送信側の前記メモ
    リ部に空きが無い場合は、当該メモリ部に記憶されてい
    る画像の中で、前記異常無し信号を受信していない画像
    が存在するか否かを判定し、存在する場合には前記異常
    無し信号を受信していない最も古い画像を消去する画像
    通信方法。
12. 【請求項１２】 前記メモリ部への書き込み制御は、
    前記メモリ部に記憶された参照画像の中から、前記画像
    受信側で最後に正しく受信された符号化画像データに対
    応する参照画像より古い参照画像を消去することを含む
    請求項１１に記載の画像通信方法。
13. 【請求項１３】 前記メモリ部への書き込み制御は、
    前記メモリ部に記憶された参照画像の中から、前記画像
    受信側から前記異常有り信号が通知された符号化画像デ
    ータに対応する参照画像を消去することを含む請求項１
    １に記載の画像通信方法。
14. 【請求項１４】 前記入力画像の処理単位は、フレー
    ム単位、フレームを構成する画像の小領域、及び、該小
    領域を構成する画素の集まりのいずれかである請求項１
    １に記載の画像通信方法。
15. 【請求項１５】 前記画像送信側が、予め設定してあ
    る時間内に前記画像受信側からの信号を受信したか否か
    を判定し、受信しなかったと判定した場合にその旨を示
    す情報を出力する過程を更に有し、 該情報が出力された場合、前記メモリ部への書き込み制
    御を行う過程は、該情報に基づき前記制御を行う請求項
    １１に記載の画像通信方法。
16. 【請求項１６】 前記画像送信側が、予め設定してあ
    る量の画像を符号化する間に、前記画像受信側からの信
    号を受信したか否かを判定し、受信しなかったと判定し
    た場合にその旨を示す情報を出力する過程を更に有し、 該情報が出力された場合、前記メモリ部への書き込み制
    御を行う過程は、該情報に基づき前記制御を行う請求項
    １１に記載の画像通信方法。
17. 【請求項１７】 前記画像送信側のメモリ部の内容を
    監視し、該メモリ部に前記フレーム間符号化に使用でき
    る参照画像が１つも記憶されていない場合に、その旨を
    示す情報を出力する過程を更に有し、 該情報が出力された場合、前記入力画像を符号化する過
    程は、次の画像の符号化をフレーム内符号化方式で行う
    請求項１１に記載の画像通信方法。
18. 【請求項１８】 前記入力画像を符号化する過程は、
    前記フレーム間符号化方式とフレーム内符号化方式とを
    併用し、いずれかの方式により符号化を行い、 前記フレーム内符号化が行われた場合に、その旨を示す
    情報を出力する過程を更に有し、 該情報が出力された場合、前記メモリ部への書き込み制
    御を行う過程は、該情報に基づき前記制御を行う請求項
    １１に記載の画像通信方法。
19. 【請求項１９】 前記画像受信側のメモリ部に記憶さ
    れた画像の情報を前記画像送信側に通知する過程と、 該情報を該画像送信側において受信する過程とを更に有
    し、 前記画像送信側において参照画像を決定する過程は、前
    記参照画像の選択を、受信された前記符号化画像データ
    のエラーの有無とその画像番号とを通知する信号及び前
    記画像受信側のメモリ部に記憶された画像の情報とに基
    づいて行う請求項１１に記載の画像通信方法。
20. 【請求項２０】 前記画像受信側で検出したエラーの
    有無の情報を受け、エラー有りの場合には前記復号化さ
    れた出力が前記受信側のメモリ部に送られず、エラー無
    しの場合には該復号化された出力が該メモリ部に送られ
    るように制御する過程を更に有する請求項１１に記載の
    画像通信方法。
21. 【請求項２１】 入力画像を、フレーム間の差分を用
    いて圧縮を行うフレーム間符号化方式により符号化し、
    符号化画像データを出力する符号化部と、 画像受信側で受信された符号化画像データのエラーの有
    無を通知する異常有りもしくは異常無し信号とその画像
    番号とを通知する信号を該画像受信側から受信する信号
    受信部と、 前記符号化部から出力される符号化画像データを、前記
    フレーム間符号化方式による符号化に用いる参照画像と
    して複数保持するためのバッファを有するメモリ部と、 前記メモリ部に少なくとも１枚の画像が記憶されている
    場合、前記信号受信部が受信した信号が示す内容に基づ
    き、前記メモリ部に記憶された画像の中から、前記符号
    化部が使用する参照画像を選択する参照画像決定部と、 前記符号化部が使用した参照画像の番号を前記画像受信
    側に通知する参照画像通知部と、 前記符号化部が出力する符号化画像データの画像番号を
    通知する画像番号通知部とを有する画像送信装置であっ
    て、 前記信号受信部が受信した信号が示す内容に基づき、前
    記符号化部が出力する符号化画像データの前記メモリ部
    への書き込み制御を行うメモリ変更手段を更に有し、該
    制御は、新たなデータを書き込むか否かの判定、前記メ
    モリ部内の書き込み位置の決定、前記メモリ部に既に書
    き込まれたデータの消去を含むものであり、前記符号化
    部が符号化画像データを出力した場合、前記メモリ部に
    空きが無い場合は、当該メモリ部に記憶されている画像
    の中で、前記異常無し信号を受信していない画像が存在
    するか否かを判定し、存在する場合には前記異常無し信
    号を受信していない最も古い画像を消去する画像送信装
    置。
22. 【請求項２２】 前記メモリ変更手段の書き込み制御
    は、前記メモリ部に記憶された参照画像の中から、前記
    画像受信側で最後に正しく受信された符号化画像データ
    に対応する参照画像より古い参照画像を消去することを
    含む請求項２１に記載の画像送信装置。
23. 【請求項２３】 前記メモリ変更手段の書き込み制御
    は、前記メモリ部に記憶された参照画像の中から、前記
    画像受信側から前記異常有り信号が通知された符号化画
    像データに対応する参照画像を消去することを含む請求
    項２１に記載の画像送信装置。
24. 【請求項２４】 前記入力画像の処理単位は、フレー
    ム単位、フレームを構成する画像の小領域、及び、該小
    領域を構成する画素の集まりのいずれかである請求項２
    １に記載の画像送信装置。
25. 【請求項２５】 前記信号受信部が、予め設定してあ
    る時間内に前記画像受信側からの信号を受信したか否か
    を判定し、受信しなかったと判定した場合に前記メモリ
    変更手段にその旨を通知するタイマ手段を更に有し、 前記メモリ変更手段は、前記タイマ手段から通知を受け
    た場合、該通知の内容に基づき前記メモリ部への書き込
    み制御を行う請求項２１に記載の画像送信装置。
26. 【請求項２６】 前記符号化部が予め設定してある量
    の画像を符号化する間に、前記信号受信部が前記画像受
    信側からの信号を受信したか否かを判定し、受信しなか
    ったと判定した場合に前記メモリ変更手段にその旨を通
    知する画像計数手段を更に有し、 前記メモリ変更手段は、前記画像計数手段から通知を受
    けた場合、該通知の内容に基づき前記メモリ部への書き
    込み制御を行う請求項２１に記載の画像送信装置。
27. 【請求項２７】 前記メモリ部の内容を監視し、該メ
    モリ部に前記フレーム間符号化に使用できる参照画像が
    １つも記憶されていない場合に、前記符号化部にその旨
    を通知するメモリ保持状況通知手段を更に有し、 前記符号化部は、前記メモリ保持状況通知手段から通知
    を受けた場合、次の画像の符号化をフレーム内符号化方
    式で行う請求項２１に記載の画像送信装置。
28. 【請求項２８】 前記符号化部は、前記フレーム間符
    号化方式とフレーム内符号化方式とを併用し、いずれか
    の方式により符号化を行うものであり、 前記符号化部がフレーム内符号化を行った場合に、前記
    メモリ変更手段にその旨を通知する符号化状況通知手段
    を更に有し、 前記メモリ変更手段は、前記符号化状況通知手段から通
    知を受けた場合、該通知の内容に基づき前記メモリ部へ
    の書き込み制御を行う請求項２１に記載の画像送信装
    置。
29. 【請求項２９】 前記画像受信側から通知される、該
    受信側のメモリ部に記憶された画像の情報を受信し、そ
    の内容を前記参照画像決定部に通知するメモリ情報受信
    手段を更に有し、 前記参照画像決定部は、前記参照画像の選択を、前記信
    号受信部が受信した信号が示す内容及び前記メモリ情報
    受信手段から通知された情報に基づいて行う請求項２１
    に記載の画像送信装置。
30. 【請求項３０】 画像送信側が出力する、フレーム間
    の差分を用いて圧縮を行うフレーム間符号化方式により
    符号化された画像データを受信し、該画像データのエラ
    ーの有無を検出して出力する画像データ受信部と、 前記画像送信側から通知される前記符号化画像データの
    画像番号を受信する画像番号受信部と、 前記画像番号受信部が受信した符号化画像データの前記
    画像番号と、当該画像データに関する前記画像データ受
    信部が検出したエラーの有無とを通知する信号を前記画
    像送信側に送信する信号送出部と、 前記画像データ受信部が受信した符号化画像データを復
    号化し、復号化画像データを出力する復号化部と、 前記復号化部から出力される復号化画像データを、前記
    復号化に用いる参照画像として複数保持するためのバッ
    ファを有するメモリ部と、 前記画像送信側から通知される符号化時の参照画像番号
    を受信する参照画像番号受信部と、 前記メモリ部に少なくとも１枚の画像が記憶されている
    場合、前記参照画像番号受信部が受信した参照画像番号
    に応じて、前記メモリ部に記憶された画像の中から、前
    記復号化部が使用する参照画像を選択する参照画像決定
    部とを有する画像受信装置であって、 前記メモリ部に記憶された画像の情報を前記画像送信側
    に通知するメモリ情報通知手段を更に有する画像受信装
    置。
31. 【請求項３１】 入力画像を、フレーム間の差分を用
    いて圧縮を行うフレーム間符号化方式により符号化し、
    符号化画像データを出力する過程と、 画像受信側で受信された符号化画像データのエラーの有
    無を通知する異常有りもしくは異常無し信号とその画像
    番号とを通知する信号を該画像受信側から受信する過程
    と、 前記出力された符号化画像データを前記フレーム間符号
    化方式による符号化に用いる参照画像として複数保持す
    るためのバッファを有するメモリ部に少なくとも１枚の
    画像が記憶されている場合、前記画像受信側から受信し
    た信号が示す内容に基づき、前記メモリ部に記憶された
    画像の中から前記符号化で使用する参照画像を選択する
    過程と、 前記符号化において使用した参照画像の番号を前記画像
    受信側に通知する過程と、 前記出力された符号化画像データの画像番号を通知する
    過程とを有する画像送信方法であって、 前記画像送信側が受信した信号が示す内容に基づき、前
    記出力された符号化画像データの前記メモリ部への書き
    込み制御を行う過程を更に有し、該制御は、新たなデー
    タを書き込むか否かの判定、前記メモリ部内の書き込み
    位置の決定、前記メモリ部に既に書き込まれたデータの
    消去を含むものであり、前記符号化過程により符号化画
    像データが出力された場合、前記画像送信側の前記メモ
    リ部に空きが無い場合は、当該メモリ部に記憶されてい
    る画像の中で、前記異常無し信号を受信していない画像
    が存在するか否かを判定し、存在する場合には前記異常
    無し信号を受信していない最も古い画像を消去する画像
    送信方法。
32. 【請求項３２】 前記メモリ部への書き込み制御は、
    前記メモリ部に記憶された参照画像の中から、前記画像
    受信側で最後に正しく受信された符号化画像データに対
    応する参照画像より古い参照画像を消去することを含む
    請求項３１に記載の画像送信方法。
33. 【請求項３３】 前記メモリ部への書き込み制御は、
    前記メモリ部に記憶された参照画像の中から、前記画像
    受信側から前記異常有り信号が通知された符号化画像デ
    ータに対応する参照画像を消去することを含む請求項３
    １に記載の画像送信方法。
34. 【請求項３４】 前記入力画像の処理単位は、フレー
    ム単位、フレームを構成する画像の小領域、及び、該小
    領域を構成する画素の集まりのいずれかである請求項３
    １に記載の画像送信方法。
35. 【請求項３５】 予め設定してある時間内に前記画像
    受信側からの信号を受信したか否かを判定し、受信しな
    かったと判定した場合にその旨を示す情報を出力する過
    程を更に有し、 該情報が出力された場合、前記メモリ部への書き込み制
    御を行う過程は、該情報に基づき前記制御を行う請求項
    ３１に記載の画像送信方法。
36. 【請求項３６】 予め設定してある量の画像を符号化
    する間に、前記画像受信側からの信号を受信したか否か
    を判定し、受信しなかったと判定した場合にその旨を示
    す情報を出力する過程を更に有し、 該情報が出力された場合、前記メモリ部への書き込み制
    御を行う過程は、該情報に基づき前記制御を行う請求項
    ３１に記載の画像送信方法。
37. 【請求項３７】 前記メモリ部の内容を監視し、該メ
    モリ部に前記フレーム間符号化に使用できる参照画像が
    １つも記憶されていない場合に、その旨を示す情報を出
    力する過程を更に有し、 該情報が出力された場合、前記入力画像を符号化する過
    程は、次の画像の符号化をフレーム内符号化方式で行う
    請求項３１に記載の画像送信方法。
38. 【請求項３８】 前記入力画像を符号化する過程は、
    前記フレーム間符号化方式とフレーム内符号化方式とを
    併用し、いずれかの方式により符号化を行い、 前記フレーム内符号化が行われた場合に、その旨を示す
    情報を出力する過程を更に有し、 該情報が出力された場合、前記メモリ部への書き込み制
    御を行う過程は、該情報に基づき前記制御を行う請求項
    ３１に記載の画像送信方法。
39. 【請求項３９】 前記画像受信側のメモリ部に記憶さ
    れた画像の情報を該受信側から受信する過程を更に有
    し、 前記参照画像を決定する過程は、前記参照画像の選択
    を、受信された前記符号化画像データのエラーの有無と
    その画像番号とを通知する信号及び前記画像受信側のメ
    モリ部に記憶された画像の情報とに基づいて行う請求項
    ３１に記載の画像送信方法。
40. 【請求項４０】 コンピュータに請求項３１〜３９い
    ずれかに記載の方法を実行させるためのプログラムを記
    録したコンピュータ読み取り可能な記録媒体。
41. 【請求項４１】 画像送信側が出力する、フレーム間
    の差分を用いて圧縮を行うフレーム間符号化方式により
    符号化された画像データを受信し、該画像データのエラ
    ーの有無を検出して出力する過程と、 前記画像送信側から通知される前記符号化画像データの
    画像番号を受信する過程と、 前記受信された符号化画像データの前記画像番号と、当
    該画像データに関する前記検出されたエラーの有無とを
    通知する信号を前記画像送信側に送信する過程と、 前記受信された符号化画像データを復号化し、復号化画
    像データを出力する過程と、 前記画像送信側から通知される符号化時の参照画像番号
    を受信する過程と、 前記出力された復号化画像データを前記復号化に用いる
    参照画像として複数保持するためのバッファを有するメ
    モリ部に少なくとも１枚の画像が記憶されている場合、
    前記受信された参照画像番号に応じて、前記メモリ部に
    記憶された画像の中から、前記復号化で使用する参照画
    像を選択する過程とを有する画像受信方法であって、 前記メモリ部に記憶された画像の情報を前記画像送信側
    に通知する過程を更に有する画像受信方法。
42. 【請求項４２】 コンピュータに請求項４１に記載の
    方法を実行させるためのプログラムを記録したコンピュ
    ータ読み取り可能な記録媒体。
43. 【請求項４３】 前記メモリ変更手段の書き込み制御
    は、前記メモリ部に記憶された参照画像の中から、前記
    画像受信側から前記異常有り信号が通知された符号化画
    像データに対応する参照画像以降の参照画像を全て消去
    することを含む請求項１に記載の画像通信システム。
44. 【請求項４４】 前記メモリ部への書き込み制御は、前
    記メモリ部に記憶された参照画像の中から、前記画像受
    信側から前記異常有り信号が通知された符号化画像デー
    タに対応する参照画像以降の参照画像を全て消去するこ
    とを含む請求項１１に記載の画像通信方法。
45. 【請求項４５】 前記メモリ変更手段の書き込み制御
    は、前記メモリ部に記憶された参照画像の中から、前記
    画像受信側から前記異常有り信号が通知された符号化画
    像データに対応する参照画像以降の参照画像を全て消去
    することを含む請求項２１に記載の画像送信装置。
46. 【請求項４６】 前記メモリ部への書き込み制御は、前
    記メモリ部に記憶された参照画像の中から、前記画像受
    信側から前記異常有り信号が通知された符号化画像デー
    タに対応する参照画像以降の参照画像を全て消去するこ
    とを含む請求項３１に記載の画像送信方法。