JPH0795584A - 画像符号化装置 - Google Patents
画像符号化装置Info
- Publication number
- JPH0795584A JPH0795584A JP6177261A JP17726194A JPH0795584A JP H0795584 A JPH0795584 A JP H0795584A JP 6177261 A JP6177261 A JP 6177261A JP 17726194 A JP17726194 A JP 17726194A JP H0795584 A JPH0795584 A JP H0795584A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- time
- image
- code amount
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
Abstract
(57)【要約】 （修正有）
【目的】 伝送エラーなどにより、伝送中のフレームが
表示不能の時に生じる表示画像の駒落としを低減する。 【構成】 画像記憶装置１０３は前処理装置１１５から
順次、各入力フレームの画像データを記憶し、フレーム
メモリ１３１は予め定められた記憶領域に復号された伝
送済み最新フレームを記憶する。フレーム選択部１０８
は、伝送中のフレームの表示不能を判断した時、画像記
憶装置１０３内に記憶された各フレームの表示の可否を
判断し、画像記憶装置に記憶されている画像データのう
ちから表示可能で最もフレームナンバーの小さいフレー
ムを選択する。符号化装置１０６は、選択されたフレー
ムの画像データを、フレームメモリ１３１内の記憶伝送
済み最新フレームを参照フレームとして予測符号化し、
送信バッファ１２７に出力する。フェージングなどのバ
ーストエラーなどにより伝送中のフレームの表示不能な
時も表示画像の駒落としを最小限に留めることができ
る。
表示不能の時に生じる表示画像の駒落としを低減する。 【構成】 画像記憶装置１０３は前処理装置１１５から
順次、各入力フレームの画像データを記憶し、フレーム
メモリ１３１は予め定められた記憶領域に復号された伝
送済み最新フレームを記憶する。フレーム選択部１０８
は、伝送中のフレームの表示不能を判断した時、画像記
憶装置１０３内に記憶された各フレームの表示の可否を
判断し、画像記憶装置に記憶されている画像データのう
ちから表示可能で最もフレームナンバーの小さいフレー
ムを選択する。符号化装置１０６は、選択されたフレー
ムの画像データを、フレームメモリ１３１内の記憶伝送
済み最新フレームを参照フレームとして予測符号化し、
送信バッファ１２７に出力する。フェージングなどのバ
ーストエラーなどにより伝送中のフレームの表示不能な
時も表示画像の駒落としを最小限に留めることができ
る。
Description
【０００１】
【産業上の利用分野】本発明は、テレビ会議、テレビ電
話等に用いられる動画像の符号化、復号を行う画像符号
化装置に関する。
話等に用いられる動画像の符号化、復号を行う画像符号
化装置に関する。
【０００２】
【従来の技術】近年、ディジタル化された動画像を処理
する種々の技術が実現されている。一般に、画像情報は
情報量が大きいため、画像を記録あるいは伝送するにあ
たって情報量を圧縮・削減する技術が必要になる。従
来、６４ｋｂｐｓ〜２Ｍｋｂｐｓの低ビット伝送レート
で動画像通信を行なうための画像圧縮符号化方式として
ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍ
ｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）勧告Ｈ．２６１が
ある。
する種々の技術が実現されている。一般に、画像情報は
情報量が大きいため、画像を記録あるいは伝送するにあ
たって情報量を圧縮・削減する技術が必要になる。従
来、６４ｋｂｐｓ〜２Ｍｋｂｐｓの低ビット伝送レート
で動画像通信を行なうための画像圧縮符号化方式として
ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍ
ｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）勧告Ｈ．２６１が
ある。
【０００３】この符号化方法によれば、まず、対象とな
るフレームを複数のブロックに分割し、各ブロック毎に
１つ前のフレームの画像と比較して動きベクトルを検出
する。この動きベクトルは、前記ブロックに対して、１
つ前のフレーム中のブロックで相関性の最も高い、すな
わち、予測誤差がもっとも小さいブロックを指し示して
いる。そこで、対象となるフレームのブロック毎に、１
つ前のフレームの相関性の最も高いブロックとの差分を
符号化するとともに動きベクトルをも符号化して送信す
る。
るフレームを複数のブロックに分割し、各ブロック毎に
１つ前のフレームの画像と比較して動きベクトルを検出
する。この動きベクトルは、前記ブロックに対して、１
つ前のフレーム中のブロックで相関性の最も高い、すな
わち、予測誤差がもっとも小さいブロックを指し示して
いる。そこで、対象となるフレームのブロック毎に、１
つ前のフレームの相関性の最も高いブロックとの差分を
符号化するとともに動きベクトルをも符号化して送信す
る。
【０００４】図２３はＨ．２６１で勧告されている画像
符号化方式に従って画像圧縮符号化を行う従来の画像符
号化装置の構成図である。図２３に示すように、画像符
号化装置は、前処理装置１５、符号化装置６、伝送制御
装置７および図示しない復号装置を備える。前処理装置
１５は、ＹＣ分離Ａ／Ｄ変換部１２、ＮＴＳＣ／ＣＩＦ
変換部１３および前処理フィルタ１４を備える。ＹＣ分
離Ａ／Ｄ変換部１２は、ＮＴＳＣ信号をＹＣ分離（すな
わち、輝度信号と色差信号とに分離）し、これをさらに
Ａ／Ｄ変換する。ＮＴＳＣ／ＣＩＦ変換部１３は、ＮＴ
ＳＣ信号を中間フォーマットであるＣＩＦ（Ｃｏｍｍｏ
ｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）に変換
し、ＣＩＦ信号として出力する。中間フォーマットは、
地域によるテレビジョン方式の違いを解決し、すべての
ビデオコーディック間で相手を意識することなく通信で
きるように決められた共通のフォーマットである。
符号化方式に従って画像圧縮符号化を行う従来の画像符
号化装置の構成図である。図２３に示すように、画像符
号化装置は、前処理装置１５、符号化装置６、伝送制御
装置７および図示しない復号装置を備える。前処理装置
１５は、ＹＣ分離Ａ／Ｄ変換部１２、ＮＴＳＣ／ＣＩＦ
変換部１３および前処理フィルタ１４を備える。ＹＣ分
離Ａ／Ｄ変換部１２は、ＮＴＳＣ信号をＹＣ分離（すな
わち、輝度信号と色差信号とに分離）し、これをさらに
Ａ／Ｄ変換する。ＮＴＳＣ／ＣＩＦ変換部１３は、ＮＴ
ＳＣ信号を中間フォーマットであるＣＩＦ（Ｃｏｍｍｏ
ｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）に変換
し、ＣＩＦ信号として出力する。中間フォーマットは、
地域によるテレビジョン方式の違いを解決し、すべての
ビデオコーディック間で相手を意識することなく通信で
きるように決められた共通のフォーマットである。
【０００５】Ｈ．２６１に規定される中間フォーマット
は、２種類あり、第１のフォーマットは、ＣＩＦであ
る。各フレームは輝度成分と２つの色差成分（Ｙ、Ｃ
Ｂ、ＣＲ）として符号化される。これらの成分および標
本値を示す符号は、ＣＣＩＲ勧告６０１に規定されてい
る。ＣＩＦは、輝度の標本が、１ラインあたり３５２画
素、１フレームあたり２８８ラインで直交格子状に配列
される。２つの色差成分の標本は、それぞれ１ラインあ
たり１７６画素、１フレームあたり１４４ラインで直交
格子状に配列される。
は、２種類あり、第１のフォーマットは、ＣＩＦであ
る。各フレームは輝度成分と２つの色差成分（Ｙ、Ｃ
Ｂ、ＣＲ）として符号化される。これらの成分および標
本値を示す符号は、ＣＣＩＲ勧告６０１に規定されてい
る。ＣＩＦは、輝度の標本が、１ラインあたり３５２画
素、１フレームあたり２８８ラインで直交格子状に配列
される。２つの色差成分の標本は、それぞれ１ラインあ
たり１７６画素、１フレームあたり１４４ラインで直交
格子状に配列される。
【０００６】第２のフォーマットは、ＱＣＩＦで、ＣＩ
Ｆの画素とライン数を各々１／２にしたものである。Ｃ
ＩＦまたはＱＣＩＦの選択は、ＴＴＣ標準−Ｈ２２１な
どの外的な手段によって行われる。ここでは、ＮＴＳＣ
／ＣＩＦ変換部１３によって、ＣＩＦを選択する。前処
理フィルタ１４は、入力される信号の雑音を除去するデ
ィジタルフィルタである。
Ｆの画素とライン数を各々１／２にしたものである。Ｃ
ＩＦまたはＱＣＩＦの選択は、ＴＴＣ標準−Ｈ２２１な
どの外的な手段によって行われる。ここでは、ＮＴＳＣ
／ＣＩＦ変換部１３によって、ＣＩＦを選択する。前処
理フィルタ１４は、入力される信号の雑音を除去するデ
ィジタルフィルタである。
【０００７】符号化装置６は、符号化部４と符号化制御
部５とを備える。符号化制御部５は、後述の送信バッフ
ァ２７内の空き記憶領域を検出し、送信バッファ２７内
に一定量の空き領域がある場合には、符号化部４を制御
して符号化を行わせるとともに、符号化部４が符号化し
た画像データ、すなわち、符号化データを送信バッファ
２７に出力する。
部５とを備える。符号化制御部５は、後述の送信バッフ
ァ２７内の空き記憶領域を検出し、送信バッファ２７内
に一定量の空き領域がある場合には、符号化部４を制御
して符号化を行わせるとともに、符号化部４が符号化し
た画像データ、すなわち、符号化データを送信バッファ
２７に出力する。
【０００８】符号化部４は、動き補償フレーム予測部１
６、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａ
ｎｓｆｏｒｍ）１７、量子化部１８、第１の可変長符号
化部１９、第２の可変長符号化部２０および多重化部２
１を備える。動き補償フレーム予測部１６は、１６×１
６画素からなるブロックを単位として処理を行う。動き
補償フレーム予測部１６は、伝送済みの最新フレームに
おいて、符号化対象フレーム内で符号化対象ブロックに
相当する位置から±１５画素の範囲で、符号化対象ブロ
ックとの差分が最小となるブロックを検索し、前記両ブ
ロック間の位置関係を表す動きベクトルを求める。ここ
で、符号化対象フレームとの差分をとるフレームを参照
フレームという。次いで、前記動きベクトルにもとづい
て、伝送済みの最新フレームから符号化対象ブロックと
の差分が最小となるブロックを切り出し、両画像データ
間の差分を求める。以上の処理により、動き補償フレー
ム予測部１６は、１６×１６画素の範囲でフレーム間の
予測誤差を出力する。ＤＣＴ１７は、前記予測誤差を８
×８のブロック単位で直交変換して空間座標データを周
波数座標データに変換する。量子化部１８は、直交変換
した変換係数を直線量子化する。第１の可変長符号化部
１９は、量子化した変換係数をハフマン符号化する。第
２の可変長符号化部２０は、動き補償に用いた動きベク
トルをハフマン符号化する。多重化部２１は、第１の可
変長符号化部１９で符号化された予測誤差と第２の可変
長符号化部２０で符号化された動きベクトルを多重化し
て伝送フレームを構成し、後述の送信バッファ２７に出
力する。
６、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａ
ｎｓｆｏｒｍ）１７、量子化部１８、第１の可変長符号
化部１９、第２の可変長符号化部２０および多重化部２
１を備える。動き補償フレーム予測部１６は、１６×１
６画素からなるブロックを単位として処理を行う。動き
補償フレーム予測部１６は、伝送済みの最新フレームに
おいて、符号化対象フレーム内で符号化対象ブロックに
相当する位置から±１５画素の範囲で、符号化対象ブロ
ックとの差分が最小となるブロックを検索し、前記両ブ
ロック間の位置関係を表す動きベクトルを求める。ここ
で、符号化対象フレームとの差分をとるフレームを参照
フレームという。次いで、前記動きベクトルにもとづい
て、伝送済みの最新フレームから符号化対象ブロックと
の差分が最小となるブロックを切り出し、両画像データ
間の差分を求める。以上の処理により、動き補償フレー
ム予測部１６は、１６×１６画素の範囲でフレーム間の
予測誤差を出力する。ＤＣＴ１７は、前記予測誤差を８
×８のブロック単位で直交変換して空間座標データを周
波数座標データに変換する。量子化部１８は、直交変換
した変換係数を直線量子化する。第１の可変長符号化部
１９は、量子化した変換係数をハフマン符号化する。第
２の可変長符号化部２０は、動き補償に用いた動きベク
トルをハフマン符号化する。多重化部２１は、第１の可
変長符号化部１９で符号化された予測誤差と第２の可変
長符号化部２０で符号化された動きベクトルを多重化し
て伝送フレームを構成し、後述の送信バッファ２７に出
力する。
【０００９】図示しない復号装置は、フレームメモリを
備え、前記フレームメモリは、少なくとも２フレーム分
の画像データを記憶することができる記憶領域を備え
る。前記復号部は、符号化された予測誤差を逆量子化お
よび逆ＤＣＴ変換する。フレームメモリには、符号化済
み最新フレームが、すでに復号されて記憶されており、
これに復号された前記予測誤差、すなわち、逆量子化お
よび逆ＤＣＴ変換された前記予測誤差が加算されること
によって符号化中のフレームが復号される。
備え、前記フレームメモリは、少なくとも２フレーム分
の画像データを記憶することができる記憶領域を備え
る。前記復号部は、符号化された予測誤差を逆量子化お
よび逆ＤＣＴ変換する。フレームメモリには、符号化済
み最新フレームが、すでに復号されて記憶されており、
これに復号された前記予測誤差、すなわち、逆量子化お
よび逆ＤＣＴ変換された前記予測誤差が加算されること
によって符号化中のフレームが復号される。
【００１０】伝送制御装置７は、送信バッファ２７、再
送制御部２８、再送用バッファ２９を備える。伝送制御
装置７は、伝送路の伝送状態に応じた伝送制御を行な
う。送信バッファ２７は、先入れ先出しのバッファで、
多重化部２１から入力される伝送フレームを記憶し、順
次、伝送する。表示不能となったフレームの符号化デー
タは、フレーム単位で廃棄される。再送制御部２８は、
再送用バッファ２９に伝送中の符号化データを記憶して
おき、前記再送要求に応じてこれを再送する。再送制御
部２８は、たとえば、無線回線のようにフェージングに
よるバースト誤りが発生する場合には、誤り検出を行い
ＡＲＱ（自動再送制御）により再送する。受信側の表示
装置は、バースト誤りの発生を検出すると、送信側に再
送を要求する。伝送路２２は、伝送制御装置７からの前
記画像信号を伝送する。
送制御部２８、再送用バッファ２９を備える。伝送制御
装置７は、伝送路の伝送状態に応じた伝送制御を行な
う。送信バッファ２７は、先入れ先出しのバッファで、
多重化部２１から入力される伝送フレームを記憶し、順
次、伝送する。表示不能となったフレームの符号化デー
タは、フレーム単位で廃棄される。再送制御部２８は、
再送用バッファ２９に伝送中の符号化データを記憶して
おき、前記再送要求に応じてこれを再送する。再送制御
部２８は、たとえば、無線回線のようにフェージングに
よるバースト誤りが発生する場合には、誤り検出を行い
ＡＲＱ（自動再送制御）により再送する。受信側の表示
装置は、バースト誤りの発生を検出すると、送信側に再
送を要求する。伝送路２２は、伝送制御装置７からの前
記画像信号を伝送する。
【００１１】次に図２３のように構成された従来の画像
符号化装置の動作について図２４を用いて説明する。図
２４は、従来の画像符号化装置の動作を示すタイミング
チャートである。 図２４（ａ）は動画像を構成する各
フレームの画像データが前処理装置１５から符号化装置
６に入力されるタイミングを示す。ここでは、前記各フ
レームの画像データは毎秒３０枚の時間間隔で入力され
ている。図２４（ｂ）に示す矢印↑は画像サンプルのタ
イミングを示す。図２４（ｃ）は符号化に要する時間を
示す。符号化時間はフレーム間の予測誤差の画像データ
量に応じて変動する。図２４（ｄ）は各フレームの符号
化データの伝送に要する時間を示す。図２４（ｅ）は各
フレームの符号化データの復号時間を示す。図２４
（ｆ）は受信側の表示装置が復号された各フレームの画
像データを表示装置に表示するタイミングを示す。
符号化装置の動作について図２４を用いて説明する。図
２４は、従来の画像符号化装置の動作を示すタイミング
チャートである。 図２４（ａ）は動画像を構成する各
フレームの画像データが前処理装置１５から符号化装置
６に入力されるタイミングを示す。ここでは、前記各フ
レームの画像データは毎秒３０枚の時間間隔で入力され
ている。図２４（ｂ）に示す矢印↑は画像サンプルのタ
イミングを示す。図２４（ｃ）は符号化に要する時間を
示す。符号化時間はフレーム間の予測誤差の画像データ
量に応じて変動する。図２４（ｄ）は各フレームの符号
化データの伝送に要する時間を示す。図２４（ｅ）は各
フレームの符号化データの復号時間を示す。図２４
（ｆ）は受信側の表示装置が復号された各フレームの画
像データを表示装置に表示するタイミングを示す。
【００１２】最初に入力されるフレームなどは、伝送済
みのフレームがないため予測誤差を求めることができな
いので１フレーム分の画像データの情報量が大きい。伝
送済みのフレームから長時間経過後のフレームについて
も同様である。６４ｋｂｐｓ程度の低ビット伝送レート
の画像符号化伝送では、前述のような画像データを送信
しても１フレーム時間の間に前記１フレーム分の画像デ
ータを送信しきれない。ここで、１フレーム時間とは、
あるフレームから次のフレームまでの時間をいう。ま
た、１フレーム時間の間に伝送を完了するために、たと
えば量子化値を大きくするなどして、１フレーム分の画
像データ量を少なくすると、画質が低下し、画像として
大変見づらいものとなってしまう。
みのフレームがないため予測誤差を求めることができな
いので１フレーム分の画像データの情報量が大きい。伝
送済みのフレームから長時間経過後のフレームについて
も同様である。６４ｋｂｐｓ程度の低ビット伝送レート
の画像符号化伝送では、前述のような画像データを送信
しても１フレーム時間の間に前記１フレーム分の画像デ
ータを送信しきれない。ここで、１フレーム時間とは、
あるフレームから次のフレームまでの時間をいう。ま
た、１フレーム時間の間に伝送を完了するために、たと
えば量子化値を大きくするなどして、１フレーム分の画
像データ量を少なくすると、画質が低下し、画像として
大変見づらいものとなってしまう。
【００１３】このため、一般的には、入力されたフレー
ムをすべて画像サンプルすることは避け、入力されたフ
レームを一定間隔でとびとびに画像サンプルし、画像サ
ンプルされたフレームだけを符号化、伝送する。すなわ
ち、駒落しを行なう。これによって、受信側で表示され
る動画像の動きが多少はとびとびになるが、その分、伝
送データ量を増やすことができる。
ムをすべて画像サンプルすることは避け、入力されたフ
レームを一定間隔でとびとびに画像サンプルし、画像サ
ンプルされたフレームだけを符号化、伝送する。すなわ
ち、駒落しを行なう。これによって、受信側で表示され
る動画像の動きが多少はとびとびになるが、その分、伝
送データ量を増やすことができる。
【００１４】図２４（ｆ）に示す受信側の表示タイミン
グは、符号化装置が画像サンプルした時間から一定時間
Ｔ時間後である。この時間Ｔは、平滑化時間として、符
号化や復号の処理時間のばらつきや伝送時間の揺らぎに
よる遅延ジッタを吸収するためにもうけられる。遅延ジ
ッタとは、この場合、各フレームの画像データ量の差に
より対象フレームが画像サンプルされてから受信側の表
示装置に表示されるまでの時間にばらつきが生じること
をいう。これは、各フレームの画像データ量によって、
それぞれ符号化時間、伝送時間、復号時間が異なること
による。これをこのまま表示すると、たとえば、もとの
動画像で一定速度で移動するものが、表示画像ではある
時は速く、ある時は遅く移動するといったことが生じ
る。このため、前記遅延ジッタを吸収するための平滑化
時間Ｔが設けられており、画像サンプルされてからこの
平滑化時間Ｔまでに復号が完了したフレームはこの時間
まで保持された後に表示され、この時間までに復号でき
なかったフレームは廃棄される。図２４では、平滑化時
間Ｔは８フレーム時間とする。
グは、符号化装置が画像サンプルした時間から一定時間
Ｔ時間後である。この時間Ｔは、平滑化時間として、符
号化や復号の処理時間のばらつきや伝送時間の揺らぎに
よる遅延ジッタを吸収するためにもうけられる。遅延ジ
ッタとは、この場合、各フレームの画像データ量の差に
より対象フレームが画像サンプルされてから受信側の表
示装置に表示されるまでの時間にばらつきが生じること
をいう。これは、各フレームの画像データ量によって、
それぞれ符号化時間、伝送時間、復号時間が異なること
による。これをこのまま表示すると、たとえば、もとの
動画像で一定速度で移動するものが、表示画像ではある
時は速く、ある時は遅く移動するといったことが生じ
る。このため、前記遅延ジッタを吸収するための平滑化
時間Ｔが設けられており、画像サンプルされてからこの
平滑化時間Ｔまでに復号が完了したフレームはこの時間
まで保持された後に表示され、この時間までに復号でき
なかったフレームは廃棄される。図２４では、平滑化時
間Ｔは８フレーム時間とする。
【００１５】符号化、伝送および復号の各処理は、予め
定めるブロック単位で行われる。図２４（ａ）に示すよ
うに一定時間間隔で入力されるフレームのうち、図２４
（ｂ）に示すタイミングで画像サンプルされた符号化対
象フレームは、１６×１６画素からなるブロックに分割
される。ここにおいて、符号化制御部５は、後述の送信
バッファ２７内の空き記憶領域を検出する。送信バッフ
ァ２７内に空き領域がある場合には、図２４（ｃ）に示
すように前記ブロック毎に符号化が開始される。次い
で、符号化が完了したブロック毎に符号化データが順次
送信バッファ２７に記憶され、先入れ先出しで、図２４
（ｄ）に示すように符号化データの伝送が開始される。
ブロック毎に伝送された符号化データは、ブロック毎に
受信側の復号装置で復号される。それぞれ画像サンプル
された時点から平滑化時間Ｔ＝８フレーム時間後までに
受信側の復号装置で復号が完了したフレームは、それぞ
れ図２４（ｆ）に矢印↑で示す表示タイミングまで保持
された後、受信側の表示装置に表示される。図２４
（ｆ）に丸印で示すのは、この表示タイミングに表示す
ることができたフレームであり、×印で示すのは、この
表示タイミングに表示することができなかったフレーム
である。
定めるブロック単位で行われる。図２４（ａ）に示すよ
うに一定時間間隔で入力されるフレームのうち、図２４
（ｂ）に示すタイミングで画像サンプルされた符号化対
象フレームは、１６×１６画素からなるブロックに分割
される。ここにおいて、符号化制御部５は、後述の送信
バッファ２７内の空き記憶領域を検出する。送信バッフ
ァ２７内に空き領域がある場合には、図２４（ｃ）に示
すように前記ブロック毎に符号化が開始される。次い
で、符号化が完了したブロック毎に符号化データが順次
送信バッファ２７に記憶され、先入れ先出しで、図２４
（ｄ）に示すように符号化データの伝送が開始される。
ブロック毎に伝送された符号化データは、ブロック毎に
受信側の復号装置で復号される。それぞれ画像サンプル
された時点から平滑化時間Ｔ＝８フレーム時間後までに
受信側の復号装置で復号が完了したフレームは、それぞ
れ図２４（ｆ）に矢印↑で示す表示タイミングまで保持
された後、受信側の表示装置に表示される。図２４
（ｆ）に丸印で示すのは、この表示タイミングに表示す
ることができたフレームであり、×印で示すのは、この
表示タイミングに表示することができなかったフレーム
である。
【００１６】図２４（ｆ）に示すように、フレームナン
バー１、フレームナンバー４およびフレームナンバー１
６の画像はそれぞれ画像サンプルされた時点から平滑化
時間Ｔ＝８フレーム時間後に表示されるが、フレームナ
ンバー１０は画像サンプルから平滑化時間Ｔ＝８フレー
ム時間後に復号が完了しなかったため表示されない。前
述のＨ．２６１は、伝送速度６４ｋｂｐｓまでの比較的
低速での動作を可能としているので、ディジタル電話を
介してのテレビ電話・テレビ会議・その他のオーディオ
ビジュアルサービスに適しているという特徴がある。し
かし、ディジタルコードレス電話などの携帯用送信機を
用いて動画像を送信し、無線回線を介して受信側に伝送
する場合には、フェージングなどによる伝送エラーを避
け得ない。このような無線回線のフェージングによるバ
ーストエラーは、前記携帯用送信機の移動速度が歩行速
度以下の場合、３〜６フレーム時間に達する。
バー１、フレームナンバー４およびフレームナンバー１
６の画像はそれぞれ画像サンプルされた時点から平滑化
時間Ｔ＝８フレーム時間後に表示されるが、フレームナ
ンバー１０は画像サンプルから平滑化時間Ｔ＝８フレー
ム時間後に復号が完了しなかったため表示されない。前
述のＨ．２６１は、伝送速度６４ｋｂｐｓまでの比較的
低速での動作を可能としているので、ディジタル電話を
介してのテレビ電話・テレビ会議・その他のオーディオ
ビジュアルサービスに適しているという特徴がある。し
かし、ディジタルコードレス電話などの携帯用送信機を
用いて動画像を送信し、無線回線を介して受信側に伝送
する場合には、フェージングなどによる伝送エラーを避
け得ない。このような無線回線のフェージングによるバ
ーストエラーは、前記携帯用送信機の移動速度が歩行速
度以下の場合、３〜６フレーム時間に達する。
【００１７】図２４において、フレームナンバー１０の
画像はフレームナンバー１の画像と同様の予測誤差に対
応する画像データ量を有するものとする。すなわち、符
号化に２フレーム時間、最善の場合、すなわち伝送に支
障がなければ、伝送に３フレーム時間、復号に１フレー
ム時間を要するものとする。また、フレームナンバー１
０の伝送フレームを伝送中に前述のようなフェージング
によるバーストエラーが４フレーム時間に渡って発生し
たものとする。
画像はフレームナンバー１の画像と同様の予測誤差に対
応する画像データ量を有するものとする。すなわち、符
号化に２フレーム時間、最善の場合、すなわち伝送に支
障がなければ、伝送に３フレーム時間、復号に１フレー
ム時間を要するものとする。また、フレームナンバー１
０の伝送フレームを伝送中に前述のようなフェージング
によるバーストエラーが４フレーム時間に渡って発生し
たものとする。
【００１８】図２４（ｄ）に示すように、フレームナン
バー１０は、もともと３フレーム時間で伝送できる符号
化データのうち２フレーム時間分は伝送エラーが発生す
る前に伝送されているため、あと１フレーム時間の伝送
時間と１フレーム時間の復号時間の合計２フレーム時間
前までに伝送エラーがなくなれば、受信側の表示装置で
表示することができる。すなわち、フレームナンバー１
６の画像データが入力される時点までは表示できる可能
性があるため、伝送制御装置７はフレームナンバー１６
の画像データが入力される時点まで伝送を続ける。
バー１０は、もともと３フレーム時間で伝送できる符号
化データのうち２フレーム時間分は伝送エラーが発生す
る前に伝送されているため、あと１フレーム時間の伝送
時間と１フレーム時間の復号時間の合計２フレーム時間
前までに伝送エラーがなくなれば、受信側の表示装置で
表示することができる。すなわち、フレームナンバー１
６の画像データが入力される時点までは表示できる可能
性があるため、伝送制御装置７はフレームナンバー１６
の画像データが入力される時点まで伝送を続ける。
【００１９】フレームナンバー１０の伝送を開始した
後、送信バッファ２７内に記憶されている符号化データ
は、フレームナンバー１０以後のフレームであって、フ
レームナンバー１０を参照フレームとして符号化された
フレームまたはさらに前記フレームを参照フレームとし
て符号化されたフレームであるので、フレームナンバー
１０の画像を表示できないことが判断された時点で、廃
棄される。同時に、フレームナンバー１０の未送信デー
タも、廃棄される。
後、送信バッファ２７内に記憶されている符号化データ
は、フレームナンバー１０以後のフレームであって、フ
レームナンバー１０を参照フレームとして符号化された
フレームまたはさらに前記フレームを参照フレームとし
て符号化されたフレームであるので、フレームナンバー
１０の画像を表示できないことが判断された時点で、廃
棄される。同時に、フレームナンバー１０の未送信デー
タも、廃棄される。
【００２０】
【発明が解決しようとする課題】しかしながら、伝送エ
ラーのためにフレームナンバー１０の画像を表示できな
いことが判断された時点で、符号化を開始することがで
きるのはフレームナンバー１６の画像データとなる。ま
た、従来の画像符号化装置には、伝送済み最新フレーム
を格納するメモリは備えられていないので、フレームナ
ンバー１６はフレーム内符号化される。フレーム内符号
化とは、直前のフレームとの予測誤差を求めず、１フレ
ーム分の画像データをそのまま符号化することをいう。
このフレームナンバー１６の画像が受信側の表示装置で
表示されるのは、さらに平滑化時間Ｔ＝８フレーム時間
後となる。
ラーのためにフレームナンバー１０の画像を表示できな
いことが判断された時点で、符号化を開始することがで
きるのはフレームナンバー１６の画像データとなる。ま
た、従来の画像符号化装置には、伝送済み最新フレーム
を格納するメモリは備えられていないので、フレームナ
ンバー１６はフレーム内符号化される。フレーム内符号
化とは、直前のフレームとの予測誤差を求めず、１フレ
ーム分の画像データをそのまま符号化することをいう。
このフレームナンバー１６の画像が受信側の表示装置で
表示されるのは、さらに平滑化時間Ｔ＝８フレーム時間
後となる。
【００２１】従って、このような従来の画像符号化装置
では、４フレーム時間の伝送エラーのために受信側の表
示装置ではフレームナンバー４の画像を表示してからフ
レームナンバー１６の画像が表示されるまで実に１２フ
レームにわたる駒落としが発生するという点が問題とな
る。このように駒落としが多くなると、表示される動画
像の動きがとびとびになり、極端な例では、表示画像中
の人物が急に現れたり、急にいなくなったりするような
ことも起こり得る。このようなことが起こると、表示画
像の不自然な動きが目立つようになり、不都合である。
では、４フレーム時間の伝送エラーのために受信側の表
示装置ではフレームナンバー４の画像を表示してからフ
レームナンバー１６の画像が表示されるまで実に１２フ
レームにわたる駒落としが発生するという点が問題とな
る。このように駒落としが多くなると、表示される動画
像の動きがとびとびになり、極端な例では、表示画像中
の人物が急に現れたり、急にいなくなったりするような
ことも起こり得る。このようなことが起こると、表示画
像の不自然な動きが目立つようになり、不都合である。
【００２２】また、前述のようにバーストエラー後のフ
レームをフレーム内符号化すると伝送フレームの発生情
報量が大きくなる。この結果、伝送フレームの伝送時間
が大きくなり、前記伝送フレームの伝送後に、また新た
な駒落としを発生することになる。一方、前述のような
不都合を解消するために、平滑化時間Ｔを大きくする
と、伝送遅延時間のゆとりが増え、表示に間に合わない
フレームは減少する。しかし、実際に入力される動画像
と表示される動画像との時間遅れが増大し、特にテレビ
会議やテレビ電話のように双方向で画像通信を行うシス
テムでは会話のリズムが阻害され、非常に使いづらいも
のとなってしまう。
レームをフレーム内符号化すると伝送フレームの発生情
報量が大きくなる。この結果、伝送フレームの伝送時間
が大きくなり、前記伝送フレームの伝送後に、また新た
な駒落としを発生することになる。一方、前述のような
不都合を解消するために、平滑化時間Ｔを大きくする
と、伝送遅延時間のゆとりが増え、表示に間に合わない
フレームは減少する。しかし、実際に入力される動画像
と表示される動画像との時間遅れが増大し、特にテレビ
会議やテレビ電話のように双方向で画像通信を行うシス
テムでは会話のリズムが阻害され、非常に使いづらいも
のとなってしまう。
【００２３】本発明は上記の点に鑑み、順次、入力され
る画像データを画像サンプルしてから受信側の表示装置
で表示するまでの平滑化時間を延長することなく、伝送
エラーなどにより、伝送中のフレームを受信側で表示す
べき時点で表示することができなくなった場合の駒落し
を低減することができる画像符号化装置の提供を目的と
している。
る画像データを画像サンプルしてから受信側の表示装置
で表示するまでの平滑化時間を延長することなく、伝送
エラーなどにより、伝送中のフレームを受信側で表示す
べき時点で表示することができなくなった場合の駒落し
を低減することができる画像符号化装置の提供を目的と
している。
【００２４】また、本発明は上記の点に鑑み、画像サン
プルしてから平滑化時間後に受信側の表示装置に表示す
ることができるフレームであって、駒落としを最小限と
することができるフレームを検出する際の演算数を少な
くすることによって、前記フレームを検出することによ
る画像符号化装置全体の処理速度の低下を抑え、またこ
れによる消費電力の増加を低く抑えることができる画像
符号化装置の提供を目的としている。
プルしてから平滑化時間後に受信側の表示装置に表示す
ることができるフレームであって、駒落としを最小限と
することができるフレームを検出する際の演算数を少な
くすることによって、前記フレームを検出することによ
る画像符号化装置全体の処理速度の低下を抑え、またこ
れによる消費電力の増加を低く抑えることができる画像
符号化装置の提供を目的としている。
【００２５】
【問題を解決するための手段】上記目的を達成するた
め、請求項１記載の本発明は、動画像を構成するフレー
ムの予測符号化を行うとともに、予測誤差の画像データ
量によって生じる符号化時間のばらつき、伝送時間のば
らつきおよび復号時間のばらつきを平滑化するために予
め定める平滑化時間を設け、それぞれの画像サンプルか
ら始まる前記平滑化時間が終了する時点で、各フレーム
を受信側の表示装置に表示させる画像符号化装置であっ
て、少なくとも１フレーム分の画像データを記憶する記
憶領域を備え、予め定める時間間隔で入力される１フレ
ーム分の画像データを、ｍフレーム毎（ｍは予め定める
自然数）に画像サンプルして前記記憶領域に記憶する画
像記憶手段と、伝送済み最新フレームを記憶する伝送済
み最新フレーム記憶手段と、入力された各フレームの画
像データを予測符号化する符号化手段と、前記符号化手
段によって符号化された符号化データを、受信側と連絡
を取りながら伝送路を介して受信側に伝送する伝送手段
と、予め定める時間毎に、伝送中のフレームの表示の可
否を、現時点からそのフレームの画像を表示すべき時点
までの残り時間とそのフレームの未送信符号量とそのフ
レームの復号時間とに基づいて判断する第１の判断手段
と、前記画像記憶手段に記憶されている各フレームにつ
いて、そのフレームの表示の可否を、現時点からそのフ
レームの画像を表示すべき時点までの残り時間とそのフ
レームの伝送時間とそのフレームの復号時間とに基づい
て判断する第２の判断手段と、前記第１の判断手段が伝
送中のフレームを表示不能と判断した場合、前記記憶領
域に記憶されている画像データを読み出して前記第２の
判断手段に転送し、前記第２の判断手段が前記フレーム
を表示可能と判断した場合、前記フレームの画像データ
を前記符号化手段に出力するよう前記画像記憶手段を制
御するとともに、伝送済み最新フレームを読み出して前
記符号化手段に参照フレームとして入力するよう前記伝
送済み最新フレーム記憶手段を制御する制御手段とを含
む。
め、請求項１記載の本発明は、動画像を構成するフレー
ムの予測符号化を行うとともに、予測誤差の画像データ
量によって生じる符号化時間のばらつき、伝送時間のば
らつきおよび復号時間のばらつきを平滑化するために予
め定める平滑化時間を設け、それぞれの画像サンプルか
ら始まる前記平滑化時間が終了する時点で、各フレーム
を受信側の表示装置に表示させる画像符号化装置であっ
て、少なくとも１フレーム分の画像データを記憶する記
憶領域を備え、予め定める時間間隔で入力される１フレ
ーム分の画像データを、ｍフレーム毎（ｍは予め定める
自然数）に画像サンプルして前記記憶領域に記憶する画
像記憶手段と、伝送済み最新フレームを記憶する伝送済
み最新フレーム記憶手段と、入力された各フレームの画
像データを予測符号化する符号化手段と、前記符号化手
段によって符号化された符号化データを、受信側と連絡
を取りながら伝送路を介して受信側に伝送する伝送手段
と、予め定める時間毎に、伝送中のフレームの表示の可
否を、現時点からそのフレームの画像を表示すべき時点
までの残り時間とそのフレームの未送信符号量とそのフ
レームの復号時間とに基づいて判断する第１の判断手段
と、前記画像記憶手段に記憶されている各フレームにつ
いて、そのフレームの表示の可否を、現時点からそのフ
レームの画像を表示すべき時点までの残り時間とそのフ
レームの伝送時間とそのフレームの復号時間とに基づい
て判断する第２の判断手段と、前記第１の判断手段が伝
送中のフレームを表示不能と判断した場合、前記記憶領
域に記憶されている画像データを読み出して前記第２の
判断手段に転送し、前記第２の判断手段が前記フレーム
を表示可能と判断した場合、前記フレームの画像データ
を前記符号化手段に出力するよう前記画像記憶手段を制
御するとともに、伝送済み最新フレームを読み出して前
記符号化手段に参照フレームとして入力するよう前記伝
送済み最新フレーム記憶手段を制御する制御手段とを含
む。
【００２６】請求項２記載の本発明は、請求項１記載の
画像符号化装置において、前記画像記憶手段は、それぞ
れ１フレーム分の画像データを記憶する記憶領域を備え
る第１から第ｎ（ｎは自然数）の画像メモリと、入力さ
れる画像データを１フレームずつそれぞれのフレームナ
ンバーに対応づけて前記画像メモリに順次、書き込む書
き込み制御手段とを含み、前記制御手段は、前記第１の
判断手段が伝送中のフレームを表示不能と判断した場
合、前記第１から第ｎの画像メモリに記憶されている画
像データをフレームナンバーの小さいものから順次読み
出して前記第２の判断手段に転送し、前記第２の判断手
段が前記フレームを表示可能と判断した場合、前記フレ
ームの画像データを前記第１から第ｎの画像メモリから
読み出して前記符号化手段に出力するよう前記画像記憶
手段を制御する。
画像符号化装置において、前記画像記憶手段は、それぞ
れ１フレーム分の画像データを記憶する記憶領域を備え
る第１から第ｎ（ｎは自然数）の画像メモリと、入力さ
れる画像データを１フレームずつそれぞれのフレームナ
ンバーに対応づけて前記画像メモリに順次、書き込む書
き込み制御手段とを含み、前記制御手段は、前記第１の
判断手段が伝送中のフレームを表示不能と判断した場
合、前記第１から第ｎの画像メモリに記憶されている画
像データをフレームナンバーの小さいものから順次読み
出して前記第２の判断手段に転送し、前記第２の判断手
段が前記フレームを表示可能と判断した場合、前記フレ
ームの画像データを前記第１から第ｎの画像メモリから
読み出して前記符号化手段に出力するよう前記画像記憶
手段を制御する。
【００２７】請求項３記載の本発明は、請求項２記載の
画像符号化装置において、前記伝送手段は、前記符号化
手段から出力された符号化データを記憶する送信バッフ
ァと、前記送信バッファに記憶された符号化データを先
入れ先出しで伝送路に出力し、伝送路に出力した符号化
データについて、受信側からの送達確認が取れた場合は
次の符号化データを伝送路に出力し、送達確認が取れな
い場合は再送するよう前記送信バッファおよび伝送路を
制御する伝送制御手段とを含み、前記第１の判断手段
は、伝送中のフレームの前記送信バッファ内の未送信符
号量を検出する未送信符号量検出手段と、前記未送信符
号量検出手段によって検出された未送信符号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する第１の伝送時間算出手段
と、前記符号化手段によって符号化されたフレームの発
生符号量を検出して記憶し、 （そのフレームの復号時間）＝（発生符号量）／（予め
定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する第１の復号時間算出手段と、現時点から伝送中の
フレームの画像を受信側の表示装置に表示すべき時点ま
での残り時間を検出する第１の残り時間検出手段と、前
記復号時間と前記伝送時間との和と前記残り時間とを比
較する第１の比較手段とを含み、前記第２の判断手段
は、前記画像記憶手段に記憶されているフレームについ
て、前記フレームの画像データを符号化した際に発生す
る符号量を予測する符号量予測手段と、前記符号量予測
手段によって予測された符号量から、 （そのフレームの伝送時間）＝（そのフレームの予測符
号量）／（予め定める伝送速度） 前記計算式に基づいて、画像記憶手段に記憶されている
フレームの伝送時間を算出する第２の伝送時間算出手段
と、前記符号量予測手段によって予測された予測符号量
から、 （そのフレームの符号化時間）＝（そのフレームの予測
符号量）／（予め定める符号化速度） 前記計算式に基づき、前記画像記憶手段に記憶されてい
るフレームの符号化時間を算出する符号化時間算出手段
と、前記符号量予測手段によって予測された予測符号量
から、 （そのフレームの復号時間）＝（そのフレームの予測符
号量）／（予め定める復号速度） 前記計算式に基づき、前記画像記憶手段に記憶されてい
るフレームの復号時間を算出する第２の復号時間算出手
段と、前記画像記憶手段に記憶されているフレームにつ
いて、現時点から前記フレームの画像を受信側の表示装
置に表示すべき時点までの残り時間を検出する第２の残
り時間検出手段と、前記符号化時間と前記復号時間と前
記伝送時間との和と前記残り時間とを比較する第２の比
較手段とを含み、前記第１の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断し、前記第２の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの符号化時間）＋（そのフレーム
の伝送時間）＋（そのフレームの復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断する。
画像符号化装置において、前記伝送手段は、前記符号化
手段から出力された符号化データを記憶する送信バッフ
ァと、前記送信バッファに記憶された符号化データを先
入れ先出しで伝送路に出力し、伝送路に出力した符号化
データについて、受信側からの送達確認が取れた場合は
次の符号化データを伝送路に出力し、送達確認が取れな
い場合は再送するよう前記送信バッファおよび伝送路を
制御する伝送制御手段とを含み、前記第１の判断手段
は、伝送中のフレームの前記送信バッファ内の未送信符
号量を検出する未送信符号量検出手段と、前記未送信符
号量検出手段によって検出された未送信符号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する第１の伝送時間算出手段
と、前記符号化手段によって符号化されたフレームの発
生符号量を検出して記憶し、 （そのフレームの復号時間）＝（発生符号量）／（予め
定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する第１の復号時間算出手段と、現時点から伝送中の
フレームの画像を受信側の表示装置に表示すべき時点ま
での残り時間を検出する第１の残り時間検出手段と、前
記復号時間と前記伝送時間との和と前記残り時間とを比
較する第１の比較手段とを含み、前記第２の判断手段
は、前記画像記憶手段に記憶されているフレームについ
て、前記フレームの画像データを符号化した際に発生す
る符号量を予測する符号量予測手段と、前記符号量予測
手段によって予測された符号量から、 （そのフレームの伝送時間）＝（そのフレームの予測符
号量）／（予め定める伝送速度） 前記計算式に基づいて、画像記憶手段に記憶されている
フレームの伝送時間を算出する第２の伝送時間算出手段
と、前記符号量予測手段によって予測された予測符号量
から、 （そのフレームの符号化時間）＝（そのフレームの予測
符号量）／（予め定める符号化速度） 前記計算式に基づき、前記画像記憶手段に記憶されてい
るフレームの符号化時間を算出する符号化時間算出手段
と、前記符号量予測手段によって予測された予測符号量
から、 （そのフレームの復号時間）＝（そのフレームの予測符
号量）／（予め定める復号速度） 前記計算式に基づき、前記画像記憶手段に記憶されてい
るフレームの復号時間を算出する第２の復号時間算出手
段と、前記画像記憶手段に記憶されているフレームにつ
いて、現時点から前記フレームの画像を受信側の表示装
置に表示すべき時点までの残り時間を検出する第２の残
り時間検出手段と、前記符号化時間と前記復号時間と前
記伝送時間との和と前記残り時間とを比較する第２の比
較手段とを含み、前記第１の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断し、前記第２の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの符号化時間）＋（そのフレーム
の伝送時間）＋（そのフレームの復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断する。
【００２８】請求項４記載の本発明は、請求項３記載の
画像符号化装置において、前記第１の残り時間検出手段
および第２の残り時間検出手段は、予め定める平滑化時
間を出力する初期値出力部と、予め定める経過時間ごと
に信号を出力するタイマーと、２入力１出力のセレクタ
であって、前記２入力のうち１入力に前記初期値出力部
から出力される平滑化時間を入力し、前記制御手段から
の選択信号により、前記２入力のうちから１入力を選択
して出力する第１のセレクタと、前記タイマーからの信
号を検出する毎に、前記第１のセレクタの出力から前記
経過時間を減算し、前記第１の比較手段に出力する経過
時間減算部と、ｎ個の加算部を備え、それぞれ第ｋ（ｋ
は１からｎまでの自然数）の加算部は前記経過時間減算
部の出力にそれぞれｋ×（前記経過時間）を加算する第
１から第ｎまでの加算部と、前記制御手段からの選択信
号により、前記第１から第ｎまでの加算部の出力のうち
から１信号を選択して前記第２の比較手段および第１の
セレクタに出力する第２のセレクタとを含み、前記制御
手段は、動作開始時には、第１のセレクタに前記２入力
のうちから前記初期値出力部の出力を選択する選択信号
を出力し、前記第２の判断手段が判断を開始する毎に、
前記第２のセレクタに前記第１から第ｎまでの加算部の
出力を順次選択する選択信号を出力し、前記第２の判断
手段が最初に表示可能と判断したときには、前記第１の
セレクタに、そのときの前記第２のセレクタの出力を選
択する選択信号を出力する。
画像符号化装置において、前記第１の残り時間検出手段
および第２の残り時間検出手段は、予め定める平滑化時
間を出力する初期値出力部と、予め定める経過時間ごと
に信号を出力するタイマーと、２入力１出力のセレクタ
であって、前記２入力のうち１入力に前記初期値出力部
から出力される平滑化時間を入力し、前記制御手段から
の選択信号により、前記２入力のうちから１入力を選択
して出力する第１のセレクタと、前記タイマーからの信
号を検出する毎に、前記第１のセレクタの出力から前記
経過時間を減算し、前記第１の比較手段に出力する経過
時間減算部と、ｎ個の加算部を備え、それぞれ第ｋ（ｋ
は１からｎまでの自然数）の加算部は前記経過時間減算
部の出力にそれぞれｋ×（前記経過時間）を加算する第
１から第ｎまでの加算部と、前記制御手段からの選択信
号により、前記第１から第ｎまでの加算部の出力のうち
から１信号を選択して前記第２の比較手段および第１の
セレクタに出力する第２のセレクタとを含み、前記制御
手段は、動作開始時には、第１のセレクタに前記２入力
のうちから前記初期値出力部の出力を選択する選択信号
を出力し、前記第２の判断手段が判断を開始する毎に、
前記第２のセレクタに前記第１から第ｎまでの加算部の
出力を順次選択する選択信号を出力し、前記第２の判断
手段が最初に表示可能と判断したときには、前記第１の
セレクタに、そのときの前記第２のセレクタの出力を選
択する選択信号を出力する。
【００２９】請求項５記載の本発明は、請求項３記載の
画像符号化装置において、前記符号量予測手段は、符号
量予測対象フレームの中の１ブロックの画像データと伝
送済み最新フレームの中で前記ブロックと同一位置に相
当するブロックの復号データとの単純な差分値を求める
ことによって、前記符号量予測対象フレームのフレーム
間差分値を検出するフレーム間差分値検出部と、前記フ
レーム間差分値検出部からのフレーム間差分値を直交変
換する直交変換部と、前記直交変換部による直交変換の
結果、すべての直交変換係数が予め定めるしきい値に満
たないブロックを無効ブロックと判断し、前記符号量予
測対象フレームの無効ブロック数を検出する無効ブロッ
ク検出部と、前記無効ブロック数検出部によって検出さ
れた無効ブロック数から、有効ブロック数を求め、 （有効ブロック数）＝（総ブロック数）−（無効ブロッ
ク数） （発生符号量）＝（直前に符号化されたフレームの有効
ブロック数に対する発生符号量）×（有効ブロック数） 前記計算式に基づき、符号量予測対象フレームを符号化
した際に発生する符号量を算出する符号量算出部とを含
む。
画像符号化装置において、前記符号量予測手段は、符号
量予測対象フレームの中の１ブロックの画像データと伝
送済み最新フレームの中で前記ブロックと同一位置に相
当するブロックの復号データとの単純な差分値を求める
ことによって、前記符号量予測対象フレームのフレーム
間差分値を検出するフレーム間差分値検出部と、前記フ
レーム間差分値検出部からのフレーム間差分値を直交変
換する直交変換部と、前記直交変換部による直交変換の
結果、すべての直交変換係数が予め定めるしきい値に満
たないブロックを無効ブロックと判断し、前記符号量予
測対象フレームの無効ブロック数を検出する無効ブロッ
ク検出部と、前記無効ブロック数検出部によって検出さ
れた無効ブロック数から、有効ブロック数を求め、 （有効ブロック数）＝（総ブロック数）−（無効ブロッ
ク数） （発生符号量）＝（直前に符号化されたフレームの有効
ブロック数に対する発生符号量）×（有効ブロック数） 前記計算式に基づき、符号量予測対象フレームを符号化
した際に発生する符号量を算出する符号量算出部とを含
む。
【００３０】請求項６記載の本発明は、請求項３記載の
画像符号化装置において、前記符号量予測手段は、前記
画像記憶手段に記憶されているフレームのうち最新フレ
ームのフレームナンバーを記憶する最新フレームナンバ
ー記憶部と、前記第１の判断手段が伝送中のフレームの
表示不能を判断した時点で、前記符号化手段に前記最新
フレームナンバー記憶手段に記憶されているフレームナ
ンバーの画像データを伝送済み最新フレームを参照フレ
ームとして符号化しその発生符号量を検出するよう指示
し、前記発生符号量が前記第２の判断手段の判断対象フ
レームの発生符号量となるものと予測する符号量予測制
御部を含む。
画像符号化装置において、前記符号量予測手段は、前記
画像記憶手段に記憶されているフレームのうち最新フレ
ームのフレームナンバーを記憶する最新フレームナンバ
ー記憶部と、前記第１の判断手段が伝送中のフレームの
表示不能を判断した時点で、前記符号化手段に前記最新
フレームナンバー記憶手段に記憶されているフレームナ
ンバーの画像データを伝送済み最新フレームを参照フレ
ームとして符号化しその発生符号量を検出するよう指示
し、前記発生符号量が前記第２の判断手段の判断対象フ
レームの発生符号量となるものと予測する符号量予測制
御部を含む。
【００３１】請求項７記載の本発明は、動画像を構成す
るフレームの予測符号化を行うとともに、予測誤差の画
像データ量によって生じる符号化時間のばらつき、伝送
時間のばらつきおよび復号時間のばらつきを平滑化する
ために予め定める平滑化時間を設け、それぞれの画像サ
ンプルから始まる前記平滑化時間が終了する時点で、各
フレームを受信側の表示装置に表示させる画像符号化装
置であって、少なくとも１フレーム分の画像データを記
憶する記憶容量を備え、予め定めるフレームを記憶する
参照フレーム記憶手段と、入力されたフレームの画像デ
ータを予め定めるフレーム間隔で画像サンプルし、画像
サンプルした前記画像データを前記参照フレーム記憶手
段に記憶されている伝送済み最新フレームから現在伝送
中のフレームまでの少なくとも予め定める１フレームを
参照フレームとして予測符号化する符号化手段と、少な
くとも１フレーム分の符号化データを記憶する記憶領域
を備え、前記符号化手段によって符号化された符号化デ
ータを、予測符号化の参照フレームとされたフレームと
対応付けて記憶する符号化データ記憶手段と、前記符号
化手段によって符号化された符号化データを、伝送路を
介して受信側に伝送する伝送手段と、予め定める時間毎
に、伝送中のフレームの表示の可否を、現時点からその
フレームの画像を表示すべき時点までの残り時間とその
フレームの伝送時間とそのフレームの復号時間とに基づ
いて判断する第１の判断手段と、前記符号化データ記憶
手段に記憶されている各フレームについて、そのフレー
ムの表示の可否を、現時点からそのフレームの画像を表
示すべき時点までの残り時間とそのフレームの伝送時間
とそのフレームの復号時間とに基づいて判断する第２の
判断手段と、前記第１の判断手段が伝送中のフレームを
表示不能と判断した場合、前記記憶領域に記憶されてい
る符号化データのうち、予め定めるフレームを参照フレ
ームとする符号化データを読みだして前記第２の判断手
段に転送し、前記第２の判断手段が前記フレームを表示
可能と判断した場合、前記フレームの符号化データを前
記記憶領域から読み出して前記伝送手段に出力するよう
前記符号化データ記憶手段を制御する制御手段とを含
む。
るフレームの予測符号化を行うとともに、予測誤差の画
像データ量によって生じる符号化時間のばらつき、伝送
時間のばらつきおよび復号時間のばらつきを平滑化する
ために予め定める平滑化時間を設け、それぞれの画像サ
ンプルから始まる前記平滑化時間が終了する時点で、各
フレームを受信側の表示装置に表示させる画像符号化装
置であって、少なくとも１フレーム分の画像データを記
憶する記憶容量を備え、予め定めるフレームを記憶する
参照フレーム記憶手段と、入力されたフレームの画像デ
ータを予め定めるフレーム間隔で画像サンプルし、画像
サンプルした前記画像データを前記参照フレーム記憶手
段に記憶されている伝送済み最新フレームから現在伝送
中のフレームまでの少なくとも予め定める１フレームを
参照フレームとして予測符号化する符号化手段と、少な
くとも１フレーム分の符号化データを記憶する記憶領域
を備え、前記符号化手段によって符号化された符号化デ
ータを、予測符号化の参照フレームとされたフレームと
対応付けて記憶する符号化データ記憶手段と、前記符号
化手段によって符号化された符号化データを、伝送路を
介して受信側に伝送する伝送手段と、予め定める時間毎
に、伝送中のフレームの表示の可否を、現時点からその
フレームの画像を表示すべき時点までの残り時間とその
フレームの伝送時間とそのフレームの復号時間とに基づ
いて判断する第１の判断手段と、前記符号化データ記憶
手段に記憶されている各フレームについて、そのフレー
ムの表示の可否を、現時点からそのフレームの画像を表
示すべき時点までの残り時間とそのフレームの伝送時間
とそのフレームの復号時間とに基づいて判断する第２の
判断手段と、前記第１の判断手段が伝送中のフレームを
表示不能と判断した場合、前記記憶領域に記憶されてい
る符号化データのうち、予め定めるフレームを参照フレ
ームとする符号化データを読みだして前記第２の判断手
段に転送し、前記第２の判断手段が前記フレームを表示
可能と判断した場合、前記フレームの符号化データを前
記記憶領域から読み出して前記伝送手段に出力するよう
前記符号化データ記憶手段を制御する制御手段とを含
む。
【００３２】請求項８記載の本発明は、請求項７記載の
画像符号化装置において、前記符号化データ記憶手段
は、それぞれ各フレームの符号化データを記憶する記憶
領域を備えるｎ（ｎは自然数）個の符号化データメモリ
と、前記符号化手段から入力される符号化データを、そ
れぞれのフレームナンバーとその符号化データの参照フ
レームとされたフレームのフレームナンバーとに対応づ
けて前記符号化データメモリに順次、書き込む書き込み
制御手段とを含み、前記制御手段は、前記第１の判断手
段が伝送中のフレームを表示不能と判断した場合、前記
符号化データメモリに記憶されている符号化データをフ
レームナンバーの小さいものから順次読み出して前記第
２の判断手段に転送し、前記第２の判断手段が前記フレ
ームを表示可能と判断した場合、表示可能と判断された
前記フレームの符号化データのうち予め定めるフレーム
を参照フレームとする符号化データを前記ｎ個の符号化
データメモリから読み出して前記伝送手段に出力するよ
う前記符号化データ記憶手段を制御する。
画像符号化装置において、前記符号化データ記憶手段
は、それぞれ各フレームの符号化データを記憶する記憶
領域を備えるｎ（ｎは自然数）個の符号化データメモリ
と、前記符号化手段から入力される符号化データを、そ
れぞれのフレームナンバーとその符号化データの参照フ
レームとされたフレームのフレームナンバーとに対応づ
けて前記符号化データメモリに順次、書き込む書き込み
制御手段とを含み、前記制御手段は、前記第１の判断手
段が伝送中のフレームを表示不能と判断した場合、前記
符号化データメモリに記憶されている符号化データをフ
レームナンバーの小さいものから順次読み出して前記第
２の判断手段に転送し、前記第２の判断手段が前記フレ
ームを表示可能と判断した場合、表示可能と判断された
前記フレームの符号化データのうち予め定めるフレーム
を参照フレームとする符号化データを前記ｎ個の符号化
データメモリから読み出して前記伝送手段に出力するよ
う前記符号化データ記憶手段を制御する。
【００３３】請求項９記載の本発明は、請求項８記載の
画像符号化装置において、前記伝送手段は、前記符号化
手段から出力された符号化データを記憶する送信バッフ
ァと、前記送信バッファに記憶された符号化データを先
入れ先出しで伝送路に出力し、伝送路に出力した符号化
データについて、受信側からの送達確認が取れた場合は
次の符号化データを伝送路に出力し、送達確認が取れな
い場合は再送するよう前記送信バッファおよび伝送路を
制御する伝送制御手段とを含み、前記第１の判断手段
は、伝送中のフレームの前記送信バッファ内の未送信符
号量を検出する未送信符号量検出手段と、前記未送信符
号量検出手段によって検出された未送信符号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する第１の伝送時間算出手段
と、前記符号化手段によって符号化されたフレームの発
生符号量を検出して記憶し、 （そのフレームの復号時間）＝（発生符号量）／（予め
定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する第１の復号時間算出手段と、現時点から伝送中の
フレームの画像を受信側の表示装置に表示すべき時点ま
での残り時間を検出する第１の残り時間検出手段と、前
記復号時間と前記伝送時間との和と前記残り時間とを比
較する第１の比較手段とを含み、前記第２の判断手段
は、前記符号化データ記憶手段に記憶されている符号化
データの符号量を検出する符号量検出手段と、前記符号
量検出手段によって検出された符号量から、 （そのフレームの伝送時間）＝（そのフレームの符号
量）／（予め定める伝送速度） 前記計算式に基づいて、符号化データ記憶手段に記憶さ
れているフレームの伝送時間を算出する第２の伝送時間
算出手段と、前記符号量検出手段によって検出された符
号量から、 （そのフレームの復号時間）＝（そのフレームの符号
量）／（予め定める復号速度） 前記計算式に基づき、前記符号化データ記憶手段に記憶
されているフレームの復号時間を算出する第２の復号時
間算出手段と、前記符号化データ記憶手段に記憶されて
いる符号化データについて、現時点から前記符号化デー
タのフレームの画像を受信側の表示装置に表示すべき時
点までの残り時間を検出する第２の残り時間検出手段
と、前記復号時間と前記伝送時間との和と前記残り時間
とを比較する第２の比較手段とを含み、前記第１の判断
手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断し、前記第２の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの伝送時間）＋（そのフレームの
復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断する。請求項１０記載の本発明は、請求項９記載
の画像符号化装置において、前記第１の残り時間検出手
段および前記第２の残り時間検出手段は、予め定める平
滑化時間を出力する初期値出力部と、予め定める経過時
間ごとに信号を出力するタイマーと、２入力１出力のセ
レクタであって、前記２入力のうち１入力に前記初期値
出力部から出力される平滑化時間を入力し、前記制御手
段からの選択信号により、前記２入力のうちから１入力
を選択して出力する第１のセレクタと、前記タイマーか
らの信号を検出する毎に、前記第１のセレクタの出力か
ら前記経過時間を減算し、前記第１の比較手段に出力す
る経過時間減算部と、ｎ個の加算部を備え、それぞれ第
ｋ（ｋは１からｎまでの自然数）の加算部は前記経過時
間減算部の出力にそれぞれｋ×（前記経過時間）を加算
する第１から第ｎまでの加算部と、前記制御手段からの
選択信号により、前記第１から第ｎまでの加算部の出力
のうちから１信号を選択して前記第２の比較手段および
第１のセレクタに出力する第２のセレクタとを含み、前
記制御手段は、動作開始時には、第１のセレクタに前記
２入力のうちから前記初期値出力部の出力を選択する選
択信号を出力し、前記第２の判断手段が判断を開始する
毎に、前記第２のセレクタに前記第１から第ｎまでの加
算部の出力を順次選択する選択信号を出力し、前記第２
の判断手段が最初に表示可能と判断したときには、前記
第１のセレクタに、そのときの前記第２のセレクタの出
力を選択する選択信号を出力する。
画像符号化装置において、前記伝送手段は、前記符号化
手段から出力された符号化データを記憶する送信バッフ
ァと、前記送信バッファに記憶された符号化データを先
入れ先出しで伝送路に出力し、伝送路に出力した符号化
データについて、受信側からの送達確認が取れた場合は
次の符号化データを伝送路に出力し、送達確認が取れな
い場合は再送するよう前記送信バッファおよび伝送路を
制御する伝送制御手段とを含み、前記第１の判断手段
は、伝送中のフレームの前記送信バッファ内の未送信符
号量を検出する未送信符号量検出手段と、前記未送信符
号量検出手段によって検出された未送信符号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する第１の伝送時間算出手段
と、前記符号化手段によって符号化されたフレームの発
生符号量を検出して記憶し、 （そのフレームの復号時間）＝（発生符号量）／（予め
定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する第１の復号時間算出手段と、現時点から伝送中の
フレームの画像を受信側の表示装置に表示すべき時点ま
での残り時間を検出する第１の残り時間検出手段と、前
記復号時間と前記伝送時間との和と前記残り時間とを比
較する第１の比較手段とを含み、前記第２の判断手段
は、前記符号化データ記憶手段に記憶されている符号化
データの符号量を検出する符号量検出手段と、前記符号
量検出手段によって検出された符号量から、 （そのフレームの伝送時間）＝（そのフレームの符号
量）／（予め定める伝送速度） 前記計算式に基づいて、符号化データ記憶手段に記憶さ
れているフレームの伝送時間を算出する第２の伝送時間
算出手段と、前記符号量検出手段によって検出された符
号量から、 （そのフレームの復号時間）＝（そのフレームの符号
量）／（予め定める復号速度） 前記計算式に基づき、前記符号化データ記憶手段に記憶
されているフレームの復号時間を算出する第２の復号時
間算出手段と、前記符号化データ記憶手段に記憶されて
いる符号化データについて、現時点から前記符号化デー
タのフレームの画像を受信側の表示装置に表示すべき時
点までの残り時間を検出する第２の残り時間検出手段
と、前記復号時間と前記伝送時間との和と前記残り時間
とを比較する第２の比較手段とを含み、前記第１の判断
手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断し、前記第２の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの伝送時間）＋（そのフレームの
復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断する。請求項１０記載の本発明は、請求項９記載
の画像符号化装置において、前記第１の残り時間検出手
段および前記第２の残り時間検出手段は、予め定める平
滑化時間を出力する初期値出力部と、予め定める経過時
間ごとに信号を出力するタイマーと、２入力１出力のセ
レクタであって、前記２入力のうち１入力に前記初期値
出力部から出力される平滑化時間を入力し、前記制御手
段からの選択信号により、前記２入力のうちから１入力
を選択して出力する第１のセレクタと、前記タイマーか
らの信号を検出する毎に、前記第１のセレクタの出力か
ら前記経過時間を減算し、前記第１の比較手段に出力す
る経過時間減算部と、ｎ個の加算部を備え、それぞれ第
ｋ（ｋは１からｎまでの自然数）の加算部は前記経過時
間減算部の出力にそれぞれｋ×（前記経過時間）を加算
する第１から第ｎまでの加算部と、前記制御手段からの
選択信号により、前記第１から第ｎまでの加算部の出力
のうちから１信号を選択して前記第２の比較手段および
第１のセレクタに出力する第２のセレクタとを含み、前
記制御手段は、動作開始時には、第１のセレクタに前記
２入力のうちから前記初期値出力部の出力を選択する選
択信号を出力し、前記第２の判断手段が判断を開始する
毎に、前記第２のセレクタに前記第１から第ｎまでの加
算部の出力を順次選択する選択信号を出力し、前記第２
の判断手段が最初に表示可能と判断したときには、前記
第１のセレクタに、そのときの前記第２のセレクタの出
力を選択する選択信号を出力する。
【００３４】請求項１１記載の本発明は、請求項４およ
び請求項１０記載の画像符号化装置において、前記第２
の残り時間検出手段は、さらに、前記第１から第ｎまで
の加算部の出力から伝送中のフレームの未送信符号化デ
ータの伝送時間を減算し、前記第２のセレクタに出力す
る第１から第ｎの減算部を含む。請求項１２記載の本発
明は、請求項４および請求項１０記載の画像符号化装置
において、前記第１の残り時間検出手段および前記第２
の残り時間検出手段は、前記第１から第ｎまでの加算部
および第２のセレクタに代えて、伝送中のフレームが画
像サンプルされた時点から、画像記憶手段に記憶されて
いるフレームが画像サンプルされた時点までの時間差
を、画像記憶手段に記憶されているフレームが伝送中の
フレームより先のフレームである場合には負の値として
検出する時間差検出部と、前記時間差検出部からの時間
差を、前記経過時間減算部の出力に加算し前記第２の比
較手段と前記第１のセレクタとに出力する時間差加算部
とを含む。
び請求項１０記載の画像符号化装置において、前記第２
の残り時間検出手段は、さらに、前記第１から第ｎまで
の加算部の出力から伝送中のフレームの未送信符号化デ
ータの伝送時間を減算し、前記第２のセレクタに出力す
る第１から第ｎの減算部を含む。請求項１２記載の本発
明は、請求項４および請求項１０記載の画像符号化装置
において、前記第１の残り時間検出手段および前記第２
の残り時間検出手段は、前記第１から第ｎまでの加算部
および第２のセレクタに代えて、伝送中のフレームが画
像サンプルされた時点から、画像記憶手段に記憶されて
いるフレームが画像サンプルされた時点までの時間差
を、画像記憶手段に記憶されているフレームが伝送中の
フレームより先のフレームである場合には負の値として
検出する時間差検出部と、前記時間差検出部からの時間
差を、前記経過時間減算部の出力に加算し前記第２の比
較手段と前記第１のセレクタとに出力する時間差加算部
とを含む。
【００３５】請求項１３記載の本発明は、請求項７記載
の画像符号化装置において、符号化データ記憶手段は、
１つの符号化データを記憶する記憶領域を備える符号化
データメモリと、前記符号化制御手段から入力される符
号化データのうち、伝送中のフレームより後に画像サン
プルされた予め定めるフレームであって、伝送済み最新
フレームを参照フレームとする符号化データを、それぞ
れのフレームナンバーとその符号化データの参照フレー
ムとされたフレームのフレームナンバーとに対応づけて
前記符号化データメモリに書き込む書き込み制御手段と
を含み、前記制御手段は、前記第１の判断手段が伝送中
のフレームを表示不能と判断した場合、前記符号化デー
タメモリに記憶されている符号化データを読み出して前
記第２の判断手段に転送し、前記第２の判断手段が前記
フレームを表示可能と判断した場合、前記フレームの符
号化データを前記符号化データメモリから読み出して前
記伝送手段に出力するよう前記符号化データ記憶手段を
制御する。
の画像符号化装置において、符号化データ記憶手段は、
１つの符号化データを記憶する記憶領域を備える符号化
データメモリと、前記符号化制御手段から入力される符
号化データのうち、伝送中のフレームより後に画像サン
プルされた予め定めるフレームであって、伝送済み最新
フレームを参照フレームとする符号化データを、それぞ
れのフレームナンバーとその符号化データの参照フレー
ムとされたフレームのフレームナンバーとに対応づけて
前記符号化データメモリに書き込む書き込み制御手段と
を含み、前記制御手段は、前記第１の判断手段が伝送中
のフレームを表示不能と判断した場合、前記符号化デー
タメモリに記憶されている符号化データを読み出して前
記第２の判断手段に転送し、前記第２の判断手段が前記
フレームを表示可能と判断した場合、前記フレームの符
号化データを前記符号化データメモリから読み出して前
記伝送手段に出力するよう前記符号化データ記憶手段を
制御する。
【００３６】請求項１４記載の本発明は、動画像を構成
するフレームの予測符号化を行うとともに、予測誤差の
画像データ量によって生じる符号化時間のばらつき、伝
送時間のばらつきおよび復号時間のばらつきを平滑化す
るために予め定める平滑化時間を設け、それぞれの画像
サンプルから始まる前記平滑化時間が終了する時点で、
各フレームを受信側の表示装置に表示させる画像符号化
装置であって、フレーム順に入力される各フレームを予
測符号化する符号化手段と、伝送すべき符号化データを
記憶する送信バッファを備え、前記符号化手段によって
符号化された符号化データを送信バッファに蓄えるとと
もに、前記送信バッファから前記符号化データをフレー
ム順にとりだし、伝送路を介して受信側に伝送する伝送
手段と、伝送中のフレームが画像サンプルから始まる平
滑化時間終了時点で受信側の表示装置に表示可能か否か
を判断する第１の判断手段と、前記第１の判断手段が伝
送中のフレームを表示不能と判断するまでは前記符号化
手段が符号化した符号化データについて符号化処理と逆
の処理を行って入力時のフレームの画像データを復号デ
ータで近似的に再現し、前記第１の判断手段が伝送中の
フレームを表示不能と判断した場合、その時点で送信バ
ッファに残っている全てのフレームの未送信符号化デー
タについて前述と同様に再現する画像データ再現手段
と、少なくとも４フレーム分の再現された画像データを
記憶する記憶領域を備え、前記画像データ再現手段によ
って再現されたフレームのうち送達確認がとれた最新の
フレームの再現画像と前記送信バッファ内に最も新しく
格納されたフレームの再現画像とをそれぞれ予め定める
前記記憶領域に格納する再現画像記憶手段と、前記送信
バッファに残っているすべてのフレームについて、画像
サンプルから始まる平滑化時間が終了する時点で受信側
の表示装置に表示可能か否かを判断する第２の判断手段
と、前記画像データ再現手段で再現した画像データであ
って前記第２の判断手段が表示可能と判断したフレーム
のうち最初のフレームについて送達確認がとれた最新の
フレームを参照フレームとして符号化し、それに続くフ
レームについては新たな入力フレームと同様に直前に符
号化したフレームを参照フレームとして符号化し、前記
伝送手段に転送するよう前記符号化手段を制御する制御
手段とを含む。
するフレームの予測符号化を行うとともに、予測誤差の
画像データ量によって生じる符号化時間のばらつき、伝
送時間のばらつきおよび復号時間のばらつきを平滑化す
るために予め定める平滑化時間を設け、それぞれの画像
サンプルから始まる前記平滑化時間が終了する時点で、
各フレームを受信側の表示装置に表示させる画像符号化
装置であって、フレーム順に入力される各フレームを予
測符号化する符号化手段と、伝送すべき符号化データを
記憶する送信バッファを備え、前記符号化手段によって
符号化された符号化データを送信バッファに蓄えるとと
もに、前記送信バッファから前記符号化データをフレー
ム順にとりだし、伝送路を介して受信側に伝送する伝送
手段と、伝送中のフレームが画像サンプルから始まる平
滑化時間終了時点で受信側の表示装置に表示可能か否か
を判断する第１の判断手段と、前記第１の判断手段が伝
送中のフレームを表示不能と判断するまでは前記符号化
手段が符号化した符号化データについて符号化処理と逆
の処理を行って入力時のフレームの画像データを復号デ
ータで近似的に再現し、前記第１の判断手段が伝送中の
フレームを表示不能と判断した場合、その時点で送信バ
ッファに残っている全てのフレームの未送信符号化デー
タについて前述と同様に再現する画像データ再現手段
と、少なくとも４フレーム分の再現された画像データを
記憶する記憶領域を備え、前記画像データ再現手段によ
って再現されたフレームのうち送達確認がとれた最新の
フレームの再現画像と前記送信バッファ内に最も新しく
格納されたフレームの再現画像とをそれぞれ予め定める
前記記憶領域に格納する再現画像記憶手段と、前記送信
バッファに残っているすべてのフレームについて、画像
サンプルから始まる平滑化時間が終了する時点で受信側
の表示装置に表示可能か否かを判断する第２の判断手段
と、前記画像データ再現手段で再現した画像データであ
って前記第２の判断手段が表示可能と判断したフレーム
のうち最初のフレームについて送達確認がとれた最新の
フレームを参照フレームとして符号化し、それに続くフ
レームについては新たな入力フレームと同様に直前に符
号化したフレームを参照フレームとして符号化し、前記
伝送手段に転送するよう前記符号化手段を制御する制御
手段とを含む。
【００３７】請求項１５記載の本発明は、請求項１４記
載の画像符号化装置において、前記第１の判断手段は、
伝送中のフレームの前記送信バッファ内の未送信符号量
を検出する未送信符号量検出手段と、前記未送信符号量
検出手段によって検出された未送信符号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する第１の伝送時間算出手段
と、前記符号化手段によって符号化されたフレームの発
生符号量を検出して記憶し、 （そのフレームの復号時間）＝（発生符号量）／（予め
定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する第１の復号時間算出手段と、現時点から伝送中の
フレームの画像を受信側の表示装置に表示すべき時点ま
での残り時間を検出する第１の残り時間検出手段と、前
記復号時間と前記伝送時間との和と前記残り時間とを比
較する第１の比較手段とを含み、前記第２の判断手段
は、前記再現画像記憶手段に記憶されているフレームに
ついて、前記フレームの再現画像データを符号化した際
に発生する符号量を予測する符号量予測手段と、前記符
号量予測手段によって予測された符号量から、 （そのフレームの伝送時間）＝（そのフレームの予測符
号量）／（予め定める伝送速度） 前記計算式に基づいて、再現画像記憶手段に記憶されて
いるフレームの伝送時間を算出する第２の伝送時間算出
手段と、前記符号量予測手段によって予測された予測符
号量から、 （そのフレームの符号化時間）＝（そのフレームの予測
符号量）／（予め定める符号化速度） 前記計算式に基づき、前記再現画像記憶手段に記憶され
ているフレームの復号時間を算出する符号化時間算出手
段と、前記符号量予測手段によって予測された予測符号
量から、 （そのフレームの復号時間）＝（そのフレームの予測符
号量）／（予め定める復号速度） 前記計算式に基づき、前記再現画像記憶手段に記憶され
ているフレームの復号時間を算出する第２の復号時間算
出手段と、前記再現画像記憶手段に記憶されているフレ
ームについて、現時点から前記フレームの画像を受信側
の表示装置に表示すべき時点までの残り時間を検出する
第２の残り時間検出手段と、前記符号化時間と前記復号
時間と前記伝送時間との和と前記残り時間とを比較する
第２の比較手段とを含み、前記第１の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断し、前記第２の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの符号化時間）＋（そのフレーム
の伝送時間）＋（そのフレームの復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断する。
載の画像符号化装置において、前記第１の判断手段は、
伝送中のフレームの前記送信バッファ内の未送信符号量
を検出する未送信符号量検出手段と、前記未送信符号量
検出手段によって検出された未送信符号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する第１の伝送時間算出手段
と、前記符号化手段によって符号化されたフレームの発
生符号量を検出して記憶し、 （そのフレームの復号時間）＝（発生符号量）／（予め
定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する第１の復号時間算出手段と、現時点から伝送中の
フレームの画像を受信側の表示装置に表示すべき時点ま
での残り時間を検出する第１の残り時間検出手段と、前
記復号時間と前記伝送時間との和と前記残り時間とを比
較する第１の比較手段とを含み、前記第２の判断手段
は、前記再現画像記憶手段に記憶されているフレームに
ついて、前記フレームの再現画像データを符号化した際
に発生する符号量を予測する符号量予測手段と、前記符
号量予測手段によって予測された符号量から、 （そのフレームの伝送時間）＝（そのフレームの予測符
号量）／（予め定める伝送速度） 前記計算式に基づいて、再現画像記憶手段に記憶されて
いるフレームの伝送時間を算出する第２の伝送時間算出
手段と、前記符号量予測手段によって予測された予測符
号量から、 （そのフレームの符号化時間）＝（そのフレームの予測
符号量）／（予め定める符号化速度） 前記計算式に基づき、前記再現画像記憶手段に記憶され
ているフレームの復号時間を算出する符号化時間算出手
段と、前記符号量予測手段によって予測された予測符号
量から、 （そのフレームの復号時間）＝（そのフレームの予測符
号量）／（予め定める復号速度） 前記計算式に基づき、前記再現画像記憶手段に記憶され
ているフレームの復号時間を算出する第２の復号時間算
出手段と、前記再現画像記憶手段に記憶されているフレ
ームについて、現時点から前記フレームの画像を受信側
の表示装置に表示すべき時点までの残り時間を検出する
第２の残り時間検出手段と、前記符号化時間と前記復号
時間と前記伝送時間との和と前記残り時間とを比較する
第２の比較手段とを含み、前記第１の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断し、前記第２の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの符号化時間）＋（そのフレーム
の伝送時間）＋（そのフレームの復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断する。
【００３８】請求項１６記載の本発明は、請求項１５記
載の画像符号化装置において、前記符号量予測手段は、
符号量予測対象フレームの中の１ブロックの画像データ
と伝送済み最新フレームの中で前記ブロックと同一位置
に相当するブロックの復号データとの単純な差分値を求
めることによって、前記符号量予測対象フレームのフレ
ーム間差分値を検出するフレーム間差分値検出部と、前
記フレーム間差分値検出部からのフレーム間差分値を直
交変換する直交変換部と、前記直交変換部による直交変
換の結果、すべての直交変換係数が予め定めるしきい値
に満たないブロックを無効ブロックと判断し、前記符号
量予測対象フレームの無効ブロック数を検出する無効ブ
ロック検出部と、前記無効ブロック数検出部によって検
出された無効ブロック数から、有効ブロック数を求め、 （有効ブロック数）＝（総ブロック数）−（無効ブロッ
ク数） （発生符号量）＝（直前に符号化されたフレームの有効
ブロック数に対する発生符号量）×（有効ブロック数） 前記計算式に基づき、符号量予測対象フレームを符号化
した際に発生する符号量を算出する符号量算出部とを含
む。
載の画像符号化装置において、前記符号量予測手段は、
符号量予測対象フレームの中の１ブロックの画像データ
と伝送済み最新フレームの中で前記ブロックと同一位置
に相当するブロックの復号データとの単純な差分値を求
めることによって、前記符号量予測対象フレームのフレ
ーム間差分値を検出するフレーム間差分値検出部と、前
記フレーム間差分値検出部からのフレーム間差分値を直
交変換する直交変換部と、前記直交変換部による直交変
換の結果、すべての直交変換係数が予め定めるしきい値
に満たないブロックを無効ブロックと判断し、前記符号
量予測対象フレームの無効ブロック数を検出する無効ブ
ロック検出部と、前記無効ブロック数検出部によって検
出された無効ブロック数から、有効ブロック数を求め、 （有効ブロック数）＝（総ブロック数）−（無効ブロッ
ク数） （発生符号量）＝（直前に符号化されたフレームの有効
ブロック数に対する発生符号量）×（有効ブロック数） 前記計算式に基づき、符号量予測対象フレームを符号化
した際に発生する符号量を算出する符号量算出部とを含
む。
【００３９】請求項１７記載の本発明は、請求項１５記
載の画像符号化装置において、前記符号量予測手段は、
前記第１の判断手段が伝送中のフレームの表示不能を判
断した時点で、前記符号化手段に、その直前に符号化さ
れたフレームであって復号されたものを符号化対象フレ
ームとして伝送済み最新フレームを参照フレームとして
符号化しその発生符号量を検出するよう指示し、前記発
生符号量が前記第２の判断手段の判断対象フレームの発
生符号量となるものと予測する符号量予測制御部を含
む。
載の画像符号化装置において、前記符号量予測手段は、
前記第１の判断手段が伝送中のフレームの表示不能を判
断した時点で、前記符号化手段に、その直前に符号化さ
れたフレームであって復号されたものを符号化対象フレ
ームとして伝送済み最新フレームを参照フレームとして
符号化しその発生符号量を検出するよう指示し、前記発
生符号量が前記第２の判断手段の判断対象フレームの発
生符号量となるものと予測する符号量予測制御部を含
む。
【００４０】請求項１８記載の本発明は、請求項１４記
載の画像符号化装置において、少なくとも１フレーム分
の画像データを記憶する記憶領域を備える画像記憶手段
と、伝送エラー中に入力されるフレームを前記画像記憶
手段に記憶させ、前記再現画像記憶手段に記憶されてい
る再現画像データのうちの最後のフレームが前記符号化
手段へ転送された後、前記画像記憶手段に記憶されてい
る各フレームの画像データを読み出し符号化手段へ転送
するメモリ制御手段とを含む。
載の画像符号化装置において、少なくとも１フレーム分
の画像データを記憶する記憶領域を備える画像記憶手段
と、伝送エラー中に入力されるフレームを前記画像記憶
手段に記憶させ、前記再現画像記憶手段に記憶されてい
る再現画像データのうちの最後のフレームが前記符号化
手段へ転送された後、前記画像記憶手段に記憶されてい
る各フレームの画像データを読み出し符号化手段へ転送
するメモリ制御手段とを含む。
【００４１】請求項１９記載の本発明は、請求項１８記
載の画像符号化装置において、前記第１の判断手段は、
伝送中のフレームの前記送信バッファ内の未送信符号量
を検出する未送信符号量検出手段と、前記未送信符号量
検出手段によって検出された未送信符号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する第１の伝送時間算出手段
と、前記符号化手段によって符号化されたフレームの発
生符号量を検出して記憶し、 （そのフレームの復号時間）＝（発生符号量）／（予め
定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する第１の復号時間算出手段と、現時点から伝送中の
フレームの画像を受信側の表示装置に表示すべき時点ま
での残り時間を検出する第１の残り時間検出手段と、前
記復号時間と前記伝送時間との和と前記残り時間とを比
較する第１の比較手段とを含み、第２の判断手段は、前
記再現画像記憶手段および前記画像記憶手段に記憶され
ているフレームについて、前記フレームの再現画像デー
タおよび画像データを符号化した際に発生する符号量を
予測する符号量予測手段と、前記符号量予測手段によっ
て予測された符号量から、 （そのフレームの伝送時間）＝（そのフレームの予測符
号量）／（予め定める伝送速度） 前記計算式に基づいて、前記再現画像記憶手段および前
記画像記憶手段に記憶されているフレームの伝送時間を
算出する第２の伝送時間算出手段と、前記符号量予測手
段によって予測された予測符号量から、 （そのフレームの符号化時間）＝（そのフレームの予測
符号量）／（予め定める符号化速度） 前記計算式に基づき、前記再現画像記憶手段および前記
画像記憶手段に記憶されているフレームの符号化時間を
算出する符号化時間算出手段と、前記符号量予測手段に
よって予測された予測符号量から、 （そのフレームの復号時間）＝（そのフレームの予測符
号量）／（予め定める復号速度） 前記計算式に基づき、前記再現画像記憶手段および前記
画像記憶手段に記憶されているフレームの復号時間を算
出する第２の復号時間算出手段と、前記再現画像記憶手
段および前記画像記憶手段に記憶されているフレームに
ついて、現時点から前記フレームの画像を受信側の表示
装置に表示すべき時点までの残り時間を検出する第２の
残り時間検出手段と、前記符号化時間と前記復号時間と
前記伝送時間との和と前記残り時間とを比較する第２の
比較手段とを含み、前記第１の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断し、前記第２の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの符号化時間）＋（そのフレーム
の伝送時間）＋（そのフレームの復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断する。請求項２０記載の本発明は、請求項１５お
よび請求項１９記載の画像符号化装置において、前記第
１の残り時間検出手段および前記第２の残り時間検出手
段は、予め定める平滑化時間を出力する初期値出力部
と、予め定める経過時間ごとに信号を出力するタイマー
と、２入力１出力のセレクタであって、前記２入力のう
ち１入力に前記初期値出力部から出力される平滑化時間
を入力し、前記制御手段からの選択信号により、前記２
入力のうちから１入力を選択して出力する第１のセレク
タと、前記タイマーからの信号を検出する毎に、前記第
１のセレクタの出力から前記経過時間を減算し、前記第
１の比較手段に出力する経過時間減算部と、ｎ個の加算
部を備え、それぞれ第ｋ（ｋは１からｎまでの自然数）
の加算部は前記経過時間減算部の出力にそれぞれｋ×
（前記経過時間）を加算する第１から第ｎまでの加算部
と、前記制御手段からの選択信号により、前記第１から
第ｎまでの加算部の出力のうちから１信号を選択して前
記第２の比較手段および第１のセレクタに出力する第２
のセレクタとを含み、前記制御手段は、動作開始時に
は、第１のセレクタに前記２入力のうちから前記初期値
出力部の出力を選択する選択信号を出力し、前記第２の
判断手段が判断を開始する毎に、前記第２のセレクタに
前記第１から第ｎまでの加算部の出力を順次選択する選
択信号を出力し、前記第２の判断手段が最初に表示可能
と判断したときには、前記第１のセレクタに、そのとき
の前記第２のセレクタの出力を選択する選択信号を出力
する。
載の画像符号化装置において、前記第１の判断手段は、
伝送中のフレームの前記送信バッファ内の未送信符号量
を検出する未送信符号量検出手段と、前記未送信符号量
検出手段によって検出された未送信符号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する第１の伝送時間算出手段
と、前記符号化手段によって符号化されたフレームの発
生符号量を検出して記憶し、 （そのフレームの復号時間）＝（発生符号量）／（予め
定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する第１の復号時間算出手段と、現時点から伝送中の
フレームの画像を受信側の表示装置に表示すべき時点ま
での残り時間を検出する第１の残り時間検出手段と、前
記復号時間と前記伝送時間との和と前記残り時間とを比
較する第１の比較手段とを含み、第２の判断手段は、前
記再現画像記憶手段および前記画像記憶手段に記憶され
ているフレームについて、前記フレームの再現画像デー
タおよび画像データを符号化した際に発生する符号量を
予測する符号量予測手段と、前記符号量予測手段によっ
て予測された符号量から、 （そのフレームの伝送時間）＝（そのフレームの予測符
号量）／（予め定める伝送速度） 前記計算式に基づいて、前記再現画像記憶手段および前
記画像記憶手段に記憶されているフレームの伝送時間を
算出する第２の伝送時間算出手段と、前記符号量予測手
段によって予測された予測符号量から、 （そのフレームの符号化時間）＝（そのフレームの予測
符号量）／（予め定める符号化速度） 前記計算式に基づき、前記再現画像記憶手段および前記
画像記憶手段に記憶されているフレームの符号化時間を
算出する符号化時間算出手段と、前記符号量予測手段に
よって予測された予測符号量から、 （そのフレームの復号時間）＝（そのフレームの予測符
号量）／（予め定める復号速度） 前記計算式に基づき、前記再現画像記憶手段および前記
画像記憶手段に記憶されているフレームの復号時間を算
出する第２の復号時間算出手段と、前記再現画像記憶手
段および前記画像記憶手段に記憶されているフレームに
ついて、現時点から前記フレームの画像を受信側の表示
装置に表示すべき時点までの残り時間を検出する第２の
残り時間検出手段と、前記符号化時間と前記復号時間と
前記伝送時間との和と前記残り時間とを比較する第２の
比較手段とを含み、前記第１の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断し、前記第２の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの符号化時間）＋（そのフレーム
の伝送時間）＋（そのフレームの復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断する。請求項２０記載の本発明は、請求項１５お
よび請求項１９記載の画像符号化装置において、前記第
１の残り時間検出手段および前記第２の残り時間検出手
段は、予め定める平滑化時間を出力する初期値出力部
と、予め定める経過時間ごとに信号を出力するタイマー
と、２入力１出力のセレクタであって、前記２入力のう
ち１入力に前記初期値出力部から出力される平滑化時間
を入力し、前記制御手段からの選択信号により、前記２
入力のうちから１入力を選択して出力する第１のセレク
タと、前記タイマーからの信号を検出する毎に、前記第
１のセレクタの出力から前記経過時間を減算し、前記第
１の比較手段に出力する経過時間減算部と、ｎ個の加算
部を備え、それぞれ第ｋ（ｋは１からｎまでの自然数）
の加算部は前記経過時間減算部の出力にそれぞれｋ×
（前記経過時間）を加算する第１から第ｎまでの加算部
と、前記制御手段からの選択信号により、前記第１から
第ｎまでの加算部の出力のうちから１信号を選択して前
記第２の比較手段および第１のセレクタに出力する第２
のセレクタとを含み、前記制御手段は、動作開始時に
は、第１のセレクタに前記２入力のうちから前記初期値
出力部の出力を選択する選択信号を出力し、前記第２の
判断手段が判断を開始する毎に、前記第２のセレクタに
前記第１から第ｎまでの加算部の出力を順次選択する選
択信号を出力し、前記第２の判断手段が最初に表示可能
と判断したときには、前記第１のセレクタに、そのとき
の前記第２のセレクタの出力を選択する選択信号を出力
する。
【００４２】請求項２１記載の本発明は、請求項２０記
載の画像符号化装置において、前記第２の残り時間検出
手段は、前記第１から第ｎまでの加算部の出力から伝送
中のフレームの未送信符号化データの伝送時間を減算
し、前記第２のセレクタに出力する第１から第ｎの減算
部を含む。請求項２２記載の本発明は、請求項１９記載
の画像符号化装置において、前記符号量予測手段は、符
号量予測対象フレームの中の１ブロックの画像データと
伝送済み最新フレームの中で前記ブロックと同一位置に
相当するブロックの復号データとの単純な差分値を求め
ることによって、前記符号量予測対象フレームのフレー
ム間差分値を検出するフレーム間差分値検出部と、前記
フレーム間差分値検出部からのフレーム間差分値を直交
変換する直交変換部と、前記直交変換部による直交変換
の結果、すべての直交変換係数が予め定めるしきい値に
満たないブロックを無効ブロックと判断し、前記符号量
予測対象フレームの無効ブロック数を検出する無効ブロ
ック検出部と、前記無効ブロック数検出部によって検出
された無効ブロック数から、有効ブロック数を求め、 （有効ブロック数）＝（総ブロック数）−（無効ブロッ
ク数） （発生符号量）＝（直前に符号化されたフレームの有効
ブロック数に対する発生符号量）×（有効ブロック数） 前記計算式に基づき、符号量予測対象フレームを符号化
した際に発生する符号量を算出する符号量算出部とを含
む。
載の画像符号化装置において、前記第２の残り時間検出
手段は、前記第１から第ｎまでの加算部の出力から伝送
中のフレームの未送信符号化データの伝送時間を減算
し、前記第２のセレクタに出力する第１から第ｎの減算
部を含む。請求項２２記載の本発明は、請求項１９記載
の画像符号化装置において、前記符号量予測手段は、符
号量予測対象フレームの中の１ブロックの画像データと
伝送済み最新フレームの中で前記ブロックと同一位置に
相当するブロックの復号データとの単純な差分値を求め
ることによって、前記符号量予測対象フレームのフレー
ム間差分値を検出するフレーム間差分値検出部と、前記
フレーム間差分値検出部からのフレーム間差分値を直交
変換する直交変換部と、前記直交変換部による直交変換
の結果、すべての直交変換係数が予め定めるしきい値に
満たないブロックを無効ブロックと判断し、前記符号量
予測対象フレームの無効ブロック数を検出する無効ブロ
ック検出部と、前記無効ブロック数検出部によって検出
された無効ブロック数から、有効ブロック数を求め、 （有効ブロック数）＝（総ブロック数）−（無効ブロッ
ク数） （発生符号量）＝（直前に符号化されたフレームの有効
ブロック数に対する発生符号量）×（有効ブロック数） 前記計算式に基づき、符号量予測対象フレームを符号化
した際に発生する符号量を算出する符号量算出部とを含
む。
【００４３】請求項２３記載の本発明は、請求項１９記
載の画像符号化装置において、前記符号量予測手段は、
前記画像記憶手段および再現画像記憶手段に記憶されて
いるフレームのうち最新フレームのフレームナンバーを
記憶する最新フレームナンバー記憶部と、前記第１の判
断手段が伝送中のフレームの表示不能を判断した時点
で、前記符号化手段に前記最新フレームナンバー記憶手
段に記憶されているフレームナンバーの画像データと再
現画像データとを伝送済み最新フレームを参照フレーム
として符号化しその発生符号量を検出するよう指示し、
前記発生符号量が前記第２の判断手段の判断対象フレー
ムの発生符号量となるものと予測する符号量予測制御部
を含む。
載の画像符号化装置において、前記符号量予測手段は、
前記画像記憶手段および再現画像記憶手段に記憶されて
いるフレームのうち最新フレームのフレームナンバーを
記憶する最新フレームナンバー記憶部と、前記第１の判
断手段が伝送中のフレームの表示不能を判断した時点
で、前記符号化手段に前記最新フレームナンバー記憶手
段に記憶されているフレームナンバーの画像データと再
現画像データとを伝送済み最新フレームを参照フレーム
として符号化しその発生符号量を検出するよう指示し、
前記発生符号量が前記第２の判断手段の判断対象フレー
ムの発生符号量となるものと予測する符号量予測制御部
を含む。
【００４４】
【作用】請求項１記載の本発明に従えば、画像記憶手段
は少なくとも１フレーム分の画像データを記憶する記憶
領域を備え、予め定める時間間隔で入力される１フレー
ム分の画像データを、ｍフレーム毎（ｍは予め定める自
然数）に画像サンプルして前記記憶領域に記憶し、伝送
済み最新フレーム記憶手段は伝送済み最新フレームを記
憶する。
は少なくとも１フレーム分の画像データを記憶する記憶
領域を備え、予め定める時間間隔で入力される１フレー
ム分の画像データを、ｍフレーム毎（ｍは予め定める自
然数）に画像サンプルして前記記憶領域に記憶し、伝送
済み最新フレーム記憶手段は伝送済み最新フレームを記
憶する。
【００４５】符号化手段は入力された各フレームの画像
データを予測符号化し、伝送手段は前記符号化手段によ
って符号化された符号化データを、受信側と連絡を取り
ながら伝送路を介して受信側に伝送する。第１の判断手
段は、予め定める時間毎に、伝送中のフレームの表示の
可否を判断し、制御手段は、前記第１の判断手段が伝送
中のフレームを表示不能と判断した場合、前記記憶領域
に記憶されている画像データを読み出して前記第２の判
断手段に転送する。
データを予測符号化し、伝送手段は前記符号化手段によ
って符号化された符号化データを、受信側と連絡を取り
ながら伝送路を介して受信側に伝送する。第１の判断手
段は、予め定める時間毎に、伝送中のフレームの表示の
可否を判断し、制御手段は、前記第１の判断手段が伝送
中のフレームを表示不能と判断した場合、前記記憶領域
に記憶されている画像データを読み出して前記第２の判
断手段に転送する。
【００４６】第２の判断手段は、前記制御手段によって
転送されてくる、前記画像記憶手段に記憶されている各
フレームについて、そのフレームの表示の可否を判断す
る。制御手段は、前記第２の判断手段が前記フレームを
表示可能と判断した場合、前記フレームの画像データを
前記符号化手段に出力するよう前記画像記憶手段を制御
するとともに、伝送済み最新フレームを読み出して前記
符号化手段に参照フレームとして入力するよう前記伝送
済み最新フレーム記憶手段を制御する。
転送されてくる、前記画像記憶手段に記憶されている各
フレームについて、そのフレームの表示の可否を判断す
る。制御手段は、前記第２の判断手段が前記フレームを
表示可能と判断した場合、前記フレームの画像データを
前記符号化手段に出力するよう前記画像記憶手段を制御
するとともに、伝送済み最新フレームを読み出して前記
符号化手段に参照フレームとして入力するよう前記伝送
済み最新フレーム記憶手段を制御する。
【００４７】従って、従来の画像符号化装置では伝送中
のフレームが表示不能となった場合には、伝送済み最新
フレームから伝送エラー終了後に画像サンプルされるフ
レームまでのフレームがすべて駒落としされていたのに
対し、本発明の画像符号化装置では、画像記憶手段に記
憶している画像データのうちで表示可能な画像データが
あれば、その画像データを伝送済み最新フレームを参照
フレームとして予測符号化し、受信側に伝送することが
できる。従って、本発明の画像符号化装置は、画像記憶
手段に画像データを記憶している範囲内で、伝送中のフ
レームが表示不能となった場合に発生する表示画像の駒
落としを最小限に留めることができ、伝送エラー終了後
に画像サンプルされるフレームより前のフレームが表示
可能であれば、従来の画像符号化装置よりも前記駒落と
しを減少することができる。
のフレームが表示不能となった場合には、伝送済み最新
フレームから伝送エラー終了後に画像サンプルされるフ
レームまでのフレームがすべて駒落としされていたのに
対し、本発明の画像符号化装置では、画像記憶手段に記
憶している画像データのうちで表示可能な画像データが
あれば、その画像データを伝送済み最新フレームを参照
フレームとして予測符号化し、受信側に伝送することが
できる。従って、本発明の画像符号化装置は、画像記憶
手段に画像データを記憶している範囲内で、伝送中のフ
レームが表示不能となった場合に発生する表示画像の駒
落としを最小限に留めることができ、伝送エラー終了後
に画像サンプルされるフレームより前のフレームが表示
可能であれば、従来の画像符号化装置よりも前記駒落と
しを減少することができる。
【００４８】請求項２記載の本発明に従えば、請求項１
記載の画像符号化装置において、前記画像記憶手段は、
第１から第ｎ（ｎは自然数）の画像メモリを備え、前記
画像メモリは、それぞれの記憶領域に１フレーム分の画
像データを記憶する。書き込み制御手段は、入力される
画像データを１フレームずつそれぞれのフレームナンバ
ーに対応づけて前記画像メモリに順次、書き込む。前記
制御手段は、前記第１の判断手段が伝送中のフレームを
表示不能と判断した場合、前記第１から第ｎの画像メモ
リに記憶されている画像データをフレームナンバーの小
さいものから順次読み出して前記第２の判断手段に転送
し、前記第２の判断手段が前記フレームを表示可能と判
断した場合、前記フレームの画像データを前記第１から
第ｎの画像メモリから読み出して前記符号化手段に転送
するよう前記画像記憶手段を制御する。
記載の画像符号化装置において、前記画像記憶手段は、
第１から第ｎ（ｎは自然数）の画像メモリを備え、前記
画像メモリは、それぞれの記憶領域に１フレーム分の画
像データを記憶する。書き込み制御手段は、入力される
画像データを１フレームずつそれぞれのフレームナンバ
ーに対応づけて前記画像メモリに順次、書き込む。前記
制御手段は、前記第１の判断手段が伝送中のフレームを
表示不能と判断した場合、前記第１から第ｎの画像メモ
リに記憶されている画像データをフレームナンバーの小
さいものから順次読み出して前記第２の判断手段に転送
し、前記第２の判断手段が前記フレームを表示可能と判
断した場合、前記フレームの画像データを前記第１から
第ｎの画像メモリから読み出して前記符号化手段に転送
するよう前記画像記憶手段を制御する。
【００４９】ここで、前記第２の判断手段の判断対象と
なるフレームについて、そのフレームの発生符号量が少
なければそのフレームの表示までの残り時間が少なくて
も表示可能となる場合が発生する。従って、前記画像メ
モリの数を適切に選ぶことによって、伝送エラーのため
に伝送中のフレームが表示不能となった場合でも、伝送
済み最新フレームからの駒落としをより少なくすること
ができる画像データを記憶しておくことができる。
なるフレームについて、そのフレームの発生符号量が少
なければそのフレームの表示までの残り時間が少なくて
も表示可能となる場合が発生する。従って、前記画像メ
モリの数を適切に選ぶことによって、伝送エラーのため
に伝送中のフレームが表示不能となった場合でも、伝送
済み最新フレームからの駒落としをより少なくすること
ができる画像データを記憶しておくことができる。
【００５０】請求項３記載の本発明に従えば、請求項２
記載の画像符号化装置の伝送手段において、送信バッフ
ァは、前記符号化手段から出力された符号化データを記
憶する。伝送制御手段は、前記送信バッファに記憶され
た符号化データを先入れ先出しで伝送路に出力し、伝送
路に出力した符号化データについて、受信側からの送達
確認が取れた場合は次の符号化データを伝送路に出力
し、送達確認が取れない場合は再送するよう前記送信バ
ッファおよび伝送路を制御する。また、前記第１の判断
手段において、未送信符号量検出手段は伝送中のフレー
ムの前記送信バッファ内の未送信符号量を検出し、第１
の伝送時間算出手段は前記未送信符号量検出手段によっ
て検出された未送信符号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する。第１の復号時間算出手
段は、前記符号化手段によって符号化されたフレームの
発生符号量を検出して記憶し、 （そのフレームの復号時間）＝（発生符号量）／（予め
定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する。第１の残り時間検出手段は、現時点から伝送中
のフレームの画像を受信側の表示装置に表示すべき時点
までの残り時間を検出する。第１の比較手段は前記復号
時間と前記伝送時間との和と前記残り時間とを比較し、
前記第１の判断手段は前記第１の比較手段の比較結果に
基づいて、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断する。
記載の画像符号化装置の伝送手段において、送信バッフ
ァは、前記符号化手段から出力された符号化データを記
憶する。伝送制御手段は、前記送信バッファに記憶され
た符号化データを先入れ先出しで伝送路に出力し、伝送
路に出力した符号化データについて、受信側からの送達
確認が取れた場合は次の符号化データを伝送路に出力
し、送達確認が取れない場合は再送するよう前記送信バ
ッファおよび伝送路を制御する。また、前記第１の判断
手段において、未送信符号量検出手段は伝送中のフレー
ムの前記送信バッファ内の未送信符号量を検出し、第１
の伝送時間算出手段は前記未送信符号量検出手段によっ
て検出された未送信符号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する。第１の復号時間算出手
段は、前記符号化手段によって符号化されたフレームの
発生符号量を検出して記憶し、 （そのフレームの復号時間）＝（発生符号量）／（予め
定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する。第１の残り時間検出手段は、現時点から伝送中
のフレームの画像を受信側の表示装置に表示すべき時点
までの残り時間を検出する。第１の比較手段は前記復号
時間と前記伝送時間との和と前記残り時間とを比較し、
前記第１の判断手段は前記第１の比較手段の比較結果に
基づいて、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断する。
【００５１】さらに、前記第２の判断手段において、符
号量予測手段は前記画像記憶手段に記憶されているフレ
ームについて、前記フレームの画像データを符号化した
際に発生する符号量を予測する。第２の伝送時間算出手
段は、前記符号量予測手段によって予測された符号量か
ら、 （そのフレームの伝送時間）＝（そのフレームの予測符
号量）／（予め定める伝送速度） 前記計算式に基づいて、画像記憶手段に記憶されている
フレームの伝送時間を算出する。符号化時間算出手段
は、前記符号量予測手段によって予測された予測符号量
から、 （そのフレームの符号化時間）＝（そのフレームの予測
符号量）／（予め定める符号化速度） 前記計算式に基づき、前記画像記憶手段に記憶されてい
るフレームの符号化時間を算出する。第２の復号時間算
出手段は、前記符号量予測手段によって予測された予測
符号量から、 （そのフレームの復号時間）＝（そのフレームの予測符
号量）／（予め定める復号速度） 前記計算式に基づき、前記画像記憶手段に記憶されてい
るフレームの復号時間を算出する。第２の残り時間検出
手段は、前記画像記憶手段に記憶されているフレームに
ついて、現時点から前記フレームの画像を受信側の表示
装置に表示すべき時点までの残り時間を検出する。第２
の比較手段は、前記符号化時間と前記復号時間と前記伝
送時間との和と前記残り時間とを比較する。
号量予測手段は前記画像記憶手段に記憶されているフレ
ームについて、前記フレームの画像データを符号化した
際に発生する符号量を予測する。第２の伝送時間算出手
段は、前記符号量予測手段によって予測された符号量か
ら、 （そのフレームの伝送時間）＝（そのフレームの予測符
号量）／（予め定める伝送速度） 前記計算式に基づいて、画像記憶手段に記憶されている
フレームの伝送時間を算出する。符号化時間算出手段
は、前記符号量予測手段によって予測された予測符号量
から、 （そのフレームの符号化時間）＝（そのフレームの予測
符号量）／（予め定める符号化速度） 前記計算式に基づき、前記画像記憶手段に記憶されてい
るフレームの符号化時間を算出する。第２の復号時間算
出手段は、前記符号量予測手段によって予測された予測
符号量から、 （そのフレームの復号時間）＝（そのフレームの予測符
号量）／（予め定める復号速度） 前記計算式に基づき、前記画像記憶手段に記憶されてい
るフレームの復号時間を算出する。第２の残り時間検出
手段は、前記画像記憶手段に記憶されているフレームに
ついて、現時点から前記フレームの画像を受信側の表示
装置に表示すべき時点までの残り時間を検出する。第２
の比較手段は、前記符号化時間と前記復号時間と前記伝
送時間との和と前記残り時間とを比較する。
【００５２】前記第２の判断手段は、前記第２の比較手
段の比較結果に基づき、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの符号化時間）＋（そのフレーム
の伝送時間）＋（そのフレームの復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断する。
段の比較結果に基づき、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの符号化時間）＋（そのフレーム
の伝送時間）＋（そのフレームの復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断する。
【００５３】以上のように、第１の判断手段および第２
の判断手段は、変数の少ない簡単な演算で各フレームの
表示の可否を判断するので、判断対象フレームの表示の
可否の判断に要する時間を短時間に留めることができ
る。請求項４記載の本発明に従えば、請求項３記載の画
像符号化装置の前記第１の残り時間検出手段および第２
の残り時間検出手段において、初期値出力部は、予め定
める平滑化時間を出力する。タイマーは、予め定める経
過時間ごとに信号を出力する。第１のセレクタは、２入
力１出力のセレクタであって、前記２入力のうち１入力
に前記初期値出力部から出力される平滑化時間を入力
し、前記制御手段からの選択信号により、前記２入力の
うちから１入力を選択して出力する。経過時間減算部
は、前記タイマーからの信号を検出する毎に、前記第１
のセレクタの出力から前記経過時間を減算し、前記第１
の比較手段に出力する。第１から第ｎまでの加算部は、
ｎ個の加算部を備え、それぞれ第ｋ（ｋは１からｎまで
の自然数）の加算部は前記経過時間減算部の出力にそれ
ぞれｋ×（前記経過時間）を加算する。第２のセレクタ
は、前記制御手段からの選択信号により、前記第１から
第ｎまでの加算部の出力のうちから１信号を選択して前
記第２の比較手段および第１のセレクタに出力する。
の判断手段は、変数の少ない簡単な演算で各フレームの
表示の可否を判断するので、判断対象フレームの表示の
可否の判断に要する時間を短時間に留めることができ
る。請求項４記載の本発明に従えば、請求項３記載の画
像符号化装置の前記第１の残り時間検出手段および第２
の残り時間検出手段において、初期値出力部は、予め定
める平滑化時間を出力する。タイマーは、予め定める経
過時間ごとに信号を出力する。第１のセレクタは、２入
力１出力のセレクタであって、前記２入力のうち１入力
に前記初期値出力部から出力される平滑化時間を入力
し、前記制御手段からの選択信号により、前記２入力の
うちから１入力を選択して出力する。経過時間減算部
は、前記タイマーからの信号を検出する毎に、前記第１
のセレクタの出力から前記経過時間を減算し、前記第１
の比較手段に出力する。第１から第ｎまでの加算部は、
ｎ個の加算部を備え、それぞれ第ｋ（ｋは１からｎまで
の自然数）の加算部は前記経過時間減算部の出力にそれ
ぞれｋ×（前記経過時間）を加算する。第２のセレクタ
は、前記制御手段からの選択信号により、前記第１から
第ｎまでの加算部の出力のうちから１信号を選択して前
記第２の比較手段および第１のセレクタに出力する。
【００５４】前記制御手段は、動作開始時には、第１の
セレクタに前記２入力のうちから前記初期値出力部の出
力を選択する選択信号を出力し、前記第２の判断手段が
判断を開始する毎に、前記第２のセレクタに前記第１か
ら第ｎまでの加算部の出力を順次選択する選択信号を出
力し、前記第１の判断手段が表示不能を判断してから前
記第２の判断手段が最初に表示可能と判断したときに
は、前記第１のセレクタに、そのときの前記第２のセレ
クタの出力を選択する選択信号を出力する。
セレクタに前記２入力のうちから前記初期値出力部の出
力を選択する選択信号を出力し、前記第２の判断手段が
判断を開始する毎に、前記第２のセレクタに前記第１か
ら第ｎまでの加算部の出力を順次選択する選択信号を出
力し、前記第１の判断手段が表示不能を判断してから前
記第２の判断手段が最初に表示可能と判断したときに
は、前記第１のセレクタに、そのときの前記第２のセレ
クタの出力を選択する選択信号を出力する。
【００５５】以上のように、前記第１の残り時間検出手
段と前記第２の残り時間検出手段とは、タイマーの信号
毎に伝送中のフレームと前記画像記憶手段に記憶してい
る画像データの残り時間を同時に検出しているので、伝
送中のフレームの表示不能が判断されてから後に、前記
第２の判断手段の判断対象フレームの残り時間を演算す
ることなく、速やかに表示の可否を判断することができ
る。
段と前記第２の残り時間検出手段とは、タイマーの信号
毎に伝送中のフレームと前記画像記憶手段に記憶してい
る画像データの残り時間を同時に検出しているので、伝
送中のフレームの表示不能が判断されてから後に、前記
第２の判断手段の判断対象フレームの残り時間を演算す
ることなく、速やかに表示の可否を判断することができ
る。
【００５６】請求項５記載の本発明に従えば、請求項３
記載の画像符号化装置の前記符号量予測手段において、
フレーム間差分値検出部は、符号量予測対象フレームの
中の１ブロックの画像データと伝送済み最新フレームの
中で前記ブロックと同一位置に相当するブロックの復号
データとの単純な差分値を求めることによって、前記符
号量予測対象フレームのフレーム間差分値を検出する。
直交変換部は、前記フレーム間差分値検出部からのフレ
ーム間差分値を直交変換する。無効ブロック検出部は、
前記直交変換部による直交変換の結果、すべての直交変
換係数が予め定めるしきい値に満たないブロックを無効
ブロックと判断し、前記符号量予測対象フレームの無効
ブロック数を検出する。符号量算出部は、前記無効ブロ
ック数検出部によって検出された無効ブロック数から、
有効ブロック数を求め、 （有効ブロック数）＝（総ブロック数）−（無効ブロッ
ク数） （発生符号量）＝（直前に符号化されたフレームの有効
ブロック数に対する発生符号量）×（有効ブロック数） 前記計算式に基づき、符号量予測対象フレームを符号化
した際に発生する符号量を算出する。
記載の画像符号化装置の前記符号量予測手段において、
フレーム間差分値検出部は、符号量予測対象フレームの
中の１ブロックの画像データと伝送済み最新フレームの
中で前記ブロックと同一位置に相当するブロックの復号
データとの単純な差分値を求めることによって、前記符
号量予測対象フレームのフレーム間差分値を検出する。
直交変換部は、前記フレーム間差分値検出部からのフレ
ーム間差分値を直交変換する。無効ブロック検出部は、
前記直交変換部による直交変換の結果、すべての直交変
換係数が予め定めるしきい値に満たないブロックを無効
ブロックと判断し、前記符号量予測対象フレームの無効
ブロック数を検出する。符号量算出部は、前記無効ブロ
ック数検出部によって検出された無効ブロック数から、
有効ブロック数を求め、 （有効ブロック数）＝（総ブロック数）−（無効ブロッ
ク数） （発生符号量）＝（直前に符号化されたフレームの有効
ブロック数に対する発生符号量）×（有効ブロック数） 前記計算式に基づき、符号量予測対象フレームを符号化
した際に発生する符号量を算出する。
【００５７】以上のように、前記符号量予測手段は、所
要時間が長くかかる動きベクトル検出の処理を行うこと
なく、前記フレーム間差分値に基づいて符号量予測対象
フレームの符号量を予測するので、短時間で符号量予測
対象フレームの符号量を予測することができる。従っ
て、本発明の画像符号化装置は、前記第２の判断手段の
判断時間を短い時間に留めることができ、伝送中のフレ
ームが表示不能となった後、画像記憶手段に記憶してい
る画像データのうちから表示画像の駒落としを最小限に
留めることが可能な画像データを速やかに選択し、伝送
することができる。
要時間が長くかかる動きベクトル検出の処理を行うこと
なく、前記フレーム間差分値に基づいて符号量予測対象
フレームの符号量を予測するので、短時間で符号量予測
対象フレームの符号量を予測することができる。従っ
て、本発明の画像符号化装置は、前記第２の判断手段の
判断時間を短い時間に留めることができ、伝送中のフレ
ームが表示不能となった後、画像記憶手段に記憶してい
る画像データのうちから表示画像の駒落としを最小限に
留めることが可能な画像データを速やかに選択し、伝送
することができる。
【００５８】請求項６記載の本発明に従えば、請求項３
記載の画像符号化装置の前記符号量予測手段において、
最新フレームナンバー記憶部は、前記画像記憶手段に記
憶されているフレームのうち最新フレームのフレームナ
ンバーを記憶する。符号量予測制御部は、前記第１の判
断手段が伝送中のフレームの表示不能を判断した時点
で、前記符号化手段に、前記最新フレームナンバー記憶
手段に記憶されているフレームナンバーの画像データ
を、伝送済み最新フレームを参照フレームとして符号化
しその発生符号量を検出するよう指示し、前記発生符号
量が前記第２の判断手段の判断対象フレームの発生符号
量となるものと予測する。
記載の画像符号化装置の前記符号量予測手段において、
最新フレームナンバー記憶部は、前記画像記憶手段に記
憶されているフレームのうち最新フレームのフレームナ
ンバーを記憶する。符号量予測制御部は、前記第１の判
断手段が伝送中のフレームの表示不能を判断した時点
で、前記符号化手段に、前記最新フレームナンバー記憶
手段に記憶されているフレームナンバーの画像データ
を、伝送済み最新フレームを参照フレームとして符号化
しその発生符号量を検出するよう指示し、前記発生符号
量が前記第２の判断手段の判断対象フレームの発生符号
量となるものと予測する。
【００５９】以上のように、第１の判断手段および第２
の判断手段は、変数の少ない簡単な演算で各フレームの
表示の可否を判断するので、表示の可否の判断に要する
時間を短時間に留めることができる。請求項７記載の本
発明に従えば、参照フレーム記憶手段は、少なくとも１
フレーム分の画像データを記憶する記憶容量を備え、予
め定めるフレームを記憶する。符号化手段は、入力され
たフレームの画像データを予め定めるフレーム間隔で画
像サンプルし、画像サンプルした前記画像データを前記
参照フレーム記憶手段に記憶されている伝送済み最新フ
レームから現在伝送中のフレームまでの少なくとも予め
定める１フレームを参照フレームとして予測符号化す
る。符号化データ記憶手段は、少なくとも１フレーム分
の符号化データを記憶する記憶領域を備え、前記符号化
手段によって符号化された符号化データを、予測符号化
の参照フレームとされたフレームと対応付けて記憶す
る。伝送手段は、前記符号化手段によって符号化された
符号化データを、伝送路を介して受信側に伝送する。
の判断手段は、変数の少ない簡単な演算で各フレームの
表示の可否を判断するので、表示の可否の判断に要する
時間を短時間に留めることができる。請求項７記載の本
発明に従えば、参照フレーム記憶手段は、少なくとも１
フレーム分の画像データを記憶する記憶容量を備え、予
め定めるフレームを記憶する。符号化手段は、入力され
たフレームの画像データを予め定めるフレーム間隔で画
像サンプルし、画像サンプルした前記画像データを前記
参照フレーム記憶手段に記憶されている伝送済み最新フ
レームから現在伝送中のフレームまでの少なくとも予め
定める１フレームを参照フレームとして予測符号化す
る。符号化データ記憶手段は、少なくとも１フレーム分
の符号化データを記憶する記憶領域を備え、前記符号化
手段によって符号化された符号化データを、予測符号化
の参照フレームとされたフレームと対応付けて記憶す
る。伝送手段は、前記符号化手段によって符号化された
符号化データを、伝送路を介して受信側に伝送する。
【００６０】第１の判断手段は、予め定める時間毎に、
伝送中のフレームの表示の可否を、現時点からそのフレ
ームの画像を表示すべき時点までの残り時間と、そのフ
レームの伝送時間と、そのフレームの復号時間とに基づ
いて判断する。制御手段は、前記第１の判断手段が伝送
中のフレームを表示不能と判断した場合、前記記憶領域
に記憶されている符号化データのうち、予め定めるフレ
ームを参照フレームとする符号化データを読みだして前
記第２の判断手段に転送し、第２の判断手段は、前記制
御手段によって転送されてくる、前記符号化データ記憶
手段に記憶されている各フレームについて、そのフレー
ムの表示の可否を、現時点からそのフレームの画像を表
示すべき時点までの残り時間と、そのフレームの伝送時
間と、そのフレームの復号時間とに基づいて判断する。
さらに、制御手段は、前記第２の判断手段が前記フレー
ムを表示可能と判断した場合、前記フレームの符号化デ
ータを前記記憶領域から読み出して前記伝送手段に出力
するよう前記符号化データ記憶手段を制御する。
伝送中のフレームの表示の可否を、現時点からそのフレ
ームの画像を表示すべき時点までの残り時間と、そのフ
レームの伝送時間と、そのフレームの復号時間とに基づ
いて判断する。制御手段は、前記第１の判断手段が伝送
中のフレームを表示不能と判断した場合、前記記憶領域
に記憶されている符号化データのうち、予め定めるフレ
ームを参照フレームとする符号化データを読みだして前
記第２の判断手段に転送し、第２の判断手段は、前記制
御手段によって転送されてくる、前記符号化データ記憶
手段に記憶されている各フレームについて、そのフレー
ムの表示の可否を、現時点からそのフレームの画像を表
示すべき時点までの残り時間と、そのフレームの伝送時
間と、そのフレームの復号時間とに基づいて判断する。
さらに、制御手段は、前記第２の判断手段が前記フレー
ムを表示可能と判断した場合、前記フレームの符号化デ
ータを前記記憶領域から読み出して前記伝送手段に出力
するよう前記符号化データ記憶手段を制御する。
【００６１】前記符号化データ記憶手段は、すでに予測
符号化した符号化データを記憶しているので、伝送中の
フレームが表示不能となった場合に、前記第２の判断手
段は、速やかに符号量を検出し、表示の可否を判断する
ことができる。また、伝送に際しても改めて符号化する
必要がなく、表示可能と判断した符号化データを速やか
に伝送することができる。
符号化した符号化データを記憶しているので、伝送中の
フレームが表示不能となった場合に、前記第２の判断手
段は、速やかに符号量を検出し、表示の可否を判断する
ことができる。また、伝送に際しても改めて符号化する
必要がなく、表示可能と判断した符号化データを速やか
に伝送することができる。
【００６２】請求項８記載の本発明に従えば、請求項７
記載の画像符号化装置の前記符号化データ記憶手段にお
いて、ｎ（ｎは自然数）個の符号化データメモリは、そ
れぞれの記憶領域に各フレームの符号化データを記憶す
る。書き込み制御手段は、前記符号化手段から入力され
る符号化データを、それぞれのフレームナンバーとその
符号化データの参照フレームとされたフレームのフレー
ムナンバーとに対応づけて前記符号化データメモリに順
次、書き込む。
記載の画像符号化装置の前記符号化データ記憶手段にお
いて、ｎ（ｎは自然数）個の符号化データメモリは、そ
れぞれの記憶領域に各フレームの符号化データを記憶す
る。書き込み制御手段は、前記符号化手段から入力され
る符号化データを、それぞれのフレームナンバーとその
符号化データの参照フレームとされたフレームのフレー
ムナンバーとに対応づけて前記符号化データメモリに順
次、書き込む。
【００６３】前記制御手段は、前記第１の判断手段が伝
送中のフレームを表示不能と判断した場合、前記符号化
データメモリに記憶されている符号化データをフレーム
ナンバーの小さいものから順次読み出して前記第２の判
断手段に転送し、前記第２の判断手段が前記フレームを
表示可能と判断した場合、表示可能と判断された前記フ
レームの符号化データのうち予め定めるフレームを参照
フレームとする符号化データを前記ｎ個の符号化データ
メモリから読み出して前記伝送手段に出力するよう前記
符号化データ記憶手段を制御する。
送中のフレームを表示不能と判断した場合、前記符号化
データメモリに記憶されている符号化データをフレーム
ナンバーの小さいものから順次読み出して前記第２の判
断手段に転送し、前記第２の判断手段が前記フレームを
表示可能と判断した場合、表示可能と判断された前記フ
レームの符号化データのうち予め定めるフレームを参照
フレームとする符号化データを前記ｎ個の符号化データ
メモリから読み出して前記伝送手段に出力するよう前記
符号化データ記憶手段を制御する。
【００６４】符号量の少ない符号化データは、表示まで
の残り時間が少なくても表示できる場合が発生する。従
って、符号化データメモリの数を適切に選ぶことによっ
て、伝送中のフレームが表示不能となった場合に発生す
る表示画像の駒落としを最小限に留めることができる符
号化データを、前記符号化データメモリに記憶しておく
ことができる。
の残り時間が少なくても表示できる場合が発生する。従
って、符号化データメモリの数を適切に選ぶことによっ
て、伝送中のフレームが表示不能となった場合に発生す
る表示画像の駒落としを最小限に留めることができる符
号化データを、前記符号化データメモリに記憶しておく
ことができる。
【００６５】請求項９記載の本発明に従えば、請求項８
記載の画像符号化装置の前記伝送手段において、送信バ
ッファは、前記符号化手段から出力された符号化データ
を記憶する。伝送制御手段は、前記送信バッファに記憶
された符号化データを先入れ先出しで伝送路に出力し、
伝送路に出力した符号化データについて、受信側からの
送達確認が取れた場合は次の符号化データを伝送路に出
力し、送達確認が取れない場合は再送するよう前記送信
バッファおよび伝送路を制御する。
記載の画像符号化装置の前記伝送手段において、送信バ
ッファは、前記符号化手段から出力された符号化データ
を記憶する。伝送制御手段は、前記送信バッファに記憶
された符号化データを先入れ先出しで伝送路に出力し、
伝送路に出力した符号化データについて、受信側からの
送達確認が取れた場合は次の符号化データを伝送路に出
力し、送達確認が取れない場合は再送するよう前記送信
バッファおよび伝送路を制御する。
【００６６】また、前記第１の判断手段において、未送
信符号量検出手段は、伝送中のフレームの前記送信バッ
ファ内の未送信符号量を検出する。第１の伝送時間算出
手段は、前記未送信符号量検出手段によって検出された
未送信符号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する。第１の復号時間算出手
段は、前記符号化手段によって符号化されたフレームの
発生符号量を検出して記憶し、 （そのフレームの復号時間）＝（発生符号量）／（予め
定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する。第１の残り時間検出手段は、現時点から伝送中
のフレームの画像を受信側の表示装置に表示すべき時点
までの残り時間を検出する。第１の比較手段は、前記復
号時間と前記伝送時間との和と前記残り時間とを比較す
る。
信符号量検出手段は、伝送中のフレームの前記送信バッ
ファ内の未送信符号量を検出する。第１の伝送時間算出
手段は、前記未送信符号量検出手段によって検出された
未送信符号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する。第１の復号時間算出手
段は、前記符号化手段によって符号化されたフレームの
発生符号量を検出して記憶し、 （そのフレームの復号時間）＝（発生符号量）／（予め
定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する。第１の残り時間検出手段は、現時点から伝送中
のフレームの画像を受信側の表示装置に表示すべき時点
までの残り時間を検出する。第１の比較手段は、前記復
号時間と前記伝送時間との和と前記残り時間とを比較す
る。
【００６７】前記第１の判断手段は、前記第１の比較手
段の比較結果に基づいて、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断する。
段の比較結果に基づいて、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断する。
【００６８】さらに、前記第２の判断手段において、符
号量検出手段は、前記符号化データ記憶手段に記憶され
ている符号化データの符号量を検出する。第２の伝送時
間算出手段は、前記符号量検出手段によって検出された
符号量から、 （そのフレームの伝送時間）＝（そのフレームの符号
量）／（予め定める伝送速度） 前記計算式に基づいて、符号化データ記憶手段に記憶さ
れているフレームの伝送時間を算出する。第２の復号時
間算出手段は、前記符号量検出手段によって検出された
符号量から、 （そのフレームの復号時間）＝（そのフレームの符号
量）／（予め定める復号速度） 前記計算式に基づき、前記符号化データ記憶手段に記憶
されているフレームの復号時間を算出する。第２の残り
時間検出手段は、前記符号化データ記憶手段に記憶され
ている符号化データについて、現時点から前記符号化デ
ータのフレームの画像を受信側の表示装置に表示すべき
時点までの残り時間を検出する。第２の比較手段は、前
記復号時間と前記伝送時間との和と前記残り時間とを比
較する。
号量検出手段は、前記符号化データ記憶手段に記憶され
ている符号化データの符号量を検出する。第２の伝送時
間算出手段は、前記符号量検出手段によって検出された
符号量から、 （そのフレームの伝送時間）＝（そのフレームの符号
量）／（予め定める伝送速度） 前記計算式に基づいて、符号化データ記憶手段に記憶さ
れているフレームの伝送時間を算出する。第２の復号時
間算出手段は、前記符号量検出手段によって検出された
符号量から、 （そのフレームの復号時間）＝（そのフレームの符号
量）／（予め定める復号速度） 前記計算式に基づき、前記符号化データ記憶手段に記憶
されているフレームの復号時間を算出する。第２の残り
時間検出手段は、前記符号化データ記憶手段に記憶され
ている符号化データについて、現時点から前記符号化デ
ータのフレームの画像を受信側の表示装置に表示すべき
時点までの残り時間を検出する。第２の比較手段は、前
記復号時間と前記伝送時間との和と前記残り時間とを比
較する。
【００６９】前記第２の判断手段は、前記第２の比較手
段の比較結果に基づいて、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの伝送時間）＋（そのフレームの
復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断する。従って、前記第１の判断手段および前記第
２の判断手段は、簡単な演算で各フレームの表示の可否
を判断することができ、表示の可否の判断に要する時間
を短時間に留めることができる。請求項１０記載の本発
明に従えば、請求項９記載の画像符号化装置の前記第１
の残り時間検出手段および前記第２の残り時間検出手段
において、初期値出力部は、予め定める平滑化時間を出
力する。タイマーは、予め定める経過時間ごとに信号を
出力する。第１のセレクタは、２入力１出力のセレクタ
であって、前記２入力のうち１入力に前記初期値出力部
から出力される平滑化時間を入力し、前記制御手段から
の選択信号により、前記２入力のうちから１入力を選択
して出力する。経過時間減算部は、前記タイマーからの
信号を検出する毎に、前記第１のセレクタの出力から前
記経過時間を減算し、前記第１の比較手段に出力する。
第１から第ｎまでの加算部は、ｎ個の加算部を備え、そ
れぞれ第ｋ（ｋは１からｎまでの自然数）の加算部は、
前記経過時間減算部の出力にそれぞれｋ×（前記経過時
間）を加算する。第２のセレクタは前記制御手段からの
選択信号により、前記第１から第ｎまでの加算部の出力
のうちから１信号を選択して前記第２の比較手段および
第１のセレクタに出力する。
段の比較結果に基づいて、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの伝送時間）＋（そのフレームの
復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断する。従って、前記第１の判断手段および前記第
２の判断手段は、簡単な演算で各フレームの表示の可否
を判断することができ、表示の可否の判断に要する時間
を短時間に留めることができる。請求項１０記載の本発
明に従えば、請求項９記載の画像符号化装置の前記第１
の残り時間検出手段および前記第２の残り時間検出手段
において、初期値出力部は、予め定める平滑化時間を出
力する。タイマーは、予め定める経過時間ごとに信号を
出力する。第１のセレクタは、２入力１出力のセレクタ
であって、前記２入力のうち１入力に前記初期値出力部
から出力される平滑化時間を入力し、前記制御手段から
の選択信号により、前記２入力のうちから１入力を選択
して出力する。経過時間減算部は、前記タイマーからの
信号を検出する毎に、前記第１のセレクタの出力から前
記経過時間を減算し、前記第１の比較手段に出力する。
第１から第ｎまでの加算部は、ｎ個の加算部を備え、そ
れぞれ第ｋ（ｋは１からｎまでの自然数）の加算部は、
前記経過時間減算部の出力にそれぞれｋ×（前記経過時
間）を加算する。第２のセレクタは前記制御手段からの
選択信号により、前記第１から第ｎまでの加算部の出力
のうちから１信号を選択して前記第２の比較手段および
第１のセレクタに出力する。
【００７０】前記制御手段は、動作開始時には、第１の
セレクタに前記２入力のうちから前記初期値出力部の出
力を選択する選択信号を出力し、前記第２の判断手段が
判断を開始する毎に、前記第２のセレクタに前記第１か
ら第ｎまでの加算部の出力を順次選択する選択信号を出
力し、第１の判断手段が伝送中のフレームの表示不能を
判断してから前記第２の判断手段が最初に表示可能と判
断したときには、前記第１のセレクタに、そのときの前
記第２のセレクタの出力を選択する選択信号を出力す
る。
セレクタに前記２入力のうちから前記初期値出力部の出
力を選択する選択信号を出力し、前記第２の判断手段が
判断を開始する毎に、前記第２のセレクタに前記第１か
ら第ｎまでの加算部の出力を順次選択する選択信号を出
力し、第１の判断手段が伝送中のフレームの表示不能を
判断してから前記第２の判断手段が最初に表示可能と判
断したときには、前記第１のセレクタに、そのときの前
記第２のセレクタの出力を選択する選択信号を出力す
る。
【００７１】従って、前記第１の残り時間検出手段と前
記第２の残り時間検出手段とは、タイマーの信号毎に伝
送中のフレームと前記画像記憶手段に記憶している画像
データの残り時間を同時に検出することができ、伝送中
のフレームの表示不能が判断されてから後に、前記第２
の判断手段の判断対象フレームの残り時間を演算するこ
となく、速やかに表示の可否を判断することができる。
記第２の残り時間検出手段とは、タイマーの信号毎に伝
送中のフレームと前記画像記憶手段に記憶している画像
データの残り時間を同時に検出することができ、伝送中
のフレームの表示不能が判断されてから後に、前記第２
の判断手段の判断対象フレームの残り時間を演算するこ
となく、速やかに表示の可否を判断することができる。
【００７２】請求項１１記載の本発明に従えば、請求項
４および請求項１０記載の画像符号化装置の前記第２の
残り時間検出手段において、第１から第ｎの減算部は、
さらに、前記第１から第ｎまでの加算部の出力から伝送
中のフレームの未送信符号化データの伝送時間を減算
し、前記第２のセレクタに出力する。従って、前記第１
から第ｎの減算部の出力は、伝送中のフレームに続くフ
レームの残り時間から伝送中のフレームの未送信符号量
が減算された値を示す。伝送中のフレームが表示不能と
判断される前に、伝送中のフレームに続くフレームの表
示の可否を判断することができる。また、伝送中のフレ
ームが表示不能と判断されたときは、伝送中のフレーム
の送信バッファ内の未送信符号化データは廃棄されるの
で、前記第１から第ｎの減算部に入力される未送信符号
化データの伝送時間は「０」となり、前記第１から第ｎ
の減算部からは伝送中のフレームに続くフレームの残り
時間が前記第２のセレクタに出力される。
４および請求項１０記載の画像符号化装置の前記第２の
残り時間検出手段において、第１から第ｎの減算部は、
さらに、前記第１から第ｎまでの加算部の出力から伝送
中のフレームの未送信符号化データの伝送時間を減算
し、前記第２のセレクタに出力する。従って、前記第１
から第ｎの減算部の出力は、伝送中のフレームに続くフ
レームの残り時間から伝送中のフレームの未送信符号量
が減算された値を示す。伝送中のフレームが表示不能と
判断される前に、伝送中のフレームに続くフレームの表
示の可否を判断することができる。また、伝送中のフレ
ームが表示不能と判断されたときは、伝送中のフレーム
の送信バッファ内の未送信符号化データは廃棄されるの
で、前記第１から第ｎの減算部に入力される未送信符号
化データの伝送時間は「０」となり、前記第１から第ｎ
の減算部からは伝送中のフレームに続くフレームの残り
時間が前記第２のセレクタに出力される。
【００７３】請求項１２記載の本発明に従えば、請求項
４および請求項１０記載の画像符号化装置の前記第１の
残り時間検出手段および前記第２の残り時間検出手段に
おいて、前記第１から第ｎまでの加算部および第２のセ
レクタに代えて、時間差検出部は、伝送中のフレームが
画像サンプルされた時点から、画像記憶手段に記憶され
ているフレームが画像サンプルされた時点までの時間差
を、画像記憶手段に記憶されているフレームが伝送中の
フレームより先のフレームである場合には負の値として
検出する。時間差加算部は、前記時間差検出部からの時
間差を、前記経過時間減算部の出力に加算し前記第２の
比較手段と前記第１のセレクタとに出力する。
４および請求項１０記載の画像符号化装置の前記第１の
残り時間検出手段および前記第２の残り時間検出手段に
おいて、前記第１から第ｎまでの加算部および第２のセ
レクタに代えて、時間差検出部は、伝送中のフレームが
画像サンプルされた時点から、画像記憶手段に記憶され
ているフレームが画像サンプルされた時点までの時間差
を、画像記憶手段に記憶されているフレームが伝送中の
フレームより先のフレームである場合には負の値として
検出する。時間差加算部は、前記時間差検出部からの時
間差を、前記経過時間減算部の出力に加算し前記第２の
比較手段と前記第１のセレクタとに出力する。
【００７４】従って、第２の判断手段は、伝送中のフレ
ームより先に画像サンプルされた画像データの表示の可
否を判断することができる。請求項１３記載の本発明に
従えば、請求項７記載の画像符号化装置の符号化データ
記憶手段において、符号化データメモリは、１つの符号
化データを記憶する記憶領域を備える。書き込み制御手
段は、前記符号化制御手段から入力される符号化データ
のうち、伝送中のフレームより後に画像サンプルされた
予め定めるフレームであって、伝送済み最新フレームを
参照フレームとする符号化データを、それぞれのフレー
ムナンバーとその符号化データの参照フレームとされた
フレームのフレームナンバーとに対応づけて前記符号化
データメモリに書き込む。
ームより先に画像サンプルされた画像データの表示の可
否を判断することができる。請求項１３記載の本発明に
従えば、請求項７記載の画像符号化装置の符号化データ
記憶手段において、符号化データメモリは、１つの符号
化データを記憶する記憶領域を備える。書き込み制御手
段は、前記符号化制御手段から入力される符号化データ
のうち、伝送中のフレームより後に画像サンプルされた
予め定めるフレームであって、伝送済み最新フレームを
参照フレームとする符号化データを、それぞれのフレー
ムナンバーとその符号化データの参照フレームとされた
フレームのフレームナンバーとに対応づけて前記符号化
データメモリに書き込む。
【００７５】前記制御手段は、前記第１の判断手段が伝
送中のフレームを表示不能と判断した場合、前記符号化
データメモリに記憶されている符号化データを読み出し
て前記第２の判断手段に転送し、前記第２の判断手段が
前記フレームを表示可能と判断した場合、前記フレーム
の符号化データを前記符号化データメモリから読み出し
て前記伝送手段に出力するよう前記符号化データ記憶手
段を制御する。
送中のフレームを表示不能と判断した場合、前記符号化
データメモリに記憶されている符号化データを読み出し
て前記第２の判断手段に転送し、前記第２の判断手段が
前記フレームを表示可能と判断した場合、前記フレーム
の符号化データを前記符号化データメモリから読み出し
て前記伝送手段に出力するよう前記符号化データ記憶手
段を制御する。
【００７６】ここで、符号量の少ない符号化データは、
そのフレームの残り時間が少ない場合でも表示できる可
能性が高い。従って、符号量の少ない符号化データを前
記符号化データメモリ内に記憶しておくことによって、
その符号化データが表示可能となる場合には、伝送中の
フレームが表示不能となった場合に発生する表示画像の
駒落としを低減することができる。
そのフレームの残り時間が少ない場合でも表示できる可
能性が高い。従って、符号量の少ない符号化データを前
記符号化データメモリ内に記憶しておくことによって、
その符号化データが表示可能となる場合には、伝送中の
フレームが表示不能となった場合に発生する表示画像の
駒落としを低減することができる。
【００７７】請求項１４記載の本発明に従えば、符号化
手段は、フレーム順に入力される各フレームを予測符号
化する。伝送手段は、伝送すべき符号化データを記憶す
る送信バッファを備え、前記符号化手段によって符号化
された符号化データを送信バッファに蓄えるとともに、
前記送信バッファから前記符号化データをフレーム順に
とりだし、伝送路を介して受信側に伝送する。第１の判
断手段は、伝送中のフレームが画像サンプルから始まる
平滑化時間終了時点で受信側の表示装置に表示可能か否
かを判断する。
手段は、フレーム順に入力される各フレームを予測符号
化する。伝送手段は、伝送すべき符号化データを記憶す
る送信バッファを備え、前記符号化手段によって符号化
された符号化データを送信バッファに蓄えるとともに、
前記送信バッファから前記符号化データをフレーム順に
とりだし、伝送路を介して受信側に伝送する。第１の判
断手段は、伝送中のフレームが画像サンプルから始まる
平滑化時間終了時点で受信側の表示装置に表示可能か否
かを判断する。
【００７８】画像データ再現手段は、前記第１の判断手
段が伝送中のフレームを表示不能と判断するまでは前記
符号化手段が符号化した符号化データについて符号化処
理と逆の処理を行って入力時のフレームの画像データを
復号データで近似的に再現し、前記第１の判断手段が伝
送中のフレームを表示不能と判断した場合、その時点で
送信バッファに残っている全てのフレームの未送信符号
化データについて前述と同様に再現する。再現画像記憶
手段は、少なくとも４フレーム分の再現された画像デー
タを記憶する記憶領域を備え、前記画像データ再現手段
によって再現されたフレームの中で送達確認がとれた最
新のフレームと前記符号化手段が符号化した最新のフレ
ームとを未送信符号化データから再現されたフレームと
区別して格納する。
段が伝送中のフレームを表示不能と判断するまでは前記
符号化手段が符号化した符号化データについて符号化処
理と逆の処理を行って入力時のフレームの画像データを
復号データで近似的に再現し、前記第１の判断手段が伝
送中のフレームを表示不能と判断した場合、その時点で
送信バッファに残っている全てのフレームの未送信符号
化データについて前述と同様に再現する。再現画像記憶
手段は、少なくとも４フレーム分の再現された画像デー
タを記憶する記憶領域を備え、前記画像データ再現手段
によって再現されたフレームの中で送達確認がとれた最
新のフレームと前記符号化手段が符号化した最新のフレ
ームとを未送信符号化データから再現されたフレームと
区別して格納する。
【００７９】第２の判断手段は、前記送信バッファに残
っているすべてのフレームについて、画像サンプルから
始まる平滑化時間終了時点で受信側の表示装置に表示可
能か否かを判断する。制御手段は、前記画像データ再現
手段で再現した画像データであって前記第２の判断手段
が表示可能と判断したフレームのうち最初のフレームに
ついて送達確認がとれた最新のフレームを参照フレーム
として符号化し、それに続くフレームについては新たな
入力フレームと同様に直前に符号化したフレームを参照
フレームとして符号化し、前記伝送手段に転送するよう
前記符号化手段を制御する。 以上のように本発明に従
えば、画像符号化装置は、前記第１の判断手段が伝送中
のフレームを表示不能と判断した後、送信バッファ内に
記憶されている未送信符号化データから符号化前の画像
データを復号データで再現し、再現された画像データの
うち第２の判断手段によって表示可能と判断されたフレ
ームを符号化して伝送することができる。従って、従来
の画像符号化装置と比較して、伝送中のフレームが表示
不能となった場合の駒落としを低減することができる。
また、本発明の画像符号化装置は、再現画像データ記憶
手段を効率よく使用して、伝送中のフレームが表示不能
となった時点で送信バッファ内に記憶されている未送信
符号化データを再現することができる。
っているすべてのフレームについて、画像サンプルから
始まる平滑化時間終了時点で受信側の表示装置に表示可
能か否かを判断する。制御手段は、前記画像データ再現
手段で再現した画像データであって前記第２の判断手段
が表示可能と判断したフレームのうち最初のフレームに
ついて送達確認がとれた最新のフレームを参照フレーム
として符号化し、それに続くフレームについては新たな
入力フレームと同様に直前に符号化したフレームを参照
フレームとして符号化し、前記伝送手段に転送するよう
前記符号化手段を制御する。 以上のように本発明に従
えば、画像符号化装置は、前記第１の判断手段が伝送中
のフレームを表示不能と判断した後、送信バッファ内に
記憶されている未送信符号化データから符号化前の画像
データを復号データで再現し、再現された画像データの
うち第２の判断手段によって表示可能と判断されたフレ
ームを符号化して伝送することができる。従って、従来
の画像符号化装置と比較して、伝送中のフレームが表示
不能となった場合の駒落としを低減することができる。
また、本発明の画像符号化装置は、再現画像データ記憶
手段を効率よく使用して、伝送中のフレームが表示不能
となった時点で送信バッファ内に記憶されている未送信
符号化データを再現することができる。
【００８０】請求項１５記載の本発明に従えば、請求項
１４記載の画像符号化装置の前記第１の判断手段におい
て、未送信符号量検出手段は、伝送中のフレームの前記
送信バッファ内の未送信符号量を検出する。第１の伝送
時間算出手段は、前記未送信符号量検出手段によって検
出された未送信符号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する。第１の復号時間算出手
段は、前記符号化手段によって符号化されたフレームの
発生符号量を検出して記憶し、 （そのフレームの復号時間）＝（発生符号量）／（予め
定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する。第１の残り時間検出手段は、現時点から伝送中
のフレームの画像を受信側の表示装置に表示すべき時点
までの残り時間を検出する。第１の比較手段は、前記伝
送時間と前記復号時間との和と前記残り時間とを比較す
る。
１４記載の画像符号化装置の前記第１の判断手段におい
て、未送信符号量検出手段は、伝送中のフレームの前記
送信バッファ内の未送信符号量を検出する。第１の伝送
時間算出手段は、前記未送信符号量検出手段によって検
出された未送信符号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する。第１の復号時間算出手
段は、前記符号化手段によって符号化されたフレームの
発生符号量を検出して記憶し、 （そのフレームの復号時間）＝（発生符号量）／（予め
定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する。第１の残り時間検出手段は、現時点から伝送中
のフレームの画像を受信側の表示装置に表示すべき時点
までの残り時間を検出する。第１の比較手段は、前記伝
送時間と前記復号時間との和と前記残り時間とを比較す
る。
【００８１】前記第１の判断手段は、前記第１の比較手
段の比較結果に基づいて、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断する。
段の比較結果に基づいて、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断する。
【００８２】また、前記第２の判断手段において、符号
量予測手段は、前記再現画像記憶手段に記憶されている
フレームについて、前記フレームの再現画像データを符
号化した際に発生する符号量を予測する。第２の伝送時
間算出手段は、前記符号量予測手段によって予測された
符号量から、 （そのフレームの伝送時間）＝（そのフレームの予測符
号量）／（予め定める伝送速度） 前記計算式に基づいて、再現画像記憶手段に記憶されて
いるフレームの伝送時間を算出する。符号化時間算出手
段は、前記符号量予測手段によって予測された予測符号
量から、 （そのフレームの符号化時間）＝（そのフレームの予測
符号量）／（予め定められる符号化速度） 前記計算式に基づいて、再現画像記憶手段に記憶されて
いるフレームの符号化時間を算出する。第２の復号時間
算出手段は、前記符号量予測手段によって予測された符
号量から、 （そのフレームの復号時間）＝（そのフレームの予測符
号量）／（予め定める復号速度） 前記計算式に基づいて、再現画像記憶手段に記憶されて
いるフレームの復号時間を算出する。第２の残り時間検
出手段は、前記再現画像記憶手段に記憶されているフレ
ームについて、現時点から前記フレームの画像を受信側
の表示装置に表示すべき時点までの残り時間を検出す
る。第２の比較手段は、前記符号化時間と前記伝送時間
と前記復号時間との和と前記残り時間とを比較する。
量予測手段は、前記再現画像記憶手段に記憶されている
フレームについて、前記フレームの再現画像データを符
号化した際に発生する符号量を予測する。第２の伝送時
間算出手段は、前記符号量予測手段によって予測された
符号量から、 （そのフレームの伝送時間）＝（そのフレームの予測符
号量）／（予め定める伝送速度） 前記計算式に基づいて、再現画像記憶手段に記憶されて
いるフレームの伝送時間を算出する。符号化時間算出手
段は、前記符号量予測手段によって予測された予測符号
量から、 （そのフレームの符号化時間）＝（そのフレームの予測
符号量）／（予め定められる符号化速度） 前記計算式に基づいて、再現画像記憶手段に記憶されて
いるフレームの符号化時間を算出する。第２の復号時間
算出手段は、前記符号量予測手段によって予測された符
号量から、 （そのフレームの復号時間）＝（そのフレームの予測符
号量）／（予め定める復号速度） 前記計算式に基づいて、再現画像記憶手段に記憶されて
いるフレームの復号時間を算出する。第２の残り時間検
出手段は、前記再現画像記憶手段に記憶されているフレ
ームについて、現時点から前記フレームの画像を受信側
の表示装置に表示すべき時点までの残り時間を検出す
る。第２の比較手段は、前記符号化時間と前記伝送時間
と前記復号時間との和と前記残り時間とを比較する。
【００８３】前記第２の判断手段は、前記第２の比較手
段の比較結果に基づいて、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの符号化時間）＋（そのフレーム
の伝送時間）＋（そのフレームの復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断する。
段の比較結果に基づいて、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの符号化時間）＋（そのフレーム
の伝送時間）＋（そのフレームの復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断する。
【００８４】従って、前記第１の判断手段および前記第
２の判断手段は、変数の少ない簡単な演算で各フレーム
の表示の可否を判断することができ、表示の可否の判断
に要する時間を短時間に留めることができる。請求項１
６記載の本発明に従えば、請求項１５記載の画像符号化
装置の前記符号量予測手段において、フレーム間差分値
検出部は、符号量予測対象フレームの中の１ブロックの
画像データと伝送済み最新フレームの中で前記ブロック
と同一位置に相当するブロックの復号データとの単純な
差分値を求めることによって、前記符号量予測対象フレ
ームのフレーム間差分値を検出する。直交変換部は、前
記フレーム間差分値検出部からのフレーム間差分値を直
交変換する。無効ブロック検出部は、前記直交変換部に
よる直交変換の結果、すべての直交変換係数が予め定め
るしきい値に満たないブロックを無効ブロックと判断
し、前記符号量予測対象フレームの無効ブロック数を検
出する。符号量算出部は、前記無効ブロック数検出部に
よって検出された無効ブロック数から、有効ブロック数
を求め、 （有効ブロック数）＝（総ブロック数）−（無効ブロッ
ク数） （発生符号量）＝（直前に符号化されたフレームの有効
ブロック数に対する発生符号量）×（有効ブロック数） 前記計算式に基づき、符号量予測対象フレームを符号化
した際に発生する符号量を算出する。
２の判断手段は、変数の少ない簡単な演算で各フレーム
の表示の可否を判断することができ、表示の可否の判断
に要する時間を短時間に留めることができる。請求項１
６記載の本発明に従えば、請求項１５記載の画像符号化
装置の前記符号量予測手段において、フレーム間差分値
検出部は、符号量予測対象フレームの中の１ブロックの
画像データと伝送済み最新フレームの中で前記ブロック
と同一位置に相当するブロックの復号データとの単純な
差分値を求めることによって、前記符号量予測対象フレ
ームのフレーム間差分値を検出する。直交変換部は、前
記フレーム間差分値検出部からのフレーム間差分値を直
交変換する。無効ブロック検出部は、前記直交変換部に
よる直交変換の結果、すべての直交変換係数が予め定め
るしきい値に満たないブロックを無効ブロックと判断
し、前記符号量予測対象フレームの無効ブロック数を検
出する。符号量算出部は、前記無効ブロック数検出部に
よって検出された無効ブロック数から、有効ブロック数
を求め、 （有効ブロック数）＝（総ブロック数）−（無効ブロッ
ク数） （発生符号量）＝（直前に符号化されたフレームの有効
ブロック数に対する発生符号量）×（有効ブロック数） 前記計算式に基づき、符号量予測対象フレームを符号化
した際に発生する符号量を算出する。
【００８５】前記符号量予測手段は、所要時間が長くか
かる動きベクトル検出の処理を行うことなく、前記フレ
ーム間差分値に基づいて符号量予測対象フレームの符号
量を予測するので、前記第２の判断手段の判断時間を短
い時間に留めることができる。従って、画像符号化装置
は、伝送中のフレームが表示不能となった後、表示画像
の駒落としを最小限に留めることが可能な画像データを
速やかに伝送することができる。
かる動きベクトル検出の処理を行うことなく、前記フレ
ーム間差分値に基づいて符号量予測対象フレームの符号
量を予測するので、前記第２の判断手段の判断時間を短
い時間に留めることができる。従って、画像符号化装置
は、伝送中のフレームが表示不能となった後、表示画像
の駒落としを最小限に留めることが可能な画像データを
速やかに伝送することができる。
【００８６】請求項１７記載の本発明に従えば、請求項
１５記載の画像符号化装置の前記符号量予測手段におい
て、符号量予測制御部は、前記第１の判断手段が伝送中
のフレームの表示不能を判断した時点で、前記符号化手
段に、伝送中のフレームの表示不能が判断される直前に
符号化されたフレームであって復号されたものを符号化
対象フレームとして、伝送済み最新フレームを参照フレ
ームとして符号化し、その発生符号量を検出するよう指
示し、前記発生符号量が前記第２の判断手段の判断対象
フレームの発生符号量となるものと予測する。
１５記載の画像符号化装置の前記符号量予測手段におい
て、符号量予測制御部は、前記第１の判断手段が伝送中
のフレームの表示不能を判断した時点で、前記符号化手
段に、伝送中のフレームの表示不能が判断される直前に
符号化されたフレームであって復号されたものを符号化
対象フレームとして、伝送済み最新フレームを参照フレ
ームとして符号化し、その発生符号量を検出するよう指
示し、前記発生符号量が前記第２の判断手段の判断対象
フレームの発生符号量となるものと予測する。
【００８７】ここで、伝送中のフレームの表示不能が判
断される直前に符号化されたフレームというのは、送信
バッファ内に記憶されているフレームのうちの最新フレ
ームであって、このフレームはすでに前記再現画像記憶
手段内に格納されている。従って、前記判断対象フレー
ムの発生符号量を予測するには、前記再現画像記憶手段
内に再現された最新フレームを、伝送済み最新フレーム
を参照フレームとして符号化し、その符号量を検出する
だけでよい。
断される直前に符号化されたフレームというのは、送信
バッファ内に記憶されているフレームのうちの最新フレ
ームであって、このフレームはすでに前記再現画像記憶
手段内に格納されている。従って、前記判断対象フレー
ムの発生符号量を予測するには、前記再現画像記憶手段
内に再現された最新フレームを、伝送済み最新フレーム
を参照フレームとして符号化し、その符号量を検出する
だけでよい。
【００８８】請求項１８記載の本発明に従えば、請求項
１４記載の画像符号化装置において、画像記憶手段は、
少なくとも１フレーム分の画像データを記憶する記憶領
域を備える。メモリ制御手段は、伝送エラー中に入力さ
れるフレームを、前記画像記憶手段に記憶させ、前記再
現画像記憶手段に記憶された再現画像データのうちの最
後のフレームが符号化手段へ転送された後、前記画像記
憶手段に記憶されている各フレームの画像データを読み
出し符号化手段へ転送する。
１４記載の画像符号化装置において、画像記憶手段は、
少なくとも１フレーム分の画像データを記憶する記憶領
域を備える。メモリ制御手段は、伝送エラー中に入力さ
れるフレームを、前記画像記憶手段に記憶させ、前記再
現画像記憶手段に記憶された再現画像データのうちの最
後のフレームが符号化手段へ転送された後、前記画像記
憶手段に記憶されている各フレームの画像データを読み
出し符号化手段へ転送する。
【００８９】従って、本発明に従えば、従来の画像符号
化装置では伝送エラー中に入力される画像データを記憶
しておくための記憶手段を備えていないことによって生
じていた表示画像の駒落としを防止することができる。
請求項１９記載の本発明に従えば、請求項１８記載の画
像符号化装置の前記第１の判断手段において、未送信符
号量検出手段は、伝送中のフレームの前記送信バッファ
内の未送信符号量を検出する。第１の伝送時間算出手段
は、前記未送信符号量検出手段によって検出された未送
信符号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する。第１の復号時間算出手
段は、前記符号化手段によって符号化されたフレームの
発生符号量を検出して記憶し、 （そのフレームの復号時間）＝（発生符号量）／（予め
定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する。第１の残り時間検出手段は、現時点から伝送中
のフレームの画像を受信側の表示装置に表示すべき時点
までの残り時間を検出する。第１の比較手段は、前記伝
送時間と前記復号時間との和と前記残り時間とを比較す
る。
化装置では伝送エラー中に入力される画像データを記憶
しておくための記憶手段を備えていないことによって生
じていた表示画像の駒落としを防止することができる。
請求項１９記載の本発明に従えば、請求項１８記載の画
像符号化装置の前記第１の判断手段において、未送信符
号量検出手段は、伝送中のフレームの前記送信バッファ
内の未送信符号量を検出する。第１の伝送時間算出手段
は、前記未送信符号量検出手段によって検出された未送
信符号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する。第１の復号時間算出手
段は、前記符号化手段によって符号化されたフレームの
発生符号量を検出して記憶し、 （そのフレームの復号時間）＝（発生符号量）／（予め
定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する。第１の残り時間検出手段は、現時点から伝送中
のフレームの画像を受信側の表示装置に表示すべき時点
までの残り時間を検出する。第１の比較手段は、前記伝
送時間と前記復号時間との和と前記残り時間とを比較す
る。
【００９０】前記第１の判断手段は、前記第１の比較手
段の比較結果に基づいて、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断する。
段の比較結果に基づいて、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断する。
【００９１】また、第２の判断手段において、符号量予
測手段は、前記再現画像記憶手段および前記画像記憶手
段に記憶されているフレームについて、前記フレームの
再現画像データおよび画像データを符号化した際に発生
する符号量を予測する。第２の伝送時間算出手段は、前
記符号量予測手段によって予測された符号量から、 （そのフレームの伝送時間）＝（そのフレームの予測符
号量）／（予め定める伝送速度） 前記計算式に基づいて、前記再現画像記憶手段および前
記画像記憶手段に記憶されているフレームの伝送時間を
算出する。符号化時間算出手段は、前記符号量予測手段
によって予測された予測符号量から、 （そのフレームの符号化時間）＝（そのフレームの予測
符号量）／（予め定める符号化速度） 前記計算式に基づき、前記再現画像記憶手段および前記
画像記憶手段に記憶されているフレームの符号化時間を
算出する。第２の復号時間算出手段は、前記符号量予測
手段によって予測された予測符号量から、 （そのフレームの復号時間）＝（そのフレームの予測符
号量）／（予め定める復号速度） 前記計算式に基づき、前記再現画像記憶手段および前記
画像記憶手段に記憶されているフレームの復号時間を算
出する。第２の残り時間検出手段は、前記再現画像記憶
手段および前記画像記憶手段に記憶されているフレーム
について、現時点から前記フレームの画像を受信側の表
示装置に表示すべき時点までの残り時間を検出する。第
２の比較手段は、前記符号化時間と前記伝送時間と前記
復号時間との和と前記残り時間とを比較する。
測手段は、前記再現画像記憶手段および前記画像記憶手
段に記憶されているフレームについて、前記フレームの
再現画像データおよび画像データを符号化した際に発生
する符号量を予測する。第２の伝送時間算出手段は、前
記符号量予測手段によって予測された符号量から、 （そのフレームの伝送時間）＝（そのフレームの予測符
号量）／（予め定める伝送速度） 前記計算式に基づいて、前記再現画像記憶手段および前
記画像記憶手段に記憶されているフレームの伝送時間を
算出する。符号化時間算出手段は、前記符号量予測手段
によって予測された予測符号量から、 （そのフレームの符号化時間）＝（そのフレームの予測
符号量）／（予め定める符号化速度） 前記計算式に基づき、前記再現画像記憶手段および前記
画像記憶手段に記憶されているフレームの符号化時間を
算出する。第２の復号時間算出手段は、前記符号量予測
手段によって予測された予測符号量から、 （そのフレームの復号時間）＝（そのフレームの予測符
号量）／（予め定める復号速度） 前記計算式に基づき、前記再現画像記憶手段および前記
画像記憶手段に記憶されているフレームの復号時間を算
出する。第２の残り時間検出手段は、前記再現画像記憶
手段および前記画像記憶手段に記憶されているフレーム
について、現時点から前記フレームの画像を受信側の表
示装置に表示すべき時点までの残り時間を検出する。第
２の比較手段は、前記符号化時間と前記伝送時間と前記
復号時間との和と前記残り時間とを比較する。
【００９２】前記第２の判断手段は、前記第２の比較手
段の比較結果に基づいて、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの符号化時間）＋（そのフレーム
の伝送時間）＋（そのフレームの復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断する。
段の比較結果に基づいて、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの符号化時間）＋（そのフレーム
の伝送時間）＋（そのフレームの復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断する。
【００９３】従って、前記第１の判断手段および前記第
２の判断手段は、変数の少ない簡単な演算で各フレーム
の表示の可否を判断することができ、表示の可否の判断
に要する時間を短時間に留めることができる。請求項２
０記載の本発明に従えば、請求項１５および請求項１９
記載の画像符号化装置の前記第１の残り時間検出手段お
よび前記第２の残り時間検出手段において、初期値出力
部は、予め定める平滑化時間を出力する。タイマーは、
予め定める経過時間ごとに信号を出力する。第１のセレ
クタは、２入力１出力のセレクタであって、前記２入力
のうち１入力に前記初期値出力部から出力される平滑化
時間を入力し、前記制御手段からの選択信号により、前
記２入力のうちから１入力を選択して出力する。経過時
間減算部は、前記タイマーからの信号を検出する毎に、
前記第１のセレクタの出力から前記経過時間を減算し、
前記第１の比較手段に出力する。第１から第ｎまでの加
算部は、ｎ個の加算部を備え、それぞれ第ｋ（ｋは１か
らｎまでの自然数）の加算部は前記経過時間減算部の出
力にそれぞれｋ×（前記経過時間）を加算する。第２の
セレクタは、前記制御手段からの選択信号により、前記
第１から第ｎまでの加算部の出力のうちから１信号を選
択して前記第２の比較手段および第１のセレクタに出力
する。
２の判断手段は、変数の少ない簡単な演算で各フレーム
の表示の可否を判断することができ、表示の可否の判断
に要する時間を短時間に留めることができる。請求項２
０記載の本発明に従えば、請求項１５および請求項１９
記載の画像符号化装置の前記第１の残り時間検出手段お
よび前記第２の残り時間検出手段において、初期値出力
部は、予め定める平滑化時間を出力する。タイマーは、
予め定める経過時間ごとに信号を出力する。第１のセレ
クタは、２入力１出力のセレクタであって、前記２入力
のうち１入力に前記初期値出力部から出力される平滑化
時間を入力し、前記制御手段からの選択信号により、前
記２入力のうちから１入力を選択して出力する。経過時
間減算部は、前記タイマーからの信号を検出する毎に、
前記第１のセレクタの出力から前記経過時間を減算し、
前記第１の比較手段に出力する。第１から第ｎまでの加
算部は、ｎ個の加算部を備え、それぞれ第ｋ（ｋは１か
らｎまでの自然数）の加算部は前記経過時間減算部の出
力にそれぞれｋ×（前記経過時間）を加算する。第２の
セレクタは、前記制御手段からの選択信号により、前記
第１から第ｎまでの加算部の出力のうちから１信号を選
択して前記第２の比較手段および第１のセレクタに出力
する。
【００９４】前記制御手段は、動作開始時には、第１の
セレクタに前記２入力のうちから前記初期値出力部の出
力を選択する選択信号を出力し、前記第２の判断手段が
判断を開始する毎に、前記第２のセレクタに前記第１か
ら第ｎまでの加算部の出力を順次選択する選択信号を出
力し、前記第１の判断手段が伝送中のフレームの表示不
能を判断してから、前記第２の判断手段が最初に表示可
能と判断したときには、前記第１のセレクタに、そのと
きの前記第２のセレクタの出力を選択する選択信号を出
力する。
セレクタに前記２入力のうちから前記初期値出力部の出
力を選択する選択信号を出力し、前記第２の判断手段が
判断を開始する毎に、前記第２のセレクタに前記第１か
ら第ｎまでの加算部の出力を順次選択する選択信号を出
力し、前記第１の判断手段が伝送中のフレームの表示不
能を判断してから、前記第２の判断手段が最初に表示可
能と判断したときには、前記第１のセレクタに、そのと
きの前記第２のセレクタの出力を選択する選択信号を出
力する。
【００９５】従って、前記第１の残り時間検出手段と前
記第２の残り時間検出手段とは、タイマーの信号毎に伝
送中のフレームと前記画像記憶手段に記憶している画像
データの残り時間を同時に検出することができ、伝送中
のフレームの表示不能が判断されてから後に、前記第２
の判断手段の判断対象フレームの残り時間を演算するこ
となく、速やかに表示の可否を判断することができる。
記第２の残り時間検出手段とは、タイマーの信号毎に伝
送中のフレームと前記画像記憶手段に記憶している画像
データの残り時間を同時に検出することができ、伝送中
のフレームの表示不能が判断されてから後に、前記第２
の判断手段の判断対象フレームの残り時間を演算するこ
となく、速やかに表示の可否を判断することができる。
【００９６】請求項２１記載の本発明に従えば、請求項
２０記載の画像符号化装置の前記第２の残り時間検出手
段において、第１から第ｎの減算部は、さらに、前記第
１から第ｎまでの加算部の出力から伝送中のフレームの
未送信符号化データの伝送時間を減算し、前記第２のセ
レクタに出力する。従って、前記第２の判断手段は、伝
送中のフレームが表示不能と判断される前に、伝送中の
フレームに続くフレームの表示の可否を判断することが
できる。また、伝送中のフレームが表示不能と判断され
たときは、伝送中のフレームの送信バッファ内の未送信
符号化データは廃棄されるので、前記第１から第ｎの減
算部に入力される未送信符号化データの伝送時間は
「０」となり、前記第１から第ｎの減算部からは伝送中
のフレームに続くフレームの残り時間が前記第２のセレ
クタに出力される。
２０記載の画像符号化装置の前記第２の残り時間検出手
段において、第１から第ｎの減算部は、さらに、前記第
１から第ｎまでの加算部の出力から伝送中のフレームの
未送信符号化データの伝送時間を減算し、前記第２のセ
レクタに出力する。従って、前記第２の判断手段は、伝
送中のフレームが表示不能と判断される前に、伝送中の
フレームに続くフレームの表示の可否を判断することが
できる。また、伝送中のフレームが表示不能と判断され
たときは、伝送中のフレームの送信バッファ内の未送信
符号化データは廃棄されるので、前記第１から第ｎの減
算部に入力される未送信符号化データの伝送時間は
「０」となり、前記第１から第ｎの減算部からは伝送中
のフレームに続くフレームの残り時間が前記第２のセレ
クタに出力される。
【００９７】請求項２２記載の本発明に従えば、請求項
１９記載の画像符号化装置の前記符号量予測手段におい
て、フレーム間差分値検出部は、符号量予測対象フレー
ムの中の１ブロックの画像データと伝送済み最新フレー
ムの中で前記ブロックと同一位置に相当するブロックの
復号データとの単純な差分値を求めることによって、前
記符号量予測対象フレームのフレーム間差分値を検出す
る。直交変換部は、前記フレーム間差分値検出部からの
フレーム間差分値を直交変換する。無効ブロック検出部
は、前記直交変換部による直交変換の結果、すべての直
交変換係数が予め定めるしきい値に満たないブロックを
無効ブロックと判断し、前記符号量予測対象フレームの
無効ブロック数を検出する。符号量算出部は、前記無効
ブロック数検出部によって検出された無効ブロック数か
ら、有効ブロック数を求め、 （有効ブロック数）＝（総ブロック数）−（無効ブロッ
ク数） （発生符号量）＝（直前に符号化されたフレームの有効
ブロック数に対する発生符号量）×（有効ブロック数） 前記計算式に基づき、符号量予測対象フレームを符号化
した際に発生する符号量を算出する。
１９記載の画像符号化装置の前記符号量予測手段におい
て、フレーム間差分値検出部は、符号量予測対象フレー
ムの中の１ブロックの画像データと伝送済み最新フレー
ムの中で前記ブロックと同一位置に相当するブロックの
復号データとの単純な差分値を求めることによって、前
記符号量予測対象フレームのフレーム間差分値を検出す
る。直交変換部は、前記フレーム間差分値検出部からの
フレーム間差分値を直交変換する。無効ブロック検出部
は、前記直交変換部による直交変換の結果、すべての直
交変換係数が予め定めるしきい値に満たないブロックを
無効ブロックと判断し、前記符号量予測対象フレームの
無効ブロック数を検出する。符号量算出部は、前記無効
ブロック数検出部によって検出された無効ブロック数か
ら、有効ブロック数を求め、 （有効ブロック数）＝（総ブロック数）−（無効ブロッ
ク数） （発生符号量）＝（直前に符号化されたフレームの有効
ブロック数に対する発生符号量）×（有効ブロック数） 前記計算式に基づき、符号量予測対象フレームを符号化
した際に発生する符号量を算出する。
【００９８】前記符号量予測手段は、所要時間が長くか
かる動きベクトル検出の処理を行うことなく、前記フレ
ーム間差分値に基づいて符号量予測対象フレームの符号
量を予測するので、前記第２の判断手段の判断時間を短
い時間に留めることができる。従って、画像符号化装置
は、伝送中のフレームが表示不能となった後、表示画像
の駒落としを最小限に留めることが可能な画像データを
速やかに伝送することができる。
かる動きベクトル検出の処理を行うことなく、前記フレ
ーム間差分値に基づいて符号量予測対象フレームの符号
量を予測するので、前記第２の判断手段の判断時間を短
い時間に留めることができる。従って、画像符号化装置
は、伝送中のフレームが表示不能となった後、表示画像
の駒落としを最小限に留めることが可能な画像データを
速やかに伝送することができる。
【００９９】請求項２３記載の本発明に従えば、請求項
１９記載の画像符号化装置の前記符号量予測手段におい
て、最新フレームナンバー記憶部は、前記画像記憶手段
および再現画像記憶手段に記憶されているフレームのう
ち最新フレームのフレームナンバーを記憶する。符号量
予測制御部は、前記第１の判断手段が伝送中のフレーム
の表示不能を判断した時点で、前記符号化手段に前記最
新フレームナンバー記憶手段に記憶されているフレーム
ナンバーの画像データと再現画像データとを伝送済み最
新フレームを参照フレームとして符号化しその発生符号
量を検出するよう指示し、前記発生符号量が前記第２の
判断手段の判断対象フレームの発生符号量となるものと
予測する。
１９記載の画像符号化装置の前記符号量予測手段におい
て、最新フレームナンバー記憶部は、前記画像記憶手段
および再現画像記憶手段に記憶されているフレームのう
ち最新フレームのフレームナンバーを記憶する。符号量
予測制御部は、前記第１の判断手段が伝送中のフレーム
の表示不能を判断した時点で、前記符号化手段に前記最
新フレームナンバー記憶手段に記憶されているフレーム
ナンバーの画像データと再現画像データとを伝送済み最
新フレームを参照フレームとして符号化しその発生符号
量を検出するよう指示し、前記発生符号量が前記第２の
判断手段の判断対象フレームの発生符号量となるものと
予測する。
【０１００】従って、前記第１の判断手段および前記第
２の判断手段は、変数の少ない簡単な演算で各フレーム
の表示の可否を判断することができ、表示の可否の判断
に要する時間を短時間に留めることができる。
２の判断手段は、変数の少ない簡単な演算で各フレーム
の表示の可否を判断することができ、表示の可否の判断
に要する時間を短時間に留めることができる。
【０１０１】
【実施例】（実施例１）以下、本発明の実施例１につい
て図面を参照しながら説明する。図１は本発明の実施例
１である画像符号化装置の構成図である。図１に示すよ
うに画像符号化装置は、前処理装置１１５、画像記憶装
置１０３、符号化装置１０６、伝送制御装置１０７およ
び復号装置１３３を備える。
て図面を参照しながら説明する。図１は本発明の実施例
１である画像符号化装置の構成図である。図１に示すよ
うに画像符号化装置は、前処理装置１１５、画像記憶装
置１０３、符号化装置１０６、伝送制御装置１０７およ
び復号装置１３３を備える。
【０１０２】また、画像記憶装置１０３は、第１から第
ｎの画像メモリ１０１およびメモリ制御部１０２を備え
る。符号化装置１０６は、符号化部１０４および符号化
制御部１０５を備える。さらに、符号化部１０４は、動
き補償フレーム予測部１１６、ＤＣＴ１１７、量子化部
１１８、第１の可変長符号化部１１９、第２の可変長符
号化部１２０および多重化部１２１を備える。伝送制御
装置１０７は、タイマー１３０、フレーム選択部１０８
および伝送制御部１０９を備える。さらに、伝送制御部
１０９は、送信バッファ１２７、再送制御部１２８およ
び再送用バッファ１２９を備える。復号装置１３３は、
フレームメモリ１３１および復号部１３２を備える。
ｎの画像メモリ１０１およびメモリ制御部１０２を備え
る。符号化装置１０６は、符号化部１０４および符号化
制御部１０５を備える。さらに、符号化部１０４は、動
き補償フレーム予測部１１６、ＤＣＴ１１７、量子化部
１１８、第１の可変長符号化部１１９、第２の可変長符
号化部１２０および多重化部１２１を備える。伝送制御
装置１０７は、タイマー１３０、フレーム選択部１０８
および伝送制御部１０９を備える。さらに、伝送制御部
１０９は、送信バッファ１２７、再送制御部１２８およ
び再送用バッファ１２９を備える。復号装置１３３は、
フレームメモリ１３１および復号部１３２を備える。
【０１０３】第１から第ｎの画像メモリ１０１は、書込
み中に読み出し可能なデュアルポートメモリであって、
入力されるフレームの画像データをそれぞれフレームナ
ンバーに対応付けて記憶する。メモリ制御部１０２は、
第１のアドレスバス１２３および第１のデータバス１２
４を介して、第１から第ｎの画像メモリ１０１への画像
データの書き込みを制御し、第２のアドレスバス１２５
および第２のデータバス１２６を介して、第１から第ｎ
の画像メモリ１０１からの画像データの読出しを制御す
る。
み中に読み出し可能なデュアルポートメモリであって、
入力されるフレームの画像データをそれぞれフレームナ
ンバーに対応付けて記憶する。メモリ制御部１０２は、
第１のアドレスバス１２３および第１のデータバス１２
４を介して、第１から第ｎの画像メモリ１０１への画像
データの書き込みを制御し、第２のアドレスバス１２５
および第２のデータバス１２６を介して、第１から第ｎ
の画像メモリ１０１からの画像データの読出しを制御す
る。
【０１０４】画像記憶装置１０３は、入力されるフレー
ムの画像データを、入力されるフレーム毎に第１から第
ｎの画像メモリ１０１に順次、記憶する。また、第１か
ら第ｎの画像メモリ１０１内にすでにｎフレーム分の画
像データが記憶されている場合には、最もフレームナン
バーの小さい画像データが最新のフレームの画像データ
で書き換えられる。
ムの画像データを、入力されるフレーム毎に第１から第
ｎの画像メモリ１０１に順次、記憶する。また、第１か
ら第ｎの画像メモリ１０１内にすでにｎフレーム分の画
像データが記憶されている場合には、最もフレームナン
バーの小さい画像データが最新のフレームの画像データ
で書き換えられる。
【０１０５】さらに、画像記憶装置１０３は、伝送中の
フレームが、伝送エラーによって、そのフレームの画像
サンプルから始まる平滑化時間の終了時点で受信側の表
示装置に表示不能となったことが、後述のフレーム選択
部１０８によって判断されたときは、記憶した画像デー
タを前記第１から第ｎの画像メモリ１０１から後述の符
号化装置１０６に出力する。なお、第１から第ｎの画像
メモリ１０１内に記憶されている画像データのうち、後
述のフレーム選択部１０８によって、そのフレームの画
像を表示すべき時点に受信側の表示装置に表示すること
ができないと判断された画像データは、廃棄される。
フレームが、伝送エラーによって、そのフレームの画像
サンプルから始まる平滑化時間の終了時点で受信側の表
示装置に表示不能となったことが、後述のフレーム選択
部１０８によって判断されたときは、記憶した画像デー
タを前記第１から第ｎの画像メモリ１０１から後述の符
号化装置１０６に出力する。なお、第１から第ｎの画像
メモリ１０１内に記憶されている画像データのうち、後
述のフレーム選択部１０８によって、そのフレームの画
像を表示すべき時点に受信側の表示装置に表示すること
ができないと判断された画像データは、廃棄される。
【０１０６】動き補償フレーム予測部１１６は、表示不
能の伝送フレームが生じるまでは、従来と同様にして動
きベクトルを求め、予測誤差信号を出力する。また、伝
送中のフレームが表示不能になったときには、後述のフ
レーム選択部１０８からの指示によって、復号装置１３
３内のフレームメモリ１３１から伝送済み最新フレーム
の復号データを読み出し、第１から第ｎの画像メモリ１
０１から読み出される各フレームの画像データとのフレ
ーム間差分値を求める。
能の伝送フレームが生じるまでは、従来と同様にして動
きベクトルを求め、予測誤差信号を出力する。また、伝
送中のフレームが表示不能になったときには、後述のフ
レーム選択部１０８からの指示によって、復号装置１３
３内のフレームメモリ１３１から伝送済み最新フレーム
の復号データを読み出し、第１から第ｎの画像メモリ１
０１から読み出される各フレームの画像データとのフレ
ーム間差分値を求める。
【０１０７】前記フレーム間差分値は、第１から第ｎの
画像メモリ１０１から読み出される各フレームの１ブロ
ックの画像データと、前記伝送済み最新フレームの中で
前記ブロックに対して同じ位置にあるブロックの画像デ
ータとの間で単純に差分を求めることによって得られ
る。すなわち、フレーム間差分値は、前記両フレーム間
の動きベクトルを求めることなく得られる。このように
して、１フレーム内の前ブロックのフレーム間差分値を
求めることにより、１フレーム分のフレーム間差分値が
求められる。動き補償フレーム予測部１１６は、前述の
ようにして求めたフレーム間差分値を、後述のフレーム
選択部１０８にフレーム間差分信号として出力する。
画像メモリ１０１から読み出される各フレームの１ブロ
ックの画像データと、前記伝送済み最新フレームの中で
前記ブロックに対して同じ位置にあるブロックの画像デ
ータとの間で単純に差分を求めることによって得られ
る。すなわち、フレーム間差分値は、前記両フレーム間
の動きベクトルを求めることなく得られる。このように
して、１フレーム内の前ブロックのフレーム間差分値を
求めることにより、１フレーム分のフレーム間差分値が
求められる。動き補償フレーム予測部１１６は、前述の
ようにして求めたフレーム間差分値を、後述のフレーム
選択部１０８にフレーム間差分信号として出力する。
【０１０８】符号化制御部１０５は、符号化後送信バッ
ファ１２７に出力される伝送フレームの発生符号量およ
び伝送中のフレームの未送信符号量を検出し、前記発生
符号量および前記未送信符号量をフレーム選択部１０８
に出力する。なお、ＤＣＴ１１７、量子化部１１８、第
１の可変長符号化部１１９、第２の可変長符号化部１２
０および多重化部１２１については、従来の技術と同様
であるので、ここでは説明を省略する。
ファ１２７に出力される伝送フレームの発生符号量およ
び伝送中のフレームの未送信符号量を検出し、前記発生
符号量および前記未送信符号量をフレーム選択部１０８
に出力する。なお、ＤＣＴ１１７、量子化部１１８、第
１の可変長符号化部１１９、第２の可変長符号化部１２
０および多重化部１２１については、従来の技術と同様
であるので、ここでは説明を省略する。
【０１０９】タイマー１３０は、一定時間毎に、ここで
は１フレーム時間毎に値が変化する信号を出力する。フ
レーム選択部１０８は、まず、伝送中のフレームについ
て、現時点から伝送中のフレームの画像を受信側の表示
装置に表示すべき時点までの残り時間を算出し、符号化
制御部１０５から出力される前述の未送信符号量から伝
送中のフレームの復号時間を求める。さらに伝送中のフ
レームの未送信データの符号量および伝送路の伝送速度
とから、前記残り時間内に伝送中のフレームの未送信デ
ータの伝送を完了し、かつ、前記伝送中のフレームの復
号を完了することができるかどうかを一定時間毎に判断
する。
は１フレーム時間毎に値が変化する信号を出力する。フ
レーム選択部１０８は、まず、伝送中のフレームについ
て、現時点から伝送中のフレームの画像を受信側の表示
装置に表示すべき時点までの残り時間を算出し、符号化
制御部１０５から出力される前述の未送信符号量から伝
送中のフレームの復号時間を求める。さらに伝送中のフ
レームの未送信データの符号量および伝送路の伝送速度
とから、前記残り時間内に伝送中のフレームの未送信デ
ータの伝送を完了し、かつ、前記伝送中のフレームの復
号を完了することができるかどうかを一定時間毎に判断
する。
【０１１０】さらに、フレーム選択部１０８は、フェー
ジングによるバーストエラーなどの伝送エラーによって
伝送時間が長引き、伝送中のフレームを、その画像サン
プルから始まる平滑化時間Ｔの終了時点で受信側の表示
装置に表示することができないと判断した場合、まず、
前記第１から第ｎの画像メモリ１０１に記憶されている
各フレームの画像データについて、順次、動き補償フレ
ーム予測部１１６から出力されるフレーム間差分値に基
づいて発生符号量を予測し、符号化時間と復号時間とを
求める。また、フレーム選択部１０８は、伝送中のフレ
ームの表示不能を判断した時点から前記画像データを表
示すべき時点までの残り時間を求める。ここで、前記残
り時間から処理時間、すなわち、前記符号化時間と前記
復号時間との和を引いた時間内に、前記発生符号量を有
するフレームの符号化データの伝送を完了できるかどう
か、すなわち、前記フレームの画像をその画像データの
画像サンプルから始まる平滑化時間Ｔの終了時点で受信
側の表示装置に表示できるかどうかを判断する。
ジングによるバーストエラーなどの伝送エラーによって
伝送時間が長引き、伝送中のフレームを、その画像サン
プルから始まる平滑化時間Ｔの終了時点で受信側の表示
装置に表示することができないと判断した場合、まず、
前記第１から第ｎの画像メモリ１０１に記憶されている
各フレームの画像データについて、順次、動き補償フレ
ーム予測部１１６から出力されるフレーム間差分値に基
づいて発生符号量を予測し、符号化時間と復号時間とを
求める。また、フレーム選択部１０８は、伝送中のフレ
ームの表示不能を判断した時点から前記画像データを表
示すべき時点までの残り時間を求める。ここで、前記残
り時間から処理時間、すなわち、前記符号化時間と前記
復号時間との和を引いた時間内に、前記発生符号量を有
するフレームの符号化データの伝送を完了できるかどう
か、すなわち、前記フレームの画像をその画像データの
画像サンプルから始まる平滑化時間Ｔの終了時点で受信
側の表示装置に表示できるかどうかを判断する。
【０１１１】前述のようにして、フレーム選択部１０８
は、前記第１から第ｎの画像メモリ１０１内に記憶され
ている各フレームの画像データについて前述の表示の可
否を判断し、前記第１から第ｎの画像メモリ１０１に記
憶されている画像データのうちから、それぞれの画像サ
ンプルから始まる平滑化時間Ｔの終了時点で受信側の表
示装置に表示することができるフレームであって、か
つ、それらのうちでフレームナンバーが最も小さいフレ
ームを選択する。
は、前記第１から第ｎの画像メモリ１０１内に記憶され
ている各フレームの画像データについて前述の表示の可
否を判断し、前記第１から第ｎの画像メモリ１０１に記
憶されている画像データのうちから、それぞれの画像サ
ンプルから始まる平滑化時間Ｔの終了時点で受信側の表
示装置に表示することができるフレームであって、か
つ、それらのうちでフレームナンバーが最も小さいフレ
ームを選択する。
【０１１２】送信バッファ１２７、再送制御部１２８、
再送用バッファ１２９および前処理装置１１５について
は従来の技術と同様であるので、ここでは説明を省略す
る。なお、前処理装置１１５において、ＮＴＳＣ／ＣＩ
Ｆ変換部１１３によって中間フォーマットとしてＣＩＦ
を選択しているが、この段階で、ＱＣＩＦを選択しても
よい。ＱＣＩＦを選択した場合、第１から第ｎの画像メ
モリ１０１に記憶しておく画像データの量が、ＣＩＦを
選択した場合の１／４となり、第１から第ｎの画像メモ
リ１０１のメモリ容量を小さくすることができる。
再送用バッファ１２９および前処理装置１１５について
は従来の技術と同様であるので、ここでは説明を省略す
る。なお、前処理装置１１５において、ＮＴＳＣ／ＣＩ
Ｆ変換部１１３によって中間フォーマットとしてＣＩＦ
を選択しているが、この段階で、ＱＣＩＦを選択しても
よい。ＱＣＩＦを選択した場合、第１から第ｎの画像メ
モリ１０１に記憶しておく画像データの量が、ＣＩＦを
選択した場合の１／４となり、第１から第ｎの画像メモ
リ１０１のメモリ容量を小さくすることができる。
【０１１３】フレームメモリ１３１は、少なくとも２フ
レーム分の画像データを記憶する記憶領域を備え、その
１フレーム分の記憶領域に、符号化部１０４によって符
号化されたフレームであって、予測誤差を求める前のそ
のフレームの画像データに相当する復号データを記憶す
る。また、さらに、他の記憶領域に伝送済み最新フレー
ムの復号データを記憶する。復号部１３２は、予測誤差
に基づく符号化データを復号し、フレームメモリ１３１
内に記憶されている前記符号化データの直前に復号され
たフレームの復号データと多重化することにより、現在
符号化中のフレームを復号する。
レーム分の画像データを記憶する記憶領域を備え、その
１フレーム分の記憶領域に、符号化部１０４によって符
号化されたフレームであって、予測誤差を求める前のそ
のフレームの画像データに相当する復号データを記憶す
る。また、さらに、他の記憶領域に伝送済み最新フレー
ムの復号データを記憶する。復号部１３２は、予測誤差
に基づく符号化データを復号し、フレームメモリ１３１
内に記憶されている前記符号化データの直前に復号され
たフレームの復号データと多重化することにより、現在
符号化中のフレームを復号する。
【０１１４】図２は、実施例１の画像符号化装置におけ
るフレーム選択部１０８の構成図である。図２に示すよ
うに前述のフレーム選択部１０８は、フレーム限界値算
出部５０２、発生符号量予測部５０３、処理時間算出部
５０７、第２の判断部５０８および制御部５０９を備え
る。フレーム限界値算出部５０２は、伝送中のフレーム
のフレーム限界値に基づいて、伝送中のフレームが、そ
の画像サンプルから始まる平滑化時間が終了する時点
で、受信側の表示装置に表示可能であるかどうかを一定
時間毎に判断し、伝送中のフレームを表示不能と判断し
た時点で、表示不能信号を制御部５０９に出力する。こ
こで、フレーム限界値とは、現時点から各フレームの画
像が表示されるべき時点までに伝送可能な最大符号量を
いう。
るフレーム選択部１０８の構成図である。図２に示すよ
うに前述のフレーム選択部１０８は、フレーム限界値算
出部５０２、発生符号量予測部５０３、処理時間算出部
５０７、第２の判断部５０８および制御部５０９を備え
る。フレーム限界値算出部５０２は、伝送中のフレーム
のフレーム限界値に基づいて、伝送中のフレームが、そ
の画像サンプルから始まる平滑化時間が終了する時点
で、受信側の表示装置に表示可能であるかどうかを一定
時間毎に判断し、伝送中のフレームを表示不能と判断し
た時点で、表示不能信号を制御部５０９に出力する。こ
こで、フレーム限界値とは、現時点から各フレームの画
像が表示されるべき時点までに伝送可能な最大符号量を
いう。
【０１１５】制御部５０９は、フレーム限界値算出部５
０２から出力される伝送中のフレームについての表示不
能信号を検出すると、メモリ制御部１０２に、第１から
第ｎの画像メモリ１０１に記憶されている、伝送中のフ
レームに続くフレームの画像データを符号化装置１０６
に転送するよう指示する。次いで、符号化装置１０６
に、第１から第ｎの画像メモリ１０１から転送されてき
たフレームの画像データのフレーム間差分値を求め、前
記フレーム間差分値を発生符号量予測部５０３に出力す
るよう指示する。
０２から出力される伝送中のフレームについての表示不
能信号を検出すると、メモリ制御部１０２に、第１から
第ｎの画像メモリ１０１に記憶されている、伝送中のフ
レームに続くフレームの画像データを符号化装置１０６
に転送するよう指示する。次いで、符号化装置１０６
に、第１から第ｎの画像メモリ１０１から転送されてき
たフレームの画像データのフレーム間差分値を求め、前
記フレーム間差分値を発生符号量予測部５０３に出力す
るよう指示する。
【０１１６】また、フレーム限界値算出部５０２は、制
御部５０９からの指示に基づき、第１から第ｎの画像メ
モリ１０１に記憶されているフレームのフレーム限界値
を算出し、前記フレーム限界値を第２の判断部５０８に
順次、出力する。なお、フレーム限界値算出部５０２の
詳細な構成およびフレーム限界値算出方法については、
後述する。
御部５０９からの指示に基づき、第１から第ｎの画像メ
モリ１０１に記憶されているフレームのフレーム限界値
を算出し、前記フレーム限界値を第２の判断部５０８に
順次、出力する。なお、フレーム限界値算出部５０２の
詳細な構成およびフレーム限界値算出方法については、
後述する。
【０１１７】発生符号量予測部５０３は、前述の符号化
装置１０６から出力されるフレーム間差分信号に基づい
て、第１から第ｎの画像メモリ１０１から読み出した各
フレームの画像データを符号化した場合に発生する符号
量を予測し、前記発生符号量を処理時間算出部５０７お
よび第２の判断部５０８に出力する。なお、発生符号量
予測部５０３の詳細な構成及び発生符号量予測方法につ
いては、後述する。
装置１０６から出力されるフレーム間差分信号に基づい
て、第１から第ｎの画像メモリ１０１から読み出した各
フレームの画像データを符号化した場合に発生する符号
量を予測し、前記発生符号量を処理時間算出部５０７お
よび第２の判断部５０８に出力する。なお、発生符号量
予測部５０３の詳細な構成及び発生符号量予測方法につ
いては、後述する。
【０１１８】処理時間算出部５０７は、伝送中のフレー
ムについては、符号化制御部１０５から出力される発生
符号量に基づき、伝送中のフレームの処理量を算出す
る。ここで、処理量とは、符号化時間と復号時間との和
で表される処理時間の間に伝送可能な符号量をいう。符
号化速度は符号化装置に応じて一定であり、復号速度は
復号装置に応じて一定である。従って、前記各フレーム
の画像データの符号化時間および復号時間は、発生符号
量に比例して求められる。
ムについては、符号化制御部１０５から出力される発生
符号量に基づき、伝送中のフレームの処理量を算出す
る。ここで、処理量とは、符号化時間と復号時間との和
で表される処理時間の間に伝送可能な符号量をいう。符
号化速度は符号化装置に応じて一定であり、復号速度は
復号装置に応じて一定である。従って、前記各フレーム
の画像データの符号化時間および復号時間は、発生符号
量に比例して求められる。
【０１１９】ただし、伝送中のフレームはすでに符号化
されているので、伝送中のフレームの表示の可否を判断
する際に符号化時間を考慮する必要はない。従って、処
理時間算出部５０７は、伝送中のフレームおよびすでに
符号化されているフレームについては、符号化時間を
「０」として処理時間を算出する。さらに、処理時間算
出部５０７は、このようにして求められた処理時間に、
伝送路の伝送速度を乗算した処理量を求め、フレーム限
界値算出部５０２に出力する。具体的には、処理時間算
出部５０７は、以下の計算式で示される演算を行う。
されているので、伝送中のフレームの表示の可否を判断
する際に符号化時間を考慮する必要はない。従って、処
理時間算出部５０７は、伝送中のフレームおよびすでに
符号化されているフレームについては、符号化時間を
「０」として処理時間を算出する。さらに、処理時間算
出部５０７は、このようにして求められた処理時間に、
伝送路の伝送速度を乗算した処理量を求め、フレーム限
界値算出部５０２に出力する。具体的には、処理時間算
出部５０７は、以下の計算式で示される演算を行う。
【０１２０】（処理量）＝（伝送速度）×｛（発生符号
量）／（復号速度）＋（発生符号量）／（符号化速
度）｝ また、処理時間算出部５０７は、第１から第ｎの画像メ
モリ１０１内に記憶されている各画像データについて
は、発生符号量予測部５０３で予測された発生符号量に
基づき、前記各フレームの画像データの処理時間を算出
する。さらに、前述と同様にして処理量を求め、第２の
判断部５０８に出力する。
量）／（復号速度）＋（発生符号量）／（符号化速
度）｝ また、処理時間算出部５０７は、第１から第ｎの画像メ
モリ１０１内に記憶されている各画像データについて
は、発生符号量予測部５０３で予測された発生符号量に
基づき、前記各フレームの画像データの処理時間を算出
する。さらに、前述と同様にして処理量を求め、第２の
判断部５０８に出力する。
【０１２１】処理時間算出部５０７が行う演算の内容
は、前述と同様の計算式による。第２の判断部５０８
は、伝送中のフレームがフレーム限界値算出部５０２に
よって表示不能と判断された場合、制御部５０９からの
指示に基づき、第１から第ｎの画像メモリ１０１内に記
憶されている画像データについて、フレーム限界値算出
部５０２が出力するフレーム限界値と、発生符号量算出
部５０３が出力する発生符号量と、処理時間算出部５０
７が出力する処理量とから、前記発生符号量が、前記フ
レーム限界値から前記処理量を減算した値以下であるフ
レームに対して表示可能と判断する。さらに、前述のよ
うにして表示可能と判断したフレームのうち、最もフレ
ームナンバーの小さいもの、すなわち、最初に表示可能
と判断したフレームを選択して、前記フレームのフレー
ムナンバーを制御部５０９に出力する。
は、前述と同様の計算式による。第２の判断部５０８
は、伝送中のフレームがフレーム限界値算出部５０２に
よって表示不能と判断された場合、制御部５０９からの
指示に基づき、第１から第ｎの画像メモリ１０１内に記
憶されている画像データについて、フレーム限界値算出
部５０２が出力するフレーム限界値と、発生符号量算出
部５０３が出力する発生符号量と、処理時間算出部５０
７が出力する処理量とから、前記発生符号量が、前記フ
レーム限界値から前記処理量を減算した値以下であるフ
レームに対して表示可能と判断する。さらに、前述のよ
うにして表示可能と判断したフレームのうち、最もフレ
ームナンバーの小さいもの、すなわち、最初に表示可能
と判断したフレームを選択して、前記フレームのフレー
ムナンバーを制御部５０９に出力する。
【０１２２】また、第２の判断部５０８は、前記フレー
ムを表示不能と判断したときは、表示不能信号を制御部
５０９に出力する。制御部５０９は、第２の判断部５０
８からの表示不能信号を検出したときには、メモリ制御
部１０２に、前記フレームの次のフレームの画像データ
を符号化装置１０６に転送するよう指示する。以下、表
示可能なフレームが見つかるまで、第１から第ｎの画像
メモリ１０１に記憶されている画像データの全てについ
て以上の動作を繰り返す。
ムを表示不能と判断したときは、表示不能信号を制御部
５０９に出力する。制御部５０９は、第２の判断部５０
８からの表示不能信号を検出したときには、メモリ制御
部１０２に、前記フレームの次のフレームの画像データ
を符号化装置１０６に転送するよう指示する。以下、表
示可能なフレームが見つかるまで、第１から第ｎの画像
メモリ１０１に記憶されている画像データの全てについ
て以上の動作を繰り返す。
【０１２３】以上のように構成された画像符号化装置に
ついて、その動作を図３を用いて説明する。図３は、本
発明の実施例１である画像符号化装置の動作を説明する
ためのタイミングチャートである。図３（ａ）は、動画
像を構成する各フレームの画像データが前処理装置１１
５から画像記憶装置１０３に入力されるタイミングを示
す。ここでは、前記各フレームの画像データは毎秒３０
フレームの割合で入力されている。図３（ｂ）に示す矢
印↑は符号化装置１０６が入力されるフレームを画像サ
ンプルするタイミングを示す。図３（ｃ）は、各フレー
ムの符号化に要する時間を示す。符号化時間はフレーム
間の予測誤差の画像データ量に応じて変動する。図３
（ｄ）は、各フレームの符号化データの伝送状態を示
す。図３（ｅ）は、各フレームの符号化データの復号時
間を示す。図３（ｆ）は、受信側の表示装置が復号され
た各フレームの画像データを表示装置に表示するタイミ
ングを示す。図３（ｆ）に丸印で示すのは、この表示タ
イミングに表示することができたフレームであり、×印
で示すのは、この表示タイミングに表示することができ
なかったフレームである。
ついて、その動作を図３を用いて説明する。図３は、本
発明の実施例１である画像符号化装置の動作を説明する
ためのタイミングチャートである。図３（ａ）は、動画
像を構成する各フレームの画像データが前処理装置１１
５から画像記憶装置１０３に入力されるタイミングを示
す。ここでは、前記各フレームの画像データは毎秒３０
フレームの割合で入力されている。図３（ｂ）に示す矢
印↑は符号化装置１０６が入力されるフレームを画像サ
ンプルするタイミングを示す。図３（ｃ）は、各フレー
ムの符号化に要する時間を示す。符号化時間はフレーム
間の予測誤差の画像データ量に応じて変動する。図３
（ｄ）は、各フレームの符号化データの伝送状態を示
す。図３（ｅ）は、各フレームの符号化データの復号時
間を示す。図３（ｆ）は、受信側の表示装置が復号され
た各フレームの画像データを表示装置に表示するタイミ
ングを示す。図３（ｆ）に丸印で示すのは、この表示タ
イミングに表示することができたフレームであり、×印
で示すのは、この表示タイミングに表示することができ
なかったフレームである。
【０１２４】図３ではフレームナンバー１およびフレー
ムナンバー４の画像はそれぞれの画像サンプルの時点か
ら始まる平滑化時間Ｔ＝８フレーム時間が終了する時点
で表示されるが、フレームナンバー１０の画像は画像サ
ンプルの時点から始まる平滑化時間Ｔ＝８フレーム時間
が終了する時点で復号が完了しなかったため表示されな
い。
ムナンバー４の画像はそれぞれの画像サンプルの時点か
ら始まる平滑化時間Ｔ＝８フレーム時間が終了する時点
で表示されるが、フレームナンバー１０の画像は画像サ
ンプルの時点から始まる平滑化時間Ｔ＝８フレーム時間
が終了する時点で復号が完了しなかったため表示されな
い。
【０１２５】本発明の画像符号化装置の動作は、伝送エ
ラーを生じないときは従来の画像符号化装置と同様であ
るので、説明を省略する。図３において、フレームナン
バー１０の画像はフレームナンバー１の画像と同様の予
測誤差に対応する画像データ量を有するものとする。す
なわち、符号化に２フレーム時間、最善の場合、すなわ
ち伝送に支障がなければ、伝送に３フレーム時間、復号
に１フレーム時間を要するものとする。従って、フレー
ムナンバー１０は、伝送エラーを生じた場合でも５フレ
ーム時間のうちに伝送を完了できれば、画像サンプルか
ら始まる平滑化時間Ｔ＝８フレーム時間が終了する時点
で受信側の表示装置に表示することができる。
ラーを生じないときは従来の画像符号化装置と同様であ
るので、説明を省略する。図３において、フレームナン
バー１０の画像はフレームナンバー１の画像と同様の予
測誤差に対応する画像データ量を有するものとする。す
なわち、符号化に２フレーム時間、最善の場合、すなわ
ち伝送に支障がなければ、伝送に３フレーム時間、復号
に１フレーム時間を要するものとする。従って、フレー
ムナンバー１０は、伝送エラーを生じた場合でも５フレ
ーム時間のうちに伝送を完了できれば、画像サンプルか
ら始まる平滑化時間Ｔ＝８フレーム時間が終了する時点
で受信側の表示装置に表示することができる。
【０１２６】ところが携帯用送信機を用いて動画像を送
信し、無線回線を介して受信側に伝送する場合には、フ
ェージングによるバーストエラーの発生は避け得ない。
このバーストエラーは携帯用送信機の移動速度が歩行速
度以下の場合、３〜６フレーム時間に達する。ここで、
フレームナンバー１０の伝送フレームを伝送中に前述の
ようなフェージングによるバーストエラーが４フレーム
時間に渡って発生したものとする。
信し、無線回線を介して受信側に伝送する場合には、フ
ェージングによるバーストエラーの発生は避け得ない。
このバーストエラーは携帯用送信機の移動速度が歩行速
度以下の場合、３〜６フレーム時間に達する。ここで、
フレームナンバー１０の伝送フレームを伝送中に前述の
ようなフェージングによるバーストエラーが４フレーム
時間に渡って発生したものとする。
【０１２７】図３（ｄ）に示すように、フレームナンバ
ー１０の画像は、もともと３フレーム時間で伝送できる
符号化データのうち２フレーム時間分の符号化データは
伝送エラーが発生する前に伝送されているため、あと１
フレーム時間の伝送時間と１フレーム時間の復号時間の
合計２フレーム時間があれば、受信側の表示装置で表示
することができる。すなわちフレームナンバー１６の画
像データを入力する時点までは、フレームナンバー１０
の画像を表示することができる。 伝送制御装置１０７
は、１フレーム時間毎に伝送中のフレームが受信側の表
示装置に表示可能かどうかを判断しており、フレームナ
ンバー１６の画像データが入力される時点でフレームナ
ンバー１０の表示の中止を判断し、メモリ制御部１０２
に第１から第ｎの画像メモリ１０１からの画像データの
読出を指示する。
ー１０の画像は、もともと３フレーム時間で伝送できる
符号化データのうち２フレーム時間分の符号化データは
伝送エラーが発生する前に伝送されているため、あと１
フレーム時間の伝送時間と１フレーム時間の復号時間の
合計２フレーム時間があれば、受信側の表示装置で表示
することができる。すなわちフレームナンバー１６の画
像データを入力する時点までは、フレームナンバー１０
の画像を表示することができる。 伝送制御装置１０７
は、１フレーム時間毎に伝送中のフレームが受信側の表
示装置に表示可能かどうかを判断しており、フレームナ
ンバー１６の画像データが入力される時点でフレームナ
ンバー１０の表示の中止を判断し、メモリ制御部１０２
に第１から第ｎの画像メモリ１０１からの画像データの
読出を指示する。
【０１２８】画像記憶装置１０３は入力されたフレーム
ナンバー１０の画像データを符号化部１０４に転送して
以後、フレームナンバー１１の画像データを第１の画像
メモリ１０１（１）に、フレームナンバー１２の画像デ
ータを第２の画像メモリ１０１（２）に、以下それに続
くフレームを順次第１から第ｎの画像メモリ１０１に記
憶している。
ナンバー１０の画像データを符号化部１０４に転送して
以後、フレームナンバー１１の画像データを第１の画像
メモリ１０１（１）に、フレームナンバー１２の画像デ
ータを第２の画像メモリ１０１（２）に、以下それに続
くフレームを順次第１から第ｎの画像メモリ１０１に記
憶している。
【０１２９】第１から第ｎの画像メモリ１０１に記憶さ
れている画像データのうち、フレームナンバー１１はフ
レームナンバー１９が入力される時点で表示する必要が
ある。同様に、フレームナンバー１２はフレームナンバ
ー２０が入力される時点で表示し、フレームナンバー１
３はフレームナンバー２１が入力される時点でそれぞれ
表示する必要がある。フレーム選択部１０８がフレーム
ナンバー１０の表示の中止を判断した時点で、すなわ
ち、フレームナンバー１６を入力した時点で、フレーム
ナンバー１１、フレームナンバー１２およびフレームナ
ンバー１３について、符号化、伝送、復号に費すことが
できる時間は、それぞれ、３フレーム時間、４フレーム
時間および５フレーム時間である。フレーム選択部１０
８は、前述のような画像データのうちから、それぞれを
画像サンプルした時点から平滑化時間後に受信側の表示
装置に表示することができ、かつ、最もフレームナンバ
ーの小さいものを選択する。
れている画像データのうち、フレームナンバー１１はフ
レームナンバー１９が入力される時点で表示する必要が
ある。同様に、フレームナンバー１２はフレームナンバ
ー２０が入力される時点で表示し、フレームナンバー１
３はフレームナンバー２１が入力される時点でそれぞれ
表示する必要がある。フレーム選択部１０８がフレーム
ナンバー１０の表示の中止を判断した時点で、すなわ
ち、フレームナンバー１６を入力した時点で、フレーム
ナンバー１１、フレームナンバー１２およびフレームナ
ンバー１３について、符号化、伝送、復号に費すことが
できる時間は、それぞれ、３フレーム時間、４フレーム
時間および５フレーム時間である。フレーム選択部１０
８は、前述のような画像データのうちから、それぞれを
画像サンプルした時点から平滑化時間後に受信側の表示
装置に表示することができ、かつ、最もフレームナンバ
ーの小さいものを選択する。
【０１３０】まず、メモリ制御部１０２は、フレーム選
択部１０８がフレームナンバー１０の表示不能を判断し
た時点で、フレームナンバー１０に続くフレームの画像
データを、第１から第ｎの画像メモリ１０１から順次、
読み出し、符号化装置１０６に転送する。符号化装置１
０６は、復号装置１３３内のフレームメモリ１３１に記
憶した伝送済最新フレームの復号データと、第１から第
ｎの画像メモリ１０１から転送されてきた画像データと
のフレーム間差分値を求め、フレーム選択部１０８にフ
レーム間差分信号を出力する。フレーム選択部１０８
は、前記符号化装置１０６から出力されるフレーム間差
分信号に基づき、それぞれの前記時間内に符号化、伝送
および復号を完了することができるフレームであって、
最もフレームナンバーの小さいフレームを選択する。
択部１０８がフレームナンバー１０の表示不能を判断し
た時点で、フレームナンバー１０に続くフレームの画像
データを、第１から第ｎの画像メモリ１０１から順次、
読み出し、符号化装置１０６に転送する。符号化装置１
０６は、復号装置１３３内のフレームメモリ１３１に記
憶した伝送済最新フレームの復号データと、第１から第
ｎの画像メモリ１０１から転送されてきた画像データと
のフレーム間差分値を求め、フレーム選択部１０８にフ
レーム間差分信号を出力する。フレーム選択部１０８
は、前記符号化装置１０６から出力されるフレーム間差
分信号に基づき、それぞれの前記時間内に符号化、伝送
および復号を完了することができるフレームであって、
最もフレームナンバーの小さいフレームを選択する。
【０１３１】次いで、メモリ制御部１０２は、前記フレ
ーム選択部１０８が選択したフレームを、第１から第ｎ
の画像メモリ１０１から読みだして、符号化装置１０６
に転送する。前記符号化装置１０６は、復号装置１３３
内のフレームメモリ１３１に記憶されている伝送済み最
新フレームの復号データを参照フレームとして、前記フ
レーム選択部１０８が選択したフレームの画像データの
予測誤差を求め、符号化して、伝送制御装置１０７に出
力する。
ーム選択部１０８が選択したフレームを、第１から第ｎ
の画像メモリ１０１から読みだして、符号化装置１０６
に転送する。前記符号化装置１０６は、復号装置１３３
内のフレームメモリ１３１に記憶されている伝送済み最
新フレームの復号データを参照フレームとして、前記フ
レーム選択部１０８が選択したフレームの画像データの
予測誤差を求め、符号化して、伝送制御装置１０７に出
力する。
【０１３２】図３においては、フレーム選択部１０８
は、フレームナンバー１６の画像データを入力した時点
でフレームナンバー１３を選択して符号化を開始し、フ
レームナンバー１７の画像データを入力した時点から伝
送を開始し、フレームナンバー２１でこれを受信側の表
示装置に表示している。従来の画像符号化装置では同じ
バーストエラーの発生時に１２駒の駒落しが発生したの
に対し、本実施例では８駒の駒落としに留めることがで
きる。
は、フレームナンバー１６の画像データを入力した時点
でフレームナンバー１３を選択して符号化を開始し、フ
レームナンバー１７の画像データを入力した時点から伝
送を開始し、フレームナンバー２１でこれを受信側の表
示装置に表示している。従来の画像符号化装置では同じ
バーストエラーの発生時に１２駒の駒落しが発生したの
に対し、本実施例では８駒の駒落としに留めることがで
きる。
【０１３３】以上のように本実施例によれば、符号化し
てから復号側で表示するまでの時間遅れを増加すること
なく、伝送遅延などにより符号化フレームが表示時間ま
でに復号できない場合の駒落しを最小限にすることがで
きる。なお、ここで、伝送中のフレームの表示不能が判
断された際、伝送中のフレームに続くフレームの中か
ら、そのフレームが画像サンプルから始まる平滑化時間
が終了した時点で受信側の表示装置に表示可能であっ
て、フレームナンバーがもっとも小さいものを選択した
が、第１から第ｎの画像メモリ１０１内に記憶されてい
る画像データの中で伝送中のフレームより先のフレーム
についても表示の可否を判断し、前記条件を満たすフレ
ームを選択してもよい。この場合、伝送中のフレームの
発生符号量が大きい場合や、伝送中のフレームの伝送を
開始した直後に伝送エラーを発生した場合に有効であ
る。これによって、伝送中のフレームが表示不能となっ
たために発生する駒落としをさらに少なくすることがで
きる。
てから復号側で表示するまでの時間遅れを増加すること
なく、伝送遅延などにより符号化フレームが表示時間ま
でに復号できない場合の駒落しを最小限にすることがで
きる。なお、ここで、伝送中のフレームの表示不能が判
断された際、伝送中のフレームに続くフレームの中か
ら、そのフレームが画像サンプルから始まる平滑化時間
が終了した時点で受信側の表示装置に表示可能であっ
て、フレームナンバーがもっとも小さいものを選択した
が、第１から第ｎの画像メモリ１０１内に記憶されてい
る画像データの中で伝送中のフレームより先のフレーム
についても表示の可否を判断し、前記条件を満たすフレ
ームを選択してもよい。この場合、伝送中のフレームの
発生符号量が大きい場合や、伝送中のフレームの伝送を
開始した直後に伝送エラーを発生した場合に有効であ
る。これによって、伝送中のフレームが表示不能となっ
たために発生する駒落としをさらに少なくすることがで
きる。
【０１３４】また、ここでは説明を簡単にするために、
フレーム選択部１０８がフレームを選択するまでの処理
時間は、考慮していない。また、フレーム選択部１０８
が、前記フレームを選択する際に、第１から第ｎの画像
メモリ１０１内に記憶された画像データを符号化する際
の符号化時間については、考慮していない。 （発生符号量予測部５０３）以下、さらに、図２、図４
および図５を参照して、発生符号量予測部５０３の詳細
な構成及びその発生符号量予測方法について説明する。
フレーム選択部１０８がフレームを選択するまでの処理
時間は、考慮していない。また、フレーム選択部１０８
が、前記フレームを選択する際に、第１から第ｎの画像
メモリ１０１内に記憶された画像データを符号化する際
の符号化時間については、考慮していない。 （発生符号量予測部５０３）以下、さらに、図２、図４
および図５を参照して、発生符号量予測部５０３の詳細
な構成及びその発生符号量予測方法について説明する。
【０１３５】図２に示すように、発生符号量予測部５０
３は、直交変換部５０４、無効ブロック算出部５０５お
よび発生符号量算出部５０６を備える。直交変換部５０
４は、符号化装置１０６からのフレーム間差分信号を取
り込み、これをブロック毎に直交変換して空間座標から
周波数座標に変換する。無効ブロック算出部５０５は、
後述の、符号化部１０４における量子化の第１レベルと
同様のしきい値を設定して、前記周波数座標の直交変換
係数と、このしきい値とを比較し、すべての係数がこの
しきい値に満たないブロックを無効ブロックと判断す
る。
３は、直交変換部５０４、無効ブロック算出部５０５お
よび発生符号量算出部５０６を備える。直交変換部５０
４は、符号化装置１０６からのフレーム間差分信号を取
り込み、これをブロック毎に直交変換して空間座標から
周波数座標に変換する。無効ブロック算出部５０５は、
後述の、符号化部１０４における量子化の第１レベルと
同様のしきい値を設定して、前記周波数座標の直交変換
係数と、このしきい値とを比較し、すべての係数がこの
しきい値に満たないブロックを無効ブロックと判断す
る。
【０１３６】前記量子化の第１レベルについて説明する
と、符号化部１０４では、まず、動き補償フレーム予測
部１１６から出力される予測誤差を、ＤＣＴ１１７が直
交変換する。前記直交変換によって求められる直交変換
係数を、量子化部１１８が量子化することにより、前記
量子化の第１レベルに満たない直交変換係数の量子化後
の値は「０」になる。従って、すべての直交変換係数が
この第１レベルに満たないブロックは、無効ブロックと
して伝送されない。前記量子化の第１レベルは、予め定
められた値のマトリクスで与えられる。
と、符号化部１０４では、まず、動き補償フレーム予測
部１１６から出力される予測誤差を、ＤＣＴ１１７が直
交変換する。前記直交変換によって求められる直交変換
係数を、量子化部１１８が量子化することにより、前記
量子化の第１レベルに満たない直交変換係数の量子化後
の値は「０」になる。従って、すべての直交変換係数が
この第１レベルに満たないブロックは、無効ブロックと
して伝送されない。前記量子化の第１レベルは、予め定
められた値のマトリクスで与えられる。
【０１３７】無効ブロック算出部５０５は、前記無効ブ
ロック数を計数し、１フレーム中の無効ブロック数を発
生符号量算出部５０６に出力する。発生符号量算出部５
０６は、全ブロック数から無効ブロック数を引いた有効
ブロック数に、図４および図５に示す関係から得られる
比例定数を乗算し、発生符号量を算出する。図４は、実
験結果から求められる有効ブロック数と発生符号量との
関係を示すグラフである。また、図５は、フレーム間差
分値から求められる有効ブロック数と発生符号量との関
係を示すグラフである。
ロック数を計数し、１フレーム中の無効ブロック数を発
生符号量算出部５０６に出力する。発生符号量算出部５
０６は、全ブロック数から無効ブロック数を引いた有効
ブロック数に、図４および図５に示す関係から得られる
比例定数を乗算し、発生符号量を算出する。図４は、実
験結果から求められる有効ブロック数と発生符号量との
関係を示すグラフである。また、図５は、フレーム間差
分値から求められる有効ブロック数と発生符号量との関
係を示すグラフである。
【０１３８】図４は、横軸に無効ブロック数を示し、縦
軸に発生符号量を示す。ここで、横軸の無効ブロック数
は、総ブロック数をＣＩＦでは「９９×４」、ＱＣＩＦ
では「９９」として無効ブロック数を表し、縦軸の発生
符号量はビットで表す。また、この無効ブロック数は、
対象となるフレームとその直前のフレームとのフレーム
間差分値から量子化の第１レベルをしきい値として求め
たものである。さらに、発生符号量は、対象となるフレ
ームとその直前のフレームとの予測誤差を求め、それを
実際に符号化してその発生符号量を計数したものであ
る。ここでは、フレーム間差分値から求められる有効ブ
ロック数は単に有効ブロック数と、実際に予測誤差を求
めて符号化し、その符号化データから計数して得た発生
符号量は単に発生符号量という。画像サンプルされるテ
スト画像には、「Ｍｉｓｓ Ａｍｅｒｉｃａ」を使用し
ている。
軸に発生符号量を示す。ここで、横軸の無効ブロック数
は、総ブロック数をＣＩＦでは「９９×４」、ＱＣＩＦ
では「９９」として無効ブロック数を表し、縦軸の発生
符号量はビットで表す。また、この無効ブロック数は、
対象となるフレームとその直前のフレームとのフレーム
間差分値から量子化の第１レベルをしきい値として求め
たものである。さらに、発生符号量は、対象となるフレ
ームとその直前のフレームとの予測誤差を求め、それを
実際に符号化してその発生符号量を計数したものであ
る。ここでは、フレーム間差分値から求められる有効ブ
ロック数は単に有効ブロック数と、実際に予測誤差を求
めて符号化し、その符号化データから計数して得た発生
符号量は単に発生符号量という。画像サンプルされるテ
スト画像には、「Ｍｉｓｓ Ａｍｅｒｉｃａ」を使用し
ている。
【０１３９】図４は、量子化値８、１５、２０、３１に
ついてプロットしたものである。図４に示す実験結果か
ら、量子化値８では大きなばらつきが見られるものの、
それ以上の量子化値については、発生符号量は、有効ブ
ロック数に比例することが判る。量子化値８について
は、量子化の単位が小さいので発生符号量が大きくなり
過ぎるので、６４ｋｂｐｓ程度の低伝送レートの画像符
号化装置では、一般に用いられない。従って、発生符号
量は、有効ブロック数に比例すると考えてもよい。
ついてプロットしたものである。図４に示す実験結果か
ら、量子化値８では大きなばらつきが見られるものの、
それ以上の量子化値については、発生符号量は、有効ブ
ロック数に比例することが判る。量子化値８について
は、量子化の単位が小さいので発生符号量が大きくなり
過ぎるので、６４ｋｂｐｓ程度の低伝送レートの画像符
号化装置では、一般に用いられない。従って、発生符号
量は、有効ブロック数に比例すると考えてもよい。
【０１４０】ここで、有効ブロック数（ｍ）＝総ブロッ
ク数−無効ブロック数（ｍ）である。図４の実験結果か
ら、有効ブロック数と発生符号量との関係は、次式のよ
うに表される。 発生符号量（ｍ）＝発生符号量（ｍ−１）／有効ブロッ
ク数（ｍ−１）×有効ブロック数（ｍ） ここで、ｍは自然数で、対象フレームのフレームナンバ
ーを示す。ｍ−１は、前記対象フレームの直前のフレー
ムのフレームナンバーを示す。発生符号量（ｍ−１）／
有効ブロック数（ｍ−１）は、図４、図５に示すグラフ
の傾きであり、フレームを符号化するたびに算出され
る。
ク数−無効ブロック数（ｍ）である。図４の実験結果か
ら、有効ブロック数と発生符号量との関係は、次式のよ
うに表される。 発生符号量（ｍ）＝発生符号量（ｍ−１）／有効ブロッ
ク数（ｍ−１）×有効ブロック数（ｍ） ここで、ｍは自然数で、対象フレームのフレームナンバ
ーを示す。ｍ−１は、前記対象フレームの直前のフレー
ムのフレームナンバーを示す。発生符号量（ｍ−１）／
有効ブロック数（ｍ−１）は、図４、図５に示すグラフ
の傾きであり、フレームを符号化するたびに算出され
る。
【０１４１】なお、図４、図５に示す関係は、対象とな
るフレームとその直前のフレームとのフレーム間差分値
及び予測誤差から得られたものである。従って、厳密に
いえば、対象となるフレームとのフレーム間差分値及び
予測誤差を求めるフレームと、対象となるフレームとの
間の駒落としが多くなると、前述の関係は、必ずしも正
確に成立するとはいえない。しかし、ここでは近似的
に、対象フレームと伝送済み最新フレームとから求めた
フレーム間差分値と発生符号量との間に前記関係が成立
するものとしてこれを適用する。
るフレームとその直前のフレームとのフレーム間差分値
及び予測誤差から得られたものである。従って、厳密に
いえば、対象となるフレームとのフレーム間差分値及び
予測誤差を求めるフレームと、対象となるフレームとの
間の駒落としが多くなると、前述の関係は、必ずしも正
確に成立するとはいえない。しかし、ここでは近似的
に、対象フレームと伝送済み最新フレームとから求めた
フレーム間差分値と発生符号量との間に前記関係が成立
するものとしてこれを適用する。
【０１４２】なお、本実施例の発生符号量予測部５０３
は、直交変換部５０４を備えるとしたが、直交変換部５
０４は同様の構成であるので、符号化部１０４のＤＣＴ
１１７と兼用してもよい。すなわち、符号化部１０４に
おいて、動き補償フレーム予測部１１６からのフレーム
間差分値をＤＣＴ１１７で直交変換し、これによって求
められる直交変換係数を無効ブロック算出部５０５に出
力してもよい。
は、直交変換部５０４を備えるとしたが、直交変換部５
０４は同様の構成であるので、符号化部１０４のＤＣＴ
１１７と兼用してもよい。すなわち、符号化部１０４に
おいて、動き補償フレーム予測部１１６からのフレーム
間差分値をＤＣＴ１１７で直交変換し、これによって求
められる直交変換係数を無効ブロック算出部５０５に出
力してもよい。
【０１４３】なお、フレーム選択部１０８は、発生符号
量予測部５０３を備えるとしたが、以下に示すように、
前記発生符号量予測部５０３を備えなくてもよい。図６
は、実施例１の画像符号化装置におけるフレーム選択部
１０８ａの構成図である。図６に示すように、フレーム
選択部１０８ａは、フレーム限界値算出部５０２、処理
時間算出部５０７、第２の判断部５０８ａ、制御部５０
９ａおよびスイッチ５０１を備える。
量予測部５０３を備えるとしたが、以下に示すように、
前記発生符号量予測部５０３を備えなくてもよい。図６
は、実施例１の画像符号化装置におけるフレーム選択部
１０８ａの構成図である。図６に示すように、フレーム
選択部１０８ａは、フレーム限界値算出部５０２、処理
時間算出部５０７、第２の判断部５０８ａ、制御部５０
９ａおよびスイッチ５０１を備える。
【０１４４】制御部５０９ａは、フレーム限界値算出部
５０２からの伝送中のフレームについての表示不能信号
を検出すると、メモリ制御部１０２に、第１から第ｎの
画像メモリ１０１に記憶されている画像データを読出し
て、読み出した画像データを符号化装置１０６に転送す
るよう指示する。さらに、符号化制御部１０５に、伝送
済み最新フレームを参照フレームとして、第１から第ｎ
の画像メモリ１０１から読み出された画像データの符号
化を行い、その符号化データとその符号化データを計数
して得られた発生符号量とをフレーム選択部１０８ａに
出力するよう指示する。
５０２からの伝送中のフレームについての表示不能信号
を検出すると、メモリ制御部１０２に、第１から第ｎの
画像メモリ１０１に記憶されている画像データを読出し
て、読み出した画像データを符号化装置１０６に転送す
るよう指示する。さらに、符号化制御部１０５に、伝送
済み最新フレームを参照フレームとして、第１から第ｎ
の画像メモリ１０１から読み出された画像データの符号
化を行い、その符号化データとその符号化データを計数
して得られた発生符号量とをフレーム選択部１０８ａに
出力するよう指示する。
【０１４５】処理時間算出部５０７は、符号化制御部１
０５から出力される発生符号量から前記フレームの復号
時間を算出し、さらに、前述の処理量を求める。処理時
間算出部５０７は、前記処理量をフレーム限界値算出部
５０２と第２の判断部５０８ａとに出力する。フレーム
限界値算出部５０２は、前述と同様にして、符号化制御
部１０５から出力される伝送中のフレームの未送信符号
量と処理時間算出部５０７から出力される処理量とか
ら、伝送中のフレームがそのフレームの画像サンプルか
ら始まる平滑化時間が終了する時点で表示可能かどうか
を判断し、表示不能の場合は表示不能信号を制御部５０
９ａに出力する。また、前述と同様にして、制御部５０
９ａからの指示に基づいて、各フレームの符号化データ
のフレーム限界値を第２の判断部５０８ａに出力する。
０５から出力される発生符号量から前記フレームの復号
時間を算出し、さらに、前述の処理量を求める。処理時
間算出部５０７は、前記処理量をフレーム限界値算出部
５０２と第２の判断部５０８ａとに出力する。フレーム
限界値算出部５０２は、前述と同様にして、符号化制御
部１０５から出力される伝送中のフレームの未送信符号
量と処理時間算出部５０７から出力される処理量とか
ら、伝送中のフレームがそのフレームの画像サンプルか
ら始まる平滑化時間が終了する時点で表示可能かどうか
を判断し、表示不能の場合は表示不能信号を制御部５０
９ａに出力する。また、前述と同様にして、制御部５０
９ａからの指示に基づいて、各フレームの符号化データ
のフレーム限界値を第２の判断部５０８ａに出力する。
【０１４６】前記第２の判断部５０８ａは、符号化制御
部１０５からの発生符号量と、フレーム限界値算出部５
０２からのフレーム限界値と、処理時間算出部５０７か
らの処理量とから、前記フレームをその画像サンプルか
ら始まる平滑化時間が終了する時点で受信側の表示装置
に表示可能かどうかを判断し、表示不能であれば表示不
能信号を制御部５０９ａに出力する。また、表示可能で
あれば表示可能信号を制御部５０９ａに出力する。
部１０５からの発生符号量と、フレーム限界値算出部５
０２からのフレーム限界値と、処理時間算出部５０７か
らの処理量とから、前記フレームをその画像サンプルか
ら始まる平滑化時間が終了する時点で受信側の表示装置
に表示可能かどうかを判断し、表示不能であれば表示不
能信号を制御部５０９ａに出力する。また、表示可能で
あれば表示可能信号を制御部５０９ａに出力する。
【０１４７】制御部５０９ａは、第２の判断部５０８ａ
からの表示不能信号を検出したときは、スイッチ５０１
を開放し、第２の判断部５０８ａからの表示可能信号を
検出したときは、スイッチ５０１を導通して入力された
符号化データを送信バッファ１２７に出力する。なお、
本実施例の発生符号量予測部５０３は、符号化対象フレ
ームの有効ブロック数に、直前に符号化したフレームの
有効ブロック数に対する平均発生符号量を乗算して発生
符号量を予測したが、符号化対象フレームの有効ブロッ
ク数に実験結果から得られる比例定数を乗算したり、直
前に符号化したフレームの発生符号量を符号化対象フレ
ームの発生符号量として予測してもよい。
からの表示不能信号を検出したときは、スイッチ５０１
を開放し、第２の判断部５０８ａからの表示可能信号を
検出したときは、スイッチ５０１を導通して入力された
符号化データを送信バッファ１２７に出力する。なお、
本実施例の発生符号量予測部５０３は、符号化対象フレ
ームの有効ブロック数に、直前に符号化したフレームの
有効ブロック数に対する平均発生符号量を乗算して発生
符号量を予測したが、符号化対象フレームの有効ブロッ
ク数に実験結果から得られる比例定数を乗算したり、直
前に符号化したフレームの発生符号量を符号化対象フレ
ームの発生符号量として予測してもよい。
【０１４８】最も単純な発生符号量の算出方法は、対象
フレームの画像データを実際に符号化し、そのデータ量
を計数することであるが、実際に動きベクトルを求め、
その動きベクトルに従って差分をとるという処理を行う
には長い処理時間を要する。従って、消費電力もその
分、増大する。しかし、以上のように本実施例によれば
処理量が過大な動き補償フレーム予測や量子化の処理を
することなく符号化後に発生する情報量を簡単に予測
し、フレーム限界値との比較により符号化するフレーム
を簡単に選択することが可能となる。 （フレーム限界値算出部５０２）以下、本発明の画像符
号化装置におけるフレーム限界値算出部５０２について
図面を参照しながら説明する。
フレームの画像データを実際に符号化し、そのデータ量
を計数することであるが、実際に動きベクトルを求め、
その動きベクトルに従って差分をとるという処理を行う
には長い処理時間を要する。従って、消費電力もその
分、増大する。しかし、以上のように本実施例によれば
処理量が過大な動き補償フレーム予測や量子化の処理を
することなく符号化後に発生する情報量を簡単に予測
し、フレーム限界値との比較により符号化するフレーム
を簡単に選択することが可能となる。 （フレーム限界値算出部５０２）以下、本発明の画像符
号化装置におけるフレーム限界値算出部５０２について
図面を参照しながら説明する。
【０１４９】図７は実施例１の画像符号化装置のフレー
ム限界値算出部５０２の構成図である。図７に示すよう
に、フレーム限界値算出部５０２は、第１のセレクタ６
０１、タイマー１３０、限界値減算部６０３、限界値加
算部６０４、減算部６０５、第１の判断部６０６、第２
のセレクタ６０８およびラッチ６０７を備える。第１の
セレクタ６０１は、入力される２個の入力信号のうち、
１つの信号を制御部５０９からの選択信号によって選択
し、限界値減算部６０３に出力する。第１のセレクタ６
０１に入力される入力信号のうち、一方は、平滑化時間
Ｔに伝送速度Ｍｂｐｓ（ｂｉｔ ｐｅｒ ｓｅｃｏｎ
ｄ）を乗算した値、すなわち、平滑化初期値Ｍ×Ｔを示
す信号である。第１のセレクタ６０１は、画像符号化装
置が動作を開始する時点で、制御部５０９からの選択信
号により、前記平滑化初期値信号を選択する。
ム限界値算出部５０２の構成図である。図７に示すよう
に、フレーム限界値算出部５０２は、第１のセレクタ６
０１、タイマー１３０、限界値減算部６０３、限界値加
算部６０４、減算部６０５、第１の判断部６０６、第２
のセレクタ６０８およびラッチ６０７を備える。第１の
セレクタ６０１は、入力される２個の入力信号のうち、
１つの信号を制御部５０９からの選択信号によって選択
し、限界値減算部６０３に出力する。第１のセレクタ６
０１に入力される入力信号のうち、一方は、平滑化時間
Ｔに伝送速度Ｍｂｐｓ（ｂｉｔ ｐｅｒ ｓｅｃｏｎ
ｄ）を乗算した値、すなわち、平滑化初期値Ｍ×Ｔを示
す信号である。第１のセレクタ６０１は、画像符号化装
置が動作を開始する時点で、制御部５０９からの選択信
号により、前記平滑化初期値信号を選択する。
【０１５０】第１のセレクタ６０１に入力される入力信
号のうち、他方は、ラッチ６０７を介して入力される第
２のセレクタ６０８の出力である。第１のセレクタ６０
１は、第２の判断部５０８が表示可能なフレームを検出
したときには制御部５０９からの選択信号により、ラッ
チ６０７を介して入力される前記第２のセレクタ６０８
の出力を選択する。
号のうち、他方は、ラッチ６０７を介して入力される第
２のセレクタ６０８の出力である。第１のセレクタ６０
１は、第２の判断部５０８が表示可能なフレームを検出
したときには制御部５０９からの選択信号により、ラッ
チ６０７を介して入力される前記第２のセレクタ６０８
の出力を選択する。
【０１５１】タイマー１３０は、予め定める時間毎に出
力を変化させる。ここで、予め定める時間とは１フレー
ム時間（１／ｆ、ただしｆ＝フレーム周期）である。限
界値減算部６０３は、タイマー１３０の出力が変化する
毎に、第１のセレクタ６０１の出力値から伝送路の伝送
速度Ｍｂｐｓと時間ｔの積Ｍ×ｔを減算する。
力を変化させる。ここで、予め定める時間とは１フレー
ム時間（１／ｆ、ただしｆ＝フレーム周期）である。限
界値減算部６０３は、タイマー１３０の出力が変化する
毎に、第１のセレクタ６０１の出力値から伝送路の伝送
速度Ｍｂｐｓと時間ｔの積Ｍ×ｔを減算する。
【０１５２】限界値加算部６０４は、第１の限界値加算
部６０４（１）から第ｎの限界値加算部６０４（ｎ）ま
でのｎ個の限界値加算部を備える。第１の限界値加算部
６０４（１）は、限界値減算部６０３からの出力に、伝
送中のフレームが画像記憶装置１０３によって画像サン
プルされた時点と前記伝送中のフレームの次に入力され
たフレームが画像記憶装置１０３によって画像サンプル
された時点との時間差、すなわち、１フレーム時間（１
／ｆ）と伝送速度Ｍｂｐｓの積Ｍ／ｆを加算する。
部６０４（１）から第ｎの限界値加算部６０４（ｎ）ま
でのｎ個の限界値加算部を備える。第１の限界値加算部
６０４（１）は、限界値減算部６０３からの出力に、伝
送中のフレームが画像記憶装置１０３によって画像サン
プルされた時点と前記伝送中のフレームの次に入力され
たフレームが画像記憶装置１０３によって画像サンプル
された時点との時間差、すなわち、１フレーム時間（１
／ｆ）と伝送速度Ｍｂｐｓの積Ｍ／ｆを加算する。
【０１５３】以下、同様にして、第２から第ｎまでの限
界値加算部６０４（２）〜６０４（ｎ）は、限界値減算
部６０３からの出力に、それぞれ伝送中のフレームが画
像記憶装置１０３によって画像サンプルされた時点と各
フレームが画像記憶装置１０３によって画像サンプルさ
れた時点との時間差、すなわち、２フレーム時間（２／
ｆ）、３フレーム時間（３／ｆ）、…、ｎフレーム時間
（ｎ／ｆ）と伝送速度Ｍｂｐｓとの積（２Ｍ／ｆ）、
（３Ｍ／ｆ）、…、（Ｍ×ｎ／ｆ）を加算する。前記第
１から第ｎまでの限界値加算部６０４（１）〜６０４
（ｎ）は、前記各加算結果を第２のセレクタ６０８に出
力する。
界値加算部６０４（２）〜６０４（ｎ）は、限界値減算
部６０３からの出力に、それぞれ伝送中のフレームが画
像記憶装置１０３によって画像サンプルされた時点と各
フレームが画像記憶装置１０３によって画像サンプルさ
れた時点との時間差、すなわち、２フレーム時間（２／
ｆ）、３フレーム時間（３／ｆ）、…、ｎフレーム時間
（ｎ／ｆ）と伝送速度Ｍｂｐｓとの積（２Ｍ／ｆ）、
（３Ｍ／ｆ）、…、（Ｍ×ｎ／ｆ）を加算する。前記第
１から第ｎまでの限界値加算部６０４（１）〜６０４
（ｎ）は、前記各加算結果を第２のセレクタ６０８に出
力する。
【０１５４】減算部６０５は、前記限界値減算部６０３
から出力される第０フレーム限界値から送信バッファ１
２７内の伝送中のフレームの未送信符号量を減算し、そ
の結果を第１の判断部６０６に出力する。第１の判断部
６０６は、伝送中のフレームについて、そのフレームが
画像サンプルされた時点から平滑化時間Ｔ後に受信側の
表示装置に表示可能かどうかを判断する。すなわち、第
１の判断部６０６には、減算部６０５からの出力値、処
理時間算出部５０７からの処理量および予め定められる
しきい値が入力される。
から出力される第０フレーム限界値から送信バッファ１
２７内の伝送中のフレームの未送信符号量を減算し、そ
の結果を第１の判断部６０６に出力する。第１の判断部
６０６は、伝送中のフレームについて、そのフレームが
画像サンプルされた時点から平滑化時間Ｔ後に受信側の
表示装置に表示可能かどうかを判断する。すなわち、第
１の判断部６０６には、減算部６０５からの出力値、処
理時間算出部５０７からの処理量および予め定められる
しきい値が入力される。
【０１５５】第１の判断部６０６は、減算部６０５の出
力値から処理量を減算し、この値が前記しきい値以下で
あれば、伝送中のフレームの表示不能を判断する。次い
で、制御部５０９に伝送中のフレームの表示不能を表す
信号を出力する。ラッチ６０７は、選択信号によって指
示された時点の入力信号の値を保持し、第１のセレクタ
６０１に出力する。
力値から処理量を減算し、この値が前記しきい値以下で
あれば、伝送中のフレームの表示不能を判断する。次い
で、制御部５０９に伝送中のフレームの表示不能を表す
信号を出力する。ラッチ６０７は、選択信号によって指
示された時点の入力信号の値を保持し、第１のセレクタ
６０１に出力する。
【０１５６】第２のセレクタ６０８は、入力されるｎ個
の入力信号のうち、１つの信号を制御部５０９からの選
択信号によって順次、選択するとともに、選択した信号
を第２の判断部５０８および第１のセレクタ６０１に出
力する。図７のように構成されたフレーム限界値算出部
５０２の動作を図３および図８を用いて説明する。図８
は、実施例１の画像符号化装置におけるフレーム限界値
算出部５０２の動作を説明するための図である。図８
は、図３に示すフレームナンバー１０の伝送を開始した
後であって、フレームナンバー１２の画像データを画像
サンプルする時点から１フレーム時間の経過毎にフレー
ムナンバー１８の画像データを画像サンプルする時点ま
でのフレーム限界値の変化を示す。
の入力信号のうち、１つの信号を制御部５０９からの選
択信号によって順次、選択するとともに、選択した信号
を第２の判断部５０８および第１のセレクタ６０１に出
力する。図７のように構成されたフレーム限界値算出部
５０２の動作を図３および図８を用いて説明する。図８
は、実施例１の画像符号化装置におけるフレーム限界値
算出部５０２の動作を説明するための図である。図８
は、図３に示すフレームナンバー１０の伝送を開始した
後であって、フレームナンバー１２の画像データを画像
サンプルする時点から１フレーム時間の経過毎にフレー
ムナンバー１８の画像データを画像サンプルする時点ま
でのフレーム限界値の変化を示す。
【０１５７】図８において、横軸は伝送データ量および
時間を示す。目盛りは、１フレーム時間あたり伝送可能
なビット量（Ｍ／ｆ）および１フレーム時間を単位とし
て表す。一定時間Ｔは、平滑化時間であり、Ｔ＝８フレ
ーム時間である。また、網掛けの矩形は、送信バッファ
１２７内の伝送中のフレームの未送信符号量を表す。画
像サンプルタイミング１２から画像サンプルタイミング
１７までにおいては、第０フレーム限界値、第１フレー
ム限界値、第２フレーム限界値および第３フレーム限界
値は、それぞれ、伝送中のフレームナンバー１０のフレ
ーム限界値、フレームナンバー１１のフレーム限界値、
フレームナンバー１２のフレーム限界値およびフレーム
ナンバー１３のフレーム限界値を示す。
時間を示す。目盛りは、１フレーム時間あたり伝送可能
なビット量（Ｍ／ｆ）および１フレーム時間を単位とし
て表す。一定時間Ｔは、平滑化時間であり、Ｔ＝８フレ
ーム時間である。また、網掛けの矩形は、送信バッファ
１２７内の伝送中のフレームの未送信符号量を表す。画
像サンプルタイミング１２から画像サンプルタイミング
１７までにおいては、第０フレーム限界値、第１フレー
ム限界値、第２フレーム限界値および第３フレーム限界
値は、それぞれ、伝送中のフレームナンバー１０のフレ
ーム限界値、フレームナンバー１１のフレーム限界値、
フレームナンバー１２のフレーム限界値およびフレーム
ナンバー１３のフレーム限界値を示す。
【０１５８】画像サンプルタイミング１８においては、
第０フレーム限界値、第１フレーム限界値、第２フレー
ム限界値および第３フレーム限界値は、それぞれ、フレ
ームナンバー１３のフレーム限界値、フレームナンバー
１４のフレーム限界値、フレームナンバー１５のフレー
ム限界値およびフレームナンバー１６のフレーム限界値
を示す。
第０フレーム限界値、第１フレーム限界値、第２フレー
ム限界値および第３フレーム限界値は、それぞれ、フレ
ームナンバー１３のフレーム限界値、フレームナンバー
１４のフレーム限界値、フレームナンバー１５のフレー
ム限界値およびフレームナンバー１６のフレーム限界値
を示す。
【０１５９】図８に示す画像サンプルタイミング１２の
時点では、フレームナンバー１０の伝送フレームの伝送
を開始してから、すでに１フレーム時間を経過してい
る。フレームナンバー１０の伝送フレームは、３フレー
ム時間で伝送可能なデータ量、すなわち３Ｍ／ｆビット
を有するので、送信バッファ１２７内のフレームナンバ
ー１０の未送信符号量は２Ｍ／ｆである。
時点では、フレームナンバー１０の伝送フレームの伝送
を開始してから、すでに１フレーム時間を経過してい
る。フレームナンバー１０の伝送フレームは、３フレー
ム時間で伝送可能なデータ量、すなわち３Ｍ／ｆビット
を有するので、送信バッファ１２７内のフレームナンバ
ー１０の未送信符号量は２Ｍ／ｆである。
【０１６０】フレームナンバー１０のフレーム限界値で
ある第０フレーム限界値は、フレームナンバー１０の画
像を受信側の表示装置に表示すべき時間（画像サンプル
タイミング１８）までに伝送可能なデータ量であり、６
Ｍ／ｆである。これは、以下のようにして求められる。
まず、符号化部１０４がフレームナンバー１０を画像サ
ンプルした時点（画像サンプルタイミング１０）で、第
１のセレクタ６０１は、第１のセレクタ６０１の第０入
力から入力される平滑化初期値、すなわち、平滑化時間
Ｔ（＝８／ｆ）に１フレーム時間当たりの伝送データ量
Ｍを乗算した値Ｔ×Ｍ（＝８Ｍ／ｆ）を選択している。
ある第０フレーム限界値は、フレームナンバー１０の画
像を受信側の表示装置に表示すべき時間（画像サンプル
タイミング１８）までに伝送可能なデータ量であり、６
Ｍ／ｆである。これは、以下のようにして求められる。
まず、符号化部１０４がフレームナンバー１０を画像サ
ンプルした時点（画像サンプルタイミング１０）で、第
１のセレクタ６０１は、第１のセレクタ６０１の第０入
力から入力される平滑化初期値、すなわち、平滑化時間
Ｔ（＝８／ｆ）に１フレーム時間当たりの伝送データ量
Ｍを乗算した値Ｔ×Ｍ（＝８Ｍ／ｆ）を選択している。
【０１６１】画像サンプルタイミング１２では、フレー
ムナンバー１０が画像サンプルされた時点から２フレー
ム時間（２／ｆ）経過しているため、第０フレーム限界
値は、平滑化初期値から限界値減算部６０３によって２
Ｍ／ｆだけ減算されており、限界値減算部６０３の出力
は、６Ｍ／ｆとなる。このフレーム限界値と送信バッフ
ァ１２７内の未送信符号量との差が許容情報量であり、
減算部６０５により算出される。
ムナンバー１０が画像サンプルされた時点から２フレー
ム時間（２／ｆ）経過しているため、第０フレーム限界
値は、平滑化初期値から限界値減算部６０３によって２
Ｍ／ｆだけ減算されており、限界値減算部６０３の出力
は、６Ｍ／ｆとなる。このフレーム限界値と送信バッフ
ァ１２７内の未送信符号量との差が許容情報量であり、
減算部６０５により算出される。
【０１６２】第１フレーム限界値は第０フレーム限界値
より１フレーム時間に伝送されるビット数（Ｍ／ｆ）だ
け大きく、第２フレーム限界値は第０フレーム限界値よ
り２フレーム時間に伝送されるビット数（２Ｍ／ｆ）、
第３フレーム限界値は第０フレーム限界値より３フレー
ム時間に伝送されるビット数（３Ｍ／ｆ）大きい。従っ
て、第１フレーム限界値、第２フレーム限界値、第３フ
レーム限界値は、それぞれ７Ｍ／ｆ，８Ｍ／ｆおよび９
Ｍ／ｆとなる。前記第１から第３までのフレーム限界値
は、第１から第３までの限界値加算部６０４（１）〜６
０４（３）により算出される。
より１フレーム時間に伝送されるビット数（Ｍ／ｆ）だ
け大きく、第２フレーム限界値は第０フレーム限界値よ
り２フレーム時間に伝送されるビット数（２Ｍ／ｆ）、
第３フレーム限界値は第０フレーム限界値より３フレー
ム時間に伝送されるビット数（３Ｍ／ｆ）大きい。従っ
て、第１フレーム限界値、第２フレーム限界値、第３フ
レーム限界値は、それぞれ７Ｍ／ｆ，８Ｍ／ｆおよび９
Ｍ／ｆとなる。前記第１から第３までのフレーム限界値
は、第１から第３までの限界値加算部６０４（１）〜６
０４（３）により算出される。
【０１６３】画像サンプルタイミング１３では、画像サ
ンプルタイミング１２から１フレーム時間経過後の各フ
レーム限界値を示す。ここで、送信バッファ１２７内の
未送信符号量は、伝送により１フレーム時間あたりの伝
送データ量（Ｍ／ｆ）だけ減少している。第０から第３
までのフレーム限界値も同じく限界値減算部６０３によ
りそれぞれＭ／ｆだけ減算されており、第０フレームで
あるフレームナンバー１０の許容情報量は画像サンプル
タイミング１２の時点とそれぞれ同じである。
ンプルタイミング１２から１フレーム時間経過後の各フ
レーム限界値を示す。ここで、送信バッファ１２７内の
未送信符号量は、伝送により１フレーム時間あたりの伝
送データ量（Ｍ／ｆ）だけ減少している。第０から第３
までのフレーム限界値も同じく限界値減算部６０３によ
りそれぞれＭ／ｆだけ減算されており、第０フレームで
あるフレームナンバー１０の許容情報量は画像サンプル
タイミング１２の時点とそれぞれ同じである。
【０１６４】画像サンプルタイミング１４では、画像サ
ンプルタイミング１３から、さらに１フレーム時間経過
後であるが、ここでは伝送路の状態が悪化し、１ビット
も伝送できなかったため、送信バッファ１２７内の未送
信符号量は、画像サンプルタイミング１３の時点から減
少しない。これに対して、第０から第３までのフレーム
限界値は限界値減算部６０３の減算により、それぞれＭ
／ｆだけ減少し、第０フレームの許容情報量も同量減少
する。
ンプルタイミング１３から、さらに１フレーム時間経過
後であるが、ここでは伝送路の状態が悪化し、１ビット
も伝送できなかったため、送信バッファ１２７内の未送
信符号量は、画像サンプルタイミング１３の時点から減
少しない。これに対して、第０から第３までのフレーム
限界値は限界値減算部６０３の減算により、それぞれＭ
／ｆだけ減少し、第０フレームの許容情報量も同量減少
する。
【０１６５】画像サンプルタイミング１５および画像サ
ンプルタイミング１６においても同様の状態がつづき、
画像サンプルタイミング１６で第０フレームの許容情報
量はＭ／ｆとなる。この第０フレームの許容情報量は第
１の判断部６０６に入力されており、第１の判断部６０
６において処理量を減算される。第０フレームであるフ
レームナンバー１０の復号時間は、１フレーム時間であ
るので、その処理量はＭ／ｆである。従って、第０フレ
ームの許容情報量から処理量を減算すると「０」とな
る。第１の判断部６０６は、前記しきい値を「０」にし
た場合、この時点で第２の判断部５０８に表示不能信号
を出力し、フレームナンバー１０の表示が不可能になっ
たことを示す。なお、第１の判断部６０６のしきい値
は、この判断をもう少し早い時点で行なう場合に正の値
を設定する。
ンプルタイミング１６においても同様の状態がつづき、
画像サンプルタイミング１６で第０フレームの許容情報
量はＭ／ｆとなる。この第０フレームの許容情報量は第
１の判断部６０６に入力されており、第１の判断部６０
６において処理量を減算される。第０フレームであるフ
レームナンバー１０の復号時間は、１フレーム時間であ
るので、その処理量はＭ／ｆである。従って、第０フレ
ームの許容情報量から処理量を減算すると「０」とな
る。第１の判断部６０６は、前記しきい値を「０」にし
た場合、この時点で第２の判断部５０８に表示不能信号
を出力し、フレームナンバー１０の表示が不可能になっ
たことを示す。なお、第１の判断部６０６のしきい値
は、この判断をもう少し早い時点で行なう場合に正の値
を設定する。
【０１６６】この時点からフレームナンバー１１、１
２、１３の符号化を開始して受信側の表示装置で表示す
る時間に前記フレームの伝送および復号が間に合うため
のそれぞれのフレーム限界値は、第１の限界値加算部６
０４（１）から第３の限界値加算部６０４ｃまでのそれ
ぞれの限界値加算部６０４から出力されるフレーム限界
値として求められ、３Ｍ／ｆ，４Ｍ／ｆ，５Ｍ／ｆとな
る。これらのフレーム限界値は、第２のセレクタ６０８
に出力されており、制御部５０９からの選択信号によっ
て、図２に示すフレーム選択部１０８内の第２の判断部
５０８に順次、出力される。
２、１３の符号化を開始して受信側の表示装置で表示す
る時間に前記フレームの伝送および復号が間に合うため
のそれぞれのフレーム限界値は、第１の限界値加算部６
０４（１）から第３の限界値加算部６０４ｃまでのそれ
ぞれの限界値加算部６０４から出力されるフレーム限界
値として求められ、３Ｍ／ｆ，４Ｍ／ｆ，５Ｍ／ｆとな
る。これらのフレーム限界値は、第２のセレクタ６０８
に出力されており、制御部５０９からの選択信号によっ
て、図２に示すフレーム選択部１０８内の第２の判断部
５０８に順次、出力される。
【０１６７】第２の判断部５０８は、第１の判断部６０
６からの表示不能信号を受け取ると、第２のセレクタ６
０８から順次出力される各フレームのフレーム限界値か
らそれぞれの処理量を減算し、その減算結果と前記各フ
レームの発生符号量とを比較する。第２の判断部５０８
は、前記発生符号量がフレーム限界値から処理量を減算
した値以下になるフレームを表示可能と判断し、その表
示可能なフレームのうち、最もフレームナンバーが小さ
いフレームを選択する。
６からの表示不能信号を受け取ると、第２のセレクタ６
０８から順次出力される各フレームのフレーム限界値か
らそれぞれの処理量を減算し、その減算結果と前記各フ
レームの発生符号量とを比較する。第２の判断部５０８
は、前記発生符号量がフレーム限界値から処理量を減算
した値以下になるフレームを表示可能と判断し、その表
示可能なフレームのうち、最もフレームナンバーが小さ
いフレームを選択する。
【０１６８】画像サンプルタイミング１７の時点では、
前述のようにして第２の判断部５０８がフレームナンバ
ー１３を選択した場合を示す。この時点で、送信バッフ
ァ１２７内に残っているフレームナンバー１０の伝送フ
レームは廃棄され、これに代わってフレームナンバー１
３の符号化データが伝送フレームとなる。フレームナン
バー１３の伝送フレームの伝送データ量は、２Ｍ／ｆで
ある。また、この時点で伝送エラーが回復し、フレーム
ナンバー１３の伝送が開始される。
前述のようにして第２の判断部５０８がフレームナンバ
ー１３を選択した場合を示す。この時点で、送信バッフ
ァ１２７内に残っているフレームナンバー１０の伝送フ
レームは廃棄され、これに代わってフレームナンバー１
３の符号化データが伝送フレームとなる。フレームナン
バー１３の伝送フレームの伝送データ量は、２Ｍ／ｆで
ある。また、この時点で伝送エラーが回復し、フレーム
ナンバー１３の伝送が開始される。
【０１６９】フレームナンバー１３を選択した時点で、
第１のセレクタ６０１は、第２のセレクタ６０８からの
出力である画像サンプルタイミング１７における第３フ
レーム限界値を選択し、限界値減算部６０３に出力す
る。これによって、フレームナンバー１３のフレーム限
界値は、第０フレーム限界値として減算部６０５に出力
される。
第１のセレクタ６０１は、第２のセレクタ６０８からの
出力である画像サンプルタイミング１７における第３フ
レーム限界値を選択し、限界値減算部６０３に出力す
る。これによって、フレームナンバー１３のフレーム限
界値は、第０フレーム限界値として減算部６０５に出力
される。
【０１７０】画像サンプルタイミング１８において、限
界値減算部６０３は、フレームナンバー１３の伝送フレ
ームの伝送を開始してから１フレーム時間経過している
ので、送信バッファ１２７内の未送信符号量からＭ／ｆ
だけ減算する。前記第０フレーム限界値は、減算部６０
５で送信バッファ１２７内の未送信符号量を減算され、
許容情報量として第１の判断部６０６に出力される。第
１の判断部６０６は、前記許容情報量からフレームナン
バー１３の処理量を減算してその減算結果としきい値と
を比較する。フレーム選択部１０８は、以後これらの動
作を繰り返す。
界値減算部６０３は、フレームナンバー１３の伝送フレ
ームの伝送を開始してから１フレーム時間経過している
ので、送信バッファ１２７内の未送信符号量からＭ／ｆ
だけ減算する。前記第０フレーム限界値は、減算部６０
５で送信バッファ１２７内の未送信符号量を減算され、
許容情報量として第１の判断部６０６に出力される。第
１の判断部６０６は、前記許容情報量からフレームナン
バー１３の処理量を減算してその減算結果としきい値と
を比較する。フレーム選択部１０８は、以後これらの動
作を繰り返す。
【０１７１】なお以上は、図７のように構成されたフレ
ーム限界値算出部５０２の動作について説明したが、フ
レーム限界値算出部５０２は、図９に示すように構成さ
れてもよい。図９は、フレーム限界値算出部５０２の他
の構成を示す構成図である。すなわち、第１から第ｎま
での限界値加算部６０４（１）〜（ｎ）と第２のセレク
タ６０８との間にそれぞれ第１から第ｎまでの減算部６
０５（１）〜（ｎ）を介在させ、伝送中のフレームの送
信バッファ１２７内の未送信符号量を減算する。これに
よって、例えば、フレームナンバー１０の伝送中に、こ
れに続くフレームナンバー１１、フレームナンバー１２
などのフレームの表示の可否を判断することができる。
ーム限界値算出部５０２の動作について説明したが、フ
レーム限界値算出部５０２は、図９に示すように構成さ
れてもよい。図９は、フレーム限界値算出部５０２の他
の構成を示す構成図である。すなわち、第１から第ｎま
での限界値加算部６０４（１）〜（ｎ）と第２のセレク
タ６０８との間にそれぞれ第１から第ｎまでの減算部６
０５（１）〜（ｎ）を介在させ、伝送中のフレームの送
信バッファ１２７内の未送信符号量を減算する。これに
よって、例えば、フレームナンバー１０の伝送中に、こ
れに続くフレームナンバー１１、フレームナンバー１２
などのフレームの表示の可否を判断することができる。
【０１７２】また、伝送中フレームの表示不能が判断さ
れた時点で、送信バッファ１２７内の伝送中のフレーム
の未送信データは廃棄されるので、伝送中のフレームの
未送信符号量は「０」が出力される。従って、伝送中フ
レームの表示不能が判断された時点においても、伝送中
のフレームに続くフレームのフレーム限界値を求めるこ
とができる。
れた時点で、送信バッファ１２７内の伝送中のフレーム
の未送信データは廃棄されるので、伝送中のフレームの
未送信符号量は「０」が出力される。従って、伝送中フ
レームの表示不能が判断された時点においても、伝送中
のフレームに続くフレームのフレーム限界値を求めるこ
とができる。
【０１７３】また、限界値加算部６０４は、第１から第
ｎまでの加算部６０４（１）〜（ｎ）を備えなくてもよ
い。すなわち、限界値加算部６０４は、前記第１から第
ｎまでの限界値加算部６０４（１）〜（ｎ）に代えて、
図示しない時間差検出部と演算部を備える。前記時間差
検出部は、第１から第ｎの画像メモリ１０１内に記憶さ
れているフレームが画像サンプルされた時点と伝送中の
フレームが画像サンプルされた時点との時間差を、第１
から第ｎの画像メモリ１０１内に記憶されているフレー
ムが伝送中のフレームより先に画像サンプルされたフレ
ームである場合には、負の値として前記時間差を検出す
る。また、演算部は、前記時間差検出部によって検出さ
れた時間差に１フレーム時間当たりの伝送符号量を乗算
し、前記乗算した値を、前記時間差が正の値であれば限
界値減算部６０３の出力に加算し、負の値であれば限界
値減算部６０３の出力から減算する。前記演算部は、前
記演算結果を第２の判断部５０８に出力する。これによ
って、第１から第ｎの画像メモリ１０１内に記憶されて
いるフレームの中から伝送中のフレームより先に画像サ
ンプルされたものであっても表示の可否を判断すること
ができる。
ｎまでの加算部６０４（１）〜（ｎ）を備えなくてもよ
い。すなわち、限界値加算部６０４は、前記第１から第
ｎまでの限界値加算部６０４（１）〜（ｎ）に代えて、
図示しない時間差検出部と演算部を備える。前記時間差
検出部は、第１から第ｎの画像メモリ１０１内に記憶さ
れているフレームが画像サンプルされた時点と伝送中の
フレームが画像サンプルされた時点との時間差を、第１
から第ｎの画像メモリ１０１内に記憶されているフレー
ムが伝送中のフレームより先に画像サンプルされたフレ
ームである場合には、負の値として前記時間差を検出す
る。また、演算部は、前記時間差検出部によって検出さ
れた時間差に１フレーム時間当たりの伝送符号量を乗算
し、前記乗算した値を、前記時間差が正の値であれば限
界値減算部６０３の出力に加算し、負の値であれば限界
値減算部６０３の出力から減算する。前記演算部は、前
記演算結果を第２の判断部５０８に出力する。これによ
って、第１から第ｎの画像メモリ１０１内に記憶されて
いるフレームの中から伝送中のフレームより先に画像サ
ンプルされたものであっても表示の可否を判断すること
ができる。
【０１７４】以上のように本実施例のフレーム限界値算
出部５０２は、伝送中のフレームと画像記憶装置１０３
内に記憶されている各フレームの表示の可否を判断する
際のフレーム限界値を逐次算出し、伝送中のフレームの
送信バッファ１２７内の未送信符号量とそれぞれのフレ
ームの発生符号量と処理量との和と、それぞれのフレー
ムのフレーム限界値との差がしきい値を下回った時点で
表示不能を判断することができる。 （実施例２）以下、本発明の実施例２について図面を参
照しながら説明する。
出部５０２は、伝送中のフレームと画像記憶装置１０３
内に記憶されている各フレームの表示の可否を判断する
際のフレーム限界値を逐次算出し、伝送中のフレームの
送信バッファ１２７内の未送信符号量とそれぞれのフレ
ームの発生符号量と処理量との和と、それぞれのフレー
ムのフレーム限界値との差がしきい値を下回った時点で
表示不能を判断することができる。 （実施例２）以下、本発明の実施例２について図面を参
照しながら説明する。
【０１７５】図１０は、本発明の実施例２である画像符
号化装置の構成図である。図１０に示すように、画像符
号化装置は、前処理装置１１５、符号化データ記憶装置
３０３、符号化装置３０６、伝送制御装置３０７および
復号装置３３３を備える。符号化データ記憶装置３０３
は、第１から第ｎのデータメモリ３０１およびメモリ制
御部３０２を備える。前記符号化装置３０６は、符号化
部３０４および符号化制御部３０５を備える。復号装置
３３３は、フレームメモリ３３１および復号部３３２を
備える。伝送制御装置３０７は、タイマー１３０、フレ
ーム選択部３０８および伝送制御部１０９を備える。
号化装置の構成図である。図１０に示すように、画像符
号化装置は、前処理装置１１５、符号化データ記憶装置
３０３、符号化装置３０６、伝送制御装置３０７および
復号装置３３３を備える。符号化データ記憶装置３０３
は、第１から第ｎのデータメモリ３０１およびメモリ制
御部３０２を備える。前記符号化装置３０６は、符号化
部３０４および符号化制御部３０５を備える。復号装置
３３３は、フレームメモリ３３１および復号部３３２を
備える。伝送制御装置３０７は、タイマー１３０、フレ
ーム選択部３０８および伝送制御部１０９を備える。
【０１７６】前処理装置１１５については、実施例１と
同様であるので、説明を省略する。第１から第ｎのデー
タメモリ３０１は書込み中に読み出し可能なデュアルポ
ートメモリからなり、符号化データを記憶する。メモリ
制御部３０２は、第１のアドレスバス１２３および第１
のデータバス１２４を介して第１から第ｎのデータメモ
リ３０１への符号化データの書き込みを制御し、第２の
アドレスバス１２５および第２のデータバス１２６を介
して第１から第ｎのデータメモリ３０１からの符号化デ
ータの読出を制御する。
同様であるので、説明を省略する。第１から第ｎのデー
タメモリ３０１は書込み中に読み出し可能なデュアルポ
ートメモリからなり、符号化データを記憶する。メモリ
制御部３０２は、第１のアドレスバス１２３および第１
のデータバス１２４を介して第１から第ｎのデータメモ
リ３０１への符号化データの書き込みを制御し、第２の
アドレスバス１２５および第２のデータバス１２６を介
して第１から第ｎのデータメモリ３０１からの符号化デ
ータの読出を制御する。
【０１７７】前記符号化データ記憶装置３０３は、後述
の符号化装置３０６から出力される符号化データを第１
から第ｎのデータメモリ３０１内に記憶するとともに、
前記符号化データのフレームナンバーと、その符号化デ
ータの参照フレームとされたフレームのフレームナンバ
ーと、その符号化データの発生符号量とを関連付けて記
憶する。
の符号化装置３０６から出力される符号化データを第１
から第ｎのデータメモリ３０１内に記憶するとともに、
前記符号化データのフレームナンバーと、その符号化デ
ータの参照フレームとされたフレームのフレームナンバ
ーと、その符号化データの発生符号量とを関連付けて記
憶する。
【０１７８】符号化装置３０６は、高速動画像処理用Ｄ
ＳＰを備える符号化装置である。従来技術および実施例
１の画像符号化装置では、たとえば、松下電器産業社製
の製品名ＶＤＳＰ（ＭＮ １９５９０１）など、命令実
行時間１６．５ｎｓの動画像処理用ＤＳＰを用いて符号
化、復号を行っており、１フレームの画像データを符号
化するのに約２フレーム時間を必要とする。現在の時点
で、ＮＥＣ社製の製品名ＶＳＰ３など、命令実行時間
３．３ｎｓ程度の高速処理を行う動画像処理用ＤＳＰが
公表されている。符号化装置３０６は、前述のような高
速処理を行う動画像処理用ＤＳＰを備える。
ＳＰを備える符号化装置である。従来技術および実施例
１の画像符号化装置では、たとえば、松下電器産業社製
の製品名ＶＤＳＰ（ＭＮ １９５９０１）など、命令実
行時間１６．５ｎｓの動画像処理用ＤＳＰを用いて符号
化、復号を行っており、１フレームの画像データを符号
化するのに約２フレーム時間を必要とする。現在の時点
で、ＮＥＣ社製の製品名ＶＳＰ３など、命令実行時間
３．３ｎｓ程度の高速処理を行う動画像処理用ＤＳＰが
公表されている。符号化装置３０６は、前述のような高
速処理を行う動画像処理用ＤＳＰを備える。
【０１７９】さらに、符号化部３０４は、動き補償フレ
ーム予測部３１６、ＤＣＴ３１７、量子化部３１８、第
１の可変長符号化部３１９、第２の可変長符号化部３２
０および多重化部３２１を備える。動き補償フレーム予
測部３１６、ＤＣＴ３１７、量子化部３１８、第１の可
変長符号化部３１９、第２の可変長符号化部３２０およ
び多重化部３２１の動作は、従来の技術と同様であるの
で、説明を省略する。
ーム予測部３１６、ＤＣＴ３１７、量子化部３１８、第
１の可変長符号化部３１９、第２の可変長符号化部３２
０および多重化部３２１を備える。動き補償フレーム予
測部３１６、ＤＣＴ３１７、量子化部３１８、第１の可
変長符号化部３１９、第２の可変長符号化部３２０およ
び多重化部３２１の動作は、従来の技術と同様であるの
で、説明を省略する。
【０１８０】前記符号化部３０４は、１フレーム時間毎
に、入力される画像データを画像サンプルする。さら
に、符号化部３０４は、１フレーム時間の間に、画像サ
ンプルした対象フレームを、伝送済み最新フレームを参
照フレームとして符号化を行うとともに、前記対象フレ
ームを画像サンプルした時点で伝送中のフレームを参照
フレームとして符号化を行う。なお、ここでは、ひとつ
の符号化部３０４で前述のような符号化処理を１フレー
ム時間内に行うこととしたが、複数の符号化部３０４を
備え、前述のような符号化処理をそれぞれの符号化部３
０４が並行して行うようにしてもよい。
に、入力される画像データを画像サンプルする。さら
に、符号化部３０４は、１フレーム時間の間に、画像サ
ンプルした対象フレームを、伝送済み最新フレームを参
照フレームとして符号化を行うとともに、前記対象フレ
ームを画像サンプルした時点で伝送中のフレームを参照
フレームとして符号化を行う。なお、ここでは、ひとつ
の符号化部３０４で前述のような符号化処理を１フレー
ム時間内に行うこととしたが、複数の符号化部３０４を
備え、前述のような符号化処理をそれぞれの符号化部３
０４が並行して行うようにしてもよい。
【０１８１】また、符号化制御部３０５は、前述のよう
にして符号化された符号化データを、フレーム選択部３
０８からの指示に従って送信バッファ１２７に出力す
る。なお、符号化制御部３０５から送信バッファ１２７
に出力される符号化データは、それぞれそのフレームの
直前に符号化されたフレームを参照フレームとして符号
化された符号化データである。また、伝送エラーによっ
て伝送中のフレームが表示不能となった後に、符号化デ
ータ記憶装置３０３から送信バッファ１２７に出力され
る符号化データは、伝送済み最新フレームを参照フレー
ムとして符号化された符号化データである。
にして符号化された符号化データを、フレーム選択部３
０８からの指示に従って送信バッファ１２７に出力す
る。なお、符号化制御部３０５から送信バッファ１２７
に出力される符号化データは、それぞれそのフレームの
直前に符号化されたフレームを参照フレームとして符号
化された符号化データである。また、伝送エラーによっ
て伝送中のフレームが表示不能となった後に、符号化デ
ータ記憶装置３０３から送信バッファ１２７に出力され
る符号化データは、伝送済み最新フレームを参照フレー
ムとして符号化された符号化データである。
【０１８２】さらに、前記符号化制御部３０５は、符号
化部３０４によって符号化された符号化データを符号化
データ記憶装置３０３に出力するとともに、前記符号化
データの発生符号量を計数し、計数した発生符号量と、
対象フレームのフレームナンバーと、その参照フレーム
となったフレームのフレームナンバーとを前記符号化デ
ータと関連付けて符号化データ記憶装置３０３に出力す
る。
化部３０４によって符号化された符号化データを符号化
データ記憶装置３０３に出力するとともに、前記符号化
データの発生符号量を計数し、計数した発生符号量と、
対象フレームのフレームナンバーと、その参照フレーム
となったフレームのフレームナンバーとを前記符号化デ
ータと関連付けて符号化データ記憶装置３０３に出力す
る。
【０１８３】フレームメモリ３３１は、ｎ（ｎは予め定
める自然数）フレーム分の復号データを記憶しておくこ
とができる記憶領域を備え、伝送済み最新フレームと現
在伝送中のフレームと、さらに、いずれか１フレームの
伝送が完了するまでの間に画像サンプルされたフレーム
とについて、復号部３３２からの復号データを記憶す
る。
める自然数）フレーム分の復号データを記憶しておくこ
とができる記憶領域を備え、伝送済み最新フレームと現
在伝送中のフレームと、さらに、いずれか１フレームの
伝送が完了するまでの間に画像サンプルされたフレーム
とについて、復号部３３２からの復号データを記憶す
る。
【０１８４】復号部３３２は、多重化部３２１から出力
される符号化データを復号し、さらに逆量子化、逆ＤＣ
Ｔ変換する。復号部３３２は、前述のようにして逆ＤＣ
Ｔ変換した復号データと、参照フレームの復号データと
を加算することによって伝送フレームを再現し、前記伝
送フレームをフレームメモリ３３１に出力する。送信バ
ッファ１２７、タイマー１３０、伝送制御部１０９につ
いては、実施例１と同様であるので、説明を省略する。
される符号化データを復号し、さらに逆量子化、逆ＤＣ
Ｔ変換する。復号部３３２は、前述のようにして逆ＤＣ
Ｔ変換した復号データと、参照フレームの復号データと
を加算することによって伝送フレームを再現し、前記伝
送フレームをフレームメモリ３３１に出力する。送信バ
ッファ１２７、タイマー１３０、伝送制御部１０９につ
いては、実施例１と同様であるので、説明を省略する。
【０１８５】以下、フレーム選択部３０８について、図
面を参照しながら説明する。図１１は、実施例２の画像
符号化装置のフレーム選択部３０８の構成図である。図
１１に示すように、フレーム選択部３０８は、フレーム
限界値算出部５０２、処理時間算出部５０７、第２の判
断部５０８および制御部５１０を備える。フレーム限界
値算出部５０２、処理時間算出部５０７および第２の判
断部５０８の動作については、図６に示すフレーム選択
部１０８ａと同様であるので、説明を省略する。
面を参照しながら説明する。図１１は、実施例２の画像
符号化装置のフレーム選択部３０８の構成図である。図
１１に示すように、フレーム選択部３０８は、フレーム
限界値算出部５０２、処理時間算出部５０７、第２の判
断部５０８および制御部５１０を備える。フレーム限界
値算出部５０２、処理時間算出部５０７および第２の判
断部５０８の動作については、図６に示すフレーム選択
部１０８ａと同様であるので、説明を省略する。
【０１８６】制御部５１０は、フレーム限界値算出部５
０２から出力される表示不能信号を検出すると、符号化
データ記憶装置３０３に、第１から第ｎのデータメモリ
３０１内に記憶されている符号化データを伝送中のフレ
ームに続くフレームから順次、読み出して、その符号化
データの発生符号量を処理時間算出部５０７に出力する
よう指示する。処理時間算出部５０７は、前記発生符号
量に基づいて符号化データ記憶装置３０３から読み出さ
れた符号化データの処理量を算出し、前記処理量を第２
の判断部５０８に出力する。ここで、処理量とは、（処
理量）＝（伝送速度）×（発生符号量）／（復号速度）
をいう。
０２から出力される表示不能信号を検出すると、符号化
データ記憶装置３０３に、第１から第ｎのデータメモリ
３０１内に記憶されている符号化データを伝送中のフレ
ームに続くフレームから順次、読み出して、その符号化
データの発生符号量を処理時間算出部５０７に出力する
よう指示する。処理時間算出部５０７は、前記発生符号
量に基づいて符号化データ記憶装置３０３から読み出さ
れた符号化データの処理量を算出し、前記処理量を第２
の判断部５０８に出力する。ここで、処理量とは、（処
理量）＝（伝送速度）×（発生符号量）／（復号速度）
をいう。
【０１８７】第２の判断部５０８は、そのフレームの画
像を表示すべき時点までに、画像符号化装置が前記符号
化データの伝送を完了し、受信側が復号を完了すること
が可能か否か、すなわち、前記フレームの表示の可否を
判断する。第２の判断部５０８は、表示可能と判断した
符号化データのフレームナンバーと、そのフレームの参
照フレーム、ここでは伝送済み最新フレームのフレーム
ナンバーとを符号化データ記憶装置３０３に出力し、前
述のようにして指定した符号化データを読み出して送信
バッファ１２７に出力するよう指示する。
像を表示すべき時点までに、画像符号化装置が前記符号
化データの伝送を完了し、受信側が復号を完了すること
が可能か否か、すなわち、前記フレームの表示の可否を
判断する。第２の判断部５０８は、表示可能と判断した
符号化データのフレームナンバーと、そのフレームの参
照フレーム、ここでは伝送済み最新フレームのフレーム
ナンバーとを符号化データ記憶装置３０３に出力し、前
述のようにして指定した符号化データを読み出して送信
バッファ１２７に出力するよう指示する。
【０１８８】以上のように構成された画像符号化装置に
ついてその動作を図１２を用いて説明する。図１２
（ａ）は、動画像を構成する各フレームの画像データが
前処理装置１１５から符号化部３０６に入力されるフレ
ームを示す。ここでは、前記各フレームの画像データは
毎秒３０枚の時間間隔で入力されている。図１２（ｂ）
に示す矢印↑は、画像サンプルのタイミングを示す。図
１２（ｃ）は符号化に要する時間を示す。符号化に要す
る時間は、フレーム間の予測誤差の画像データ量に応じ
て変動するが、符号化部３０６はこのフレーム間隔の間
に符号化を完了する。図１２（ｄ）は、各フレームの符
号化データの伝送に要する時間を示す。図１２（ｅ）
は、各フレームの符号化データの復号時間を示す。図１
２（ｆ）は、受信側の表示装置が復号された各フレーム
の画像データを表示装置に表示するタイミングを示す。
図１２（ｆ）に丸印で示すのは、この表示タイミングに
表示することができたフレームであり、×印で示すの
は、この表示タイミングに表示することができなかった
フレームである。
ついてその動作を図１２を用いて説明する。図１２
（ａ）は、動画像を構成する各フレームの画像データが
前処理装置１１５から符号化部３０６に入力されるフレ
ームを示す。ここでは、前記各フレームの画像データは
毎秒３０枚の時間間隔で入力されている。図１２（ｂ）
に示す矢印↑は、画像サンプルのタイミングを示す。図
１２（ｃ）は符号化に要する時間を示す。符号化に要す
る時間は、フレーム間の予測誤差の画像データ量に応じ
て変動するが、符号化部３０６はこのフレーム間隔の間
に符号化を完了する。図１２（ｄ）は、各フレームの符
号化データの伝送に要する時間を示す。図１２（ｅ）
は、各フレームの符号化データの復号時間を示す。図１
２（ｆ）は、受信側の表示装置が復号された各フレーム
の画像データを表示装置に表示するタイミングを示す。
図１２（ｆ）に丸印で示すのは、この表示タイミングに
表示することができたフレームであり、×印で示すの
は、この表示タイミングに表示することができなかった
フレームである。
【０１８９】図１２では、フレームナンバー１およびフ
レームナンバー４の画像はそれぞれ画像サンプルされた
時点から平滑化時間Ｔ＝８フレーム時間後に表示される
が、フレームナンバー１０の画像は画像サンプルされた
時点から平滑化時間Ｔ＝８フレーム時間後に復号が完了
しなかったため表示されない。図１２において、フレー
ムナンバー１０の画像はフレームナンバー１の画像と同
様の予測誤差に対応する画像データ量を有するものとす
る。すなわち、符号化に２フレーム時間、最善の場合、
すなわち伝送に支障がなければ、伝送に３フレーム時
間、復号に１フレーム時間を要するものとする。
レームナンバー４の画像はそれぞれ画像サンプルされた
時点から平滑化時間Ｔ＝８フレーム時間後に表示される
が、フレームナンバー１０の画像は画像サンプルされた
時点から平滑化時間Ｔ＝８フレーム時間後に復号が完了
しなかったため表示されない。図１２において、フレー
ムナンバー１０の画像はフレームナンバー１の画像と同
様の予測誤差に対応する画像データ量を有するものとす
る。すなわち、符号化に２フレーム時間、最善の場合、
すなわち伝送に支障がなければ、伝送に３フレーム時
間、復号に１フレーム時間を要するものとする。
【０１９０】ここでは説明のため、フレームナンバー１
のフレームから伝送を開始したものとする。まず最初
に、符号化部３０４は、フレームナンバー１の伝送フレ
ームをフレーム内モードで符号化を行い、送信バッファ
１２７、符号化データ記憶装置３０３および復号部３３
２に出力する。符号化データ記憶装置３０３に出力され
たフレームナンバー１の符号化データは、そのフレーム
のフレームナンバーと、参照フレームがないことを示す
情報と、発生符号量とに対応付けて記憶される。送信バ
ッファ１２７に出力された前記符号化データは、伝送制
御装置３０７によって伝送される。復号部３３２に出力
された前記符号化データは、復号部３３２によって復号
された後、フレームメモリ３３１内に記憶される。
のフレームから伝送を開始したものとする。まず最初
に、符号化部３０４は、フレームナンバー１の伝送フレ
ームをフレーム内モードで符号化を行い、送信バッファ
１２７、符号化データ記憶装置３０３および復号部３３
２に出力する。符号化データ記憶装置３０３に出力され
たフレームナンバー１の符号化データは、そのフレーム
のフレームナンバーと、参照フレームがないことを示す
情報と、発生符号量とに対応付けて記憶される。送信バ
ッファ１２７に出力された前記符号化データは、伝送制
御装置３０７によって伝送される。復号部３３２に出力
された前記符号化データは、復号部３３２によって復号
された後、フレームメモリ３３１内に記憶される。
【０１９１】次いで、前記フレームナンバー２の画像デ
ータは、フレーム内モードで符号化される一方、フレー
ムメモリ３３１内に記憶されているフレームナンバー１
の復号データを参照フレームとして符号化される。前記
符号化データは、符号化データ記憶装置３０３および復
号部３３２に出力される。フレームナンバー２の符号化
データは、送信バッファ１２７内に一定量の空き記憶領
域がないので、送信バッファ１２７には出力されない。
ここで、もし、送信バッファ１２７内に一定量以上の空
き記憶領域があれば、フレームナンバー１の復号データ
を参照フレームとするフレームナンバー２の符号化デー
タは送信バッファ１２７に出力される。
ータは、フレーム内モードで符号化される一方、フレー
ムメモリ３３１内に記憶されているフレームナンバー１
の復号データを参照フレームとして符号化される。前記
符号化データは、符号化データ記憶装置３０３および復
号部３３２に出力される。フレームナンバー２の符号化
データは、送信バッファ１２７内に一定量の空き記憶領
域がないので、送信バッファ１２７には出力されない。
ここで、もし、送信バッファ１２７内に一定量以上の空
き記憶領域があれば、フレームナンバー１の復号データ
を参照フレームとするフレームナンバー２の符号化デー
タは送信バッファ１２７に出力される。
【０１９２】符号化データ記憶装置３０３に出力された
フレームナンバー２の符号化データは、そのフレームの
フレームナンバーと、参照フレームがないことを示す情
報かまたは参照フレームのフレームナンバーと、発生符
号量とに対応付けて、符号化データ記憶装置３０３内に
記憶される。ここで、復号部３３２に出力された前記符
号化データのうち、伝送済み最新フレームの復号データ
を参照フレームとして符号化された符号化データは、復
号部３３２によって復号された後フレームメモリ３３１
内に出力され、前記伝送済み最新フレームの復号データ
と多重化されるものとする。
フレームナンバー２の符号化データは、そのフレームの
フレームナンバーと、参照フレームがないことを示す情
報かまたは参照フレームのフレームナンバーと、発生符
号量とに対応付けて、符号化データ記憶装置３０３内に
記憶される。ここで、復号部３３２に出力された前記符
号化データのうち、伝送済み最新フレームの復号データ
を参照フレームとして符号化された符号化データは、復
号部３３２によって復号された後フレームメモリ３３１
内に出力され、前記伝送済み最新フレームの復号データ
と多重化されるものとする。
【０１９３】ここでは、すなわち、フレームナンバー２
が符号化される時点では、伝送済みのフレームがないの
で、フレーム内モードで符号化されたフレームナンバー
２の復号データが、フレームメモリ３３１内のフレーム
ナンバー１が記憶されている記憶領域とは異なる記憶領
域に、そのフレームナンバーと対応付けて記憶される。
次いで、フレームナンバー３の画像データは、フレー
ム内モードで符号化されるとともに、フレームメモリ３
３１内に記憶されているそれぞれフレームナンバー１の
復号データとフレームナンバー２の復号データとを参照
フレームとして符号化される。このとき、フレームナン
バー３の符号化データは、送信バッファ１２７内に一定
量の空き記憶領域がないので、送信バッファ１２７には
出力されない。フレームナンバー３の符号化データは、
符号化データ記憶装置３０３および復号部３３２に出力
される。
が符号化される時点では、伝送済みのフレームがないの
で、フレーム内モードで符号化されたフレームナンバー
２の復号データが、フレームメモリ３３１内のフレーム
ナンバー１が記憶されている記憶領域とは異なる記憶領
域に、そのフレームナンバーと対応付けて記憶される。
次いで、フレームナンバー３の画像データは、フレー
ム内モードで符号化されるとともに、フレームメモリ３
３１内に記憶されているそれぞれフレームナンバー１の
復号データとフレームナンバー２の復号データとを参照
フレームとして符号化される。このとき、フレームナン
バー３の符号化データは、送信バッファ１２７内に一定
量の空き記憶領域がないので、送信バッファ１２７には
出力されない。フレームナンバー３の符号化データは、
符号化データ記憶装置３０３および復号部３３２に出力
される。
【０１９４】符号化データ記憶装置３０３に出力された
フレームナンバー３の符号化データは、そのフレームの
フレームナンバーと、参照フレームがないことを示す情
報かまたは参照フレームのフレームナンバーと、発生符
号量とに対応付けて記憶される。復号部３３２に出力さ
れたフレームナンバー３の符号化データは、復号後、フ
レームメモリ３３１に出力される。
フレームナンバー３の符号化データは、そのフレームの
フレームナンバーと、参照フレームがないことを示す情
報かまたは参照フレームのフレームナンバーと、発生符
号量とに対応付けて記憶される。復号部３３２に出力さ
れたフレームナンバー３の符号化データは、復号後、フ
レームメモリ３３１に出力される。
【０１９５】ここでは、すなわち、フレームナンバー３
が符号化される時点では、伝送済みのフレームがないの
で、フレーム内モードで符号化されたフレームナンバー
３の復号データが、フレームメモリ３３１内のフレーム
ナンバー１およびフレームナンバー２の復号データとは
異なる記憶領域に、そのフレームのフレームナンバーと
対応付けて記憶される。
が符号化される時点では、伝送済みのフレームがないの
で、フレーム内モードで符号化されたフレームナンバー
３の復号データが、フレームメモリ３３１内のフレーム
ナンバー１およびフレームナンバー２の復号データとは
異なる記憶領域に、そのフレームのフレームナンバーと
対応付けて記憶される。
【０１９６】ここで、もし、送信バッファ１２７内に一
定量の空き記憶領域があり、直前にフレームナンバー２
の符号化データが記憶されていれば、フレームナンバー
２の復号データを参照フレームとするフレームナンバー
３の符号化データが送信バッファ１２７に出力される。
また、ここで、送信バッファ１２７内に一定量の空き記
憶領域があり、フレームナンバー１の符号化データが記
憶されていれば、フレームナンバー１の復号データを参
照フレームとするフレームナンバー３の符号化データが
送信バッファ１２７に出力される。
定量の空き記憶領域があり、直前にフレームナンバー２
の符号化データが記憶されていれば、フレームナンバー
２の復号データを参照フレームとするフレームナンバー
３の符号化データが送信バッファ１２７に出力される。
また、ここで、送信バッファ１２７内に一定量の空き記
憶領域があり、フレームナンバー１の符号化データが記
憶されていれば、フレームナンバー１の復号データを参
照フレームとするフレームナンバー３の符号化データが
送信バッファ１２７に出力される。
【０１９７】フレームナンバー４の画像データは、前述
と同様にしてフレーム内モードで符号化されるととも
に、フレームナンバー１、フレームナンバー２、フレー
ムナンバー３の復号データを参照フレームとして符号化
される。また、ここで、フレームナンバー４の符号化デ
ータは、送信バッファ１２７内に一定量の空き記憶領域
ができたので、送信バッファ１２７に出力される。この
とき、送信バッファ１２７内に直前に記憶されている符
号化データはフレームナンバー１の符号化データである
ので、フレームナンバー１の復号データを参照フレーム
とするフレームナンバー４の符号化データが送信バッフ
ァ１２７に出力される。
と同様にしてフレーム内モードで符号化されるととも
に、フレームナンバー１、フレームナンバー２、フレー
ムナンバー３の復号データを参照フレームとして符号化
される。また、ここで、フレームナンバー４の符号化デ
ータは、送信バッファ１２７内に一定量の空き記憶領域
ができたので、送信バッファ１２７に出力される。この
とき、送信バッファ１２７内に直前に記憶されている符
号化データはフレームナンバー１の符号化データである
ので、フレームナンバー１の復号データを参照フレーム
とするフレームナンバー４の符号化データが送信バッフ
ァ１２７に出力される。
【０１９８】同時に、フレームナンバー４の符号化デー
タのうち、フレーム内モードで符号化された符号化デー
タが復号部３３２に出力される。復号部３３２に出力さ
れた符号化データは、復号部３３２によって復号され、
フレームメモリ３３１内のフレームナンバー１、２、３
の復号データが記憶されている記憶領域とは異なる記憶
領域に記憶される。
タのうち、フレーム内モードで符号化された符号化デー
タが復号部３３２に出力される。復号部３３２に出力さ
れた符号化データは、復号部３３２によって復号され、
フレームメモリ３３１内のフレームナンバー１、２、３
の復号データが記憶されている記憶領域とは異なる記憶
領域に記憶される。
【０１９９】フレームナンバー５を画像サンプルする時
点でフレームナンバー１は伝送が完了しているため、フ
レームメモリ３３１に格納されているフレームナンバー
２、フレームナンバー３の復号データは、廃棄される。
また、同時に、符号化データ記憶装置３０３内に記憶さ
れているそれぞれフレームナンバー２、フレームナンバ
ー３を参照フレームとする符号化データは、廃棄され
る。
点でフレームナンバー１は伝送が完了しているため、フ
レームメモリ３３１に格納されているフレームナンバー
２、フレームナンバー３の復号データは、廃棄される。
また、同時に、符号化データ記憶装置３０３内に記憶さ
れているそれぞれフレームナンバー２、フレームナンバ
ー３を参照フレームとする符号化データは、廃棄され
る。
【０２００】フレームナンバー５の画像データは、フレ
ームナンバー１、フレームナンバー４を参照フレームと
して符号化される。前記フレームナンバー５の符号化デ
ータは、そのフレームナンバーと、参照フレームのフレ
ームナンバーと、発生符号量とに対応付けて符号化デー
タ記憶装置３０３内に記憶される。以下、同様にして、
フレームナンバー６からフレームナンバー１０までの画
像データが、順次、フレームメモリ３３１内に記憶され
ているフレームナンバー１とフレームナンバー４の復号
データを参照フレームとして符号化される。符号化装置
３０６は、各フレームの画像データにつき、前述のよう
な符号化を１フレーム時間内で行う。前述のように符号
化された符号化データは、全て符号化データ記憶装置３
０３に出力され、そのフレームのフレームナンバーと、
参照フレームのフレームナンバーと、発生符号量とに対
応付けて記憶される。
ームナンバー１、フレームナンバー４を参照フレームと
して符号化される。前記フレームナンバー５の符号化デ
ータは、そのフレームナンバーと、参照フレームのフレ
ームナンバーと、発生符号量とに対応付けて符号化デー
タ記憶装置３０３内に記憶される。以下、同様にして、
フレームナンバー６からフレームナンバー１０までの画
像データが、順次、フレームメモリ３３１内に記憶され
ているフレームナンバー１とフレームナンバー４の復号
データを参照フレームとして符号化される。符号化装置
３０６は、各フレームの画像データにつき、前述のよう
な符号化を１フレーム時間内で行う。前述のように符号
化された符号化データは、全て符号化データ記憶装置３
０３に出力され、そのフレームのフレームナンバーと、
参照フレームのフレームナンバーと、発生符号量とに対
応付けて記憶される。
【０２０１】また、前記符号化データのうち、送信バッ
ファ１２７に出力される符号化データは、復号部３３２
に出力される。復号部３３２に出力された符号化データ
は、復号された後フレームメモリ３３１に出力され記憶
される。 前述のようにして、フレームナンバー１０の
符号化が完了した時点で、送信バッファ１２７に一定量
の空き記憶領域ができ、フレームナンバー１０の符号化
データが送信バッファ１２７に出力される。次いで、フ
レームナンバー１１の画像データが画像サンプルされる
時点で、フレームナンバー４の符号化データの伝送が完
了し、フレームナンバー１０の符号化データの伝送が開
始される。
ファ１２７に出力される符号化データは、復号部３３２
に出力される。復号部３３２に出力された符号化データ
は、復号された後フレームメモリ３３１に出力され記憶
される。 前述のようにして、フレームナンバー１０の
符号化が完了した時点で、送信バッファ１２７に一定量
の空き記憶領域ができ、フレームナンバー１０の符号化
データが送信バッファ１２７に出力される。次いで、フ
レームナンバー１１の画像データが画像サンプルされる
時点で、フレームナンバー４の符号化データの伝送が完
了し、フレームナンバー１０の符号化データの伝送が開
始される。
【０２０２】この時点で伝送済み最新フレームは、フレ
ームナンバー４となる。このため、符号化データ記憶装
置３０３内に記憶されている符号化データのうち、フレ
ームナンバー１の復号データを参照フレームとするもの
は、廃棄される。また、フレームメモリ３３１内に記憶
されている復号データのうち、フレームナンバー４より
フレームナンバーが小さいフレーム、すなわち、フレー
ムナンバー１の復号データは、廃棄される。
ームナンバー４となる。このため、符号化データ記憶装
置３０３内に記憶されている符号化データのうち、フレ
ームナンバー１の復号データを参照フレームとするもの
は、廃棄される。また、フレームメモリ３３１内に記憶
されている復号データのうち、フレームナンバー４より
フレームナンバーが小さいフレーム、すなわち、フレー
ムナンバー１の復号データは、廃棄される。
【０２０３】この後、フレームナンバー１０の符号化デ
ータを伝送中に前述のようなフェージングによるバース
トエラーが４フレーム時間に渡って発生したものとす
る。以下、図１２（ｄ）に示すようにフレームナンバー
１６の画像データを入力する時点をすぎても伝送エラー
が続く場合には、フレーム選択部３０８は、前述のよう
にして、フレームナンバー１０の表示不能を判断する。
具体的には、フレーム選択部３０８はフレームナンバー
１０のバッファ１２７内の未送信データ量と、現時点か
らフレームナンバー１０の画像を表示すべき時点までの
残り時間と、符号化時の発生データ量とから表示不能を
判断する。
ータを伝送中に前述のようなフェージングによるバース
トエラーが４フレーム時間に渡って発生したものとす
る。以下、図１２（ｄ）に示すようにフレームナンバー
１６の画像データを入力する時点をすぎても伝送エラー
が続く場合には、フレーム選択部３０８は、前述のよう
にして、フレームナンバー１０の表示不能を判断する。
具体的には、フレーム選択部３０８はフレームナンバー
１０のバッファ１２７内の未送信データ量と、現時点か
らフレームナンバー１０の画像を表示すべき時点までの
残り時間と、符号化時の発生データ量とから表示不能を
判断する。
【０２０４】符号化データ記憶装置３０３は、フレーム
ナンバー１０の符号化データを送信バッファ１２７に転
送して以後、フレームナンバー１１、フレームナンバー
１２、フレームナンバー１３、以下、それに続くフレー
ムの画像データを順次、それぞれフレーム４とフレーム
１０とを参照フレームとして符号化し、第１から第ｎの
データメモリ３０１に記憶している。
ナンバー１０の符号化データを送信バッファ１２７に転
送して以後、フレームナンバー１１、フレームナンバー
１２、フレームナンバー１３、以下、それに続くフレー
ムの画像データを順次、それぞれフレーム４とフレーム
１０とを参照フレームとして符号化し、第１から第ｎの
データメモリ３０１に記憶している。
【０２０５】前記３フレームを例に取って説明すると、
フレームナンバー１１、フレームナンバー１２およびフ
レームナンバー１３において、フレームナンバー１０の
画像の表示不能が判断された時点、すなわち、フレーム
ナンバー１６の画像データを入力した時点から、伝送、
復号に費やせる時間はそれぞれ、３フレーム時間、４フ
レーム時間、５フレーム時間である。フレーム選択部３
０８はそれぞれの時間内に伝送、復号が可能な最もフレ
ームナンバーの小さいフレームを前述のようにして選択
し、選択したフレームのフレームナンバーと参照フレー
ムのフレームナンバーとをメモリ制御部３０２に出力す
る。
フレームナンバー１１、フレームナンバー１２およびフ
レームナンバー１３において、フレームナンバー１０の
画像の表示不能が判断された時点、すなわち、フレーム
ナンバー１６の画像データを入力した時点から、伝送、
復号に費やせる時間はそれぞれ、３フレーム時間、４フ
レーム時間、５フレーム時間である。フレーム選択部３
０８はそれぞれの時間内に伝送、復号が可能な最もフレ
ームナンバーの小さいフレームを前述のようにして選択
し、選択したフレームのフレームナンバーと参照フレー
ムのフレームナンバーとをメモリ制御部３０２に出力す
る。
【０２０６】ここでは、フレームナンバー１３が選択さ
れたものとする。メモリ制御部３０２はフレームナンバ
ー４を参照フレームとするフレームナンバー１３の符号
化データをデータメモリ３０１から読みだして、前記符
号化データを伝送制御装置３０７に出力する。ここで
は、フレームナンバー１３は、伝送エラーがなくなった
時点、すなわち、フレームナンバー１７を入力する時点
から伝送が開始され、フレームナンバー２０を入力する
時点で受信側の表示装置に表示される。
れたものとする。メモリ制御部３０２はフレームナンバ
ー４を参照フレームとするフレームナンバー１３の符号
化データをデータメモリ３０１から読みだして、前記符
号化データを伝送制御装置３０７に出力する。ここで
は、フレームナンバー１３は、伝送エラーがなくなった
時点、すなわち、フレームナンバー１７を入力する時点
から伝送が開始され、フレームナンバー２０を入力する
時点で受信側の表示装置に表示される。
【０２０７】なお、ここでは伝送中のフレームに続くフ
レームの中から、表示すべき時点に受信側の表示装置に
表示可能であって、フレームナンバーがもっとも小さい
フレームを選択したが、伝送中のフレームより先のフレ
ームの中から前述のような選択を行ってもよい。このよ
うにすれば、伝送中のフレームの発生符号量が比較的大
きい場合や、伝送フレームの伝送開始直後にバーストエ
ラーが発生した場合などに有効であって、伝送中のフレ
ームが表示不能となった場合の駒落としをより少なくす
ることができる。
レームの中から、表示すべき時点に受信側の表示装置に
表示可能であって、フレームナンバーがもっとも小さい
フレームを選択したが、伝送中のフレームより先のフレ
ームの中から前述のような選択を行ってもよい。このよ
うにすれば、伝送中のフレームの発生符号量が比較的大
きい場合や、伝送フレームの伝送開始直後にバーストエ
ラーが発生した場合などに有効であって、伝送中のフレ
ームが表示不能となった場合の駒落としをより少なくす
ることができる。
【０２０８】また、ここでは、各符号化データの発生符
号量を符号化データと共に符号化データ記憶装置３０３
内に記憶したが、前記発生符号量を符号化データ記憶装
置３０３内に記憶せず、各符号化データの表示の可否を
判断する際に、符号化データ記憶装置３０３から読み出
した都度、符号化データの符号量を計数してもよい。こ
のように、従来の画像符号化装置では同じバーストエラ
ーの発生時に１２駒の駒落しが発生したのに対し、８駒
の駒落としが発生するに留めることができる。すなわ
ち、サンプリングされる全フレームを符号化し、符号化
データ記憶装置３０３内に記憶しているので、平滑化時
間を延長することなく、伝送遅延などにより伝送中のフ
レームが表示不能となった場合の駒落しを最小限にする
ことが可能となる。
号量を符号化データと共に符号化データ記憶装置３０３
内に記憶したが、前記発生符号量を符号化データ記憶装
置３０３内に記憶せず、各符号化データの表示の可否を
判断する際に、符号化データ記憶装置３０３から読み出
した都度、符号化データの符号量を計数してもよい。こ
のように、従来の画像符号化装置では同じバーストエラ
ーの発生時に１２駒の駒落しが発生したのに対し、８駒
の駒落としが発生するに留めることができる。すなわ
ち、サンプリングされる全フレームを符号化し、符号化
データ記憶装置３０３内に記憶しているので、平滑化時
間を延長することなく、伝送遅延などにより伝送中のフ
レームが表示不能となった場合の駒落しを最小限にする
ことが可能となる。
【０２０９】またさらに、フレーム選択部３０８によっ
て選択されたフレームの符号化データの伝送を速やかに
開始することができる。なお、最初の１フレームの伝送
が完了するまでの間に画像サンプルされるフレームは、
符号化された後、復号装置３３３で復号され、参照フレ
ームの復号データと多重化され、フレームメモリ３３１
に記憶されるとしたが、最初の１フレームの伝送が完了
するまでの間に画像サンプルされるフレームについて
は、そのフレームの符号化が完了した後に、そのフレー
ムが符号化される前の画像データが直接フレームメモリ
３３１に記憶されるようにしてもよい。
て選択されたフレームの符号化データの伝送を速やかに
開始することができる。なお、最初の１フレームの伝送
が完了するまでの間に画像サンプルされるフレームは、
符号化された後、復号装置３３３で復号され、参照フレ
ームの復号データと多重化され、フレームメモリ３３１
に記憶されるとしたが、最初の１フレームの伝送が完了
するまでの間に画像サンプルされるフレームについて
は、そのフレームの符号化が完了した後に、そのフレー
ムが符号化される前の画像データが直接フレームメモリ
３３１に記憶されるようにしてもよい。
【０２１０】すなわち、図１２に示すように、フレーム
ナンバー１の送達確認が取れるまでに画像サンプルされ
るフレームナンバー２、３、４の各フレームについて
は、画像データが、直接、フレームメモリ３３１に記憶
されるようにしてもよい。 （実施例３）以下に、本発明の実施例３の画像符号化装
置について、図１３および図１４を参照しながら説明す
る。
ナンバー１の送達確認が取れるまでに画像サンプルされ
るフレームナンバー２、３、４の各フレームについて
は、画像データが、直接、フレームメモリ３３１に記憶
されるようにしてもよい。 （実施例３）以下に、本発明の実施例３の画像符号化装
置について、図１３および図１４を参照しながら説明す
る。
【０２１１】図１３は、本発明の実施例３である画像符
号化装置の構成図である。図１３に示すように、画像符
号化装置は、前処理装置４１１、復号データ記憶装置４
５１、符号化装置４５２、第１の復号装置４５３、第２
の復号装置４５４、伝送制御装置４５５、第１のスイッ
チ４２８および第２のスイッチ４２９を備える。
号化装置の構成図である。図１３に示すように、画像符
号化装置は、前処理装置４１１、復号データ記憶装置４
５１、符号化装置４５２、第１の復号装置４５３、第２
の復号装置４５４、伝送制御装置４５５、第１のスイッ
チ４２８および第２のスイッチ４２９を備える。
【０２１２】復号データ記憶装置４５１は、メモリ制御
部４１２、第１の復号フレームメモリ４６３、第２の復
号フレームメモリ４６４および第３の復号フレームメモ
リ４６５を備える。符号化装置４５２は、符号化部４１
６、符号化制御部４１６ａおよび差分部４２６を備え
る。第１の復号装置４５３は、第１の復号部４２２、第
１の復号制御部４２２ａおよび第１の加算部４２４を備
える。第２の復号装置４５４は、第２の復号部４２３、
第２の復号制御部４２３ａ、フレームメモリ４２５およ
び第２の加算部４２７を備える。伝送制御装置４５５
は、送信バッファ４１７、伝送制御部４１８、モード切
り換え部４１９、タイマー１３０および未送信バッファ
４３１を備える。前処理装置４１１は、実施例１と同様
であるので、説明を省略する。
部４１２、第１の復号フレームメモリ４６３、第２の復
号フレームメモリ４６４および第３の復号フレームメモ
リ４６５を備える。符号化装置４５２は、符号化部４１
６、符号化制御部４１６ａおよび差分部４２６を備え
る。第１の復号装置４５３は、第１の復号部４２２、第
１の復号制御部４２２ａおよび第１の加算部４２４を備
える。第２の復号装置４５４は、第２の復号部４２３、
第２の復号制御部４２３ａ、フレームメモリ４２５およ
び第２の加算部４２７を備える。伝送制御装置４５５
は、送信バッファ４１７、伝送制御部４１８、モード切
り換え部４１９、タイマー１３０および未送信バッファ
４３１を備える。前処理装置４１１は、実施例１と同様
であるので、説明を省略する。
【０２１３】復号データ記憶装置４５１は、第１の復号
装置４５３から出力される復号データを記憶する。第１
の復号フレームメモリ４６３、第２の復号フレームメモ
リ４６４および第３の復号フレームメモリ４６５は、そ
れぞれ１フレーム分の画像データに相当する復号データ
を記憶する記憶領域を備え、書込み中に読み出し可能な
デュアルポートメモリである。
装置４５３から出力される復号データを記憶する。第１
の復号フレームメモリ４６３、第２の復号フレームメモ
リ４６４および第３の復号フレームメモリ４６５は、そ
れぞれ１フレーム分の画像データに相当する復号データ
を記憶する記憶領域を備え、書込み中に読み出し可能な
デュアルポートメモリである。
【０２１４】ここで、すべての復号フレームメモリに復
号データが書き込まれた状態でさらに新たなフレームの
復号データが書き込まれるときには、最もフレームナン
バーが小さいフレームの復号データを記憶している復号
フレームメモリが新たな復号データで書き換えられる。
また、伝送済みのフレーム以外の復号データが新たに書
き込まれる場合には、伝送済み最新フレーム以外のフレ
ームであって、最もフレームナンバーが小さい復号デー
タが新たなフレームの復号データで書き換えられる。
号データが書き込まれた状態でさらに新たなフレームの
復号データが書き込まれるときには、最もフレームナン
バーが小さいフレームの復号データを記憶している復号
フレームメモリが新たな復号データで書き換えられる。
また、伝送済みのフレーム以外の復号データが新たに書
き込まれる場合には、伝送済み最新フレーム以外のフレ
ームであって、最もフレームナンバーが小さい復号デー
タが新たなフレームの復号データで書き換えられる。
【０２１５】メモリ制御部４１２は、前記第１の復号フ
レームメモリ４６３、第２の復号フレームメモリ４６４
および第３の復号フレームメモリ４６５への復号データ
の書き込み、読みだしを制御する。符号化装置４５２
は、符号化制御部４１６ａの制御によって、入力される
フレームの予測符号化を行う。
レームメモリ４６３、第２の復号フレームメモリ４６４
および第３の復号フレームメモリ４６５への復号データ
の書き込み、読みだしを制御する。符号化装置４５２
は、符号化制御部４１６ａの制御によって、入力される
フレームの予測符号化を行う。
【０２１６】符号化部４１６は、差分部４２６で求めた
差分による予測誤差を符号化する差分部４２６は、入力
される２個のブロックの差分を取る。入力される２個の
ブロックとは、符号化対象フレームの１ブロックと、参
照フレームの１ブロックである。第１の復号装置４５３
は、第１の復号制御部４２２ａの制御によって、伝送制
御装置４５５から入力されるブロック毎に符号化データ
を復号し、復号データ記憶装置４５１内に記憶されてい
る復号データの対応する１ブロックと多重化して復号デ
ータ記憶装置４５１に出力することにより、復号データ
記憶装置４５１内に伝送制御装置４５５から入力される
符号化データのもとの画像データに相当する復号データ
を復号データ記憶装置４５１内に再現する。
差分による予測誤差を符号化する差分部４２６は、入力
される２個のブロックの差分を取る。入力される２個の
ブロックとは、符号化対象フレームの１ブロックと、参
照フレームの１ブロックである。第１の復号装置４５３
は、第１の復号制御部４２２ａの制御によって、伝送制
御装置４５５から入力されるブロック毎に符号化データ
を復号し、復号データ記憶装置４５１内に記憶されてい
る復号データの対応する１ブロックと多重化して復号デ
ータ記憶装置４５１に出力することにより、復号データ
記憶装置４５１内に伝送制御装置４５５から入力される
符号化データのもとの画像データに相当する復号データ
を復号データ記憶装置４５１内に再現する。
【０２１７】第１の復号部４２２は、未送信バッファ４
３１内に記憶されている符号化データを、ブロック毎に
順次、復号する。第１の加算部４２４は、入力される２
個のブロックを加算して復号データ記憶装置４５１に出
力する。入力される２個のブロックとは、第１の復号部
４２２で復号された復号データと復号フレームメモリ４
１３に格納されている最新の送達確認済みフレームの復
号データである。
３１内に記憶されている符号化データを、ブロック毎に
順次、復号する。第１の加算部４２４は、入力される２
個のブロックを加算して復号データ記憶装置４５１に出
力する。入力される２個のブロックとは、第１の復号部
４２２で復号された復号データと復号フレームメモリ４
１３に格納されている最新の送達確認済みフレームの復
号データである。
【０２１８】第２の復号装置４５４は、第２の復号制御
部４２３ａの制御によって、符号化装置４５２から送信
バッファ４１７に出力された符号化データを復号し、フ
レームメモリ４２５内に記憶されている復号データの対
応する１ブロックと多重化することによって、送信バッ
ファ４１７に出力された符号化データのもとの画像デー
タに相当する復号データをフレームメモリ４２５内に再
現する。
部４２３ａの制御によって、符号化装置４５２から送信
バッファ４１７に出力された符号化データを復号し、フ
レームメモリ４２５内に記憶されている復号データの対
応する１ブロックと多重化することによって、送信バッ
ファ４１７に出力された符号化データのもとの画像デー
タに相当する復号データをフレームメモリ４２５内に再
現する。
【０２１９】第２の復号部４２３は、符号化装置４５２
によって予測符号化された符号化データを復号する。フ
レームメモリ４２５は、第２のスイッチ４２９を介して
入力される第２の加算部４２７で多重化された復号デー
タを記憶する。第２の加算部４２７は、入力される２個
のブロックを加算する。前記２個のブロックは、第２の
復号部４２３で復号された復号データから切り出された
１ブロックと、前記ブロックに対応してフレームメモリ
４２５内に記憶されている参照フレームから切り出され
た１ブロックである。
によって予測符号化された符号化データを復号する。フ
レームメモリ４２５は、第２のスイッチ４２９を介して
入力される第２の加算部４２７で多重化された復号デー
タを記憶する。第２の加算部４２７は、入力される２個
のブロックを加算する。前記２個のブロックは、第２の
復号部４２３で復号された復号データから切り出された
１ブロックと、前記ブロックに対応してフレームメモリ
４２５内に記憶されている参照フレームから切り出され
た１ブロックである。
【０２２０】伝送制御装置４５５は、受信側と連絡を取
り合いながら伝送フレームを伝送路４３０を介して受信
側に伝送するとともに、伝送中のフレームの表示の可否
を判断し、伝送中のフレームが表示不能となったときに
は、表示画像の駒落としを最小とするよう画像符号化装
置の動作を切り換える。送信バッファ４１７は、書き込
み読みだし可能な先入先出しのメモリで、伝送フレーム
の符号化データを記憶する。
り合いながら伝送フレームを伝送路４３０を介して受信
側に伝送するとともに、伝送中のフレームの表示の可否
を判断し、伝送中のフレームが表示不能となったときに
は、表示画像の駒落としを最小とするよう画像符号化装
置の動作を切り換える。送信バッファ４１７は、書き込
み読みだし可能な先入先出しのメモリで、伝送フレーム
の符号化データを記憶する。
【０２２１】伝送制御部４１８は、受信側と連絡を取り
合いながら送信バッファ４１７内に記憶されている伝送
フレームを順次、伝送する。伝送制御部４１８は、少な
くとも１ブロックの符号化データを記憶しておく記憶領
域を備え、前記記憶領域に伝送中のブロックの符号化デ
ータを記憶しておく。伝送制御部４１８は、受信側から
の送達確認信号を検出したときは、モード切り換え部４
１９に送達確認信号を出力するとともに、送達確認が取
れたブロックの符号化データを未送信バッファ４３１に
出力する。また、伝送制御部４１８は、受信側からの送
達確認信号を検出できないときは、モード切り換え部４
１９に送達不能信号を出力するとともに、前記記憶領域
に記憶していたブロックの符号化データを受信側に再送
する。
合いながら送信バッファ４１７内に記憶されている伝送
フレームを順次、伝送する。伝送制御部４１８は、少な
くとも１ブロックの符号化データを記憶しておく記憶領
域を備え、前記記憶領域に伝送中のブロックの符号化デ
ータを記憶しておく。伝送制御部４１８は、受信側から
の送達確認信号を検出したときは、モード切り換え部４
１９に送達確認信号を出力するとともに、送達確認が取
れたブロックの符号化データを未送信バッファ４３１に
出力する。また、伝送制御部４１８は、受信側からの送
達確認信号を検出できないときは、モード切り換え部４
１９に送達不能信号を出力するとともに、前記記憶領域
に記憶していたブロックの符号化データを受信側に再送
する。
【０２２２】モード切り換え部４１９は、実施例１の画
像符号化装置に備えられるフレーム限界値算出部５０２
と同様のフレーム限界値算出部５９１を備え、フレーム
限界値算出部５９１から出力されるフレーム限界値に基
づいて、各フレームの表示の可否を判断する。モード切
り換え部４１９は、伝送中のフレームが表示不能になっ
たときには、第１のスイッチ４２８と第２のスイッチ４
２９とを切り換えることによって画像符号化装置全体の
動作を切り換える。モード切り換え部４１９について
は、後に詳述する。
像符号化装置に備えられるフレーム限界値算出部５０２
と同様のフレーム限界値算出部５９１を備え、フレーム
限界値算出部５９１から出力されるフレーム限界値に基
づいて、各フレームの表示の可否を判断する。モード切
り換え部４１９は、伝送中のフレームが表示不能になっ
たときには、第１のスイッチ４２８と第２のスイッチ４
２９とを切り換えることによって画像符号化装置全体の
動作を切り換える。モード切り換え部４１９について
は、後に詳述する。
【０２２３】タイマー１３０は、一定時間毎に、ここで
は１フレーム時間毎に値が変化する信号を出力する。未
送信バッファ４３１は、伝送制御部４１８を介して送信
バッファ４１７から読み出された符号化データをフレー
ム毎に記憶する。ただし、前記符号化データは、ブロッ
ク毎に書き込まれ、読み出される。
は１フレーム時間毎に値が変化する信号を出力する。未
送信バッファ４３１は、伝送制御部４１８を介して送信
バッファ４１７から読み出された符号化データをフレー
ム毎に記憶する。ただし、前記符号化データは、ブロッ
ク毎に書き込まれ、読み出される。
【０２２４】第１のスイッチ４２８および第２のスイッ
チ４２９は、モード切り換え部４１９からの制御信号に
よって切り換えられる。第１のスイッチ４２８および第
２のスイッチ４２９は、電気的に切り換えられるスイッ
チであって、伝送中のフレームが表示不能と判断される
までは端子１が接続される状態であって、伝送中のフレ
ームが表示不能と判断されると端子２が接続される状態
に切り換えられる。 （モード切り換え部４１９）図１４は、実施例３の画像
符号化装置に備えられるモード切り換え部４１９の構成
図である。
チ４２９は、モード切り換え部４１９からの制御信号に
よって切り換えられる。第１のスイッチ４２８および第
２のスイッチ４２９は、電気的に切り換えられるスイッ
チであって、伝送中のフレームが表示不能と判断される
までは端子１が接続される状態であって、伝送中のフレ
ームが表示不能と判断されると端子２が接続される状態
に切り換えられる。 （モード切り換え部４１９）図１４は、実施例３の画像
符号化装置に備えられるモード切り換え部４１９の構成
図である。
【０２２５】図１４に示すようにモード切り換え部４１
９は、フレーム限界値算出部５９１、判断部５９３およ
び制御部５９４を備える。フレーム限界値算出部５９１
の構成は、実施例１のフレーム限界値算出部５０２と同
様であるが、ここでは判断対象フレームの表示の可否を
判断する際に、判断対象フレームの符号化時間および復
号時間は説明の簡略化のため考慮しない。しかし、実際
には上記の処理時間を考慮する必要がある。フレーム限
界値算出部５９１は、タイマー１３０からの信号に基づ
いて、１フレーム時間毎に伝送中のフレームのフレーム
限界値を求め、前記フレーム限界値から送信バッファ４
１７内の伝送中のフレームの未送信符号量を減算した値
が、予め定められるしきい値以下である場合に表示可能
と判断する。フレーム限界値算出部５９１は、伝送中の
フレームを表示不能と判断したときは、制御部５９４に
表示不能信号を出力する。
９は、フレーム限界値算出部５９１、判断部５９３およ
び制御部５９４を備える。フレーム限界値算出部５９１
の構成は、実施例１のフレーム限界値算出部５０２と同
様であるが、ここでは判断対象フレームの表示の可否を
判断する際に、判断対象フレームの符号化時間および復
号時間は説明の簡略化のため考慮しない。しかし、実際
には上記の処理時間を考慮する必要がある。フレーム限
界値算出部５９１は、タイマー１３０からの信号に基づ
いて、１フレーム時間毎に伝送中のフレームのフレーム
限界値を求め、前記フレーム限界値から送信バッファ４
１７内の伝送中のフレームの未送信符号量を減算した値
が、予め定められるしきい値以下である場合に表示可能
と判断する。フレーム限界値算出部５９１は、伝送中の
フレームを表示不能と判断したときは、制御部５９４に
表示不能信号を出力する。
【０２２６】判断部５９３は、フレーム限界値算出部５
９１から出力される判断対象フレームのフレーム限界値
と、送信バッファ４１７内に記憶されている最新フレー
ムの発生符号量に近似される予測発生符号量とを比較し
て、前記予測発生符号量が前記フレーム限界値より小さ
いフレームを表示可能と判断する。判断部５９３は、前
述のようにして表示可能と判断したフレームのうち、最
もフレームナンバーが小さいフレームを最適フレームと
して、そのフレームナンバーを制御部５９４に出力す
る。判断部５９３は、判断対象フレームが表示不能であ
ると判断したときは、表示不能信号を制御部５９４に出
力する。
９１から出力される判断対象フレームのフレーム限界値
と、送信バッファ４１７内に記憶されている最新フレー
ムの発生符号量に近似される予測発生符号量とを比較し
て、前記予測発生符号量が前記フレーム限界値より小さ
いフレームを表示可能と判断する。判断部５９３は、前
述のようにして表示可能と判断したフレームのうち、最
もフレームナンバーが小さいフレームを最適フレームと
して、そのフレームナンバーを制御部５９４に出力す
る。判断部５９３は、判断対象フレームが表示不能であ
ると判断したときは、表示不能信号を制御部５９４に出
力する。
【０２２７】制御部５９４は、フレーム限界値算出部５
９１から出力される伝送中のフレームが表示不能となっ
たことを示す表示不能信号を検出すると、符号化制御部
４１６ａに、送信バッファ４１７内に記憶されている最
新フレームの符号量を検出して前記符号量を判断部５９
３に出力するよう指示し、判断部５９３に伝送中のフレ
ームに続くフレームの表示の可否を判断するよう指示す
る。
９１から出力される伝送中のフレームが表示不能となっ
たことを示す表示不能信号を検出すると、符号化制御部
４１６ａに、送信バッファ４１７内に記憶されている最
新フレームの符号量を検出して前記符号量を判断部５９
３に出力するよう指示し、判断部５９３に伝送中のフレ
ームに続くフレームの表示の可否を判断するよう指示す
る。
【０２２８】この時点で、送信バッファ４１７内に記憶
されている最新フレームは、フレームメモリ４２５内
に、復号データで再現されている。従って、符号化部４
１６は、前記復号データを、復号データ記憶装置４５１
内に記憶されている伝送済み最新フレームを参照フレー
ムとして符号化し、その発生符号量を検出する。制御部
５９４は、判断部５９３からの表示不能信号を検出した
ときには、選択信号をフレーム限界値算出部５９１に出
力し、フレーム限界値算出部５９１に次のフレームのフ
レーム限界値を判断部５９３に出力するよう指示する。
また、制御部５９４は、判断部５９３からの最適フレー
ムナンバーを検出したときには、復号データ記憶装置４
５１内に記憶されている最適フレームの復号データと、
伝送済み最新フレームの復号データとから予測符号化を
行うよう符号化装置４５２に指示する。
されている最新フレームは、フレームメモリ４２５内
に、復号データで再現されている。従って、符号化部４
１６は、前記復号データを、復号データ記憶装置４５１
内に記憶されている伝送済み最新フレームを参照フレー
ムとして符号化し、その発生符号量を検出する。制御部
５９４は、判断部５９３からの表示不能信号を検出した
ときには、選択信号をフレーム限界値算出部５９１に出
力し、フレーム限界値算出部５９１に次のフレームのフ
レーム限界値を判断部５９３に出力するよう指示する。
また、制御部５９４は、判断部５９３からの最適フレー
ムナンバーを検出したときには、復号データ記憶装置４
５１内に記憶されている最適フレームの復号データと、
伝送済み最新フレームの復号データとから予測符号化を
行うよう符号化装置４５２に指示する。
【０２２９】以下に、図１４のように構成されたモード
切り換え部４１９の各フレームに対する表示の可否の判
断方法を図１５を用いて説明する。図１５は、実施例３
の画像符号化装置におけるモード切り換え部４１９の最
適フレーム検出方法を説明するためのグラフである。図
１５は、テスト画像Ｍｉｓｓ Ａｍｅｒｉｃａのフレー
ムナンバー２１からフレームナンバー５０までをフレー
ムナンバー２０を参照フレームとして符号化した場合の
発生符号量を示すグラフである。縦軸は発生符号量を示
しており、横軸はフレームナンバー２０から発生符号量
測定対象フレームまでの駒落とし数および発生符号量測
定対象フレームのフレームナンバーを示している。
切り換え部４１９の各フレームに対する表示の可否の判
断方法を図１５を用いて説明する。図１５は、実施例３
の画像符号化装置におけるモード切り換え部４１９の最
適フレーム検出方法を説明するためのグラフである。図
１５は、テスト画像Ｍｉｓｓ Ａｍｅｒｉｃａのフレー
ムナンバー２１からフレームナンバー５０までをフレー
ムナンバー２０を参照フレームとして符号化した場合の
発生符号量を示すグラフである。縦軸は発生符号量を示
しており、横軸はフレームナンバー２０から発生符号量
測定対象フレームまでの駒落とし数および発生符号量測
定対象フレームのフレームナンバーを示している。
【０２３０】図１５（ａ）の直線は、バーストエラー後
の伝送路の伝送速度（３２ｋｂｐｓ）を示す。図１５
（ｂ）の折れ線グラフは、駒落とし数に対する発生符号
量を示す。図１５（ｃ）は、フレームナンバー２０の復
号データを参照フレームとしてフレームナンバー３５を
符号化した場合に発生する符号量を示している。ここで
は、フレームナンバー２２からフレームナンバー２５に
かけてバーストエラーが生じたものとする。
の伝送路の伝送速度（３２ｋｂｐｓ）を示す。図１５
（ｂ）の折れ線グラフは、駒落とし数に対する発生符号
量を示す。図１５（ｃ）は、フレームナンバー２０の復
号データを参照フレームとしてフレームナンバー３５を
符号化した場合に発生する符号量を示している。ここで
は、フレームナンバー２２からフレームナンバー２５に
かけてバーストエラーが生じたものとする。
【０２３１】図１５（ｂ）の折れ線グラフに示すよう
に、参照フレームから発生符号量測定対象フレームまで
の間に、ある程度以上に駒落とし数が増加すると、発生
符号量測定対象フレームの発生符号量が一定の値を示す
ようになる。ここでは、参照フレームから発生符号量測
定対象フレームまでの駒落とし数が約１０フレーム以上
となると、発生符号量は図１５（Ｃ）に示されるような
値、すなわち、４０００ビット前後の値となる。ただ
し、この値は、伝送すべき動画像によって異なる。
に、参照フレームから発生符号量測定対象フレームまで
の間に、ある程度以上に駒落とし数が増加すると、発生
符号量測定対象フレームの発生符号量が一定の値を示す
ようになる。ここでは、参照フレームから発生符号量測
定対象フレームまでの駒落とし数が約１０フレーム以上
となると、発生符号量は図１５（Ｃ）に示されるような
値、すなわち、４０００ビット前後の値となる。ただ
し、この値は、伝送すべき動画像によって異なる。
【０２３２】したがって、モード切り換え部４１９は、
伝送中のフレームが表示不能となった場合、その時送信
バッファ４１７内に記憶されている伝送フレームの中か
ら表示可能なフレームを検出する訳であるが、その際、
伝送エラーによって伝送中のフレームが表示不能となる
ような場合には、次に表示可能となるフレームの発生符
号量は、送信バッファ４１７内に記憶されている最新フ
レームの発生符号量に近似することができると仮定す
る。
伝送中のフレームが表示不能となった場合、その時送信
バッファ４１７内に記憶されている伝送フレームの中か
ら表示可能なフレームを検出する訳であるが、その際、
伝送エラーによって伝送中のフレームが表示不能となる
ような場合には、次に表示可能となるフレームの発生符
号量は、送信バッファ４１７内に記憶されている最新フ
レームの発生符号量に近似することができると仮定す
る。
【０２３３】図１５では、伝送済み最新フレームがフレ
ームナンバー２０であって、伝送エラーがフレームナン
バー２２を入力する時点からフレームナンバー２５を入
力する時点まで発生したものとしている。また、ここで
は表示の可否を判断すべきフレームの発生符号量をフレ
ームナンバー３５の発生符号量４０００ビットと近似す
る。ここで、平滑化時間Ｔを１０フレーム時間とし、伝
送エラーがなくなった時点、すなわち、フレームナンバ
ー２５を入力する時点から伝送を開始するとした場合、
受信側でそのフレームの画像を表示すべき時間までに伝
送が完了し、更に駒落としが最小となる最適フレーム
は、直線（ａ）と直線（ｃ）の交点で示されるフレーム
となり、図１５からフレームナンバー２９のフレームが
最適フレームとなる。 （画像符号化装置全体の動作）以下に、図１３に示すよ
うに構成された画像符号化装置について、図１６、図１
７および図１８を用いてその動作を説明する。
ームナンバー２０であって、伝送エラーがフレームナン
バー２２を入力する時点からフレームナンバー２５を入
力する時点まで発生したものとしている。また、ここで
は表示の可否を判断すべきフレームの発生符号量をフレ
ームナンバー３５の発生符号量４０００ビットと近似す
る。ここで、平滑化時間Ｔを１０フレーム時間とし、伝
送エラーがなくなった時点、すなわち、フレームナンバ
ー２５を入力する時点から伝送を開始するとした場合、
受信側でそのフレームの画像を表示すべき時間までに伝
送が完了し、更に駒落としが最小となる最適フレーム
は、直線（ａ）と直線（ｃ）の交点で示されるフレーム
となり、図１５からフレームナンバー２９のフレームが
最適フレームとなる。 （画像符号化装置全体の動作）以下に、図１３に示すよ
うに構成された画像符号化装置について、図１６、図１
７および図１８を用いてその動作を説明する。
【０２３４】図１６は、実施例３の画像符号化装置の動
作を説明するためのタイミングチャートである。図１７
は、実施例３の画像符号化装置における各フレームの復
号例、符号化例および伝送の一例を示す図である。図１
８は、実施例３の画像符号化装置における各フレームの
復号例、符号化例および伝送の他の例を示す図である。
作を説明するためのタイミングチャートである。図１７
は、実施例３の画像符号化装置における各フレームの復
号例、符号化例および伝送の一例を示す図である。図１
８は、実施例３の画像符号化装置における各フレームの
復号例、符号化例および伝送の他の例を示す図である。
【０２３５】図１６において、フレームナンバー５の画
像データは、フレーム間の予測誤差に基づいて符号化さ
れ、最善の場合、すなわち、伝送エラーによる伝送遅延
がない場合には２フレーム時間（６６ｍｓｅｃ）で伝送
が完了し、平滑化時間Ｔ＝１０フレーム時間（３３０ｍ
ｓｅｃ）後に受信側の表示装置に表示できるものとす
る。
像データは、フレーム間の予測誤差に基づいて符号化さ
れ、最善の場合、すなわち、伝送エラーによる伝送遅延
がない場合には２フレーム時間（６６ｍｓｅｃ）で伝送
が完了し、平滑化時間Ｔ＝１０フレーム時間（３３０ｍ
ｓｅｃ）後に受信側の表示装置に表示できるものとす
る。
【０２３６】ところが、携帯用送信機を用いて動画像を
送信し、無線回線を介して受信側に伝送する場合には、
フェージングによるバーストエラーの発生は避け得な
い。このバーストエラーは移動速度が歩行速度以下の場
合、３〜６フレーム時間に達する。ここでは、フレーム
ナンバー５の伝送中にこのような伝送遅延が１００ｍｓ
ｅｃ（約３フレーム時間）にわたって発生したものとす
る。。
送信し、無線回線を介して受信側に伝送する場合には、
フェージングによるバーストエラーの発生は避け得な
い。このバーストエラーは移動速度が歩行速度以下の場
合、３〜６フレーム時間に達する。ここでは、フレーム
ナンバー５の伝送中にこのような伝送遅延が１００ｍｓ
ｅｃ（約３フレーム時間）にわたって発生したものとす
る。。
【０２３７】図１６（ａ）は、符号化部４１６が前処理
装置４１１から入力される画像データを画像サンプルす
るタイミングを示す。図１６（ｂ）は、前処理装置４１
１から入力される画像データのうち符号化部４１６に画
像サンプルされるフレームのフレームナンバーを示す。
図１６（ｃ）は、送信バッファ４１７に記憶されている
フレームのフレームナンバーを示す。図１６（ｄ）は、
各フレームの伝送状態を示す。図１６（ｅ）は、平滑化
時間Ｔを示す。図１６（ｆ）は、受信側で復号されたフ
レームが表示装置に表示されるタイミングを示す。
装置４１１から入力される画像データを画像サンプルす
るタイミングを示す。図１６（ｂ）は、前処理装置４１
１から入力される画像データのうち符号化部４１６に画
像サンプルされるフレームのフレームナンバーを示す。
図１６（ｃ）は、送信バッファ４１７に記憶されている
フレームのフレームナンバーを示す。図１６（ｄ）は、
各フレームの伝送状態を示す。図１６（ｅ）は、平滑化
時間Ｔを示す。図１６（ｆ）は、受信側で復号されたフ
レームが表示装置に表示されるタイミングを示す。
【０２３８】図１６（ａ）に示すように、符号化部４１
６は、前処理装置４１１から入力される画像データを、
それぞれ６６ｍｓｅｃ間隔（１駒落とし）で画像サンプ
ルする。図１６（ｆ）に示すように、受信側で復号され
たフレームが表示装置に表示されるタイミングは、符号
化部４１６がそのフレームの画像データを画像サンプル
した時間から平滑化時間Ｔ後である。ここでは、平滑化
時間Ｔ＝１０フレーム時間である。
６は、前処理装置４１１から入力される画像データを、
それぞれ６６ｍｓｅｃ間隔（１駒落とし）で画像サンプ
ルする。図１６（ｆ）に示すように、受信側で復号され
たフレームが表示装置に表示されるタイミングは、符号
化部４１６がそのフレームの画像データを画像サンプル
した時間から平滑化時間Ｔ後である。ここでは、平滑化
時間Ｔ＝１０フレーム時間である。
【０２３９】前処理装置４１１から入力されるフレーム
の画像データが符号化部４１６によって画像サンプルさ
れてから、この平滑化時間Ｔ後までに受信側で復号が完
了した場合、前記フレームはこの時間まで保持された後
に表示される。また前記フレームがこの時間までに復号
できなかった場合、前記フレームの符号化データは廃棄
される。
の画像データが符号化部４１６によって画像サンプルさ
れてから、この平滑化時間Ｔ後までに受信側で復号が完
了した場合、前記フレームはこの時間まで保持された後
に表示される。また前記フレームがこの時間までに復号
できなかった場合、前記フレームの符号化データは廃棄
される。
【０２４０】なお、実際には画像符号化装置側で必要な
符号化時間および受信側で必要な復号時間を考慮する必
要があるが、ここでは動作説明を分かりやすいものとす
るため考慮しない。図１７、図１８は、送信バッファ４
１７内に記憶されている未送信フレームを復号する場合
の復号方法および符号化方法の例、およびフレームナン
バー１７の画像データを画像サンプルした直後の送信バ
ッファ４１７内に記憶されているフレームのフレームナ
ンバーを示している。 （通常動作）まず、伝送を開始したフレームが順次伝送
を完了し、受信側からの送達確認が取れている間の画像
符号化装置の動作について説明する。
符号化時間および受信側で必要な復号時間を考慮する必
要があるが、ここでは動作説明を分かりやすいものとす
るため考慮しない。図１７、図１８は、送信バッファ４
１７内に記憶されている未送信フレームを復号する場合
の復号方法および符号化方法の例、およびフレームナン
バー１７の画像データを画像サンプルした直後の送信バ
ッファ４１７内に記憶されているフレームのフレームナ
ンバーを示している。 （通常動作）まず、伝送を開始したフレームが順次伝送
を完了し、受信側からの送達確認が取れている間の画像
符号化装置の動作について説明する。
【０２４１】第３の復号フレームメモリ４６５には受信
側からの送達確認がとれた、すなわち、伝送済み最新フ
レームが記憶されているものとする。なお、伝送を開始
したフレームが順次伝送を完了し、受信側からの送達確
認が取れている間、第１のスイッチ４２８は端子２が接
続されており、第２のスイッチ４２９は端子２が接続さ
れている。
側からの送達確認がとれた、すなわち、伝送済み最新フ
レームが記憶されているものとする。なお、伝送を開始
したフレームが順次伝送を完了し、受信側からの送達確
認が取れている間、第１のスイッチ４２８は端子２が接
続されており、第２のスイッチ４２９は端子２が接続さ
れている。
【０２４２】符号化装置４５２は、伝送中のフレームが
表示不能と判断されるまでは、従来の符号化装置と同様
にして、差分部４２６で、画像サンプルされたフレーム
の画像データとフレームメモリ４２５に記憶されている
参照フレームの復号データとの間でブロック毎に動きベ
クトルを求め、差分をとり、予測誤差を求める。符号化
部４１６は、求めた予測誤差を符号化し、送信バッファ
４１７に出力する。
表示不能と判断されるまでは、従来の符号化装置と同様
にして、差分部４２６で、画像サンプルされたフレーム
の画像データとフレームメモリ４２５に記憶されている
参照フレームの復号データとの間でブロック毎に動きベ
クトルを求め、差分をとり、予測誤差を求める。符号化
部４１６は、求めた予測誤差を符号化し、送信バッファ
４１７に出力する。
【０２４３】第２の復号部４２３は、符号化された予測
誤差を復号し、第２の加算部４２７に出力する。第２の
加算部４２７は、フレームメモリ４２５内の参照フレー
ムと第２の復号部４２３によって復号された予測誤差と
を加算し、フレームメモリ４２５に出力する。伝送制御
部４１８は、送信バッファ４１７内に記憶されている符
号化データを伝送路４３０を介して、受信側に伝送す
る。
誤差を復号し、第２の加算部４２７に出力する。第２の
加算部４２７は、フレームメモリ４２５内の参照フレー
ムと第２の復号部４２３によって復号された予測誤差と
を加算し、フレームメモリ４２５に出力する。伝送制御
部４１８は、送信バッファ４１７内に記憶されている符
号化データを伝送路４３０を介して、受信側に伝送す
る。
【０２４４】伝送制御部４１８は、さらに、伝送を完了
し、受信側からの送達確認が取れた符号化データを未送
信バッファ４３１に転送し、送達確認信号をモード切り
換え部４１９に出力する。第１の復号部４２２は、モー
ド切り換え部４１９からの指示により、伝送制御部４１
８が受信側からの送達確認をとった符号化データを順
次、復号し第１の加算部４２４に出力する。メモリ制御
部４１２は、モード切り換え部４１９からの指示によ
り、第３の復号フレームメモリ４６５内に記憶されてい
る伝送済み最新フレームを読み出し、前記符号化データ
の１ブロックに相当するブロックの復号データを第１の
加算部４２４に出力する。第１の加算部４２４は、第３
の復号フレームメモリ４６５から読み出された伝送済み
最新フレームと復号された符号化データとをブロック毎
に加算し、第１の復号フレームメモリ４６３に記憶して
いく。伝送中のフレームの全てのブロックに関して送達
確認がとれたならば、メモリ制御部４１２は、第１の復
号フレームメモリ４６３に記憶されているフレームを伝
送済み最新フレームとして管理する。
し、受信側からの送達確認が取れた符号化データを未送
信バッファ４３１に転送し、送達確認信号をモード切り
換え部４１９に出力する。第１の復号部４２２は、モー
ド切り換え部４１９からの指示により、伝送制御部４１
８が受信側からの送達確認をとった符号化データを順
次、復号し第１の加算部４２４に出力する。メモリ制御
部４１２は、モード切り換え部４１９からの指示によ
り、第３の復号フレームメモリ４６５内に記憶されてい
る伝送済み最新フレームを読み出し、前記符号化データ
の１ブロックに相当するブロックの復号データを第１の
加算部４２４に出力する。第１の加算部４２４は、第３
の復号フレームメモリ４６５から読み出された伝送済み
最新フレームと復号された符号化データとをブロック毎
に加算し、第１の復号フレームメモリ４６３に記憶して
いく。伝送中のフレームの全てのブロックに関して送達
確認がとれたならば、メモリ制御部４１２は、第１の復
号フレームメモリ４６３に記憶されているフレームを伝
送済み最新フレームとして管理する。
【０２４５】次にフェージング等によりバーストエラー
が発生し、伝送速度が低下した場合の、画像符号化装置
の動作を説明する。 （伝送エラー発生時の動作）図１６に示すようにフレー
ムナンバー５の符号化データを伝送中に１００ｍｓｅｃ
におよぶバーストエラーが発生したとする。伝送制御部
４１８は、この時点で送達不能信号をモード切り換え部
４１９に出力する。
が発生し、伝送速度が低下した場合の、画像符号化装置
の動作を説明する。 （伝送エラー発生時の動作）図１６に示すようにフレー
ムナンバー５の符号化データを伝送中に１００ｍｓｅｃ
におよぶバーストエラーが発生したとする。伝送制御部
４１８は、この時点で送達不能信号をモード切り換え部
４１９に出力する。
【０２４６】また、この時、送信バッファ４１７内には
フレームナンバー３を参照フレームとして符号化された
フレームナンバー５の符号化データ、フレームナンバー
５を参照フレームとして符号化されたフレームナンバー
７の符号化データ、フレームナンバー７を参照フレーム
として符号化されたフレームナンバー９の符号化デー
タ、フレームナンバー９を参照フレームとして符号化さ
れたフレームナンバー１１の符号化データおよびフレー
ムナンバー１１を参照フレームとして符号化されたフレ
ームナンバー１３の符号化データが記憶されている。
フレームナンバー３を参照フレームとして符号化された
フレームナンバー５の符号化データ、フレームナンバー
５を参照フレームとして符号化されたフレームナンバー
７の符号化データ、フレームナンバー７を参照フレーム
として符号化されたフレームナンバー９の符号化デー
タ、フレームナンバー９を参照フレームとして符号化さ
れたフレームナンバー１１の符号化データおよびフレー
ムナンバー１１を参照フレームとして符号化されたフレ
ームナンバー１３の符号化データが記憶されている。
【０２４７】フレームメモリ４２５内には、フレームナ
ンバー１３の復号データが記憶されている。また第２の
復号フレームメモリ４６４内には、バーストエラーが発
生するまでに送達確認が取れたブロックまでの再現途中
のフレームナンバー５の復号データが記憶されている。
第１の復号フレームメモリ４６３には、受信側からの送
達確認がとれた伝送済み最新フレームであるフレームナ
ンバー３の復号データが記憶されているものとする。
ンバー１３の復号データが記憶されている。また第２の
復号フレームメモリ４６４内には、バーストエラーが発
生するまでに送達確認が取れたブロックまでの再現途中
のフレームナンバー５の復号データが記憶されている。
第１の復号フレームメモリ４６３には、受信側からの送
達確認がとれた伝送済み最新フレームであるフレームナ
ンバー３の復号データが記憶されているものとする。
【０２４８】モード切り換え部４１９は、フレームナン
バー５のフレーム限界値と、送信バッファ４１７内のフ
レームナンバー５の未送信データの未送信符号量とか
ら、フレームナンバー５の未送信データをフレームナン
バー５の画像を表示すべき時点までに受信側に伝送し終
わることができないと判断すると、すなわち、伝送中の
フレームの表示不能を判断すると、第１のスイッチ４２
８を端子２が接続される状態から端子１が接続される状
態へ、第２のスイッチ４２９を端子２が接続される状態
から端子１が接続される状態へ切り換える。
バー５のフレーム限界値と、送信バッファ４１７内のフ
レームナンバー５の未送信データの未送信符号量とか
ら、フレームナンバー５の未送信データをフレームナン
バー５の画像を表示すべき時点までに受信側に伝送し終
わることができないと判断すると、すなわち、伝送中の
フレームの表示不能を判断すると、第１のスイッチ４２
８を端子２が接続される状態から端子１が接続される状
態へ、第２のスイッチ４２９を端子２が接続される状態
から端子１が接続される状態へ切り換える。
【０２４９】ここで、送信バッファ４１７に記憶されて
いるフレームナンバー７、９、１１、１３の符号化デー
タは、予測誤差を用いて符号化されているため、フレー
ムナンバー５が表示不能となった時点で無効なデータと
なってしまう。このため、フレームナンバー５の復号を
完了し、フレームナンバー５の画像データを第１の復号
フレームメモリ４６３内の伝送済み最新フレームである
フレームナンバー３を用いて復号データで再現し、再現
されたフレームナンバー５の復号データから前記各フレ
ームの画像データを復号データで再現する。 （伝送中フレームの再現）伝送制御部４１８は、送信バ
ッファ４１７内に記憶されているフレームナンバー５の
未送信データおよびフレームナンバー７、９、１１、１
３の符号化データを読みだし、前記各符号化データを未
送信バッファ４３１に転送する。第１の復号部４２２
は、未送信バッファ４３１からフレームナンバー５の未
送信データをブロックごとに読み出して復号し、第１の
加算部４２４に出力する。
いるフレームナンバー７、９、１１、１３の符号化デー
タは、予測誤差を用いて符号化されているため、フレー
ムナンバー５が表示不能となった時点で無効なデータと
なってしまう。このため、フレームナンバー５の復号を
完了し、フレームナンバー５の画像データを第１の復号
フレームメモリ４６３内の伝送済み最新フレームである
フレームナンバー３を用いて復号データで再現し、再現
されたフレームナンバー５の復号データから前記各フレ
ームの画像データを復号データで再現する。 （伝送中フレームの再現）伝送制御部４１８は、送信バ
ッファ４１７内に記憶されているフレームナンバー５の
未送信データおよびフレームナンバー７、９、１１、１
３の符号化データを読みだし、前記各符号化データを未
送信バッファ４３１に転送する。第１の復号部４２２
は、未送信バッファ４３１からフレームナンバー５の未
送信データをブロックごとに読み出して復号し、第１の
加算部４２４に出力する。
【０２５０】メモリ制御部４１２は、モード切り換え部
４１９からの指示により、第１の復号フレームメモリ４
６３から伝送済み最新フレームの復号データを読み出
し、未送信バッファ４３１から読み出されたブロックに
相当する伝送済み最新フレーム、すなわち、フレームナ
ンバー３の復号データの１ブロックを第１の加算部４２
４に転送する。
４１９からの指示により、第１の復号フレームメモリ４
６３から伝送済み最新フレームの復号データを読み出
し、未送信バッファ４３１から読み出されたブロックに
相当する伝送済み最新フレーム、すなわち、フレームナ
ンバー３の復号データの１ブロックを第１の加算部４２
４に転送する。
【０２５１】第１の加算部４２４は、前記２個のブロッ
クを加算し、第２の復号フレームメモリ４６４に出力す
る。これによって、第２の復号フレームメモリ４６４内
に、フレームナンバー５の未送信部分がすでに記憶され
ている復号データに追加して再現される。 （伝送中フレームに続くフレームの再現）まず、第１の
復号部４２２は、フレームナンバー７の未送信データを
未送信バッファ４３１からブロック毎に順次、読みだ
し、読み出したフレームナンバー７の未送信データを復
号する。第１の復号部４２２は、復号したフレームナン
バー７の１ブロックを第１の加算部４２４に出力する。
クを加算し、第２の復号フレームメモリ４６４に出力す
る。これによって、第２の復号フレームメモリ４６４内
に、フレームナンバー５の未送信部分がすでに記憶され
ている復号データに追加して再現される。 （伝送中フレームに続くフレームの再現）まず、第１の
復号部４２２は、フレームナンバー７の未送信データを
未送信バッファ４３１からブロック毎に順次、読みだ
し、読み出したフレームナンバー７の未送信データを復
号する。第１の復号部４２２は、復号したフレームナン
バー７の１ブロックを第１の加算部４２４に出力する。
【０２５２】メモリ制御部４１２は、モード切り換え部
４１９からの指示により、第２の復号フレームメモリ４
６４からフレームナンバー５の復号データを読み出し、
第１の復号部４２２によって復号されたブロックに対応
する１ブロックの復号データを第１の加算部４２４に転
送する。第１の加算部４２４は、第１の復号部４２２に
よって復号されたフレームナンバー７のブロックと、第
２の復号フレームメモリ４６４から転送されたフレーム
ナンバー５のブロックとを加算して第３の復号フレーム
メモリ４６５に出力する。これによって、第３の復号フ
レームメモリ４６５内に、未送信フレームであるフレー
ムナンバー７が復号データで再現され、記憶される。 （最適フレーム検出）伝送制御部４１８は、伝送エラー
が終了し、受信側からの送達確認を受け取ると、モード
切り換え部４１９に送達確認信号を出力する。
４１９からの指示により、第２の復号フレームメモリ４
６４からフレームナンバー５の復号データを読み出し、
第１の復号部４２２によって復号されたブロックに対応
する１ブロックの復号データを第１の加算部４２４に転
送する。第１の加算部４２４は、第１の復号部４２２に
よって復号されたフレームナンバー７のブロックと、第
２の復号フレームメモリ４６４から転送されたフレーム
ナンバー５のブロックとを加算して第３の復号フレーム
メモリ４６５に出力する。これによって、第３の復号フ
レームメモリ４６５内に、未送信フレームであるフレー
ムナンバー７が復号データで再現され、記憶される。 （最適フレーム検出）伝送制御部４１８は、伝送エラー
が終了し、受信側からの送達確認を受け取ると、モード
切り換え部４１９に送達確認信号を出力する。
【０２５３】モード切り換え部４１９は、伝送制御部４
１８からの送達確認信号を検出すると、メモリ制御部４
１２に、第１の復号フレームメモリ４６３内に記憶され
ている伝送済み最新フレームであるフレームナンバー３
の復号データとフレームメモリ４２５内に記憶されてい
るフレームナンバー１３の復号データを差分部４２６へ
転送するよう指示する。
１８からの送達確認信号を検出すると、メモリ制御部４
１２に、第１の復号フレームメモリ４６３内に記憶され
ている伝送済み最新フレームであるフレームナンバー３
の復号データとフレームメモリ４２５内に記憶されてい
るフレームナンバー１３の復号データを差分部４２６へ
転送するよう指示する。
【０２５４】差分部４２６は、フレームナンバー３の復
号データを参照フレーム、フレームナンバー１３の復号
データを符号化対象フレームとして予測誤差をとり、符
号化部４１６に出力する。符号化部４１６は、前記予測
誤差を符号化する。符号化制御部４１６ａは、前述のフ
レームナンバー１３の発生符号量を検出し、モード切り
換え部４１９に出力する。
号データを参照フレーム、フレームナンバー１３の復号
データを符号化対象フレームとして予測誤差をとり、符
号化部４１６に出力する。符号化部４１６は、前記予測
誤差を符号化する。符号化制御部４１６ａは、前述のフ
レームナンバー１３の発生符号量を検出し、モード切り
換え部４１９に出力する。
【０２５５】モード切り換え部４１９は、符号化制御部
４１６ａから出力されたフレームナンバー１３の発生符
号量を判断対象フレームの予測符号量として第３の復号
フレームメモリ４６５内に記憶されているフレームナン
バー７の表示の可否を判断する。モード切り換え部４１
９は、表示可能と判断したフレームのうち最もフレーム
ナンバーの小さいものを最適フレームとしてそのフレー
ムナンバーをメモリ制御部４１２に出力する。
４１６ａから出力されたフレームナンバー１３の発生符
号量を判断対象フレームの予測符号量として第３の復号
フレームメモリ４６５内に記憶されているフレームナン
バー７の表示の可否を判断する。モード切り換え部４１
９は、表示可能と判断したフレームのうち最もフレーム
ナンバーの小さいものを最適フレームとしてそのフレー
ムナンバーをメモリ制御部４１２に出力する。
【０２５６】ここでは、フレームナンバー７は、表示不
能と判断されたものとする。次に、未送信バッファ４３
１内に記憶されているフレームナンバー９の符号化デー
タが、第１の復号装置４５３によって復号され、第２の
復号フレームメモリ４６４内に復号データで再現され
る。モード切り換え部４１９は、前述のフレームナンバ
ー１３の発生符号量を予測符号量としてフレームナンバ
ー９の表示の可否を判断する。ここで、フレームナンバ
ー９が最適フレームのフレームナンバーとして出力され
たものとする。 （符号化）さらに、モード切り換え部４１９は、メモリ
制御部４１２に、第１の復号フレームメモリ４６３内に
記憶されているフレームナンバー３の復号データをフレ
ームメモリ４２５へ、第２の復号フレームメモリ４６４
内に記憶されている最適フレームであるフレームナンバ
ー９の復号データを差分部４２６へ転送するよう指示す
る。
能と判断されたものとする。次に、未送信バッファ４３
１内に記憶されているフレームナンバー９の符号化デー
タが、第１の復号装置４５３によって復号され、第２の
復号フレームメモリ４６４内に復号データで再現され
る。モード切り換え部４１９は、前述のフレームナンバ
ー１３の発生符号量を予測符号量としてフレームナンバ
ー９の表示の可否を判断する。ここで、フレームナンバ
ー９が最適フレームのフレームナンバーとして出力され
たものとする。 （符号化）さらに、モード切り換え部４１９は、メモリ
制御部４１２に、第１の復号フレームメモリ４６３内に
記憶されているフレームナンバー３の復号データをフレ
ームメモリ４２５へ、第２の復号フレームメモリ４６４
内に記憶されている最適フレームであるフレームナンバ
ー９の復号データを差分部４２６へ転送するよう指示す
る。
【０２５７】差分部４２６は、フレームナンバー３の復
号データを参照フレーム、フレームナンバー９の復号デ
ータを符号化対象フレームとして予測誤差をとり、符号
化部４１６に出力する。符号化部４１６は、前記予測誤
差を符号化して送信バッファ４１７に出力する。そし
て、符号化中のフレームは、復号され、フレームメモリ
４２５に格納される。
号データを参照フレーム、フレームナンバー９の復号デ
ータを符号化対象フレームとして予測誤差をとり、符号
化部４１６に出力する。符号化部４１６は、前記予測誤
差を符号化して送信バッファ４１７に出力する。そし
て、符号化中のフレームは、復号され、フレームメモリ
４２５に格納される。
【０２５８】以下、前記最適フレーム以後のフレームに
関しても同様に復号データによる再現、表示の可否の判
断および予測符号化が行われ、送信バッファ４１７に出
力される。ここで、再現されたフレームのすべてが表示
の可否を判断され、予測符号化されて送信バッファ４１
７に出力されると、モード切り換え部４１９は、第１の
スイッチ４２８を端子１が接続される状態から端子２が
接続される状態へ、第２のスイッチを端子１が接続され
る状態から端子２が接続される状態へ切り換える。 （伝送）この時点で、図１７に示すように送信バッファ
４１７内には、フレームナンバー３を参照フレームとし
て符号化されたフレームナンバー９の符号化データ９
ａ、フレームナンバー９を参照フレームとして符号化さ
れたフレームナンバー１１の符号化データ１１ａ、フレ
ームナンバー１１を参照フレームとして符号化されたフ
レームナンバー１３の符号化データ１３ａ、フレームナ
ンバー１３を参照フレームとして符号化されたフレーム
ナンバー１７の符号化データ１７が記憶され、受信側に
伝送される。ここで、フレームナンバー１７は、伝送エ
ラー終了後に画像サンプルされたフレームである。
関しても同様に復号データによる再現、表示の可否の判
断および予測符号化が行われ、送信バッファ４１７に出
力される。ここで、再現されたフレームのすべてが表示
の可否を判断され、予測符号化されて送信バッファ４１
７に出力されると、モード切り換え部４１９は、第１の
スイッチ４２８を端子１が接続される状態から端子２が
接続される状態へ、第２のスイッチを端子１が接続され
る状態から端子２が接続される状態へ切り換える。 （伝送）この時点で、図１７に示すように送信バッファ
４１７内には、フレームナンバー３を参照フレームとし
て符号化されたフレームナンバー９の符号化データ９
ａ、フレームナンバー９を参照フレームとして符号化さ
れたフレームナンバー１１の符号化データ１１ａ、フレ
ームナンバー１１を参照フレームとして符号化されたフ
レームナンバー１３の符号化データ１３ａ、フレームナ
ンバー１３を参照フレームとして符号化されたフレーム
ナンバー１７の符号化データ１７が記憶され、受信側に
伝送される。ここで、フレームナンバー１７は、伝送エ
ラー終了後に画像サンプルされたフレームである。
【０２５９】以上のようにして、本実施例によれば、１
００ｍｓｅｃに及ぶ伝送エラーを生じた場合でも、図１
７に示すように、受信側ではフレームナンバー５とフレ
ームナンバー７とが駒落しされるだけにとどまる。な
お、本実施例では、復号部を第１の復号部４２２と第２
の復号部４２３の２つに分けて説明したが、第１の復号
装置４５３と第２の復号装置４５４とは同様な構成であ
るため、を１つとして画像符号化装置を構成してもよ
い。
００ｍｓｅｃに及ぶ伝送エラーを生じた場合でも、図１
７に示すように、受信側ではフレームナンバー５とフレ
ームナンバー７とが駒落しされるだけにとどまる。な
お、本実施例では、復号部を第１の復号部４２２と第２
の復号部４２３の２つに分けて説明したが、第１の復号
装置４５３と第２の復号装置４５４とは同様な構成であ
るため、を１つとして画像符号化装置を構成してもよ
い。
【０２６０】また、本実施例では、フレームナンバー
９、１１、１３、１７を伝送した場合について述べた
が、図１８に示すように、モード切り換え部４１９でフ
レームナンバー９を最適フレームとして検出した後、フ
レームナンバー１１、１３を符号化せずに、伝送エラー
終了後に画像サンプルされるフレームナンバー１７を伝
送してもよい。
９、１１、１３、１７を伝送した場合について述べた
が、図１８に示すように、モード切り換え部４１９でフ
レームナンバー９を最適フレームとして検出した後、フ
レームナンバー１１、１３を符号化せずに、伝送エラー
終了後に画像サンプルされるフレームナンバー１７を伝
送してもよい。
【０２６１】また、モード切り換え部４１９が復号デー
タ記憶装置４５１内に記憶されたフレームの表示の可否
を判断する場合、送信バッファ４１７内の未送信フレー
ムのうち、フレームナンバーが中間に位置するフレーム
から順次、表示の可否を判断してもよい。すなわち、図
１６に示すように、バーストエラー発生時、送信バッフ
ァ４１７内にはフレームナンバー５、７、９、１１、１
３が記憶されている。この場合、中間に位置するフレー
ムはフレームナンバー９となり、フレームナンバー９か
ら表示の可否を判断していく。結果としては、フレーム
ナンバー９以後が表示可能なフレームとなる。
タ記憶装置４５１内に記憶されたフレームの表示の可否
を判断する場合、送信バッファ４１７内の未送信フレー
ムのうち、フレームナンバーが中間に位置するフレーム
から順次、表示の可否を判断してもよい。すなわち、図
１６に示すように、バーストエラー発生時、送信バッフ
ァ４１７内にはフレームナンバー５、７、９、１１、１
３が記憶されている。この場合、中間に位置するフレー
ムはフレームナンバー９となり、フレームナンバー９か
ら表示の可否を判断していく。結果としては、フレーム
ナンバー９以後が表示可能なフレームとなる。
【０２６２】なお、図１４を用いて説明したモード切り
換え部４１９は、実施例１および実施例２の画像符号化
装置に備えられてもよい。また、実施例３の画像符号化
装置は、図１９に示すように、モード切り換え部４１９
に代えて、実施例１の画像符号化装置に備えられるフレ
ーム選択部１０８と同様のフレーム選択部１０８ｂを備
えてもよい。
換え部４１９は、実施例１および実施例２の画像符号化
装置に備えられてもよい。また、実施例３の画像符号化
装置は、図１９に示すように、モード切り換え部４１９
に代えて、実施例１の画像符号化装置に備えられるフレ
ーム選択部１０８と同様のフレーム選択部１０８ｂを備
えてもよい。
【０２６３】図１９は、他の伝送制御装置４５５ａを備
える実施例３の画像符号化装置の構成図である。図２に
示すフレーム選択部１０８は、処理時間算出部５０７を
備えるが、ここでは復号時間を考慮しないので、フレー
ム選択部１０８ｂには処理時間算出部５０７を備えなく
てもよい。
える実施例３の画像符号化装置の構成図である。図２に
示すフレーム選択部１０８は、処理時間算出部５０７を
備えるが、ここでは復号時間を考慮しないので、フレー
ム選択部１０８ｂには処理時間算出部５０７を備えなく
てもよい。
【０２６４】また、フレーム選択部１０８ｂは、発生符
号量予測部５０３を備えてもよいし、備えなくてもよ
い。前記発生符号量予測部５０３を備える場合は、符号
化装置４５２は、制御部５０９からの指示により、発生
符号量を予測するためのフレーム間差分値を求めて発生
符号量予測部５０３に出力する。前記フレーム間差分値
は、判断対象フレームと伝送済み最新フレームとの単純
な差分を求めることによって得られる。
号量予測部５０３を備えてもよいし、備えなくてもよ
い。前記発生符号量予測部５０３を備える場合は、符号
化装置４５２は、制御部５０９からの指示により、発生
符号量を予測するためのフレーム間差分値を求めて発生
符号量予測部５０３に出力する。前記フレーム間差分値
は、判断対象フレームと伝送済み最新フレームとの単純
な差分を求めることによって得られる。
【０２６５】また、前記発生符号量予測部５０３を備え
ない場合は、符号化装置４５２は、制御部５０９からの
指示により、伝送済み最新フレームを参照フレームとし
て判断対象フレームの予測符号化を行なう。さらに、符
号化装置４５２は、予測符号化された符号化データの発
生符号量を検出し、フレーム選択部１０８ｂに出力す
る。
ない場合は、符号化装置４５２は、制御部５０９からの
指示により、伝送済み最新フレームを参照フレームとし
て判断対象フレームの予測符号化を行なう。さらに、符
号化装置４５２は、予測符号化された符号化データの発
生符号量を検出し、フレーム選択部１０８ｂに出力す
る。
【０２６６】伝送中のフレームが表示不能となるまで
は、画像符号化装置の動作は、実施例３の画像符号化装
置と同様である。 （伝送中のフレームが表示不能と判断されたときの動
作）以下、画像符号化装置の動作を図２、図１６、図１
９を用いて説明する。ここで、第１の復号フレームメモ
リ４６３内には、伝送済み最新フレームであるフレーム
ナンバー３の符号化データが記憶されているものとす
る。
は、画像符号化装置の動作は、実施例３の画像符号化装
置と同様である。 （伝送中のフレームが表示不能と判断されたときの動
作）以下、画像符号化装置の動作を図２、図１６、図１
９を用いて説明する。ここで、第１の復号フレームメモ
リ４６３内には、伝送済み最新フレームであるフレーム
ナンバー３の符号化データが記憶されているものとす
る。
【０２６７】フレーム選択部１０８ｂによって、伝送中
のフレームの表示不能が判断されると、実施例３と同様
に、図１９に示すように伝送中のフレームであったフレ
ームナンバー５の画像データが第２の復号フレームメモ
リ４６４内に復号データで再現される。次いで、前記第
２の復号フレームメモリ４６４内のフレームナンバー５
の復号データをもとにして、フレームナンバー７の画像
データが第３の復号フレームメモリ４６５内に復号デー
タで再現される。 （表示の可否の判断）フレームナンバー７の画像データ
が再現された時点で、前記フレームナンバー７の復号デ
ータが第３の復号フレームメモリ４６５内から読み出さ
れ、第１のスイッチ４２８を介して符号化装置４５２に
転送される。
のフレームの表示不能が判断されると、実施例３と同様
に、図１９に示すように伝送中のフレームであったフレ
ームナンバー５の画像データが第２の復号フレームメモ
リ４６４内に復号データで再現される。次いで、前記第
２の復号フレームメモリ４６４内のフレームナンバー５
の復号データをもとにして、フレームナンバー７の画像
データが第３の復号フレームメモリ４６５内に復号デー
タで再現される。 （表示の可否の判断）フレームナンバー７の画像データ
が再現された時点で、前記フレームナンバー７の復号デ
ータが第３の復号フレームメモリ４６５内から読み出さ
れ、第１のスイッチ４２８を介して符号化装置４５２に
転送される。
【０２６８】伝送済み最新フレームであるフレームナン
バー３の復号データが第１の復号フレームメモリ４６３
内から読み出され、フレームメモリ４２５に転送され
る。 （予測発生符号量に基づく判断をする場合）ここで、フ
レーム選択部１０８ｂに発生符号量予測部５０３を備え
る場合には、符号化装置４５２は、フレームナンバー７
の復号データとフレームナンバー３の復号データとのフ
レーム間差分値を求め、発生符号量予測部５０３に転送
する。
バー３の復号データが第１の復号フレームメモリ４６３
内から読み出され、フレームメモリ４２５に転送され
る。 （予測発生符号量に基づく判断をする場合）ここで、フ
レーム選択部１０８ｂに発生符号量予測部５０３を備え
る場合には、符号化装置４５２は、フレームナンバー７
の復号データとフレームナンバー３の復号データとのフ
レーム間差分値を求め、発生符号量予測部５０３に転送
する。
【０２６９】発生符号量予測部５０３は、前記フレーム
間差分値からフレームナンバー７の発生符号量を予測
し、予測発生符号量を第２の判断部５０８に出力する。
第２の判断部５０８は、前記予測発生符号量とフレーム
限界値算出部５０２が算出したフレームナンバー７のフ
レーム限界値とを比較して、前記フレーム限界値から前
記予測発生符号量を減算した値が予め定めるしきい値以
下となる場合にフレームナンバー７を表示可能と判断
し、表示可能信号を制御部５０９に出力する。表示不能
と判断した場合は、表示不能信号を制御部５０９に出力
する。
間差分値からフレームナンバー７の発生符号量を予測
し、予測発生符号量を第２の判断部５０８に出力する。
第２の判断部５０８は、前記予測発生符号量とフレーム
限界値算出部５０２が算出したフレームナンバー７のフ
レーム限界値とを比較して、前記フレーム限界値から前
記予測発生符号量を減算した値が予め定めるしきい値以
下となる場合にフレームナンバー７を表示可能と判断
し、表示可能信号を制御部５０９に出力する。表示不能
と判断した場合は、表示不能信号を制御部５０９に出力
する。
【０２７０】制御部５０９は、第２の判断部５０８から
の表示可能信号を検出すると、符号化装置４５２に、フ
レームナンバー３を参照フレームとして改めてフレーム
ナンバー７の復号データの予測符号化を行なうよう指示
する。また、制御部５０９は、第２の判断部５０８から
の表示不能信号を検出すると、第１の復号装置４５３
に、次の未送信フレームの復号を行なうよう指示する。 （実際の発生符号量に基づく判断をする場合）また、発
生符号量予測部５０３を備えない場合には、符号化装置
４５２は、フレームナンバー３の復号データを参照フレ
ームとしてフレームナンバー７の復号データの予測符号
化を行ない、予測符号化された符号化データの発生符号
量を検出して第２の判断部５０８に出力する。
の表示可能信号を検出すると、符号化装置４５２に、フ
レームナンバー３を参照フレームとして改めてフレーム
ナンバー７の復号データの予測符号化を行なうよう指示
する。また、制御部５０９は、第２の判断部５０８から
の表示不能信号を検出すると、第１の復号装置４５３
に、次の未送信フレームの復号を行なうよう指示する。 （実際の発生符号量に基づく判断をする場合）また、発
生符号量予測部５０３を備えない場合には、符号化装置
４５２は、フレームナンバー３の復号データを参照フレ
ームとしてフレームナンバー７の復号データの予測符号
化を行ない、予測符号化された符号化データの発生符号
量を検出して第２の判断部５０８に出力する。
【０２７１】第２の判断部５０８は、前記発生符号量と
フレーム限界値算出部５０２が算出したフレームナンバ
ー７のフレーム限界値とを比較して、前記フレーム限界
値から前記発生符号量を減算した値が予め定めるしきい
値以下となる場合にフレームナンバー７を表示可能と判
断し、表示可能信号を制御部５０９に出力する。表示不
能と判断した場合は、表示不能信号を制御部５０９に出
力する。
フレーム限界値算出部５０２が算出したフレームナンバ
ー７のフレーム限界値とを比較して、前記フレーム限界
値から前記発生符号量を減算した値が予め定めるしきい
値以下となる場合にフレームナンバー７を表示可能と判
断し、表示可能信号を制御部５０９に出力する。表示不
能と判断した場合は、表示不能信号を制御部５０９に出
力する。
【０２７２】制御部５０９は、第２の判断部５０８から
の表示可能信号を検出すると、符号化装置４５２に、予
測符号化した符号化データを送信バッファ４１７に出力
するよう指示する。また、制御部５０９は、第２の判断
部５０８からの表示不能信号を検出すると、第１の復号
装置４５３に、次の未送信フレームの復号を行なうよう
指示する。 （次の未送信フレームの復号）ここで、実施例３と同様
に、フレームナンバー７は表示不能と判断されたものと
する。次に、フレームナンバー９の未送信フレームが復
号され、第２の復号フレームメモリ４６４内にフレーム
ナンバー９の画像データが復号データで再現される。
の表示可能信号を検出すると、符号化装置４５２に、予
測符号化した符号化データを送信バッファ４１７に出力
するよう指示する。また、制御部５０９は、第２の判断
部５０８からの表示不能信号を検出すると、第１の復号
装置４５３に、次の未送信フレームの復号を行なうよう
指示する。 （次の未送信フレームの復号）ここで、実施例３と同様
に、フレームナンバー７は表示不能と判断されたものと
する。次に、フレームナンバー９の未送信フレームが復
号され、第２の復号フレームメモリ４６４内にフレーム
ナンバー９の画像データが復号データで再現される。
【０２７３】フレームナンバー９の復号データは、符号
化装置４５２に出力され、伝送済み最新フレームである
フレームナンバー３の復号データとのフレーム間差分値
または予測誤差が求められる。以下同様にして、表示可
能なフレームが検出されるまで、各未送信フレームにつ
いて順次、表示の可否が判断される。
化装置４５２に出力され、伝送済み最新フレームである
フレームナンバー３の復号データとのフレーム間差分値
または予測誤差が求められる。以下同様にして、表示可
能なフレームが検出されるまで、各未送信フレームにつ
いて順次、表示の可否が判断される。
【０２７４】表示可能な未送信フレームが検出される
と、そのフレームの伝送済み最新フレームを参照フレー
ムとする符号化データが、送信バッファ４１７に出力さ
れるとともに、そのフレームの復号データが復号データ
記憶装置４５１ａから読み出され、フレームメモリ４２
５に記憶される。以下に続くフレームは、実施例３と同
様にして予測符号化され、その符号化データが順次、送
信バッファ４１７に出力される。
と、そのフレームの伝送済み最新フレームを参照フレー
ムとする符号化データが、送信バッファ４１７に出力さ
れるとともに、そのフレームの復号データが復号データ
記憶装置４５１ａから読み出され、フレームメモリ４２
５に記憶される。以下に続くフレームは、実施例３と同
様にして予測符号化され、その符号化データが順次、送
信バッファ４１７に出力される。
【０２７５】（実施例４）以下に本発明の実施例４につ
いて図面を参照しながら説明する。図２０は、本発明の
実施例４である画像符号化装置の構成図である。図２０
に示すように、画像符号化装置は、前処理装置４１１、
復号データ記憶装置４５１、画像データ記憶装置４５
６、符号化装置４５２、第１の復号装置４５３、第２の
復号装置４５４、伝送制御装置４５５、第１のスイッチ
４４３、第２のスイッチ４４４および第３のスイッチ４
４５を備える。
いて図面を参照しながら説明する。図２０は、本発明の
実施例４である画像符号化装置の構成図である。図２０
に示すように、画像符号化装置は、前処理装置４１１、
復号データ記憶装置４５１、画像データ記憶装置４５
６、符号化装置４５２、第１の復号装置４５３、第２の
復号装置４５４、伝送制御装置４５５、第１のスイッチ
４４３、第２のスイッチ４４４および第３のスイッチ４
４５を備える。
【０２７６】なお、前処理装置４１１、復号データ記憶
装置４５１、符号化装置４５２、第１の復号装置４５３
および第２の復号装置４５４は、実施例３の画像符号化
装置に備えられるものと同様であるので、説明を省略す
る。また、復号メモリ制御部４１２ａは、実施例３の画
像符号化装置に備えられるメモリ制御部４１２と同様で
ある。
装置４５１、符号化装置４５２、第１の復号装置４５３
および第２の復号装置４５４は、実施例３の画像符号化
装置に備えられるものと同様であるので、説明を省略す
る。また、復号メモリ制御部４１２ａは、実施例３の画
像符号化装置に備えられるメモリ制御部４１２と同様で
ある。
【０２７７】伝送制御装置４５５は、送信バッファ４１
７、伝送制御部４１８、モード切り換え部４２０、タイ
マー１３０および未送信バッファ４３１を備える。前記
伝送制御装置４５５において、送信バッファ４１７、伝
送制御部４１８、タイマー１３０および未送信バッファ
４３１は、実施例３の画像符号化装置に備えられるもの
と同様であるので説明を省略する。
７、伝送制御部４１８、モード切り換え部４２０、タイ
マー１３０および未送信バッファ４３１を備える。前記
伝送制御装置４５５において、送信バッファ４１７、伝
送制御部４１８、タイマー１３０および未送信バッファ
４３１は、実施例３の画像符号化装置に備えられるもの
と同様であるので説明を省略する。
【０２７８】画像データ記憶装置４５６は、実施例１の
画像符号化装置に備えられるものと同様であるので、説
明を省略する。また画像データ記憶装置４５６は、復号
データ記憶装置４５１と同様であるので、復号データ記
憶装置４５１を兼用してもよい。第１のスイッチ４４
３、第２のスイッチ４４４および第３のスイッチ４４５
は電気的に切り換え可能なスイッチであり、モード切り
換え部４２０からの制御信号によって切り換えられる。
このうち、第１のスイッチ４４３は、端子１と端子２を
接続する状態と、端子２と端子３とを接続する状態と、
端子３と端子１とを接続する状態とを選択的に切り換え
ることができる。
画像符号化装置に備えられるものと同様であるので、説
明を省略する。また画像データ記憶装置４５６は、復号
データ記憶装置４５１と同様であるので、復号データ記
憶装置４５１を兼用してもよい。第１のスイッチ４４
３、第２のスイッチ４４４および第３のスイッチ４４５
は電気的に切り換え可能なスイッチであり、モード切り
換え部４２０からの制御信号によって切り換えられる。
このうち、第１のスイッチ４４３は、端子１と端子２を
接続する状態と、端子２と端子３とを接続する状態と、
端子３と端子１とを接続する状態とを選択的に切り換え
ることができる。
【０２７９】図２２は、実施例４の画像符号化装置に備
えられるモード切り換え部４２０の構成図である。図２
２に示すように、モード切り換え部４２０は、フレーム
限界値算出部５９１、最新フレームナンバー記憶部５９
２、判断部５９３および制御部５９４ａを備える。最新
フレームナンバー記憶部５９２は、復号データ記憶装置
４５１および画像データ記憶装置４５６内に記憶されて
いる最新フレームのフレームナンバーを記憶する。フレ
ーム限界値算出部５９１と判断部５９３とは実施例３の
画像符号化装置に備えられるものと同様であるので、説
明を省略する。
えられるモード切り換え部４２０の構成図である。図２
２に示すように、モード切り換え部４２０は、フレーム
限界値算出部５９１、最新フレームナンバー記憶部５９
２、判断部５９３および制御部５９４ａを備える。最新
フレームナンバー記憶部５９２は、復号データ記憶装置
４５１および画像データ記憶装置４５６内に記憶されて
いる最新フレームのフレームナンバーを記憶する。フレ
ーム限界値算出部５９１と判断部５９３とは実施例３の
画像符号化装置に備えられるものと同様であるので、説
明を省略する。
【０２８０】制御部５９４ａは、伝送制御部４１８から
の送達確認信号または送達不能信号を検出し、伝送制御
部４１８からの送達不能信号を検出した時点で第１のス
イッチ４４３を端子１と端子３とが接続される状態に切
り換え、画像データ記憶装置４５６に前処理装置４１１
から入力される各フレームの画像データを記憶させる。
の送達確認信号または送達不能信号を検出し、伝送制御
部４１８からの送達不能信号を検出した時点で第１のス
イッチ４４３を端子１と端子３とが接続される状態に切
り換え、画像データ記憶装置４５６に前処理装置４１１
から入力される各フレームの画像データを記憶させる。
【０２８１】また、フレーム限界値算出部５９１から出
力される伝送中のフレームについての表示不能信号を検
出して、第１のスイッチ４４３を端子２と端子３とが接
続される状態に切り換える。ここで、制御部５９４ａ
は、画像データ記憶装置４５６に、最新フレームナンバ
ー記憶部５９２に記憶したフレームナンバーを出力し、
前記フレームナンバーの画像データを読み出して符号化
装置４５２に転送するよう指示する。
力される伝送中のフレームについての表示不能信号を検
出して、第１のスイッチ４４３を端子２と端子３とが接
続される状態に切り換える。ここで、制御部５９４ａ
は、画像データ記憶装置４５６に、最新フレームナンバ
ー記憶部５９２に記憶したフレームナンバーを出力し、
前記フレームナンバーの画像データを読み出して符号化
装置４５２に転送するよう指示する。
【０２８２】制御部５９４ａは、伝送エラー終了後、前
記第１のスイッチ４４３を端子１と端子２とが接続され
る状態に戻す。符号化装置４５２には、前述のようにし
て画像データ記憶装置４５６から読み出したフレームの
画像データを伝送済み最新フレームを参照フレームとし
て符号化し、その符号化データの発生符号量を判断部５
９３に出力するよう指示する。
記第１のスイッチ４４３を端子１と端子２とが接続され
る状態に戻す。符号化装置４５２には、前述のようにし
て画像データ記憶装置４５６から読み出したフレームの
画像データを伝送済み最新フレームを参照フレームとし
て符号化し、その符号化データの発生符号量を判断部５
９３に出力するよう指示する。
【０２８３】以下に、図２０のように構成された画像符
号化装置について、図２１を用いてその動作を説明す
る。図２１は、本発明の実施例４である画像符号化装置
の動作を説明するためのタイミングチャートである。図
２１（ａ）は、画像メモリ４４１内に記憶されているフ
レームであって、伝送エラー中に画像サンプルされたフ
レームを示す。図２１（ｂ）は、符号化装置４５２が、
符号化を行うフレームを画像サンプルするタイミングを
示す。図２１（ｃ）は、前処理装置４１１から符号化装
置４５２に入力されるフレームを示す。図２１（ｄ）
は、送信バッファ４１７に記憶されているフレームを示
す。図２１（ｅ）は、各フレームの伝送状態を示す。図
２１（ｆ）は、符号化や復号に要する処理時間のばらつ
きや伝送時間の揺らぎによる遅延ジッタを吸収するため
にもうけられた平滑化時間時間Ｔを示す。図２１（ｇ）
は、受信側が復号したフレームを表示装置に表示するタ
イミングを示す。
号化装置について、図２１を用いてその動作を説明す
る。図２１は、本発明の実施例４である画像符号化装置
の動作を説明するためのタイミングチャートである。図
２１（ａ）は、画像メモリ４４１内に記憶されているフ
レームであって、伝送エラー中に画像サンプルされたフ
レームを示す。図２１（ｂ）は、符号化装置４５２が、
符号化を行うフレームを画像サンプルするタイミングを
示す。図２１（ｃ）は、前処理装置４１１から符号化装
置４５２に入力されるフレームを示す。図２１（ｄ）
は、送信バッファ４１７に記憶されているフレームを示
す。図２１（ｅ）は、各フレームの伝送状態を示す。図
２１（ｆ）は、符号化や復号に要する処理時間のばらつ
きや伝送時間の揺らぎによる遅延ジッタを吸収するため
にもうけられた平滑化時間時間Ｔを示す。図２１（ｇ）
は、受信側が復号したフレームを表示装置に表示するタ
イミングを示す。
【０２８４】図２１（ｂ）に示すように、符号化装置４
５２は、入力されるフレームを６６ｍｓｅｃ間隔（１駒
落とし）で画像サンプルする。また、図２４（ｆ）に示
すように、ここでは平滑化時間Ｔは３３０ｍｓｅｃであ
る。図２１（ｇ）に示すように、受信側が復号したフレ
ームを表示装置に表示するのは、符号化装置がそのフレ
ームを画像サンプルした時点から始まる平滑化時間Ｔが
終了した時点である。
５２は、入力されるフレームを６６ｍｓｅｃ間隔（１駒
落とし）で画像サンプルする。また、図２４（ｆ）に示
すように、ここでは平滑化時間Ｔは３３０ｍｓｅｃであ
る。図２１（ｇ）に示すように、受信側が復号したフレ
ームを表示装置に表示するのは、符号化装置がそのフレ
ームを画像サンプルした時点から始まる平滑化時間Ｔが
終了した時点である。
【０２８５】なお、実際には画像符号化装置側で必要な
符号化時間および画像符号化装置側で必要な復号時間を
考慮する必要があるが、ここでは動作説明を分かりやす
いものとするため考慮しない。図２１（ｅ）に示すよう
に、フレームナンバー５の符号化データを伝送中に１０
０ｍｓｅｃにおよぶバーストエラーが発生したとする。
この時、送信バッファ４１７にはフレームナンバー３を
参照フレームとして符号化されたフレームナンバー５の
符号化データ、フレームナンバー５を参照フレームとし
て符号化されたフレームナンバー７の符号化データ、フ
レームナンバー７を参照フレームとして符号化されたフ
レームナンバー９の符号化データ、フレームナンバー９
を参照フレームとして符号化されたフレームナンバー１
１の符号化データ、フレームナンバー１１を参照フレー
ムとして符号化されたフレームナンバー１３の符号化デ
ータが記憶されている。
符号化時間および画像符号化装置側で必要な復号時間を
考慮する必要があるが、ここでは動作説明を分かりやす
いものとするため考慮しない。図２１（ｅ）に示すよう
に、フレームナンバー５の符号化データを伝送中に１０
０ｍｓｅｃにおよぶバーストエラーが発生したとする。
この時、送信バッファ４１７にはフレームナンバー３を
参照フレームとして符号化されたフレームナンバー５の
符号化データ、フレームナンバー５を参照フレームとし
て符号化されたフレームナンバー７の符号化データ、フ
レームナンバー７を参照フレームとして符号化されたフ
レームナンバー９の符号化データ、フレームナンバー９
を参照フレームとして符号化されたフレームナンバー１
１の符号化データ、フレームナンバー１１を参照フレー
ムとして符号化されたフレームナンバー１３の符号化デ
ータが記憶されている。
【０２８６】ここで、第１の復号フレームメモリ４１３
には、受信側からの送達確認がとれた伝送済み最新フレ
ームであるフレームナンバー３の復号データが記憶され
ているものとする。また、第２の復号フレームメモリ４
１４には、伝送済み最新フレームであるフレームナンバ
ー３の復号データから再現した再現途中のフレームナン
バー５の復号データが記憶されているものとする。 （画像サンプル）伝送制御部４１８は、伝送エラーが発
生し、受信側からの送達確認が取れなくなった時点で、
送達不能信号をモード切り換え部４２０に出力する。モ
ード切り換え部４２０は、伝送制御部４１８からの送達
不能信号を検出すると、第１のスイッチ４４３を端子１
と端子３とが接続される状態に切り換え、入力される画
像データを画像データ記憶装置４５６に記憶させる。こ
こでは、図２１（ａ）に示すように、フレームナンバー
１５の画像データが画像サンプルされる。 （伝送中のフレームが表示不能と判断されたとき）（最
新フレームの発生符号量検出）ここで、伝送制御部４１
８が伝送エラーの回復を検出したとする。モード切り換
え部４２０は、伝送エラー発生後に入力された画像デー
タが画像データ記憶装置４５６に記憶されると、第１の
スイッチ４４３を切り換え、画像データ記憶装置４５６
に、記憶している最新フレームの画像データを符号化装
置４５２に転送させる。
には、受信側からの送達確認がとれた伝送済み最新フレ
ームであるフレームナンバー３の復号データが記憶され
ているものとする。また、第２の復号フレームメモリ４
１４には、伝送済み最新フレームであるフレームナンバ
ー３の復号データから再現した再現途中のフレームナン
バー５の復号データが記憶されているものとする。 （画像サンプル）伝送制御部４１８は、伝送エラーが発
生し、受信側からの送達確認が取れなくなった時点で、
送達不能信号をモード切り換え部４２０に出力する。モ
ード切り換え部４２０は、伝送制御部４１８からの送達
不能信号を検出すると、第１のスイッチ４４３を端子１
と端子３とが接続される状態に切り換え、入力される画
像データを画像データ記憶装置４５６に記憶させる。こ
こでは、図２１（ａ）に示すように、フレームナンバー
１５の画像データが画像サンプルされる。 （伝送中のフレームが表示不能と判断されたとき）（最
新フレームの発生符号量検出）ここで、伝送制御部４１
８が伝送エラーの回復を検出したとする。モード切り換
え部４２０は、伝送エラー発生後に入力された画像デー
タが画像データ記憶装置４５６に記憶されると、第１の
スイッチ４４３を切り換え、画像データ記憶装置４５６
に、記憶している最新フレームの画像データを符号化装
置４５２に転送させる。
【０２８７】同時に、モード切り換え部４２０は、第３
のスイッチ４４５を端子２が接続されている状態から端
子１が接続される状態へ切り換え、第１の復号フレーム
メモリ４１３ａに記憶している伝送済み最新フレームの
復号データをフレームメモリ４２５に転送するよう指示
する。モード切り換え部４２０は、伝送済み最新フレー
ムの転送後、第３のスイッチを端子２が接続される状態
に戻し、第２のスイッチ４４４を端子２が接続されてい
る状態から端子１が接続される状態へ切り換える。符号
化装置４２５は、前記最新フレームを伝送済み最新フレ
ームを参照フレームとして符号化し、発生符号量を検出
する。符号化装置４５２は、検出した発生符号量をモー
ド切り換え部４２０に出力する。 （未送信フレームの再現と最適フレームの検出）以後、
画像符号化装置は、実施例３の図１３に示す画像符号化
装置と同様にして、復号データ記憶装置４５１内に未送
信フレームを復号データで順次、再現して記憶させる。
のスイッチ４４５を端子２が接続されている状態から端
子１が接続される状態へ切り換え、第１の復号フレーム
メモリ４１３ａに記憶している伝送済み最新フレームの
復号データをフレームメモリ４２５に転送するよう指示
する。モード切り換え部４２０は、伝送済み最新フレー
ムの転送後、第３のスイッチを端子２が接続される状態
に戻し、第２のスイッチ４４４を端子２が接続されてい
る状態から端子１が接続される状態へ切り換える。符号
化装置４２５は、前記最新フレームを伝送済み最新フレ
ームを参照フレームとして符号化し、発生符号量を検出
する。符号化装置４５２は、検出した発生符号量をモー
ド切り換え部４２０に出力する。 （未送信フレームの再現と最適フレームの検出）以後、
画像符号化装置は、実施例３の図１３に示す画像符号化
装置と同様にして、復号データ記憶装置４５１内に未送
信フレームを復号データで順次、再現して記憶させる。
【０２８８】モード切り換え部４２０は、前記発生符号
量を予測発生符号量として各未送信フレームの表示の可
否を判断し、表示可能な未送信フレームを検出すると、
そのフレームを最適フレームとしてそのフレームナンバ
ーを復号メモリ制御部４１２ａに出力する。 （最適フレームおよびそれに続くフレームの符号化）こ
れによって、前記最適フレームの復号データが復号デー
タ記憶装置４５１の記憶領域から読み出され、符号化装
置４５２に転送される。次いで前記最適フレームは、符
号化装置４５２によって伝送済み最新フレームを参照フ
レームとして予測符号化され、送信バッファ４１７に出
力される。
量を予測発生符号量として各未送信フレームの表示の可
否を判断し、表示可能な未送信フレームを検出すると、
そのフレームを最適フレームとしてそのフレームナンバ
ーを復号メモリ制御部４１２ａに出力する。 （最適フレームおよびそれに続くフレームの符号化）こ
れによって、前記最適フレームの復号データが復号デー
タ記憶装置４５１の記憶領域から読み出され、符号化装
置４５２に転送される。次いで前記最適フレームは、符
号化装置４５２によって伝送済み最新フレームを参照フ
レームとして予測符号化され、送信バッファ４１７に出
力される。
【０２８９】図２１では、フレームナンバー９が最適フ
レームとして検出されている。前記最適フレームの符号
化データが送信バッファ４１７に出力されると、従来の
画像符号化装置と同様にして、前記最適フレームの予測
誤差が復号され、復号された最適フレームがフレームメ
モリ４２５に格納される。前記最適フレームより後の未
送信フレームについても順次、予測符号化が行なわれ、
送信バッファ４１７に出力される。
レームとして検出されている。前記最適フレームの符号
化データが送信バッファ４１７に出力されると、従来の
画像符号化装置と同様にして、前記最適フレームの予測
誤差が復号され、復号された最適フレームがフレームメ
モリ４２５に格納される。前記最適フレームより後の未
送信フレームについても順次、予測符号化が行なわれ、
送信バッファ４１７に出力される。
【０２９０】なお、画像データ記憶装置４５６に最新フ
レームナンバー記憶部５９２に記憶されているフレーム
ナンバーに該当するフレームが格納されていなければ、
実施例３と同様な動作を行う。 （画像データ記憶装置４５６内のフレームの符号化）モ
ード切り換え部４２０は、最適フレーム以後の未送信フ
レームがすべて符号化され、送信バッファ４１７に出力
された時点で、第１のスイッチ４４３を端子２と端子３
とが接続される状態へ、第２のスイッチ４４４を端子２
が接続される状態へ、第３のスイッチ４４５を端子２が
接続される状態へ切り換え、画像データ記憶装置４５６
内に記憶されている画像データの符号化を行ない、符号
化データを送信バッファ４１７に出力する。 （伝送）伝送路４３０の伝送状態が回復し、伝送制御装
置４５５が受信側の送達確認を受け取ると、伝送制御部
４１８は、送達確認信号をモード切り換え部４２０に出
力する。モード切り換え部４２０は、伝送制御部４１８
からの送達確認信号を検出すると、第１のスイッチ４４
３を端子１と端子２とが接続される状態に切り換え、前
処理装置４１１から入力される画像データの予測符号化
を符号化装置４５２に指示する。
レームナンバー記憶部５９２に記憶されているフレーム
ナンバーに該当するフレームが格納されていなければ、
実施例３と同様な動作を行う。 （画像データ記憶装置４５６内のフレームの符号化）モ
ード切り換え部４２０は、最適フレーム以後の未送信フ
レームがすべて符号化され、送信バッファ４１７に出力
された時点で、第１のスイッチ４４３を端子２と端子３
とが接続される状態へ、第２のスイッチ４４４を端子２
が接続される状態へ、第３のスイッチ４４５を端子２が
接続される状態へ切り換え、画像データ記憶装置４５６
内に記憶されている画像データの符号化を行ない、符号
化データを送信バッファ４１７に出力する。 （伝送）伝送路４３０の伝送状態が回復し、伝送制御装
置４５５が受信側の送達確認を受け取ると、伝送制御部
４１８は、送達確認信号をモード切り換え部４２０に出
力する。モード切り換え部４２０は、伝送制御部４１８
からの送達確認信号を検出すると、第１のスイッチ４４
３を端子１と端子２とが接続される状態に切り換え、前
処理装置４１１から入力される画像データの予測符号化
を符号化装置４５２に指示する。
【０２９１】以上のようにして画像符号化装置は、通常
の動作に戻る。この時点で、図２１に示すように、送信
バッファ４１７には、フレームナンバー３を参照フレー
ムとして符号化されたフレームナンバー９の符号化デー
タ９ａ、フレームナンバー９を参照フレームとして符号
化されたフレームナンバー１１の符号化データ１１ａ、
フレームナンバー１１を参照フレームとして符号化され
たフレームナンバー１３の符号化データ１３ａ、フレー
ムナンバー１３を参照フレームとして符号化されたフレ
ームナンバー１５の符号化データ１５ａ、フレームナン
バー１５ａを参照フレームとして符号化されたフレーム
ナンバー１７の符号化データ１７が記憶され、受信側に
伝送される。ここで、フレームナンバー１７は、伝送路
４３０の伝送状態が回復した後に画像サンプルされたフ
レームである。そのため、図２１に示すように、受信側
の表示装置に表示されるフレームは、フレームナンバー
５、７が駒落しされるだけにとどまる。
の動作に戻る。この時点で、図２１に示すように、送信
バッファ４１７には、フレームナンバー３を参照フレー
ムとして符号化されたフレームナンバー９の符号化デー
タ９ａ、フレームナンバー９を参照フレームとして符号
化されたフレームナンバー１１の符号化データ１１ａ、
フレームナンバー１１を参照フレームとして符号化され
たフレームナンバー１３の符号化データ１３ａ、フレー
ムナンバー１３を参照フレームとして符号化されたフレ
ームナンバー１５の符号化データ１５ａ、フレームナン
バー１５ａを参照フレームとして符号化されたフレーム
ナンバー１７の符号化データ１７が記憶され、受信側に
伝送される。ここで、フレームナンバー１７は、伝送路
４３０の伝送状態が回復した後に画像サンプルされたフ
レームである。そのため、図２１に示すように、受信側
の表示装置に表示されるフレームは、フレームナンバー
５、７が駒落しされるだけにとどまる。
【０２９２】なお、モード切り換え部４２０は、最初に
検出した画像データ記憶装置４５６内に記憶されている
最新フレームの発生符号量を、別途設けたメモリに予測
発生符号量として記憶しておいてもよい。
検出した画像データ記憶装置４５６内に記憶されている
最新フレームの発生符号量を、別途設けたメモリに予測
発生符号量として記憶しておいてもよい。
【０２９３】
【発明の効果】以上説明したように、前記構成を備える
ことにより、請求項１記載の本発明によれば、従来の画
像符号化装置では伝送中のフレームが表示不能となった
場合には、伝送済み最新フレームから伝送エラー終了後
に画像サンプルされるフレームまでのフレームがすべて
駒落としされていたのに対し、本発明の画像符号化装置
では、画像記憶手段に記憶している画像データのうちで
表示可能な画像データがあれば、その画像データを伝送
済み最新フレームを参照フレームとして予測符号化し、
受信側に伝送することができる。従って、本発明の画像
符号化装置は、画像記憶手段に画像データを記憶してい
る範囲内で、伝送中のフレームが表示不能となった場合
に発生する表示画像の駒落としを最小限に留めることが
でき、伝送エラー終了後に画像サンプルされるフレーム
より前のフレームが表示可能であれば、従来の画像符号
化装置よりも前記駒落としを減少することができるとい
う効果を奏する。
ことにより、請求項１記載の本発明によれば、従来の画
像符号化装置では伝送中のフレームが表示不能となった
場合には、伝送済み最新フレームから伝送エラー終了後
に画像サンプルされるフレームまでのフレームがすべて
駒落としされていたのに対し、本発明の画像符号化装置
では、画像記憶手段に記憶している画像データのうちで
表示可能な画像データがあれば、その画像データを伝送
済み最新フレームを参照フレームとして予測符号化し、
受信側に伝送することができる。従って、本発明の画像
符号化装置は、画像記憶手段に画像データを記憶してい
る範囲内で、伝送中のフレームが表示不能となった場合
に発生する表示画像の駒落としを最小限に留めることが
でき、伝送エラー終了後に画像サンプルされるフレーム
より前のフレームが表示可能であれば、従来の画像符号
化装置よりも前記駒落としを減少することができるとい
う効果を奏する。
【０２９４】同様に、請求項２記載の本発明によれば、
前記画像メモリの数を適切に選ぶことによって、伝送エ
ラーのために伝送中のフレームが表示不能となった場合
でも、伝送済み最新フレームからの駒落としをより少な
くすることができる画像データを記憶しておくことがで
きるという効果を奏する。同様に、請求項３記載の本発
明によれば、第１の判断手段および第２の判断手段は、
変数の少ない簡単な演算で各フレームの表示の可否を判
断するので、判断対象フレームの表示の可否の判断に要
する時間を短時間に留めることができるという効果を奏
する。
前記画像メモリの数を適切に選ぶことによって、伝送エ
ラーのために伝送中のフレームが表示不能となった場合
でも、伝送済み最新フレームからの駒落としをより少な
くすることができる画像データを記憶しておくことがで
きるという効果を奏する。同様に、請求項３記載の本発
明によれば、第１の判断手段および第２の判断手段は、
変数の少ない簡単な演算で各フレームの表示の可否を判
断するので、判断対象フレームの表示の可否の判断に要
する時間を短時間に留めることができるという効果を奏
する。
【０２９５】同様に、請求項４記載の本発明によれば、
前記第１の残り時間検出手段と前記第２の残り時間検出
手段とは、タイマーの信号毎に伝送中のフレームと前記
画像記憶手段に記憶している画像データの残り時間を同
時に検出しているので、伝送中のフレームの表示不能が
判断されてから後に、前記第２の判断手段の判断対象フ
レームの残り時間を演算することなく、速やかに表示の
可否を判断することができるという効果を奏する。
前記第１の残り時間検出手段と前記第２の残り時間検出
手段とは、タイマーの信号毎に伝送中のフレームと前記
画像記憶手段に記憶している画像データの残り時間を同
時に検出しているので、伝送中のフレームの表示不能が
判断されてから後に、前記第２の判断手段の判断対象フ
レームの残り時間を演算することなく、速やかに表示の
可否を判断することができるという効果を奏する。
【０２９６】同様に、請求項５記載の本発明によれば、
前記符号量予測手段は、所要時間が長くかかる動きベク
トル検出の処理を行うことなく、前記フレーム間差分値
に基づいて符号量予測対象フレームの符号量を予測する
ので、短時間で符号量予測対象フレームの符号量を予測
することができる。従って、本発明の画像符号化装置
は、前記第２の判断手段の判断時間を短い時間に留める
ことができ、伝送中のフレームが表示不能となった後、
画像記憶手段に記憶している画像データのうちから表示
画像の駒落としを最小限に留めることが可能な画像デー
タを速やかに選択し、伝送することができるという効果
を奏する。
前記符号量予測手段は、所要時間が長くかかる動きベク
トル検出の処理を行うことなく、前記フレーム間差分値
に基づいて符号量予測対象フレームの符号量を予測する
ので、短時間で符号量予測対象フレームの符号量を予測
することができる。従って、本発明の画像符号化装置
は、前記第２の判断手段の判断時間を短い時間に留める
ことができ、伝送中のフレームが表示不能となった後、
画像記憶手段に記憶している画像データのうちから表示
画像の駒落としを最小限に留めることが可能な画像デー
タを速やかに選択し、伝送することができるという効果
を奏する。
【０２９７】同様に、請求項６記載の本発明によれば、
第１の判断手段および第２の判断手段は、変数の少ない
簡単な演算で各フレームの表示の可否を判断するので、
表示の可否の判断に要する時間を短時間に留めることが
できるという効果を奏する。同様に、請求項７記載の本
発明によれば、前記符号化データ記憶手段は、すでに予
測符号化した符号化データを記憶しているので、伝送中
のフレームが表示不能となった場合に、前記第２の判断
手段は、速やかに符号量を検出し、表示の可否を判断す
ることができる。また、伝送に際しても改めて符号化す
る必要がなく、表示可能と判断した符号化データを速や
かに伝送することができるという効果を奏する。
第１の判断手段および第２の判断手段は、変数の少ない
簡単な演算で各フレームの表示の可否を判断するので、
表示の可否の判断に要する時間を短時間に留めることが
できるという効果を奏する。同様に、請求項７記載の本
発明によれば、前記符号化データ記憶手段は、すでに予
測符号化した符号化データを記憶しているので、伝送中
のフレームが表示不能となった場合に、前記第２の判断
手段は、速やかに符号量を検出し、表示の可否を判断す
ることができる。また、伝送に際しても改めて符号化す
る必要がなく、表示可能と判断した符号化データを速や
かに伝送することができるという効果を奏する。
【０２９８】同様に、請求項８記載の本発明によれば、
符号量の少ない符号化データは、表示までの残り時間が
少なくても表示できる場合が発生する。従って、符号化
データメモリの数を適切に選ぶことによって、伝送中の
フレームが表示不能となった場合に発生する表示画像の
駒落としを最小限に留めることができる符号化データ
を、前記符号化データメモリに記憶しておくことができ
るという効果を奏する。
符号量の少ない符号化データは、表示までの残り時間が
少なくても表示できる場合が発生する。従って、符号化
データメモリの数を適切に選ぶことによって、伝送中の
フレームが表示不能となった場合に発生する表示画像の
駒落としを最小限に留めることができる符号化データ
を、前記符号化データメモリに記憶しておくことができ
るという効果を奏する。
【０２９９】同様に、請求項９記載の本発明によれ
ば、、前記第１の判断手段および前記第２の判断手段
は、簡単な演算で各フレームの表示の可否を判断するこ
とができ、表示の可否の判断に要する時間を短時間に留
めることができるという効果を奏する。同様に、請求項
１０記載の本発明によれば、前記第１の残り時間検出手
段と前記第２の残り時間検出手段とは、タイマーの信号
毎に伝送中のフレームと前記画像記憶手段に記憶してい
る画像データの残り時間を同時に検出することができ、
伝送中のフレームの表示不能が判断されてから後に、前
記第２の判断手段の判断対象フレームの残り時間を演算
することなく、速やかに表示の可否を判断することがで
きるという効果を奏する。
ば、、前記第１の判断手段および前記第２の判断手段
は、簡単な演算で各フレームの表示の可否を判断するこ
とができ、表示の可否の判断に要する時間を短時間に留
めることができるという効果を奏する。同様に、請求項
１０記載の本発明によれば、前記第１の残り時間検出手
段と前記第２の残り時間検出手段とは、タイマーの信号
毎に伝送中のフレームと前記画像記憶手段に記憶してい
る画像データの残り時間を同時に検出することができ、
伝送中のフレームの表示不能が判断されてから後に、前
記第２の判断手段の判断対象フレームの残り時間を演算
することなく、速やかに表示の可否を判断することがで
きるという効果を奏する。
【０３００】同様に、請求項１１記載の本発明によれ
ば、前記第１から第ｎの減算部の出力は、伝送中のフレ
ームに続くフレームの残り時間から伝送中のフレームの
未送信符号量が減算された値を示す。伝送中のフレーム
が表示不能と判断される前に、伝送中のフレームに続く
フレームの表示の可否を判断することができる。また、
伝送中のフレームが表示不能と判断されたときは、伝送
中のフレームの送信バッファ内の未送信符号化データは
廃棄されるので、前記第１から第ｎの減算部に入力され
る未送信符号化データの伝送時間は「０」となり、前記
第１から第ｎの減算部からは伝送中のフレームに続くフ
レームの残り時間が前記第２のセレクタに出力されると
いう効果を奏する。
ば、前記第１から第ｎの減算部の出力は、伝送中のフレ
ームに続くフレームの残り時間から伝送中のフレームの
未送信符号量が減算された値を示す。伝送中のフレーム
が表示不能と判断される前に、伝送中のフレームに続く
フレームの表示の可否を判断することができる。また、
伝送中のフレームが表示不能と判断されたときは、伝送
中のフレームの送信バッファ内の未送信符号化データは
廃棄されるので、前記第１から第ｎの減算部に入力され
る未送信符号化データの伝送時間は「０」となり、前記
第１から第ｎの減算部からは伝送中のフレームに続くフ
レームの残り時間が前記第２のセレクタに出力されると
いう効果を奏する。
【０３０１】同様に、請求項１２記載の本発明によれ
ば、第２の判断手段は、伝送中のフレームより先に画像
サンプルされた画像データの表示の可否を判断すること
ができるという効果を奏する。同様に、請求項１３記載
の本発明によれば、従って、符号量の少ない符号化デー
タを前記符号化データメモリ内に記憶しておくことによ
って、その符号化データが表示可能となる場合には、伝
送中のフレームが表示不能となった場合に発生する表示
画像の駒落としを低減することができるという効果を奏
する。
ば、第２の判断手段は、伝送中のフレームより先に画像
サンプルされた画像データの表示の可否を判断すること
ができるという効果を奏する。同様に、請求項１３記載
の本発明によれば、従って、符号量の少ない符号化デー
タを前記符号化データメモリ内に記憶しておくことによ
って、その符号化データが表示可能となる場合には、伝
送中のフレームが表示不能となった場合に発生する表示
画像の駒落としを低減することができるという効果を奏
する。
【０３０２】同様に、請求項１４記載の本発明によれ
ば、画像符号化装置は、前記第１の判断手段が伝送中の
フレームを表示不能と判断した後、送信バッファ内に記
憶されている未送信符号化データから符号化前の画像デ
ータを復号データで再現し、再現された画像データのう
ち第２の判断手段によって表示可能と判断されたフレー
ムを符号化して伝送することができる。従って、従来の
画像符号化装置と比較して、伝送中のフレームが表示不
能となった場合の駒落としを低減することができる。ま
た、本発明の画像符号化装置は、再現画像データ記憶手
段を効率よく使用して、伝送中のフレームが表示不能と
なった時点で送信バッファ内に記憶されている未送信符
号化データを再現することができるという効果を奏す
る。
ば、画像符号化装置は、前記第１の判断手段が伝送中の
フレームを表示不能と判断した後、送信バッファ内に記
憶されている未送信符号化データから符号化前の画像デ
ータを復号データで再現し、再現された画像データのう
ち第２の判断手段によって表示可能と判断されたフレー
ムを符号化して伝送することができる。従って、従来の
画像符号化装置と比較して、伝送中のフレームが表示不
能となった場合の駒落としを低減することができる。ま
た、本発明の画像符号化装置は、再現画像データ記憶手
段を効率よく使用して、伝送中のフレームが表示不能と
なった時点で送信バッファ内に記憶されている未送信符
号化データを再現することができるという効果を奏す
る。
【０３０３】同様に、請求項１５記載の本発明によれ
ば、前記第１の判断手段および前記第２の判断手段は、
変数の少ない簡単な演算で各フレームの表示の可否を判
断することができ、表示の可否の判断に要する時間を短
時間に留めることができるという効果を奏する。同様
に、請求項１６記載の本発明によれば、前記符号量予測
手段は、所要時間が長くかかる動きベクトル検出の処理
を行うことなく、前記フレーム間差分値に基づいて符号
量予測対象フレームの符号量を予測するので、前記第２
の判断手段の判断時間を短い時間に留めることができ
る。従って、画像符号化装置は、伝送中のフレームが表
示不能となった後、表示画像の駒落としを最小限に留め
ることが可能な画像データを速やかに伝送することがで
きるという効果を奏する。
ば、前記第１の判断手段および前記第２の判断手段は、
変数の少ない簡単な演算で各フレームの表示の可否を判
断することができ、表示の可否の判断に要する時間を短
時間に留めることができるという効果を奏する。同様
に、請求項１６記載の本発明によれば、前記符号量予測
手段は、所要時間が長くかかる動きベクトル検出の処理
を行うことなく、前記フレーム間差分値に基づいて符号
量予測対象フレームの符号量を予測するので、前記第２
の判断手段の判断時間を短い時間に留めることができ
る。従って、画像符号化装置は、伝送中のフレームが表
示不能となった後、表示画像の駒落としを最小限に留め
ることが可能な画像データを速やかに伝送することがで
きるという効果を奏する。
【０３０４】同様に、請求項１７記載の本発明によれ
ば、前記判断対象フレームの発生符号量を予測するに
は、前記再現画像記憶手段内に再現された最新フレーム
を、伝送済み最新フレームを参照フレームとして符号化
し、その符号量を検出するだけでよいという効果を奏す
る。同様に、請求項１８記載の本発明によれば、従来の
画像符号化装置では伝送エラー中に入力される画像デー
タを記憶しておくための記憶手段を備えていないことに
よって生じていた表示画像の駒落としを防止することが
できるという効果を奏する。
ば、前記判断対象フレームの発生符号量を予測するに
は、前記再現画像記憶手段内に再現された最新フレーム
を、伝送済み最新フレームを参照フレームとして符号化
し、その符号量を検出するだけでよいという効果を奏す
る。同様に、請求項１８記載の本発明によれば、従来の
画像符号化装置では伝送エラー中に入力される画像デー
タを記憶しておくための記憶手段を備えていないことに
よって生じていた表示画像の駒落としを防止することが
できるという効果を奏する。
【０３０５】同様に、請求項１９記載の本発明によれ
ば、前記第１の判断手段および前記第２の判断手段は、
変数の少ない簡単な演算で各フレームの表示の可否を判
断することができ、表示の可否の判断に要する時間を短
時間に留めることができるという効果を奏する。同様
に、請求項２０記載の本発明によれば、前記第１の残り
時間検出手段と前記第２の残り時間検出手段とは、タイ
マーの信号毎に伝送中のフレームと前記画像記憶手段に
記憶している画像データの残り時間を同時に検出するこ
とができ、伝送中のフレームの表示不能が判断されてか
ら後に、前記第２の判断手段の判断対象フレームの残り
時間を演算することなく、速やかに表示の可否を判断す
ることができるという効果を奏する。
ば、前記第１の判断手段および前記第２の判断手段は、
変数の少ない簡単な演算で各フレームの表示の可否を判
断することができ、表示の可否の判断に要する時間を短
時間に留めることができるという効果を奏する。同様
に、請求項２０記載の本発明によれば、前記第１の残り
時間検出手段と前記第２の残り時間検出手段とは、タイ
マーの信号毎に伝送中のフレームと前記画像記憶手段に
記憶している画像データの残り時間を同時に検出するこ
とができ、伝送中のフレームの表示不能が判断されてか
ら後に、前記第２の判断手段の判断対象フレームの残り
時間を演算することなく、速やかに表示の可否を判断す
ることができるという効果を奏する。
【０３０６】同様に、請求項２１記載の本発明によれ
ば、前記第２の判断手段は、伝送中のフレームが表示不
能と判断される前に、伝送中のフレームに続くフレーム
の表示の可否を判断することができる。また、伝送中の
フレームが表示不能と判断されたときは、伝送中のフレ
ームの送信バッファ内の未送信符号化データは廃棄され
るので、前記第１から第ｎの減算部に入力される未送信
符号化データの伝送時間は「０」となり、前記第１から
第ｎの減算部からは伝送中のフレームに続くフレームの
残り時間が前記第２のセレクタに出力されるという効果
を奏する。
ば、前記第２の判断手段は、伝送中のフレームが表示不
能と判断される前に、伝送中のフレームに続くフレーム
の表示の可否を判断することができる。また、伝送中の
フレームが表示不能と判断されたときは、伝送中のフレ
ームの送信バッファ内の未送信符号化データは廃棄され
るので、前記第１から第ｎの減算部に入力される未送信
符号化データの伝送時間は「０」となり、前記第１から
第ｎの減算部からは伝送中のフレームに続くフレームの
残り時間が前記第２のセレクタに出力されるという効果
を奏する。
【０３０７】同様に、請求項２２記載の本発明によれ
ば、前記符号量予測手段は、所要時間が長くかかる動き
ベクトル検出の処理を行うことなく、前記フレーム間差
分値に基づいて符号量予測対象フレームの符号量を予測
するので、前記第２の判断手段の判断時間を短い時間に
留めることができる。従って、画像符号化装置は、伝送
中のフレームが表示不能となった後、表示画像の駒落と
しを最小限に留めることが可能な画像データを速やかに
伝送することができるという効果を奏する。
ば、前記符号量予測手段は、所要時間が長くかかる動き
ベクトル検出の処理を行うことなく、前記フレーム間差
分値に基づいて符号量予測対象フレームの符号量を予測
するので、前記第２の判断手段の判断時間を短い時間に
留めることができる。従って、画像符号化装置は、伝送
中のフレームが表示不能となった後、表示画像の駒落と
しを最小限に留めることが可能な画像データを速やかに
伝送することができるという効果を奏する。
【０３０８】同様に、請求項２３記載の本発明によれ
ば、前記第１の判断手段および前記第２の判断手段は、
変数の少ない簡単な演算で各フレームの表示の可否を判
断することができ、表示の可否の判断に要する時間を短
時間に留めることができるという効果を奏する。
ば、前記第１の判断手段および前記第２の判断手段は、
変数の少ない簡単な演算で各フレームの表示の可否を判
断することができ、表示の可否の判断に要する時間を短
時間に留めることができるという効果を奏する。
【図１】本発明の実施例１である画像符号化装置の構成
図である。
図である。
【図２】実施例１の画像符号化装置におけるフレーム選
択部１０８の構成図である。
択部１０８の構成図である。
【図３】本発明の実施例１である画像符号化装置の動作
を説明するためのタイミングチャートである。
を説明するためのタイミングチャートである。
【図４】実験結果から求められる有効ブロック数と発生
情報量との関係を示すグラフである。
情報量との関係を示すグラフである。
【図５】フレーム間差分値から求められる有効ブロック
数と発生情報量との関係を示すグラフである。
数と発生情報量との関係を示すグラフである。
【図６】実施例１の画像符号化装置におけるフレーム選
択部１０８ａの構成図である。
択部１０８ａの構成図である。
【図７】実施例１の画像符号化装置におけるフレーム限
界値算出部５０２の構成図である。
界値算出部５０２の構成図である。
【図８】実施例１の画像符号化装置におけるフレーム限
界値算出部５０２の動作を説明するための図である。
界値算出部５０２の動作を説明するための図である。
【図９】実施例１の画像符号化装置におけるフレーム限
界値算出部５０２の他の例を示す構成図である。
界値算出部５０２の他の例を示す構成図である。
【図１０】本発明の実施例２である画像符号化装置の構
成図である。
成図である。
【図１１】実施例２の画像符号化装置におけるフレーム
選択部３０８の構成図である。
選択部３０８の構成図である。
【図１２】本発明の実施例２である画像符号化装置の動
作を説明するためのタイミングチャートである。
作を説明するためのタイミングチャートである。
【図１３】本発明の実施例３である画像符号化装置の構
成図である。
成図である。
【図１４】実施例３の画像符号化装置におけるモード切
り換え部４１９の構成図である。
り換え部４１９の構成図である。
【図１５】実施例３の画像符号化装置におけるモード切
り換え部４１９の最適フレーム検出方法を説明するため
のグラフである。
り換え部４１９の最適フレーム検出方法を説明するため
のグラフである。
【図１６】本発明の実施例３である画像符号化装置の動
作を説明するためのタイミングチャートである。
作を説明するためのタイミングチャートである。
【図１７】実施例３の画像符号化装置における各フレー
ムの復号例、符号化例および伝送の一例を示す図であ
る。
ムの復号例、符号化例および伝送の一例を示す図であ
る。
【図１８】実施例３の画像符号化装置における各フレー
ムの復号例、符号化例および伝送の他の例を示す図であ
る。
ムの復号例、符号化例および伝送の他の例を示す図であ
る。
【図１９】他の復号データ記憶装置４５１ａおよび他の
伝送制御装置４５５ａを備える実施例３の画像符号化装
置の構成図である。
伝送制御装置４５５ａを備える実施例３の画像符号化装
置の構成図である。
【図２０】本発明の実施例４である画像符号化装置の構
成図である。
成図である。
【図２１】本発明の実施例４である画像符号化装置の動
作を説明するためのタイミングチャートである。
作を説明するためのタイミングチャートである。
【図２２】実施例４の画像符号化装置に備えられるモー
ド切り換え部４２０の構成図である。
ド切り換え部４２０の構成図である。
【図２３】従来技術である画像符号化装置の構成図であ
る。
る。
【図２４】従来技術である画像符号化装置の動作を説明
するためのタイミングチャートである。
するためのタイミングチャートである。
１０１ 第１から第ｎの画像メモリ １０２ メモリ制御部 １０３ 画像記憶装置 １０４ 符号化部 １０５ 符号化制御部 １０６ 符号化装置 １０７ 伝送制御装置 １０８ フレーム選択部 １０９ 伝送制御部 １１０ 送信バッファ １１２ ＹＣ分離Ａ／Ｄ変換部 １１３ ＮＴＳＣ／ＣＩＦ変換部 １１４ 前処理フィルタ １１５ 前処理装置 １１６ 動き補償フレーム予測部 １１７ ＤＣＴ １１８ 量子化部 １１９ 第１の可変長符号化部 １２０ 第２の可変長符号化部 １２１ 多重化部 １２３ 第１のアドレスバス １２４ 第１のデータバス １２５ 第２のアドレスバス １２６ 第２のデータバス １２７ 送信バッファ １２８ 再送制御部 １２９ 再送用バッファ １３０ タイマー １３１ フレームメモリ １３２ 復号部 １３３ 復号装置
Claims (23)
- 【請求項１】 動画像を構成するフレームの予測符号化
を行うとともに、予測誤差の画像データ量によって生じ
る符号化時間のばらつき、伝送時間のばらつきおよび復
号時間のばらつきを平滑化するために予め定める平滑化
時間を設け、それぞれの画像サンプルから始まる前記平
滑化時間が終了する時点で各フレームを受信側の表示装
置に表示させる画像符号化装置において、 少なくとも１フレーム分の画像データを記憶する記憶領
域を備え、予め定める時間間隔で入力される１フレーム
分の画像データを、ｍフレーム毎（ｍは予め定める自然
数）に画像サンプルして前記記憶領域に記憶する画像記
憶手段と、 伝送済み最新フレームを記憶する伝送済み最新フレーム
記憶手段と、 入力された各フレームの画像データを予測符号化する符
号化手段と、 前記符号化手段によって符号化された符号化データを、
受信側と連絡を取りながら伝送路を介して受信側に伝送
する伝送手段と、 予め定める時間毎に、伝送中のフレームの表示の可否
を、現時点からそのフレームの画像を表示すべき時点ま
での残り時間とそのフレームの未送信符号量とそのフレ
ームの復号時間とに基づいて判断する第１の判断手段
と、 前記画像記憶手段に記憶されている各フレームについ
て、そのフレームの表示の可否を、現時点からそのフレ
ームの画像を表示すべき時点までの残り時間とそのフレ
ームの伝送時間とそのフレームの復号時間とに基づいて
判断する第２の判断手段と、 前記第１の判断手段が伝送中のフレームを表示不能と判
断した場合、前記記憶領域に記憶されている画像データ
を読み出して前記第２の判断手段に転送し、前記第２の
判断手段が前記フレームを表示可能と判断した場合、前
記フレームの画像データを前記符号化手段に出力するよ
う前記画像記憶手段を制御するとともに、伝送済み最新
フレームを読み出して前記符号化手段に参照フレームと
して入力するよう前記伝送済み最新フレーム記憶手段を
制御する制御手段とを含むことを特徴とする画像符号化
装置。 - 【請求項２】 前記画像記憶手段は、 それぞれ１フレーム分の画像データを記憶する記憶領域
を備える第１から第ｎ（ｎは自然数）の画像メモリと、 入力される画像データを１フレームずつそれぞれのフレ
ームナンバーに対応づけて前記画像メモリに順次、書き
込む書き込み制御手段とを含み、 前記制御手段は、前記第１の判断手段が伝送中のフレー
ムを表示不能と判断した場合、前記第１から第ｎの画像
メモリに記憶されている画像データをフレームナンバー
の小さいものから順次読み出して前記第２の判断手段に
転送し、前記第２の判断手段が前記フレームを表示可能
と判断した場合、前記フレームの画像データを前記第１
から第ｎの画像メモリから読み出して前記符号化手段に
出力するよう前記画像記憶手段を制御することを特徴と
する請求項１記載の画像符号化装置。 - 【請求項３】 前記伝送手段は、 前記符号化手段から出力された符号化データを記憶する
送信バッファと、 前記送信バッファに記憶された符号化データを先入れ先
出しで伝送路に出力し、伝送路に出力した符号化データ
について、受信側からの送達確認が取れた場合は次の符
号化データを伝送路に出力し、送達確認が取れない場合
は再送するよう前記送信バッファおよび伝送路を制御す
る伝送制御手段とを含み、 前記第１の判断手段は、 伝送中のフレームの前記送信バッファ内の未送信符号量
を検出する未送信符号量検出手段と、 前記未送信符号量検出手段によって検出された未送信符
号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する第１の伝送時間算出手段
と、 前記符号化手段によって符号化されたフレームの発生符
号量を検出して記憶し、（そのフレームの復号時間）＝
（発生符号量）／（予め定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する第１の復号時間算出手段と、 現時点から伝送中のフレームの画像を受信側の表示装置
に表示すべき時点までの残り時間を検出する第１の残り
時間検出手段と、 前記復号時間と前記伝送時間との和と前記残り時間とを
比較する第１の比較手段とを含み、 前記第２の判断手段は、 前記画像記憶手段に記憶されているフレームについて、
前記フレームの画像データを符号化した際に発生する符
号量を予測する符号量予測手段と、 前記符号量予測手段によって予測された符号量から、 （そのフレームの伝送時間）＝（そのフレームの予測符
号量）／（予め定める伝送速度） 前記計算式に基づいて、画像記憶手段に記憶されている
フレームの伝送時間を算出する第２の伝送時間算出手段
と、 前記符号量予測手段によって予測された予測符号量か
ら、 （そのフレームの符号化時間）＝（そのフレームの予測
符号量）／（予め定める符号化速度） 前記計算式に基づき、前記画像記憶手段に記憶されてい
るフレームの符号化時間を算出する符号化時間算出手段
と、 前記符号量予測手段によって予測された予測符号量か
ら、 （そのフレームの復号時間）＝（そのフレームの予測符
号量）／（予め定める復号速度） 前記計算式に基づき、前記画像記憶手段に記憶されてい
るフレームの復号時間を算出する第２の復号時間算出手
段と、 前記画像記憶手段に記憶されているフレームについて、
現時点から前記フレームの画像を受信側の表示装置に表
示すべき時点までの残り時間を検出する第２の残り時間
検出手段と、 前記符号化時間と前記復号時間と前記伝送時間との和と
前記残り時間とを比較する第２の比較手段とを含み、 前記第１の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断し、 前記第２の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの符号化時間）＋（そのフレーム
の伝送時間）＋（そのフレームの復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断することを特徴とする請求項２記載の画像符号化
装置。 - 【請求項４】 前記第１の残り時間検出手段および第２
の残り時間検出手段は、 予め定める平滑化時間を出力する初期値出力部と、 予め定める経過時間ごとに信号を出力するタイマーと、 ２入力１出力のセレクタであって、前記２入力のうち１
入力に前記初期値出力部から出力される平滑化時間を入
力し、前記制御手段からの選択信号により、前記２入力
のうちから１入力を選択して出力する第１のセレクタ
と、 前記タイマーからの信号を検出する毎に、前記第１のセ
レクタの出力から前記経過時間を減算し、前記第１の比
較手段に出力する経過時間減算部と、 ｎ個の加算部を備え、それぞれ第ｋ（ｋは１からｎまで
の自然数）の加算部は前記経過時間減算部の出力にそれ
ぞれｋ×（前記経過時間）を加算する第１から第ｎまで
の加算部と、 前記制御手段からの選択信号により、前記第１から第ｎ
までの加算部の出力のうちから１信号を選択して前記第
２の比較手段および第１のセレクタに出力する第２のセ
レクタとを含み、 前記制御手段は、動作開始時には、第１のセレクタに前
記２入力のうちから前記初期値出力部の出力を選択する
選択信号を出力し、 前記第２の判断手段が判断を開始する毎に、前記第２の
セレクタに前記第１から第ｎまでの加算部の出力を順次
選択する選択信号を出力し、 前記第２の判断手段が最初に表示可能と判断したときに
は、前記第１のセレクタに、そのときの前記第２のセレ
クタの出力を選択する選択信号を出力することを特徴と
する請求項３記載の画像符号化装置。 - 【請求項５】 前記符号量予測手段は、 符号量予測対象フレームの中の１ブロックの画像データ
と伝送済み最新フレームの中で前記ブロックと同一位置
に相当するブロックの復号データとの単純な差分値を求
めることによって、前記符号量予測対象フレームのフレ
ーム間差分値を検出するフレーム間差分値検出部と、 前記フレーム間差分値検出部からのフレーム間差分値を
直交変換する直交変換部と、 前記直交変換部による直交変換の結果、すべての直交変
換係数が予め定めるしきい値に満たないブロックを無効
ブロックと判断し、前記符号量予測対象フレームの無効
ブロック数を検出する無効ブロック検出部と、 前記無効ブロック数検出部によって検出された無効ブロ
ック数から、有効ブロック数を求め、 （有効ブロック数）＝（総ブロック数）−（無効ブロッ
ク数） （発生符号量）＝（直前に符号化されたフレームの有効
ブロック数に対する発生符号量）×（有効ブロック数） 前記計算式に基づき、符号量予測対象フレームを符号化
した際に発生する符号量を算出する符号量算出部とを含
むことを特徴とする請求項３記載の画像符号化装置。 - 【請求項６】 前記符号量予測手段は、 前記画像記憶手段に記憶されているフレームのうち最新
フレームのフレームナンバーを記憶する最新フレームナ
ンバー記憶部と、 前記第１の判断手段が伝送中のフレームの表示不能を判
断した時点で、 前記符号化手段に前記最新フレームナンバー記憶手段に
記憶されているフレームナンバーの画像データを伝送済
み最新フレームを参照フレームとして符号化しその発生
符号量を検出するよう指示し、前記発生符号量が前記第
２の判断手段の判断対象フレームの発生符号量となるも
のと予測する符号量予測制御部を含むことを特徴とする
請求項３記載の画像符号化装置。 - 【請求項７】 動画像を構成するフレームの予測符号化
を行うとともに、予測誤差の画像データ量によって生じ
る符号化時間のばらつき、伝送時間のばらつきおよび復
号時間のばらつきを平滑化するために予め定める平滑化
時間を設け、それぞれの画像サンプルから始まる前記平
滑化時間が終了する時点で、各フレームを受信側の表示
装置に表示させる画像符号化装置において、 少なくとも１フレーム分の画像データを記憶する記憶容
量を備え、予め定めるフレームを記憶する参照フレーム
記憶手段と、 入力されたフレームの画像データを予め定めるフレーム
間隔で画像サンプルし、画像サンプルした前記画像デー
タを少なくとも前記参照フレーム記憶手段に記憶されて
いる伝送済み最新フレームと現在伝送中のフレームとを
参照フレームとして予測符号化する符号化手段と、 少なくとも１フレーム分の符号化データを記憶する記憶
領域を備え、前記符号化手段によって符号化された符号
化データを、予測符号化の参照フレームとされたフレー
ムと対応付けて記憶する符号化データ記憶手段と、 前記符号化手段によって符号化された符号化データを、
伝送路を介して受信側に伝送する伝送手段と、 予め定める時間毎に、伝送中のフレームの表示の可否
を、現時点からそのフレームの画像を表示すべき時点ま
での残り時間とそのフレームの伝送時間とそのフレーム
の復号時間とに基づいて判断する第１の判断手段と、 前記符号化データ記憶手段に記憶されている各フレーム
について、そのフレームの表示の可否を、現時点からそ
のフレームの画像を表示すべき時点までの残り時間とそ
のフレームの伝送時間とそのフレームの復号時間とに基
づいて判断する第２の判断手段と、 前記第１の判断手段が伝送中のフレームを表示不能と判
断した場合、前記記憶領域に記憶されている符号化デー
タのうち、予め定めるフレームを参照フレームとする符
号化データを読みだして前記第２の判断手段に転送し、
前記第２の判断手段が前記フレームを表示可能と判断し
た場合、前記フレームの符号化データを前記記憶領域か
ら読み出して前記伝送手段に出力するよう前記符号化デ
ータ記憶手段を制御する制御手段とを含むことを特徴と
する画像符号化装置。 - 【請求項８】 前記符号化データ記憶手段は、 それぞれ各フレームの符号化データを記憶する記憶領域
を備えるｎ（ｎは１以上の自然数）個の符号化データメ
モリと、 前記符号化手段から入力される符号化データを、それぞ
れのフレームナンバーとその符号化データの参照フレー
ムとされたフレームのフレームナンバーとに対応づけて
前記符号化データメモリに順次、書き込む書き込み制御
手段とを含み、 前記制御手段は、前記第１の判断手段が伝送中のフレー
ムを表示不能と判断した場合、前記符号化データメモリ
に記憶されている符号化データをフレームナンバーの小
さいものから順次読み出して前記第２の判断手段に転送
し、前記第２の判断手段が転送されてきた前記フレーム
を表示可能と判断した場合、表示可能と判断された前記
フレームの符号化データのうち予め定めるフレームを参
照フレームとする符号化データを前記ｎ個の符号化デー
タメモリから読み出して前記伝送手段に出力するよう前
記符号化データ記憶手段を制御することを特徴とする請
求項７記載の画像符号化装置。 - 【請求項９】 前記伝送手段は、 前記符号化手段から出力された符号化データを記憶する
送信バッファと、 前記送信バッファに記憶された符号化データを先入れ先
出しで伝送路に出力し、伝送路に出力した符号化データ
について、受信側からの送達確認が取れた場合は次の符
号化データを伝送路に出力し、送達確認が取れない場合
は再送するよう前記送信バッファおよび伝送路を制御す
る伝送制御手段とを含み、 前記第１の判断手段は、 伝送中のフレームの前記送信バッファ内の未送信符号量
を検出する未送信符号量検出手段と、 前記未送信符号量検出手段によって検出された未送信符
号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する第１の伝送時間算出手段
と、 前記符号化手段によって符号化されたフレームの発生符
号量を検出して記憶し、（そのフレームの復号時間）＝
（発生符号量）／（予め定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する第１の復号時間算出手段と、 現時点から伝送中のフレームの画像を受信側の表示装置
に表示すべき時点までの残り時間を検出する第１の残り
時間検出手段と、 前記復号時間と前記伝送時間との和と前記残り時間とを
比較する第１の比較手段とを含み、 前記第２の判断手段は、 前記符号化データ記憶手段に記憶されている符号化デー
タの符号量を検出する符号量検出手段と、 前記符号量検出手段によって検出された符号量から、 （そのフレームの伝送時間）＝（そのフレームの符号
量）／（予め定める伝送速度） 前記計算式に基づいて、符号化データ記憶手段に記憶さ
れているフレームの伝送時間を算出する第２の伝送時間
算出手段と、 前記符号量検出手段によって検出された符号量から、 （そのフレームの復号時間）＝（そのフレームの符号
量）／（予め定める復号速度） 前記計算式に基づき、前記符号化データ記憶手段に記憶
されているフレームの復号時間を算出する第２の復号時
間算出手段と、 前記符号化データ記憶手段に記憶されている符号化デー
タについて、現時点から前記符号化データのフレームの
画像を受信側の表示装置に表示すべき時点までの残り時
間を検出する第２の残り時間検出手段と、 前記復号時間と前記伝送時間との和と前記残り時間とを
比較する第２の比較手段とを含み、 前記第１の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断し、 前記第２の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの伝送時間）＋（そのフレームの
復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断することを特徴とする請求項８記載の画像符号化
装置。 - 【請求項１０】 前記第１の残り時間検出手段および前
記第２の残り時間検出手段は、 予め定める平滑化時間を出力する初期値出力部と、 予め定める経過時間ごとに信号を出力するタイマーと、 ２入力１出力のセレクタであって、前記２入力のうち１
入力に前記初期値出力部から出力される平滑化時間を入
力し、前記制御手段からの選択信号により、前記２入力
のうちから１入力を選択して出力する第１のセレクタ
と、 前記タイマーからの信号を検出する毎に、前記第１のセ
レクタの出力から前記経過時間を減算し、前記第１の比
較手段に出力する経過時間減算部と、 ｎ個の加算部を備え、それぞれ第ｋ（ｋは１からｎまで
の自然数）の加算部は前記経過時間減算部の出力にそれ
ぞれｋ×（前記経過時間）を加算する第１から第ｎまで
の加算部と、 前記制御手段からの選択信号により、前記第１から第ｎ
までの加算部の出力のうちから１信号を選択して前記第
２の比較手段および第１のセレクタに出力する第２のセ
レクタとを含み、 前記制御手段は、動作開始時には、第１のセレクタに前
記２入力のうちから前記初期値出力部の出力を選択する
選択信号を出力し、 前記第２の判断手段が判断を開始する毎に、前記第２の
セレクタに前記第１から第ｎまでの加算部の出力を順次
選択する選択信号を出力し、 前記第２の判断手段が最初に表示可能と判断したときに
は、前記第１のセレクタに、そのときの前記第２のセレ
クタの出力を選択する選択信号を出力することを特徴と
する請求項９記載の画像符号化装置。 - 【請求項１１】 前記第２の残り時間検出手段は、さら
に、 前記第１から第ｎまでの加算部の出力から伝送中のフレ
ームの未送信符号化データの伝送時間を減算し、前記第
２のセレクタに出力する第１から第ｎの減算部を含むこ
とを特徴とする請求項４および請求項１０記載の画像符
号化装置。 - 【請求項１２】 前記第１の残り時間検出手段および前
記第２の残り時間検出手段は、前記第１から第ｎまでの
加算部および第２のセレクタに代えて、 伝送中のフレームが画像サンプルされた時点から、画像
記憶手段に記憶されているフレームが画像サンプルされ
た時点までの時間差を、画像記憶手段に記憶されている
フレームが伝送中のフレームより先のフレームである場
合には負の値として検出する時間差検出部と、 前記時間差検出部からの時間差を、前記経過時間減算部
の出力に加算し前記第２の比較手段と前記第１のセレク
タとに出力する時間差加算部とを含むことを特徴とする
請求項４および請求項１０記載の画像符号化装置。 - 【請求項１３】 符号化データ記憶手段は、 １つの符号化データを記憶する記憶領域を備える符号化
データメモリと、 前記符号化制御手段から入力される符号化データのう
ち、伝送中のフレームより後に画像サンプルされた予め
定めるフレームであって、伝送済み最新フレームを参照
フレームとする符号化データを、それぞれのフレームナ
ンバーとその符号化データの参照フレームとされたフレ
ームのフレームナンバーとに対応づけて前記符号化デー
タメモリに書き込む書き込み制御手段とを含み、 前記制御手段は、前記第１の判断手段が伝送中のフレー
ムを表示不能と判断した場合、前記符号化データメモリ
に記憶されている符号化データを読み出して前記第２の
判断手段に転送し、前記第２の判断手段が前記フレーム
を表示可能と判断した場合、前記フレームの符号化デー
タを前記符号化データメモリから読み出して前記伝送手
段に出力するよう前記符号化データ記憶手段を制御する
ことを特徴とする請求項７記載の画像符号化装置。 - 【請求項１４】 動画像を構成するフレームの予測符号
化を行うとともに、予測誤差の画像データ量によって生
じる符号化時間のばらつき、伝送時間のばらつきおよび
復号時間のばらつきを平滑化するために予め定める平滑
化時間を設け、それぞれの画像サンプルから始まる前記
平滑化時間が終了する時点で、各フレームを受信側の表
示装置に表示させる画像符号化装置において、 フレーム順に入力される各フレームを予測符号化する符
号化手段と、 伝送すべき符号化データを記憶する送信バッファを備
え、前記符号化手段によって符号化された符号化データ
を送信バッファに蓄えるとともに、前記送信バッファか
ら前記符号化データをフレーム順にとりだし、伝送路を
介して受信側に伝送する伝送手段と、 伝送中のフレームが画像サンプルから平滑化時間後に受
信側の表示装置に表示可能か否かを判断する第１の判断
手段と、 前記第１の判断手段が伝送中のフレームを表示不能と判
断するまでは前記符号化手段が符号化した符号化データ
について符号化処理と逆の処理を行って入力時のフレー
ムの画像データを復号データで近似的に再現し、前記第
１の判断手段が伝送中のフレームを表示不能と判断した
場合、その時点で送信バッファに残っている全てのフレ
ームの未送信符号化データについて前述と同様に再現す
る画像データ再現手段と、 少なくとも４フレーム分の再現された画像データを記憶
する記憶領域を備え、前記画像データ再現手段によって
再現されたフレームのうち送達確認がとれた最新のフレ
ームの再現画像と前記送信バッファ内に最も新しく格納
されたフレームの再現画像とをそれぞれ予め定める記憶
領域に格納する再現画像記憶手段と、 前記送信バッファに残っているすべてのフレームについ
て、画像サンプルから平滑化時間後に受信側の表示装置
に表示可能か否かを判断する第２の判断手段と、 前記画像データ再現手段で再現した画像データであって
前記第２の判断手段が表示可能と判断したフレームのう
ち最初のフレームについて送達確認がとれた最新のフレ
ームを参照フレームとして符号化し、それに続くフレー
ムについては新たな入力フレームと同様に直前に符号化
したフレームを参照フレームとして符号化し、前記伝送
手段に転送するよう前記符号化手段を制御する制御手段
とを含むことを特徴とする画像符号化装置。 - 【請求項１５】 前記第１の判断手段は、 伝送中のフレームの前記送信バッファ内の未送信符号量
を検出する未送信符号量検出手段と、 前記未送信符号量検出手段によって検出された未送信符
号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する第１の伝送時間算出手段
と、 前記符号化手段によって符号化されたフレームの発生符
号量を検出して記憶し、（そのフレームの復号時間）＝
（発生符号量）／（予め定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する第１の復号時間算出手段と、 現時点から伝送中のフレームの画像を受信側の表示装置
に表示すべき時点までの残り時間を検出する第１の残り
時間検出手段と、 前記復号時間と前記伝送時間との和と前記残り時間とを
比較する第１の比較手段とを含み、 前記第２の判断手段は、 前記再現画像記憶手段に記憶されているフレームについ
て、前記フレームの再現画像データを符号化した際に発
生する符号量を予測する符号量予測手段と、 前記符号量予測手段によって予測された符号量から、 （そのフレームの伝送時間）＝（そのフレームの予測符
号量）／（予め定める伝送速度） 前記計算式に基づいて、再現画像記憶手段に記憶されて
いるフレームの伝送時間を算出する第２の伝送時間算出
手段と、 前記符号量予測手段によって予測された予測符号量か
ら、 （そのフレームの符号化時間）＝（そのフレームの予測
符号量）／（予め定める符号化速度） 前記計算式に基づき、前記再現画像記憶手段に記憶され
ているフレームの符号化時間を算出する符号化時間算出
手段と、 前記符号量予測手段によって予測された予測符号量か
ら、 （そのフレームの復号時間）＝（そのフレームの予測符
号量）／（予め定める復号速度） 前記計算式に基づき、前記再現画像記憶手段に記憶され
ているフレームの復号時間を算出する第２の復号時間算
出手段と、 前記再現画像記憶手段に記憶されているフレームについ
て、現時点から前記フレームの画像を受信側の表示装置
に表示すべき時点までの残り時間を検出する第２の残り
時間検出手段と、 前記符号化時間と前記復号時間と前記伝送時間との和と
前記残り時間とを比較する第２の比較手段とを含み、 前記第１の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断し、 前記第２の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの符号化時間）＋（そのフレーム
の伝送に要する時間）＋（そのフレームの復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断することを特徴とする請求項１４記載の画像符号
化装置。 - 【請求項１６】 前記符号量予測手段は、 符号量予測対象フレームの中の１ブロックの画像データ
と伝送済み最新フレームの中で前記ブロックと同一位置
に相当するブロックの復号データとの単純な差分値を求
めることによって、前記符号量予測対象フレームのフレ
ーム間差分値を検出するフレーム間差分値検出部と、 前記フレーム間差分値検出部からのフレーム間差分値を
直交変換する直交変換部と、 前記直交変換部による直交変換の結果、すべての直交変
換係数が予め定めるしきい値に満たないブロックを無効
ブロックと判断し、前記符号量予測対象フレームの無効
ブロック数を検出する無効ブロック検出部と、 前記無効ブロック数検出部によって検出された無効ブロ
ック数から、有効ブロック数を求め、 （有効ブロック数）＝（総ブロック数）−（無効ブロッ
ク数） （発生符号量）＝（直前に符号化されたフレームの有効
ブロック数に対する発生符号量）×（有効ブロック数） 前記計算式に基づき、符号量予測対象フレームを符号化
した際に発生する符号量を算出する符号量算出部とを含
むことを特徴とする請求項１５記載の画像符号化装置。 - 【請求項１７】 前記符号量予測手段は、 前記第１の判断手段が伝送中のフレームの表示不能を判
断した時点で、前記符号化手段に、その直前に符号化さ
れたフレームであって復号されたものを符号化対象フレ
ームとして伝送済み最新フレームを参照フレームとして
符号化しその発生符号量を検出するよう指示し、前記発
生符号量が前記第２の判断手段の判断対象フレームの発
生符号量となるものと予測する符号量予測制御部を含む
ことを特徴とする請求項１５記載の画像符号化装置。 - 【請求項１８】 少なくとも１フレーム分の画像データ
を記憶する記憶領域を備える画像記憶手段と、 伝送エラー中に入力されるフレームを、前記画像記憶手
段に記憶させ、前記再現画像記憶手段に記憶されている
再現画像データのうちの最後のフレームが符号化手段へ
転送された後、前記画像記憶手段に記憶されている各フ
レームの画像データを読み出し符号化手段へ転送するメ
モリ制御手段とを含むことを特徴とする請求項１４記載
の画像符号化装置。 - 【請求項１９】 前記第１の判断手段は、 伝送中のフレームの前記送信バッファ内の未送信符号量
を検出する未送信符号量検出手段と、 前記未送信符号量検出手段によって検出された未送信符
号量から、 （未送信符号化データの伝送時間）＝（未送信符号量）
／（予め定める伝送速度） 前記計算式に基づいて、伝送中のフレームの未送信符号
化データの伝送時間を算出する第１の伝送時間算出手段
と、 前記符号化手段によって符号化されたフレームの発生符
号量を検出して記憶し、（そのフレームの復号時間）＝
（発生符号量）／（予め定める復号速度） 前記計算式に基づき、伝送中のフレームの復号時間を算
出する第１の復号時間算出手段と、 現時点から伝送中のフレームの画像を受信側の表示装置
に表示すべき時点までの残り時間を検出する第１の残り
時間検出手段と、 前記復号時間と前記伝送時間との和と前記残り時間とを
比較する第１の比較手段とを含み、 第２の判断手段は、 前記再現画像記憶手段および前記画像記憶手段に記憶さ
れているフレームについて、前記フレームの再現画像デ
ータおよび画像データを符号化した際に発生する符号量
を予測する符号量予測手段と、 前記符号量予測手段によって予測された符号量から、 （そのフレームの伝送時間）＝（そのフレームの予測符
号量）／（予め定める伝送速度） 前記計算式に基づいて、前記再現画像記憶手段および前
記画像記憶手段に記憶されているフレームの伝送時間を
算出する第２の伝送時間算出手段と、 前記符号量予測手段によって予測された予測符号量か
ら、 （そのフレームの符号化時間）＝（そのフレームの予測
符号量）／（予め定める符号化速度）前記計算式に基づ
き、前記再現画像記憶手段および前記画像記憶手段に記
憶されているフレームの符号化時間を算出する符号化時
間算出手段と、 前記符号量予測手段によって予測された予測符号量か
ら、 （そのフレームの復号時間）＝（そのフレームの予測符
号量）／（予め定める復号速度） 前記計算式に基づき、前記再現画像記憶手段および前記
画像記憶手段に記憶されているフレームの復号時間を算
出する第２の復号時間算出手段と、 前記再現画像記憶手段および前記画像記憶手段に記憶さ
れているフレームについて、現時点から前記フレームの
画像を受信側の表示装置に表示すべき時点までの残り時
間を検出する第２の残り時間検出手段と、 前記符号化時間と前記復号時間と前記伝送時間との和と
前記残り時間とを比較する第２の比較手段とを含み、 前記第１の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（未送信符号化データの伝送に要する時間）＋
（そのフレームの復号時間） 前記条件式で示される条件を満たすフレームを表示可能
と判断し、 前記第２の判断手段は、 （そのフレームの画像を表示すべき時点までの残り時
間）＞（そのフレームの符号化時間）＋（そのフレーム
の伝送に要する時間）＋（そのフレームの復号時間） 上記条件式で示される条件を満たすフレームを表示可能
と判断することを特徴とする請求項１８記載の画像符号
化装置。 - 【請求項２０】 前記第１の残り時間検出手段および前
記第２の残り時間検出手段は、 予め定める平滑化時間を出力する初期値出力部と、 予め定める経過時間ごとに信号を出力するタイマーと、 ２入力１出力のセレクタであって、前記２入力のうち１
入力に前記初期値出力部から出力される平滑化時間を入
力し、前記制御手段からの選択信号により、前記２入力
のうちから１入力を選択して出力する第１のセレクタ
と、 前記タイマーからの信号を検出する毎に、前記第１のセ
レクタの出力から前記経過時間を減算し、前記第１の比
較手段に出力する経過時間減算部と、 ｎ個の加算部を備え、それぞれ第ｋ（ｋは１からｎまで
の自然数）の加算部は前記経過時間減算部の出力にそれ
ぞれｋ×（前記経過時間）を加算する第１から第ｎまで
の加算部と、 前記制御手段からの選択信号により、前記第１から第ｎ
までの加算部の出力のうちから１信号を選択して前記第
２の比較手段および第１のセレクタに出力する第２のセ
レクタとを含み、 前記制御手段は、動作開始時には、第１のセレクタに前
記２入力のうちから前記初期値出力部の出力を選択する
選択信号を出力し、 前記第２の判断手段が判断を開始する毎に、前記第２の
セレクタに前記第１から第ｎまでの加算部の出力を順次
選択する選択信号を出力し、 前記第２の判断手段が最初に表示可能と判断したときに
は、前記第１のセレクタに、そのときの前記第２のセレ
クタの出力を選択する選択信号を出力することを特徴と
する請求項１５および請求項１９記載の画像符号化装
置。 - 【請求項２１】 前記第２の残り時間検出手段は、さら
に、 前記第１から第ｎまでの加算部の出力から伝送中のフレ
ームの未送信符号化データの伝送時間を減算し、前記第
２のセレクタに出力する第１から第ｎの減算部を含むこ
とを特徴とする請求項２０記載の画像符号化装置。 - 【請求項２２】 前記符号量予測手段は、 符号量予測対象フレームの中の１ブロックの画像データ
と伝送済み最新フレームの中で前記ブロックと同一位置
に相当するブロックの復号データとの単純な差分値を求
めることによって、前記符号量予測対象フレームのフレ
ーム間差分値を検出するフレーム間差分値検出部と、 前記フレーム間差分値検出部からのフレーム間差分値を
直交変換する直交変換部と、 前記直交変換部による直交変換の結果、すべての直交変
換係数が予め定めるしきい値に満たないブロックを無効
ブロックと判断し、前記符号量予測対象フレームの無効
ブロック数を検出する無効ブロック検出部と、 前記無効ブロック数検出部によって検出された無効ブロ
ック数から、有効ブロック数を求め、 （有効ブロック数）＝（総ブロック数）−（無効ブロッ
ク数） （発生符号量）＝（直前に符号化されたフレームの有効
ブロック数に対する発生符号量）×（有効ブロック数） 前記計算式に基づき、符号量予測対象フレームを符号化
した際に発生する符号量を算出する符号量算出部とを含
むことを特徴とする請求項１９記載の画像符号化装置。 - 【請求項２３】 前記符号量予測手段は、 前記画像記憶手段および再現画像記憶手段に記憶されて
いるフレームのうち最新フレームのフレームナンバーを
記憶する最新フレームナンバー記憶部と、 前記第１の判断手段が伝送中のフレームの表示不能を判
断した時点で、前記符号化手段に前記最新フレームナン
バー記憶手段に記憶されているフレームナンバーの画像
データと再現画像データとを伝送済み最新フレームを参
照フレームとして符号化しその発生符号量を検出するよ
う指示し、前記発生符号量が前記第２の判断手段の判断
対象フレームの発生符号量となるものと予測する符号量
予測制御部を含むことを特徴とする請求項１９記載の画
像符号化装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6177261A JPH0795584A (ja) | 1993-07-30 | 1994-07-28 | 画像符号化装置 |
| US08/283,241 US5479212A (en) | 1993-07-30 | 1994-07-29 | Picture data coding apparatus |
| EP94305705A EP0637175A3 (en) | 1993-07-30 | 1994-08-01 | Image data coding apparatus. |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5-189986 | 1993-07-30 | ||
| JP18998693 | 1993-07-30 | ||
| JP6177261A JPH0795584A (ja) | 1993-07-30 | 1994-07-28 | 画像符号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0795584A true JPH0795584A (ja) | 1995-04-07 |
Family
ID=26497869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6177261A Pending JPH0795584A (ja) | 1993-07-30 | 1994-07-28 | 画像符号化装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5479212A (ja) |
| EP (1) | EP0637175A3 (ja) |
| JP (1) | JPH0795584A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002335530A (ja) * | 2001-05-10 | 2002-11-22 | Sony Corp | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム |
| KR100538023B1 (ko) * | 1996-12-27 | 2006-03-27 | 오끼 덴끼 고오교 가부시끼가이샤 | 화상 부호화장치 |
| KR100670220B1 (ko) * | 1997-06-16 | 2007-07-06 | 오끼 덴끼 고오교 가부시끼가이샤 | 부호화장치,복호화장치및전송시스템 |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5715009A (en) | 1994-03-29 | 1998-02-03 | Sony Corporation | Picture signal transmitting method and apparatus |
| US5550847A (en) * | 1994-10-11 | 1996-08-27 | Motorola, Inc. | Device and method of signal loss recovery for realtime and/or interactive communications |
| EP0710033A3 (en) * | 1994-10-28 | 1999-06-09 | Matsushita Electric Industrial Co., Ltd. | MPEG video decoder having a high bandwidth memory |
| US5623311A (en) * | 1994-10-28 | 1997-04-22 | Matsushita Electric Corporation Of America | MPEG video decoder having a high bandwidth memory |
| US5920352A (en) * | 1994-10-28 | 1999-07-06 | Matsushita Electric Industrial Co., Ltd. | Image memory storage system and method for a block oriented image processing system |
| DE69619002T2 (de) * | 1995-03-10 | 2002-11-21 | Toshiba Kawasaki Kk | Bildkodierungs-/-dekodierungsvorrichtung |
| US5943096A (en) * | 1995-03-24 | 1999-08-24 | National Semiconductor Corporation | Motion vector based frame insertion process for increasing the frame rate of moving images |
| US5671156A (en) * | 1995-03-31 | 1997-09-23 | Lucent Technologies Inc. | Transmission method and system for JPEG images |
| JP3068002B2 (ja) | 1995-09-18 | 2000-07-24 | 沖電気工業株式会社 | 画像符号化装置、画像復号化装置及び画像伝送システム |
| JP2942497B2 (ja) * | 1996-03-22 | 1999-08-30 | ローム株式会社 | 画像データ復号表示方法および装置 |
| DE19618351A1 (de) * | 1996-05-08 | 1997-11-13 | Thomson Brandt Gmbh | Verfahren und Schaltungsanordnung zum speicheroptimierten Verarbeiten eines FBAS-Signals |
| GB2318244B (en) * | 1996-10-09 | 2000-09-27 | Sony Uk Ltd | Motion predicted image signal compression |
| JPH10234033A (ja) * | 1997-02-21 | 1998-09-02 | Matsushita Electric Ind Co Ltd | 動画像信号の復号方法および動画像信号の復号装置 |
| KR100243865B1 (ko) * | 1997-09-30 | 2000-02-01 | 전주범 | 움직임 벡터 부호화 방법 및 그 장치 |
| CA2265089C (en) * | 1998-03-10 | 2007-07-10 | Sony Corporation | Transcoding system using encoding history information |
| KR100571687B1 (ko) * | 1999-02-09 | 2006-04-18 | 소니 가부시끼 가이샤 | 코딩 시스템 및 방법, 부호화 장치 및 방법, 복호화 장치및 방법, 기록 장치 및 방법, 및 재생 장치 및 방법 |
| JP2001078188A (ja) * | 1999-09-01 | 2001-03-23 | Casio Comput Co Ltd | 画像圧縮符号化装置、及び記憶媒体 |
| US7849491B2 (en) * | 2002-12-10 | 2010-12-07 | Onlive, Inc. | Apparatus and method for wireless video gaming |
| JP4196726B2 (ja) * | 2003-05-14 | 2008-12-17 | ソニー株式会社 | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム |
| CN113516724B (zh) * | 2021-07-13 | 2023-10-27 | 东软医疗系统股份有限公司 | 一种图像数据的传输方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3856461T2 (de) * | 1987-04-28 | 2001-10-31 | Mitsubishi Electric Corp | System zur Bildcodierung und -decodierung |
| JP2892358B2 (ja) * | 1988-10-07 | 1999-05-17 | 日本電信電話株式会社 | 遅延形情報転送方式 |
| JP2787599B2 (ja) * | 1989-11-06 | 1998-08-20 | 富士通株式会社 | 画像信号符号化制御方式 |
| US5260783A (en) * | 1991-02-21 | 1993-11-09 | Gte Laboratories Incorporated | Layered DCT video coder for packet switched ATM networks |
| JPH05137131A (ja) * | 1991-11-13 | 1993-06-01 | Sony Corp | フレーム間動き予測方法 |
-
1994
- 1994-07-28 JP JP6177261A patent/JPH0795584A/ja active Pending
- 1994-07-29 US US08/283,241 patent/US5479212A/en not_active Expired - Fee Related
- 1994-08-01 EP EP94305705A patent/EP0637175A3/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100538023B1 (ko) * | 1996-12-27 | 2006-03-27 | 오끼 덴끼 고오교 가부시끼가이샤 | 화상 부호화장치 |
| KR100670220B1 (ko) * | 1997-06-16 | 2007-07-06 | 오끼 덴끼 고오교 가부시끼가이샤 | 부호화장치,복호화장치및전송시스템 |
| JP2002335530A (ja) * | 2001-05-10 | 2002-11-22 | Sony Corp | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0637175A3 (en) | 1996-02-28 |
| US5479212A (en) | 1995-12-26 |
| EP0637175A2 (en) | 1995-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0795584A (ja) | 画像符号化装置 | |
| JP4603695B2 (ja) | 映像コーディング | |
| JP3365771B2 (ja) | ビデオ信号圧縮装置 | |
| KR100945546B1 (ko) | 동적 필터 부호화 | |
| US6744924B1 (en) | Error concealment in a video signal | |
| US20070291131A1 (en) | Apparatus and Method for Controlling Image Coding Mode | |
| JPH0686262A (ja) | 画像符号化装置 | |
| KR19980080602A (ko) | 동화상 신호의 부호화 방법 및 장치와, 동화상 신호의 복호화방법 및 장치 | |
| KR20060027779A (ko) | 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치 | |
| JP3651706B2 (ja) | 動画像符号化装置 | |
| US6526100B1 (en) | Method for transmitting video images, a data transmission system and a multimedia terminal | |
| EP1301038A1 (en) | Multimedia communication terminal | |
| KR20050085730A (ko) | 탄력 저장 | |
| JP3194317B2 (ja) | 画像信号用可変レート符号化装置 | |
| US20020097797A1 (en) | Method and apparatus for decoding picture signal at variable picture rate | |
| JPH06350995A (ja) | 動画像処理方法 | |
| JP4240200B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
| JP3483806B2 (ja) | 動画像信号の符号化装置及び符号化方法 | |
| JP3432886B2 (ja) | 階層符号化／復号化装置及び方法及び送受信方式 | |
| JPH07193821A (ja) | 動画像符号化装置および方法 | |
| JPH08154250A (ja) | 動画像符号化装置 | |
| JPH04326690A (ja) | 動画像符号化復号化装置 | |
| JPH0884329A (ja) | 画像通信端末装置 | |
| KR100213283B1 (ko) | 동영상 부호화기 | |
| KR100397133B1 (ko) | 영상 데이터 압축 전송 시스템 및 그 방법 |