JPH10145794A - 画像符号化方法及び画像符号化装置 - Google Patents
画像符号化方法及び画像符号化装置Info
- Publication number
- JPH10145794A JPH10145794A JP29858596A JP29858596A JPH10145794A JP H10145794 A JPH10145794 A JP H10145794A JP 29858596 A JP29858596 A JP 29858596A JP 29858596 A JP29858596 A JP 29858596A JP H10145794 A JPH10145794 A JP H10145794A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sum
- divided
- frame
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 デマンドリフレッシュのために符号量を徒に
増加させない。 【解決手段】 動画像１フレームをある大きさの領域に
分割して符号化、伝送し、受信側で動画像符号化データ
を復号して誤りが生じている場合、そのことを送信側に
通知し、通知された送信側よりその誤りの影響のないリ
フレッシユ画像を符号化して伝送する画像符号化方法に
関する。そして、受信側から誤り通知を伝送された場合
に、送信側ではそれまでに変化の大きかった画像の分割
領域を推定して、その分割領域をリフレッシュして符号
化し伝送することを特徴とする。
増加させない。 【解決手段】 動画像１フレームをある大きさの領域に
分割して符号化、伝送し、受信側で動画像符号化データ
を復号して誤りが生じている場合、そのことを送信側に
通知し、通知された送信側よりその誤りの影響のないリ
フレッシユ画像を符号化して伝送する画像符号化方法に
関する。そして、受信側から誤り通知を伝送された場合
に、送信側ではそれまでに変化の大きかった画像の分割
領域を推定して、その分割領域をリフレッシュして符号
化し伝送することを特徴とする。
Description
【０００１】
【発明の属する技術分野】本発明は画像符号化方法及び
画像符号化装置に関し、特に、復号エラーが複数枚の連
続画像に影響を与えることを防止するためのリフレッシ
ュ機能の改良に関する。
画像符号化装置に関し、特に、復号エラーが複数枚の連
続画像に影響を与えることを防止するためのリフレッシ
ュ機能の改良に関する。
【０００２】
文献１『ＴＴＣ標準（高位レイヤプロトコル符号化方
式）ＪＴ‐Ｈ．２６１勧告』 デジタル通信において、膨大な情報量を持つ動画像デー
タを送信しようとする場合には、動画像データは情報圧
縮が施されて冗長性を削られる。一般に、標準化になっ
ている動画像符号化方式（例えば、文献１参照）におい
ては、時間的に前のフレームから予測画像を作りその差
分を符号化（以下、フレーム間符号化又はＩＮＴＥＲモ
ード符号化と呼ぶ）して時間方向の冗長度を削減した
り、あるいは、前後するフレーム間の差分をとらずに符
号化対象画像に直交変換を施して符号化（以下、フレー
ム内符号化又はＩＮＴＲＡモード符号化と呼ぶ）するこ
とにより空間方向の冗長度を削減したりする圧縮方法を
併用している。
式）ＪＴ‐Ｈ．２６１勧告』 デジタル通信において、膨大な情報量を持つ動画像デー
タを送信しようとする場合には、動画像データは情報圧
縮が施されて冗長性を削られる。一般に、標準化になっ
ている動画像符号化方式（例えば、文献１参照）におい
ては、時間的に前のフレームから予測画像を作りその差
分を符号化（以下、フレーム間符号化又はＩＮＴＥＲモ
ード符号化と呼ぶ）して時間方向の冗長度を削減した
り、あるいは、前後するフレーム間の差分をとらずに符
号化対象画像に直交変換を施して符号化（以下、フレー
ム内符号化又はＩＮＴＲＡモード符号化と呼ぶ）するこ
とにより空間方向の冗長度を削減したりする圧縮方法を
併用している。
【０００３】このように符号化された動画像圧縮データ
に誤りが生じた場合には、画像が大きく歪み、ＩＮＴＥ
Ｒモードでは、時間的に前のフレームとの差分を符号化
しているので後のフレームに歪みがそのまま伝搬してい
く。
に誤りが生じた場合には、画像が大きく歪み、ＩＮＴＥ
Ｒモードでは、時間的に前のフレームとの差分を符号化
しているので後のフレームに歪みがそのまま伝搬してい
く。
【０００４】多地点会議システムのような双方向の通信
が可能なシステムにおいて、このような誤りに対処する
ため、「画面更新要求」という機能が準備されている
（文献１参照）。受信側で誤りが検出されると、送信側
に対して画面更新要求信号を伝送し、送信側ではその画
面更新要求信号を受け取ると、その符号化装置は次の画
面１フレームを強制的にＩＮＴＲＡモードで符号化して
伝送する。ＩＮＴＲＡモードで符号化を行なうと前のフ
レームの歪みの影響を受けることはない。
が可能なシステムにおいて、このような誤りに対処する
ため、「画面更新要求」という機能が準備されている
（文献１参照）。受信側で誤りが検出されると、送信側
に対して画面更新要求信号を伝送し、送信側ではその画
面更新要求信号を受け取ると、その符号化装置は次の画
面１フレームを強制的にＩＮＴＲＡモードで符号化して
伝送する。ＩＮＴＲＡモードで符号化を行なうと前のフ
レームの歪みの影響を受けることはない。
【０００５】以下では、前のフレームの歪みの影響を受
けないような符号化方式で画像１フレーム全体又は一部
分を符号化し（文献１の符号化方式では、画像ｌフレー
ム全体又は一部分を強制的にＩＮＴＲＡモードで符号化
することに相当）伝送することを、リフレッシュすると
呼び、リフレッシユされた画像のことをリフレッシュ画
像と呼ぶことにする。受信側から更新要求の信号を伝送
し、それに対応して送信側からリフレッシュ画像を伝送
することをデマンドリフレッシュと呼ぶ。
けないような符号化方式で画像１フレーム全体又は一部
分を符号化し（文献１の符号化方式では、画像ｌフレー
ム全体又は一部分を強制的にＩＮＴＲＡモードで符号化
することに相当）伝送することを、リフレッシュすると
呼び、リフレッシユされた画像のことをリフレッシュ画
像と呼ぶことにする。受信側から更新要求の信号を伝送
し、それに対応して送信側からリフレッシュ画像を伝送
することをデマンドリフレッシュと呼ぶ。
【０００６】図２は、デマンドリフレッシュ方式を説明
する図である。左から右に向かって時間がながれている
とし、送信側では画像１フレームずつ符号化して受信側
に伝送する。図中の斜線で塗られている四角の面積によ
って、送信される画像１フレーム当りの符号量を表して
いる。一般に、ＩＮＴＲＡモードのみで符号化する場合
はＩＮＴＥＲモードを含んで符号化する場合よりも符号
量が多くなる。例えば、３フレーム目を復号しようとす
るときに誤りが検出されたとすると、受信側は送信側に
向かって画面更新要求信号を伝送する。送信側は、画面
更新要求信号を受け取ると、次に伝送する画像フレーム
（６フレーム目）を強制的にＩＮＴＲＡモードで符号化
する。画像全体をＩＮＴＲＡモードで符号化するので、
符号量が膨大に増えることになる。
する図である。左から右に向かって時間がながれている
とし、送信側では画像１フレームずつ符号化して受信側
に伝送する。図中の斜線で塗られている四角の面積によ
って、送信される画像１フレーム当りの符号量を表して
いる。一般に、ＩＮＴＲＡモードのみで符号化する場合
はＩＮＴＥＲモードを含んで符号化する場合よりも符号
量が多くなる。例えば、３フレーム目を復号しようとす
るときに誤りが検出されたとすると、受信側は送信側に
向かって画面更新要求信号を伝送する。送信側は、画面
更新要求信号を受け取ると、次に伝送する画像フレーム
（６フレーム目）を強制的にＩＮＴＲＡモードで符号化
する。画像全体をＩＮＴＲＡモードで符号化するので、
符号量が膨大に増えることになる。
【０００７】
【発明が解決しようとする課題】一般に、ＩＮＴＥＲモ
ードで符号化した場合と比べると、ＩＮＴＲＡモードで
符号化した場合、符号量が著しく増加する。誤りによる
画像の歪み及びその時間方向への伝搬を、文献１で用意
されている画面更新要求機能を用いて回復していこうと
する場合、画面１フレーム分を全てＩＮＴＲＡモードで
伝送しなければならず、符号量が大幅に増えることにな
る。ＩＮＴＲＡモード符号化の符号量の増加によるバッ
ファのオーバーフローを避けるように符号化パラメータ
を変化させると、量子化が粗くなってブロック歪みなど
の画像の劣化が生じるといった課題がある。
ードで符号化した場合と比べると、ＩＮＴＲＡモードで
符号化した場合、符号量が著しく増加する。誤りによる
画像の歪み及びその時間方向への伝搬を、文献１で用意
されている画面更新要求機能を用いて回復していこうと
する場合、画面１フレーム分を全てＩＮＴＲＡモードで
伝送しなければならず、符号量が大幅に増えることにな
る。ＩＮＴＲＡモード符号化の符号量の増加によるバッ
ファのオーバーフローを避けるように符号化パラメータ
を変化させると、量子化が粗くなってブロック歪みなど
の画像の劣化が生じるといった課題がある。
【０００８】
【課題を解決するための手段】かかる課題を解決するた
め、第１の本発明は、動画像１フレームをある大きさの
領域に分割して符号化、伝送し、受信側で動画像符号化
データを復号して誤りが生じている場合、そのことを送
信側に通知し、通知された送信側よりその誤りの影響の
ないリフレッシユ画像を符号化して伝送する画像符号化
方法において、受信側から誤り通知が伝送された場合
に、送信側ではそれまでに変化の大きかった画像の分割
領域を推定して、その分割領域をリフレッシュして符号
化し伝送することを特徴とする。
め、第１の本発明は、動画像１フレームをある大きさの
領域に分割して符号化、伝送し、受信側で動画像符号化
データを復号して誤りが生じている場合、そのことを送
信側に通知し、通知された送信側よりその誤りの影響の
ないリフレッシユ画像を符号化して伝送する画像符号化
方法において、受信側から誤り通知が伝送された場合
に、送信側ではそれまでに変化の大きかった画像の分割
領域を推定して、その分割領域をリフレッシュして符号
化し伝送することを特徴とする。
【０００９】また、第２の本発明は、動画像１フレーム
をある大きさの領域に分割して符号化、伝送し、受信側
から、動画像符号化データを復号して誤りが生じている
ことを通知されたときに、その誤りの影響のないリフレ
ッシユ画像を符号化して伝送する画像符号化装置におい
て、誤り通知が伝送した場合に、それまでに変化の大き
かった画像の分割領域を推定して、その分割領域をリフ
レッシュして符号化し伝送させるリフレッシュ領域決定
手段を有することを特徴とする。
をある大きさの領域に分割して符号化、伝送し、受信側
から、動画像符号化データを復号して誤りが生じている
ことを通知されたときに、その誤りの影響のないリフレ
ッシユ画像を符号化して伝送する画像符号化装置におい
て、誤り通知が伝送した場合に、それまでに変化の大き
かった画像の分割領域を推定して、その分割領域をリフ
レッシュして符号化し伝送させるリフレッシュ領域決定
手段を有することを特徴とする。
【００１０】第１及び第２の本発明においては、画像内
容の時間変化の特徴に基いて、デマンドリフレッシュ対
象の分割領域を決定するようにしたので、復号できない
場合に画質劣化が著しい分割領域について、伝送でデー
タ誤りやデータ欠落が生じても、そのことの通知に基づ
くリフレッシュにより画質劣化を迅速に回復できるよう
になり、また、伝送効率をリフレッシュのためにほとん
ど低下させることもない。
容の時間変化の特徴に基いて、デマンドリフレッシュ対
象の分割領域を決定するようにしたので、復号できない
場合に画質劣化が著しい分割領域について、伝送でデー
タ誤りやデータ欠落が生じても、そのことの通知に基づ
くリフレッシュにより画質劣化を迅速に回復できるよう
になり、また、伝送効率をリフレッシュのためにほとん
ど低下させることもない。
【００１１】
（Ａ）第１の実施形態 以下、本発明による画像符号化方法及び画像符号化装置
の第１の実施形態を図面を参照しながら詳述する。
の第１の実施形態を図面を参照しながら詳述する。
【００１２】第１の実施形態におけるデマンドリフレッ
シュ方法と従来のデマンドリフレッシュ方法の異なる点
は、従来の方法では、受信側の誤りの情報として画面更
新要求信号を受け取ると、１フレーム全体をＩＮＴＲＡ
ヘモードで符号化しているのに対して、第１の実施形態
では、図３の下段斜線部に示すように、ＩＮＴＲＡモー
ドで符号化する画像部分をうまく選択して符号量の増加
が著しくならないようにすることである。第１の実施形
態は従来の方法と同様に受信側で受け取った画像データ
に誤りを検出した場合には、画面更新要求信号を送信側
に伝送する。
シュ方法と従来のデマンドリフレッシュ方法の異なる点
は、従来の方法では、受信側の誤りの情報として画面更
新要求信号を受け取ると、１フレーム全体をＩＮＴＲＡ
ヘモードで符号化しているのに対して、第１の実施形態
では、図３の下段斜線部に示すように、ＩＮＴＲＡモー
ドで符号化する画像部分をうまく選択して符号量の増加
が著しくならないようにすることである。第１の実施形
態は従来の方法と同様に受信側で受け取った画像データ
に誤りを検出した場合には、画面更新要求信号を送信側
に伝送する。
【００１３】まず、ＩＮＴＥＲモードで符号化されてい
る場合、誤り検出されたときには、どのように誤りが後
続するフレームに伝搬するかを説明する。例えば、図３
の上段の２フレーム目で点線で囲まれた部分が誤り検出
されて復号することができない場合、前のフレームの同
じ部分で補われる。その部分の画像が動き（変化）の大
きい場合には、図３のように大きく歪み、後続するフレ
ーム（上段３フレーム目）にまで伝搬する。このような
部分は受信側からの画面更新要求信号を送信側で受け取
ったときにＩＮＴＲＡモードで符号化しなければ歪みが
消えない部分である。
る場合、誤り検出されたときには、どのように誤りが後
続するフレームに伝搬するかを説明する。例えば、図３
の上段の２フレーム目で点線で囲まれた部分が誤り検出
されて復号することができない場合、前のフレームの同
じ部分で補われる。その部分の画像が動き（変化）の大
きい場合には、図３のように大きく歪み、後続するフレ
ーム（上段３フレーム目）にまで伝搬する。このような
部分は受信側からの画面更新要求信号を送信側で受け取
ったときにＩＮＴＲＡモードで符号化しなければ歪みが
消えない部分である。
【００１４】逆に考えると、背景などの動き（変化）の
ない部分は画像の歪みが非常に小さく、歪み伝搬も少な
いので、送信側で画面更新要求信号を受け取ったとして
も、強制的に、符号量が増加してしまうＩＮＴＲＡモー
ドで符号化（リフレッシュ）する必要はない。従って、
受信側からの誤り情報として画面更新要求信号を送信側
で受け取ったときには、動き（変化）の大きい画像部分
だけをリフレッシュ（ＩＮＴＲＡモードで符号化）すれ
ば良いことになる。
ない部分は画像の歪みが非常に小さく、歪み伝搬も少な
いので、送信側で画面更新要求信号を受け取ったとして
も、強制的に、符号量が増加してしまうＩＮＴＲＡモー
ドで符号化（リフレッシュ）する必要はない。従って、
受信側からの誤り情報として画面更新要求信号を送信側
で受け取ったときには、動き（変化）の大きい画像部分
だけをリフレッシュ（ＩＮＴＲＡモードで符号化）すれ
ば良いことになる。
【００１５】そこで、この第１の実施形態では、符号化
側において、伝送するフレームの各々の画像部分が動き
（変化）があるか否かの情報を残しておいて、画像更新
要求信号を受け取ったときには、動きのあった画像部分
のみをリフレッシュすることとした。
側において、伝送するフレームの各々の画像部分が動き
（変化）があるか否かの情報を残しておいて、画像更新
要求信号を受け取ったときには、動きのあった画像部分
のみをリフレッシュすることとした。
【００１６】図１は、第１の実施形態の画像符号化装置
（動画像符号器）の構成を示すブロック図である。
（動画像符号器）の構成を示すブロック図である。
【００１７】図１において、第１の実施形態の画像符号
化装置は、情報源符号器１０１、ビデオ信号多重化符号
器１０２、送信バッファ１０３、伝送路符号器１０４、
符号化制御部１０５及びＳＡＤメモリ１０６を備えてい
る。なお、点線部分で囲まれている情報源符号器１０
１、ビデオ信号多重化符号器１０２、送信バッファ１０
３、伝送路符号器１０４及び符号化制御部１０５の部分
は、上記文献１で規定されている符号化器と同じであ
る。
化装置は、情報源符号器１０１、ビデオ信号多重化符号
器１０２、送信バッファ１０３、伝送路符号器１０４、
符号化制御部１０５及びＳＡＤメモリ１０６を備えてい
る。なお、点線部分で囲まれている情報源符号器１０
１、ビデオ信号多重化符号器１０２、送信バッファ１０
３、伝送路符号器１０４及び符号化制御部１０５の部分
は、上記文献１で規定されている符号化器と同じであ
る。
【００１８】画像符号化装置に入力される動画像の原デ
ータであるビデオ信号は、世界共通の中間フォーマット
（ＣＩＦ，ＱＣＩＦ）で表されており、この動画像デー
タを符号化する場合には、図４のように、ＧＯＢ（グル
ープオブブロック；ｇｒｏｕｐ ｏｆ ｂｌｏｃｋ）、
マクロブロック（Ｍａｃｒｏｂｌｏｃｋ）、８×８画素
のブロック（Ｂｌｏｃｋ）に階層的に分割する。図４に
おいて、ピックチャー（Ｐｉｃｔｕｒｅ）の中の番号
（ＣｌＦ：１〜１２、ＱＣｌＦ：１，３，５）はＧＯＢ
番号、ＧＯＢの中の番号（１〜３３）はマクロブロック
アドレス、マクロブロックの中の番号（１〜６）はブロ
ック番号である。ブロックにおける数字８は、１ブロッ
ク当りの縦横それぞれの画素数である。
ータであるビデオ信号は、世界共通の中間フォーマット
（ＣＩＦ，ＱＣＩＦ）で表されており、この動画像デー
タを符号化する場合には、図４のように、ＧＯＢ（グル
ープオブブロック；ｇｒｏｕｐ ｏｆ ｂｌｏｃｋ）、
マクロブロック（Ｍａｃｒｏｂｌｏｃｋ）、８×８画素
のブロック（Ｂｌｏｃｋ）に階層的に分割する。図４に
おいて、ピックチャー（Ｐｉｃｔｕｒｅ）の中の番号
（ＣｌＦ：１〜１２、ＱＣｌＦ：１，３，５）はＧＯＢ
番号、ＧＯＢの中の番号（１〜３３）はマクロブロック
アドレス、マクロブロックの中の番号（１〜６）はブロ
ック番号である。ブロックにおける数字８は、１ブロッ
ク当りの縦横それぞれの画素数である。
【００１９】符号化では、ビデオ信号を入力とし、情報
源符号器１０１で情報源符号化される。情報源符号器１
０１では、符号化制御部１０５からの出力に従ってマク
ロブロック毎に動き補償フレーム間予測の予測誤差（Ｉ
ＮＴＥＲモードの場合）あるいは原データ（ＩＮＴＲＡ
モードの場合）の直交変換を行ない、量子化する。情報
源符号器１０１より符号化制御部１０５に対して、ＩＮ
ＴＲＡ／ＩＮＴＥＲモードを判定するための情報を出力
する。一般的に、ＩＮＴＲＡ／ＩＮＴＥＲモードを判定
するには予測誤差データと原データの分散値を比較する
ことで行なわれるので、符号化しようとするマクロブロ
ックの予測誤差データ及び原データの分散値を情報源符
号化器１０１から符号化制御部１０５に出力する。この
予測誤差データは、フレーム内の同一位置だけでなく、
ある限定された画素範囲内（例えば、±１５画素）でず
らし、最も差分が小さくなる位置での予測誤差データで
ある。
源符号器１０１で情報源符号化される。情報源符号器１
０１では、符号化制御部１０５からの出力に従ってマク
ロブロック毎に動き補償フレーム間予測の予測誤差（Ｉ
ＮＴＥＲモードの場合）あるいは原データ（ＩＮＴＲＡ
モードの場合）の直交変換を行ない、量子化する。情報
源符号器１０１より符号化制御部１０５に対して、ＩＮ
ＴＲＡ／ＩＮＴＥＲモードを判定するための情報を出力
する。一般的に、ＩＮＴＲＡ／ＩＮＴＥＲモードを判定
するには予測誤差データと原データの分散値を比較する
ことで行なわれるので、符号化しようとするマクロブロ
ックの予測誤差データ及び原データの分散値を情報源符
号化器１０１から符号化制御部１０５に出力する。この
予測誤差データは、フレーム内の同一位置だけでなく、
ある限定された画素範囲内（例えば、±１５画素）でず
らし、最も差分が小さくなる位置での予測誤差データで
ある。
【００２０】量子化されたデータは、ビデオ信号多重化
符号器１０２に入力されて、可変長符号化されてヘッダ
情報の多重化が行なわれる。
符号器１０２に入力されて、可変長符号化されてヘッダ
情報の多重化が行なわれる。
【００２１】ビデオ信号多重化符号器１０２で多重化さ
れたデータは送信バッファ１０３を通って、伝送路符号
器１０４において伝送路符号化されて送信される。伝送
路符号には、例えばＢＣＨ符号等の誤り訂正符号が用い
られる。
れたデータは送信バッファ１０３を通って、伝送路符号
器１０４において伝送路符号化されて送信される。伝送
路符号には、例えばＢＣＨ符号等の誤り訂正符号が用い
られる。
【００２２】送信符号量を制御するために送信バッファ
１０３からバッファの中の状態を符号化制御部１０５に
伝え、符号化制御部１０５は情報源符号器１０１及びビ
デオ信号多重化符号器１０２に対して量子化ステップサ
イズを制御信号として出力する。また、符号化制御部１
０５は、情報源符号器１０１から最小予測誤差データと
原データの分散値を受け取り、制御信号として、符号化
するＩＮＴＲＡ／ＩＮＴＥＲモードの判定結果を出力す
る。動きの大きさの情報は、同一位置のマクロブロック
の誤差データの分散値（ＳＡＤと呼ぶことにする）を用
いる。
１０３からバッファの中の状態を符号化制御部１０５に
伝え、符号化制御部１０５は情報源符号器１０１及びビ
デオ信号多重化符号器１０２に対して量子化ステップサ
イズを制御信号として出力する。また、符号化制御部１
０５は、情報源符号器１０１から最小予測誤差データと
原データの分散値を受け取り、制御信号として、符号化
するＩＮＴＲＡ／ＩＮＴＥＲモードの判定結果を出力す
る。動きの大きさの情報は、同一位置のマクロブロック
の誤差データの分散値（ＳＡＤと呼ぶことにする）を用
いる。
【００２３】第１の実施形態では符号化された画像のＳ
ＡＤを、最小予測誤差データの分散値及び原データの分
散値とともに、情報源符号器１０１から符号化制御部１
０５に出力し、さらに符号化制御部１０５はＳＡＤメモ
リ１０６に受け取ったＳＡＤを記憶しておく。
ＡＤを、最小予測誤差データの分散値及び原データの分
散値とともに、情報源符号器１０１から符号化制御部１
０５に出力し、さらに符号化制御部１０５はＳＡＤメモ
リ１０６に受け取ったＳＡＤを記憶しておく。
【００２４】従来においては、画面更新要求信号を受け
取った場合には、その次に符号化する画面ｌフレーム全
てをＩＮＴＲＡモードで符号化する。この第１の実施形
態においては、誤り情報として画面更新要求信号を受け
取った場合には、送信側で各画像部分の動きの大きさに
ついての情報がＳＡＤメモリ１０６に残してあるので、
動きの大きい部分のみを強制的にＩＮＴＲＡモードで符
号化する。画面更新要求信号を受け取った場合、第１の
実施形態では、誤りが発生してから画面更新要求信号を
受け取るまでに符号化された画像及びこれから符号化し
ようとする画像の各マクロブロック毎のＳＡＤの和を求
め、その和があるしきい値よりも大きいマクロブロック
はＩＮＴＲＡモードで符号化（リフレッシュ）するよう
に符号化制御部１０５から情報源符号器１０１に制御信
号を出力する。それ以外のマクロブロックは符号量が小
さくなるように通常のＩＮＴＲＡ／ＩＮＴＥＲモード判
定を行ない、その判定モードで符号化するように符号化
制御部１０５から情報源符号器１０１に制御信号を出力
する。
取った場合には、その次に符号化する画面ｌフレーム全
てをＩＮＴＲＡモードで符号化する。この第１の実施形
態においては、誤り情報として画面更新要求信号を受け
取った場合には、送信側で各画像部分の動きの大きさに
ついての情報がＳＡＤメモリ１０６に残してあるので、
動きの大きい部分のみを強制的にＩＮＴＲＡモードで符
号化する。画面更新要求信号を受け取った場合、第１の
実施形態では、誤りが発生してから画面更新要求信号を
受け取るまでに符号化された画像及びこれから符号化し
ようとする画像の各マクロブロック毎のＳＡＤの和を求
め、その和があるしきい値よりも大きいマクロブロック
はＩＮＴＲＡモードで符号化（リフレッシュ）するよう
に符号化制御部１０５から情報源符号器１０１に制御信
号を出力する。それ以外のマクロブロックは符号量が小
さくなるように通常のＩＮＴＲＡ／ＩＮＴＥＲモード判
定を行ない、その判定モードで符号化するように符号化
制御部１０５から情報源符号器１０１に制御信号を出力
する。
【００２５】図５は、この第１の実施形態におけるデマ
ンドリフレッシュ方法の動作を説明するフローチャート
である。
ンドリフレッシュ方法の動作を説明するフローチャート
である。
【００２６】従来の方法では、画面更新要求信号を送信
側が受け取ったときには、これから符号化しようとする
フレームの全てをＩＮＴＲＡモードで符号化（リフレッ
シユ）するが、第１の実施形態では、ＩＮＴＲＡモード
で符号化する画像部分（マクロブロック）を符号化側で
残しておいた画像の動きの大きさの情報（ＳＡＤ）を用
いることにより決定する。図２のような例の場合、誤り
を検出したフレーム（３フレーム目）から画面更新要求
信号を受け取るまでのフレーム（５フレーム目）の３つ
のフレーム分だけＳＡＤを記憶させておく。このフレー
ム数（３）をＬとおく。ＱＣＩＦの画像サイズの場合、
マクロブロックは９９個あるので、９９×３つだけＳＡ
Ｄを記憶させておかなければならない。１フレーム当り
のマクロブロック総数（９９）をＭＢＫＳとおく。
側が受け取ったときには、これから符号化しようとする
フレームの全てをＩＮＴＲＡモードで符号化（リフレッ
シユ）するが、第１の実施形態では、ＩＮＴＲＡモード
で符号化する画像部分（マクロブロック）を符号化側で
残しておいた画像の動きの大きさの情報（ＳＡＤ）を用
いることにより決定する。図２のような例の場合、誤り
を検出したフレーム（３フレーム目）から画面更新要求
信号を受け取るまでのフレーム（５フレーム目）の３つ
のフレーム分だけＳＡＤを記憶させておく。このフレー
ム数（３）をＬとおく。ＱＣＩＦの画像サイズの場合、
マクロブロックは９９個あるので、９９×３つだけＳＡ
Ｄを記憶させておかなければならない。１フレーム当り
のマクロブロック総数（９９）をＭＢＫＳとおく。
【００２７】次に、図５のフローチャートに従って、第
１の実施形態におけるデマンドリフレッシュ方法の動作
を説明する。図５は、ｌフレーム分を処理する符号化側
での動作であり、主に図１の符号化制御部１０５の動作
を表している。
１の実施形態におけるデマンドリフレッシュ方法の動作
を説明する。図５は、ｌフレーム分を処理する符号化側
での動作であり、主に図１の符号化制御部１０５の動作
を表している。
【００２８】まず、ステップＡ１でマクロブロック番号
ＭＢＫを０にセットする。マクロブロック番号ＭＢＫは
処理しようとするマクロブロック番号を表し、０〜ＭＢ
ＫＳ−１の値をとる。
ＭＢＫを０にセットする。マクロブロック番号ＭＢＫは
処理しようとするマクロブロック番号を表し、０〜ＭＢ
ＫＳ−１の値をとる。
【００２９】次に、ステップＡ２で符号化しようとする
マクロブロック（マクロブロック番号ＭＢＫ）のＳＡＤ
を計算し、ＳＡＤ［Ｌ＋１］［ＭＢＫ］に格納する。こ
こでは、同一位置のマクロブロックの誤差データの分散
値をＳＡＤとおく。
マクロブロック（マクロブロック番号ＭＢＫ）のＳＡＤ
を計算し、ＳＡＤ［Ｌ＋１］［ＭＢＫ］に格納する。こ
こでは、同一位置のマクロブロックの誤差データの分散
値をＳＡＤとおく。
【００３０】続いて、ステップＡ３で画面更新要求信号
を受け取ったか否かを判定する。画面更新要求信号は、
１フレーム分の処理と次の１フレーム分の処理との間に
届くものとする。すなわち、フローチャートの「スター
ト」時に画面更新要求信号を受け取ったか否かは既に分
かっているものとする。
を受け取ったか否かを判定する。画面更新要求信号は、
１フレーム分の処理と次の１フレーム分の処理との間に
届くものとする。すなわち、フローチャートの「スター
ト」時に画面更新要求信号を受け取ったか否かは既に分
かっているものとする。
【００３１】画面更新要求信号を受け取った場合には、
１フレーム分の処理をしている間（すなわちフローチャ
ートで「エンド」にくるまでの間）は、ステップＡ３で
ＹＥＳの方に進み、画面更新要求信号を受け取らない場
合には、１フレーム分の処理をしている間（すなわちフ
ローチャートで「エンド」にくるまでの間）は、ステッ
プＡ３でＮＯの方に進む。
１フレーム分の処理をしている間（すなわちフローチャ
ートで「エンド」にくるまでの間）は、ステップＡ３で
ＹＥＳの方に進み、画面更新要求信号を受け取らない場
合には、１フレーム分の処理をしている間（すなわちフ
ローチャートで「エンド」にくるまでの間）は、ステッ
プＡ３でＮＯの方に進む。
【００３２】ステップＡ３でＹＥＳだった場合には、ス
テップＡ４に進み、ＳＡＤ総和パラメータＤＥＦを０
に、フレーム数パラメータＦＲをＬ＋１にセットする。
ＳＡＤ総和パラメータＤＥＦは、マクロブロック番号Ｍ
ＢＫの誤りにより歪んだフレーム（図２では、３フレー
ム目から５フレーム目まで）のＳＡＤ及びこれから符号
化しようとするフレームのＳＡＤの総和である。すなわ
ち、ステップＡ６及びＡ７を、ステップＡ５で、フレー
ム数パラメータＦＲが０になるまで繰り返すことによ
り、マクロブロック番号ＭＢＫの誤りにより歪んだフレ
ームのＳＡＤ及びこれから符号化しようとするフレーム
のＳＡＤの総和を求める。
テップＡ４に進み、ＳＡＤ総和パラメータＤＥＦを０
に、フレーム数パラメータＦＲをＬ＋１にセットする。
ＳＡＤ総和パラメータＤＥＦは、マクロブロック番号Ｍ
ＢＫの誤りにより歪んだフレーム（図２では、３フレー
ム目から５フレーム目まで）のＳＡＤ及びこれから符号
化しようとするフレームのＳＡＤの総和である。すなわ
ち、ステップＡ６及びＡ７を、ステップＡ５で、フレー
ム数パラメータＦＲが０になるまで繰り返すことによ
り、マクロブロック番号ＭＢＫの誤りにより歪んだフレ
ームのＳＡＤ及びこれから符号化しようとするフレーム
のＳＡＤの総和を求める。
【００３３】ステップＡ４〜Ａ７の処理によりで求めた
ＳＡＤ総和パラメータＤＥＦを、前もって決定した閾値
αと比較し（ステップＡ８）、ＳＡＤ総和パラメータＤ
ＥＦの方が閾値αよりも大きいならば、マクロブロック
番号ＭＢＫのマクロブロックをリフレッシュするマクロ
ブロックとしてＩＮＴＲＡモードで符号化する（ステッ
プＡ９）。
ＳＡＤ総和パラメータＤＥＦを、前もって決定した閾値
αと比較し（ステップＡ８）、ＳＡＤ総和パラメータＤ
ＥＦの方が閾値αよりも大きいならば、マクロブロック
番号ＭＢＫのマクロブロックをリフレッシュするマクロ
ブロックとしてＩＮＴＲＡモードで符号化する（ステッ
プＡ９）。
【００３４】ステップＡ３でＮＯだった場合には通常の
モード判定（分散によるモード判定）を行ない、判定モ
ードでマクロブロック番号ＭＢＫのマクロブロックを符
号化する（ステップＡ１０）。また、ステップＡ８でＳ
ＡＤ総和パラメータＤＥＦが閾値αよりも小さい場合
も、同様に、通常のモード判定を行ない、判定モードで
マクロブロック番号ＭＢＫのマクロブロックを符号化す
る（ステップＡ１０）。
モード判定（分散によるモード判定）を行ない、判定モ
ードでマクロブロック番号ＭＢＫのマクロブロックを符
号化する（ステップＡ１０）。また、ステップＡ８でＳ
ＡＤ総和パラメータＤＥＦが閾値αよりも小さい場合
も、同様に、通常のモード判定を行ない、判定モードで
マクロブロック番号ＭＢＫのマクロブロックを符号化す
る（ステップＡ１０）。
【００３５】そして、ステップＡ１１で、マクロブロッ
ク番号ＭＢＫを１だけ増やして、次のマクロブロックの
処理に移る準備をする。ここで、マクロブロック番号Ｍ
ＢＫがＭＢＫＳ−１以下ならば（ステップＡ１２でＮＯ
の場合）、ステップＡ２に戻る。
ク番号ＭＢＫを１だけ増やして、次のマクロブロックの
処理に移る準備をする。ここで、マクロブロック番号Ｍ
ＢＫがＭＢＫＳ−１以下ならば（ステップＡ１２でＮＯ
の場合）、ステップＡ２に戻る。
【００３６】ステップＡ１２でＹＥＳであった場合に
は、全てのフレームＦＲ（ＦＲ＝１、２、…、Ｌ）の全
てのマクロブロックＭＢＫ（ＭＢＫ＝１、２、…、ＭＢ
ＫＳ−１）に対して、そのＳＡＤ［ＦＲ］［ＭＢＫ］
に、次のフレームＦＲ＋１でのＳＡＤ［ＦＲ＋１］［Ｍ
ＢＫ］を代入する。この処理により、例えば、ＳＡＤメ
モリ１０６に残されていた一番古いフレームのＳＡＤ
（代入する前のＳＡＤ［０］ＭＢＫ］）は、その次に古
いフレームのＳＡＤ（代入する前のＳＡＤ［１］［ＭＢ
Ｋ］）に置き換えられることになる。ステップＡ１２の
処理は、現在のフレームＬ＋１を含めたＬ個のフレーム
のＳＡＤを用意しておく処理である。そして、ｌフレー
ム分の処理を終了する。
は、全てのフレームＦＲ（ＦＲ＝１、２、…、Ｌ）の全
てのマクロブロックＭＢＫ（ＭＢＫ＝１、２、…、ＭＢ
ＫＳ−１）に対して、そのＳＡＤ［ＦＲ］［ＭＢＫ］
に、次のフレームＦＲ＋１でのＳＡＤ［ＦＲ＋１］［Ｍ
ＢＫ］を代入する。この処理により、例えば、ＳＡＤメ
モリ１０６に残されていた一番古いフレームのＳＡＤ
（代入する前のＳＡＤ［０］ＭＢＫ］）は、その次に古
いフレームのＳＡＤ（代入する前のＳＡＤ［１］［ＭＢ
Ｋ］）に置き換えられることになる。ステップＡ１２の
処理は、現在のフレームＬ＋１を含めたＬ個のフレーム
のＳＡＤを用意しておく処理である。そして、ｌフレー
ム分の処理を終了する。
【００３７】以上のように、第１の実施形態によれば、
送信側で誤り位置情報を受け取ったときには、画像１フ
レーム分全てをＩＮＴＲＡモードで必ずしも伝送する必
要はなく、誤りによる画像の歪みから回復するために伝
送する符号量を減少させることができる。符号量を減少
できることにより、量子化をより細かくすることがで
き、ブロック歪みなどの画像の劣化を減少させることが
できる。
送信側で誤り位置情報を受け取ったときには、画像１フ
レーム分全てをＩＮＴＲＡモードで必ずしも伝送する必
要はなく、誤りによる画像の歪みから回復するために伝
送する符号量を減少させることができる。符号量を減少
できることにより、量子化をより細かくすることがで
き、ブロック歪みなどの画像の劣化を減少させることが
できる。
【００３８】（Ｂ）第２の実施形態 次に、本発明による画像符号化方法及び画像符号化装置
の第２の実施形態を図面を参照しながら詳述する。
の第２の実施形態を図面を参照しながら詳述する。
【００３９】第２の実施形態の画像符号化装置は、第１
の実施形態とほぼ同様なものであって、第１の実施形態
と同様に、ＳＡＤを計算することによってリフレッシュ
する部分を決定するものである。
の実施形態とほぼ同様なものであって、第１の実施形態
と同様に、ＳＡＤを計算することによってリフレッシュ
する部分を決定するものである。
【００４０】図６は、第２の実施形態の画像符号化装置
（動画像符号器）の構成を示すブロック図であり、上述
した図１との同一、対応部分には、同一符号を付して示
している。
（動画像符号器）の構成を示すブロック図であり、上述
した図１との同一、対応部分には、同一符号を付して示
している。
【００４１】図６及び図１の比較から明らかなように、
第ｌの実施形態のＳＡＤメモリ１０６に代えて、動きフ
ラグメモリ２０６を備えている点が第１の実施形態と異
なっている。すなわち、第１の実施形態では符号化した
ＳＡＤそのものを符号化側のＳＡＤメモリ１０６で残し
ておいたが、第２の実施形態では、動きフラグメモリ２
０６にＳＡＤから求めた動きフラグを格納している。そ
して、第２の実施形態では、画面更新要求信号を受け取
った場合には、動きフラグメモリ２０６に格納されてい
るデータを参照することにより、符号化しようとする画
像部分（マクロブロック）を強制的にＩＮＴＲＡモード
で符号化するか否かを決定するようにしている。
第ｌの実施形態のＳＡＤメモリ１０６に代えて、動きフ
ラグメモリ２０６を備えている点が第１の実施形態と異
なっている。すなわち、第１の実施形態では符号化した
ＳＡＤそのものを符号化側のＳＡＤメモリ１０６で残し
ておいたが、第２の実施形態では、動きフラグメモリ２
０６にＳＡＤから求めた動きフラグを格納している。そ
して、第２の実施形態では、画面更新要求信号を受け取
った場合には、動きフラグメモリ２０６に格納されてい
るデータを参照することにより、符号化しようとする画
像部分（マクロブロック）を強制的にＩＮＴＲＡモード
で符号化するか否かを決定するようにしている。
【００４２】図７は、第２の実施形態におけるデマンド
リフレッシュ方法の動作を説明するフローチャートであ
る。第２の実施形態は、第１の実施形態とほぼ同様なも
のでであるが、上述したように、符号化側で記憶させて
おく値の計算方法が若干異なっている。第１の実施形態
では、ＩＮＴＲＡモードで符号化する画像部分（マクロ
ブロック）を符号化側で残しておいた画像の動きの大き
さの情報ＳＡＤを用いることにより決定するが、第２の
実施形態では、ＳＡＤの代わりにＳＡＤと前もって決定
しておいた閾値βとの比較結果、すなわちＳＡＤ＞βな
らば１、そうでなければ０という値を動きフラグとして
残しておいて、それらを用いてＩＮＴＲＡモードで符号
化する画像部分（マクロプロック）を決定する。
リフレッシュ方法の動作を説明するフローチャートであ
る。第２の実施形態は、第１の実施形態とほぼ同様なも
のでであるが、上述したように、符号化側で記憶させて
おく値の計算方法が若干異なっている。第１の実施形態
では、ＩＮＴＲＡモードで符号化する画像部分（マクロ
ブロック）を符号化側で残しておいた画像の動きの大き
さの情報ＳＡＤを用いることにより決定するが、第２の
実施形態では、ＳＡＤの代わりにＳＡＤと前もって決定
しておいた閾値βとの比較結果、すなわちＳＡＤ＞βな
らば１、そうでなければ０という値を動きフラグとして
残しておいて、それらを用いてＩＮＴＲＡモードで符号
化する画像部分（マクロプロック）を決定する。
【００４３】画面更新要求信号を受け取った場合には、
歪んでいる画像（図２の場合であると３フレーム目から
５フレーム目）及びこれから符号化しようとするフレー
ム（図２の場合６フレーム目）の動きフラグのうち１つ
のフレームでもｌが立っていれば、そのマクロブロック
をリフレッシュ（ＩＮＴＲＡモードで符号化）する。図
２のような例の場合、誤りを検出したフレーム（３フレ
ーム目）から画面更新要求信号を受け取るまでのフレー
ム（５フレーム目）の３つのフレーム分だけ動きフラグ
を記憶させておく。このフレーム数（３）をＬとおく。
ＱＣＩＦの画像サイズの場合、マクロブロックは９９個
あるので、９９×３つだけ動きフラグを記憶させてお
く。１フレーム当たりのマクロブロック総数（９９）を
ＭＢＫＳとおく。動きフラグメモリ２０６は、ＭＢＫＳ
×Ｌビットだけの大きさが必要である。
歪んでいる画像（図２の場合であると３フレーム目から
５フレーム目）及びこれから符号化しようとするフレー
ム（図２の場合６フレーム目）の動きフラグのうち１つ
のフレームでもｌが立っていれば、そのマクロブロック
をリフレッシュ（ＩＮＴＲＡモードで符号化）する。図
２のような例の場合、誤りを検出したフレーム（３フレ
ーム目）から画面更新要求信号を受け取るまでのフレー
ム（５フレーム目）の３つのフレーム分だけ動きフラグ
を記憶させておく。このフレーム数（３）をＬとおく。
ＱＣＩＦの画像サイズの場合、マクロブロックは９９個
あるので、９９×３つだけ動きフラグを記憶させてお
く。１フレーム当たりのマクロブロック総数（９９）を
ＭＢＫＳとおく。動きフラグメモリ２０６は、ＭＢＫＳ
×Ｌビットだけの大きさが必要である。
【００４４】以下、図７のフローチャートに従って第２
の実施形態におけるデマンドリフレッシュ方法の動作を
説明する。図７は、第１の実施形態の説明と同様に１フ
レーム分を処理する符号化側での動作であり、主に、第
２の実施形態の符号化制御部１０５の動作を示してい
る。
の実施形態におけるデマンドリフレッシュ方法の動作を
説明する。図７は、第１の実施形態の説明と同様に１フ
レーム分を処理する符号化側での動作であり、主に、第
２の実施形態の符号化制御部１０５の動作を示してい
る。
【００４５】まず、ステップＢ１でマクロブロック番号
ＭＢＫを０にセットする。ここでも、マクロブロック番
号ＭＢＫは処理しようとするマクロブロック番号を表
し、０〜ＭＢＫＳ−１の値をとる。
ＭＢＫを０にセットする。ここでも、マクロブロック番
号ＭＢＫは処理しようとするマクロブロック番号を表
し、０〜ＭＢＫＳ−１の値をとる。
【００４６】次に、ステップＢ２で、符号化しようとす
るマクロブロック（マクロブロック番号ＭＢＫ）のＳＡ
Ｄ（同一位置のマクロブロックの誤差データの分散値）
を計算し、そのＳＡＤが前もって決定しておいた閾値β
より大きいならばＳＡＤ［Ｌ＋１］［ＭＢＫ］に１を格
納し、そうでないのならばＳＡＤ［Ｌ＋１］［ＭＢＫ］
に０を格納する。この０又は１を動きフラグと呼ぶこと
にする。なお、ＳＡＤ［Ｌ＋１］［ＭＢＫ］という表記
は、第１の実施形態と同様であるが、この第２の実施形
態では、このＳＡＤ［Ｌ＋１］［ＭＢＫ］に動きフラグ
が格納されている。
るマクロブロック（マクロブロック番号ＭＢＫ）のＳＡ
Ｄ（同一位置のマクロブロックの誤差データの分散値）
を計算し、そのＳＡＤが前もって決定しておいた閾値β
より大きいならばＳＡＤ［Ｌ＋１］［ＭＢＫ］に１を格
納し、そうでないのならばＳＡＤ［Ｌ＋１］［ＭＢＫ］
に０を格納する。この０又は１を動きフラグと呼ぶこと
にする。なお、ＳＡＤ［Ｌ＋１］［ＭＢＫ］という表記
は、第１の実施形態と同様であるが、この第２の実施形
態では、このＳＡＤ［Ｌ＋１］［ＭＢＫ］に動きフラグ
が格納されている。
【００４７】これ以降の処理は、第１の実施形態とほぼ
同様である。そのため、処理の流れは省略するが、以下
の点が異なっている。異なる点は、画面更新要求信号を
受け取った場合に、ステップＢ４〜Ｂ７の処理により、
複数フレームについて累積される値（動きフラグ総和パ
ラメータＤＥＦ）が動きフラグの値である点と、ステッ
プＢ８で、動きフラグの累積値ＤＥＦを０と比較してい
る点と（従って、複数フレームの中に１個でも動きフラ
グが１のものがあればステップＢ８でＹＥＳが得られ
る）、ステップＢ１３で更新されるＳＡＤ［ＦＲ］［Ｍ
ＢＫ］が動きフラグを格納している点である。
同様である。そのため、処理の流れは省略するが、以下
の点が異なっている。異なる点は、画面更新要求信号を
受け取った場合に、ステップＢ４〜Ｂ７の処理により、
複数フレームについて累積される値（動きフラグ総和パ
ラメータＤＥＦ）が動きフラグの値である点と、ステッ
プＢ８で、動きフラグの累積値ＤＥＦを０と比較してい
る点と（従って、複数フレームの中に１個でも動きフラ
グが１のものがあればステップＢ８でＹＥＳが得られ
る）、ステップＢ１３で更新されるＳＡＤ［ＦＲ］［Ｍ
ＢＫ］が動きフラグを格納している点である。
【００４８】以上のように、第２の実施形態によれば、
送信側で誤り位置情報を受け取ったときには、画像１フ
レーム分全てをＩＮＴＲＡモードで必ずしも伝送する必
要はなく、誤りによる画像の歪みから回復するために伝
送する符号量を減少させることができる。そのために符
号化側で必要なメモリ量は、第２の実施形態では、第１
の実施形態と比較してより少なくすることができる。符
号量を減少できることにより、量子化をより細かくする
ことができ、ブロック歪みなどの画像の劣化を減少させ
ることができる。
送信側で誤り位置情報を受け取ったときには、画像１フ
レーム分全てをＩＮＴＲＡモードで必ずしも伝送する必
要はなく、誤りによる画像の歪みから回復するために伝
送する符号量を減少させることができる。そのために符
号化側で必要なメモリ量は、第２の実施形態では、第１
の実施形態と比較してより少なくすることができる。符
号量を減少できることにより、量子化をより細かくする
ことができ、ブロック歪みなどの画像の劣化を減少させ
ることができる。
【００４９】（Ｃ）他の実施形態 第１及び第２の実施形態における符号化方式として、動
き補償、直交変換、量子化をベースとする、文献１で規
定される符号化方式を例に挙げて説明したが、画像フレ
ームの分割や動きベクトルの範囲を含め、本発明が対象
とする符号化方式はこれに限られるものではない。
き補償、直交変換、量子化をベースとする、文献１で規
定される符号化方式を例に挙げて説明したが、画像フレ
ームの分割や動きベクトルの範囲を含め、本発明が対象
とする符号化方式はこれに限られるものではない。
【００５０】また、第１及び第２の実施形態において、
リフレッシュする画像単位をマクロブロックとしたが、
これに限られるものではなく、スライス（複数のマクロ
ブロックの集まり）の大きさでも、あるいはもっと小さ
な単位でも適用できる。
リフレッシュする画像単位をマクロブロックとしたが、
これに限られるものではなく、スライス（複数のマクロ
ブロックの集まり）の大きさでも、あるいはもっと小さ
な単位でも適用できる。
【００５１】さらに、第１及び第２の実施形態におい
て、ＳＡＤは同一位置のマクロブロックの誤差データの
分散値としたが、同じ位置の画像がどれだけ変化したか
を表す値であるならば他の計算値でも良く、これに限ら
れるものではない。例えば、各画素毎の絶対値誤差の和
でも良い。
て、ＳＡＤは同一位置のマクロブロックの誤差データの
分散値としたが、同じ位置の画像がどれだけ変化したか
を表す値であるならば他の計算値でも良く、これに限ら
れるものではない。例えば、各画素毎の絶対値誤差の和
でも良い。
【００５２】さらにまた、第１の実施形態において、Ｓ
ＡＤの総和ＤＥＦと閾値を比較してリフレッシュするか
否かを決定していたが、総和ＤＥＦの大きい順番からあ
る決められた数（Ｎ個）のマクロブロックをリフレッシ
ュするという制御規則も適用することができる。例え
ば、符号量がかなり制限される通信路ではＮを小さい値
に設定することで、符号量を抑えてバッファのオーバー
フローを防ぐことができる。
ＡＤの総和ＤＥＦと閾値を比較してリフレッシュするか
否かを決定していたが、総和ＤＥＦの大きい順番からあ
る決められた数（Ｎ個）のマクロブロックをリフレッシ
ュするという制御規則も適用することができる。例え
ば、符号量がかなり制限される通信路ではＮを小さい値
に設定することで、符号量を抑えてバッファのオーバー
フローを防ぐことができる。
【００５３】また、第２の実施形態において、記憶され
ている動きフラグのうち１つでも１がたっているか否か
を判定する際に加算を用いているが（ステップＢ６）、
排他的論理和を用いることもできる。
ている動きフラグのうち１つでも１がたっているか否か
を判定する際に加算を用いているが（ステップＢ６）、
排他的論理和を用いることもできる。
【００５４】さらに、第１及び第２の実施形態におい
て、通信路の誤り状況や、画像の性質によって、閾値
α、βを可変にすることも可能である。
て、通信路の誤り状況や、画像の性質によって、閾値
α、βを可変にすることも可能である。
【００５５】さらにまた、第１及び第２の実施形態にお
いては、総和ＤＥＦが閾値α、０より大きいマクロブロ
ックをリフレッシュ対象としたものを示したが、その周
囲のマクロブロックもリフレッシュ対象とするようにし
ても良い。
いては、総和ＤＥＦが閾値α、０より大きいマクロブロ
ックをリフレッシュ対象としたものを示したが、その周
囲のマクロブロックもリフレッシュ対象とするようにし
ても良い。
【００５６】また、第１及び第２の実施形態において
は、リフレッシュ対象でないことを確認してから、その
マクロブロックをどちらの符号化モードで符号化するか
を決定するものを示したが、逆に、マクロブロックをど
ちらの符号化モードで符号化するかを先に決定し、ＩＮ
ＴＥＲモードで符号化することに決定されたマクロブロ
ックについてリフレッシュ対象か確認するようにしても
良い。
は、リフレッシュ対象でないことを確認してから、その
マクロブロックをどちらの符号化モードで符号化するか
を決定するものを示したが、逆に、マクロブロックをど
ちらの符号化モードで符号化するかを先に決定し、ＩＮ
ＴＥＲモードで符号化することに決定されたマクロブロ
ックについてリフレッシュ対象か確認するようにしても
良い。
【００５７】
【発明の効果】以上のように、本発明の画像符号化装置
及び方法によれば、各分割領域についての画像内容の時
間変化の特徴に基いて、デマンドリフレッシュ対象の分
割領域を決定するようにしたので、復号できない場合に
画質劣化が著しい分割領域について、伝送でデータ誤り
やデータ欠落が生じても、デマンドリフレッシュにより
画質劣化を迅速に回復でき、また、デマンドリフレッシ
ュのために符号量を徒に増加させることもない。
及び方法によれば、各分割領域についての画像内容の時
間変化の特徴に基いて、デマンドリフレッシュ対象の分
割領域を決定するようにしたので、復号できない場合に
画質劣化が著しい分割領域について、伝送でデータ誤り
やデータ欠落が生じても、デマンドリフレッシュにより
画質劣化を迅速に回復でき、また、デマンドリフレッシ
ュのために符号量を徒に増加させることもない。
【図１】第１の実施形態の装置構成を示すブロック図で
ある。
ある。
【図２】デマンドリフレッシュ方法の説明図である。
【図３】第１の実施形態のデマンドリフレッシュの考え
方の説明図である。
方の説明図である。
【図４】画像の分割の説明図である。
【図５】第１の実施形態の送信側でのデマンドリフレッ
シュの処理フローチャートである。
シュの処理フローチャートである。
【図６】第２の実施形態の装置構成を示すブロック図で
ある。
ある。
【図７】第２の実施形態の送信側でのデマンドリフレッ
シュの処理フローチャートである。
シュの処理フローチャートである。
１０１…情報源符号器、１０５…符号化制御部、１０６
…ＳＡＤメモリ、２０６…動きフラグメモリ。
…ＳＡＤメモリ、２０６…動きフラグメモリ。
Claims (12)
- 【請求項１】 動画像１フレームをある大きさの領域に
分割して符号化、伝送し、受信側で動画像符号化データ
を復号して誤りが生じている場合、そのことを送信側に
通知し、通知された送信側よりその誤りの影響のないリ
フレッシユ画像を符号化して伝送する画像符号化方法に
おいて、 受信側から誤り通知が伝送された場合に、送信側ではそ
れまでに変化の大きかった画像の分割領域を推定して、
その分割領域をリフレッシュして符号化し伝送すること
を特徴とする画像符号化方法。 - 【請求項２】 送信側において、誤り通知を受け取るま
で符号化したフレームとその１つ前に符号化したフレー
ムとの同じ分割領域の差分の分散値又は絶対値差分の総
和を記憶させておき、それらの差分分散値又は絶対値差
分総和に基づいて、リフレッシュする分割領域を決定す
ることを特徴とする請求項１に記載の画像符号化方法。 - 【請求項３】 記憶されている差分分散値又は絶対値差
分総和について、各分割領域毎に総和を求め、求めた総
和が閾値以上である分割領域をリフレッシュする分割領
域に決定することを特徴とする請求項２に記載の画像符
号化方法。 - 【請求項４】 記憶させておいた差分分散値又は絶対値
差分総和について、各分割領域毎に総和を求め、その総
和が大きいものからある決められた個数分の分割領域を
リフレッシュする分割領域に決定することを特徴とする
請求項２に記載の画像符号化方法。 - 【請求項５】 送信側において、誤り通知を受け取るま
で符号化したフレームとその１つ前に符号化したフレー
ムとの同じ分割領域の差分の分散値又は絶対値差分の総
和を求め、それらの差分分散値又は絶対値差分総和が閾
値よりも大きいか否かのフラグを記憶させておき、それ
らのフラグに基づいて、リフレッシュする分割領域を決
定することを特徴とする請求項１に記載の画像符号化方
法。 - 【請求項６】 記憶させておいたフラグ値が１個でもセ
ットされている分割領域をリフレッシュする分割領域に
決定することを特徴とする請求項５に記載の画像符号化
方法。 - 【請求項７】 動画像１フレームをある大きさの領域に
分割して符号化、伝送し、受信側から、動画像符号化デ
ータを復号して誤りが生じていることを通知されたとき
に、その誤りの影響のないリフレッシユ画像を符号化し
て伝送する画像符号化装置において、 誤り通知が伝送された場合に、それまでに変化の大きか
った画像の分割領域を推定して、その分割領域をリフレ
ッシュして符号化し伝送させるリフレッシュ領域決定手
段を有することを特徴とする画像符号化装置。 - 【請求項８】 上記リフレッシュ領域決定手段が、 誤り通知を受け取るまで符号化したフレームとその１つ
前に符号化したフレームとの同じ分割領域の差分の分散
値又は絶対値差分の総和を記憶する変化量記憶部と、 それらの差分分散値又は絶対値差分総和に基づいて、リ
フレッシュする分割領域を決定する対象分割領域決定部
とでなることを特徴とする請求項７に記載の画像符号化
装置。 - 【請求項９】 上記対象分割領域決定部が、記憶されて
いる差分分散値又は絶対値差分総和について、各分割領
域毎の総和を求め、求めた総和が閾値以上である分割領
域をリフレッシュする分割領域に決定することを特徴と
する請求項８に記載の画像符号化装置。 - 【請求項１０】 上記対象分割領域決定部が、記憶され
ている差分分散値又は絶対値差分総和について、各分割
領域毎の総和を求め、その総和が大きいものからある決
められた個数分の分割領域をリフレッシュする分割領域
に決定することを特徴とする請求項８に記載の画像符号
化装置。 - 【請求項１１】 上記リフレッシュ領域決定手段が、 誤り通知を受け取るまで符号化したフレームとその１つ
前に符号化したフレームとの同じ分割領域の差分の分散
値又は絶対値差分の総和を求め、それらの差分分散値又
は絶対値差分総和が閾値よりも大きいか否かのフラグを
記憶する変化量記憶部と、 それらのフラグに基づいて、リフレッシュする分割領域
を決定する対象分割領域決定部とでなることを特徴とす
る請求項７に記載の画像符号化装置。 - 【請求項１２】 上記対象分割領域決定部が、記憶され
ているフラグ値が１個でもセットされている分割領域を
リフレッシュする分割領域に決定することを特徴とする
請求項１１に記載の画像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29858596A JPH10145794A (ja) | 1996-11-11 | 1996-11-11 | 画像符号化方法及び画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29858596A JPH10145794A (ja) | 1996-11-11 | 1996-11-11 | 画像符号化方法及び画像符号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10145794A true JPH10145794A (ja) | 1998-05-29 |
Family
ID=17861651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29858596A Pending JPH10145794A (ja) | 1996-11-11 | 1996-11-11 | 画像符号化方法及び画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10145794A (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003533953A (ja) * | 2000-05-15 | 2003-11-11 | ノキア コーポレイション | ビデオ符号化方法 |
| US6859498B1 (en) | 2000-01-27 | 2005-02-22 | Samsung Electronics Co., Ltd. | Transmitting/received data processing method for inhibiting error propagation in digital image data communications system and recording medium therefor |
| US6885704B1 (en) | 1999-07-28 | 2005-04-26 | Matsushita Electric Industrial Co., Ltd. | Coding apparatus and coding method of time-varying image signal |
| JP2010020159A (ja) * | 2008-07-11 | 2010-01-28 | Sony Computer Entertainment Inc | 画面出力コンバータ、ディスプレイ装置、ディスプレイシステム、および画面表示方法 |
| JP2011055219A (ja) * | 2009-09-01 | 2011-03-17 | Sony Corp | 画像送信装置、画像受信装置、画像送信方法及び画像受信方法 |
| GB2495468A (en) * | 2011-09-02 | 2013-04-17 | Skype | Frame Recovery Performed Over a Number of Frames Following a Loss Report |
| US8804836B2 (en) | 2011-08-19 | 2014-08-12 | Skype | Video coding |
| US9036699B2 (en) | 2011-06-24 | 2015-05-19 | Skype | Video coding |
| US9131248B2 (en) | 2011-06-24 | 2015-09-08 | Skype | Video coding |
| US9143806B2 (en) | 2011-06-24 | 2015-09-22 | Skype | Video coding |
| US9338473B2 (en) | 2011-09-02 | 2016-05-10 | Skype | Video coding |
| US9854274B2 (en) | 2011-09-02 | 2017-12-26 | Skype Limited | Video coding |
-
1996
- 1996-11-11 JP JP29858596A patent/JPH10145794A/ja active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6885704B1 (en) | 1999-07-28 | 2005-04-26 | Matsushita Electric Industrial Co., Ltd. | Coding apparatus and coding method of time-varying image signal |
| US6859498B1 (en) | 2000-01-27 | 2005-02-22 | Samsung Electronics Co., Ltd. | Transmitting/received data processing method for inhibiting error propagation in digital image data communications system and recording medium therefor |
| US8144764B2 (en) | 2000-05-15 | 2012-03-27 | Nokia Oy | Video coding |
| JP2003533953A (ja) * | 2000-05-15 | 2003-11-11 | ノキア コーポレイション | ビデオ符号化方法 |
| JP2010020159A (ja) * | 2008-07-11 | 2010-01-28 | Sony Computer Entertainment Inc | 画面出力コンバータ、ディスプレイ装置、ディスプレイシステム、および画面表示方法 |
| JP2011055219A (ja) * | 2009-09-01 | 2011-03-17 | Sony Corp | 画像送信装置、画像受信装置、画像送信方法及び画像受信方法 |
| US9131248B2 (en) | 2011-06-24 | 2015-09-08 | Skype | Video coding |
| US9143806B2 (en) | 2011-06-24 | 2015-09-22 | Skype | Video coding |
| US9036699B2 (en) | 2011-06-24 | 2015-05-19 | Skype | Video coding |
| US8804836B2 (en) | 2011-08-19 | 2014-08-12 | Skype | Video coding |
| US8908761B2 (en) | 2011-09-02 | 2014-12-09 | Skype | Video coding |
| GB2495468A (en) * | 2011-09-02 | 2013-04-17 | Skype | Frame Recovery Performed Over a Number of Frames Following a Loss Report |
| US9307265B2 (en) | 2011-09-02 | 2016-04-05 | Skype | Video coding |
| US9338473B2 (en) | 2011-09-02 | 2016-05-10 | Skype | Video coding |
| GB2495468B (en) * | 2011-09-02 | 2017-12-13 | Skype | Video coding |
| US9854274B2 (en) | 2011-09-02 | 2017-12-26 | Skype Limited | Video coding |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3630474B2 (ja) | 動画像伝送システム及び動画像伝送装置 | |
| EP0933948B1 (en) | Video encoder and video encoding method | |
| JP3659161B2 (ja) | 動画像符号化装置及びそれを用いたテレビ電話端末 | |
| JP5007322B2 (ja) | ビデオ符号化方法 | |
| US8964846B2 (en) | Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program | |
| US6611561B1 (en) | Video coding | |
| JP4537583B2 (ja) | 映像信号のエラー隠蔽 | |
| JPH09121358A (ja) | 画像符号化及び復号化装置と方法 | |
| JP2001169286A (ja) | 動画像符号化装置 | |
| JP3363036B2 (ja) | 動画像符号化ビットストリーム変換装置 | |
| US6795498B1 (en) | Decoding apparatus, decoding method, encoding apparatus, encoding method, image processing system, and image processing method | |
| EP0756803B1 (en) | A transcoder | |
| JPH10145794A (ja) | 画像符号化方法及び画像符号化装置 | |
| JP3408617B2 (ja) | 画像符号化データの同期ワード多重化方式 | |
| JPH1093964A (ja) | 映像信号のエラー隠ぺい装置 | |
| JPH07111654A (ja) | 動画像伝送システム | |
| JPH08126004A (ja) | 画像符号化装置 | |
| JPH09130807A (ja) | 動画像符号化装置および動画像復号化装置 | |
| JPH0937244A (ja) | 動画像データ誤り検出装置 | |
| KR100386374B1 (ko) | 트랜스코더 | |
| KR20040039808A (ko) | 움직임 벡터 예측 방법 | |
| JP2004007736A (ja) | 画像復号化装置、画像復号化方法 | |
| JPH07203448A (ja) | 動画像符号化装置及び方法 | |
| KR20040034188A (ko) | 동영상 디코딩 방법 | |
| KR20050093435A (ko) | 에러 대응 인트라 예측 모드 복호화 방법 |