JP4794711B2

JP4794711B2 - Error concealment control method, encoding apparatus, and image signal transmission system

Info

Publication number: JP4794711B2
Application number: JP25296399A
Authority: JP
Inventors: 真喜子此島
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1999-09-07
Filing date: 1999-09-07
Publication date: 2011-10-19
Anticipated expiration: 2019-09-07
Also published as: JP2001078198A

Description

【０００１】
【発明の属する技術分野】
本発明は、静止画像や動画像等の入力画像信号を予測符号化して伝送し、受信側に於いて予測復号化し、且つエラー発生時にエラー発生部分を隠蔽制御すると共に、再生画像の画質劣化を防止するエラー隠蔽制御方法及び符号化装置及び画像信号伝送システムに関する。
【０００２】
【従来の技術】
図１０は従来例の説明図であり、５１は符号化部、５２は送信部、５３は送信側復号部、５４は送信側予測部、５５，５６は加算器、５７は伝送路、６１は受信側復号部、６２は受信部、６３は受信側予測部、６４はエラー制御部、６５は加算器を示す。
【０００３】
送信側の符号化装置の要部と、伝送路５７と、受信側の復号化装置の要部とを含む画像信号伝送システムを示し、静止画像や動画像等の入力画像信号と、送信側予測部５４からの予測値との差分を加算器５５により求めて符号化部５１に入力する。この符号化部５１は、離散コサイン変換（ＤＣＴ），フレーム間符号化，フレーム内符号化，量子化，可変長符号化等の機能を含み、符号化情報を送信部５２と送信側復号部５３とに入力する。送信側復号部５３による復号情報と送信側予測部５４からの予測値とを加算器５６により加算して、送信側の再生画像とし、次の予測値として送信側予測部５４に保持する。
【０００４】
又送信側予測部５４は、入力画像信号を用いた動き補償や、フレーム内符号化を行ったか否か等の予測情報を送信部５２に入力す。この送信部５２は、符号化部５１からの符号化情報と送信側予測部５４からの予測情報とを多重化して伝送路５７に送出する。更には図示を省略している音声情報やデータ等を多重化する構成とすることもできる。又伝送路５７が有線回線か無線回線等に対応した送信機能，誤り訂正符号化機能，バッファ機能等を含む構成とすることができる。
【０００５】
受信側の復号化装置は、受信部６２により符号化情報と予測情報とを多重分離し、符号化情報を受信側復号部６１に入力し、予測情報を受信側予測部６３に入力する。又受信側復号部６１は、符号化情報を復号し、加算器６５と受信側予測部６３とに入力し、受信側予測部６３は、前回の復号再生画像信号を保持して予測値とし、復号情報と予測情報に従って形成した予測値を加算器６５に入力し、加算出力を復号画像信号として出力する。
【０００６】
伝送路５７に接続された受信部６２は、送信部５２に対応した構成を有し、伝送エラーの検出機能を含むものである。又受信側復号部６１は、可変長符号等に規定外の符号パターン等が含まれている場合に復号エラーを検出するものであり、受信部５２に於けるエラー検出時、又は受信側復号部６１に於けるエラー検出時の復号画像は画質が劣化したものとなるから、これを隠蔽（コンシールメント；ｃｏｎｃｅａｌｍｅｎｔ）する為に、図１０は、エラー制御部６４を設けた場合を示す。このエラー制御部６４は、受信部６２からの伝送エラー検出信号や受信側復号部６１からの復号エラー検出信号等によって、そのエラーを含むブロック単位等の復号画像信号を、エラーを含まない画像信号によって隠蔽する制御を行うものである。
【０００７】
図１１は従来例のエラー発生時の動作説明図であり、エラー有りか否かを判定し（Ｈ１）、エラー有りの場合、即ち、受信部６２に於ける伝送エラー等のエラー検出又は受信側復号部６１に於ける復号エラー等のエラー検出により、１フレーム内のエラー位置Ｅと、復号済みの予測値Ｖとを求める（Ｈ２）。エラー制御部６４は、受信側予測部６３にエラー位置Ｅの１ブロックライン前の予測情報Ｖを用いて予測値を出力するように指示する（Ｈ３）。
【０００８】
次に、エラー制御部６４は、受信側復号部６１に０を出力するように指示する（Ｈ４）。そして、受信側復号部６１と受信側予測部６３との出力を加算器６５に於いて加算し（Ｈ５）、復号画像を出力する（Ｈ６）。又ステップ（Ｈ１）に於いて、エラー無しの判定の場合は、ステップ（Ｈ５），（Ｈ６）により復号画像が得られる。この場合、１画面を複数のブロックに分割して、ブロック対応の符号化や伝送を行うものであり、エラー位置Ｅを含むブロックの１ブロックライン前の予測情報Ｖを用いて予測値を求め、受信側復号部６１からは０を出力するから、エラー位置Ｅを含むブロックは、１ブロックライン前の予測情報Ｖを用いて予測値とした復号画像が出力されることになり、エラーを含むブロックを隠蔽（コンシールメント）することができる。このような制御をエラー制御部６４に於いて行うものである。
【０００９】
前述の図１０に示す従来例の構成は、例えば、ＩＴＵ−ＴＨ．２６３や、ＩＳＯ／ＭＰＥＧ４等の方式として知られている。又図１１に示すエラー隠蔽は、例えば、ＩＴＵ−ＴＳＧ１６ＶｉｄｅｏＣｏｄｅｃＴｅｓｔＭｏｄｅｌ，Ｎｅａｒ−Ｔｅｒｍ，Ｖｅｒｓｉｏｎ９（ＴＭＮ９）に示されている。
【００１０】
又画像信号を受信して復号する場合のエラー隠蔽手段として、データの再送方式と同様にエラー発生のフレーム等を再送する各種の方式が提案されている。例えば、エラーが多い場合或いは重要ブロックとその隣接ブロックのエラーの場合等に於いて、送信側に再送要求を行い、フレーム単位或いはブロック単位で再送を行う方式が知られている。
【００１１】
【発明が解決しようとする課題】
伝送エラーや復号エラーが発生した時に、例えば、図１０及び図１１について説明した従来例では、エラー発生部分を復号画像としないことにより、エラーの隠蔽（コンシールメント）を行うものであるが、その後の受信側予測部６３による予測値と、送信側予測部５４による予測値とは異なったものとなる。従って、エラーの隠蔽を行った後の受信側の復号画像は、送信側と異なる予測値を用いていることにより画質劣化が生じる問題がある。
【００１２】
そこで、エラー情報を送信側に送信し、受信側に於けるエラー隠蔽と同様な処理を送信側に於いても行うようにすることが考えられる。しかし、送信側と受信側との間の伝送路５７等を含む伝送遅延時間の為、送信側に於ける符号化と、受信側に於ける復号化とは異なる画像について処理していることになり、送信側では、エラー情報を受信しても、エラー発生時点の符号化情報は、送信側では過去のものであるから、受信側と同様なエラー隠蔽処理を行うことができないものである。即ち、受信側予測部６３による予測値と送信側予測部５４による予測値とを一致させることができないものである。
【００１３】
又エラーを含む画像部分を再送することが提案されているが、データの再送処理と同様に静止画像についてはエラー発生により再送処理し、受信側で復号することができる。しかし、動画像の場合は、過去の画像から符号化して送信することになり、実際には適用することができない。又静止画像の場合であっても、送信側と受信側との間の伝送路５７が比較的低速の無線回線の場合、再送処理により伝送効率が著しく低下する問題がある。又動画像を低速で伝送する場合、再送処理により駒落とし等が生じることにより、再生画像の画質が一層劣化する問題がある。
本発明は、エラーが発生した場合でも、送信側と受信側との予測値を一致若しくは近似させて復号画像の画質劣化を防止することを目的とする。
【００１４】
【課題を解決するための手段】
本発明のエラー隠蔽制御方法は、（１）送信側は入力画像信号を予測符号化して送信し、受信側は予測復号化して再生画像信号を得ると共に、エラーの有無を判定し、エラー発生検出時にこのエラー発生部分を隠蔽する制御を行うエラー隠蔽制御方法であって、受信側は、エラー発生の検出時に、このエラー発生部分を示すエラー情報を送信側へ送信し、送信側は、受信側との間の一巡伝送遅延時間分の予測符号化に於ける予測情報と符号化部による少なくとも１符号化フレーム分の符号化情報とを記憶し、エラー情報を受信した時に、記憶していた前記１符号化フレーム分の符号化情報と前記予測情報とを基に、前記エラー情報によるエラー発生部分が現時点の予測符号化の予測値に及ぼす影響について判定し、影響が小さい場合は、エラー修正処理を中止し、影響が大きい場合は、記憶していた予測情報と符号化フレームの符号化情報とを用いて、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像を再構成して、現時点の予測値を求め、以後の予測符号化を行う過程を含むものである。
【００１５】
又（２）エラー隠蔽制御方法に於いて、送信側は、エラー情報を基に、エラー発生部分の現時点に於ける符号化フレームに対する移動先を求め、この移動先が分散又は消滅しているか否かを判定し、分散又は消滅している場合は、エラー修正処理を中止し、分散又は消滅していない場合は、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像を再構成して、現時点の予測値を求め、以後の予測符号化を行う過程を含むものである。
【００１６】
又（３）エラー隠蔽制御方法に於いて、送信側は、エラー情報を基に、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像と、エラー隠蔽制御を行わない再生画像とを求めて比較し、差が所定値より小さい場合は、エラー修正処理を中止し、差が所定値より大きい場合は、エラー隠蔽制御による再生画像を基に現時点の予測符号化の予測値を求め、この予測値により以後の予測符号化を行う過程を含むものである。
【００１７】
又（４）エラー隠蔽制御方法に於いて、送信側は、エラー情報を基に、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像と、エラー隠蔽制御を行わない再生画像との画素値の絶対値差分を求め、この絶対値差分が閾値を超えない場合は、エラー修正処理を中止し、閾値を超えた場合は、エラー隠蔽制御による再生画像を基に現時点の予測符号化の予測値を求め、この予測値により以後の予測符号化を行う過程を含むものである。
【００１８】
又（５）本発明の符号化装置は、符号化部と、第１の送信側復号部と、送信側予測部とを含み、入力画像信号を予測符号化する符号化装置であって、受信側からのエラー情報を受信するエラー情報受信部と、このエラー情報受信部で受信したエラー情報を入力するエラー修正部と、送信側と受信側との間の一巡伝送遅延時間分の前記第１の送信側復号部からの予測情報を記憶すると共に、符号化部からの少なくとも１符号化フレーム分の符号化情報を記憶するメモリと、エラー情報に従って受信側の復号再生画像と一致した再生画像を得る為の第２の送信側予測部とを備え、エラー修正部は、エラー情報を基にエラー発生部分が現時点の予測符号化の予測値に影響を及ぼすか否かを、メモリに記憶されている符号化情報及び予測情報を基に判定処理し、影響が大きい場合にエラー発生部分を隠蔽するエラー隠蔽制御による再生画像を、第２の送信側予測部により再構成する制御を行う構成を有するものである。
【００１９】
又（６）符号化装置のエラー修正部は、エラー情報とメモリに記憶された符号化情報と予測情報とを基に、第２の送信側予測部を用いてエラー発生時点の復号画像及びエラー発生時点の１フレーム前の復号画像とを遡って再生し、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像と、エラー隠蔽制御を行わない再生画像とを比較し、差が大きい場合は、エラー隠蔽制御による再生画像を基に現時点の再生画像を再構成し、差が小さい場合は再構成を行わない制御を行う構成を有するものである。
【００２０】
又（７）符号化装置のエラー修正部は、エラー情報とメモリに記憶された符号化情報と予測情報とを基に、エラー発生時点から現時点までのエラー発生部分の移動先を求め、このエラー発生部分の位置の分散を求め、この分散が小さい場合、エラー発生時点の復号画像及びエラー発生時点の１フレーム前の復号画像を遡って再生し、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像の再構成を行い、分散が大きい場合又は消滅した場合は、前記再構成を行わない制御を行う構成を有するものである。
【００２１】
又（８）本発明の画像信号伝送システムは、入力画像信号を予測符号化する符号化装置を有する送信側と、この送信部からの符号化情報を受信して予測復号化する復号化装置を有する受信側とを伝送路を介して接続した画像信号伝送システムであって、受信側の復号化装置は、伝送路に接続された受信部と、予測復号化を行う受信側復号部と、受信側予測部と、受信部及び受信側復号部に於けるエラー検出によりエラー発生部分を隠蔽して復号再生画像の出力制御を行うエラー制御部と、エラー発生部分を示すエラー情報を送信側に送信するエラー情報送信部とを有し、送信側の符号化装置は、伝送路に接続された送信部と、予測符号化を行う符号化部と、送信側復号部と、第１，第２の送信側予測部と、受信部からのエラー情報を受信するエラー情報受信部と、このエラー情報受信部で受信したエラー情報を入力するエラー修正部と、送信側と受信側との間の一巡伝送遅延時間分の第１の送信側復号部からの予測情報を記憶すると共に、符号化部からの少なくとも１符号化フレーム分の符号化情報を記憶するメモリとを有し、エラー修正部は、エラー情報を基にエラー発生部分が現時点の予測符号化の予測値に影響を及ぼすか否かを、メモリに記憶されている符号化情報及び予測情報を基に判定処理し、影響が大きい場合にエラー発生部分を隠蔽するエラー隠蔽制御による再生画像を前記第２の送信側予測部により再構成する制御を行う構成を有するものである。
【００２２】
【発明の実施の形態】
図１は本発明の実施の形態の説明図であり、１は符号化部、２は送信部、３は送信側復号部、４は第１の送信側予測部、５，１３は加算部、６はエラー情報受信部、７はメモリ、８はエラー修正部、９は第２の送信側予測部、１０，１１，１２はセレクタ、１５は下り伝送路、１６は上り伝送路、２１は受信側復号部、２２は受信部、２３は受信側予測部、２４はエラー制御部、２５は加算部、２６はエラー情報送信部であり、画像信号伝送システムの送信側の符号化装置と、伝送路と、受信側の復号化装置との要部を示す。
【００２３】
受信側の復号化装置は、受信部２２と受信側復号部２１と受信側予測部２３とエラー制御部２４と加算部２５とエラー情報送信部２６とを含む構成で、加算部２５からの復号画像信号を図示を省略した液晶パネルやブラウン管等による表示部に入力して、再生画像を表示することができる。又復号再生画像として受信側予測部２３に入力する。又受信部２２は、送信部２の構成に対応した構成を有し、下り伝送路１５を介して受信した符号化情報と予測情報とを分離して、符号化情報を受信側復号部２１に入力し、予測情報を受信側予測部２３に入力する。なお、下り伝送路１５と上り伝送路１６とは、既に知られている各種の構成を適用することができる。
【００２４】
受信側復号部２１は、予測符号化された符号化情報を復号し、加算部２５と受信側予測部２３とに入力する。加算部２５は、受信側復号部２１からの復号情報と受信側予測部２３からの予測値とを加算して、復号再生画像信号として出力する。そして、例えば、前述の表示部に入力する。又この復号再生画像信号を受信側予測部２３に入力して、次の予測値とする。
【００２５】
又受信部２２と受信側復号部２１とに於いてエラーを検出した時、エラー制御部２４に通知し、エラー制御部２４は、従来例と同様にエラー発生部分を隠蔽する処理を行うものであり、又エラー発生部分を示すエラー情報をエラー情報送信部２６から上り伝送路１６を介して送信側に送信する。このエラー情報に、例えば、現時点の復号処理しているフレーム番号とエラー発生ブロック番号等のエラー発生の位置を示す情報を含ませることができる。又エラー情報送信部２６は上り伝送路１６が有線回線又は無線回線等に対応した送信部の構成を有するものである。
【００２６】
送信側の符号化装置は、符号化部１と送信部２と送信側復号部３と第１、第２の送信側予測部４，９と加算部５，１３とエラー情報受信部６とメモリ７とエラー修正部８とセレクタ１０，１１，１２とを含み、図示を省略したＣＣＤカメラ等の撮像部からのディジタル信号に変換された入力画像信号を加算部５と第１の送信側予測部４とに入力する。
【００２７】
又セレクタ１０，１１，１２は、通常は実線矢印で示す経路の接続を行い、エラー修正処理等の場合に点線矢印で示す経路の接続を行うものであり、エラー修正部８又は図示を省略した制御部から制御される。又加算部５は、入力画像信号とセレクタ１０を介した第１の送信側予測部４又は第２の送信側予測部９からの予測値との差分を求めて符号化部１に入力する。この符号化部１は、離散コサイン変換，フレーム間符号化，フレーム内符号化，量子化，可変長符号化等による符号化情報を、送信部２とメモリ７とセレクタ１２の実線矢印の経路を介して送信側復号部３とに入力する。
【００２８】
又送信側復号部３は、セレクタ１２を介した符号化情報又はエラー修正部８からの符号化情報を復号し、加算部１３に復号結果を入力する。加算部１３は、送信側復号部３からの復号情報と、セレクタ１０を介した第１の送信側予測部４又は第２の送信側予測部９からの予測値とを加算して、セレクタ１１とエラー修正部８とに入力する。
【００２９】
セレクタ１１が実線矢印の経路の接続の場合、加算部１３からの予測値は第１の送信側予測部４に、又点線矢印の経路の接続の場合、加算部１３からの予測値は第２の送信側予測部９に入力することになる。又第１の送信側予測部４からの予測情報を、メモリ７と送信部２とに入力する。
【００３０】
又送信部２は、符号化情報と第１の送信側予測部４からの予測情報とを含む信号を多重化する多重化機能と、下り伝送路１５が有線回線か無線回線かに対応した送信符号化機能，誤り訂正符号化機能，変調送信機能等を含むものである。又符号化情報について、フレーム番号等の時間情報を付加して伝送する機能を符号化部１又は送信部２に設けることができる。このような時間情報は、送信側と受信側との間の一巡の伝送遅延時間が固定であれば、省略することもできる。
【００３１】
又メモリ７は、符号化部１からの符号化情報及び第１の送信側予測部４からの予測情報とを、送信側と受信側との下り伝送路１５と上り伝送路１６とを含む一巡の伝送遅延時間分と、少なくとも１符号フレーム分とについて保持する。このような伝送遅延時間は、予め推定することが可能であり、又受信側の構成等に従って変動する場合は、最大遅延時間或いは許容遅延時間とすることができる。なお、メモリ７の記憶容量に余裕があれば、現時点からエラー発生時点まで以上の期間の符号化情報及び予測情報を記憶しておくことも可能である。又エラー修正部８は、エラー修正処理時、このメモリ７をアクセスして、符号化情報及び予測情報を読取るものである。
【００３２】
又エラー情報受信部６は、エラー情報送信部２６の構成に対応した構成を有し、又エラー修正部８は、エラー情報受信部６により受信側からのエラー情報を受信した時、送信側と受信側との間の一巡の伝送遅延時間が固定の場合、現時点の符号化フレームとエラー発生時点の符号化フレームとの時間差が、一巡の伝送遅延時間に相当するから、エラー発生部分を識別することができる。又エラー情報にエラー発生位置を、フレーム番号とブロック番号とにより通知する場合は、このエラー情報によってエラー発生部分を認識できる。或いは、符号化情報の伝送形式として、復号タイミング情報等を付加して伝送する場合、エラー制御部２４によりエラー発生時点のタイミング情報を抽出して、エラー情報に付加することができるから、このエラー情報に含まれるタイミング情報によってエラー発生部分を識別することができる。
【００３３】
このエラー発生部分が現時点の予測符号化の予測値に影響を及ぼすか否かを判定する。影響を及ぼさない程度のエラーであれば、エラー修正処理を中止し、影響を及ぼす場合は、エラー発生部分を隠蔽するエラー掩蔽制御による再生画像を再構成し、現時点の予測値を求めて、それ以後の予測符号化を継続する。
【００３４】
例えば、エラー修正部８は、メモリ７からエラー発生時点に対応した符号化情報及び予測情報を読出して、エラー発生時点から符号化の現時点までに、エラー発生部分の移動先を算出し、移動先の分散が大きい場合又は消滅した場合は、エラー発生部分が現時点の予測符号化に影響を及ぼさないことになるから、エラー修正処理は中止する。
【００３５】
又エラー発生部分の移動先が分散しない場合は、再生画像にエラーが含まれるて画質が劣化する場合であるから、受信側のエラー隠蔽制御による再生画像と同様な再生画像を再構成し、且つエラー発生時点から現時点までの予測情報を基にし、現時点の再生画像を再構成する。それにより、エラー発生部分の現時点以降の予測値について、送信側と受信側との相違を吸収し、受信側の復号再生画像の画質劣化を防止することができる。又符号化装置と復号化装置との各部の機能は、プロセッサの演算処理機能等によって実現することも可能である。
【００３６】
図２はエラー修正部の動作フローチャートを示し、受信側からのエラー情報をエラー情報受信部６が受信することにより、エラー情報に付加されたフレーム番号或いは固定遅延時間の場合の時間差による現時点のフレーム番号とエラー発生時点のフレーム番号とを求めることができるもので、エラー発生時点でのフレーム番号を１、符号化部１に於ける現時点でのフレーム番号をｗ、エラー発生ブロックＢの各々の画素の位置をＢ１ｐｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）とし、予測情報（動き補償ベクトル）をＶｋ（Ｘｋ，Ｙｋ）とし（Ａ１）、フレーム番号１〜ｗについて、メモリ７に保持されている予測情報（動き補償ベクトル）を読出して、エラー発生ブロックＢの各々の画素の位置Ｂｐｉｊがどの位置に移動したかを、時間経過の逆方向に順次計算して求める（Ａ２）。
【００３７】
そして、現時点での画素の位置ＢＰｐｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）を求める（Ａ３）。この場合の画素の位置ＢＰは複数ブロックに跨がる可能性があり、跨がった場合は、対応するブロックの位置での動き補償ベクトルを用いる。そして、現時点での画素の位置ＢＰｐｉｊがそれぞれ他のブロックに分散している割合が多いか否か、又は消滅している割合が多いか否かを判定する（Ａ４）。
【００３８】
例えば、エラー発生ブロックの各々の画素が順次分散して、現時点ではエラーが目立たない場合、又はエラー発生時点直後にフレーム内符号化を行った場合、又は次フレームで前景等の為にエラー発生ブロックが隠されて消滅している場合等の画素の分散又は消滅の割合が多い場合は、そのエラー発生部分が現時点の符号化フレームを復号化した時に、復号再生画像に影響していなと見做すことができる。そこで、エラー修正部８は再構成を行わない（Ａ５）として、エラー修正処理を終了する。
【００３９】
又前述の分散又は消滅の割合が少ない場合、現時点の符号化したフレームを受信側で復号再生した時に、エラー部分が目立つことを示す。即ち、受信側に於けるエラー隠蔽制御による修正された予測値と、送信側の予測値との差が大きい場合に相当し、受信側の復号再生画像の画質が劣化することを示すから、エラー修正部８は、再構成を行うものである。
【００４０】
この再構成の処理を図３を参照して説明する。前述のステップ（Ａ１）と同様に、エラー発生時点でのフレーム番号を１とし、現時点でのフレーム番号をｗとし、更に、復号再生した画像をＲｋ（現時点で保持している再生画像Ｒｗ−１）とし、符号化情報をＣｋとし、これを復号した復号情報をＣｋ^-1とし、予測値生成の操作をＶｋとし、この予測値生成の操作の逆の操作をＶｋ^-1とし、予測値をＵｋとする。なお、ｋ＝１〜ｗを示す（Ｂ１）。
【００４１】
そして、符号化情報Ｃｋ，再生画像Ｒｋ，予測値生成の逆操作Ｖｋ^-1を用いて、予測値Ｕｋを求め、時間軸方向の逆方向に復号処理を行う。即ち、現時点からエラー発生時点に遡る復号処理を行う。そして、エラー発生フレームの１符号化フレーム前の再生画像Ｒ０を求め、コンシールメントを行った画像Ｒ１’を再構成して出力する（Ｂ２）。即ち、第１の送信側予測部４に保持している予測処理用の再生画像Ｒｗ−１（予測値）から、メモリ７に保持されている１符号化フレーム前の符号化情報Ｃを送信側復号部３により復号して減算する。この減算結果は、１符号化フレーム前の第１の送信側予測部４に於ける予測値Ｕである。
【００４２】
この時、第２の送信側予測部９に予測値を入力するように、エラー修正部８からの制御によりセレクタ１０，１１を点線矢印の経路の接続に切替える。又エラー修正部８は、第２の送信側予測部９に対して、メモリ７に保持されている１符号化フレーム前の予測情報を用いて、動き補償ベクトルについては予測値Ｕに対して逆方向に予測する。即ち、過去から現時点に向かう時間経過に従った動き補償ベクトルの方向を逆にして、現時点から受信側のエラー発生時点の過去に遡って予測値生成の処理を行う。それにより、エラー発生時点のフレームの１フレーム前の画像Ｒ０を求めて、これとエラー発生の位置とを基に、コンシールメントを行った画像Ｒ１’を、送信側に於いて再構成する。即ち、エラー発生時点に於ける受信側の予測値と同一若しくは近似した予測値を送信側に生成することができる。
【００４３】
次に、受信側と同様な再生画像Ｒｗ−１を得る処理を、図４を参照して説明する。先ず、エラー発生時点でのフレーム番号を１、現時点でのフレーム番号をｗ、受信側と同じくなるように再構成した画像をＲｋ’、符号化情報をＣｋ、復号情報をＣｋ^-1、予測値生成の操作をＶｋとし（但し、ｋ＝１〜ｗ−１）（Ｃ１）、１フレーム目からｗ−１フレーム目まで、１フレーム目の再生画像Ｒ１’を初期値として、復号情報Ｃｋ^-1，予測値生成の操作Ｖｋを用いることにより、順次再生画像Ｒｋ’を得て（Ｃ２）、受信側と同様な内容の再構成したｗ−１フレーム目の再生画像Ｒｗ−１’を得る（Ｃ３）。
【００４４】
即ち、エラー修正部８は、エラー発生時点でのコンシールメントを行った画像Ｒ１’（１フレーム目の再構成した画像）を、第２の送信側予測部９に保持させて、セレクタ１２を点線矢印の経路に切替え、メモリ７に記憶されている予測情報を基に現時点までの再生画像を構成し、この現時点の再生画像を第１の送信側予測部４に転送し、セレクタ１０，１１，１２を実線矢印の経路に切替えることにより、以後の予測符号化を行うもので、前述の処理を高速で行うことにより、受信側の再生画像と同様となる再生画像を再構成することができる。
【００４５】
従って、送信側は、この再生画像を予測値として符号化処理を行うことにより、予測値について受信側に於ける条件と同一となるから、受信側では、符号化情報を受信して復号再生した画像は、その後にエラーがなければ、画質劣化は生じないものとなる。
【００４６】
前述のような再構成を行うか否かの判定をエラー修正部８に於いて行うものであり、図５に示すように、エラー発生時点でコンシールメントを行った再生画像をＲ１’とし、エラー発生時点でコンシールメントを行わない再生画像をＲ１として（Ｄ１）、再生画像Ｒ１’，Ｒ１を比較し、差が大きいか否かを判定する（Ｄ２）。差が小さい場合は、コンシールメントを行っても行わなくても同じようなものであるから、再構成は行わない（Ｄ４）。又差が大きい場合は、コンシールメントを行うことによる受信側の予測値との差が大きくなるから、再構成を行う（Ｄ３）。
【００４７】
図６及び図７は本発明の実施の形態のフローチャートを示し、前述のように、エラー発生時点でのフレーム番号を１、現時点でのフレーム番号をｗ、エラー発生ブロックＢの各々の画素の位置をＢ１ｐｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）、予測情報（動き補償ベクトル）をＤｋ（Ｘｋ，Ｙｋ）、再生画像をＲｋ（但し、現時点で保持している再生画像をＲｗ−１）、符号化情報をＣｋ、復号情報をＣｋ^-1、予測値の生成の操作をＶｋ、予測値の生成の操作の逆操作をＶｋ^-1、予測値をＵｋとする（但し、ｋ＝１〜ｗ−１）（Ｅ１）。
【００４８】
そして、ｎ＝２〜ｗ−１について、画素の位置ＢＰｎｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）を、
ＢＰｎｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）＝ＢＰｎ−１ｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）＋Ｄｎ−１（Ｘｎ−１，Ｙｎ−１）
としてを求める（Ｅ２）。これにより、フレーム番号ｗ−１に於いて、エラー発生ブロックの現在参照されている位置ＢＰｗ−１ｉｊが何処かを算出する。
【００４９】
そして、現時点の位置ＢＰｗｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）、即ち、エラー発生ブロックの画素が現在どの位置に存在するようになるかを求める（Ｅ３）。このようにして求めた画素の現在位置ＢＰｗｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）が消失しているか否かを判定し（Ｅ４）、消失している場合は、エラー発生時点のエラー部分は、現時点では消滅して影響を及ぼさないことになるから、エラー修正の処理は終了する（Ｅ６）。
【００５０】
又消失してない場合は、ｎ＝ｗ−１〜０に於いて、予測値Ｕｎ−１と再生画像Ｒｎ−２とを、
Ｕｎ−１＝（Ｒｎ−１）−（Ｃｎ−１^-1）
Ｒｎ−２＝Ｖｎ^-1（Ｕｎ−１）
により求め（Ｅ５）、エラー発生時点で参照している１符号化フレーム前の再生画像Ｒ０を求め、エラー情報を基に、エラー発生部分を隠蔽するコンシールメント処理を行った再生画像Ｒ１’を再構成する（Ｅ７）。
【００５１】
次に、ｎ＝１〜ｗ−１に於いて、予測値Ｕｎと再生画像Ｒｎ＋１’とを、
Ｕｎ＝Ｖｎ（Ｒｎ’）
Ｒｎ＋１＝Ｕｎ＋Ｃｎ^-1
により求め（Ｅ８）、順次計算して受信側と同様な再生画像Ｒｗ−１’を求める（Ｅ９）。この再生画像Ｒｗ−１’を基に、現時点のフレーム番号ｗの入力画像信号の符号化を行うことにより、エラーが発生しても、現時点の送信側の予測値と、送信側と受信側との間の遅延時間後の受信側の予測値とを同一とすることが可能となり、画質劣化を回避することができる。
【００５２】
図８はエラー修正部８による再構成を行うか否かの適応処理のフローチャートを示し、前述の図６の例えばステップ（Ｅ２）により求めた画素の位置をＢＰｎｉｊ、分散度をρ、閾値をｔｈとし（Ｆ１）、画素の位置ＢＰｎｉｊの分散度ρを求める（Ｆ２）。この分散度ρは、標準偏差、自己相関、相互相関等の計算式等を適用して求めるか、又はエラー発生位置が隣接している画素数、エラー発生位置が消滅していない画素数等を用いることができる。
【００５３】
そして、この分散度ρが閾値ｔｈより大きいか否かを判定し（Ｆ３）、分散度ρが閾値ｔｈより大きい場合は、エラー発生部分が現時点では分散して、視覚的には目立たないことになるから、受信側の再生画像と同様な再生画像に再構成することは行わない（Ｆ５）で、エラー修正の処理を終了する。又分散度ρが閾値ｔｈより小さい場合は、エラー発生部分が分散されていないことになり、受信側の再生画像と同様な再生画像となるように、前述のステップ（Ｅ５）〜（Ｅ９）に示すように再構成を行う（Ｆ４）。
【００５４】
他の適応処理を図９に示す。即ち、コンシールメントを行った画像Ｒ１’と、コンシールメントを行わない画像Ｒ１と、差分評価値μと、閾値ｔｈとを定義し（Ｇ１）、Ｒ１’とＲ１との画素値の絶対値差分の評価値μを求める（Ｇ２）。この評価値μと閾値ｔｈとを比較し（Ｇ３）、評価値μが閾値ｔｈより小さい場合は、コンシールメントを行って生成した画像Ｒ１’と、コンシールメントを行わないで再生した画像Ｒ１との差が小さいことであるから、再構成は行わず（Ｇ５）、エラー修正処理は終了する。
【００５５】
又評価値μが閾値ｔｈより大きい場合、エラー発生により、コンシールメントを行って再生した画像Ｒ１’と、コンシールメントを行わないで再生した画像Ｒ１との差が大きいから、そのまま符号化を継続すると、送信側と受信側との予測値の差が大きいことにより、受信側の復号再生画像の画質が劣化するから、再構成を行う（Ｇ４）。
【００５６】
前述の処理は、１フレームの総てに対して行うこともできるが、例えば、エラー発生ブロックについて及びエラー発生時点のフレームまで遡る必要があるブロックについてのみ処理することもできる。この場合のエラーが発生している部分は、例えば、ステップ（Ａ３）による現時点での位置ＢＰｗｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）により、エラー発生ブロックの画素の位置が現時点では、どの位置に移動したかにより、識別することができる。
【００５７】
又現時点から遡ってエラー発生時点の再生画像を得る過程の途中で、フレーム内符号化や、エラー発生ブロックの画素の位置がどこからも参照されない状態を識別した時に、エラー発生部分が現時点の再生画像に影響を及ぼさないと判定して、再構成の処理を中止することができる。
【００５８】
【発明の効果】
以上説明したように、本発明は、受信側に於いて、エラー発生時にエラー隠蔽制御を行い、その時のエラー情報を送信側に送信し、送信側は、このエラー情報を基に、エラー発生時点から現時点の再生画像にエラー発生部分が影響を及ぼすか否かを判定し、影響を及ぼす場合には、受信側と同様なエラー隠蔽制御を行ったエラー発生時点の再生画像を求めて、現時点までの予測情報を基に現時点の再生画像を求める再構成を行うことにより、受信側の予測値と送信側の予測値とを同一のフレームについては同一又は近似した値として、受信側の復号再生画像野画質劣化を回避することができる。
【００５９】
その場合、エラー隠蔽制御を行った再生画像と行わない再生画像と差が大きい場合のみ、又はエラー発生時点のエラー発生部分が現時点のフレームの移動先を求めて、分散が小さい場合のみ、再構成の処理を行うことにより、受信側の予測値と送信側の予測値とを同一のフレームについて同一又は近似した値とし、再構成が必要でない場合の不必要な処理を省略することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の説明図である。
【図２】エラー修正部の動作フローチャートである。
【図３】エラー修正部の動作フローチャートである。
【図４】再生画像の再構成の動作フローチャートである。
【図５】再構成の判定フローチャートである。
【図６】本発明の実施の形態のフローチャートである。
【図７】本発明の実施の形態のフローチャートである。
【図８】適応処理のフローチャートである。
【図９】適応処理のフローチャートである。
【図１０】従来例の説明図である。
【図１１】従来例のエラー発生時の動作説明図である。
【符号の説明】
１符号化部
２送信部
３送信側復号部
４第１の送信側予測部
５加算部
６エラー情報受信部
７メモリ
８エラー修正部
９第２の送信側予測部
１０〜１２セレクタ
１３加算部
２１受信側復号部
２２受信部
２３受信側予測部
２４エラー制御部
２５加算部
２６エラー情報送信部[0001]
BACKGROUND OF THE INVENTION
The present invention predictively encodes and transmits an input image signal such as a still image or a moving image, performs predictive decoding on the receiving side, conceals an error occurrence portion when an error occurs, and reduces the quality of a reproduced image. The present invention relates to an error concealment control method, an encoding device, and an image signal transmission system.
[0002]
[Prior art]
FIG. 10 is an explanatory diagram of a conventional example, in which 51 is an encoding unit, 52 is a transmission unit, 53 is a transmission side decoding unit, 54 is a transmission side prediction unit, 55 and 56 are adders, 57 is a transmission path, and 61 is A receiving side decoding unit, 62 is a receiving unit, 63 is a receiving side prediction unit, 64 is an error control unit, and 65 is an adder.
[0003]
1 shows an image signal transmission system including a main part of a transmission-side encoding device, a transmission path 57, and a main part of a reception-side decoding device, an input image signal such as a still image or a moving image, and a transmission-side prediction. The difference from the predicted value from the unit 54 is obtained by the adder 55 and input to the encoding unit 51. The encoding unit 51 includes functions such as discrete cosine transform (DCT), interframe encoding, intraframe encoding, quantization, variable length encoding, and the like. The encoding information is transmitted to the transmission unit 52 and the transmission side decoding unit 53. And enter. The decoding information by the transmission side decoding unit 53 and the prediction value from the transmission side prediction unit 54 are added by the adder 56 to obtain a reproduction image on the transmission side, which is held in the transmission side prediction unit 54 as the next prediction value.
[0004]
Further, the transmission side prediction unit 54 inputs prediction information such as whether motion compensation using the input image signal or intra-frame coding has been performed to the transmission unit 52. The transmission unit 52 multiplexes the encoded information from the encoding unit 51 and the prediction information from the transmission side prediction unit 54 and transmits the multiplexed information to the transmission path 57. Furthermore, it can also be set as the structure which multiplexes audio | voice information, data, etc. which are not shown in figure. The transmission path 57 may include a transmission function corresponding to a wired line or a wireless line, an error correction coding function, a buffer function, and the like.
[0005]
The decoding apparatus on the reception side demultiplexes the encoded information and the prediction information by the reception unit 62, inputs the encoded information to the reception side decoding unit 61, and inputs the prediction information to the reception side prediction unit 63. The reception side decoding unit 61 decodes the encoded information and inputs it to the adder 65 and the reception side prediction unit 63. The reception side prediction unit 63 holds the previous decoded reproduction image signal as a prediction value, The predicted value formed according to the decoded information and the predicted information is input to the adder 65, and the added output is output as a decoded image signal.
[0006]
The receiving unit 62 connected to the transmission path 57 has a configuration corresponding to the transmitting unit 52 and includes a transmission error detection function. The receiving side decoding unit 61 detects a decoding error when an unspecified code pattern or the like is included in the variable length code or the like, and at the time of detecting an error in the receiving unit 52 or the receiving side decoding unit. Since the decoded image at the time of error detection in 61 has deteriorated image quality, FIG. 10 shows a case where an error control unit 64 is provided in order to conceal this. The error control unit 64 converts a decoded image signal in units of blocks including the error into an image signal not including an error based on a transmission error detection signal from the reception unit 62, a decoding error detection signal from the reception side decoding unit 61, and the like. The concealment control is performed.
[0007]
FIG. 11 is a diagram for explaining the operation when an error occurs in the conventional example. It is determined whether or not there is an error (H1). If there is an error, that is, error detection such as a transmission error in the receiving unit 62 or the receiving side. By detecting an error such as a decoding error in the decoding unit 61, an error position E in one frame and a decoded predicted value V are obtained (H2). The error control unit 64 instructs the reception side prediction unit 63 to output a prediction value using the prediction information V one block line before the error position E (H3).
[0008]
Next, the error control unit 64 instructs the receiving side decoding unit 61 to output 0 (H4). Then, the outputs of the receiving side decoding unit 61 and the receiving side prediction unit 63 are added by an adder 65 (H5), and a decoded image is output (H6). If it is determined in step (H1) that there is no error, a decoded image is obtained in steps (H5) and (H6). In this case, one screen is divided into a plurality of blocks to perform encoding and transmission corresponding to the block, and the prediction value is obtained using the prediction information V one block line before the block including the error position E, Since 0 is output from the receiving side decoding unit 61, a block including the error position E is output as a decoded image having a prediction value using the prediction information V one block line before, and the block including the error Can be concealed. Such control is performed in the error control unit 64.
[0009]
The configuration of the conventional example shown in FIG. 10 is, for example, ITU-T H.264. It is known as a system such as H.263 or ISO / MPEG4. The error concealment shown in FIG. 11 is shown in, for example, ITU-T SG16 Video Codec Test Model, Near-Term, Version 9 (TMN9).
[0010]
As an error concealment means for receiving and decoding an image signal, various methods for retransmitting a frame in which an error has occurred have been proposed in the same way as a data retransmission method. For example, a method is known in which when there are many errors, or when an error occurs between an important block and its neighboring blocks, a retransmission request is sent to the transmission side, and retransmission is performed in frame units or block units.
[0011]
[Problems to be solved by the invention]
When a transmission error or a decoding error occurs, for example, in the conventional example described with reference to FIGS. 10 and 11, error concealment is performed by not making the error occurrence part a decoded image. The prediction value by the reception side prediction unit 63 and the prediction value by the transmission side prediction unit 54 are different. Therefore, the decoded image on the receiving side after the error concealment has a problem that the image quality deteriorates due to the use of a predicted value different from that on the transmitting side.
[0012]
Therefore, it is conceivable that error information is transmitted to the transmission side, and processing similar to the error concealment on the reception side is also performed on the transmission side. However, because of the transmission delay time including the transmission path 57 between the transmission side and the reception side, different images are processed for encoding on the transmission side and decoding on the reception side. Thus, even if error information is received on the transmission side, the encoded information at the time of the error occurrence is a past one on the transmission side, and thus error concealment processing similar to that on the reception side cannot be performed. That is, the predicted value by the reception side prediction unit 63 and the prediction value by the transmission side prediction unit 54 cannot be matched.
[0013]
In addition, it has been proposed to retransmit an image portion including an error. However, similar to data retransmission processing, a still image can be retransmitted when an error occurs and decoded on the receiving side. However, in the case of a moving image, it is encoded from a past image and transmitted, and cannot be applied in practice. Even in the case of a still image, when the transmission path 57 between the transmission side and the reception side is a relatively low-speed wireless line, there is a problem that the transmission efficiency is remarkably lowered due to retransmission processing. In addition, when moving images are transmitted at a low speed, there is a problem in that the quality of a reproduced image is further deteriorated due to frame dropping or the like caused by retransmission processing.
An object of the present invention is to prevent degradation in image quality of a decoded image by matching or approximating predicted values on a transmission side and a reception side even when an error occurs.
[0014]
[Means for Solving the Problems]
In the error concealment control method of the present invention, (1) the transmission side predictively encodes and transmits an input image signal, and the reception side predictively decodes to obtain a reproduced image signal;Judges whether there is an error and generates an errorAn error concealment control method for concealing this error occurrence part at the time of detection.When an error occurs,Error information indicating the error occurrence partTo senderSend the senderStoring prediction information in prediction encoding for a round-trip transmission delay time with the receiving side and encoding information for at least one encoded frame by the encoding unit;Receive error informationOn the basis of the stored encoded information for the one encoded frame and the prediction information.Determine the effect of the error occurrence part on the prediction value of the current predictive encoding. If the effect is small, cancel the error correction process. If the effect is large,Using the stored prediction information and the encoded information of the encoded frame,This includes a process of reconstructing a reproduction image by error concealment control for concealing an error occurrence part, obtaining a current prediction value, and performing subsequent predictive encoding.
[0015]
(2) In the error concealment control method, the transmission side obtains a destination for the encoded frame at the present time of the error occurrence part based on the error information, and whether or not the destination is dispersed or disappeared. If it is dispersed or disappeared, the error correction process is stopped, and if it is not dispersed or disappeared, the playback image is reconstructed by error concealment control that conceals the error occurrence part, and the current This includes a process of obtaining a predicted value and performing subsequent predictive coding.
[0016]
(3) In the error concealment control method, on the basis of the error information, the transmission side obtains and compares the reproduced image by the error concealment control that conceals the error occurrence part and the reproduced image that does not perform the error concealment control. If the difference is smaller than the predetermined value, the error correction process is stopped, and if the difference is larger than the predetermined value, the prediction value of the current predictive coding is obtained based on the reproduced image by the error concealment control. This includes a process of performing subsequent predictive coding.
[0017]
(4) In the error concealment control method, on the basis of the error information, the transmission side calculates the absolute pixel values of the reproduced image by the error concealment control for concealing the error occurrence part and the reproduced image for which the error concealment control is not performed. If the absolute value difference does not exceed the threshold value, the error correction process is stopped. If the absolute value difference exceeds the threshold value, the prediction value of the current prediction encoding is calculated based on the reproduced image by error concealment control. The subsequent predictive encoding process is performed based on the predicted value.
[0018]
(5) An encoding apparatus according to the present invention is an encoding apparatus that includes an encoding unit, a first transmission side decoding unit, and a transmission side prediction unit, and predictively encodes an input image signal. An error information receiving unit that receives error information from the side, an error correction unit that inputs error information received by the error information receiving unit, and the first transmission delay time between the transmitting side and the receiving side A memory for storing prediction information from the transmitting side decoding unit, and a memory for storing encoded information for at least one encoded frame from the encoding unit, and a reproduced image that matches the decoded reproduced image on the receiving side according to the error information. A second transmission side prediction unit for obtaining, and the error correction unit is stored in the memory whether or not the error occurrence part affects the prediction value of the current prediction encoding based on the error information. Based on the encoded information and prediction information Processing, the reproduced image due to error concealment control for concealing error portion when impact is large, and has a configuration for performing control to reconstruct the second transmission-side prediction unit.
[0019]
(6) The error correction unit of the encoding device uses the second transmission side prediction unit based on the error information, the encoded information stored in the memory and the prediction information, and the decoded image and error at the time of occurrence of the error. The decoded image one frame before the occurrence point is played back, and the reproduced image by the error concealment control that conceals the error occurrence part is compared with the reproduced image that is not subjected to the error concealment control. The current playback image is reconstructed based on the playback image by the concealment control, and when the difference is small, the control is performed so as not to perform the reconstruction.
[0020]
(7) The error correction unit of the encoding device obtains the destination of the error occurrence part from the error occurrence time to the present time based on the error information, the encoding information stored in the memory, and the prediction information, When the variance of the position of the occurrence portion is obtained and this variance is small, the decoded image at the time of error occurrence and the decoded image one frame before the error occurrence time are reproduced retrospectively, and the reproduced image by error concealment control for concealing the error occurrence portion If the reconfiguration is performed and the dispersion is large or disappears, the control is performed so that the reconfiguration is not performed.
[0021]
(8) An image signal transmission system according to the present invention includes a transmission side having an encoding device that predictively encodes an input image signal, and a decoding device that receives and encodes encoding information from the transmission unit. An image signal transmission system in which a receiving side is connected to a receiving side through a transmission line, the receiving side decoding device comprising: a receiving unit connected to the transmission line; a receiving side decoding unit for performing predictive decoding; Side prediction unit, error control unit for concealing the error occurrence part by error detection in the reception unit and reception side decoding unit and controlling output of the decoded reproduction image, and transmitting error information indicating the error occurrence part to the transmission side An error information transmission unit, and a transmission-side encoding device includes: a transmission unit connected to a transmission path; an encoding unit that performs predictive encoding; a transmission-side decoding unit; Receive error information from the sending side prediction unit and the receiving unit Error information receiving unit, error correction unit for inputting error information received by the error information receiving unit, and prediction information from the first transmitting side decoding unit for the round trip delay time between the transmitting side and the receiving side And a memory for storing encoding information for at least one encoded frame from the encoding unit, and the error correcting unit predicts the current predictive encoding based on the error information. Whether to affect the value is determined based on the encoded information and the prediction information stored in the memory, and when the influence is large, the reproduced image by the error concealment control for concealing the error occurrence portion The transmission side prediction unit performs the reconfiguration control.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is an explanatory diagram of an embodiment of the present invention, in which 1 is an encoding unit, 2 is a transmission unit, 3 is a transmission side decoding unit, 4 is a first transmission side prediction unit, 5 and 13 are addition units, 6 is an error information reception unit, 7 is a memory, 8 is an error correction unit, 9 is a second transmission side prediction unit, 10, 11 and 12 are selectors, 15 is a downlink transmission path, 16 is an uplink transmission path, and 21 is a reception The side decoding unit, 22 is a receiving unit, 23 is a receiving side prediction unit, 24 is an error control unit, 25 is an addition unit, and 26 is an error information transmission unit. The main part of a path | route and the decoding apparatus of a receiving side is shown.
[0023]
The decoding device on the reception side includes a reception unit 22, a reception side decoding unit 21, a reception side prediction unit 23, an error control unit 24, an addition unit 25, and an error information transmission unit 26. A reproduced image can be displayed by inputting an image signal to a display unit such as a liquid crystal panel or a cathode ray tube (not shown). Further, it is input to the reception side prediction unit 23 as a decoded reproduction image. The receiving unit 22 has a configuration corresponding to the configuration of the transmitting unit 2, separates the encoded information and the prediction information received via the downlink transmission path 15, and sends the encoded information to the receiving side decoding unit 21. The prediction information is input to the reception side prediction unit 23. Note that various known configurations can be applied to the downlink transmission path 15 and the uplink transmission path 16.
[0024]
The reception side decoding unit 21 decodes the encoded information subjected to the prediction encoding, and inputs the encoded information to the addition unit 25 and the reception side prediction unit 23. The adding unit 25 adds the decoded information from the receiving side decoding unit 21 and the predicted value from the receiving side prediction unit 23, and outputs the result as a decoded reproduction image signal. And it inputs into the above-mentioned display part, for example. Further, this decoded reproduction image signal is input to the receiving side prediction unit 23 and is set as the next prediction value.
[0025]
Further, when an error is detected in the receiving unit 22 and the receiving side decoding unit 21, the error control unit 24 is notified, and the error control unit 24 performs processing for concealing the error occurrence portion as in the conventional example. In addition, error information indicating an error occurrence part is transmitted from the error information transmission unit 26 to the transmission side via the upstream transmission path 16. For example, the error information can include information indicating the position of the error occurrence, such as the current decoding frame number and error occurrence block number. The error information transmission unit 26 has a configuration of a transmission unit in which the upstream transmission path 16 corresponds to a wired line or a wireless line.
[0026]
The encoding device on the transmission side includes an encoding unit 1, a transmission unit 2, and a transmission side.Decryption unit3, first and second transmission side prediction units 4, 9, addition units 5, 13, error information reception unit 6, memory 7, error correction unit 8, and selectors 10, 11, 12 are omitted. An input image signal converted into a digital signal from an imaging unit such as a CCD camera is input to the addition unit 5 and the first transmission side prediction unit 4.
[0027]
The selectors 10, 11, and 12 normally connect paths indicated by solid arrows, and connect paths indicated by dotted arrows in the case of error correction processing, etc., and the error correction unit 8 or illustration is omitted. It is controlled from the control unit. The adding unit 5 obtains a difference between the input image signal and a predicted value from the first transmission side prediction unit 4 or the second transmission side prediction unit 9 via the selector 10 and inputs the difference to the encoding unit 1. The encoding unit 1 transmits encoded information obtained by discrete cosine transform, interframe encoding, intraframe encoding, quantization, variable length encoding, and the like, along the path indicated by the solid arrows of the transmission unit 2, the memory 7, and the selector 12. To the transmitting side decoding unit 3.
[0028]
The transmission side decoding unit 3 decodes the encoded information from the selector 12 or the encoded information from the error correcting unit 8 and inputs the decoding result to the adding unit 13. The adding unit 13 adds the decoding information from the transmission side decoding unit 3 and the predicted value from the first transmission side prediction unit 4 or the second transmission side prediction unit 9 via the selector 10, and selects the selector 11. And the error correction unit 8.
[0029]
When the selector 11 is connected to the path indicated by the solid arrow, the predicted value from the adder 13 is the first transmission side predictor 4, and when the selector 11 is connected to the path indicated by the dotted arrow, the predicted value from the adder 13 is the second. To the transmission side prediction unit 9. Further, prediction information from the first transmission side prediction unit 4 is input to the memory 7 and the transmission unit 2.
[0030]
The transmission unit 2 also includes a multiplexing function for multiplexing a signal including the encoded information and the prediction information from the first transmission side prediction unit 4, and transmission corresponding to whether the downlink transmission line 15 is a wired line or a wireless line. It includes an encoding function, an error correction encoding function, a modulation transmission function, and the like. Also, the encoding unit 1 or the transmission unit 2 can be provided with a function of adding time information such as a frame number to the encoded information for transmission. Such time information can be omitted if the transmission delay time of one round between the transmission side and the reception side is fixed.
[0031]
In addition, the memory 7 is a circuit that includes the encoding information from the encoding unit 1 and the prediction information from the first transmission side prediction unit 4 including the downlink transmission path 15 and the uplink transmission path 16 between the transmission side and the reception side. The transmission delay time and at least one code frame are held. Such a transmission delay time can be estimated in advance, and when it varies according to the configuration on the receiving side, the maximum delay time or an allowable delay time can be used. If the storage capacity of the memory 7 is sufficient, it is possible to store encoded information and prediction information for a period longer than the current time until the time of error occurrence. The error correction unit 8 accesses the memory 7 and reads encoded information and prediction information during error correction processing.
[0032]
The error information receiving unit 6 has a configuration corresponding to the configuration of the error information transmitting unit 26. When the error information receiving unit 6 receives error information from the receiving side by the error information receiving unit 6, the error information receiving unit 6 When the round-trip transmission delay time with the receiving side is fixed, the time difference between the current coded frame and the coded frame at the time of error occurrence corresponds to the round-trip transmission delay time, so the error occurrence portion is identified. be able to. Further, when the error occurrence position is notified to the error information by the frame number and the block number, the error occurrence portion can be recognized by this error information. Alternatively, when transmission is performed by adding decoding timing information or the like as a transmission format of encoded information, the error control unit 24 can extract timing information at the time of error occurrence and add it to the error information. The error occurrence part can be identified by the timing information included in the information.
[0033]
It is determined whether or not this error occurrence part affects the prediction value of the current predictive coding. If the error does not affect the error, the error correction process is stopped. If the error is affected, the reconstructed image is reconstructed by error concealment control that conceals the error occurrence part, and the current prediction value is obtained. Subsequent predictive coding is continued.
[0034]
For example, the error correction unit 8 reads the encoding information and prediction information corresponding to the error occurrence time from the memory 7, calculates the movement destination of the error occurrence part from the error occurrence time to the current encoding time, When the variance of the error is large or disappears, the error correcting process is stopped because the error occurrence portion does not affect the current predictive coding.
[0035]
If the error destination is not dispersed, the reproduced image contains an error and the image quality deteriorates. Therefore, a reproduced image similar to the reproduced image by the error concealment control on the receiving side is reconstructed, and Based on the prediction information from the time of error occurrence to the present time, the current reproduced image is reconstructed. As a result, the difference between the transmission side and the reception side can be absorbed in the prediction values after the current time of the error occurrence part, and the image quality deterioration of the decoded reproduction image on the reception side can be prevented. The functions of the respective units of the encoding device and the decoding device can also be realized by an arithmetic processing function of the processor.
[0036]
FIG. 2 is a flowchart showing the operation of the error correction unit. When the error information receiving unit 6 receives error information from the receiving side, the current frame depending on a frame number added to the error information or a time difference in the case of a fixed delay time. The frame number at the time of error occurrence can be obtained, the frame number at the time of error occurrence is 1, the current frame number in the encoding unit 1 is w, and each pixel of the error occurrence block B Is set to B1pij (Xpij, Ypij), prediction information (motion compensation vector) is set to Vk (Xk, Yk) (A1), and prediction information (motion compensation vector) held in the memory 7 for frame numbers 1 to w ) To determine which position Bpij of each pixel of error occurrence block B has moved in the reverse direction of the passage of time. Determined by the following calculation (A2).
[0037]
Then, a current pixel position BPpij (Xpij, Ypij) is obtained (A3). In this case, the pixel position BP may straddle a plurality of blocks. When straddling, the motion compensation vector at the corresponding block position is used. Then, it is determined whether or not the current pixel position BPpij is distributed to other blocks in a large proportion or whether it is disappeared in a large proportion (A4).
[0038]
For example, when the pixels of the error occurrence block are sequentially distributed and the error is not conspicuous at the present time, or when intra-frame coding is performed immediately after the error occurrence time, or for the foreground in the next frame, the error occurrence block When the ratio of pixel dispersion or disappearance is high, such as when the pixel is hidden and disappears, it is considered that the error occurrence part does not affect the decoded reproduced image when the current encoded frame is decoded. I can do it. Therefore, the error correction unit 8 does not perform reconfiguration (A5) and ends the error correction process.
[0039]
In addition, when the ratio of dispersion or disappearance is small, it indicates that an error portion is conspicuous when the current encoded frame is decoded and reproduced on the receiving side. That is, it corresponds to the case where the difference between the predicted value corrected by the error concealment control on the receiving side and the predicted value on the transmitting side is large, indicating that the image quality of the decoded reproduction image on the receiving side is deteriorated. The correction unit 8 performs reconfiguration.
[0040]
The reconstruction process will be described with reference to FIG. Similar to the above step (A1), the frame number at the time of error occurrence is set to 1, the current frame number is set to w, and the decoded and reproduced image is Rk (reproduced image Rw−1 held at the present time). ), The encoded information is Ck, and the decoded information is Ck^-1And Vk is an operation for generating a predicted value, and Vk is an operation opposite to the operation for generating the predicted value.^-1And the predicted value is Uk. In addition, k = 1-w is shown (B1).
[0041]
Then, the encoded information Ck, the reproduced image Rk, and the inverse operation Vk of the predicted value generation^-1Is used to obtain the predicted value Uk, and the decoding process is performed in the reverse direction of the time axis direction. In other words, a decoding process that goes back from the current time to the time when the error occurred is performed. Then, the reproduced image R0 one encoded frame before the error occurrence frame is obtained, and the concealed image R1 'is reconstructed and output (B2). That is, from the reproduced image Rw-1 (prediction value) for prediction processing held in the first transmission side prediction unit 4, the encoded information C one encoded frame held in the memory 7 is transmitted on the transmission side. Decrypted by the decrypting unit 3 and subtracted. The subtraction result is the predicted value U in the first transmission side prediction unit 4 before one encoded frame.
[0042]
At this time, the selectors 10 and 11 are switched to the connection of the dotted arrow path by the control from the error correction unit 8 so that the predicted value is input to the second transmission side prediction unit 9. Further, the error correction unit 8 uses the prediction information of one encoded frame held in the memory 7 for the second transmission side prediction unit 9 and reverses the motion compensation vector with respect to the prediction value U. Predict in the direction. In other words, the direction of the motion compensation vector is reversed according to the passage of time from the past to the present time, and the process of generating a predicted value is performed retroactively from the present time to the past of the error occurrence time on the receiving side. Thereby, an image R0 one frame before the frame at the time of error occurrence is obtained, and the concealed image R1 'is reconstructed on the transmission side based on this and the position of the error occurrence. That is, a predicted value that is the same as or approximate to the predicted value on the receiving side at the time of error occurrence can be generated on the transmitting side.
[0043]
Next, processing for obtaining a reproduction image Rw-1 similar to that on the receiving side will be described with reference to FIG. First, the frame number at the time of error occurrence is 1, the current frame number is w, the image reconstructed to be the same as the receiving side is Rk ', the encoding information is Ck, and the decoding information is Ck^-1The operation for generating the predicted value is Vk (where k = 1 to w−1) (C1). From the first frame to the w−1 frame, the reproduced image R1 ′ of the first frame is used as the initial value, and the decoding information Ck^-1, By using the predicted value generation operation Vk, sequentially obtain a reconstructed image Rk ′ (C2), and obtain a reconstructed reconstructed image Rw-1 ′ of the (w-1) th frame having the same contents as the receiving side (C3). ).
[0044]
That is, the error correction unit 8 holds the image R1 ′ (the reconstructed image of the first frame) that has been concealed at the time of occurrence of the error in the second transmission side prediction unit 9, and makes the selector 12 a dotted line. Switching to the arrow path, a reproduced image up to the present time is constructed based on the prediction information stored in the memory 7, and this reproduced image at the present time is transferred to the first transmission side prediction unit 4, and the selectors 10, 11, By switching 12 to the path indicated by the solid arrow, the subsequent predictive encoding is performed. By performing the above-described processing at a high speed, a reproduced image similar to the reproduced image on the reception side can be reconstructed.
[0045]
Therefore, the transmitting side performs the encoding process using the reproduced image as a predicted value, so that the predicted value is the same as the condition on the receiving side. Therefore, the receiving side receives the encoded information and decodes and reproduces it. If there is no error after that, the image does not deteriorate.
[0046]
The error correction unit 8 determines whether or not to perform the reconstruction as described above. As shown in FIG. 5, the reproduced image that has been concealed at the time of the error occurrence is R1 ′, and the error is corrected. A reproduced image that is not concealed at the time of occurrence is defined as R1 (D1), and the reproduced images R1 ′ and R1 are compared to determine whether the difference is large (D2). When the difference is small, it is the same whether or not the concealment is performed, so the reconfiguration is not performed (D4). If the difference is large, the difference from the predicted value on the receiving side due to the concealment becomes large, and reconstruction is performed (D3).
[0047]
6 and 7 are flowcharts of the embodiment of the present invention. As described above, the frame number at the time of error occurrence is 1, the frame number at the current time is w, and the position of each pixel of the error occurrence block B is as shown in FIG. Is B1pij (Xpij, Ypij), prediction information (motion compensation vector) is Dk (Xk, Yk), playback image is Rk (however, playback image currently held is Rw-1), encoded information is Ck, Decryption information as Ck^-1, Vk is the operation for generating the predicted value, and Vk is the reverse operation of the operation for generating the predicted value.^-1The predicted value is Uk (where k = 1 to w−1) (E1).
[0048]
Then, for n = 2 to w−1, the pixel position BPnij (Xpij, Ypij) is
BPnij (Xpij, Ypij) = BPn-1ij (Xpij, Ypij) + Dn-1 (Xn-1, Yn-1)
(E2). As a result, in the frame number w-1, the location of the currently referred position BPw-1ij of the error occurrence block is calculated.
[0049]
Then, the current position BPwij (Xpij, Ypij), that is, the position where the pixel of the error occurrence block is present is obtained (E3). It is determined whether or not the current position BPwij (Xpij, Ypij) of the pixel thus obtained has disappeared (E4). If it has disappeared, the error part at the time of occurrence of the error has disappeared at the present time. Since no influence is exerted, the error correction process ends (E6).
[0050]
If not disappeared, the prediction value Un-1 and the reproduced image Rn-2 are obtained at n = w-1 to 0.
Un-1 = (Rn-1)-(Cn-1^-1)
Rn-2 = Vn^-1(Un-1)
(E5), a reproduced image R0 one encoded frame before being referred to at the time of occurrence of the error is obtained, and the reproduced image R1 ′ that has been subjected to concealment processing for concealing the error occurrence portion based on the error information is reproduced. Configure (E7).
[0051]
Next, at n = 1 to w−1, the predicted value Un and the reproduced image Rn + 1 ′ are
Un = Vn (Rn ')
Rn + 1 = Un + Cn^-1
(E8), and sequentially calculated to obtain a reproduced image Rw-1 'similar to that on the receiving side (E9). Even if an error occurs by encoding the input image signal of the current frame number w based on this reproduced image Rw-1 ′, the predicted value on the current transmission side, the transmission side and the reception side It is possible to make the predicted value on the receiving side after the delay time between the same and the image quality deterioration can be avoided.
[0052]
FIG. 8 shows a flowchart of an adaptive process for determining whether or not to perform reconstruction by the error correction unit 8. The pixel position obtained by, for example, step (E2) in FIG. 6 described above is BPnij, the degree of dispersion is ρ, and the threshold is th. (F1), and the degree of dispersion ρ of the pixel position BPnij is obtained (F2). The degree of dispersion ρ is obtained by applying a calculation formula such as standard deviation, autocorrelation, cross-correlation, etc. Can be used.
[0053]
Then, it is determined whether or not the degree of dispersion ρ is larger than the threshold value th (F3). If the degree of dispersion ρ is larger than the threshold value th, the error occurrence portion is dispersed at the present time and is not visually noticeable. Therefore, the error correction process is terminated without reconstructing the reproduced image similar to the reproduced image on the receiving side (F5). On the other hand, when the degree of dispersion ρ is smaller than the threshold th, the error occurrence portion is not dispersed, and the above steps (E5) to (E9) are performed so that a reproduced image similar to the reproduced image on the reception side is obtained. Reconfiguration is performed as shown (F4).
[0054]
Another adaptation process is shown in FIG. That is, an image R1 ′ that has been concealed, an image R1 that has not been concealed, a difference evaluation value μ, and a threshold th are defined (G1), and an absolute value difference between pixel values of R1 ′ and R1 is defined. An evaluation value μ is obtained (G2). The evaluation value μ is compared with the threshold th (G3). When the evaluation value μ is smaller than the threshold th, the image R1 ′ generated by performing concealment and the image R1 reproduced without performing concealment are used. Since the difference is small, reconfiguration is not performed (G5), and the error correction process is terminated.
[0055]
If the evaluation value μ is larger than the threshold th, there is a large difference between the image R1 ′ reproduced with concealment and the image R1 reproduced without concealment due to the occurrence of an error. Since the difference in prediction values between the transmission side and the reception side is large, the image quality of the decoded reproduction image on the reception side deteriorates, and therefore reconstruction is performed (G4).
[0056]
The above-described processing can be performed for all of one frame. However, for example, it is possible to perform processing only for an error occurrence block and a block that needs to be traced back to the frame at the time of error occurrence. The portion where the error has occurred in this case depends on, for example, the position of the pixel of the error occurrence block at the current position by the current position BPwij (Xpij, Ypij) in step (A3). Can be identified.
[0057]
Also, during the process of obtaining the reproduced image at the time of error retroactively from the present time, when the intra-frame coding or the state where the pixel position of the error-occurring block is not referenced anywhere is identified, the error occurrence part is the current reproduced image. Therefore, it is possible to cancel the reconstruction process.
[0058]
【The invention's effect】
As described above, the present invention performs error concealment control when an error occurs on the receiving side, and transmits error information at that time to the transmitting side. To determine whether the error occurrence part affects the current playback image, and if so, obtain the playback image at the time of the error occurrence with the same error concealment control as the receiving side, up to the current time The reception side decoded value and the transmission side prediction value are the same or approximate values for the same frame by performing reconstruction for obtaining the current reproduced image based on the prediction information of the received side. Degradation of field image quality can be avoided.
[0059]
In that case, reconstruction is performed only when there is a large difference between the reproduced image that has been subjected to error concealment control and the reproduced image that is not performed, or only when the error occurrence part at the time of error occurrence determines the current frame destination and the variance is small. By performing this processing, the predicted value on the receiving side and the predicted value on the transmitting side are set to the same or approximate values for the same frame, and unnecessary processing when reconfiguration is not necessary can be omitted.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram of an embodiment of the present invention.
FIG. 2 is an operation flowchart of an error correction unit.
FIG. 3 is an operation flowchart of an error correction unit.
FIG. 4 is an operational flowchart of reconstruction of a reproduced image.
FIG. 5 is a reconfiguration determination flowchart;
FIG. 6 is a flowchart of an embodiment of the present invention.
FIG. 7 is a flowchart of an embodiment of the present invention.
FIG. 8 is a flowchart of adaptive processing.
FIG. 9 is a flowchart of adaptive processing.
FIG. 10 is an explanatory diagram of a conventional example.
FIG. 11 is an explanatory diagram of an operation when an error occurs in the conventional example.
[Explanation of symbols]
1 Encoding unit
2 Transmitter
3 Transmitter decoding unit
4 1st transmission side prediction part
5 Adder
6 Error information receiver
7 memory
8 Error correction section
9 Second transmission side prediction unit
10-12 selector
13 Adder
21 Receiver decoder
22 Receiver
23 Receiving side prediction section
24 Error control unit
25 Adder
26 Error information transmitter

Claims

The transmission side predictively encodes and transmits the input image signal, and the reception side predictively decodes to obtain a reproduced image signal, and determines whether there is an error, and controls to conceal the error occurrence portion when an error occurs. In the concealment control method,
The reception side transmits error information indicating the error occurrence part to the transmission side when the occurrence of the error is detected,
The transmission side stores prediction information in the prediction encoding for a round-trip transmission delay time with the receiving side and encoding information for at least one encoded frame by an encoding unit, and the error information , On the basis of the stored encoded information for one encoded frame and the prediction information, the movement destination for the encoded frame of the error occurrence portion from the error occurrence time to the current encoding time is determined. The prediction information and the encoded information are obtained by processing in the reverse direction on the time axis , and it is determined whether or not the movement destination is dispersed or disappeared. If it is canceled and is not dispersed or disappeared, it includes a process of reconstructing a reproduced image by error concealment control for concealing the error occurrence part, obtaining a current prediction value, and performing subsequent predictive encoding. Special Error concealment control method.

Based on the error information from the receiving side, the transmission side generates and compares a reproduction image by error concealment control that conceals an error occurrence part and a reproduction image that does not perform error concealment control, and the difference is When the error correction processing is smaller than the predetermined value, the error correction process is stopped, and when the difference is larger than the predetermined value, a prediction value of the current predictive coding is obtained based on the reproduced image by the error concealment control, The error concealment control method according to claim 1, further comprising: performing a subsequent predictive encoding.

The transmission side generates, based on the error information from the reception side, a reproduction image by error concealment control that conceals an error occurrence part and a reproduction image that does not perform error concealment control. An absolute value difference between pixel values is obtained, and if the absolute value difference does not exceed a preset threshold, the error correction process is stopped. If the absolute value difference exceeds the threshold, 2. The error concealment control method according to claim 1, further comprising a step of obtaining a prediction value of the predictive encoding and performing predictive encoding thereafter by the predictive value.

In an encoding device that includes an encoding unit, a transmission side decoding unit, and a first transmission side prediction unit, and predictively encodes an input image signal,
An error information receiver for receiving error information from the receiver;
An error correction unit for inputting error information received by the error information receiving unit;
Stores prediction information from the first transmission-side prediction unit for one round transmission delay time between the transmission side and the reception side, and stores encoding information for at least one encoded frame from the encoding unit Memory to
A second transmission side prediction unit for obtaining a reproduced image that matches the decoded reproduced image on the receiving side according to the error information,
The error correction unit uses the second transmission side prediction unit based on the error information, the encoded information stored in the memory, and the prediction information, and the decoded image at the time of error occurrence and the error occurrence time 1 Play back the decoded image before the frame on the time axis , generate a playback image by error concealment control that conceals the error occurrence part, and a playback image that does not perform error concealment control, and compare both playback images, An encoding apparatus comprising: a configuration in which when the difference is large, the current playback image is reconstructed based on the playback image by error concealment control, and when the difference is small, control is not performed.

The error correction unit reverses the prediction information and the encoding information based on the error information, the encoded information stored in the memory, and the prediction information. Obtained by processing in the direction, the variance of the position of the error occurrence portion is obtained, and when the variance is small, the decoded image at the time of error occurrence and the decoded image one frame before the error occurrence time are reproduced retrospectively on the time axis. 5. The apparatus according to claim 4, wherein reconstructed images are reconstructed by error concealment control for concealing an error occurrence part, and control is performed without performing the reconstruction when the variance is large or disappears. Encoding device.

An image in which a transmission side having an encoding device that predictively encodes an input image signal and a reception side having a decoding device that receives and decodes encoding information from the transmission unit are connected via a transmission path In signal transmission systems,
The receiving side decoding device includes: a receiving unit connected to the transmission path; a receiving side decoding unit that performs predictive decoding; a receiving side prediction unit; and errors in the receiving unit and the receiving side decoding unit An error control unit that conceals an error occurrence part by detection and performs output control of a decoded reproduction image, and an error information transmission part that transmits error information indicating the error occurrence part to the transmission side,
The transmission-side encoding apparatus includes a transmission unit connected to the transmission path, an encoding unit that performs predictive encoding, a transmission-side decoding unit, first and second transmission-side prediction units, and the reception An error information receiving unit that receives the error information from the transmission unit, an error correction unit that inputs the error information received by the error information receiving unit, and a round-trip transmission delay time between the transmitting side and the receiving side Storing prediction information from the first transmission-side prediction unit, and a memory for storing encoding information for at least one encoded frame from the encoding unit,
The error correction unit uses the second transmission side prediction unit based on the error information, the encoded information stored in the memory, and the prediction information, and the decoded image at the time of error occurrence and the error occurrence time 1 When the decoded image before the frame is played back on the time axis and the reproduced image by error concealment control that conceals the error occurrence part is compared with the reproduced image that does not perform error concealment control, and the difference is large reconstructs a second transmission-side prediction unit a reproduced image of the present time based on a reproduced image due to error concealment control, when the difference is small is characterized by having a configuration for performing control not to perform reconstruction Image signal transmission system.