JPH114450A - デジタル動画像データの伝送システム - Google Patents
デジタル動画像データの伝送システムInfo
- Publication number
- JPH114450A JPH114450A JP17296197A JP17296197A JPH114450A JP H114450 A JPH114450 A JP H114450A JP 17296197 A JP17296197 A JP 17296197A JP 17296197 A JP17296197 A JP 17296197A JP H114450 A JPH114450 A JP H114450A
- Authority
- JP
- Japan
- Prior art keywords
- block
- data
- block data
- inter
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Abstract
(57)【要約】
【課題】 INTRAブロックとINTERブロックと
が混在するデジタル動画像データの伝送において、所期
の品質の動画像データを安定して伝送する。 【解決手段】 送信側装置1は、情報源符号化器3でデ
ジタル動画像データをマクロブロックに分割してINT
RAブロック又はINTERブロックを生成し、送信手
段4、5でこれら符号化されたブロックデータを誤り検
出符号を付して伝送路10へ送信する。受信側装置11
は、受信手段12、13で符号化ブロックデータを受信
し、誤りの生じた符号化ブロックデータを破棄するとと
もに差替手段14で差替ブロックデータと差し替える。
そして、情報源復号化器でデジタル動画像データを再生
した後、画像補間・補正器16で差替ブロックに対応す
る部分を、隣接するINTRAブロックに基づいた補間
処理或いは隣接するINTERブロックに基づいた補正
処理を行う。
が混在するデジタル動画像データの伝送において、所期
の品質の動画像データを安定して伝送する。 【解決手段】 送信側装置1は、情報源符号化器3でデ
ジタル動画像データをマクロブロックに分割してINT
RAブロック又はINTERブロックを生成し、送信手
段4、5でこれら符号化されたブロックデータを誤り検
出符号を付して伝送路10へ送信する。受信側装置11
は、受信手段12、13で符号化ブロックデータを受信
し、誤りの生じた符号化ブロックデータを破棄するとと
もに差替手段14で差替ブロックデータと差し替える。
そして、情報源復号化器でデジタル動画像データを再生
した後、画像補間・補正器16で差替ブロックに対応す
る部分を、隣接するINTRAブロックに基づいた補間
処理或いは隣接するINTERブロックに基づいた補正
処理を行う。
Description
【0001】
【発明の属する技術分野】本発明は、デジタル動画像デ
ータをマクロブロックに分割して符号化し、この符号化
ブロックデータを伝送するシステムに関し、特に、マク
ロブロックをフレーム内符号化したINTRAブロック
とフレーム間符号化したINTERブロックとを混在さ
せて伝送し、伝送誤りの生じたブロックデータについて
INTRAブロックとINTERブロックとの特性を利
用した補間又は補正処理を行うデジタル動画像データの
伝送システムに関する。
ータをマクロブロックに分割して符号化し、この符号化
ブロックデータを伝送するシステムに関し、特に、マク
ロブロックをフレーム内符号化したINTRAブロック
とフレーム間符号化したINTERブロックとを混在さ
せて伝送し、伝送誤りの生じたブロックデータについて
INTRAブロックとINTERブロックとの特性を利
用した補間又は補正処理を行うデジタル動画像データの
伝送システムに関する。
【0002】
【従来の技術】デジタル動画像データの伝送において
は、データ伝送量が多くなることから伝送速度の向上等
を図るために、従来より、MPEG、H.26X、モー
ションJPEG等といった種々な符号化方式を用いて伝
送するデジタル動画像データを圧縮符号化することが行
われている。
は、データ伝送量が多くなることから伝送速度の向上等
を図るために、従来より、MPEG、H.26X、モー
ションJPEG等といった種々な符号化方式を用いて伝
送するデジタル動画像データを圧縮符号化することが行
われている。
【0003】例えば、MPEG方式では、時間的に連続
して動画像を構成している多数のフレーム(ピクチャ)
に対して、各フレーム毎には画像データを矩形のマクロ
ブロックに分割して離散コサイン変換(DCT)、量子
化、ハフマン符号化を行うフレーム内符号化を施すとと
もに、各フレーム間には動きベクトルを用いて動き補償
フレーム間予測符号化を施している。また、H.26X
方式はテレビ会議システムやテレビ電話システム等に用
いられる動画像符号化方式であり、このH.26X方式
では、MPEG方式とほぼ同様な符号化処理を行うが、
オプションとして誤り訂正符号を付加したり、H.22
1による多重化やH.242によるプロトコル等を用い
ることにより、動画像伝送の信頼性を高めることを実現
している。
して動画像を構成している多数のフレーム(ピクチャ)
に対して、各フレーム毎には画像データを矩形のマクロ
ブロックに分割して離散コサイン変換(DCT)、量子
化、ハフマン符号化を行うフレーム内符号化を施すとと
もに、各フレーム間には動きベクトルを用いて動き補償
フレーム間予測符号化を施している。また、H.26X
方式はテレビ会議システムやテレビ電話システム等に用
いられる動画像符号化方式であり、このH.26X方式
では、MPEG方式とほぼ同様な符号化処理を行うが、
オプションとして誤り訂正符号を付加したり、H.22
1による多重化やH.242によるプロトコル等を用い
ることにより、動画像伝送の信頼性を高めることを実現
している。
【0004】このようにフレーム内符号化とフレーム間
符号化とを併用する符号化方式によると、符号化された
データ中には、マクロブロックをフレーム内符号化した
INTRAブロックと、マクロブロックをフレーム間符
号化したINTERブロックとが混在する。そして、こ
れらマクロブロックのデータを送信側の装置から有線や
無線の伝送路を介して伝送し、これらブロックデータを
受信側の装置で受信して復号化し、元の動画像データを
再生している。
符号化とを併用する符号化方式によると、符号化された
データ中には、マクロブロックをフレーム内符号化した
INTRAブロックと、マクロブロックをフレーム間符
号化したINTERブロックとが混在する。そして、こ
れらマクロブロックのデータを送信側の装置から有線や
無線の伝送路を介して伝送し、これらブロックデータを
受信側の装置で受信して復号化し、元の動画像データを
再生している。
【0005】
【発明が解決しようとする課題】ここで、データ伝送に
おいては外乱等によって伝送誤りが生ずることがあり、
特に、無線区間を含むような低品質の伝送路を用いた場
合には伝送誤りの発生頻度が高く、所期の品質の動画像
データを安定して伝送することができなかった。なお、
H.261方式では伝送データを一定長毎に分割して、
これに対してパリティビットを付加する一種の誤り訂正
符号(BCH誤り訂正符号)が使用可能であり、これに
よって、2ビットのランダム誤り或いは6ビットまでの
バースト誤りを訂正することができる。しかしながら、
例えば上記のような低品質の伝送路を用いる場合には、
このような誤り訂正の能力を上回ってしまうことがあ
り、上記の問題を満足に解決するには至っていなかっ
た。また、静止画像データの伝送においては、伝送誤り
が生じたブロックデータを再送する再送処理が採用され
るが、動画像データの伝送にはリアルタイム性が要求さ
れるため、再送処理を採用するとこの要求に反してしま
うこととなる。
おいては外乱等によって伝送誤りが生ずることがあり、
特に、無線区間を含むような低品質の伝送路を用いた場
合には伝送誤りの発生頻度が高く、所期の品質の動画像
データを安定して伝送することができなかった。なお、
H.261方式では伝送データを一定長毎に分割して、
これに対してパリティビットを付加する一種の誤り訂正
符号(BCH誤り訂正符号)が使用可能であり、これに
よって、2ビットのランダム誤り或いは6ビットまでの
バースト誤りを訂正することができる。しかしながら、
例えば上記のような低品質の伝送路を用いる場合には、
このような誤り訂正の能力を上回ってしまうことがあ
り、上記の問題を満足に解決するには至っていなかっ
た。また、静止画像データの伝送においては、伝送誤り
が生じたブロックデータを再送する再送処理が採用され
るが、動画像データの伝送にはリアルタイム性が要求さ
れるため、再送処理を採用するとこの要求に反してしま
うこととなる。
【0006】本発明は上記従来の事情に鑑みなされたも
ので、INTRAブロックとINTERブロックとが混
在するデジタル動画像データの伝送において、所期の品
質の動画像データを安定して伝送することを目的とす
る。
ので、INTRAブロックとINTERブロックとが混
在するデジタル動画像データの伝送において、所期の品
質の動画像データを安定して伝送することを目的とす
る。
【0007】
【課題を解決するための手段】本発明では、INTRA
ブロックとINTERブロックとが混在するデジタル動
画像データの伝送において、伝送誤りが生じたマクロブ
ロック部分についての補間又は補正処理を、隣接する他
のマクロブロックの特性(INTRAブロック又はIN
TERブロック)に基づく相関性を利用して行い、これ
によって、所期の品質の動画像データを安定して伝送す
ることを実現する。
ブロックとINTERブロックとが混在するデジタル動
画像データの伝送において、伝送誤りが生じたマクロブ
ロック部分についての補間又は補正処理を、隣接する他
のマクロブロックの特性(INTRAブロック又はIN
TERブロック)に基づく相関性を利用して行い、これ
によって、所期の品質の動画像データを安定して伝送す
ることを実現する。
【0008】このために、本発明に係るデジタル動画像
データの伝送システムは、デジタル動画像データを符号
化して送信する送信側装置と、当該符号化データを受信
して復号化する受信側装置と、を備え、送信側装置から
受信側装置への伝送において発生した誤りを補間又は補
正する。すなわち、送信側装置では、符号化手段により
デジタル動画像データをマクロブロックに分割してIN
TRAブロック又はINTERブロックを生成し、この
符号化されたブロックデータを誤り検出符号を付して送
信手段から送信する。
データの伝送システムは、デジタル動画像データを符号
化して送信する送信側装置と、当該符号化データを受信
して復号化する受信側装置と、を備え、送信側装置から
受信側装置への伝送において発生した誤りを補間又は補
正する。すなわち、送信側装置では、符号化手段により
デジタル動画像データをマクロブロックに分割してIN
TRAブロック又はINTERブロックを生成し、この
符号化されたブロックデータを誤り検出符号を付して送
信手段から送信する。
【0009】一方、受信側装置では、送信側装置から伝
送路を介して送信された符号化ブロックデータを受信手
段で受信し、この符号化ブロックデータを誤り検出手段
で誤り検出符号に基づいて検査して、誤りの生じた符号
化ブロックデータを破棄する。そして、差替手段が破棄
されたブロックデータを復号化可能な所定のビットパタ
ーンデータ(例えば黒画素パターン)から成る差替ブロ
ックデータと差し替え、復号化手段が差し替えられた差
替ブロックデータを正常に受信された他のブロックデー
タと共に復号化してデジタル動画像データを再生する。
送路を介して送信された符号化ブロックデータを受信手
段で受信し、この符号化ブロックデータを誤り検出手段
で誤り検出符号に基づいて検査して、誤りの生じた符号
化ブロックデータを破棄する。そして、差替手段が破棄
されたブロックデータを復号化可能な所定のビットパタ
ーンデータ(例えば黒画素パターン)から成る差替ブロ
ックデータと差し替え、復号化手段が差し替えられた差
替ブロックデータを正常に受信された他のブロックデー
タと共に復号化してデジタル動画像データを再生する。
【0010】そして更に、受信側装置では、差替ブロッ
クデータで差し替えたブロックに隣接する正常受信され
たブロックデータ中にINTERブロックが存在する場
合には、補正手段が当該INTERブロックの動きベク
トルを用いて当該差し替えたブロックの動きベクトルを
推定し、当該動きベクトルにより動き予測されたブロッ
クの画素値を隣接するブロックデータの画素値を用いて
補正する一方、差替ブロックデータで差し替えたブロッ
クに隣接する正常受信されたブロックデータ中にINT
ERブロックが存在しない(すなわち、INTRAブロ
ックのみの)場合には、補間手段が隣接するINTRA
ブロックの画素値を用いて当該差替ブロックデータの画
素値を補間する。
クデータで差し替えたブロックに隣接する正常受信され
たブロックデータ中にINTERブロックが存在する場
合には、補正手段が当該INTERブロックの動きベク
トルを用いて当該差し替えたブロックの動きベクトルを
推定し、当該動きベクトルにより動き予測されたブロッ
クの画素値を隣接するブロックデータの画素値を用いて
補正する一方、差替ブロックデータで差し替えたブロッ
クに隣接する正常受信されたブロックデータ中にINT
ERブロックが存在しない(すなわち、INTRAブロ
ックのみの)場合には、補間手段が隣接するINTRA
ブロックの画素値を用いて当該差替ブロックデータの画
素値を補間する。
【0011】このように、本発明では、伝送誤りが生じ
たブロックデータを復号化可能な差替ブロックデータに
差し替えて破棄し、この状態でデジタル動画像データに
復号化して再生した後、差替ブロックデータ部分を隣接
する正常受信されたブロックデータに基づいて補正又は
補間する。この補正処理は差替ブロックデータで差し替
えたブロックに隣接する正常受信されたブロックデータ
中にINTERブロックが存在する場合に行われ、フレ
ーム間符号化に対応する動きベクトルを推定するととも
に、動きベクトルで動き予測されたブロックの画素値を
周囲のブロックデータの画素値を用いて補正する。この
結果、破棄されたマクロブロック部分の動きベクトル及
びこの動きベクトルにより動き予測されたマクロブロッ
クの画素値が得られ、再生されたデジタル動画像データ
中の対応するマクロブロック部分が補正される。
たブロックデータを復号化可能な差替ブロックデータに
差し替えて破棄し、この状態でデジタル動画像データに
復号化して再生した後、差替ブロックデータ部分を隣接
する正常受信されたブロックデータに基づいて補正又は
補間する。この補正処理は差替ブロックデータで差し替
えたブロックに隣接する正常受信されたブロックデータ
中にINTERブロックが存在する場合に行われ、フレ
ーム間符号化に対応する動きベクトルを推定するととも
に、動きベクトルで動き予測されたブロックの画素値を
周囲のブロックデータの画素値を用いて補正する。この
結果、破棄されたマクロブロック部分の動きベクトル及
びこの動きベクトルにより動き予測されたマクロブロッ
クの画素値が得られ、再生されたデジタル動画像データ
中の対応するマクロブロック部分が補正される。
【0012】また、補間処理は、差替ブロックデータで
差し替えたブロックに隣接する正常受信されたブロック
データ中にINTERブロックが存在しない場合に行わ
れ、フレーム内符号化に対応して当該ブロックデータの
画素値を周囲のブロックデータの画素値を用いて補間す
る。この結果、破棄されたマクロブロック部分の画素値
が得られ、再生されたデジタル動画像データ中の対応す
るマクロブロック部分が補正される。なお、送信装置側
での符号化に際して各符号化ブロックデータに符号化の
方式を示す識別情報を付しておく、送信側から符号化ブ
ロックを送信する際に各符号化ブロックデータの符号化
方式を示す識別情報を付加する等といった処理が行われ
ることから、INTRAブロックであるかINTERブ
ロックであるかの判断はこのような識別情報に基づいて
行う。
差し替えたブロックに隣接する正常受信されたブロック
データ中にINTERブロックが存在しない場合に行わ
れ、フレーム内符号化に対応して当該ブロックデータの
画素値を周囲のブロックデータの画素値を用いて補間す
る。この結果、破棄されたマクロブロック部分の画素値
が得られ、再生されたデジタル動画像データ中の対応す
るマクロブロック部分が補正される。なお、送信装置側
での符号化に際して各符号化ブロックデータに符号化の
方式を示す識別情報を付しておく、送信側から符号化ブ
ロックを送信する際に各符号化ブロックデータの符号化
方式を示す識別情報を付加する等といった処理が行われ
ることから、INTRAブロックであるかINTERブ
ロックであるかの判断はこのような識別情報に基づいて
行う。
【0013】
【発明の実施の形態】本発明の一実施形態を図面を参照
して説明する。図1には、本実施形態に係るデジタル動
画像データの伝送システムを示してあり、この伝送シス
テムは伝送路10を境にして、デジタル動画像データを
符号化して伝送路10へ送信する送信側装置1と、当該
符号化データを伝送路10から受信して復号化する受信
側装置11とを備えている。
して説明する。図1には、本実施形態に係るデジタル動
画像データの伝送システムを示してあり、この伝送シス
テムは伝送路10を境にして、デジタル動画像データを
符号化して伝送路10へ送信する送信側装置1と、当該
符号化データを伝送路10から受信して復号化する受信
側装置11とを備えている。
【0014】送信側装置1は、ビデオカメラ等から入力
された映像信号をA/D変換器2でデジタル動画像デー
タへ変換し、情報源符号化器3でデジタル動画像データ
の1フレーム毎にマクロブロックへの分割を行ってフレ
ーム内符号化或いはフレーム間符号化、量子化並びにエ
ントロピ符号化を行い、誤り訂正符号化及び通信フレー
ム作成器4でINTRAブロック或いはINTERブロ
ックとして符号化されたブロックデータを1つ又は複数
個まとめて誤り検出訂正符号(FCS)を付加した可変
長通信フレーム(HDLC)に構成し、このHDLCフ
レームを変調器5で伝送路10に適した形式に変調して
送信する。
された映像信号をA/D変換器2でデジタル動画像デー
タへ変換し、情報源符号化器3でデジタル動画像データ
の1フレーム毎にマクロブロックへの分割を行ってフレ
ーム内符号化或いはフレーム間符号化、量子化並びにエ
ントロピ符号化を行い、誤り訂正符号化及び通信フレー
ム作成器4でINTRAブロック或いはINTERブロ
ックとして符号化されたブロックデータを1つ又は複数
個まとめて誤り検出訂正符号(FCS)を付加した可変
長通信フレーム(HDLC)に構成し、このHDLCフ
レームを変調器5で伝送路10に適した形式に変調して
送信する。
【0015】すなわち、情報源符号化器3が、デジタル
動画像データをマクロブロックに分割してフレーム内符
号化したINTRAブロック又はフレーム間符号化した
INTERブロックを生成する符号化手段を構成し、誤
り訂正符号化及び通信フレーム作成器4並びに変調器5
が、符号化されたブロックデータを誤り検出符号を付し
て伝送路10へ送信する送信手段を構成している。
動画像データをマクロブロックに分割してフレーム内符
号化したINTRAブロック又はフレーム間符号化した
INTERブロックを生成する符号化手段を構成し、誤
り訂正符号化及び通信フレーム作成器4並びに変調器5
が、符号化されたブロックデータを誤り検出符号を付し
て伝送路10へ送信する送信手段を構成している。
【0016】受信側装置11は、復調器12で伝送路1
0から受信したHDLCフレームを復調し、誤り訂正復
号化及び通信フレーム分解器13で誤り検出訂正符号に
基づいて当該HDLCフレームの伝送誤りを検査すると
ともにHDLCフレームを分解して符号化ブロックデー
タを取り出す。この際、伝送誤りが検出された符号化ブ
ロックデータは誤り訂正復号化及び通信フレーム分解器
13で破棄され、特定ビットパターン差替器14で当該
破棄されたブロックデータが復号化可能なビットパター
ンから成る差替ブロックデータに差し替えられる。
0から受信したHDLCフレームを復調し、誤り訂正復
号化及び通信フレーム分解器13で誤り検出訂正符号に
基づいて当該HDLCフレームの伝送誤りを検査すると
ともにHDLCフレームを分解して符号化ブロックデー
タを取り出す。この際、伝送誤りが検出された符号化ブ
ロックデータは誤り訂正復号化及び通信フレーム分解器
13で破棄され、特定ビットパターン差替器14で当該
破棄されたブロックデータが復号化可能なビットパター
ンから成る差替ブロックデータに差し替えられる。
【0017】なお、本発明では、差替ブロックデータと
して復号化可能なビットパターンであれば特に限定はな
いが、本例では黒画素一色のビットパターンを差替ブロ
ックデータとして用い、このように黒や白のモノトーン
のビットパターンを用いることにより差替ブロックデー
タのデータ量を小さくすることができる。また、本例で
は誤り検出訂正符号を用いていることから、誤り訂正を
行っても依然誤りを訂正し得ない符号化ブロックデータ
を破棄するようにしてもよい。
して復号化可能なビットパターンであれば特に限定はな
いが、本例では黒画素一色のビットパターンを差替ブロ
ックデータとして用い、このように黒や白のモノトーン
のビットパターンを用いることにより差替ブロックデー
タのデータ量を小さくすることができる。また、本例で
は誤り検出訂正符号を用いていることから、誤り訂正を
行っても依然誤りを訂正し得ない符号化ブロックデータ
を破棄するようにしてもよい。
【0018】そして、受信側装置11は、情報源復号化
器15で伝送誤りを生ずることなく正常に受信された符
号化データ及び差替ブロックデータを符号化に対応して
復号化し、フレーム毎のデジタル画像データを再生す
る。そして更に、受信側装置11は、画像補間・補正器
16で画像データ中の差替ブロックデータ部分を隣接す
るマクロブロックとの相関を利用して後述するように補
間或いは補正し、この補間或いは補正されたデジタル動
画像データをD/A変換器17で映像信号に変換してデ
ィスプレイ装置等へ出力する。
器15で伝送誤りを生ずることなく正常に受信された符
号化データ及び差替ブロックデータを符号化に対応して
復号化し、フレーム毎のデジタル画像データを再生す
る。そして更に、受信側装置11は、画像補間・補正器
16で画像データ中の差替ブロックデータ部分を隣接す
るマクロブロックとの相関を利用して後述するように補
間或いは補正し、この補間或いは補正されたデジタル動
画像データをD/A変換器17で映像信号に変換してデ
ィスプレイ装置等へ出力する。
【0019】すなわち、復調器12が送信側装置1から
送信された符号化ブロックデータを受信する受信手段を
構成し、誤り訂正復号化及び通信フレーム分解器13が
受信した符号化ブロックデータを誤り検出符号に基づい
て検査して誤りの生じた符号化ブロックデータを破棄す
る誤り検出手段を構成し、特定ビットパターン差替器1
4が破棄されたブロックデータを復号化可能な所定のビ
ットパターンデータから成る差替ブロックデータと差し
替える差替手段を構成し、情報源復号化器15が差し替
えられた差替ブロックデータを正常に受信された符号化
ブロックデータと共に復号化してデジタル動画像データ
を再生する復号化手段を構成し、画像補間・補正器16
が差替ブロックデータ部分を周囲に隣接するINTER
ブロック又はINTRAブロックとの相関性を利用して
補正又は補間する補正手段及び補間手段を構成してい
る。
送信された符号化ブロックデータを受信する受信手段を
構成し、誤り訂正復号化及び通信フレーム分解器13が
受信した符号化ブロックデータを誤り検出符号に基づい
て検査して誤りの生じた符号化ブロックデータを破棄す
る誤り検出手段を構成し、特定ビットパターン差替器1
4が破棄されたブロックデータを復号化可能な所定のビ
ットパターンデータから成る差替ブロックデータと差し
替える差替手段を構成し、情報源復号化器15が差し替
えられた差替ブロックデータを正常に受信された符号化
ブロックデータと共に復号化してデジタル動画像データ
を再生する復号化手段を構成し、画像補間・補正器16
が差替ブロックデータ部分を周囲に隣接するINTER
ブロック又はINTRAブロックとの相関性を利用して
補正又は補間する補正手段及び補間手段を構成してい
る。
【0020】図2の(a)には上記したHDLCフレー
ムの基本構造を示し、同図の(b)には符号化ブロック
データをHDLCフレームに構成した構造を示してあ
る。HDLCフレームは、基本的には、先頭と終端に開
始フラグと終了フラグが付され、送信先等のアドレス情
報を含むアドレス部、種々な制御情報を含む制御部、可
変長のデータフィールド、伝送誤りを検出訂正するため
のFCSから成る構造である。
ムの基本構造を示し、同図の(b)には符号化ブロック
データをHDLCフレームに構成した構造を示してあ
る。HDLCフレームは、基本的には、先頭と終端に開
始フラグと終了フラグが付され、送信先等のアドレス情
報を含むアドレス部、種々な制御情報を含む制御部、可
変長のデータフィールド、伝送誤りを検出訂正するため
のFCSから成る構造である。
【0021】そして、本例ではこのフレーム構造を用い
て、データフィールドに1つ又は複数個の符号化ブロッ
クデータを包含させるとともに、制御部に圧縮条件情報
やマクロブロック番号情報を包含させて伝送している。
なお、圧縮条件とは量子化テーブル、間引き率、画素数
等の組合せパターンを例えば4ビットデータで表した情
報であり、受信側装置11ではこの圧縮条件に応じた復
号化処理を行う。また、マクロブロック番号とHDLC
フレーム自体又はHDLCフレームに包含される各符号
化ブロックデータの通し番号であり、このマクロブロッ
ク番号に基づいて、破棄されたフレーム又は符号化ブロ
ックデータの画像中における位置を判断することができ
る。
て、データフィールドに1つ又は複数個の符号化ブロッ
クデータを包含させるとともに、制御部に圧縮条件情報
やマクロブロック番号情報を包含させて伝送している。
なお、圧縮条件とは量子化テーブル、間引き率、画素数
等の組合せパターンを例えば4ビットデータで表した情
報であり、受信側装置11ではこの圧縮条件に応じた復
号化処理を行う。また、マクロブロック番号とHDLC
フレーム自体又はHDLCフレームに包含される各符号
化ブロックデータの通し番号であり、このマクロブロッ
ク番号に基づいて、破棄されたフレーム又は符号化ブロ
ックデータの画像中における位置を判断することができ
る。
【0022】上記のように符号化処理、送信処理、受信
処理、復号化処理、補間及び補正処理を行うことによっ
て、本実施形態の伝送システムでは送信側装置1から受
信側装置へのデジタル動画像データの伝送を行うが、本
発明の要部に係る受信側装置11での受信処理、並び
に、補間及び補正処理を更に詳しく説明する。図3には
受信処理の手順を示してあり、伝送路10から復調器1
2でHDLCフレームを受信すると(ステップS1)、
誤り訂正復号化及び通信フレーム分解器13でこの通信
フレームが正常に受信し得たか否かをFCSにより判断
する(ステップS2)。そして、伝送誤りにより正常受
信し得なかった場合には、特定ビットパターン差替器1
4で当該通信フレームに包含されている符号化ブロック
データを破棄するとともに差替ブロックデータに差し替
える(ステップS3)。
処理、復号化処理、補間及び補正処理を行うことによっ
て、本実施形態の伝送システムでは送信側装置1から受
信側装置へのデジタル動画像データの伝送を行うが、本
発明の要部に係る受信側装置11での受信処理、並び
に、補間及び補正処理を更に詳しく説明する。図3には
受信処理の手順を示してあり、伝送路10から復調器1
2でHDLCフレームを受信すると(ステップS1)、
誤り訂正復号化及び通信フレーム分解器13でこの通信
フレームが正常に受信し得たか否かをFCSにより判断
する(ステップS2)。そして、伝送誤りにより正常受
信し得なかった場合には、特定ビットパターン差替器1
4で当該通信フレームに包含されている符号化ブロック
データを破棄するとともに差替ブロックデータに差し替
える(ステップS3)。
【0023】そして、正常受信し得た通信フレームから
の符号化ブロックデータ及び差替ブロックデータを情報
源復号化器15で復号化し(ステップS4)、上記の一
連の処理(ステップS1〜S4)を繰り返し行うことに
より、1画面分(1フレーム分)のデジタル画像データ
を受信して再生復号化する(ステップS5)。そして、
差替ブロックデータ部分については、図4に示す手順に
よって補間又は補正処理を行い(ステップS6)、この
後、D/A変換した映像信号を出力する。
の符号化ブロックデータ及び差替ブロックデータを情報
源復号化器15で復号化し(ステップS4)、上記の一
連の処理(ステップS1〜S4)を繰り返し行うことに
より、1画面分(1フレーム分)のデジタル画像データ
を受信して再生復号化する(ステップS5)。そして、
差替ブロックデータ部分については、図4に示す手順に
よって補間又は補正処理を行い(ステップS6)、この
後、D/A変換した映像信号を出力する。
【0024】画像補間・補正器16で行なう補間又は補
正処理は、対象としている動画像データ中の1画面フレ
ームについて、全てのマクロブロックを1つ1つ走査し
て行われる(ステップS11)。すなわち、個々のマク
ロブロックを取り出して(ステップS12)、当該マク
ロブロックが伝送誤りが生じた符号化ブロックデータ
(差替ブロックデータ)に対応するものかをマクロブロ
ック番号に基づいて判断する(ステップS13)。この
結果、差替ブロックデータに対応する場合には、当該マ
クロブロックに四方から隣接するマクロブロックが全て
INTRAブロックであるかをその識別情報に基づいて
判断し(ステップS14)、全てINTRAブロックで
ある場合にはフレーム内相関を利用した補間処理を行う
一方(ステップS15)、1つでもINTERブロック
がある場合にはフレーム間相関を利用した補正処理を行
う(ステップS16)。
正処理は、対象としている動画像データ中の1画面フレ
ームについて、全てのマクロブロックを1つ1つ走査し
て行われる(ステップS11)。すなわち、個々のマク
ロブロックを取り出して(ステップS12)、当該マク
ロブロックが伝送誤りが生じた符号化ブロックデータ
(差替ブロックデータ)に対応するものかをマクロブロ
ック番号に基づいて判断する(ステップS13)。この
結果、差替ブロックデータに対応する場合には、当該マ
クロブロックに四方から隣接するマクロブロックが全て
INTRAブロックであるかをその識別情報に基づいて
判断し(ステップS14)、全てINTRAブロックで
ある場合にはフレーム内相関を利用した補間処理を行う
一方(ステップS15)、1つでもINTERブロック
がある場合にはフレーム間相関を利用した補正処理を行
う(ステップS16)。
【0025】フレーム内相関を利用した補間処理(ステ
ップS15)は、本例では、補間する画素と参照する画
素との画素間距離に応じた重み付け平均により行ってい
る。すなわち、図5に示すように、補間対象のマクロブ
ロック中の或る画素の値Xを、隣接する正常受信された
マクロブロック中(本例では、隣接画素)の画素の値A
〜D、及び、値Xの画素と各画素との距離p〜sを用い
て、(式1)の演算式から求める。なお、図5及び図7
に示す本例では、マクロブロックを4画素×4画素から
成る矩形ブロックとしている。
ップS15)は、本例では、補間する画素と参照する画
素との画素間距離に応じた重み付け平均により行ってい
る。すなわち、図5に示すように、補間対象のマクロブ
ロック中の或る画素の値Xを、隣接する正常受信された
マクロブロック中(本例では、隣接画素)の画素の値A
〜D、及び、値Xの画素と各画素との距離p〜sを用い
て、(式1)の演算式から求める。なお、図5及び図7
に示す本例では、マクロブロックを4画素×4画素から
成る矩形ブロックとしている。
【0026】
【数1】
【0027】一方、フレーム間相関を利用した補正処理
(ステップS16)は、動きベクトルの推定処理と、推
定された動きベクトルにより動き予測されたマクロブロ
ック(差替ブロックデータ部分)の各画素の値を補正す
る処理とを実行することにより行われる。まず、動きベ
クトルの推定処理は、本例では、図6に示すように、補
間対象のマクロブロックの動きベクトル”X”を、隣接
する正常受信されたINTERブロックの動きベクト
ル”A”〜”H”、及び、動きベクトル”X”のブロッ
クXと各動きベクトル”A”〜”H”のINTERブロ
ックA〜Hとの距離a〜hを用いて、(式2)の演算式
からブロック間距離に応じた重み平均により求める。な
お、ブロックA〜H中でINTERブロックでないもの
は、そのベクトルをゼロとして演算する。また、図6に
示す例では、隣接する8つのマクロブロックから動きベ
クトルを推定しているが、画素値補間を同様に四方から
隣接する四留のマクロブロックから動きベクトルを推定
するように設定してもよい。
(ステップS16)は、動きベクトルの推定処理と、推
定された動きベクトルにより動き予測されたマクロブロ
ック(差替ブロックデータ部分)の各画素の値を補正す
る処理とを実行することにより行われる。まず、動きベ
クトルの推定処理は、本例では、図6に示すように、補
間対象のマクロブロックの動きベクトル”X”を、隣接
する正常受信されたINTERブロックの動きベクト
ル”A”〜”H”、及び、動きベクトル”X”のブロッ
クXと各動きベクトル”A”〜”H”のINTERブロ
ックA〜Hとの距離a〜hを用いて、(式2)の演算式
からブロック間距離に応じた重み平均により求める。な
お、ブロックA〜H中でINTERブロックでないもの
は、そのベクトルをゼロとして演算する。また、図6に
示す例では、隣接する8つのマクロブロックから動きベ
クトルを推定しているが、画素値補間を同様に四方から
隣接する四留のマクロブロックから動きベクトルを推定
するように設定してもよい。
【0028】
【数2】
【0029】そして、推定された動きベクトルにより動
き予測されたマクロブロック(すなわち、差替ブロック
部分)の各画素値の補正処理は、本例では、図7に示す
ように、補正対象のマクロブロック中の或る画素の値X
を、隣接する正常受信されたマクロブロック中(本例で
は、隣接画素)の画素の値A〜D、及び、値Xの画素と
各画素との距離i〜mを用いて、(式3)の演算式に従
って画素間距離に応じた重み付け平均を行うことによ
り、補正された画素値X’として求める。
き予測されたマクロブロック(すなわち、差替ブロック
部分)の各画素値の補正処理は、本例では、図7に示す
ように、補正対象のマクロブロック中の或る画素の値X
を、隣接する正常受信されたマクロブロック中(本例で
は、隣接画素)の画素の値A〜D、及び、値Xの画素と
各画素との距離i〜mを用いて、(式3)の演算式に従
って画素間距離に応じた重み付け平均を行うことによ
り、補正された画素値X’として求める。
【0030】
【数3】
【0031】上記のような補間処理及び補正処理の結
果、デジタル動画像データ中の差替ブロックデータを用
いて復号再生された部分が、隣接する正常に受信された
マクロブロックに基づいて本来の画像に近いものに復元
される。このため、例えば低品質の伝送路10を用いた
伝送を行う場合に、リアルタイム性を損なう再送処理を
行わずとも、受信側装置は或る一定以上の品質の視認性
がよい動画像データを得ることができる。
果、デジタル動画像データ中の差替ブロックデータを用
いて復号再生された部分が、隣接する正常に受信された
マクロブロックに基づいて本来の画像に近いものに復元
される。このため、例えば低品質の伝送路10を用いた
伝送を行う場合に、リアルタイム性を損なう再送処理を
行わずとも、受信側装置は或る一定以上の品質の視認性
がよい動画像データを得ることができる。
【0032】なお、本発明は、有線、無線を問わず種々
な伝送路を用いた動画像データ伝送システムに適用可能
であるが、特に、無線区間を含むような低品質の伝送路
を用いたシステムに適用して大きな効果が得られる。ま
た、本発明は、動画像データを符号化して送信する機能
と動画像データを受信して復号化する機能とを兼備した
複数の送受信装置によって動画像データ伝送システムを
構成する場合にも勿論適用することができる。また、上
記した実施形態では、誤り検出訂正符号を用いた例を示
したが、本発明においては、この符号に基づく訂正処理
は必須ではないので、単に伝送誤りを検出する誤り検出
符号を用いるようにしてもよい。
な伝送路を用いた動画像データ伝送システムに適用可能
であるが、特に、無線区間を含むような低品質の伝送路
を用いたシステムに適用して大きな効果が得られる。ま
た、本発明は、動画像データを符号化して送信する機能
と動画像データを受信して復号化する機能とを兼備した
複数の送受信装置によって動画像データ伝送システムを
構成する場合にも勿論適用することができる。また、上
記した実施形態では、誤り検出訂正符号を用いた例を示
したが、本発明においては、この符号に基づく訂正処理
は必須ではないので、単に伝送誤りを検出する誤り検出
符号を用いるようにしてもよい。
【0033】また、上記した実施形態では、画素値の補
間及び補正、更には、動きベクトルの推定を、隣接する
4つ或いは8つのマクロブロックに基づいて行ったが、
本発明では、隣接する2つのマクロブロックに基づいて
処理する、隣接する8つのマクロブロックの更に外側に
位置して間接的に隣接するマクロブロックに基づいて処
理する等といったように種々な態様に変更することがで
きる。また、上記した実施形態では、隣接する全てのマ
クロブロックがINTRAブロックである場合に補間処
理を行うようにしたが、本発明では、これらブロックが
全て正常受信されていることまでは必要ではなく、要
は、隣接するマクロブロック中に正常受信されたINT
ERブロックが1つもなく、且つ、隣接するマクロブロ
ック中に正常受信されたINTRAブロックが1つでも
あればよく、この正常受信されたINTRAブロックに
基づいて補間処理を行えばよい。
間及び補正、更には、動きベクトルの推定を、隣接する
4つ或いは8つのマクロブロックに基づいて行ったが、
本発明では、隣接する2つのマクロブロックに基づいて
処理する、隣接する8つのマクロブロックの更に外側に
位置して間接的に隣接するマクロブロックに基づいて処
理する等といったように種々な態様に変更することがで
きる。また、上記した実施形態では、隣接する全てのマ
クロブロックがINTRAブロックである場合に補間処
理を行うようにしたが、本発明では、これらブロックが
全て正常受信されていることまでは必要ではなく、要
は、隣接するマクロブロック中に正常受信されたINT
ERブロックが1つもなく、且つ、隣接するマクロブロ
ック中に正常受信されたINTRAブロックが1つでも
あればよく、この正常受信されたINTRAブロックに
基づいて補間処理を行えばよい。
【0034】また、上記した実施形態では、(式1)〜
(式3)の演算処理として重み付けに距離を用いた例を
示したが、本発明では、重みとして距離以外の値を用い
るようにしてもよい。例えば、動きベクトルの推定演算
を例にとると、式(4)及び図8の(A)(B)に示す
ように、予め設定した任意の値a〜hを用いた重み付け
平均を行うようにしてもよい。なお、図8(A)に示す
ものは、縦方向及び横方向の動きベクトルを強調して推
定演算を行うために、縦方向及び横方向の重みb、g、
d、eの値を大きくし、斜め方向の重みa、c、f、h
値を小さくしている。また、図8(B)に示すものは、
横方向の動きベクトルを強調して推定演算を行うため
に、横方向の重みd、eの値を大きくし、縦方向の重み
b、gの値を小さくし、斜め方向の重みa、c、f、h
値を更に小さくしている。
(式3)の演算処理として重み付けに距離を用いた例を
示したが、本発明では、重みとして距離以外の値を用い
るようにしてもよい。例えば、動きベクトルの推定演算
を例にとると、式(4)及び図8の(A)(B)に示す
ように、予め設定した任意の値a〜hを用いた重み付け
平均を行うようにしてもよい。なお、図8(A)に示す
ものは、縦方向及び横方向の動きベクトルを強調して推
定演算を行うために、縦方向及び横方向の重みb、g、
d、eの値を大きくし、斜め方向の重みa、c、f、h
値を小さくしている。また、図8(B)に示すものは、
横方向の動きベクトルを強調して推定演算を行うため
に、横方向の重みd、eの値を大きくし、縦方向の重み
b、gの値を小さくし、斜め方向の重みa、c、f、h
値を更に小さくしている。
【0035】
【数4】
【0036】
【発明の効果】以上説明したように、本発明によれば、
伝送誤りに起因して差替ブロックデータによって差し替
えられたデジタル動画像データ中のマクロブロックを、
隣接するINTRAブロック又はINTERブロックに
基づいて補間又は補正するようにしたため、低品質の伝
送路を用いた場合にあっても、所期の品質の動画像デー
タを安定して伝送することができる。また、伝送誤りが
生じたブロックデータを再送する処理を行わずとも一定
以上の品質を確保することができるため、動画像データ
の伝送に要求されるリアルタイム性を満足させた視認性
のよい動画像データを伝送することができる。
伝送誤りに起因して差替ブロックデータによって差し替
えられたデジタル動画像データ中のマクロブロックを、
隣接するINTRAブロック又はINTERブロックに
基づいて補間又は補正するようにしたため、低品質の伝
送路を用いた場合にあっても、所期の品質の動画像デー
タを安定して伝送することができる。また、伝送誤りが
生じたブロックデータを再送する処理を行わずとも一定
以上の品質を確保することができるため、動画像データ
の伝送に要求されるリアルタイム性を満足させた視認性
のよい動画像データを伝送することができる。
【図1】 本発明の一実施形態に係る動画像データ伝送
システムの構成図である。
システムの構成図である。
【図2】 動画像データの伝送に用いる通信フレームの
一例を示すフレーム構造図である。
一例を示すフレーム構造図である。
【図3】 受信処理の手順の一例を示すフローチャート
である。
である。
【図4】 補間処理及び補正処理の手順の一例を示すフ
ローチャートである。
ローチャートである。
【図5】 画素補間処理の一例を説明する概念図であ
る。
る。
【図6】 動きベクトル推定処理の一例を説明する概念
図である。
図である。
【図7】 画素補正処理の一例を説明する概念図であ
る。
る。
【図8】 動きベクトル推定処理の他の一例を説明する
概念図である。
概念図である。
1・・・送信側装置、 3・・・情報源符号化器、4・
・・誤り訂正符号化及び通信フレーム作成器、 5・・
・変調器、10・・・伝送路、 11・・・受信側装
置、 12・・・復調器、13・・・誤り訂正復号化及
び通信フレーム分解器、14・・・特定ビットパターン
差替器、 15・・・情報源復号化器、16・・・画像
補間・補正器、
・・誤り訂正符号化及び通信フレーム作成器、 5・・
・変調器、10・・・伝送路、 11・・・受信側装
置、 12・・・復調器、13・・・誤り訂正復号化及
び通信フレーム分解器、14・・・特定ビットパターン
差替器、 15・・・情報源復号化器、16・・・画像
補間・補正器、
Claims (1)
- 【請求項1】 デジタル動画像データを符号化して送信
する送信側装置と、当該符号化データを受信して復号化
する受信側装置と、を備えたデジタル動画像データの伝
送システムにおいて、 送信側装置は、 デジタル動画像データをマクロブロックに分割してフレ
ーム内符号化したINTRAブロック又はフレーム間符
号化したINTERブロックを生成する符号化手段と、 符号化されたブロックデータを誤り検出符号を付して送
信する送信手段と、を備え、 受信側装置は、 送信側装置から送信された前記符号化ブロックデータを
受信する受信手段と、 受信した符号化ブロックデータを誤り検出符号に基づい
て検査して、誤りの生じた符号化ブロックデータを破棄
する誤り検出手段と、 前記破棄されたブロックデータを復号化可能な所定のビ
ットパターンデータから成る差替ブロックデータと差し
替える差替手段と、 差し替えられた差替ブロックデータを正常に受信された
ブロックデータと共に復号化してデジタル動画像データ
を再生する復号化手段と、 差替ブロックデータで差し替えたブロックに隣接する正
常受信されたブロックデータ中にINTERブロックが
存在する場合には当該INTERブロックの動きベクト
ルを用いて当該差し替えたブロックの動きベクトルを推
定し、当該差し替えたブロックの周囲のブロックデータ
の画素値を用いて当該動きベクトルにより動き予測され
たブロックの画素値を補正する補正手段と、 差替ブロックデータで差し替えたブロックに隣接する正
常受信されたブロックデータ中にINTERブロックが
存在しない場合には隣接するINTRAブロックの画素
値を用いて当該差替ブロックデータの画素値を補間する
補間手段と、 を備えたことを特徴とするデジタル動画像データの伝送
システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17296197A JPH114450A (ja) | 1997-06-13 | 1997-06-13 | デジタル動画像データの伝送システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17296197A JPH114450A (ja) | 1997-06-13 | 1997-06-13 | デジタル動画像データの伝送システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH114450A true JPH114450A (ja) | 1999-01-06 |
Family
ID=15951577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17296197A Pending JPH114450A (ja) | 1997-06-13 | 1997-06-13 | デジタル動画像データの伝送システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH114450A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100774453B1 (ko) * | 2001-03-15 | 2007-11-08 | 엘지전자 주식회사 | 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법 |
JP2008259174A (ja) * | 2007-04-05 | 2008-10-23 | Mitsubishi Electric Research Laboratories Inc | コンピュータにより実施される動きベクトルのマッピング方法、動きベクトルをマッピングするトランスコーダ及び動きベクトルをマッピングするデコーダ |
JP2013048447A (ja) * | 2007-03-23 | 2013-03-07 | Qualcomm Inc | ディジタルビデオに対してエラー隠蔽を実行する方法 |
-
1997
- 1997-06-13 JP JP17296197A patent/JPH114450A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100774453B1 (ko) * | 2001-03-15 | 2007-11-08 | 엘지전자 주식회사 | 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법 |
JP2013048447A (ja) * | 2007-03-23 | 2013-03-07 | Qualcomm Inc | ディジタルビデオに対してエラー隠蔽を実行する方法 |
JP2008259174A (ja) * | 2007-04-05 | 2008-10-23 | Mitsubishi Electric Research Laboratories Inc | コンピュータにより実施される動きベクトルのマッピング方法、動きベクトルをマッピングするトランスコーダ及び動きベクトルをマッピングするデコーダ |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3630474B2 (ja) | 動画像伝送システム及び動画像伝送装置 | |
US8406287B2 (en) | Encoding device, encoding method, and program | |
US8780970B2 (en) | Motion wake identification and control mechanism | |
US20140079117A1 (en) | Encoding method and device, and decoding method and device | |
JP2006352181A (ja) | 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法 | |
US6298090B1 (en) | System for detecting redundant images in a video sequence by comparing two predetermined threshold values | |
JP3797209B2 (ja) | 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム | |
KR20050105630A (ko) | 동영상 화질 평가시스템 및 방법 | |
JP2004064300A (ja) | 画像送信システム、画像送信装置、および画像受信装置 | |
JP2002027463A (ja) | 画像符号化装置及び方法 | |
JPH114450A (ja) | デジタル動画像データの伝送システム | |
US20020136307A1 (en) | Image coding apparatus and image coding method | |
KR100363550B1 (ko) | 동영상 인코딩 장치 및 무선 단말기의 동영상 디코딩 장치 | |
JP2001045490A (ja) | 動画像信号の符号化装置及び符号化方法 | |
JP6222756B2 (ja) | 復号化方法 | |
JPH10341434A (ja) | 画像・音声データ通信システム | |
JPH06233266A (ja) | 映像符号化装置および映像復号化装置 | |
JP6647432B2 (ja) | 復号化方法 | |
JP6735370B2 (ja) | 復号化方法 | |
JPH0738722B2 (ja) | 動き補償符号化方法 | |
JP6434172B2 (ja) | 復号化方法 | |
JPH08205159A (ja) | 動画像伝送システム | |
JP4683050B2 (ja) | 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法 | |
JPH10136384A (ja) | 動画像の高能率符号化方式 | |
JP4046844B2 (ja) | 画像処理装置及びコンピュータ読み取り可能な記憶媒体 |