JPH09116903A - 階層化符号化装置および階層化復号化装置 - Google Patents
階層化符号化装置および階層化復号化装置Info
- Publication number
- JPH09116903A JPH09116903A JP26658995A JP26658995A JPH09116903A JP H09116903 A JPH09116903 A JP H09116903A JP 26658995 A JP26658995 A JP 26658995A JP 26658995 A JP26658995 A JP 26658995A JP H09116903 A JPH09116903 A JP H09116903A
- Authority
- JP
- Japan
- Prior art keywords
- error
- unit
- image
- signal
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Error Detection And Correction (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
Abstract
(57)【要約】
【課題】画像符号化・復号化装置において，誤りが発生
した場合においても復号画像の内容を把握でき，かつ画
像信号に割り当てられる実伝送速度を低下させることが
少ない装置を提供する。 【解決手段】符号化側で, 符号化される画像情報を伝送
すべき内容の重要性から階層化し(102),伝送の重要度の
高いものと低いものに対して選択的に保護能力の異なっ
た誤り訂正・誤り検出符号を施す処理等を行い(105) ,
誤りが発生した場合には各階層の信号単位に再送制御，
符号化制御を行う(106) 。受信側では，階層化された信
号に対して，誤り訂正(111) ，誤り検出・再送制御(11
0) 等を行い，各階層毎に符号化データを復号して(112)
，各階層化された信号から復号画像を再構築する(113)
。
した場合においても復号画像の内容を把握でき，かつ画
像信号に割り当てられる実伝送速度を低下させることが
少ない装置を提供する。 【解決手段】符号化側で, 符号化される画像情報を伝送
すべき内容の重要性から階層化し(102),伝送の重要度の
高いものと低いものに対して選択的に保護能力の異なっ
た誤り訂正・誤り検出符号を施す処理等を行い(105) ,
誤りが発生した場合には各階層の信号単位に再送制御，
符号化制御を行う(106) 。受信側では，階層化された信
号に対して，誤り訂正(111) ，誤り検出・再送制御(11
0) 等を行い，各階層毎に符号化データを復号して(112)
，各階層化された信号から復号画像を再構築する(113)
。
Description
【０００１】
【発明の属する技術分野】本発明は，無線伝送路やＬＡ
Ｎ等を用いて画像，音声等のマルチメディア情報を伝送
するマルチメディア通信装置等における画像符号化・復
号化装置に関するものである。
Ｎ等を用いて画像，音声等のマルチメディア情報を伝送
するマルチメディア通信装置等における画像符号化・復
号化装置に関するものである。
【０００２】
【従来の技術】一般的な画像符号化方式では，フレーム
間予測方式が用いられており，このような符号化方式で
は，前のフレームから現在のフレームを予測し，その予
測差分を伝送する。そのため，受信側で誤りが発生する
とその誤りを予測に利用し，継続する復号画像に誤りが
伝播するという現象が発生する。
間予測方式が用いられており，このような符号化方式で
は，前のフレームから現在のフレームを予測し，その予
測差分を伝送する。そのため，受信側で誤りが発生する
とその誤りを予測に利用し，継続する復号画像に誤りが
伝播するという現象が発生する。
【０００３】誤りのある伝送路上での画像符号化・伝送
方式の第１の従来例としては，誤った部分の再送や，誤
りの影響伝播を抑制するために，フレーム間予測を用い
ないで符号化するリフレッシュ操作を周期的に行う方法
等が検討されている。これは，誤りの伝播を防止するた
めのものである。
方式の第１の従来例としては，誤った部分の再送や，誤
りの影響伝播を抑制するために，フレーム間予測を用い
ないで符号化するリフレッシュ操作を周期的に行う方法
等が検討されている。これは，誤りの伝播を防止するた
めのものである。
【０００４】図５に，第１の従来技術として動き補償と
離散コサイン変換（ＤＣＴ）を組み合わせた一般的な画
像符号化方式と本従来例を組み合わせた場合の例を示
す。入力画像は差分部５０１で予測画像との差分が取ら
れ，ＤＣＴ部５０２で離散コサイン変換（ＤＣＴ）が行
われる。処理結果のＤＣＴ係数は，量子化部５０３で量
子化され，バッファ５０９に一時蓄積される。蓄積され
たデータは，誤り制御部５１０からの制御により読み出
され，伝送路等を介して送信される。誤り制御部５１０
では，受信側から誤り検出による再送指示があれば，バ
ッファ５０９に蓄積されているデータを再度読み出して
送信する。バッファ５０９に蓄積されているデータは，
受信側から正常受信通知が届くまで保存される。
離散コサイン変換（ＤＣＴ）を組み合わせた一般的な画
像符号化方式と本従来例を組み合わせた場合の例を示
す。入力画像は差分部５０１で予測画像との差分が取ら
れ，ＤＣＴ部５０２で離散コサイン変換（ＤＣＴ）が行
われる。処理結果のＤＣＴ係数は，量子化部５０３で量
子化され，バッファ５０９に一時蓄積される。蓄積され
たデータは，誤り制御部５１０からの制御により読み出
され，伝送路等を介して送信される。誤り制御部５１０
では，受信側から誤り検出による再送指示があれば，バ
ッファ５０９に蓄積されているデータを再度読み出して
送信する。バッファ５０９に蓄積されているデータは，
受信側から正常受信通知が届くまで保存される。
【０００５】量子化部５０３で量子化された信号は，逆
量子化部５０４で逆量子化された後，逆ＤＣＴ部５０５
で逆ＤＣＴが行われる。その結果に対して，差分部５０
１で差し引かれたものと同じ予測信号が加算部５０６で
加算され，フレームメモリ５０７に蓄積される。
量子化部５０４で逆量子化された後，逆ＤＣＴ部５０５
で逆ＤＣＴが行われる。その結果に対して，差分部５０
１で差し引かれたものと同じ予測信号が加算部５０６で
加算され，フレームメモリ５０７に蓄積される。
【０００６】フレーム差分制御部５０８では，フレーム
メモリ５０７に蓄積されている１フレーム前の符号化画
像を読み出し，予測信号として差分部５０１に送る。ま
た，フレーム差分制御部５０８では，予め定められたフ
レーム周期や受信側からのイントラ指示等を受信した誤
り制御部５１０からバッファ５０９を介した指示によ
り，差分部５０１への予測信号入力を取り止め，リフレ
ッシュ操作を行うためにイントラ符号化（フレーム内符
号化）に切り替える。
メモリ５０７に蓄積されている１フレーム前の符号化画
像を読み出し，予測信号として差分部５０１に送る。ま
た，フレーム差分制御部５０８では，予め定められたフ
レーム周期や受信側からのイントラ指示等を受信した誤
り制御部５１０からバッファ５０９を介した指示によ
り，差分部５０１への予測信号入力を取り止め，リフレ
ッシュ操作を行うためにイントラ符号化（フレーム内符
号化）に切り替える。
【０００７】伝送路等を介して送信された情報は，誤り
検出部５１１において受信誤りがないか判定され，受信
誤りがない場合には，逆量子化部５１２で逆量子化され
た後，逆ＤＣＴ部５１３で逆ＤＣＴが行われる。その結
果に対して，加算部５１４でフレームメモリ５１５に蓄
積されている１フレーム前の受信画像が予測信号として
加算され，出力されるとともに，フレームメモリ５１５
に蓄積される。誤り検出部５１１で受信誤りが検出され
た場合には，予め定められた規則により，送信側に再送
指示またはイントラ指示を送る。
検出部５１１において受信誤りがないか判定され，受信
誤りがない場合には，逆量子化部５１２で逆量子化され
た後，逆ＤＣＴ部５１３で逆ＤＣＴが行われる。その結
果に対して，加算部５１４でフレームメモリ５１５に蓄
積されている１フレーム前の受信画像が予測信号として
加算され，出力されるとともに，フレームメモリ５１５
に蓄積される。誤り検出部５１１で受信誤りが検出され
た場合には，予め定められた規則により，送信側に再送
指示またはイントラ指示を送る。
【０００８】第２の従来例として，電子情報通信学会論
文誌，Ｂ−Ｉ，Vol.Ｊ７０−Ｂ−Ｉ，Ｎo.１，pp.40-47
（1993），「ＡＴＭ網用可変レート映像符号化装置の試
作とセル損耐性評価」のような復号画像における誤りに
よる影響度合を階層化し，伝送する方法等がある。ここ
で述べられている方法は，ＡＴＭ網等のセル損が発生す
る可能性のある伝送路を対象とし，画像符号化で頻繁に
利用される離散コサイン変換（ＤＣＴ）符号化に適用さ
れるもので，情報の周波数成分に対応するＤＣＴ係数に
おいて，各係数を画質に大きな影響を与える部分ＭＳＰ
（Most Significant Part)と，画質に大きな影響を与え
ない部分ＬＳＰ（Least Significant Part）とに分類
し，ＭＳＰの伝送優先度を高くすることによって，セル
損，すなわち誤りが発生した場合においても映像品質の
劣化を抑制する方法である。
文誌，Ｂ−Ｉ，Vol.Ｊ７０−Ｂ−Ｉ，Ｎo.１，pp.40-47
（1993），「ＡＴＭ網用可変レート映像符号化装置の試
作とセル損耐性評価」のような復号画像における誤りに
よる影響度合を階層化し，伝送する方法等がある。ここ
で述べられている方法は，ＡＴＭ網等のセル損が発生す
る可能性のある伝送路を対象とし，画像符号化で頻繁に
利用される離散コサイン変換（ＤＣＴ）符号化に適用さ
れるもので，情報の周波数成分に対応するＤＣＴ係数に
おいて，各係数を画質に大きな影響を与える部分ＭＳＰ
（Most Significant Part)と，画質に大きな影響を与え
ない部分ＬＳＰ（Least Significant Part）とに分類
し，ＭＳＰの伝送優先度を高くすることによって，セル
損，すなわち誤りが発生した場合においても映像品質の
劣化を抑制する方法である。
【０００９】図６に本方式の構成例を第２の従来技術と
して示す。入力画像は差分部６０１で予測画像との差分
が取られ，ＤＣＴ部６０２でＤＣＴが行われる。処理結
果のＤＣＴ係数は，量子化部６０３で量子化され，階層
化部６０４でＭＳＰとＬＳＰに分離される。分離された
情報は多重部６０９で多重化され伝送路等を介して送信
される。
して示す。入力画像は差分部６０１で予測画像との差分
が取られ，ＤＣＴ部６０２でＤＣＴが行われる。処理結
果のＤＣＴ係数は，量子化部６０３で量子化され，階層
化部６０４でＭＳＰとＬＳＰに分離される。分離された
情報は多重部６０９で多重化され伝送路等を介して送信
される。
【００１０】階層化部６０４で分離された情報のうち，
ＭＳＰに関する部分は逆量子化部６０５で逆量子化され
た後，逆ＤＣＴ部６０６で逆ＤＣＴが行われる。その結
果に対し，差分部６０１で差し引かれたものと同じ予測
信号が加算部６０７で加算され，フレームメモリ６０８
に蓄積される。フレームメモリ６０８に蓄積されている
１フレーム前の符号化画像は，予測信号として差分部６
０１に送られる。
ＭＳＰに関する部分は逆量子化部６０５で逆量子化され
た後，逆ＤＣＴ部６０６で逆ＤＣＴが行われる。その結
果に対し，差分部６０１で差し引かれたものと同じ予測
信号が加算部６０７で加算され，フレームメモリ６０８
に蓄積される。フレームメモリ６０８に蓄積されている
１フレーム前の符号化画像は，予測信号として差分部６
０１に送られる。
【００１１】伝送路等を介して送信された情報は，分離
部６１０でＭＳＰとＬＳＰとに分離され，ＬＳＰは逆量
子化部６１１で逆量子化された後，逆ＤＣＴ部６１２で
逆ＤＣＴが行われ，その後，加算部６１７に送られる。
ＭＳＰは逆量子化部６１３で逆量子化された後，逆ＤＣ
Ｔ部６１４で逆ＤＣＴが行われ，その処理結果に対し，
加算部６１５でフレームメモリ６１６に蓄積されている
１フレーム前の受信画像が予測信号として加算され，加
算部６１７に送られるとともに，フレームメモリ６１６
に蓄積される。加算部６１７では，復号されたＭＳＰと
ＬＳＰとを加算し，完全な復号画像を得る。この際，多
重部６０９，分離部６１０では，ＭＳＰ情報は信頼性の
高い（誤りの少ない）ルートで送受信し，ＬＳＰは信頼
性の低いルートで送受信される。分離部６１０では，Ｌ
ＳＰ側に誤りが検出された場合，受信情報を破棄する。
部６１０でＭＳＰとＬＳＰとに分離され，ＬＳＰは逆量
子化部６１１で逆量子化された後，逆ＤＣＴ部６１２で
逆ＤＣＴが行われ，その後，加算部６１７に送られる。
ＭＳＰは逆量子化部６１３で逆量子化された後，逆ＤＣ
Ｔ部６１４で逆ＤＣＴが行われ，その処理結果に対し，
加算部６１５でフレームメモリ６１６に蓄積されている
１フレーム前の受信画像が予測信号として加算され，加
算部６１７に送られるとともに，フレームメモリ６１６
に蓄積される。加算部６１７では，復号されたＭＳＰと
ＬＳＰとを加算し，完全な復号画像を得る。この際，多
重部６０９，分離部６１０では，ＭＳＰ情報は信頼性の
高い（誤りの少ない）ルートで送受信し，ＬＳＰは信頼
性の低いルートで送受信される。分離部６１０では，Ｌ
ＳＰ側に誤りが検出された場合，受信情報を破棄する。
【００１２】また，第３の従来例として，ＮＴＴＲ＆
Ｄ，Vol.４３，Ｎo.４，pp.373-380（1994），「ＰＳＩ
−ＣＥＬＰの誤り制御と信号処理技術」に示されている
ような無線伝送路等の誤りが多発する伝送路上における
情報の符号化・伝送方法がある。ここで述べられている
方法は，携帯電話等の移動無線上での音声信号の符号化
・伝送に関するもので，符号化されたデータ上で再生音
声への影響が大きな部分と影響が小さな部分に分類し，
各部分の誤り訂正方法を変更し，影響の大きな部分に対
する訂正能力を大きくし，影響が小さな部分に対する訂
正能力を小さくすることで音声情報に割り当てられる実
伝送速度を低下させないで音声品質の劣化を抑制するも
のである。
Ｄ，Vol.４３，Ｎo.４，pp.373-380（1994），「ＰＳＩ
−ＣＥＬＰの誤り制御と信号処理技術」に示されている
ような無線伝送路等の誤りが多発する伝送路上における
情報の符号化・伝送方法がある。ここで述べられている
方法は，携帯電話等の移動無線上での音声信号の符号化
・伝送に関するもので，符号化されたデータ上で再生音
声への影響が大きな部分と影響が小さな部分に分類し，
各部分の誤り訂正方法を変更し，影響の大きな部分に対
する訂正能力を大きくし，影響が小さな部分に対する訂
正能力を小さくすることで音声情報に割り当てられる実
伝送速度を低下させないで音声品質の劣化を抑制するも
のである。
【００１３】図７に第３の従来技術である本方式の構成
例を示す。入力信号は符号化器７０１で符号化された
後，ビット選別部７０２において復号信号の品質に影響
が高い部分と低い部分に分離され，影響の高い部分は，
誤り訂正符号化部７０３でＣＲＣ，畳込符号化等による
誤り訂正符号化され，影響の小さい部分は，マッピング
部７０４で誤りが発生した場合の影響が小さくなるよう
に量子化結果とビット符号の割り当てを行う。誤り訂正
符号化部７０３，マッピング部７０４のデータは，ビッ
トインタリーブ部７０５で，誤りが発生した場合でも誤
りが分散するようにビットの並び替えが行われる。
例を示す。入力信号は符号化器７０１で符号化された
後，ビット選別部７０２において復号信号の品質に影響
が高い部分と低い部分に分離され，影響の高い部分は，
誤り訂正符号化部７０３でＣＲＣ，畳込符号化等による
誤り訂正符号化され，影響の小さい部分は，マッピング
部７０４で誤りが発生した場合の影響が小さくなるよう
に量子化結果とビット符号の割り当てを行う。誤り訂正
符号化部７０３，マッピング部７０４のデータは，ビッ
トインタリーブ部７０５で，誤りが発生した場合でも誤
りが分散するようにビットの並び替えが行われる。
【００１４】伝送路等を介して送信された情報はデビッ
トインタリーブ部７０６で，逆に並べ替えられ，誤り訂
正復号部７０７，および逆マッピング部７０８で復号さ
れ，復号器／補完処理部７０９で復号および欠落した情
報の補完が行われる。
トインタリーブ部７０６で，逆に並べ替えられ，誤り訂
正復号部７０７，および逆マッピング部７０８で復号さ
れ，復号器／補完処理部７０９で復号および欠落した情
報の補完が行われる。
【００１５】
【発明が解決しようとする課題】しかしながら，上記第
１の従来例では，再送やリフレッシュを行うことによ
り，誤りがない場合に比べ著しく画像情報の実伝送速度
が低下するため，十分な伝送レートを画像信号に割り当
てることができず，復号画像品質が劣化してしまう問題
があった。
１の従来例では，再送やリフレッシュを行うことによ
り，誤りがない場合に比べ著しく画像情報の実伝送速度
が低下するため，十分な伝送レートを画像信号に割り当
てることができず，復号画像品質が劣化してしまう問題
があった。
【００１６】また，第２，第３の従来例においては，保
護対象を変換係数上や符号化データ上で設定しているた
め，実際の画像上での誤りの影響を忠実に反映すること
が困難であり，誤りが発生したときの影響を十分に抑制
できない場合があったり，内容を把握し難い画像となる
場合があるなどの問題があった。
護対象を変換係数上や符号化データ上で設定しているた
め，実際の画像上での誤りの影響を忠実に反映すること
が困難であり，誤りが発生したときの影響を十分に抑制
できない場合があったり，内容を把握し難い画像となる
場合があるなどの問題があった。
【００１７】本発明は上記の点に鑑みてなされたもの
で，上記のような欠点を除去し，誤りが発生した場合に
おいても復号画像の内容を把握でき，かつ画像信号に割
り当てられる実伝送速度を低下させることが少ない画像
符号化・復号化装置を提供することを目的とする。
で，上記のような欠点を除去し，誤りが発生した場合に
おいても復号画像の内容を把握でき，かつ画像信号に割
り当てられる実伝送速度を低下させることが少ない画像
符号化・復号化装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】本発明は，符号化される
画像情報を伝送すべき内容の重要性から階層化し，伝送
の重要度の高いものと低いものに対して選択的に保護能
力の異なった誤り訂正符号を施したり，誤り検出時に選
択的に再送やリフレッシュ処理を行い，受信側では，誤
りの多い部分を破棄し表示するなどの復号画像の表示処
理方法を変更させ，符号化データを伝送する手段を持つ
ことを特徴とする。
画像情報を伝送すべき内容の重要性から階層化し，伝送
の重要度の高いものと低いものに対して選択的に保護能
力の異なった誤り訂正符号を施したり，誤り検出時に選
択的に再送やリフレッシュ処理を行い，受信側では，誤
りの多い部分を破棄し表示するなどの復号画像の表示処
理方法を変更させ，符号化データを伝送する手段を持つ
ことを特徴とする。
【００１９】携帯電話等に用いられている移動無線伝送
路等においては，アンテナと端末の間の距離が離れると
電波減衰が大きくなり，通常の有線伝送路に比べて伝送
誤りが多発する。さらに，端末の移動速度や周辺の建物
等の影響でレーリーフェージングと呼ばれる誤りが発生
する。また，ＬＡＮやＡＴＭ等のパケットやセル構造を
利用した伝送路では，情報が輻輳した場合等に，パケッ
ト廃棄等が発生し誤りが発生する。
路等においては，アンテナと端末の間の距離が離れると
電波減衰が大きくなり，通常の有線伝送路に比べて伝送
誤りが多発する。さらに，端末の移動速度や周辺の建物
等の影響でレーリーフェージングと呼ばれる誤りが発生
する。また，ＬＡＮやＡＴＭ等のパケットやセル構造を
利用した伝送路では，情報が輻輳した場合等に，パケッ
ト廃棄等が発生し誤りが発生する。
【００２０】このような誤りの多い伝送路においても画
像情報を伝送することが要求されており，本発明を利用
すれば，画像情報を内容の重要性に従って階層化し，よ
り重要度の高いものは訂正能力の高い誤り訂正符号化を
施して伝送したり，誤りが検出された場合には再送，リ
フレッシュ等を要求したりできるため，誤りが発生した
場合においても画像情報の表示において重要な部分を品
質良く伝送できる。
像情報を伝送することが要求されており，本発明を利用
すれば，画像情報を内容の重要性に従って階層化し，よ
り重要度の高いものは訂正能力の高い誤り訂正符号化を
施して伝送したり，誤りが検出された場合には再送，リ
フレッシュ等を要求したりできるため，誤りが発生した
場合においても画像情報の表示において重要な部分を品
質良く伝送できる。
【００２１】
【発明の実施の形態】図１に本発明の全体構成の例を示
す。入力画像は画像特徴抽出部１０１で動き情報や差分
情報等の特徴量が計算され，階層化部１０２で画像特徴
抽出部１０１の情報をもとに画像の階層化が行われる。
階層化された情報は，階層別符号化部１０３で各階層毎
に符号化され，各階層のバッファ１０４に一時蓄積され
る。各階層のバッファ１０４のデータは階層別誤り訂正
・誤り検出符号付与部１０５において，各階層毎に誤り
訂正または誤り検出符号が付加され，誤り制御部１０
６，伝送インタフェース（伝送ＩＦ）１０７を介して，
伝送路等に送出される。受信側からの再送指示等を伝送
インタフェース（伝送ＩＦ）１０７で受信した場合に
は，誤り制御部１０６を介して，階層別誤り訂正・誤り
検出符号付与部１０５が駆動され，各階層のバッファ１
０４のデータが再度読み出され，送信される。
す。入力画像は画像特徴抽出部１０１で動き情報や差分
情報等の特徴量が計算され，階層化部１０２で画像特徴
抽出部１０１の情報をもとに画像の階層化が行われる。
階層化された情報は，階層別符号化部１０３で各階層毎
に符号化され，各階層のバッファ１０４に一時蓄積され
る。各階層のバッファ１０４のデータは階層別誤り訂正
・誤り検出符号付与部１０５において，各階層毎に誤り
訂正または誤り検出符号が付加され，誤り制御部１０
６，伝送インタフェース（伝送ＩＦ）１０７を介して，
伝送路等に送出される。受信側からの再送指示等を伝送
インタフェース（伝送ＩＦ）１０７で受信した場合に
は，誤り制御部１０６を介して，階層別誤り訂正・誤り
検出符号付与部１０５が駆動され，各階層のバッファ１
０４のデータが再度読み出され，送信される。
【００２２】伝送路等を介して送信された情報は，伝送
インタフェース（伝送ＩＦ）１０８で受信され，受信バ
ッファ１０９に一時蓄積される。誤り検出・再送制御部
１１０では，受信バッファ１０９のデータを読み出し，
誤り検出を行い，誤りがない場合にはそのまま階層別復
号部１１２に送る。また，誤り訂正部１１１では受信バ
ッファ１０９のデータを読み出し，誤り訂正を行い，訂
正後のデータを階層別復号部１１２に送る。階層別復号
部１１２では，各階層のデータの復号を行い，画像再構
成部１１３に送り，画像再構成部１１３は画像を再構成
する。誤り検出・再送制御部１１０で誤りが検出された
場合には，伝送インタフェース（伝送ＩＦ）１０８を介
して送信側に再送指示を送り，データの再受信を行う。
インタフェース（伝送ＩＦ）１０８で受信され，受信バ
ッファ１０９に一時蓄積される。誤り検出・再送制御部
１１０では，受信バッファ１０９のデータを読み出し，
誤り検出を行い，誤りがない場合にはそのまま階層別復
号部１１２に送る。また，誤り訂正部１１１では受信バ
ッファ１０９のデータを読み出し，誤り訂正を行い，訂
正後のデータを階層別復号部１１２に送る。階層別復号
部１１２では，各階層のデータの復号を行い，画像再構
成部１１３に送り，画像再構成部１１３は画像を再構成
する。誤り検出・再送制御部１１０で誤りが検出された
場合には，伝送インタフェース（伝送ＩＦ）１０８を介
して送信側に再送指示を送り，データの再受信を行う。
【００２３】図２は本発明の符号化側の装置の詳細な構
成例を示す図である。画像が入力されると，動き検出部
２０２において，フレームメモリ２０１に蓄積されてい
る１フレーム前のフレームとの間で動きを示す動きベク
トル情報が検出される。検出された動きベクトル情報
は，動きベクトルクラスタリング部２０３で分布が求め
られた後，各階層毎の動きベクトル情報等にクラスタリ
ングされる。その後，動き検出部２０２で求められた動
きベクトルと動きベクトルクラスタリング部２０３のク
ラスタリング結果は，比較器２０４で比較され，比較結
果に応じて入力画像信号はセレクタ２０５により階層毎
に分離される。
成例を示す図である。画像が入力されると，動き検出部
２０２において，フレームメモリ２０１に蓄積されてい
る１フレーム前のフレームとの間で動きを示す動きベク
トル情報が検出される。検出された動きベクトル情報
は，動きベクトルクラスタリング部２０３で分布が求め
られた後，各階層毎の動きベクトル情報等にクラスタリ
ングされる。その後，動き検出部２０２で求められた動
きベクトルと動きベクトルクラスタリング部２０３のク
ラスタリング結果は，比較器２０４で比較され，比較結
果に応じて入力画像信号はセレクタ２０５により階層毎
に分離される。
【００２４】ここで，動きベクトル情報のクラスタリン
グ結果による階層化の一例として，動きベクトル群を，
ランダムに変化する部分，一様に変化する部分，ほとん
ど変化しない部分というように分離することが考えられ
る。例えば８×８画素のブロック単位に求められた動き
ベクトルの塊が画面の中央付近でランダムに変化する部
分は，目的とする被写体が映っており，重要である可能
性が高い部分と考えられる。また，動きベクトルが全体
的に一様に変化する部分は，背景や構造物などがカメラ
の動きで流れている部分などであり，比較的重要性が低
い部分と考えられる。さらに，動きベクトルがほとんど
変化しない部分は，遠景などの画像情報としてあまり重
要でない部分である可能性が高いと考えられる。もちろ
ん，他の画像特徴量の違いに着目して階層化することも
可能である。階層化ではこれらを分離して，以下に説明
するように選択的に保護能力の異なる誤り訂正，誤り検
出・再送制御等を行う。
グ結果による階層化の一例として，動きベクトル群を，
ランダムに変化する部分，一様に変化する部分，ほとん
ど変化しない部分というように分離することが考えられ
る。例えば８×８画素のブロック単位に求められた動き
ベクトルの塊が画面の中央付近でランダムに変化する部
分は，目的とする被写体が映っており，重要である可能
性が高い部分と考えられる。また，動きベクトルが全体
的に一様に変化する部分は，背景や構造物などがカメラ
の動きで流れている部分などであり，比較的重要性が低
い部分と考えられる。さらに，動きベクトルがほとんど
変化しない部分は，遠景などの画像情報としてあまり重
要でない部分である可能性が高いと考えられる。もちろ
ん，他の画像特徴量の違いに着目して階層化することも
可能である。階層化ではこれらを分離して，以下に説明
するように選択的に保護能力の異なる誤り訂正，誤り検
出・再送制御等を行う。
【００２５】セレクタ２０５により分離された画像信号
のうち，フレーム間符号化される情報は，差分部２０７
で予測信号との差分が取られ，予測差分信号はＤＣＴ部
２０６でＤＣＴが行われる。フレーム内（イントラ）符
号化される信号は，直接ＤＣＴ部２０６に送られる。Ｄ
ＣＴ部２０６で求められたＤＣＴ係数は，量子化部２０
８で量子化された後，可変長符号化部２１４で符号化さ
れる。
のうち，フレーム間符号化される情報は，差分部２０７
で予測信号との差分が取られ，予測差分信号はＤＣＴ部
２０６でＤＣＴが行われる。フレーム内（イントラ）符
号化される信号は，直接ＤＣＴ部２０６に送られる。Ｄ
ＣＴ部２０６で求められたＤＣＴ係数は，量子化部２０
８で量子化された後，可変長符号化部２１４で符号化さ
れる。
【００２６】量子化部２０８の出力は，逆量子化部２０
９で逆量子化され，逆ＤＣＴ部２１０で逆ＤＣＴが行わ
れる。逆ＤＣＴ部２１０の結果のうち，フレーム間符号
化が行われた信号については，加算部２１１で予測信号
との加算が行われ，フレーム内符号化された情報ととも
にフレームメモリ２１２に蓄積される。フレームメモリ
２１２の信号は，動き補償部２１３でこれから符号化さ
れるフレームの信号との動き補償が行われ，補償結果に
よりフレームメモリ２１２の信号が読み出され，予測信
号として差分部２０７に送られる。
９で逆量子化され，逆ＤＣＴ部２１０で逆ＤＣＴが行わ
れる。逆ＤＣＴ部２１０の結果のうち，フレーム間符号
化が行われた信号については，加算部２１１で予測信号
との加算が行われ，フレーム内符号化された情報ととも
にフレームメモリ２１２に蓄積される。フレームメモリ
２１２の信号は，動き補償部２１３でこれから符号化さ
れるフレームの信号との動き補償が行われ，補償結果に
よりフレームメモリ２１２の信号が読み出され，予測信
号として差分部２０７に送られる。
【００２７】さらに，可変長符号化部２１４のデータ
は，データバッファ２１５で一時蓄積され，そのまま伝
送インタフェース（伝送ＩＦ）２１９で送出される場合
と，誤り訂正符号化部２１６で誤り訂正符号が付加され
た後，伝送インタフェース（伝送ＩＦ）２１９で送出さ
れる場合と，誤り検出符号化部２１７で誤り検出符号が
付加された後，再送制御部２１８を介して伝送インタフ
ェース（伝送ＩＦ）２１９で送出される場合とに分けら
れる。伝送インタフェース（伝送ＩＦ）２１９では，受
信側からの再送指示を受信した場合，再送制御部２１８
に通知し，再送制御部２１８では，データバッファ２１
５から再度情報を読み出し，送信する。
は，データバッファ２１５で一時蓄積され，そのまま伝
送インタフェース（伝送ＩＦ）２１９で送出される場合
と，誤り訂正符号化部２１６で誤り訂正符号が付加され
た後，伝送インタフェース（伝送ＩＦ）２１９で送出さ
れる場合と，誤り検出符号化部２１７で誤り検出符号が
付加された後，再送制御部２１８を介して伝送インタフ
ェース（伝送ＩＦ）２１９で送出される場合とに分けら
れる。伝送インタフェース（伝送ＩＦ）２１９では，受
信側からの再送指示を受信した場合，再送制御部２１８
に通知し，再送制御部２１８では，データバッファ２１
５から再度情報を読み出し，送信する。
【００２８】図３は本発明の復号側の装置の詳細な構成
例を示す図である。復号側において，データは伝送イン
タフェース（伝送ＩＦ）３０１を介して受信され，各階
層毎に階層分離部３０２で分離され，受信バッファ３０
３に一時蓄積される。受信バッファ３０３に蓄積された
データのうち，誤り訂正符号化されているものは誤り訂
正復号部３０４で誤り訂正処理が行われ，受信バッファ
３０３に蓄積されたデータのうち，誤り検出符号化され
ているものは，誤り検出・再送制御部３０５で誤り検出
が行われ，誤りがある場合には，再送指示が伝送インタ
フェース（伝送ＩＦ）３０１を介して送信側に送出され
る。
例を示す図である。復号側において，データは伝送イン
タフェース（伝送ＩＦ）３０１を介して受信され，各階
層毎に階層分離部３０２で分離され，受信バッファ３０
３に一時蓄積される。受信バッファ３０３に蓄積された
データのうち，誤り訂正符号化されているものは誤り訂
正復号部３０４で誤り訂正処理が行われ，受信バッファ
３０３に蓄積されたデータのうち，誤り検出符号化され
ているものは，誤り検出・再送制御部３０５で誤り検出
が行われ，誤りがある場合には，再送指示が伝送インタ
フェース（伝送ＩＦ）３０１を介して送信側に送出され
る。
【００２９】誤り検出・再送制御部３０５で誤りが検出
されなかった場合には，受信バッファ３０３，誤り訂正
復号部３０４の出力とともに可変長復号部３０６により
可変長復号され，復号されたデータは逆量子化部３０７
で逆量子化された後，逆ＤＣＴ部３０８で逆ＤＣＴが行
われる。逆ＤＣＴ部３０８の出力のうち，フレーム間符
号化されている信号は，加算部３０９でフレームメモリ
３１０の信号と加算され，逆ＤＣＴ部３０８，加算部３
０９の出力が画像再構成部３１１で復号画像として再構
成される。
されなかった場合には，受信バッファ３０３，誤り訂正
復号部３０４の出力とともに可変長復号部３０６により
可変長復号され，復号されたデータは逆量子化部３０７
で逆量子化された後，逆ＤＣＴ部３０８で逆ＤＣＴが行
われる。逆ＤＣＴ部３０８の出力のうち，フレーム間符
号化されている信号は，加算部３０９でフレームメモリ
３１０の信号と加算され，逆ＤＣＴ部３０８，加算部３
０９の出力が画像再構成部３１１で復号画像として再構
成される。
【００３０】
【発明の効果】本発明の効果のイメージを図４に示す。
例えば図４に示すように，原画像４１は階層化により，
第１階層４２，第２階層４３，第３階層４４の３階層に
分離され，第１階層４２は誤り検出により再送が行わ
れ，第２階層４３は誤り訂正符号化が行われ，第３階層
４４は誤り検出・破棄が行われる。この場合，受信側で
誤りが発生した場合，第１階層４２は，受信した第１階
層４５のように誤りがなくなるまで再送され，第２階層
４３は，受信した第２階層４６のように誤り訂正能力範
囲内は訂正され，それ以上の場合は若干の誤り影響が発
生する。第３階層４４は，受信した第３階層４７のよう
に破棄される。
例えば図４に示すように，原画像４１は階層化により，
第１階層４２，第２階層４３，第３階層４４の３階層に
分離され，第１階層４２は誤り検出により再送が行わ
れ，第２階層４３は誤り訂正符号化が行われ，第３階層
４４は誤り検出・破棄が行われる。この場合，受信側で
誤りが発生した場合，第１階層４２は，受信した第１階
層４５のように誤りがなくなるまで再送され，第２階層
４３は，受信した第２階層４６のように誤り訂正能力範
囲内は訂正され，それ以上の場合は若干の誤り影響が発
生する。第３階層４４は，受信した第３階層４７のよう
に破棄される。
【００３１】受信した第１階層４５，受信した第２階層
４６，受信した第３階層４７から再構築された画像は，
復号画像４８に示すように第１階層４２を中心とする重
要な部分の情報が保存された形で復号される。
４６，受信した第３階層４７から再構築された画像は，
復号画像４８に示すように第１階層４２を中心とする重
要な部分の情報が保存された形で復号される。
【００３２】上述のように本発明を用いれば，誤りが発
生した場合においても画像情報の表示において重要な部
分を品質良く伝送できるため，画像情報の内容把握等で
問題が発生しない品質の良い画像通信の実現が可能とな
る。
生した場合においても画像情報の表示において重要な部
分を品質良く伝送できるため，画像情報の内容把握等で
問題が発生しない品質の良い画像通信の実現が可能とな
る。
【００３３】ここでは，３階層への分離の例を示した
が，２階層や４階層またはそれ以上の階層としてもかま
わない。また，誤り訂正，誤り検出・再送の組み合わせ
を示したが，誤り訂正能力の違いや方式の違いなどの組
み合わせであってもかまわない。
が，２階層や４階層またはそれ以上の階層としてもかま
わない。また，誤り訂正，誤り検出・再送の組み合わせ
を示したが，誤り訂正能力の違いや方式の違いなどの組
み合わせであってもかまわない。
【図１】本発明の全体構成の例を示す図である。
【図２】符号化側の装置の詳細な構成例を示す図であ
る。
る。
【図３】復号側の装置の詳細な構成例を示す図である。
【図４】本発明の効果を説明する図である。
【図５】第１の従来技術の例を示す図である。
【図６】第２の従来技術の例を示す図である。
【図７】第３の従来技術の例を示す図である。
１０１ 画像特徴抽出部 １０２ 階層化部 １０３ 階層別符号化部 １０４ 各階層のバッファ １０５ 階層別誤り訂正・誤り検出符号付与部 １０６ 誤り制御部 １０７ 伝送インタフェース（伝送ＩＦ） １０８ 伝送インタフェース（伝送ＩＦ） １０９ 受信バッファ １１０ 誤り検出・再送制御部 １１１ 誤り訂正部 １１２ 階層別復号部 １１３ 画像再構成部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 1/41 Ｈ０４Ｎ 1/41 Ｂ 7/32 7/137 Ａ (72)発明者 富田 靖浩 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内 (72)発明者 木村 司 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内
Claims (2)
- 【請求項１】 画像信号を符号化する画像符号化装置で
あって，入力画像信号を画像特徴量の違いにより複数の
階層化された信号に分離する階層化部と，各階層化され
た信号の符号化部と，該符号化部で符号化された符号化
データ毎に，誤り訂正符号もしくは誤り検出符号の付加
またはその両方を行う階層別誤り訂正・誤り検出符号付
与部と，誤りが発生した場合に各階層の信号単位に再送
制御，符号化制御を行う誤り制御部とを有することを特
徴とする階層化符号化装置。 - 【請求項２】 階層化されて符号化された画像信号を復
号する画像復号化装置であって，復号対象の信号の誤り
検出復号を行い，誤りを検出して再送制御を行う誤り検
出・再送制御部と，復号対象の信号の誤り訂正復号を行
い，誤りを訂正する誤り訂正部と，各階層化された信号
の符号化データを復号する復号部と，各階層化された信
号から，復号画像を再構築する画像再構成部とを有する
ことを特徴とする階層化復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26658995A JPH09116903A (ja) | 1995-10-16 | 1995-10-16 | 階層化符号化装置および階層化復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26658995A JPH09116903A (ja) | 1995-10-16 | 1995-10-16 | 階層化符号化装置および階層化復号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09116903A true JPH09116903A (ja) | 1997-05-02 |
Family
ID=17432915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26658995A Pending JPH09116903A (ja) | 1995-10-16 | 1995-10-16 | 階層化符号化装置および階層化復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09116903A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000002359A1 (fr) * | 1998-07-07 | 2000-01-13 | Matsushita Electric Industrial Co., Ltd. | Emetteur et recepteur et procede de transmission de donnees |
| WO2002017637A1 (fr) * | 2000-08-25 | 2002-02-28 | Matsushita Electric Industrial Co., Ltd. | Procede de transmission de donnees et procede de relais de donnees |
| JP2004515163A (ja) * | 2000-11-29 | 2004-05-20 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | リアルタイムデータの送信および受信 |
| JP2006101527A (ja) * | 2004-09-28 | 2006-04-13 | Thomson Licensing | 画像のシーケンスの符号化の方法及び装置 |
| JP2008501251A (ja) * | 2004-05-31 | 2008-01-17 | 松下電器産業株式会社 | デジタル放送システムおよびデジタル放送送受信方法 |
| JP2009508454A (ja) * | 2005-09-07 | 2009-02-26 | ヴィドヨ，インコーポレーテッド | スケーラブルなビデオ符号化を用いたスケーラブルで低遅延のテレビ会議用システムおよび方法 |
| US8289370B2 (en) | 2005-07-20 | 2012-10-16 | Vidyo, Inc. | System and method for scalable and low-delay videoconferencing using scalable video coding |
| US8699522B2 (en) | 2005-07-20 | 2014-04-15 | Vidyo, Inc. | System and method for low delay, interactive communication using multiple TCP connections and scalable coding |
| US8938004B2 (en) | 2011-03-10 | 2015-01-20 | Vidyo, Inc. | Dependency parameter set for scalable video coding |
| US9313486B2 (en) | 2012-06-20 | 2016-04-12 | Vidyo, Inc. | Hybrid video coding techniques |
-
1995
- 1995-10-16 JP JP26658995A patent/JPH09116903A/ja active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000002359A1 (fr) * | 1998-07-07 | 2000-01-13 | Matsushita Electric Industrial Co., Ltd. | Emetteur et recepteur et procede de transmission de donnees |
| WO2002017637A1 (fr) * | 2000-08-25 | 2002-02-28 | Matsushita Electric Industrial Co., Ltd. | Procede de transmission de donnees et procede de relais de donnees |
| JP2004515163A (ja) * | 2000-11-29 | 2004-05-20 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | リアルタイムデータの送信および受信 |
| JP4863873B2 (ja) * | 2004-05-31 | 2012-01-25 | パナソニック株式会社 | デジタル放送システム、送信装置、受信装置およびデジタル放送送受信方法 |
| JP2008501251A (ja) * | 2004-05-31 | 2008-01-17 | 松下電器産業株式会社 | デジタル放送システムおよびデジタル放送送受信方法 |
| JP2006101527A (ja) * | 2004-09-28 | 2006-04-13 | Thomson Licensing | 画像のシーケンスの符号化の方法及び装置 |
| US8289370B2 (en) | 2005-07-20 | 2012-10-16 | Vidyo, Inc. | System and method for scalable and low-delay videoconferencing using scalable video coding |
| US8699522B2 (en) | 2005-07-20 | 2014-04-15 | Vidyo, Inc. | System and method for low delay, interactive communication using multiple TCP connections and scalable coding |
| US9426499B2 (en) | 2005-07-20 | 2016-08-23 | Vidyo, Inc. | System and method for scalable and low-delay videoconferencing using scalable video coding |
| JP2009508454A (ja) * | 2005-09-07 | 2009-02-26 | ヴィドヨ，インコーポレーテッド | スケーラブルなビデオ符号化を用いたスケーラブルで低遅延のテレビ会議用システムおよび方法 |
| JP2013141284A (ja) * | 2005-09-07 | 2013-07-18 | Vidyo Inc | スケーラブルなビデオ符号化を用いたスケーラブルで低遅延のテレビ会議用システムおよび方法 |
| US8938004B2 (en) | 2011-03-10 | 2015-01-20 | Vidyo, Inc. | Dependency parameter set for scalable video coding |
| US9313486B2 (en) | 2012-06-20 | 2016-04-12 | Vidyo, Inc. | Hybrid video coding techniques |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5007012B2 (ja) | ビデオ符号化方法 | |
| JP4982024B2 (ja) | ビデオ符号化方法 | |
| KR100296660B1 (ko) | 디코딩비디오신호용에러은페장치 | |
| JP4362259B2 (ja) | ビデオ符号化方法 | |
| US6744924B1 (en) | Error concealment in a video signal | |
| US7260150B2 (en) | Systems and methods for decoding of partially corrupted reversible variable length code (RVLC) intra-coded macroblocks and partial block decoding of corrupted macroblocks in a video decoder | |
| US6611561B1 (en) | Video coding | |
| EP1599047B1 (en) | Video (de)coding device with frequency band retransmission | |
| US6983016B2 (en) | Method for detecting errors in video information | |
| JPH09116903A (ja) | 階層化符号化装置および階層化復号化装置 | |
| Ducla-Soares et al. | Error resilience and concealment performance for MPEG-4 frame-based video coding | |
| JP4004597B2 (ja) | 映像信号のエラー隠ぺい装置 | |
| JPH07274176A (ja) | 動画像伝送装置 | |
| JP4794711B2 (ja) | エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム | |
| JPH10341434A (ja) | 画像・音声データ通信システム | |
| Papadakis et al. | Syntax based error concealment | |
| JP2002064822A (ja) | 統計多重システム、統計多重制御装置および統計多重方法 | |
| Apostolopoulos | Error-resilient video compression | |
| Aladrovic et al. | An error resilience scheme for layered video coding | |
| Liu et al. | Transmission of H. 263 video over wireless channels | |
| JPH07250330A (ja) | 階層符号化伝送方式及び送受信装置 | |
| JPH08195957A (ja) | 画像符号化装置およびその方法 |