JP3630590B2 - 復号化装置及び伝送システム - Google Patents

復号化装置及び伝送システム Download PDF

Info

Publication number
JP3630590B2
JP3630590B2 JP23777699A JP23777699A JP3630590B2 JP 3630590 B2 JP3630590 B2 JP 3630590B2 JP 23777699 A JP23777699 A JP 23777699A JP 23777699 A JP23777699 A JP 23777699A JP 3630590 B2 JP3630590 B2 JP 3630590B2
Authority
JP
Japan
Prior art keywords
motion vector
decoding
error
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23777699A
Other languages
English (en)
Other versions
JP2001069514A (ja
Inventor
範之 佐藤
茂 福永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP23777699A priority Critical patent/JP3630590B2/ja
Priority to US09/563,840 priority patent/US6594790B1/en
Publication of JP2001069514A publication Critical patent/JP2001069514A/ja
Application granted granted Critical
Publication of JP3630590B2 publication Critical patent/JP3630590B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Description

【0001】
【発明の属する技術分野】
本発明は、動画像データを予測符号化(圧縮符号化)する装置及び予測符号化(圧縮符号化)された動画像データを復号化する装置、並びに当該予測符号化(圧縮符号化)及び復号化により動画像データを伝送するシステムに関するものである。特に、伝送路又は伝搬路上でのデータ誤りや欠落などに起因した画像品質の低下を改善する機能に関する。
【0002】
【従来の技術】
近年、テレビ会議やVOD(ビデオオンデマンド)などの映像配信システムなど、映像を伝送する装置の開発や普及が進んできている。このような背景から動画像符号化方法についての国際標準も定められている。最近の国際標準としてはITU−T勧告のH.261、H.262、およびH.263やIS0のMPEGなどがある。
【0003】
これらの国際標準では、画素情報をいくつかのブロック単位に分割して符号化している。8画素×8画素のブロックや16画素×16画素のマクロブロックがそれにあたる。ここでは、総称してブロックと呼ぶことにする。また、画素値の符号化の際にはフレーム内符号化またはフレーム間符号化が使われている。フレーム内符号化はブロック毎に画素値を直交変換して符号化して行くのに対して、フレーム間符号化は前フレームの画像などを参照画像として差分値を直交変換して符号化して行く。フレーム内符号化によって符号化されたブロックをイントラ(intra )ブロック、フレーム間符号化によって符号化されたブロックをインター(inter )ブロックという。
【0004】
フレーム間符号化による符号化はフレーム内符号化に比べて符号量が少なくなることが多いため、多くのブロックはフレーム間符号化され、インターブロックとなる。
【0005】
直交変換を施されたブロックは、所定の数をGOB(Group Of Blocks )、GOP(Group Of Picture)、スライス、ビデオパケット等の単位で一纏めにして符号化される。ここでは、符号化単位をスライスと総称することにする。
【0006】
符号化データの一例を図2に示す。符号化データには、スライスヘッダ、動きベクトル、直交変換によるDC(直流)値およびAC(交流)値が含まれる。例えば、図2(a)に示す符号化データ例1のように、スライスヘッダに続く各マクロブロックデータに、動きベクトル、DC値、AC値が含まれる構成となっている。
【0007】
また、符号化データには圧縮率向上のため可変長符号を用いることが多いが、かかる符号化方法を用いる場合には、符号化データにひとたび誤りが発生すると、復号化時には誤りの発生以降のデータも正しく復号できなくなってしまう。そのため、かかる符号化方法を採用する場合には、符号化データに同期符号を含めるのが通常であり、誤りの含まれる符号化データの復号化時にも、ある間隔の経過後は再び同期状態を回復して復号化処理を継続できるようになっている。
【0008】
なお、図2(b)に示す符号化データ例2は、一つのスライスに含まれる全てのマクロブロック中に動きベクトル、DC値、AC値をそれぞれ纏めて符号化する場合の符号化データ例である。また、図2(c)に示す符号化データ3は、図2(b)に示す符号化データ例2と同様の構成であるが、符号化データの途中で同期符号を挿入する場合の符号化データ例である。
【0009】
ところで、符号化装置によって出力された符号化データを伝送路を通じて符号化装置に伝送するとき、伝送中にデータ誤りが発生するという問題がある。符号化したデータにデータ誤りが発生すると、復号化装置では元のデータに正しく復号できなくなるため、誤りによる影響は大きい。特に、フレーム間符号化方式により符号化された符号化データを伝送する場合には、一度誤りによって画像が劣化すると、それを参照して次のフレームを復号することになるため、誤りの影響が次のフレーム以降へ伝播してしまう。
【0010】
このため、符号化装置には、かかる誤りの伝播を回避する手段として、符号量が多くなろうとも(通常は符号量を小さくするためにフレーム間符号化をするが)、参照画像を必要としないフレーム内符号化を強制的に行う方法、すなわち符号化ブロックを強制的にイントラブロックとする方法もある。このとき発生したイトラブロックを強制イントラブロックと呼ぶ。
【0011】
以下、図面を用い、従来例を説明する。ここで、符号化装置の従来例を図3に、復号化装置の従来例を図4及び図5に示す。
【0012】
まず、図3に示す符号化装置300の動作について説明する。符号化部301は、フレームデータが入力されると、ブロック毎に順番に符号化を開始する。ここで、符号化部301は、各ブロック毎、フレーム内符号化、又は、参照メモリ302に書き込まれている参照画像フレームデータに基づいたフレーム間符号化を行う。
【0013】
また、符号化部301は、フレーム内符号化における発生符号量とフレーム間符号化における発生符号量を計算し、算出された発生符号量をintra/inter判定部303に通知する。符号化部301は、強制イントラ決定部304にフレーム通し番号及びブロック通し番号を通知する。
【0014】
強制イントラ決定部304は、ブロック通し番号とフレーム通し番号をもとに、フレーム全体が数フレームの符号化の間には必ずフレーム内符号化されるように周期的にフレーム内符号化するブロックを決定し、その旨をintra/inter判定部303に指示する。
【0015】
intra/inter判定部303は、強制イントラ判定部304からの指示が無い場合、通知された発生符号量をもとに符号化方法を選択し、強制イントラ判定部304からフレーム内符号化をする旨の指示が通知された場合、フレーム内符号化をすることを選択する。intra/inter判定部303は、いずれの場合にも選択した符号化方法を符号化部301に通知する。
【0016】
符号化部301は、通知された符号化方法を符号化するブロックの符号化方法として決定する。上記の手順によって符号化部301は、図2に示されるように、フレーム中のスライス毎にヘッダ、各ブロックの動きベクトル情報、各ブロックのDC値および各ブロックのAC値を符号化し、符号化データとして出力する。
【0017】
なお、復号化部305は、符号化部301によって出力された符号化データを復号化し、参照メモリ302に書き込む。符号化装置300は、かかる手順によって1枚分のフレームデータの符号化手順が終了される度、次のフレームの符号化を繰り返す。
【0018】
次に、図4及び図5に示す復号化装置400の動作について説明する。なお、図5は、画像構成部402の構成例を表している。図4に示すように、復号化装置400は、復号化部401、画像構成部402、動きベクトル補間部403、参照メモリ404で構成される。
【0019】
復号化部401は、入力された符号化データをその文法(符号化方法)に基づいて復号化する。すなわち、符号化部401は、フレーム間符号化されている符号化データについては、参照メモリ404から参照画像データを得て復号化し、フレーム内符号化されている符号化データについては、そのまま復号化する。
【0020】
復号化部401は、復号化した画像データを画像構成部402に出力し、動きベクトルを動きベクトル補間部403に出力する。また、復号化部401は、復号化時に符号化データ中にエラーを検知した場合には、その旨をエラー通知信号として画像構成部402に通知する。
【0021】
動きベクトル補間部403は、復号化部401から動きベクトルを得るが、文法上動きベクトルが存在しないブロックや、動きベクトルを復号化できなかったブロックについては補間を行って動きベクトルを得、画像構成部402に動きベクトルとして通知する。
【0022】
画像構成部402は、復号化部401からエラー通知がない場合、切換スイッチ501(図5)の入力を復号化部401側に切り換え、復号化部401から与えられる画像データをフレームデータ構築部502(図5)に渡す。一方、画像構成部402は、復号化部401からエラー通知があった場合、切換スイッチ501(図5)の入力を前画像処理部503(図5)側に切り換え、前画像処理部503から出力される補間画像をフレームデータ構築部502(図5)に渡す。
【0023】
ここで、前画像処理部503は、動きベクトル補間部403(図4)から与えられる動きベクトル情報と、参照メモリ404(図4)から読み出した参照画像とから補間画像を構成する。
【0024】
フレームデータ構築部502(図5)は、画像データが1フレーム分揃った時点で1フレーム分の画像データを構成し、これをフレームデータとして出力する。このように、フレームデータ構築部502で1フレーム分の画像データ(フレームデータ)が構成されると、画像構成部402は、参照メモリ404に当該画像データを書き込むと共に、フレームデータとして出力する。かくして、参照メモリ404には、画像構成部402で構成された最新の画像データ(フレームデータ)が常に保持される。
【0025】
【発明が解決しようとする課題】
ところで一般に、インターブロックが誤ったとしても、各画素の差分情報が小さいため誤差自体は小さなものとなるが、イントラブロックが誤った場合にはその影響が大きいため、復号画像を表示すると大きな歪みとなってしまう。
【0026】
このため、従来から、イントラブロックのエラー隠蔽方法が考えられている。代表的なイントラブロックのエラー隠蔽方法としては、エラーの発生部分の代わりに前画像を表示してエラーを隠蔽する方法、動き情報を用いて動きベクトルの指し示す前画像を表示してエラーを隠蔽する方法、DC(直流)成分だけから復号した画像を表示してエラーを隠蔽する方法などがある。
【0027】
しかし、前画像を表示する方法は、前画像との相関が大きい場合にはエラーを効果的に隠蔽できる一方、前画像との相関が少ない場合には却って画像に歪が生じてしまう。また、DC(直流)成分だけから復号した画像を表示する方法の場合には、著しく歪んだ画像を表示しないで済む一方、前画像との相関が大きい部分でエラーが生じている場合には、前画像を表示する方が視覚的には優れたエラー隠蔽方法と言える場合が多い。
【0028】
因みに、イントラブロックが発生する場合としては、発生符号量がフレーム間符号化よりもフレーム内符号化の方が少なくて済む場合と、強制イントラフレーム及び強制イントラブロックによる場合とが考えられ、一般に、前者の場合には前画像との相関が少なく、後者の場合には前画像との相関がある場合が多い。
【0029】
このため、採用するエラー隠蔽方法と合致しない動画像が復号対象となると、途端に画質の劣化が目立ち易くなるという問題があった。
【0030】
本発明は、かかる技術的課題を解決するためになされたもので、従来に比して画質劣化の目立ち難い動画像符号化装置、動画像復号化装置及び動画像伝送システムの提案を目的とする。
【0033】
【課題を解決するための手段】
〔復号化装置〕
(A)かかる課題を解決するため、請求項に記載の発明においては、ブロック単位に予測符号化された符号化データを復号化して出力する復号化手段を備える復号化装置において、以下の手段を備えるようにする
すなわち、(1) 復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーの検出があったとき、エラーの検出されたブロックの符号化データから復号されたDC値が、その複数の周辺ブロックのDC値を統計処理して得られた基準値を含む、所定の範囲内にあるか否かを判別し、所定の範囲外のときに前画像を参照したエラーの隠蔽処理を行うことに決定すると共に、所定の範囲内のときに復号されたDC値に基づくエラーの隠蔽処理を行うことに決定するDC判定手段と、 (2) 復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーの検出があったとき、エラーの検出された符号化データから復号された動きベクトル又はこれに相当する補間ベクトルの大きさが基準値である所定の範囲内にあるか否かを判別し、所定の範囲外のときに前画像を参照したエラーの隠蔽処理を行うことに決定すると共に、所定の範囲内のときに復号されたDC値に基づくエラーの隠蔽処理を行うことに決定する動きベクトル大きさ判定手段と、 (3) 動きベクトル大きさ判定手段で決定されたエラーの隠蔽処理方法が前画像を参照するエラーの隠蔽処理方法である場合には当該隠蔽処理方法を判定結果とし、前記動きベクトル大きさ判定手段で決定されたエラーの隠蔽処理方法が復号されたDC値に基づくエラーの隠蔽処理方法である場合には前記DC判定手段で決定されたいずれか一方のエラーの隠蔽処理方法を判定結果とするDC/動きベクトル条件判定手段と、(4) フレーム内予測符号化されたブロックについて復号化手段で復号動作が正常に行われている場合には、復号データを基に原画像を構成し、復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーが検出された場合には、DC/動きベクトル条件判定手段から通知のあった隠蔽処理方法に基づいて該当部分の画像を構成する画像構成手段とを備えるようにする。
これにより、画像の動きが小さい場合、画像の動きは大きいがDC値が基準値に対して所定の範囲内にない場合には、前画像によるエラーの隠蔽が選択される一方、画像の動きは大きいがDC値が基準値に対して所定の範囲内にある場合には、DC値によるエラーの隠蔽が選択される。この結果、表示される画像として、より主観的な違和感が少なくて済む可能性の高いもので隠蔽できる。
【0035】
)請求項に記載の発明においては、ブロック単位に予測符号化された符号化データを復号化して出力する復号化手段を備える復号化装置において、以下の手段を備えるようにする。
すなわち、(1) 復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーの検出があったとき、エラーの検出されたブロックの符号化データから復号されたDC値が、その複数の周辺ブロックのDC値を統計処理して得られた基準値を含む、所定の範囲内にあるか否かを判別し、所定の範囲外のときに前画像を参照したエラーの隠蔽処理を行うことに決定すると共に、所定の範囲内のときに復号されたDC値に基づくエラーの隠蔽処理を行うことに決定するDC判定手段と、 (2) 復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーの検出があったとき、エラーの検出された符号化データから復号された動きベクトル又はこれに相当する補間ベクトルの前画像に対する変化量が基準値である所定の範囲内にあるか否かを判別し、所定の範囲内のときに前画像を参照したエラーの隠蔽処理を行うことに決定すると共に、所定の範囲外のときに復号されたDC値に基づくエラーの隠蔽処理を行うことに決定する動きベクトル変化量判定手段と、 (3) 動きベクトル変化量判定手段で決定されたエラーの隠蔽処理方法が前画像を参照するエラーの隠蔽処理方法である場合には当該隠蔽処理方法を判定結果とし、動きベクトル変化量判定手段で決定されたエラーの隠蔽方法が復号されたDC値に基づくエラーの隠蔽処理方法である場合にはDC判定手段で決定されたいずれか一方のエラーの隠蔽処理方法を判定結果とするDC/動きベクトル条件判定手段と、(4) フレーム内予測符号化されたブロックについて復号化手段で復号動作が正常に行われている場合には、復号データを基に原画像を構成し、復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーが検出された場合には、DC/動きベクトル条件判定手段から通知のあった隠蔽処理方法に基づいて該当部分の画像を構成する画像構成手段とを備えるようにする。
これにより、画像の動きの変化が小さい場合、画像の動きの変化は大きいがDC値が基準値に対して所定の範囲内にない場合には、前画像によるエラーの隠蔽が選択される一方、画像の動きの変化は大きいがDC値が基準値に対して所定の範囲内にある場合には、DC値によるエラーの隠蔽が選択される。この結果、表示される画像として、より主観的な違和感が少なくて済む可能性の高いもので隠蔽できる。
【0037】
)請求項に記載の発明においては、ブロック単位に予測符号化された符号化データを復号化して出力する復号化手段を備える復号化装置において、以下の手段を備えるようにする。
すなわち、(1) 復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーの検出があったとき、エラーの検出されたブロックの符号化データから復号されたDC値が、その複数の周辺ブロックのDC値を統計処理して得られた基準値を含む、所定の範囲内にあるか否かを判別し、所定の範囲外のときに前画像を参照したエラーの隠蔽処理を行うことに決定すると共に、所定の範囲内のときに復号されたDC値に基づくエラーの隠蔽処理を行うことに決定するDC判定手段と、(2) 復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーの検出があったとき、エラーの検出された符号化データから復号された動きベクトル又はこれに相当する補間ベクトルの大きさが基準値である所定の範囲内にあるか否かを判別し、所定の範囲外のときに前画像を参照したエラーの隠蔽処理を行うことに決定すると共に、所定の範囲内のときに復号されたDC値に基づくエラーの隠蔽処理を行うことに決定する動きベクトル大きさ判定手段と、 (3) 復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーの検出があったとき、エラーの検出された符号化データから復号された動きベクトル又はこれに相当する補間ベクトルの前画像に対する変化量が基準値である所定の範囲内にあるか否かを判別し、所定の範囲内のときに前画像を参照したエラーの隠蔽処理を行うことに決定すると共に、所定の範囲外のときに復号されたDC値に基づくエラーの隠蔽処理を行うことに決定する動きベクトル変化量判定手段と、 (4) 動きベクトル変化量判定手段で決定されたエラーの隠蔽処理方法が前画像を参照したエラーの隠蔽処理方法である場合には当該隠蔽処理方法を判定結果とし、動きベクトル変化量判定手段で決定されたエラーの隠蔽処理方法が復号されたDC値に基づくエラーの隠蔽処理方法である場合には動きベクトル大きさ判定手段で決定されたいずれか一方のエラーの隠蔽処理方法を判定結果とする動きベクトル条件判定手段と、(5) 動きベクトル条件判定手段で決定されたエラーの隠蔽処理方法が前画像を参照したエラーの隠蔽処理方法である場合には当該隠蔽処理を判定結果とし、動きベクトル条件判定手段で決定されたエラーの隠蔽処理方法が復号されたDC値に基づくエラーの隠蔽処理方法である場合にはDC判定手段で決定されたいずれか一方のエラーの隠蔽処理方法を判定結果とするDC/動きベクトル条件判定手段と、(6) フレーム内予測符号化されたブロックについて復号化手段で復号動作が正常に行われている場合には、復号データを基に原画像を構成し、前記復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーが検出された場合には、DC/動きベクトル条件判定手段から通知のあった隠蔽処理方法に基づいて該当部分の画像を構成する画像構成手段とを備えるようにする。
【0038】
この発明は、既述した請求項に係る発明を組み合わせた発明であり、より細かい隠蔽方法の指定が実現される。
【0039】
)請求項に記載の発明においては、請求項1〜のいずれかに記載の復号化装置において、以下の手段を備えることを特徴とする。
すなわち、エラーの隠蔽処理方法を決定する各判定手段で使用される判定基準の所定範囲を、外部からの変更要求信号に従って個別に又は複数同時に調節する判定調節手段をさらに備えるようにする。これにより、主観的な画質の微調整を実現できる。
【0040】
)請求項に記載の発明においては、請求項に記載の復号化装置において、変更要求信号は、受信側のユーザ操作に応じて与えられる信号であるようにする。これにより、ユーザ自身が表示される画面を見ながら調整できる。
【0041】
)請求項に記載の発明においては、請求項に記載の復号化装置において、変更要求信号は、符号化装置から通知される信号であるようにする。これにより、送信側で画質の微調整を指定できる。
【0046】
)請求項に記載の発明においては、符号化装置と、請求項1〜のいずれかに記載の復号化装置とで伝送システムを構成するようにする。これにより、請求項1〜の各発明で得られる効果を実現できる伝送システムを可能とできる。
【0048】
【発明の実施の形態】
(A)動画像伝送システム
以下、本発明に係る動画像伝送システムの実施形態例について説明する。なお、これら動画像伝送システムは、それぞれ1台又は複数台の動画像符号化装置および動画像復号化装置を、伝送路(全経路を伝搬路とする場合、一部経路を伝搬路とする場合の双方を含む。)を介して接続することにより、動画像の実時間伝送を実現する場合だけでなく、各種記憶媒体(例えば、光ディスク)への記録と再生とを介して動画像の伝送を実現する非実時間系のものにも適用できる。
【0049】
ただし、以下の説明では、最も基本的な接続形態である1台の動画像符号化装置と1台の動画像復号化装置から構成される動画像伝送システムの場合について説明する。
【0050】
(B)第1の実施形態例
第1の実施形態例では、図3に示す符号化装置300と、図1に示す復号化装置100とで構成される動画像伝送システムについて説明する。すなわち、既存の符号化装置300と、新規な復号化装置100との組合せで構成される動画像伝送システムについて説明する。
【0051】
なお、この実施形態で使用する復号化装置100は、イントラブロックからエラーが検出された場合であって、エラー検出箇所復号されたDC値が周辺(隣接を含む。)ブロックのDC値と大きく異なる場合に、DC値によるエラーの隠蔽に替えて前フレーム画像に基づくエラーの隠蔽を行う機能を搭載する点に特徴がある。
【0052】
(B−1)符号化装置300及び復号化装置100の構成
(B−1−1)符号化装置300の構成
符号化装置300は、前述の通り、符号化部301と、参照メモリ302と、intra/inter判定部303と、強制イントラ決定部304と、復号化部305から構成される。ここで、intraおよびinterは、それぞれフレーム内符号化およびフレーム間符号化を表している。
【0053】
符号化部301は、入力されたフレームデータをブロック毎に符号化する手段であり、符号化方式として採用するフォーマットや符号化モードにもよるが、図2に代表されるような符号化データを出力する。符号化部301は、符号化の際、intra/inter判定部303からの通知によって符号化方式の切り替えを実行し、フレームデータをフレーム内符号化とフレーム間符号化のいずれで符号化したかの情報を符号化データに付加して出力する。
【0054】
符号化部301には、フレーム内符号化時の発生符号量と、フレーム間符号化時の発生符号量を、intra/inter判定部303に通知する機能とが備えられている。符号化部301は、フレーム間符号化時、参照メモリ302に保持されているフレームデータを参照して符号化する。符号化部301は、強制イントラ決定部304に対して、現在符号化中のブロックがフレーム中の何番目のブロックか等、強制イントラフレーム(ブロック)を決定するために必要な情報を与える。
【0055】
復号化部305は、符号化部301によって符号化された符号化データを復号化し、参照メモリ302に復号化したフレームデータを書き込む手段である。参照メモリ302は、復号化部305から得られたフレームデータを保持する機能と、符号化部301にフレームデータを出力する機能を有する。
【0056】
強制イントラ決定部304は、符号化部301から得られた情報を元に強制的にフレーム内符号化をすることを決定する手段であり、例えば、符号化部301によって通知されたフレームの通し番号や、ブロックの通し番号などから、強制的にフレーム内符号化で符号化することをに指示する強制イントラ指定信号を周期的にintra/inter判定部303に出力する。
【0057】
intra/inter判定部303は、通常、符号化部301から与えられる発生符号量の情報を基にフレーム内符号化とフレーム間符号化のいずれの方法で符号化するかを決定する。しかし、intra/inter判定部303は、強制イントラ決定部304より強制イントラ指定信号を受け取った場合には、フレーム内符号化による符号化を決定する。符号化方法が決定されると、intra/inter判定部303は、その符号化方法を符号化部301に通知する。
【0058】
(B−1−2)復号化装置100の構成
復号化装置100は、復号化部101と、画像構成部102と、DC判定部103と、参照メモリ104とから構成される。
【0059】
復号化部101は、受け取った符号化データを復号化してフレームデータに復号する手段である。復号化部101は3つの機能部からなる。1つ目は、復号化時に得られた動きベクトル、DC成分、AC成分を出力する機能である。2つ目は、符号語のミスマッチや画像フレームの外部を参照している動きベクトルを復号するなどの矛盾の有無などから、ビデオパケット中に含まれている誤りを検知する機能である。3つ目は、検知した誤りが含まれるブロックを示す誤り検知信号をDC判定部103に通知する機能である。
【0060】
DC判定部103は、復号化した画像データのDC成分を復号化部101より受け取って保持した後、周辺(隣接を含む。)ブロックのDC成分から得られた予測DC成分値に対し所定の範囲内に収まっているか否かを判定する。ここで、予測DC成分値には、例えば、復号化できたブロックに対し、上、下、左、右、左上、左下、右上、右下に位置する隣接ブロックのDC成分値の平均値や各隣接ブロックのDC成分値に所定の重みを乗算したものの平均値等を使用する。また、所定の範囲は、例えば、DC成分値の予測平均に対する分散値に係数を乗算する等して決定する。
【0061】
DC判定部103は、復号化部101から誤り検知信号を受けると、DC成分が所定の範囲に収まっているか否か判定し、所定の範囲に収まっていると判定された場合、DC成分によってエラーの隠蔽を行うべき旨を画像構成部102にエラー隠蔽方法通知信号として通知する。一方、DC判定部103は、DC成分が所定の範囲に収まっていないと判定された場合、前フレーム画像によってエラーの隠蔽を行うべき旨を画像構成部102にエラー隠蔽方法通知信号として通知する。かくして、DC判定部103は、該当箇所が常にDC画像で隠蔽されることによる画像の乱れ、違和感を防止する。
【0062】
なお、DC判定部103は、DC成分が復号化部101から与えられない場合(復号できなかった場合)には、前フレーム画像によってエラーの隠蔽を行うべき旨を画像構成部102にエラー隠蔽方法通知信号として通知する。
【0063】
画像構成部102は、DC判定部103からエラー隠蔽方法が通知されない場合(すなわち、通常時)、復号化部101より与えられる復号化された画像情報、DC成分、AC成分、動きベクトルの各情報を基に、画像データの符号化方法に基づく画像の構成を行う。
【0064】
一方、画像構成部102は、DC判定部103からエラー隠蔽方法が通知されると、当該エラー隠蔽方法に基づいて画像を構成する。例えば、画像構成部102は、エラー隠蔽方法としてDC成分による方法が通知されると、DC成分のみによってエラー部分の画像ブロックを構成する。また、画像構成部102は、エラー隠蔽方法として前フレーム画像による方法が通知されると、参照メモリ104から読み出した参照フレームのフレームデータのうち、動きベクトルから特定される画像部分でエラー部分の画像ブロックを構成する。なお、前フレーム画像を表示するとの通知を受けていながら、動きベクトル情報が得られていないブロックについては動きベクトルを用いずに、同位置のブロックの前フレーム画像を表示する。
【0065】
図6に、画像構成部102の内部ブロック構成を示す。画像構成部102は、前画像処理部601と、AC画像構成部602と、DC画像構成部603と、加算部604と、エラー隠蔽方法制御部605と、切換スイッチ606と、フレームデータ構築部607とから構成される。
【0066】
前画像処理部601は、参照メモリ104から読み出される前フレームの画像データと、復号化部101から与えられる動きベクトル情報とから隠蔽画像を構成し、切換スイッチ606に伝えるものである。
【0067】
AC画像構成部602は、復号化部101から与えられるAC情報を基に画像を構成し、加算部604に伝えるものである。
【0068】
DC画像構成部603は、復号化部101から与えられるDC情報を基に画像を構成し、加算部604と切換スイッチ606に伝えるものである。
【0069】
エラー隠蔽方法制御部605は、DC判定部103からエラー隠蔽方法通知信号を受け、切換スイッチ606と前画像処理部601を制御するものである。なお、エラー隠蔽方法制御部605は、前画像を使ったエラー隠蔽方法を採用しない場合には、前画像処理部601を動作させないことによって処理負担の軽減と消費電力の低減を図る。
【0070】
切換スイッチ606は、各エラー隠蔽方法に応じて構成されたブロック画像を入力とし、そのうちの1つをフレームデータ構築部607に伝送する手段である。ここで、切換スイッチ606は、エラー隠蔽方法制御部605から与えられる信号により入力画像の切り替えを実行する。なお、通常時には、切換スイッチ606は、加算部604から出力されたブロック画像をフレームデータ構築部607に伝送する。
【0071】
フレームデータ構築部607は、切換スイッチ606からブロック画像のデータを受け取ってフレーム画像データを構築する。フレームデータ構築部607は、構築されたフレーム画像データを、参照メモリ104に書き込む一方、後段処理回路にフレームデータとして出力する。
【0072】
(B−2)動画像データの伝送動作及びエラー隠蔽動作
まず、符号化装置300における動作を説明する。フレームデータが符号化部310に入力されると、符号化部301は、ブロック毎順番に、フレームデータの符号化を開始する。符号化部301は、各ブロック毎、フレーム内符号化又はフレーム間符号化のいずれかにより符号化を行う。なお、フレーム間符号化時には、参照メモリ302に保持されている参照画像のフレームデータを使用する。かかる後、符号化部301は、フレーム内符号化により発生する発生符号量とフレーム間符号化により発生する発生符号量を計算し、各々の値をintra/inter判定部303に通知する。また、符号化部301は、強制イントラ決定部304にフレーム通し番号、ブロック通し番号を通知する。
【0073】
強制イントラ決定部304は、ブロック通し番号とフレーム通し番号を基に、フレーム全体が数フレームの符号化の間には必ずフレーム内符号化されるように周期的にフレーム内符号化するブロックを決定し、その旨をintra/inter判定部303に指示する。
【0074】
intra/inter判定部303は、強制イントラ判定部304からの指示が無い場合、通知された発生符号量をもとに符号化方法を選択し、強制イントラ判定部304からフレーム内符号化する旨の指示が通知された場合、フレーム内符号化することを選択する。intra/inter判定部303は、いずれの場合にも選択した符号化方法を符号化部301に通知する。
【0075】
符号化部301は、通知された符号化方法を符号化するブロックの符号化方法として決定する。上記の手順によって符号化部301は、図2に示されるように、フレーム中のスライス毎にヘッダ、各ブロックの動きベクトル情報、各ブロックのDC値および各ブロックのAC値を符号化し、符号化データとして後段回路(伝送路又は伝搬路)に出力する。
【0076】
なお、復号化部305は、符号化部301によって出力された符号化データを復号化し、参照メモリ302に書き込む。符号化装置300は、かかる手順によって1枚分のフレームデータの符号化手順が終了される度、次のフレームの符号化を繰り返す。
【0077】
次に、復号化装置100における動作を説明する。復号化装置100が伝送路又は伝搬路から受信した符号化データが復号化部101に入力されると、復号化部101は、各ブロック毎順番に、DC情報(DC値による画素データ)、AC情報(AC値による画素データ)、動きベクトル情報を画像構成部102に出力する。このとき、復号化部101は、DC値をDC判定部103にも通知する。DC判定部103は、復号化部101から通知のあった各ブロックのDC値を保持する。
【0078】
復号化部101は、復号化時、復号化するブロックがフレーム間符号化されたものであった場合、参照メモリ104から参照フレームデータを得て復号化し、復号化するブロックがフレーム内符号化されたものであった場合、ブロックデータそれ自体を復号化する。
【0079】
復号化部101は、復号化中に誤りが検出され、それがイントラブロックにおいて検出された場合、それまでに復号化されたデータについてはそのまま出力し、復号できないイントラブロックをDC判定部103に通知する。
【0080】
当該誤り通知を受けたDC判定部103は、正しく復号できなかったイントラブロックのDC値を、所定の基準値(例えば、周辺(隣接を含む。)ブロックの平均値)と比較し、当該DC値が所定の基準値から大きく外れていないかをチェックする。
【0081】
ここでの判定結果として、DC値が所定の基準値に対して所定の範囲内にないと判定された場合、DC判定部103は、当該DC値はエラーを隠蔽する画像を構成するのに不適切な値であると判断し、画像構成部102に前フレームの画像を表示するエラー隠蔽方法を選択するよう通知する。
【0082】
一方、DC値が所定の基準値に対して所定の範囲内に入っていると判定された場合、DC判定部103は、当該DC値はエラー部分を隠蔽する画像を構成するのに適切な値であると判断し、画像構成部102に当該DC値を基に構成された画像を表示するエラー隠蔽方法を選択するよう通知する。
【0083】
なお、復号化部101においてDC値を復号化できず、DC判定部103にDC値の通知自体がなかった場合には、DC判定部103は、前フレームの画像によってエラーを隠蔽するエラー隠蔽方法を選択するように通知する。
【0084】
これらエラー隠蔽方法は、エラー隠蔽方法通知信号として、画像構成部102のエラー隠蔽方法制御部605に与えられる。
【0085】
エラー隠蔽方法制御部605は、通知されたエラー隠蔽方法がDC値によるものである場合、切換スイッチ606の入力をDC画像構成部603側に切り換え、DC画像構成部603で構成された画像をフレームデータ構築部607に伝えさせる。これにより、フレームデータのエラー部分が、DC値によるブロック画像によって隠蔽される。
【0086】
また、エラー隠蔽方法制御部605は、通知されたエラー隠蔽方法が前フレーム画像によるものである場合、切換スイッチ606の入力を前画像処理部601側に切り換え、参照メモリ104に保持されている前フレーム画像と動きベクトルから復号化したブロック画像をフレームデータ構築部607に伝えさせる。これにより、フレームデータのエラー部分が、前フレーム画像から求めたブロック画像によって隠蔽される。
【0087】
なお、エラー隠蔽方法制御部605(図6)は、DC判定部103からエラー隠蔽方法が通知されない場合、復号化部101から与えられるDC値とAC値から復号化した画像データによってブロック画像を構成するよう切換スイッチ606を制御する。すなわち、画像構成部102は、図6に示すAC画像構成部602とDC画像構成部603のそれぞれにおいて構成されたブロック画像を加算部604で1つのブロック画像に再構成したものを切換スイッチ606によって選択する。これにより、復号データから構成したブロック画像がフレームデータの一部に組み込まれることになる。
【0088】
フレームデータ構築部607は、上記の手順を各ブロックのそれぞれについて実行することにより、フレーム画像を構成する全てのブロック画像を構成する。なお、フレームデータ構築部607は、フレーム画像の全ての領域について復号処理が完了すると、復号されたフレームデータを参照メモリ104に書き込むと共に、後段回路へフレームデータとして出力する。
【0089】
かくして、復号化装置100における1フレームの復号化処理は終了する。この後、復号化装置100は、次のフレームのフレームデータを構成すべく、さらに同様の手順で符号化データの復号化手順を繰り返す。
【0090】
(B−3)第1実施形態の効果
以上のように、本実施形態で提案する復号化装置100を用いれば、イントラブロックの復号化時においてエラーが検出された場合でも、エラー検出部分で復号されたDC値が周辺ブロックのDC値から著しく異なるときは、その値を用いてエラーの隠蔽を行わず、前フレーム画像から構成したブロック画像を隠蔽に使用するため、エラー部分において主観が損なわれる画像が出力され難いようにできる。
【0091】
従って、当該復号化装置100と符号化装置300とを組み合せることにより、従来に比して画質に対する主観評価の向上が期待できる動画像伝送システムが実現できる。
【0092】
(C)第2の実施形態例
第2の実施形態例では、図3に示す符号化装置300と、図7に示す復号化装置700とで構成される動画像伝送システムについて説明する。すなわち、既存の符号化装置300と、新規な復号化装置700との組合せで構成される動画像伝送システムについて説明する。
【0093】
なお、この実施形態例で使用する復号化装置700は、イントラブロックからエラーが検出された場合に、エラー検出箇所から復号されたDC値と周辺(隣接を含む。)ブロックのDC値との違いに応じた隠蔽方法の切り替えに、同一箇所から復号された動きベクトルの大きさを加味することで、より一層適切な隠蔽方法が選択できるようにした点に特徴がある。
【0094】
(C−1)符号化装置300及び復号化装置700の構成
符号化装置300の構成は、第1の実施形態例のものと同じである。従って、以下、復号化装置700の構成についてのみ説明する。
【0095】
復号化装置700は、復号化部701と、画像構成部702と、DC判定部703と、参照メモリ704と、動きベクトル補間部705と、動きベクトル大きさ判定部706と、DC/動きベクトル条件判定部707とから構成される。
【0096】
このうち、復号化部701、画像構成部702、DC判定部703、参照メモリ704は、第1の実施形態例における復号化部101、画像構成部102、DC判定部103、参照メモリ104に対応し、同等の機能を実現できるよう構成されている。
【0097】
従って、動きベクトル補間部705と、動きベクトル大きさ判定部706と、DC/動きベクトル条件判定部707の3つが、本実施形態に固有の構成部分となる。ただし、画像構成部702については、図8に示すように、前画像処理部801に対する入力として補間動きベクトル情報が加わる点で第1の実施形態例と異なっている。
【0098】
以下、第1の実施形態例における復号化装置100との相違点を中心に、復号化装置700の機能構成を説明する。
【0099】
動きベクトル補間部705は、復号化部701において動きベクトル情報を得られないブロックがあった場合に、当該ブロックに対して空間的に隣接する(周辺を含む。)ブロックであって、既に得られているものから該当する動きベクトル(補間動きベクトル)を生成するために用意されている手段である。
【0100】
動きベクトル補間部705は、復号化部701からイントラブロックについてエラー検出通知を受けると、復号化部701から通知を受けた動きベクトル(復号化部701から動きベクトルを与えられる場合)又は内部で生成した補間動きベクトル(復号化部701から動きベクトルを与えられない場合)を、動きベクトル大きさ判定部705に通知する。
【0101】
なお、動きベクトル補間部705は、復号化部701からイントラブロックにおけるエラーの検出を受信した場合であって、復号しているブロックから動きベクトルを得ることができなかった場合には、補間動きベクトルを画像構成部702に出力する。
【0102】
動きベクトル大きさ判定部706は、復号化したブロックの動きベクトルの大きさを、所定の基準値(範囲)と比較し、当該動きベクトルの大きさが所定の基準値(範囲)から大きく外れていないかをチェックする手段である。ここで、所定の基準値(範囲)は、「0からブロックの大きさまでを範囲とする」、「0からマクロブロックまでの大きさを範囲とする」、「0からブロックの大きさに所定の係数を乗じた値までを範囲とする」等が考えられる。
【0103】
動きベクトル大きさ判定部706は、動きベクトルの大きさが所定の基準値に対して所定の範囲内にないと判定された場合(すなわち、動きが大きいと判定された場合)、当該ブロックと前フレームとの相関は小さいと判断し、DC/動きベクトル条件判定部707にDC値を基に構成された画像を表示するエラー隠蔽方法を選択するよう通知する。
【0104】
一方、動きベクトル大きさ判定部706は、動きベクトルの大きさが所定の基準値に対して所定の範囲内に入っていると判定された場合、当該ブロックと前フレームとの相関は大きいと判断し、DC/動きベクトル条件判定部707に前フレームの画像を表示するエラー隠蔽方法を選択するよう通知する。
【0105】
DC/動きベクトル条件判定部707は、DC判定部703と動きベクトル大きさ判定部706のそれぞれからエラー隠蔽方法の通知を受ける。DC/動きベクトル条件判定部707は、動きベクトル大きさ判定部706から所定の範囲内であるから前フレーム画像によるエラー隠蔽方法を選択すべきとの判定結果を得た場合、その判定をDC判定部703の判定結果に優先させ、前フレーム画像によるエラー隠蔽方法をその判定結果とする。一方、DC/動きベクトル条件判定部707は、動きベクトル大きさ判定部706から所定の範囲外であるからDC値によるエラー隠蔽方法を選択すべきとの判定結果を得た場合、DC判定部703の判定結果をその判定結果とする。
【0106】
すなわち、DC/動きベクトル条件判定部707は、動きベクトルの大きさが小さいブロックに関しては前フレーム画像によるエラー隠蔽方法を選択するように指示を出し、動きベクトルの大きさは大きくても復号されたDC値と周辺ブロックとの差分が大きいブロックに関しては前フレーム画像によるエラー隠蔽方法を選択するように指示を出し、動きベクトルの大きさは大きいが復号されたDC値と周辺ブロックのDC値との差分は小さいブロックに関してはDC値によるエラー隠蔽方法を選択するように指示を出す。
【0107】
なお、このような条件判断とするのは、DC値の不連続の程度が大きい部分は人間の視覚特性上、目に付きやすいからである。
【0108】
(C−2)動画像データの伝送動作及びエラー隠蔽動作
続いて、本実施形態例に係る動画像伝送システムに基づく、動画像データの伝送動作とエラー隠蔽動作について説明する。ただし、動画像の送信側となる符号化装置300の構成は、第1の実施形態例と同じであり、その動作内容も同様となるため、ここでもその説明は省略する。以下、伝送路又は伝搬路を介して受信した符号化データの復号処理を実行する復号化装置700の動作、特にエラー隠蔽動作について説明する。
【0109】
復号化部701は、伝送路又は伝搬路から受信された符号化データが入力されると、各ブロック毎順番に、DC情報(DC値による画素データ)、AC情報(AC値による画素データ)、動きベクトル情報を復号し、画像構成部702に出力する。また、復号化部701は、各ブロックの動きベクトル情報を動きベクトル補間部705に伝える。動きベクトル補間部705は、復号化部701から通知のあった各ブロックの動きベクトル情報を保持する。
【0110】
復号化部701は、復号化中に誤りが検出され、それがイントラブロックにおいて検出された場合、それまでに復号化されたデータについてはそのまま出力し、復号できないイントラブロックを動きベクトル補間部705及びDC判定部703に通知する。
【0111】
動きベクトル補間部705は、イントラブロックにおける誤り検知の通知を受けると、該当イントラブロックについて復号された動きベクトル(復号化部701で動きベクトルを復号できた場合)又は隣接ブロックの動きベクトルの平均値などから生成された補間動きベクトル(復号化部701で動きベクトルを復号できなかった場合)を、該当ブロックについての動きベクトル情報として保持すると共に、画像構成部702及び動きベクトル大きさ判定部706に通知する。
【0112】
動きベクトル大きさ判定部706は、動きベクトル補間部705より動きベクトル(補間動きベクトル)が通知されると、保持している動きベクトルの大きさの許容範囲と比較し、動きベクトルの大きさが所定の許容範囲内に入っているかチェックする。
【0113】
ここでの判定結果として、動きベクトルの大きさが許容範囲内にあると判定された場合、動きベクトル大きさ判定部706は、動きが少なく前フレームとの相関が高いと判断し、前フレームの画像によるエラー隠蔽方法を選択するようDC/動きベクトル条件判定部707に通知する。
【0114】
一方、動きベクトルの大きさが許容範囲外であると判定された場合、動きベクトル大きさ判定部706は、動きが大きいため前フレームとの相関は低いと判断し、DC値を基に構成された画像を表示するエラー隠蔽方法を選択するようDC/動きベクトル条件判定部707に通知する。
【0115】
なお、DC判定部703は、第1の実施形態例で説明したDC判定部103と同様の動作を行う。すなわち、DC判定部703は、正しく復号できなかったイントラブロックのDC値を、所定の基準値(例えば、周辺(隣接を含む。)ブロックの平均値)と比較し、当該DC値が所定の基準値から大きく外れていないかをチェックする。
【0116】
そして、DC値が所定の基準値に対して所定の範囲内にないと判定された場合、DC判定部703は、当該DC値はエラーを隠蔽する画像を構成するのに不適切な値であると判断し、DC/動きベクトル条件判定部707に前フレームの画像を表示するエラー隠蔽方法を選択するよう通知する。
【0117】
一方、DC値が所定の基準値に対して所定の範囲内に入っていると判定された場合、DC判定部703は、当該DC値はエラー部分を隠蔽する画像を構成するのに適切な値であると判断し、DC/動きベクトル条件判定部707に当該DC値を基に構成された画像を表示するエラー隠蔽方法を選択するよう通知する。
【0118】
なお、復号化部701においてDC値が復号できず、DC判定部703にDC値の通知自体がなかった場合には、DC判定部703は、前フレームの画像によってエラーを隠蔽するエラー隠蔽方法を選択するように通知する。
【0119】
DC/動きベクトル条件判定部707は、DC判定部703と動きベクトル大きさ判定部706のそれぞれからエラー隠蔽方法の通知を受け、動きベクトル大きさ判定部706から前フレーム画像によるエラー隠蔽方法を選択すべきとの判定結果を得た場合、その判定をDC判定部703の判定結果に優先させ、動きベクトル大きさ判定部706からDC値によるエラー隠蔽方法を選択すべきとの判定結果を得た場合、DC判定部703の判定結果を優先させるように動作する。
【0120】
すなわち、DC/動きベクトル条件判定部707は、動きベクトルの大きさが小さいブロックに関しては前フレーム画像によるエラー隠蔽方法を選択するように、動きベクトルの大きさは大きくても復号されたDC値と周辺ブロックとの差分が大きいブロックに関しては前フレーム画像によるエラー隠蔽方法を選択するように、動きベクトルの大きさは大きいが復号されたDC値と周辺ブロックとの差分は小さいブロックに関してはDC値によるエラー隠蔽方法を選択するように画像構成部702に通知する。
【0121】
画像構成部702は、かかるエラー隠蔽方法通知信号を、第1の実施形態例の画像構成部102の場合と同様、エラー隠蔽方法制御部805で受信し、指示内容に従って前画像処理部801と切替スイッチ806を切り替え制御する。ただし、前画像処理部801は、動きベクトル情報が復号化部701より得られない場合、動きベクトル補間部705で生成された補間動きベクトルを代用して用いる。
【0122】
画像構成部702におけるフレームの構成動作、参照画像の参照メモリ704への書き込み動作、フレームデータの出力などの動作は第1の実施形態例と同様である。
【0123】
(C−3)第2実施形態の効果
以上のように、本実施形態で提案する復号化装置700を用いれば、第1の実施形態例と同様の効果に加え、次の効果を得ることができる。すなわち、本実施形態においては、動きベクトルが小さく、前フレームの画像との相関が高いと考えられるイントラブロックに関しては、そのエラー隠蔽方法として、前フレームの画像を表示するエラー隠蔽方法を優先させることができるため、主観を損なう画像が出力されるおそれを有効に回避し得、イントラブロックが誤った際の画質の主観評価の向上を実現できる。
【0124】
(D)第3の実施形態例
第3の実施形態例では、図3に示す符号化装置300と、図9に示す復号化装置900とで構成される動画像伝送システムについて説明する。すなわち、既存の符号化装置300と、新規な復号化装置900との組合せで構成される動画像伝送システムについて説明する。
【0125】
なお、この実施形態例で使用する復号化装置900は、第2の実施形態例で用いた隠蔽方法の切り替え判定基準に加え、動きベクトルの変化量を加味することで、より一層適切な隠蔽方法が選択できるようにした点に特徴がある。
【0126】
(D−1)符号化装置300及び復号化装置900の構成
符号化装置300の構成は、第1及び第2の実施形態例のものと同じである。従って、以下、復号化装置900の構成についてのみ説明する。
【0127】
復号化装置900は、復号化部901と、画像構成部902と、DC判定部903と、参照メモリ904と、動きベクトル補間部905と、動きベクトル大きさ判定部906と、DC/動きベクトル条件判定部907と、動きベクトル変化量判定部908と、動きベクトル条件判定部909とから構成される。
【0128】
このうち、第2の実施形態例と異なる点は、動きベクトル変化量判定部908と動きベクトル条件判定部909の2点である。従って、その他の部分については、基本的に、第2の実施形態例と同じである。
【0129】
動きベクトル変化量判定部908は、動きベクトル補間部905から各ブロックの動きベクトル情報の通知を受け、これを保持する手段である。動きベクトル変化量判定部908は、イントラブロックが正しく復号できなかったとの通知を動きベクトル補間部905から受けた場合、保持している1フレーム前の動きベクトルと現フレームの動きベクトルとの差分から、復号化するブロックの動きベクトルに生じた変化量の算出を行う。
【0130】
動きベクトル変化量判定部908は、動きベクトルの変化量が所定の範囲内にあるか否かでエラー隠蔽方法を選択し、動きべクトル条件判定部909に通知する機能を実行する。ここで、所定の範囲は、「0からブロックの大きさまでを範囲とする」、「0からマクロブロックまでの大きさを範囲とする」、「0からブロックの大きさに所定の係数を乗じた値までを範囲とする」等によって与えられる。
【0131】
なお、動きベクトル変化量判定部908は、動きベクトルの変化量が所定の範囲内にある場合(すなわち、動きの変化が小さい場合)、前フレームの画像によるエラー隠蔽方法を選択するように、動きベクトル条件判定部909に通知する。
【0132】
これに対し、動きベクトルの変化量が所定の範囲内に入っていなければ(すなわち、動きの変化が大きい場合)、動きベクトル変化量判定部908は、前フレームの画像によるエラーの隠蔽を選択するとエラー隠蔽効果が低下すると判断して、DC値によるエラー隠蔽方法を選択するよう動きベクトル条件判定部909に通知する。
【0133】
動きベクトル条件判定部909は、動きベクトル大きさ判定部906と動きベクトル変化量判定部908のそれぞれから判定結果を入力する。ここで、動きベクトル条件判定部909は、動きベクトル変化量判定部908から所定の範囲内であるから前フレーム画像によるエラー隠蔽方法を選択すべきとの判定結果を得た場合、その判定を動きベクトル大きさ判定部906の判定結果に優先させ、前フレーム画像によるエラー隠蔽方法をその判定結果とする。一方、動きベクトル条件判定部909は、動きベクトル変化量判定部908から所定の範囲外であるからDC値によるエラー隠蔽方法を選択すべきとの判定結果を得た場合、動きベクトル大きさ判定部906の判定結果をその判定結果とする。
【0134】
すなわち、動きベクトル条件判定部909は、動きベクトルの変化量が小さいブロックに関しては前フレーム画像によるエラー隠蔽方法を選択するように指示を出し、動きベクトルの変化量は大きくても動きベクトルの大きさが小さい場合には前フレーム画像によるエラー隠蔽方法を選択するように指示を出し、動きベクトルの変化量が大きく動きベクトルの大きさも大きい場合にはDC値によるエラー隠蔽方法を選択するように指示を出す。
【0135】
なお、本実施形態例におけるDC/動きベクトル条件判定部907は、第2の実施形態例の場合とは異なり、動きベクトル条件判定部909の判定結果とDC判定部903の判定結果を入力とし、その判定動作は、第2の実施形態例におけるDC/動きベクトル条件判定部707の判定動作のうち動きベクトル大きさ判定部706の判定結果を動きベクトル条件判定部909の判定結果に置き換えたものとなる。
【0136】
(D−2)動画像データの伝送動作及びエラー隠蔽動作
続いて、本実施形態例に係る動画像伝送システムに基づく、動画像データの伝送動作とエラー隠蔽動作について説明する。ただし、動画像の送信側となる符号化装置300の構成は、第1及び第2の実施形態例と同じであり、その動作内容も同様となるため、ここでもその説明は省略する。以下、伝送路又は伝搬路を介して受信した符号化データの復号処理を実行する復号化装置900の動作、特にエラー隠蔽動作について説明する。
【0137】
復号化部901は、伝送路又は伝搬路から受信された符号化データが入力されると、各ブロック毎順番に、DC情報(DC値による画素データ)、AC情報(AC値による画素データ)、動きベクトル情報を復号し、画像構成部902に出力する。また、復号化部901は、各ブロックの動きベクトル情報を動きベクトル補間部905に伝える。動きベクトル補間部905は、復号化部901から通知のあった各ブロックの動きベクトル情報を保持する。
【0138】
復号化部901は、復号化中に誤りが検出され、それがイントラブロックにおいて検出された場合、それまでに復号化されたデータについてはそのまま出力し、復号できないイントラブロックを動きベクトル補間部905及びDC判定部903に通知する。
【0139】
動きベクトル補間部905は、イントラブロックにおける誤り検知の通知を受けると、該当イントラブロックについて復号された動きベクトル(復号化部901で動きベクトルを復号できた場合)又は隣接ブロックの動きベクトルの平均値などから生成された補間動きベクトル(復号化部901で動きベクトルを復号できなかった場合)を、該当ブロックについての動きベクトル情報として保持する。
【0140】
なお、動きベクトル補間部905は、動きベクトル又は補間動きベクトルを、画像構成部902、動きベクトル大きさ判定部906及び動きベクトル変化量判定部908のそれぞれに通知され、それぞれにおいて保持される。
【0141】
ここで、復号化部901は、復号化中に誤りを検出し、それがイントラブロックにおいて検出されたものであるとする。この場合、復号化部901は、それまでに復号化されたデータについてはそのまま出力し、復号できないイントラブロックを動きベクトル補間部905及びDC判定部903のそれぞれに通知する。また、この通知は動きベクトル補間部905を介して動きベクトル変化量判定部908にも通知される。
【0142】
かかる通知を受けると、動きベクトル変化量判定部908は、当該ブロックについての動きベクトルの変化量が予め定めた所定の範囲内に入っているか否かを判定し、入っている場合には動き(変化)のあまりない画像と判断して、動きベクトル条件判定部909に対し、前フレーム画像によるエラー隠蔽方法を選択するように通知する。
【0143】
これに対し、当該ブロックについての動きベクトルの変化量が予め定めた所定の範囲内に入っていないと判定すると、動きベクトル変化量判定部908は、DC値によるエラー隠蔽方法を選択するように動きベクトル条件判定部909に通知する。
【0144】
一方、動きベクトル大きさ判定部906では、第2の実施形態例同様、動きベクトルの大きさに基づいてエラー隠蔽方法を決定し、動きベクトル条件判定部909に通知する。
【0145】
動きベクトル条件判定部909は、動きベクトル変化量判定部908から、前フレームの画像によるエラー隠蔽方法を選択するように通知がきたらその判定を優先し、DC値によるエラー隠蔽方法を選択するように通知がきたら動きベクトル大きさ判定部906からの通知を、DC/動きベクトル条件判定部907に通知する。
【0146】
DC/動きベクトル条件判定部907は、第2の実施例と同様の動作して最終的なエラー隠蔽方法の決定を行う。すなわち、DC/動きベクトル条件判定部907は、DC判定部903と動きベクトル条件判定部909のそれぞれからエラー隠蔽方法の通知を受け、動きベクトル条件判定部909から前フレーム画像によるエラー隠蔽方法を選択すべきとの判定結果を得た場合、その判定をDC判定部903の判定結果に優先させ、動きベクトル条件判定部909からDC値によるエラー隠蔽方法を選択すべきとの判定結果を得た場合、DC判定部903の判定結果を優先させるように動作する。
【0147】
かくして、DC/動きベクトル条件判定部907では、エラーの検知されたブロック部分のDC値、動きベクトルの大きさ及び動きベクトルの変化量を考慮した適切なエラー隠蔽方法が選択されることになる。
【0148】
(D−3)第3実施形態の効果
以上のように、本実施形態で提案する復号化装置900を用いれば、第2の実施形態例と同様の効果に加え、次の効果を得ることができる。すなわち、本実施形態においては、動きベクトルの大きさは大きくとも、前フレームとの間の変化量自体が少ないブロックに関しては、高い相関が期待される前フレーム画像によるエラーの隠蔽を確実に選択できるため、その分、主観の損なわれる画像が一層出力され難くできる。
【0149】
(E)第4の実施形態例
第4の実施形態例では、図3に示す符号化装置300と、図10に示す復号化装置1000とで構成される動画像伝送システムについて説明する。すなわち、既存の符号化装置300と、新規な復号化装置1000との組合せで構成される動画像伝送システムについて説明する。
【0150】
なお、この実施形態例で使用する復号化装置1000は、各判定要素(DC値、動きベクトルの大きさ及び動きベクトルの変化量)の判定基準を調整可能とした点に特徴がある。
【0151】
(E−1)符号化装置300及び復号化装置1000の構成
符号化装置300の構成は、前述の各実施形態例のものと同じである。従って、以下、復号化装置1000の構成についてのみ説明する。
【0152】
復号化装置1000は、復号化部1001と、画像構成部1002と、DC判定部1003と、参照メモリ1004と、動きベクトル補間部1005と、動きベクトル大きさ判定部1006と、DC/動きベクトル条件判定部1007と、動きベクトル変化量判定部1008と、動きベクトル条件判定部1009と、判定調整部1010とから構成される。
【0153】
このうち、第3の実施形態例と異なる点は、判定調節部1010の部分のみである。すなわち、その他の部分については、第3の実施形態例と同じである。
【0154】
判定調整部1010は、第3の実施形態例で用いた3つの判定部、すなわち、DC判定部1003、動きベクトル大きさ判定部1006及び動きベクトル変化量判定部1008で判定基準として用いられる所定の範囲を個別に調整するためのものである。すなわち、判定調整部1010は、ユーザからの指示を制御信号として入力し、当該制御信号の指示内容に応じて所定の範囲を狭めたり、広げたり調節する。
【0155】
(E−2)動画像データの伝送動作及びエラー隠蔽動作
本実施形態における動画像データの伝送動作及びエラー隠蔽動作は、各判定部で選択されるエラー隠蔽方法の境界がユーザからの制御によって微調整されることを除いて、第3の実施形態例と同じである。
【0156】
すなわち、本実施形態における復号化装置1000にも、
▲1▼動きベクトルの変化量が少ないと判定されたブロックについては、当該ブロックの動きベクトルの大きさに関わらず前フレーム画像によるエラー隠蔽方法を選択し、
▲2▼動きベクトルの変化量の大きいと判定されたブロックであって、その動きベクトルの大きさが小さいと判定されたブロックについては、前フレーム画像によるエラー隠蔽方法を選択し、
▲3▼動きベクトルの変化量の大きいと判定され、かつ、その動きベクトルの大きさが大きいと判定されたブロックであって、当該ブロックから復号されたDC値が周辺(隣接を含む。)ブロックのDC値の平均値から大きく外れていると判定されたブロックについては、前フレーム画像によるエラー隠蔽方法を選択し、
▲4▼動きベクトルの変化量の大きいと判定され、かつ、その動きベクトルの大きさが大きいと判定されたブロックであって、当該ブロックから復号されたDC値が周辺(隣接を含む。)ブロックのDC値の平均値と近いと判定されたブロックについては、DC値によるエラー隠蔽方法を選択することができる。
【0157】
かくして、第3の実施形態例と同様、違和感の少ない自然な画質を得ることができる。しかも、本実施形態例の場合は、かかる基本的な性能を備える上に、復号対象となる動画像のソース(映画、スポーツ、ニュース)や属性に応じて、前フレーム画像によるエラーの隠蔽方法が選択されるブロックとDC値によるエラーの隠蔽方法が選択されるブロックとの境界条件を調整できるため、画質のさらなる向上が期待できる。
【0158】
なお、上述の説明では、判定調整部1010が、判定部別に与えられた制御信号の指示に応じ、各判定部の判定基準を個別に調整するものとして説明したが、一つの制御信号で同時に複数の判定基準を調整できるようにしても良い。かかる調整は、例えば、判定調整部1010内に、制御信号の制御量に対応する各判定部の調整量とを組として備えるテーブル手段を設け、与えられた制御信号の制御量に対する最適な調整量の組を各判定部に与えることで実現できる。また、制御信号の制御量に対する各判定部の調整量との関係を定めた関係式を判定調整部1010に格納しておき、演算によって制御信号の制御量に対応する各判定部の調整量を算出する方法によっても実現できる。
【0159】
(E−3)第4実施形態例の効果
以上のように、本実施形態で提案する復号化装置1000を用いれば、第3の実施形態例と同等の効果に加え、ユーザの好みに基づいた、エラー隠蔽方法の選択機構の調節を実現できる。
【0160】
(F)第5の実施形態例
第5の実施形態例では、上述の実施形態例とは異なり、図11に示す符号化装置1100と、図12に示す復号化装置1200とで構成される動画像伝送システムについて説明する。
【0161】
この実施形態例は、符号化され伝送される符号化データが強制的にイントラフレーム又はイントラブロックに符号化されてものか否かの情報を、復号化装置側におけるエラー隠蔽方法の選択に使用する点に特徴を有するものである。
【0162】
(F−1)符号化装置1100及び復号化装置1200の構成
符号化装置1100は、符号化部1101と、参照メモリ1102と、intra/inter判定部1103と、強制イントラ決定部1104と、復号化部1105と、強制イントラ通知部1106とから構成される。すなわち、符号化装置1100は、第1の実施形態例に係る符号化装置300の構成に強制イントラ通知部1106を加えた構成でなる。
【0163】
この強制イントラ通知部1106は、現在イントラ符号化されて伝送されているブロックが強制的にイントラ符号化されたブロック(すなわち、強制イントラブロック)であることを復号化装置1200に通知するのに使用される。
【0164】
このため、本実施形態例における強制イントラ決定部1104には、イントラ符号化すべき旨を、intra/inter判定部1103だけにではなく、前述の強制イントラ通知部1106にも通知する機能が設けられている。
【0165】
一方、復号化装置1200は、復号化部1201と、画像構成部1202と、強制イントラ信号受信部1203と、参照メモリ1204とから構成される。この復号化装置1200は、第1の実施形態例における復号化装置100のDC判定部103に替えて強制イントラ信号受信部1203を設けるもので、画像構成部1202で実行されるエラー隠蔽方法が強制イントラ信号受信部1203より指示される点を除き、復号化装置100と同様の構成を有してなる。
【0166】
ここで、強制イントラ信号受信部1203は、符号化装置1100側から通知される強制イントラ信号の受信に使用される。強制イントラ信号受信部1203は、復号化部1201からエラー検知通知を受けたとき、強制イントラ信号を受信していれば前フレーム画像によるエラー隠蔽方法を選択する旨を画像構成部1202に通知し、強制イントラ信号を受信していなければDC成分によるエラー隠蔽方法を選択する旨を画像構成部402に通知するよう構成されている。なお、強制イントラ信号受信部1203は、復号化部1201からエラー検知通知を受けていないとき、強制イントラ信号の有無にかかわらず、画像構成部1202に隠蔽方法を指示しない。
【0167】
(F−2)動画像データの伝送動作及びエラー隠蔽動作
本実施形態例の場合も、動画像の符号化と復号化の動作それ自体は、第1の実施形態例と同じである。違いは、動画像の符号化の際に強制的にイントラ符号化が選択された場合には、その情報が、強制イントラ通知部1106によって、復号化装置1200側に別途通知される点である。
【0168】
もっとも、この強制イントラ通知部1106から通知される強制イントラ信号は、エラーの隠蔽に使用される情報である。従って、復号化部1201でエラーが検知されない限り、強制イントラ信号受信部1203は、復号動作に何ら関与することはなく、画像構成部1202からは復号されたDC成分とAC成分とから構成した画像が出力されることになる。
【0169】
これに対し、復号化部1201におけるイントラブロックの復号中に誤りが検出され、そのエラー検出通知が強制イントラ受信部1203に通知された場合、強制イントラ受信部1203は、強制イントラ信号が受信されているか否かを判断し、エラー隠蔽方法を決定する。
【0170】
例えば、強制イントラ信号が受信されているとき、強制イントラ信号受信部1203は、前フレーム画像によるエラー隠蔽方法を選択する旨を画像構成部1202に通知し、強制イントラ信号が受信されていないとき、DC値によるエラー隠蔽方法を選択する旨を画像構成部1202に通知する。
【0171】
かくして、画像構成部1202は、イントラブロックが強制イントラブロックか否かで選択的にエラー隠蔽方法を切り替えることができる。なお、強制イントラブロックは、一般に発生符号量とは無関係に選択されるため、前フレーム画像との間で高い相関が得られる場合が多いと考えられるので、本実施形態例のエラー隠蔽方法の選択は、DC成分によるエラー隠蔽方法を選択する場合よりも高い画質が得られると考えられる。反対に、強制イントラブロックでなければ、前フレーム画像との相関が低いものと考えられるので、本実施形態例のエラー隠蔽方法の選択は、前フレーム画像によるエラー隠蔽方法を選択する場合よりも高い画質が得られると考えられる。
【0172】
(F−3)第5実施形態例の効果
以上のように、本実施形態例で提案する符号化装置1100と復号化装置1200を用いて動画像伝送システムを構築すれば、強制的にイントラ符号化されたブロックについては前フレーム画像によるエラーの隠蔽を実行し、発生符号量の観点からイントラ符号化されたブロックについてはDC成分によるエラーの隠蔽を実行するため、相当高い確率で相関の高い画像による隠蔽を実現でき、従来装置に比して主観の優れた画像を提供することができる。
【0173】
(G)他の実施形態例
(1) 上述の第1〜第5の各実施形態例においては、イントラブロックにエラーが検出された場合にエラーの隠蔽処理を行う機能部を備えた復号化装置について述べたが、勿論、かかる機能部の他、インターブロックに検出されたエラーを隠蔽する機能部も備えていることが好ましい。
【0174】
(2) 上述の実施形態例においては、周辺(隣接を含む。)ブロックのDC成分から予測DC成分値を算出する場合について述べたが、ここでの周辺ブロックには、該当ブロックと何らかの相関関係の認められるブロックである限り、その位置関係に関わらず候補に含まれるものとする。
【0175】
(3) 上述の第2の実施形態例においては、DC判定部703における判定結果と、動きベクトル大きさ判定部706における判定結果とを用いてエラー部分の隠蔽方法を決定する場合について述べたが、動きベクトル大きさ判定部706の判定結果のみを用いてエラー部分の隠蔽方法を決定するようにしても良い。
この場合、動きベクトルの大きさが小さいブロックは前フレーム画像によりエラーが隠蔽され、動きベクトルの大きさが大きいブロックは復号されたDC値から構成された画像によりエラーが隠蔽される。このようにしても、固定的にいずれか一方の方法によりエラーの隠蔽を実行する従来装置に比して画質の向上を実現できる。
なおこの場合には、動きベクトル大きさ判定部706の判定結果を画像構成部202に直接与えれば良く、図7に表したようなDC/動きベクトル判定部707は不要となる。
【0176】
(4) 上述の第3の実施形態例においては、DC判定部903における判定結果と、動きベクトル大きさ判定部906における判定結果と、動きベクトル変化量判定部908における判定結果とを用いてエラー部分の隠蔽方法を決定する場合について述べたが、▲1▼動きベクトル大きさ判定部906における判定結果と、動きベクトル変化量判定部908における判定結果とを用いてエラー部分の隠蔽方法を決定する方法、▲2▼DC判定部903における判定結果と、動きベクトル変化量判定部908における判定結果とを用いてエラー部分の隠蔽方法を決定する方法、▲3▼動きベクトル変化量判定部908における判定結果のみを用いてエラー部分の隠蔽方法を決定する方法を適用することもできる。
なお、▲1▼及び▲2▼の場合、動きベクトル変化量判定部908において前フレーム画像によるエラーの隠蔽が選択された場合にはその方法により、動きベクトル変化量判定部908においてDC値によるエラーの隠蔽が選択された場合には動きベクトル大きさ判定部906の判定結果又はDC判定部903の判定結果に従ってエラーの隠蔽方法を切り替えれば良い。
【0177】
(5) 上述の第4の実施形態例においては、判定調整部1010に対して与えられる制御信号が、復号化装置を使用するユーザから与えられるものとして説明したが、動画像を符号化する符号化装置から与えられる場合にも適用し得る。かかる構成とすれば、符号化装置側から画像に適したエラーの隠蔽方法を制御することが可能となる。
【0178】
(6) 上述の第4の実施形態例においては、DC判定部903と、動きベクトル大きさ判定部906と、動きベクトル変化量判定部908の3つの判定部を備える復号化装置と、各判定部の判定基準の範囲を調整する判定調整部1010とを組み合せる場合について述べたが、当該判定調整部1010と組み合せる復号化装置の構成は、▲1▼DC判定部のみを備えるもの、▲2▼動きベクトル大きさ判定部のみを備えるもの、▲3▼動きベクトル変化量判定部のみを備えるもの、▲4▼DC判定部と動きベクトル大きさ判定部を組み合せたもの、▲5▼DC判定部と動きベクトル変化量判定部を組み合せたもの、▲6▼動きベクトル大きさ判定部と動きベクトル変化量判定部を組み合せたものが考えられる。
【0179】
(7) 上述の第5の実施形態例においては、強制イントラ信号受信部1203だけでエラー隠蔽方法を切り替える場合について述べたが、第1〜第4の各実施形態例に係る復号化装置やその変形例等と組み合せることも可能である。
すなわち、強制イントラ信号受信部1203と、▲1▼DC判定部とを組み合せる場合、▲2▼動きベクトル大きさ判定部とを組み合せる場合、▲3▼動きベクトル変化量判定部とを組み合せる場合、▲4▼DC判定部と動きベクトル大きさ判定部とを組み合せる場合、▲5▼DC判定部と動きベクトル変化量判定部とを組み合せる場合、▲6▼動きベクトル大きさ判定部と動きベクトル変化量判定部とを組み合せる場合、▲7▼これら▲1▼〜▲6▼の構成と判定調整部とを組み合せる場合にも適用し得る。
【0180】
(8) 上述の各実施形態例は、図2に示すようなブロックフォーマットに動画像データを符号化する符号化方法を使用するものであればどのような符号化装置及び復号化装置にも適用し得る。
【0183】
【発明の効果】
)上述のように請求項に記載の発明によれば、画像の動きは大きくてもDC値が周辺画像の値と近い場合にはDC値によるエラーの隠蔽を選択し、その他の場合には前画像によるエラーの隠蔽を選択するようにしたことにより、従来に比して、エラー隠蔽後の画像の違和感を低減できる。
【0185】
)上述のように請求項に記載の発明によれば、復号された動きベクトルの変化が大きくてもDC値が周辺画像の値と近い場合にはDC値によるエラーの隠蔽を選択し、その他の場合には前画像によるエラーの隠蔽を選択するようにしたことにより、従来に比して、エラー隠蔽後の画像の違和感を低減できる。
【0187】
)上述のように請求項に記載の発明によれば、画像の動きの変化は大きいがその動きの大きさ自体は小さい場合であって、DC値が周辺画像の値と近い場合に限りDC値によるエラーの隠蔽を選択し、その他の場合には前画像によるエラーの隠蔽を選択するようにしたことにより、画像の動きの変化は大きいがその動きの大きさ自体は小さい場合であっても、DC値が周辺画像の値と大きくことなるのにDC値によってエラーの隠蔽が行われないようにでき、従来に比して、エラー隠蔽後の画像の違和感をより一層低減できる。
【0188】
)上述のように請求項に記載の発明によれば、エラーの隠蔽処理方法を決定する各判定手段で使用される判定基準の所定範囲を、外部からの変更要求信号に従って個別に又は複数同時に調節する判定調節手段をさらに備えたことにより、主観的な画質の微調整を実現できる。
【0189】
)上述のように請求項に記載の発明によれば、請求項に記載の復号化装置において、変更要求信号は、受信側のユーザ操作に応じて与えられる信号であるようにしたことにより、ユーザ自身が表示される画面を見ながら調整できる。
【0190】
)上述のように請求項に記載の発明によれば、請求項に記載の復号化装置において、変更要求信号は、符号化装置から通知される信号であるようにしたことにより、送信側で画質の微調整を指定できる。
【0194】
)上述のように請求項に記載の発明によれば、符号化装置と、請求項1〜のいずれかに記載の復号化装置とで伝送システムを構成することにより、請求項1〜の各発明で得られる効果を実現できる伝送システムを可能とできる。
【図面の簡単な説明】
【図1】第1の実施形態例に係る復号化装置を示すブロック図である。
【図2】データフォーマット例を示す図である。
【図3】第1〜4実施形態例に係る符号化装置を示すブロック図である。
【図4】復号化装置の従来構成例を示すブロック図である。
【図5】図4に示す復号化装置の画像構成部を示すブロック図である。
【図6】第1、第5実施形態例に係る符号化装置の画像構成部を示すブロック図である。
【図7】第2の実施形態例に係る復号化装置を示すブロック図である。
【図8】第2、第3、第4実施形態例に係る符号化装置の画像構成部を示すブロック図である。
【図9】第3の実施形態例に係る復号化装置を示すブロック図である。
【図10】第4の実施形態例に係る復号化装置を示すブロック図である。
【図11】第5実施形態例に係る符号化装置を示すブロック図である。
【図12】第5の実施形態例に係る復号化装置を示すブロック図である。
【符号の説明】
100、400、700、900、1000、1200…復号化装置、101、401、701、901、1001、1201…復号化部、102、402、702、902、1002、1201…画像構成部、103、703、903、1003…DC判定部、300、1100…符号化装置、104、404、704、904、1004、1204…参照メモリ、301、1101…符号化部、302、1102…参照メモリ、303、1103…intra/inter判定部、304、1104…強制イントラ決定部、305、1105…復号化部、403…動きベクトル補間部、501…切換スイッチ、502…フレームデータ構築部、503…前画像処理部、601、801…前画像処理部、602、802…AC画像構成部、603、803…DC画像構成部、604、804…加算部、605、805…エラー隠蔽方法制御部、606、806…切換スイッチ、607、807…フレームデータ構築部、705、905、1005…動きベクトル補間部、706、906、1006…動きベクトル大きさ判定部、707、907、1007…DC/動きベクトル条件判定部、908、1008…動きベクトル変化量判定部、909、1009…動きベクトル条件判定部、1010…判定調整部、1106…強制イントラ通知部、1203…強制イントラ信号受信部。

Claims (7)

  1. ブロック単位に予測符号化された符号化データを復号化して出力する復号化手段を備える復号化装置において、
    前記復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーの検出があったとき、エラーの検出されたブロックの符号化データから復号されたDC値が、その複数の周辺ブロックのDC値を統計処理して得られた基準値を含む、所定の範囲内にあるか否かを判別し、所定の範囲外のときに前画像を参照したエラーの隠蔽処理を行うことに決定すると共に、所定の範囲内のときに復号されたDC値に基づくエラーの隠蔽処理を行うことに決定するDC判定手段と、
    前記復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーの検出があったとき、エラーの検出された符号化データから復号された動きベクトル又はこれに相当する補間ベクトルの大きさが基準値である所定の範囲内にあるか否かを判別し、所定の範囲外のときに前画像を参照したエラーの隠蔽処理を行うことに決定すると共に、所定の範囲内のときに復号されたDC値に基づくエラーの隠蔽処理を行うことに決定する動きベクトル大きさ判定手段と、
    前記動きベクトル大きさ判定手段で決定されたエラーの隠蔽処理方法が前画像を参照するエラーの隠蔽処理方法である場合には当該隠蔽処理方法を判定結果とし、前記動きベクトル大きさ判定手段で決定されたエラーの隠蔽処理方法が復号されたDC値に基づくエラーの隠蔽処理方法である場合には前記DC判定手段で決定されたいずれか一方のエラーの隠蔽処理方法を判定結果とするDC/動きベクトル条件判定手段と、
    フレーム内予測符号化されたブロックについて前記復号化手段で復号動作が正常に行われている場合には、復号データを基に原画像を構成し、前記復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーが検出された場合には、前記DC/動きベクトル条件判定手段から通知のあった隠蔽処理方法に基づいて該当部分の画像を構成する画像構成手段と
    を備えたことを特徴とする復号化装置。
  2. ブロック単位に予測符号化された符号化データを復号化して出力する復号化手段を備える復号化装置において、
    前記復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーの検出があったとき、エラーの検出されたブロックの符号化データから復号されたDC値が、その複数の周辺ブロックのDC値を統計処理して得られた基準値を含む、所定の範囲内にあるか否かを判別し、所定の範囲外のときに前画像を参照したエラーの隠蔽処理を行うことに決定すると共に、所定の範囲内のときに復号されたDC値に基づくエラーの隠蔽処理を行うことに決定するDC判定手段と、
    前記復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーの検出があったとき、エラーの検出された符号化データから復号された動きベクトル又はこれに相当する補間ベクトルの前画像に対する変化量が基準値である所定の範囲内にあるか否かを判別し、所定の範囲内のときに前画像を参照したエラーの隠蔽処理を行うことに決定すると共に、所定の範囲外のときに復号されたDC値に基づくエラーの隠蔽処理を行うことに決定する動きベクトル変化量判定手段と、
    前記動きベクトル変化量判定手段で決定されたエラーの隠蔽処理方法が前画像を参照するエラーの隠蔽処理方法である場合には当該隠蔽処理方法を判定結果とし、前記動きベクトル変化量判定手段で決定されたエラーの隠蔽方法が復号されたDC値に基づくエラーの隠蔽処理方法である場合には前記DC判定手段で決定されたいずれか一方のエラーの隠蔽処理方法を判定結果とするDC/動きベクトル条件判定手段と、
    フレーム内予測符号化されたブロックについて前記復号化手段で復号動作が正常に行われている場合には、復号データを基に原画像を構成し、前記復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーが検出された場合には、前記DC/動きベクトル条件判定手段から通知のあった隠蔽処理方法に基づいて該当部分の画像を構成する画像構成手段と
    を備えたことを特徴とする復号化装置。
  3. ブロック単位に予測符号化された符号化データを復号化して出力する復号化手段を備える復号化装置において、
    前記復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーの検出があったとき、エラーの検出されたブロックの符号化データから復号されたDC値が、その複数の周辺ブロックのDC値を統計処理して得られた基準値を含む、所定の範囲内にあるか否かを判別し、所定の範囲外のときに前画像を参照したエラーの隠蔽処理を行うことに決定すると共に、所定の範囲内のときに復号されたDC値に基づくエラーの隠蔽処理を行うことに決定するDC判定手段と、
    前記復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーの検出があったとき、エラーの検出された符号化データから復号された動きベクトル又はこれに相当する補間ベクトルの大きさが基準値である所定の範囲内にあるか否かを判別し、所定の範囲外のときに前画像を参照したエラーの隠蔽処理を行うことに決定すると共に、所定の範囲内のときに復号されたDC値に基づくエラーの隠蔽処理を行うことに決定する動きベクトル大きさ判定手段と、
    前記復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーの検出があったとき、エラーの検出された符号化データから復号された動きベクトル又はこれに相当する補間ベクトルの前画像に対する変化量が基準値である所定の範囲内にあるか否かを判別し、所定の範囲内のときに前画像を参照したエラーの隠蔽処理を行うことに決定すると共に、所定の範囲外のときに復号されたDC値に基づくエラーの隠蔽処理を行うことに決定する動きベクトル変化量判定手段と、
    前記動きベクトル変化量判定手段で決定されたエラーの隠蔽処理方法が前画像を参照したエラーの隠蔽処理方法である場合には当該隠蔽処理方法を判定結果とし、前記動きベクトル変化量判定手段で決定されたエラーの隠蔽処理方法が復号されたDC値に基づくエラーの隠蔽処理方法である場合には前記動きベクトル大きさ判定手段で決定されたいずれか一方のエラーの隠蔽処理方法を判定結果とする動きベクトル条件判定手段と、
    前記動きベクトル条件判定手段で決定されたエラーの隠蔽処理方法が前画像を参照したエラーの隠蔽処理方法である場合には当該隠蔽処理を判定結果とし、前記動きベクトル条件判定手段で決定されたエラーの隠蔽処理方法が復号されたDC値に基づくエラーの隠蔽処理方法である場合には前記DC判定手段で決定されたいずれか一方のエラーの隠蔽処理方法を判定結果とするDC/動きベクトル条件判定手段と、
    フレーム内予測符号化されたブロックについて前記復号化手段で復号動作が正常に行われている場合には、復号データを基に原画像を構成し、前記復号化手段の復号動作中にフレーム内予測符号化されたブロックについてエラーが検出された場合には、前記DC/動きベクトル条件判定手段から通知のあった隠蔽処理方法に基づいて該当部分の画像を構成する画像構成手段と
    を備えたことを特徴とする復号化装置。
  4. 請求項1〜のいずれかに記載の復号化装置は、
    エラーの隠蔽処理方法を決定する各判定手段で使用される判定基準の所定範囲を、外部からの変更要求信号に従って個別に又は複数同時に調節する判定調節手段をさらに備えることを特徴とする復号化装置。
  5. 請求項に記載の復号化装置において、
    前記変更要求信号は、受信側のユーザ操作に応じて与えられる信号であることを特徴とする復号化装置。
  6. 請求項に記載の復号化装置において、
    前記変更要求信号は、符号化装置から通知される信号であることを特徴とする復号化装置。
  7. 符号化装置と、請求項1〜のいずれかに記載の復号化装置とを備えることを特徴とする伝送システム。
JP23777699A 1999-08-25 1999-08-25 復号化装置及び伝送システム Expired - Fee Related JP3630590B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP23777699A JP3630590B2 (ja) 1999-08-25 1999-08-25 復号化装置及び伝送システム
US09/563,840 US6594790B1 (en) 1999-08-25 2000-05-04 Decoding apparatus, coding apparatus, and transmission system employing two intra-frame error concealment methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23777699A JP3630590B2 (ja) 1999-08-25 1999-08-25 復号化装置及び伝送システム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2004250651A Division JP3942611B2 (ja) 2004-08-30 2004-08-30 復号化装置及び伝送システム
JP2004250624A Division JP3942610B2 (ja) 2004-08-30 2004-08-30 復号化装置及び伝送システム

Publications (2)

Publication Number Publication Date
JP2001069514A JP2001069514A (ja) 2001-03-16
JP3630590B2 true JP3630590B2 (ja) 2005-03-16

Family

ID=17020270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23777699A Expired - Fee Related JP3630590B2 (ja) 1999-08-25 1999-08-25 復号化装置及び伝送システム

Country Status (2)

Country Link
US (1) US6594790B1 (ja)
JP (1) JP3630590B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529528B1 (en) * 1997-06-27 2003-03-04 Samsung Electronics Co., Ltd. Multimedia multiplexing method
US6754277B1 (en) * 1998-10-06 2004-06-22 Texas Instruments Incorporated Error protection for compressed video
GB2362533A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Encoding a video signal with an indicator of the type of error concealment used
WO2002071639A1 (en) * 2001-03-05 2002-09-12 Intervideo, Inc. Systems and methods for error resilient encoding
US7403563B2 (en) * 2002-06-07 2008-07-22 Sanyo Electric Co., Ltd. Image decoding method and apparatus, and television receiver utilizing the same
EP1535467B1 (en) * 2002-07-15 2017-03-15 Nokia Technologies Oy Method for error concealment in video sequences
US6906719B2 (en) * 2002-10-12 2005-06-14 International Business Machines Corporation System and method for content-based querying using video compression format
WO2004043068A1 (en) * 2002-11-04 2004-05-21 Tandberg Telecom As Inter-network and inter-protocol video conference privacy method, apparatus, and computer program product
US8135073B2 (en) 2002-12-19 2012-03-13 Trident Microsystems (Far East) Ltd Enhancing video images depending on prior image enhancements
JP2006511160A (ja) * 2002-12-20 2006-03-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 先行する画像強化に依存したビデオ画像強化
CN1323553C (zh) * 2003-01-10 2007-06-27 汤姆森许可贸易公司 隐藏由宏块流构成的编码图像中的空间差错的方法
BR0318528A (pt) * 2003-10-09 2006-09-12 Thomson Licensing processo de derivação de modo direto para encobrimento de erros
US8311127B2 (en) * 2004-03-04 2012-11-13 Nvidia Corporation Method and apparatus to check for wrongly decoded macroblocks in streaming multimedia applications
JP4020883B2 (ja) * 2004-04-20 2007-12-12 株式会社東芝 動画像復号装置
JP4877449B2 (ja) * 2004-11-04 2012-02-15 カシオ計算機株式会社 動画像符号化装置および動画像符号化処理プログラム
KR100677548B1 (ko) * 2004-12-31 2007-02-02 삼성전자주식회사 복호된 영상의 오류 재은닉 방법 및 그 장치
JP4485409B2 (ja) * 2005-05-20 2010-06-23 三菱電機株式会社 動画像復号装置
US8811495B1 (en) * 2007-02-06 2014-08-19 Geo Semiconductor Inc. Skipped video data recovery using multiple alternative recovery modes
US20080285651A1 (en) * 2007-05-17 2008-11-20 The Hong Kong University Of Science And Technology Spatio-temporal boundary matching algorithm for temporal error concealment
JP4947145B2 (ja) * 2007-06-20 2012-06-06 富士通株式会社 復号装置、復号方法、及びプログラム
WO2009040904A1 (ja) * 2007-09-26 2009-04-02 Fujitsu Microelectronics Limited ビデオデコーダおよびデジタル放送受信装置
EP2071851B1 (en) * 2007-12-11 2011-09-28 Alcatel Lucent Process for delivering a video stream over a wireless channel

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU587297B2 (en) * 1985-10-02 1989-08-10 Deutsche Thomson-Brandt Gmbh Correction of transmission errors
EP0441168B1 (en) * 1990-02-06 1996-10-16 ALCATEL ITALIA Società per Azioni System, packet structuring and device for processing output information from a signal encoder
US5243428A (en) * 1991-01-29 1993-09-07 North American Philips Corporation Method and apparatus for concealing errors in a digital television
EP0493128B1 (en) * 1990-12-28 1999-06-23 Canon Kabushiki Kaisha Image processing apparatus
JP2962012B2 (ja) * 1991-11-08 1999-10-12 日本ビクター株式会社 動画像符号化装置及びその復号装置
US5400076A (en) * 1991-11-30 1995-03-21 Sony Corporation Compressed motion picture signal expander with error concealment
GB2263373B (en) * 1992-01-09 1995-05-24 Sony Broadcast & Communication Data error concealment
US5247363A (en) * 1992-03-02 1993-09-21 Rca Thomson Licensing Corporation Error concealment apparatus for hdtv receivers
JPH06205386A (ja) * 1992-12-28 1994-07-22 Canon Inc 画像再生装置
US5737022A (en) * 1993-02-26 1998-04-07 Kabushiki Kaisha Toshiba Motion picture error concealment using simplified motion compensation
US5442400A (en) * 1993-04-29 1995-08-15 Rca Thomson Licensing Corporation Error concealment apparatus for MPEG-like video data
JPH0775110A (ja) * 1993-08-31 1995-03-17 Sony Corp 画像信号の符号化方法
US5621467A (en) * 1995-02-16 1997-04-15 Thomson Multimedia S.A. Temporal-spatial error concealment apparatus and method for video signal processors
JP3297293B2 (ja) * 1996-03-07 2002-07-02 三菱電機株式会社 動画像復号方法および動画像復号装置
US6128339A (en) * 1997-02-13 2000-10-03 Samsung Electronics Co., Ltd. Apparatus and method for masking video data errors

Also Published As

Publication number Publication date
JP2001069514A (ja) 2001-03-16
US6594790B1 (en) 2003-07-15

Similar Documents

Publication Publication Date Title
JP3630590B2 (ja) 復号化装置及び伝送システム
KR101075860B1 (ko) 비디오 시퀀스에서 오류 은폐 방법
US7242436B2 (en) Selection methodology of de-interlacing algorithm of dynamic image
JP4649615B2 (ja) 映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム
KR100908830B1 (ko) 비디오 코딩에서의 에러 은폐를 위한 방법 및 장치
JP4275719B2 (ja) 動画像復号化方法および動画像復号化装置
US20070291131A1 (en) Apparatus and Method for Controlling Image Coding Mode
US6744924B1 (en) Error concealment in a video signal
US20020122491A1 (en) Video decoder architecture and method for using same
EP1713280A2 (en) Scalable video coding
KR100504641B1 (ko) 화상 부호화 장치 및 화상 부호화 방법
JP2004507178A (ja) ビデオ信号符号化方法
JP5155159B2 (ja) 動画像復号装置
JPWO2002051162A1 (ja) 動画像復号方法および動画像復号装置
JP3609571B2 (ja) 画像再生装置
JP3942611B2 (ja) 復号化装置及び伝送システム
JP2005124091A (ja) 復号装置及び復号方法
JP3942610B2 (ja) 復号化装置及び伝送システム
JP3913726B2 (ja) 多地点テレビ会議制御装置及び多地点テレビ会議システム
JP4043406B2 (ja) 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置
JPWO2009040904A1 (ja) ビデオデコーダおよびデジタル放送受信装置
JP3554999B2 (ja) 多地点テレビ会議システム
JPH0870458A (ja) 符号量制御方法
Fitzek et al. VideoMeter tool for YUV bitstreams
JP2007166479A (ja) 動画像表示装置および動画像表示方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040629

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040830

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040921

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041119

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20041125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041214

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091224

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091224

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101224

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101224

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111224

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111224

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121224

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees