JP4555186B2

JP4555186B2 - ディジタル動画像復号装置およびディジタル動画像復号方法

Info

Publication number: JP4555186B2
Application number: JP2005222409A
Authority: JP
Inventors: 正寛大峯; 善明野澤
Original assignee: NEC Engineering Ltd
Current assignee: NEC Engineering Ltd
Priority date: 2005-08-01
Filing date: 2005-08-01
Publication date: 2010-09-29
Anticipated expiration: 2025-08-01
Also published as: JP2007043264A

Description

本発明はディジタル動画像の復号、特に、復号した画像信号をNTSCなどのインターレース方式のテレビジョンに出力するディジタル動画像復号装置およびディジタル動画像復号方に関する。

従来、高能率符号化画像信号によって符号化された画像信号を復号し、NTSCなどのインターレース方式のテレビジョンに出力するには、図７に示す構成が一般的に採用さている（文献公知発明に係るものではない）。

すなわち、画像復号器（以下、復号器と記す）101はＤＶＤ等の蓄積メディアからの符号化画像信号の読み取り、あるいは伝送路を介して供給される符号化画像信号を復号し、再生フレーム画像信号を所定のタイミングで出力する。この再生フレーム画像信号をNTSCなどのインターレース方式のNTSCテレビジョン900に出力するには、フィールド分割器301において再生フレーム画像信号を奇数フィールド、偶数フィールドの２つのフィールド信号に分割して奇数フィールドバッファ11と偶数フィールドバッファ21に格納する必要がある。

フィールドとは、１つのフレームから１ライン飛ばしのラインによって構成される画面であり、フレームの奇数番目のラインを取り出したものを奇数フィールド、偶数番目のラインを取り出したものを偶数フィールドと呼ぶ。１つの再生フレーム画像信号は奇数フィールド信号、偶数フィールド信号の２つのフィールド信号に分割され、スイッチ201によって所定のタイミングで交互に奇数フィールドバッファ11と偶数フィールドバッファ21からデジタルアナログ変換回路800に出力され、デジタルアナログ変換回路800によってNTSC信号に変換され、NTSCテレビジョン900に出力される。

ここで、伝送路を介して供給される符号化画像信号を復号する場合には、対向に画像符号化器（以下、符号化器と記す）が存在するが、この符号化器において、伝送路の帯域の都合上伝送符号量を削減する必要がある場合、あるいは符号化処理が間に合わない場合に齣落し（１フレーム分の符号化画像信号を欠落させる）が発生することがある。すると、復号器101は齣落し対象となったフレームの符号化画像信号を受信できず、齣落し対象となったフレームの符号化画像信号を復号し再生フレーム画像信号をすべきタイミングにおいて出力する再生フレーム画像信号が無くなる。

一般に、符号化された画像信号を復号する復号器101は符号化器による齣落ちが発生した場合、それに対応する補償処理を作動させる。最も単純な補償処理は、齣落しされたフレームの表示タイミングにおいて、前時刻に出力した再生フレーム画像信号を再び出力することである。例えば、隣接ピクチャから欠陥画像を補間するなどの修繕を行ない、画像の誤り部分を目立たなくしている（特許文献１参照）。

また、一般に符号化された画像信号を復号する復号器には、画像劣化に対する訂正機能が実装されている。ＤＶＤ等の蓄積メディアからの読取り失敗、あるいは伝送路を介して供給される符号データに誤りが含まれていた場合などに復号器において、符号化された画像信号の復号に失敗することがある。復号に失敗した再生フレーム画像は視覚的に劣化したものになる。また、MPEG(Moving Picture Experts Group)などの動画像圧縮方式は、高い圧縮率を実現するために予測符号化を用いているという特徴がある。

これは、時間的に近いフレームを他の時刻の予測フレームとすることで圧縮率を高める技術である。このとき、あるフレームの画像信号の復号において復号異常が発生すると、そのフレームが劣化し、さらにその劣化したフレームを参照し、他のフレームを復号することがある。この場合、劣化したフレームを参照して復号されたフレームも劣化し、劣化が伝播することになる。

これに対し、劣化の伝播を抑制する方法として、復号異常発生のために正常に復号できない場合に復号不可能な画像の代わりに既に復号された復号画像を出力する、という方法が一般的に用いられている（例えば、特許文献２，特許文献３参照）。

特開平6-98313号公報（第４頁）特開平6-98313号公報（第２頁、図１）特開平10-23431号公報（第２頁、図１）

ところで、上記のように、伝送路を介して符号化画像信号の供給を受ける場合に符号化器での齣落しが発生した場合や、画像劣化の伝播を抑制するために復号異常発生により正常に復号できない場合に復号不可能な画像の代わりに既に復号された復号画像を出力する機能を有する復号器において復号異常が発生した場合、復号器からの再生フレーム画像信号の出力が２つ続けて同じになる場合がある。この場合の復号器からの再生フレーム画像信号の出力と、デジタルアナログ変換回路への出力を示すと、図８あるいは図９のようになる。図８に上記齣落しが発生した場合を、図９に上記復号異常が発生した場合を示す。図８と図９は線図としては異なるところがない。

以下、伝送路を介して符号化画像信号の供給を受ける場合に符号化器で齣落しが発生した場合を例に、図７と図８を参照しつつ、従来技術による高能率符号化画像信号によって符号化された画像信号を復号し、NTSCなどのインターレース方式のテレビジョンに出力する動作を説明する。図９に示した復号異常が発生した場合についても同様に考えればよい。

図８に示した例において、F(n)で示す四角形は、復号器101からの再生フレーム画像を表し、nは時間に沿った再生フレーム画像の連番を表す。すなわち、復号器101は図８の例では、本来であればF(0)、F(1)、F(2)、F(3)の順に復号した再生フレーム画像信号を所定のタイミングでフィールド分割器301に出力する。時刻T(0)において出力すべき再生フレーム画像信号F(0)が復号器101より供給され、フィールド分割器301はF(0)を奇数フィールド信号F(0)-odd、偶数フィールド信号F(0)-evenに分割し、F(0)-oddを奇数フィールドバッファ11へ、F(0)-evenを偶数フィールドバッファ21にそれぞれ出力する。スイッチ201は所定のタイミングでF(0)-oddを出力し、次の所定のタイミングにおいてF(0)-evenを出力する。

続いて時刻T(1)において出力すべき再生フレーム画像信号F(1)が復号器101より供給され、上記と同様の動作で所定のタイミングでF(1)-oddを出力し、次の所定のタイミングにおいてF(1)-evenを出力する。

ここで、次の時刻T(2)に出力すべきフレームF(2)を復号する際に、符号化器による齣落しによりF(2)の符号化画像信号が受信できていない場合、復号器101では補償処理として復号器101内に格納してあるF(1)を出力する。この補償処理が作動すると、デジタルアナログ変換回路800へ出力されるフィールド信号は、時刻T(1)において、F(1)-odd、F(1)-even、時刻T(2)においてF(1)-odd、F(1)-evenの順になる。すなわち、時刻T(1)のF(1)-evenと時刻T(2)のF(1)-oddとの間で時間の逆転が生じる。フィールド間での被写体の動き量が大きい場合、この時間の逆転によって被写体の動きがぎこちなくなるジャーキネスが発生する。
本発明は以上の点を鑑みてなされたものであり、画像復号器からの再生フレーム画像信号をNTSCなどのインターレース方式のテレビジョンに出力する際、画像復号器からの再生フレーム画像信号の出力が２つ続けて同じ再生フレーム画像信号になった場合に発生するフィールド間の時間逆転に起因するジャーキネスを抑制することを目的とする。

かかる課題を解決するために、本発明のディジタル動画像復号装置は、符号化画像信号を復号して画像信号を再生出力し、フレーム欠落または復号異常があるときは画像信号を再度再生出力する画像復号器（図１の100）と、該画像復号器より出力される再生フレーム画像信号を順次に奇数フィールド信号と偶数フィールド信号とに分割するフィールド分割器（図１の300）と、該フィールド分割器より出力される奇数フィールド信号を格納する奇数フィールドバッファ（図１の10）と、フィールド分割器より出力される偶数フィールド信号を格納する偶数フィールドバッファ（図１の20）と、フィールド分割器より出力される偶数フィールド信号を奇数フィールドへの出力用に変換された補間信号を生成する補間信号生成器（図１の500）と、画像復号器においてフレーム欠落または復調異常があるときは奇数フィールドバッファの出力信号と偶数フィールドバッファの出力信号とからフィールド間の動き量を算出する動き量算出器（図１の400）と、該算出された動き量が予め定めている閾値未満のときは奇数フィールドバッファの出力信号と偶数フィールドバッファの出力信号、閾値以上のときは補間信号と前記偶数フィールドバッファの出力信号をそれぞれ順次に出力させるように制御する出力制御器（図１の600）と、該出力制御器からの制御により順次の出力を行うスイッチ（図１の200）を有することを特徴とする。

本発明のディジタル動画像復号方法は、符号化画像信号を復号して画像信号を再生出力する手順と、フレーム欠落または復号異常があるときは画像信号を再度再生出力する手順と、該再生フレーム画像信号を順次に奇数フィールド信号と偶数フィールド信号とに分割して奇数フィールドバッファと偶数フィールドバッファに格納する手順と、分割された偶数フィールド信号を奇数フィールドへの出力用に変換された補間信号を生成する手順と、フレーム欠落または復調異常があるときは奇数フィールドバッファの出力信号と偶数フィールドバッファの出力信号とからフィールド間の動き量を算出する手順と、該算出された動き量が予め定めている閾値未満のときは奇数フィールドバッファの出力信号と偶数フィールドバッファの出力信号、閾値以上のときは補間信号と偶数フィールドバッファの出力信号をそれぞれ順次に出力させるように制御する手順と、該制御により順次の出力を行なう手順とを有することを特徴とする。

上述のように、本発明によれば、伝送路を介して符号化画像信号の供給を受ける場合に符号化器で齣落しが発生した場合に復号不可能な再生フレーム画像の代わりに既に復号された復号フレーム画像を出力する機能を有する画像復号器からの再生フレーム画像出力をNTSCなどのインターレース方式のテレビジョンに出力する際、画像復号器からの再生フレーム画像の出力が２つ続けて同じ再生フレーム画像になった場合に、出力するフィールド信号を制御し、フィールド間の動き量が大きい場合に奇数フィールド信号の出力タイミングにおいて、偶数フィールド信号より生成した補間信号を出力するようにしたことにより、フィールド間の時間逆転に起因するジャーキネスの発生を抑制するディジタル動画像復号装置を実現できる。

なお、上記画像復号器からの再生フレーム画像の出力が２つ続けて同じ再生フレーム画像になるもうひとつの要因である復号器における復号異常発生のために正常に復号できない場合の動作の説明は図４の記載のみとしたが、本発明によって本稿記載の動作の説明と同様に動作し、同様の効果をもたらすことは明白である。

本発明のディジタル動画像復号装置は、復号器から供給される再生フレーム画像信号をフィールド分割器で分割することによって生成される奇数フィールド信号と偶数フィールド信号をそれぞれ格納する奇数フィールドバッファと偶数フィールドバッファを備え、符号化器による齣落しの発生により符号化画像信号を受信できない場合、あるいは復号器において復号異常発生のために正常に復号できない場合、復号不可能な再生フレーム画像信号の代わりに既に復号された再生フレーム画像信号を出力する補償処理が作動すると、奇数フィールドバッファより出力される奇数フィールド出力信号と偶数フィールドバッファより出力される偶数フィールド出力信号とからフィールド間の動き量を算出し、算出されたフィールド間の動き量が予め定めてある値より大きい場合、重複再生する再生画像フレーム信号の奇数フィールド出力のタイミングにおいて偶数フィールド信号から生成したライン間補間信号を出力し、算出されたフィールド間の動き量が予め定めてある値より小さい場合、重複再生する再生画像フレーム信号の奇数フィールドを出力するよう出力するフィールド信号を選択する手段を備えている。

符号化器による齣落しの発生により符号化画像信号を受信できない場合、あるいは復号異常発生のために正常に復号できない場合に復号不可能な再生フレーム画像信号の代わりに既に復号された復号フレーム画像信号を出力する機能を有する画像復号器からの再生フレーム画像信号をNTSCなどのインターレース方式のテレビジョンに出力する際、復号器からの再生フレーム画像信号の出力が２つ続けて同じ再生フレーム画像信号になった場合に発生するフィールド間の時間逆転に起因するジャーキネスの発生を抑制し得る。

以下、図面を参照しつつ本発明の実施例について説明する。図１は本発明のディジタル動画像復号装置の実施例１を示すブロック図である。図１に示されたディジタル動画像復号装置は、画像復号器100と、奇数フィールドバッファ10と、偶数フィールドバッファ20と、スイッチ200と、フィールド分割器300と、動き量算出器400と、出力制御器600とで構成されている。

画像復号器100は、符号化器による齣落しの発生により符号化画像信号を受信できない場合、あるいは、復号異常発生のために正常に復号できない場合、復号不可能な再生フレーム画像信号の代わりに既に復号された復号フレーム画像信号を出力する補償処理が作動すると、その旨を通知する手段を具備する。

また、画像復号器100は、符号化された画像信号を復号し、再生フレーム画像信号を所定のタイミングでフィールド分割器300に出力する。フィールド分割器300は、供給された再生フレーム画像信号を、奇数フィールド信号と偶数フィールド信号の２つのフィールド信号に分割し、奇数フィールド信号を奇数フィールドバッファ10へ、偶数フィールド信号を偶数フィールドバッファ20および補間信号生成器500へ出力する。

補間信号生成器500は、フィールド分割器300から供給される偶数フィールド信号を奇数フィールドへの出力用に変換した補間信号を生成する。

動き量算出器400は、奇数フィールドバッファ10からの奇数フィールド信号と、偶数フィールドバッファ20からの偶数フィールド信号の供給を受け、フィールド間の動き量を算出する。この算出された動き量が予め定めてある閾値以上の場合、出力制御器600へ制御信号を送信する。

スイッチ200は、出力制御器600からの指示により、奇数フィールドバッファ10に格納してある奇数フィールド信号、偶数フィールドバッファ20に格納してある偶数フィールド信号、補間信号生成器500に格納してある補間信号のいずれか１つを出力する。

出力制御器600は、スイッチ200に対して奇数フィールドバッファ10に格納してある奇数フィールド信号、偶数フィールドバッファ20に格納してある偶数フィールド信号、補間信号生成器500に格納してある補間信号のいずれの信号を出力するかを所定のタイミングで指示する。

ここで、フィールド間の動き量について言及しておく。H.261やMPEG-1，MPEG-2といった一般的な動画符号化方式においては、１フィールドの画像を所定の単位（例えば、16ライン×16画素）のマクロブロックと呼ばれるブロックに分割し、ブロック毎に動き量を求める。各ブロックの動き量は、図２に示すように、現在のフィールドにおけるマクロブロック座標と、過去のフィールドととで差分情報が最も小さくなるマクロブロックの座標との距離で表される。

このようにして１フィールド分の各ブロックの動き量全てを求め、それらの絶対値の和をフィールド間の動き量とし、その値と閾値とを比較して、その結果により上述の処理の作動／非作動の判定をする。

次に、符号化器による齣落しの発生により符号化画像信号を受信できない場合を例に、図１と図３を参照しつつ、本発明のディジタル動画像復号装置の動作例を説明する。

図３において、F(n)で示す四角形は、画像復号器（以下、復号器と記す）100からの再生フレーム画像を表し、nは時間に沿った再生フレーム画像の連番を表す。すなわち、復号器100は図３に示す例では、本来であればF(0)、F(1)、F(2)、F(3)の順に復号した再生フレーム画像信号を所定のタイミングでフィールド分割器300に出力する。

先ず、復号器100から再生フレーム画像信号F(0)が出力されると、フィールド分割器300は、供給された再生フレーム画像信号F(0)を奇数フィールド信号F(0)-oddと偶数フィールド信号F(0)-evenとに分割し、F(0)-oddを奇数フィールドバッファ10へ、F(0)-evenを偶数フィールドバッファ20および補間信号生成器500へそれぞれ出力する。

奇数フィールドバッファ10と偶数フィールドバッファ20は供給されたフィールド信号をそれぞれ保持し、補間信号生成器500はF(0)-evenから補間信号F(0)-even'を生成する。ここで、補間信号F(0)-even'は本来偶数フィールドへの出力用である偶数フィールド信号F(0)-evenを奇数フィールドへの出力用に変換されたフィールド信号である。

出力制御器600は、所定のタイミングでスイッチ200に出力の指示を出す。ここでは、動き量算出器からの制御信号を受信していないため、スイッチ200に対し所定のタイミングでF(0)-oddの出力を指示し、次の所定のタイミングにおいてF(0)-evenの出力を指示する。

次に、画像復号器100は再生フレーム画像信号F(1)をフィールド分割器300に出力し、以下、上記と同様の手順でスイッチ200からは所定のタイミングでF(1)-odd、F(1)-evenが出力される。

次に、画像復号器100からのF(2)の出力タイミングにおいて、符号化器による齣落しの発生により符号化画像信号F(2)を受信できないため、画像復号器100による補償処理が作動したとする。画像復号器100は補償処理作動通知を動き量算出器400に送信し、前時刻の再生フレーム画像信号F(1)を再度フィールド分割器300に出力する。フィールド分割器300は、上記と同様、供給された再生フレーム画像信号F(1)を奇数フィールド信号F(1)-odd、偶数フィールド信号F(1)-evenに分割し、F(1)-oddを奇数フィールドバッファ10へ、F(1)-evenを偶数フィールドバッファ20と補間信号生成器500にそれぞれ出力する。補間信号生成器500は、F(1)-evenから補間信号F(1)-even'を生成する。

次に、動き量算出器400は、奇数フィールドバッファ10内の奇数フィールド信号F(1)-oddと、偶数フィールドバッファ20内の偶数フィールド信号F(1)-evenを読み出し、２つのフィールド信号の動き量を算出する。ここで、算出された動き量が予め定めてある閾値以上であると、動き量算出器400は出力制御器600に対して制御信号を送信する。

出力制御器600はスイッチ200に対し所定のタイミングで補間信号生成器500において生成された補間信号F(1)-even'の出力を指示し、次の所定のタイミングにおいてF(1)-evenの出力を指示する。補間信号F(1)-even'はF(1)-evenを奇数フィールドへ出力するよう変換したフィールド信号であるため、F(1)-even'とF(1)-evenの間の時間の逆転は発生せず、被写体の動きがぎくしゃくするジャーキネスが発生しない。

また、上述の動き量算出器400にて算出された動き量が予め定めてある閾値より小さい場合の動作を図４に示す。この場合は、動き量算出器400は出力制御器600に対して制御信号を送信しないため、出力制御器600は通常通り、スイッチ200に対して所定のタイミングでF(1)-oddの出力を指示し、次の所定のタイミングにおいてF(1)-evenの出力を指示する。

次に、復号異常時における本発明のディジタル動画像復号装置の動作を図５に示す。これは、復号器からの再生フレーム画像の出力が２つ続けて同じ再生フレーム画像になるもうひとつの要因である復号器における復号異常発生のために正常に復号できない場合の動作である。この動作を示す図５は、齣落しの場合の動作を示す図３と線図としては異なるところがなく、図５においては、図３における「正常受信」を「復号異常なし」、「齣落しにより受信不可」を「復号異常発生」と読み替えればよい。

図６は本発明のディジタル動画像復号装置の実施例２を示すブロック図である。この実施例２における復号器110は、図１に示した実施例１における復号器100とは異なり、符号化器による齣落しの発生により符号化画像信号を受信できない場合、あるいは、復号異常発生のために正常に復号できない場合、復号不可能な画像の代わりに既に復号された復号画像を出力する補償処理が作動したときの補償処理作動通知を行う手段を持ち合わせていない。

その代わり、このディジタル動画像復号装置は、補償処理検出部700を備え、復号器110からの補償処理作動通知がなくとも、復号器110での補償処理作動を検出できる。すなわち、復号器110からの再生フレーム画像信号を格納するフレームバッファ30と、復号器100からの１時刻過去の再生フレーム画像信号格納する遅延フレームバッファ40と、フレームバッファ30に格納されている再生フレーム画像信号と遅延フレームバッファ40に格納されている１時刻過去の再生フレーム画像信号を比較し一致した場合、動き量算出器400に対し補償処理作動通知を送信する手段を有するフレーム比較器を具備し、図１における画像復号器100からの補償処理作動通知と同様の機能を実現している。他の構成要素の機能は、図１と同様であるため省略する。

本発明のディジタル動画像復号装置の実施例１を示すブロック図フレーム画像信号のフィールド間の動き量を説明するための図符号化器における齣落し発生時における本発明のディジタル動画像復号装置の第１の動作を説明するための図符号化器における齣落し発生時における本発明のディジタル動画像復号装置の第２の動作を説明するための図復号異常時における本発明のディジタル動画像復号装置の動作を説明するための図本発明のディジタル動画像復号装置の実施例２を示すブロック図従来例のディジタル動画像復号装置を示すブロック図符号化器における齣落し発生時における従来のディジタル動画像復号装置の動作を説明するための図復号異常時における従来のディジタル動画像復号装置の動作を説明するための図

符号の説明

10 奇数フィールドバッファ
20 偶数フィールドバッファ
30 フレームバッファ
40 遅延フレームバッファ
50 フレーム比較器
100 画像復号器
110 画像復号器
200 スイッチ
300 フィールド分割器
400 動き量算出器
500 補間信号生成器
600 出力制御器
700 補償処理検出部

Claims

符号化画像信号を復号して画像信号を再生出力し、フレーム欠落または復号異常があるときは前記画像信号を再度再生出力する画像復号器と、
該画像復号器より出力される再生フレーム画像信号を順次に奇数フィールド信号と偶数フィールド信号とに分割するフィールド分割器と、
該フィールド分割器より出力される奇数フィールド信号を格納する奇数フィールドバッファと、
前記フィールド分割器より出力される偶数フィールド信号を格納する偶数フィールドバッファと、
前記フィールド分割器より出力される偶数フィールド信号を奇数フィールドへの出力用に変換された補間信号を生成する補間信号生成器と、
前記画像復号器においてフレーム欠落または復調異常があるときは前記奇数フィールドバッファの出力信号と前記偶数フィールドバッファの出力信号とからフィールド間の動き量を算出する動き量算出器と、
該算出された動き量が予め定めている閾値未満のときは前記奇数フィールドバッファの出力信号と前記偶数フィールドバッファの出力信号、閾値以上のときは前記補間信号と前記偶数フィールドバッファの出力信号をそれぞれ順次に出力させるように制御する出力制御器と、
該出力制御器からの制御により前記順次の出力を行うスイッチとから構成されることを特徴とするディジタル動画像復号装置。
符号化画像信号を復号して画像信号を再生出力する手順と、
フレーム欠落または復号異常があるときは前記画像信号を再度再生出力する手順と、
該再生フレーム画像信号を順次に奇数フィールド信号と偶数フィールド信号とに分割して奇数フィールドバッファと偶数フィールドバッファに格納する手順と、
前記分割された偶数フィールド信号を奇数フィールドへの出力用に変換された補間信号を生成する手順と、
前記フレーム欠落または復調異常があるときは前記奇数フィールドバッファの出力信号と前記偶数フィールドバッファの出力信号とからフィールド間の動き量を算出する手順と、
該算出された動き量が予め定めている閾値未満のときは前記奇数フィールドバッファの出力信号と前記偶数フィールドバッファの出力信号、閾値以上のときは前記補間信号と前記偶数フィールドバッファの出力信号をそれぞれ順次に出力させるように制御する手順と、該制御により順次の出力を行なう手順とを有することを特徴とするディジタル動画像復号方法。