JPWO2009040904A1 - ビデオデコーダおよびデジタル放送受信装置 - Google Patents

ビデオデコーダおよびデジタル放送受信装置 Download PDF

Info

Publication number
JPWO2009040904A1
JPWO2009040904A1 JP2009534092A JP2009534092A JPWO2009040904A1 JP WO2009040904 A1 JPWO2009040904 A1 JP WO2009040904A1 JP 2009534092 A JP2009534092 A JP 2009534092A JP 2009534092 A JP2009534092 A JP 2009534092A JP WO2009040904 A1 JPWO2009040904 A1 JP WO2009040904A1
Authority
JP
Japan
Prior art keywords
image
data
video decoder
frame
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009534092A
Other languages
English (en)
Other versions
JP5152189B2 (ja
Inventor
祥 西川
祥 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Semiconductor Ltd
Original Assignee
Fujitsu Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Semiconductor Ltd filed Critical Fujitsu Semiconductor Ltd
Publication of JPWO2009040904A1 publication Critical patent/JPWO2009040904A1/ja
Application granted granted Critical
Publication of JP5152189B2 publication Critical patent/JP5152189B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Abstract

ビデオデコーダは、ベクトルデータを記憶する記憶手段を有する。入力ストリームが異常であるときに、画像生成手段により、入力ストリームが異常になる前のデータと記憶手段に記憶されているベクトルデータに基づいて、入力ストリームが異常になる前のデータにより表示される画像に動きを付与した画像を生成し、表示することによって、受信状態が悪くても、映像をフリーズさせずに、視聴者に番組の進行状況を容易に想像させる。また、ビデオデコーダは、報知手段を有する。報知手段により、画像生成手段により生成された画像にノイズパターンを重畳したり、画像生成手段により生成された画像の彩度を下げることにより、入力ストリームが異常であることを視聴者に知らせる。エラー復帰時には、画像の彩度を上げたり、DC成分の値を所定の値にしてブロックのデコード処理を行ったり、ベクトルデータによって参照されるブロックのデータを用いたりする。

Description

本発明は、ビデオデコーダおよびデジタル放送受信装置に関するものである。
図8は、従来のMPEG−2ビデオデコーダの構成を示す図である。図8に示すように、従来のMPEG−2ビデオデコーダ1では、入力したビデオストリームは、可変長符号復号部2で可変長復号化され、逆量子化部3で逆量子化され、逆離散コサイン変換部4で逆離散コサイン変換される。入力データがイントラデータの場合には、スイッチ5が逆離散コサイン変換部4側に切り替わり、逆離散コサイン変換部4の出力データがそのままフレームバッファ6に格納される。一方、インターデータの場合には、スイッチ5が加算器7側に切り替わり、ベクトルデータおよび参照フレームのデータに基づいて動き補償予測部8による動き補償予測により生成されたデータと、逆離散コサイン変換部4の出力データとが、加算器7で加算されて、フレームバッファ6に格納される。なお、MPEG−1またはMPEG−4のビデオデコーダの構成は、厳密にはこれとは異なるが、およそ同様である。
図9は、従来のH.264ビデオデコーダの構成を示す図である。図9に示すように、従来のH.264ビデオデコーダ11では、入力したビデオストリームは、可変長符号復号部12で可変長復号化され、逆量子化逆変換部13で逆量子化され、逆変換される。入力データがイントラデータの場合には、スイッチ14がイントラ予測部15側に切り替わり、イントラ予測部15によるイントラ予測により生成されたデータと逆量子化逆変換部13の出力データとが加算器16で加算される。一方、インターデータの場合には、スイッチ14が動き補償予測部17側に切り替わり、ベクトルデータおよび参照フレームのデータに基づいて動き補償予測部17による動き補償予測により生成されたデータと、逆量子化逆変換部13の出力データとが加算器16で加算される。加算器16の出力データは、デブロッキングフィルタ18を介して、フレームバッファ19に格納される。
図10は、図8または図9に示す従来のビデオデコーダによるフレームデコード処理の流れを説明する図である。図10に示すデコード処理は、1フレームに対する処理である。図10に示すように、フレームのデコード処理が開始されると、まず、ストリームの入力が正常であるか異常であるかを判断する(ステップS1)。ストリームの入力が正常である場合(ステップS1:正常)、エラー復帰の途中であるか否かを判断する(ステップS2)。エラー復帰の途中でない場合(ステップS2:No)、フレーム内の全ブロックについて終了するまで、フレーム内のブロックごとに次のステップS3およびステップS4を行う。
ステップS3では、フレーム内のブロックに対して、ストリームの入力が正常であるか異常であるかを判断する。ストリームの入力が正常である場合(ステップS3:正常)、次のブロックの処理に進む。また、ストリームの入力が異常である場合(ステップS3:異常)、前回出力したフレームの該当ブロックをそのまま出力する(ステップS4)。フレーム内の全ブロックについて終了したら、当該フレームのデコード処理を終了し、次のフレームのデコード処理を開始する。
一方、フレームのデコード処理を開始した直後の段階でストリームの入力が異常である場合(ステップS1:異常)、前回出力したフレームをそのまま出力し(ステップS5)、当該フレームのデコード処理を終了する。そして、次のフレームのデコード処理を開始する。
フレームのデコード処理を開始した直後の段階でストリームの入力が正常であり(ステップS1:正常)、さらにエラー復帰の途中である場合(ステップS2:Yes)、キーフレーム(Iピクチャ、H.264ではIDRピクチャ)を検出したか否かを判断する(ステップS6)。キーフレームを検出した場合(ステップS6:Yes)、エラー復帰が完了する。この場合、フレーム内の全ブロックについて前記ステップS3および前記ステップS4を行い、当該フレームのデコード処理を終了し、次のフレームのデコード処理を開始する。一方、キーフレームを検出できない場合(ステップS6:No)、前回出力したフレームをそのまま出力し(ステップS7)、当該フレームのデコード処理を終了する。そして、次のフレームのデコード処理を開始する。
図11は、従来のビデオデコーダによるエラー検出時の表示画像の変遷を説明する図である。図11において、画像21は、上述したフレームデコード処理のステップS1で正常、ステップS2でNo、ステップS3で正常のときのフレームの画像である。画像22は、次のフレームのデコード処理中に、途中のブロックまでステップS3で正常であり、途中のブロックでのステップS3で異常になり、ステップS4を行うときのフレームの画像である。画像22において、矢印で指し示すエラー検出位置までの上半部の画像23は、今回のフレームデコード処理によってデコードされたデータによる画像であり、エラー検出位置からの下半部の画像24は、前回出力したフレームの画像である。画像25,26,27は、ステップS1で異常であり、ステップS5を行うときのフリーズした画像である。
図12は、従来のビデオデコーダによるエラー復帰時にキーフレームから入力したときの表示画像の変遷を説明する図である。図12において、画像28は、ステップS1で異常のときのフリーズした画像である。画像29は、ステップS1で正常、ステップS2でYes、ステップS6でYes、ステップS3で正常のときのフレームの画像である。このように、ストリームの入力が復帰し、キーフレームが入力することによって、画像が突然動き出すことになる。画像30は、ステップS1で正常、ステップS2でNo、ステップS3で正常のときのフレームの画像である。
図13は、従来のビデオデコーダによるエラー復帰時にキーフレーム以外から入力したときの表示画像の変遷を説明する図である。図13において、画像31は、ステップS1で異常のときのフリーズした画像である。画像32,33,34は、ステップS1で正常、ステップS2でYes、ステップS6でNoであり、ステップS7を行うときのフリーズした画像である。このように、ストリームの入力が復帰しても、キーフレームが入力するまでは、画像はフリーズしたままである。画像がフリーズしている間、入力したストリームのPピクチャやBピクチャは捨てられてしまう。画像35は、次のフレームでのステップS1で正常、ステップS2でYes、ステップS6でYes、ステップS3で正常のときのフレームの画像である。このように、ストリームの入力がすでに復帰している状態でキーフレームが入力することによって、画像が突然動き出すことになる。
上述したように、従来のビデオデコーダを備えたデジタル放送受信装置では、デジタル放送の受信状態が悪くなると、映像が突然フリーズした状態となってしまう。そして、受信状態が回復しても、キーフレームが入力されてデコードされるまでは、フリーズした状態が続き、映像が復帰しない。従って、フリーズ期間が長くなり、映像の連続性が損なわれてしまうため、視聴者が違和感を覚えることになる。
そこで、映像が突然フリーズした状態となるのを回避するため、映像がフリーズ状態となる前に受信状態が悪くなってきていることを視聴者に知らせるようにしたデジタル放送受信装置が公知である。このデジタル放送受信装置は、復調したデジタル信号に対する誤り訂正機能を備えており、放送波の受信状態を検出する検出手段と、放送波の受信状態の劣化が誤り訂正可能な範囲を超えることとなる前の段階で受信状態が劣化していることを映像で報知する受信状態報知手段とを備えている。そして、受信状態報知手段は、ノイズを発生するノイズ発生手段と、映像にノイズを加える加算手段とを備えている(例えば、特許文献1参照。)。
また、デジタル放送の受信状態をもとに出力映像のフリーズ処理の開始および終了を判定するフリーズ判定手段と、前記フリーズ処理を実行中である場合に、表示画面にユーザから識別可能な変化を行うフリーズ通知表示を表示する表示制御手段と、を備え、前記表示制御手段は、前記フリーズ通知表示として擬似ノイズ画面を作成し、該擬似ノイズ画面をユーザから識別可能に変化させるようにしたデジタル放送受信装置が公知である。このデジタル放送受信装置では、フリーズ判定部は、誤りの発生したトランスポートストリームパケットの数に基づいてフリーズ処理の開始および終了を判定する(例えば、特許文献2参照。)。
また、デジタル放送の瞬断を防止する技術も提案されている。例えば、パケットの欠落に備えて、インデクス番号を持つヘッダが付加されたパケットからなる同一のコンテンツデータ二つで時間をずらして多重化された放送データを受信するアンテナと、当該放送データを元の二つのコンテンツデータに分離して、第一のコンテンツデータと第二のコンテンツデータとを生成する分離手段と、前記第二のコンテンツデータを格納する格納手段と、前記第一のコンテンツデータのパケットの欠落を判定する判定手段と、前記判定手段によって、前記第一のコンテンツデータのパケットに欠落があると判定された場合には、前記格納手段に格納された第二のコンテンツデータから当該欠落したパケットのインデクス番号に対応するインデクス番号のパケットを選択する選択手段と、前記選択手段によって選択された各パケットから再生用データをデコードするデコード手段と、を有するデジタル放送受信装置が公知である(例えば、特許文献3参照。)。
特開2002−64759号公報(段落[0006]、[0009]) 特開2005−260605号公報(段落[0012]、[0016]、[0052]〜[0054]) 特開2004−320394号公報(請求項8)
しかしながら、前記特許文献1に開示されたデジタル放送受信装置では、入力ストリームに誤り訂正情報が付加されていない場合には、映像にノイズを加えることができないという問題点がある。また、受信状態の劣化が誤り訂正可能な範囲を超えない程度、すなわち誤り訂正可能な程度であっても、映像にノイズが加えられることがあるという問題点もある。さらに、Iピクチャからデコードを開始する装置の場合、エラー復帰時にエラー訂正を行う必要がなくて、Iピクチャが入力されていなければ、ノイズの付加されていない画像がフリーズした状態になるという問題点がある。
また、前記特許文献2に開示されたデジタル放送受信装置では、トランスポートストリームパケット内にビットエラーがある場合にフリーズ処理が行われるが、ビデオストリームのエラーには対応していないという問題点がある。また、前記特許文献3に開示されたデジタル放送受信装置では、受信状態の劣化を視聴者に知らせることができないという問題点や、第二のコンテンツデータを格納する格納手段を用意する必要があるという問題点がある。
本発明は、上記に鑑みてなされたものであって、受信状態が悪くても、映像をフリーズさせずに、視聴者に番組の進行状況を容易に想像させることができるビデオデコーダおよびデジタル放送受信装置を提供することを目的とする。また、本発明は、受信状態が劣化していることを視聴者に知らせることができるビデオデコーダおよびデジタル放送受信装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、ベクトルデータを記憶する記憶手段を有する。そして、入力ストリームが異常であるときに、画像生成手段により、入力ストリームが異常になる前のデータと記憶手段に記憶されているベクトルデータに基づいて、入力ストリームが異常になる前のデータにより表示される画像に動きを付与した画像を生成する。また、本発明は、入力ストリームが異常であることを報知する処理を行う報知手段を有する。そして、画像生成手段により生成された画像に、報知手段により、例えばノイズパターンを重畳する。あるいは、報知手段により、画像生成手段により生成された画像の彩度を下げるようにしてもよい。あるいは、報知手段により、フレームレートを変更するようにしてもよい。
この発明によれば、受信状態が悪くて入力ストリームが異常になっても、画像生成手段により生成される画像が表示される。また、受信状態が悪くて入力ストリームが異常になると、表示される画像にノイズが現われたり、表示される画像の彩度が下がったりする。また、この発明では、デコーダ内部で入力ストリームのエラーを検知するので、エラー訂正情報が付加されていないストリームにも対応できる。さらに、ストリームにエラー訂正情報が付加されている場合、そのエラー訂正状況をビデオデコーダに通知することによって、ビデオデコーダにストリームが入力されない状態であっても、画像を更新して表示する。
本発明にかかるビデオデコーダおよびデジタル放送受信装置は、受信状態が悪くても、映像をフリーズさせずに、視聴者に番組の進行状況を容易に想像させることができるという効果を奏する。また、受信状態が劣化していることを視聴者に知らせることができるという効果を奏する。
図1は、この発明の実施例1にかかるデジタル放送受信装置の構成を示す図である。 図2は、この発明の実施例1にかかるMPEGビデオデコーダの構成を示す図である。 図3は、この発明の実施例1にかかるビデオデコーダによるフレームデコード処理の流れを説明する図である。 図4は、この発明の実施例1にかかるビデオデコーダによるエラー検出時の表示画像の変遷を説明する図である。 図5は、この発明の実施例1にかかるビデオデコーダによるエラー復帰時にキーフレームから入力したときの表示画像の変遷を説明する図である。 図6は、この発明の実施例1にかかるビデオデコーダによるエラー復帰時にキーフレーム以外から入力したときの表示画像の変遷を説明する図である。 図7は、この発明の実施例2にかかるH.264ビデオデコーダの構成を示す図である。 図8は、従来のMPEGビデオデコーダの構成を示す図である。 図9は、従来のH.264ビデオデコーダの構成を示す図である。 図10は、従来のビデオデコーダによるフレームデコード処理の流れを説明する図である。 図11は、従来のビデオデコーダによるエラー検出時の表示画像の変遷を説明する図である。 図12は、従来のビデオデコーダによるエラー復帰時にキーフレームから入力したときの表示画像の変遷を説明する図である。 図13は、従来のビデオデコーダによるエラー復帰時にキーフレーム以外から入力したときの表示画像の変遷を説明する図である。
符号の説明
8,17 動き補償予測部
41 デジタル放送受信装置
45 トランスポートストリーム・デマルチプレクサ
46,51,71 ビデオデコーダ
52,82 メモリ
53,54,83,84 乗算器
55,85 重み付き加算器
56,57,58,59,86,87,88,89 スイッチ
以下に、本発明にかかるビデオデコーダおよびデジタル放送受信装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、この発明の実施例1にかかるデジタル放送受信装置の構成を示す図である。図1に示すように、デジタル放送受信装置41は、アンテナ42、チューナ43およびデジタル復調部44を介して入力するトランスポートストリームパケット(TSパケット)をトランスポートストリーム・デマルチプレクサ(TS−Demux)45でビデオストリームとオーディオストリームに分離し、ビデオストリームおよびオーディオストリームを、それぞれ、ビデオデコーダ46およびオーディオデコーダ47でデコードすることによって、ビデオ出力48とオーディオ出力49を得る。
ビデオデコーダ46は、トランスポートストリームパケットの入力の有無によって、その動作が異なる。ビデオデコーダ46の構成および動作については、後述する。トランスポートストリーム・デマルチプレクサ45は、トランスポートストリームパケットの入力がある場合、ビデオデコーダ46にストリームの入力状況が正常であることを伝え、トランスポートストリームパケットの入力がない場合、ビデオデコーダ46にストリームの入力状況が異常であることを伝える。従って、トランスポートストリーム・デマルチプレクサ45は、入力ストリームの状況を出力する出力手段としての機能を有する。なお、トランスポートストリーム・デマルチプレクサ45においてエラー訂正状況を確認することができるが、ストリーム中にエラーが発生している場合に、ビデオデコーダ46の内部でエラー判定を行うので、ビデオストリームのデコードに関してこのエラー訂正状況の情報は使用されない。
図2は、この発明の実施例1にかかるMPEGビデオデコーダの構成を示す図である。ここでは、図1に示すビデオデコーダ46がMPEG−2のビデオデコーダ51(以下、MPEGビデオデコーダとする)であるとして説明する。なお、MPEG−1またはMPEG−4のビデオデコーダの構成は、厳密にはMPEGビデオデコーダ51とは異なるが、およそ同様である。
図2に示すように、MPEGビデオデコーダ51は、図8に示す従来のMPEGビデオデコーダ1の構成に、メモリ52と2個の乗算器53,54と重み付き加算器55と4個のスイッチ56,57,58,59を追加した構成となっている。これら4個のスイッチ56,57,58,59と、従来構成において設けられている、イントラデータとインターデータによってフレームバッファ6へのデータ入力経路を切り換えるスイッチ5と、を区別するため、これ以降、従来構成におけるスイッチ5を第1のスイッチとする。また、追加された重み付き加算器55と、従来構成において設けられている、動き補償予測部8により生成されたデータと逆離散コサイン変換部4の出力データを加算する加算器7と、を区別するため、これ以降、従来構成における加算器7を第1の加算器とする。従来と同様の構成については、図8と同じ符号を付して、重複する説明を省略する。
メモリ52は、可変長符号復号部2から出力されるベクトルデータを記憶する。従って、メモリ52は、ベクトルデータを記憶する記憶手段としての機能を有する。第1の乗算器53は、メモリ52に記憶されているベクトルデータに減衰係数rを乗算する。具体的には、例えば、各ベクトル値(符号付数値)を次式のように変換する。減衰係数rの値は、0.0よりも大きく、かつ1.0よりも小さい値であり、特に限定しないが、例えば、0.8である。
[ベクトル値]=r×[ベクトル値]
第1の乗算器53の乗算結果は、新たなベクトルデータとして、メモリ52に記憶される。第2のスイッチ56は、ストリームの入力状況が正常である場合に、可変長符号復号部2側に切り替わり、ストリームの入力状況が異常である場合に、第1の乗算器53側に切り替わる。従って、ストリームの入力状況が正常である場合、メモリ52には可変長符号復号部2から出力されるベクトルデータが記憶され、ストリームの入力状況が異常である場合、メモリ52には減衰係数rが乗算されて減衰したベクトルデータが記憶される。ストリームの入力状況は、上述したように、トランスポートストリーム・デマルチプレクサ45(図1参照)から与えられる。
第3のスイッチ57は、ストリームの入力状況が正常である場合に、可変長符号復号部2側に切り替わり、ストリームの入力状況が異常である場合に、メモリ52側に切り替わる。従って、ストリームの入力状況が正常である場合、動き補償予測部8には可変長符号復号部2から出力されるベクトルデータが入力し、ストリームの入力状況が異常である場合、動き補償予測部8にはメモリ52から出力されるベクトルデータが入力する。
第4のスイッチ58は、デコードが正常である場合に、第1の加算器7側に切り替わり、デコードが異常である場合に、動き補償予測部8側に切り替わる。従って、インターデータの場合に第1のスイッチ5により選択される側には、デコードが正常である場合、逆離散コサイン変換部4の出力データと動き補償予測部8の出力データを加算器7で加算したデータが供給され、デコードが異常である場合、動き補償予測部8の出力データが供給される。デコードが正常であるか異常であるかという情報は、可変長符号復号部2から与えられる。ここで、逆離散コサイン変換部4には、DC予測が可能でない場合、DC成分として所定の値、例えば中間値が与えられる。
第2の重み付き加算器55は、動き補償予測部8の出力データに、ノイズパターンのデータを加算する。具体的には、例えば、各画素の輝度信号(符号なし数値)を次式のように変換する。係数aの値は、0.0以上1.0以下の値であり、ストリーム入力が正常で、かつエラー復帰途中でない場合には0.0であり、ストリーム入力が異常である場合にはフレーム処理単位ごとに1.0までインクリメントされる。インクリメント幅は、任意の値であり、特に限定しないが、例えば、0.01である。
[画素の輝度信号]=(1.0−a)×[画素の輝度信号]+a×[ノイズパターン信号]
第5のスイッチ59は、ストリームの入力状況が正常である場合に、第1のスイッチ5側に切り替わり、ストリームの入力状況が異常である場合に、第2の重み付き加算器55側に切り替わる。従って、ストリームの入力状況が正常である場合、フレームバッファ6には、従来同様、逆離散コサイン変換部4の出力データ、または逆離散コサイン変換部4の出力データと動き補償予測部8の出力データを加算器7で加算したデータ、のいずれかが格納される。ストリームの入力状況が異常である場合、フレームバッファ6には、第2の重み付き加算器55により動き補償予測部8の出力データにノイズパターンのデータを加算したデータが格納される。
第2の乗算器54は、フレームバッファ6から出力されるビデオ出力の色差信号に係数bを乗算して、ビデオ出力に対して色差レベル制御を行う。具体的には、例えば、各画素の色差信号(符号付数値)を次式のように変換する。係数bの値は、0.0以上1.0以下の値であり、ストリーム入力が正常で、かつエラー復帰途中でない場合には1.0であり、ストリーム入力が異常である場合にはフレーム処理単位ごとに0.0までデクリメントされる。また、ストリーム入力が正常で、かつエラー復帰途中である場合にはフレーム処理単位ごとに1.0までインクリメントされる。インクリメント幅またはデクリメント幅は、任意の値であり、特に限定しないが、例えば、0.01である。
[画素の色差信号]=b×[画素の色差信号]
動き補償予測部8、第1の乗算器53、第2のスイッチ56、第3のスイッチ57、第4のスイッチ58、第5のスイッチ59、可変長符号復号部2、逆量子化部3、第1のスイッチ5、メモリ52および逆離散コサイン変換部4は、画像生成手段としての機能を有する。また、第2の乗算器54および第2の重み付き加算器55は、報知手段としての機能を有する。
図3は、この発明の実施例1にかかるビデオデコーダによるフレームデコード処理の流れを説明する図である。図3に示すデコード処理は、1フレームに対する処理である。図3に示すように、フレームのデコード処理が開始されると、まず、ストリームの入力が正常であるか異常であるかを判断する(ステップS11)。ストリームの入力が正常である場合(ステップS11:正常)、エラー復帰の途中であるか否かを判断する(ステップS12)。エラー復帰の途中でない場合(ステップS12:No)、フレーム内の全ブロックについて終了するまで、フレーム内のブロックごとに次のステップS13と、ステップS14もしくはステップS15を行う。
ステップS13では、フレーム内のブロックに対して、ストリームの入力が正常であるか異常であるかを判断する。ストリームの入力が正常である場合(ステップS13:正常)、通常のデコード処理を行ってデータをフレームバッファ6に格納するとともに、ベクトルデータをメモリ52に格納し(ステップS14)、次のブロックの処理に進む。また、ストリームの入力が異常である場合(ステップS13:異常)、フレームバッファ6から前回のフレームの該当するブロック位置のデータを読み出し、第2の重み付き加算器55により、そのデータにノイズパターンのデータを加算してフレームバッファ6に格納する(ステップS15)。画像のデータにノイズパターンのデータを加算することによって、画像にノイズパターンを重畳(ブレンド)させることができる。フレーム内の全ブロックについて終了したら、当該フレームのデコード処理を終了し、次のフレームのデコード処理を開始する。
一方、フレームのデコード処理を開始した直後の段階でストリームの入力が異常である場合(ステップS11:異常)、画像にノイズパターンをブレンドする際の前記係数aをフレーム処理単位ごとにインクリメントして、第2の重み付き加算器55によりブレンドするノイズパターンの度合いを強める(ステップS16)。また、第2の乗算器54により色差レベル制御を行う際の前記係数bをフレーム処理単位ごとにデクリメントして、画像の彩度を下げる(ステップS17)。そして、フレーム内の全ブロックについて終了するまで、次のステップS18とステップS19を行う。
ステップS18では、メモリ52から、該当するブロック位置のベクトルデータを読み出し、第2の重み付き加算器55により、このベクトルデータによって参照されるブロックの画像にノイズパターンをブレンドし、それを、デコードするフレームに貼り付けてフレームバッファ6に格納する(ステップS18)。そして、第1の乗算器53により、ここで用いたベクトルデータに減衰係数rを乗算し、ベクトルデータを減衰させてメモリ52に格納する(ステップS19)。そして、当該フレームのデコード処理を終了し、次のフレームのデコード処理を開始する。
フレームのデコード処理を開始した直後の段階でストリームの入力が正常であり(ステップS11:正常)、さらにエラー復帰の途中である場合(ステップS12:Yes)、キーフレーム(Iピクチャ)を検出したか否かを判断する(ステップS20)。キーフレームを検出できない場合(ステップS20:No)、第2の乗算器54により色差レベル制御を行う際の前記係数bをフレーム処理単位ごとにインクリメントして、画像の彩度を上げる(ステップS21)。そして、フレーム内の全ブロックについて終了するまで、次のステップS22とステップS23と、ステップS24もしくはステップS25、またはステップS26を行う。
ステップS22では、ブロックのデータがイントラデータとインターデータのいずれであるかを判断する(ステップS22)。ブロックのデータがイントラデータである場合(ステップS22:Intra)、さらに、DC予測が可能であるか否かを判断する(ステップS23)。DC予測が可能である場合(ステップS23:Yes)、通常のデコード処理を行ってデータをフレームバッファ6に格納する(ステップS24)。DC予測が可能でない場合(ステップS23:No)、逆離散コサイン変換部4にDC成分として所定の値、例えば中間値を与えて、デコード処理を行い、データをフレームバッファ6に格納する(ステップS25)。
ステップS22でブロックのデータがインターデータである場合(ステップS22:Inter)、メモリ52から、そのブロックのベクトルデータを読み出し、このベクトルデータによって参照されるブロックのデータを、デコードするフレームに貼り付けてフレームバッファ6に格納する(ステップS26)。そして、当該フレームのデコード処理を終了し、次のフレームのデコード処理を開始する。
一方、ステップS20でキーフレームを検出した場合(ステップS20:Yes)、第2の重み付き加算器55における前記係数aの値を0.0に戻して、画像にブレンドするノイズパターンの度合いをリセットする(ステップS27)。また、第2の乗算器54における前記係数bの値を1.0に戻して、画像の彩度の調整を解除する(ステップS28)。これによって、エラー復帰が完了する。この場合、フレーム内の全ブロックについて前記ステップS13と、ステップS14もしくはステップS15を行い、当該フレームのデコード処理を終了し、次のフレームのデコード処理を開始する。
上述したフレームデコード処理において、ストリームの入力が異常である場合に、ノイズパターンとのブレンド処理、色差レベル制御処理およびベクトルデータの減衰処理を含めたデコード処理を、表示フレーム時間単位で動作させたり、停止させたりすることによって、フレームレートを調整するようにしてもよい。その場合には、次のような構成とすればよい。ストリームの入力が正常であるときに、毎秒p枚のフレームを出力するとする。pは、2よりも大きい自然数である。この場合、1/p秒の周期でフレームが出力される。ストリームの入力が異常になった場合、q/p秒の周期でデコード処理を動作させて、出力フレームを更新する。
そうすれば、フレームレートが1/qとなる。qは1よりも大きな自然数であり、ストリームの入力が異常となってからm枚のフレームを出力するたびにインクリメントされる。mは、任意の自然数であり、特に限定しないが、例えば、30である。インクリメント幅は、任意の値であり、特に限定しないが、例えば、1である。そして、ストリームの入力が正常に戻ったら、qの値を1にリセットする。このように、ストリームの入力が異常となった場合に、フレームレートを下げることによって、視聴者に不快感を与えないようにすることができるとともに、ビデオデコーダが一定期間停止するので、消費電力を削減することができる。
図4は、この発明の実施例1にかかるビデオデコーダによるエラー検出時の表示画像の変遷を説明する図である。図4において、画像91は、図3に示すフレームデコード処理のステップS11で正常、ステップS12でNo、ステップS13で正常であり、ステップS14を行うときのフレームの画像である。画像92は、次のフレームのデコード処理中に、途中のブロックまでステップS13で正常であり、途中のブロックでのステップS13で異常になり、ステップS15を行うときのフレームの画像である。画像92において、矢印で指し示すエラー検出位置までの上半部の画像93は、今回のフレームデコード処理によってデコードされたデータによる画像であり、エラー検出位置からの下半部の画像94は、前回出力したフレームの画像にノイズパターンがブレンドされた画像である。
画像95,96,97は、ステップS11で異常であり、ステップS16からステップS19までを行うときのフレームの画像である。ここでは、ストリームの入力が異常になったことを検知した後、ストリームの入力が正常であったときのベクトルの履歴データを用いて画像を構成し、その画像に慣性的な動きを付ける。そして、動きベクトルの履歴データを減衰させることによって、映像が突然フリーズ状態になるのを避け、視聴者に違和感を与えないようにしている。
また、時間が経過して、画像95、画像96、画像97というように、表示されるフレームの画像が進むのに連れて、ノイズパターンのブレンドの度合いが徐々に強くなっていき、それに反して、画像の色情報については彩度が徐々に下がっていく。さらに、フレームレートが徐々に下がっていってもよい。このようにすることによって、視聴者に受信状態が悪くなっていることを知らせることができる。
図5は、この発明の実施例1にかかるビデオデコーダによるエラー復帰時にキーフレームから入力したときの表示画像の変遷を説明する図である。図5において、画像98は、ステップS11で異常であり、ステップS16からステップS19までを行うときのフレームの画像である。この画像には、ノイズパターンがブレンドされている。画像99は、ステップS11で正常、ステップS12でYes、ステップS20でYesとなり、ステップS27およびステップS28を行い、さらに、ステップS13で正常であり、ステップS14を行うときのフレームの画像である。画像100は、ステップS11で正常、ステップS12でNo、ステップS13で正常であり、ステップS14を行うときのフレームの画像である。
図6は、この発明の実施例1にかかるビデオデコーダによるエラー復帰時にキーフレーム以外から入力したときの表示画像の変遷を説明する図である。図6において、画像101は、ステップS11で異常であり、ステップS16からステップS19までを行うときのフレームの画像である。画像102,103,104は、ステップS11で正常、ステップS12でYes、ステップS20でNoであり、ステップS21からステップS26までを行うときのフレームの画像である。画像105は、次のフレームでのステップS11で正常、ステップS12でYes、ステップS20でYesとなり、ステップS27およびステップS28を行い、さらに、ステップS13で正常であり、ステップS14を行うときのフレームの画像である。
ストリームの入力が復帰した後、キーフレームが入力するまでは、インターデータのブロックについては、ベクトルデータのみを利用し、一方、イントラデータのブロックについては、通常のデコード処理またはDC成分を中間値等の値に設定してデコード処理を行うことによって、受信したデータのうち、利用可能なデータを最大限に利用してブロックの動きを表示する。その際、イントラデータのブロックについては、無彩色から徐々に彩度を上げていく。そうすることによって、視聴者に受信状態が良くなっていることを知らせることができる。
図7は、この発明の実施例2にかかるH.264ビデオデコーダの構成を示す図である。ここでは、図1に示すビデオデコーダ46がH.264ビデオデコーダ71であるとして説明する。図7に示すように、H.264ビデオデコーダ71は、図9に示す従来のH.264ビデオデコーダ11の構成において、スイッチ14の代わりに第1Aのスイッチ74および第1Bのスイッチ75を設け、加算器16の代わりに第1Aの加算器72および第1Bの加算器73を設け、さらに、メモリ82と2個の乗算器83,84と重み付き加算器85と4個のスイッチ86,87,88,89を追加した構成となっている。従来と同様の構成については、図9と同じ符号を付して、重複する説明を省略する。
メモリ82、第1の乗算器83、第2のスイッチ86および第3のスイッチ87については、実施例1のメモリ52、第1の乗算器53、第2のスイッチ56および第3のスイッチ57と同様であるので、重複する説明を省略する。メモリ82は、ベクトルデータを記憶する記憶手段としての機能を有する。第1Aの加算器72は、逆量子化逆変換部13の出力データと、ベクトルデータおよび前のフレームのデータに基づいて動き補償予測部17による動き補償予測により生成されたデータと、を加算する。第1Bの加算器73は、逆量子化逆変換部13の出力データと、イントラ予測部15によるイントラ予測により生成されたデータと、を加算する。
第1Aのスイッチ74は、入力データがインターデータの場合に、第1Aの加算器72側に切り替わり、入力データがイントラデータの場合に、第1Bの加算器73側に切り替わる。第1Aのスイッチ74の出力データは、イントラ予測部15とデブロッキングフィルタ18へ送られる。第1Bのスイッチ75は、入力データがインターデータの場合に、動き補償予測部17側に切り替わり、入力データがイントラデータの場合に、第1Bの加算器73側に切り替わる。第1Bのスイッチ75の出力データは、第4のスイッチ88へ送られる。
第4のスイッチ88は、デコードが正常である場合に、デブロッキングフィルタ18側に切り替わり、デコードが異常である場合に、第1Bのスイッチ75側に切り替わる。第4のスイッチ88の出力データは、第5のスイッチ89へ送られる。第2の重み付き加算器85については、実施例1の第2の重み付き加算器55と同様であるので、重複する説明を省略する。第5のスイッチ89は、ストリームの入力状況が正常である場合に、第4のスイッチ88側に切り替わり、ストリームの入力状況が異常である場合に、第2の重み付き加算器85側に切り替わる。第2の乗算器84については、実施例1の第2の乗算器54と同様であるので、重複する説明を省略する。
動き補償予測部17、第1の乗算器83、第2のスイッチ86、第3のスイッチ87、第4のスイッチ88、第5のスイッチ89、可変長符号復号部12、逆量子化逆変換部13、第1Aの加算器72、第1Aのスイッチ74、第1Bのスイッチ75、デブロッキングフィルタ18、メモリ82およびイントラ予測部15は、画像生成手段としての機能を有する。また、第2の乗算器84および第2の重み付き加算器85は、報知手段としての機能を有する。
上述した構成のH.264ビデオデコーダ71によるフレームデコード処理の流れは、図3に示す例と同様であるので、説明を省略する。また、エラー検出時、エラー復帰時にキーフレームから入力したとき、およびエラー復帰時にキーフレーム以外から入力したときの各表示画像の変遷については、それぞれ、図4、図5および図6に示す例と同様であるので、説明を省略する。
なお、上述した実施例1または2では、入力ストリームに異常が検出された場合に、ノイズパターンとのブレンド処理を行うとしたが、これに限らず、視聴者に受信状態が悪くなっていることを知らせることができれば、別の画像処理を行う構成としてもよい。例えば、入力ストリームが異常になったブロックの解像度を調整する構成とし、受信状態が悪い場合にモザイクのかかったような画像を表示するようにしてもよい。
また、本発明は、デジタル放送のチャンネル切り替え時の時間短縮を目的とする場合にも、適用可能である。デジタル放送受信装置がチューナやトランスポートストリーム・デマルチプレクサを1系統しか有していない場合、チャンネルを切り替えると、実際に映像が開始されるまでに時間がかかってしまう。本発明の特徴の一つである、ストリームの入力が復帰してからの動作を適用することによって、チャンネルの切り替えから映像の表示までの時間を短縮することができる。この場合、キーフレームをデコードするまでは、視聴者に映像を想像させるような画像が表示されることになる。
通常、チャンネルの切り替えを行うと、ビデオストリーム中の映像サイズ等の情報(シーケンス情報)を抽出してからでないと、ビデオデコーダを正常に動作させることができない。しかし、予めチャンネルの番組情報から映像サイズ情報を抽出しておいてビデオデコーダをセットアップしておけば、シーケンス情報を抽出する前でも、ビデオデコーダを動作させることができる。従って、このようにすれば、視聴者に映像を想像させるような画像を表示させることができる。また、デジタル放送以外に、生中継のネットワーク配信にも本発明を適用することができる。この場合、トランスポートストリーム・デマルチプレクサより前段部分のブロックが、ネットワーク受信部となる。
以上のように、本発明にかかるビデオデコーダおよびデジタル放送受信装置は、動画像データを再生する装置に有用であり、特に、MPEG−1、MPEG−2もしくはMPEG−4、またはH.264等のデジタル動画像圧縮方式に従って圧縮された動画像データを再生する装置に適している。
本発明は、ビデオデコーダおよびデジタル放送受信装置に関するものである。
図8は、従来のMPEG−2ビデオデコーダの構成を示す図である。図8に示すように、従来のMPEG−2ビデオデコーダ1では、入力したビデオストリームは、可変長符号復号部2で可変長復号化され、逆量子化部3で逆量子化され、逆離散コサイン変換部4で逆離散コサイン変換される。入力データがイントラデータの場合には、スイッチ5が逆離散コサイン変換部4側に切り替わり、逆離散コサイン変換部4の出力データがそのままフレームバッファ6に格納される。一方、インターデータの場合には、スイッチ5が加算器7側に切り替わり、ベクトルデータおよび参照フレームのデータに基づいて動き補償予測部8による動き補償予測により生成されたデータと、逆離散コサイン変換部4の出力データとが、加算器7で加算されて、フレームバッファ6に格納される。なお、MPEG−1またはMPEG−4のビデオデコーダの構成は、厳密にはこれとは異なるが、およそ同様である。
図9は、従来のH.264ビデオデコーダの構成を示す図である。図9に示すように、従来のH.264ビデオデコーダ11では、入力したビデオストリームは、可変長符号復号部12で可変長復号化され、逆量子化逆変換部13で逆量子化され、逆変換される。入力データがイントラデータの場合には、スイッチ14がイントラ予測部15側に切り替わり、イントラ予測部15によるイントラ予測により生成されたデータと逆量子化逆変換部13の出力データとが加算器16で加算される。一方、インターデータの場合には、スイッチ14が動き補償予測部17側に切り替わり、ベクトルデータおよび参照フレームのデータに基づいて動き補償予測部17による動き補償予測により生成されたデータと、逆量子化逆変換部13の出力データとが加算器16で加算される。加算器16の出力データは、デブロッキングフィルタ18を介して、フレームバッファ19に格納される。
図10は、図8または図9に示す従来のビデオデコーダによるフレームデコード処理の流れを説明する図である。図10に示すデコード処理は、1フレームに対する処理である。図10に示すように、フレームのデコード処理が開始されると、まず、ストリームの入力が正常であるか異常であるかを判断する(ステップS1)。ストリームの入力が正常である場合(ステップS1:正常)、エラー復帰の途中であるか否かを判断する(ステップS2)。エラー復帰の途中でない場合(ステップS2:No)、フレーム内の全ブロックについて終了するまで、フレーム内のブロックごとに次のステップS3およびステップS4を行う。
ステップS3では、フレーム内のブロックに対して、ストリームの入力が正常であるか異常であるかを判断する。ストリームの入力が正常である場合(ステップS3:正常)、次のブロックの処理に進む。また、ストリームの入力が異常である場合(ステップS3:異常)、前回出力したフレームの該当ブロックをそのまま出力する(ステップS4)。フレーム内の全ブロックについて終了したら、当該フレームのデコード処理を終了し、次のフレームのデコード処理を開始する。
一方、フレームのデコード処理を開始した直後の段階でストリームの入力が異常である場合(ステップS1:異常)、前回出力したフレームをそのまま出力し(ステップS5)、当該フレームのデコード処理を終了する。そして、次のフレームのデコード処理を開始する。
フレームのデコード処理を開始した直後の段階でストリームの入力が正常であり(ステップS1:正常)、さらにエラー復帰の途中である場合(ステップS2:Yes)、キーフレーム(Iピクチャ、H.264ではIDRピクチャ)を検出したか否かを判断する(ステップS6)。キーフレームを検出した場合(ステップS6:Yes)、エラー復帰が完了する。この場合、フレーム内の全ブロックについて前記ステップS3および前記ステップS4を行い、当該フレームのデコード処理を終了し、次のフレームのデコード処理を開始する。一方、キーフレームを検出できない場合(ステップS6:No)、前回出力したフレームをそのまま出力し(ステップS7)、当該フレームのデコード処理を終了する。そして、次のフレームのデコード処理を開始する。
図11は、従来のビデオデコーダによるエラー検出時の表示画像の変遷を説明する図である。図11において、画像21は、上述したフレームデコード処理のステップS1で正常、ステップS2でNo、ステップS3で正常のときのフレームの画像である。画像22は、次のフレームのデコード処理中に、途中のブロックまでステップS3で正常であり、途中のブロックでのステップS3で異常になり、ステップS4を行うときのフレームの画像である。画像22において、矢印で指し示すエラー検出位置までの上半部の画像23は、今回のフレームデコード処理によってデコードされたデータによる画像であり、エラー検出位置からの下半部の画像24は、前回出力したフレームの画像である。画像25,26,27は、ステップS1で異常であり、ステップS5を行うときのフリーズした画像である。
図12は、従来のビデオデコーダによるエラー復帰時にキーフレームから入力したときの表示画像の変遷を説明する図である。図12において、画像28は、ステップS1で異常のときのフリーズした画像である。画像29は、ステップS1で正常、ステップS2でYes、ステップS6でYes、ステップS3で正常のときのフレームの画像である。このように、ストリームの入力が復帰し、キーフレームが入力することによって、画像が突然動き出すことになる。画像30は、ステップS1で正常、ステップS2でNo、ステップS3で正常のときのフレームの画像である。
図13は、従来のビデオデコーダによるエラー復帰時にキーフレーム以外から入力したときの表示画像の変遷を説明する図である。図13において、画像31は、ステップS1で異常のときのフリーズした画像である。画像32,33,34は、ステップS1で正常、ステップS2でYes、ステップS6でNoであり、ステップS7を行うときのフリーズした画像である。このように、ストリームの入力が復帰しても、キーフレームが入力するまでは、画像はフリーズしたままである。画像がフリーズしている間、入力したストリームのPピクチャやBピクチャは捨てられてしまう。画像35は、次のフレームでのステップS1で正常、ステップS2でYes、ステップS6でYes、ステップS3で正常のときのフレームの画像である。このように、ストリームの入力がすでに復帰している状態でキーフレームが入力することによって、画像が突然動き出すことになる。
上述したように、従来のビデオデコーダを備えたデジタル放送受信装置では、デジタル放送の受信状態が悪くなると、映像が突然フリーズした状態となってしまう。そして、受信状態が回復しても、キーフレームが入力されてデコードされるまでは、フリーズした状態が続き、映像が復帰しない。従って、フリーズ期間が長くなり、映像の連続性が損なわれてしまうため、視聴者が違和感を覚えることになる。
そこで、映像が突然フリーズした状態となるのを回避するため、映像がフリーズ状態となる前に受信状態が悪くなってきていることを視聴者に知らせるようにしたデジタル放送受信装置が公知である。このデジタル放送受信装置は、復調したデジタル信号に対する誤り訂正機能を備えており、放送波の受信状態を検出する検出手段と、放送波の受信状態の劣化が誤り訂正可能な範囲を超えることとなる前の段階で受信状態が劣化していることを映像で報知する受信状態報知手段とを備えている。そして、受信状態報知手段は、ノイズを発生するノイズ発生手段と、映像にノイズを加える加算手段とを備えている(例えば、特許文献1参照。)。
また、デジタル放送の受信状態をもとに出力映像のフリーズ処理の開始および終了を判定するフリーズ判定手段と、前記フリーズ処理を実行中である場合に、表示画面にユーザから識別可能な変化を行うフリーズ通知表示を表示する表示制御手段と、を備え、前記表示制御手段は、前記フリーズ通知表示として擬似ノイズ画面を作成し、該擬似ノイズ画面をユーザから識別可能に変化させるようにしたデジタル放送受信装置が公知である。このデジタル放送受信装置では、フリーズ判定部は、誤りの発生したトランスポートストリームパケットの数に基づいてフリーズ処理の開始および終了を判定する(例えば、特許文献2参照。)。
また、デジタル放送の瞬断を防止する技術も提案されている。例えば、パケットの欠落に備えて、インデクス番号を持つヘッダが付加されたパケットからなる同一のコンテンツデータ二つで時間をずらして多重化された放送データを受信するアンテナと、当該放送データを元の二つのコンテンツデータに分離して、第一のコンテンツデータと第二のコンテンツデータとを生成する分離手段と、前記第二のコンテンツデータを格納する格納手段と、前記第一のコンテンツデータのパケットの欠落を判定する判定手段と、前記判定手段によって、前記第一のコンテンツデータのパケットに欠落があると判定された場合には、前記格納手段に格納された第二のコンテンツデータから当該欠落したパケットのインデクス番号に対応するインデクス番号のパケットを選択する選択手段と、前記選択手段によって選択された各パケットから再生用データをデコードするデコード手段と、を有するデジタル放送受信装置が公知である(例えば、特許文献3参照。)。
特開2002−64759号公報(段落[0006]、[0009]) 特開2005−260605号公報(段落[0012]、[0016]、[0052]〜[0054]) 特開2004−320394号公報(請求項8)
しかしながら、前記特許文献1に開示されたデジタル放送受信装置では、入力ストリームに誤り訂正情報が付加されていない場合には、映像にノイズを加えることができないという問題点がある。また、受信状態の劣化が誤り訂正可能な範囲を超えない程度、すなわち誤り訂正可能な程度であっても、映像にノイズが加えられることがあるという問題点もある。さらに、Iピクチャからデコードを開始する装置の場合、エラー復帰時にエラー訂正を行う必要がなくて、Iピクチャが入力されていなければ、ノイズの付加されていない画像がフリーズした状態になるという問題点がある。
また、前記特許文献2に開示されたデジタル放送受信装置では、トランスポートストリームパケット内にビットエラーがある場合にフリーズ処理が行われるが、ビデオストリームのエラーには対応していないという問題点がある。また、前記特許文献3に開示されたデジタル放送受信装置では、受信状態の劣化を視聴者に知らせることができないという問題点や、第二のコンテンツデータを格納する格納手段を用意する必要があるという問題点がある。
本発明は、上記に鑑みてなされたものであって、受信状態が悪くても、映像をフリーズさせずに、視聴者に番組の進行状況を容易に想像させることができるビデオデコーダおよびデジタル放送受信装置を提供することを目的とする。また、本発明は、受信状態が劣化していることを視聴者に知らせることができるビデオデコーダおよびデジタル放送受信装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、ベクトルデータを記憶する記憶手段を有する。そして、入力ストリームが異常であるときに、画像生成手段により、入力ストリームが異常になる前のデータと記憶手段に記憶されているベクトルデータに基づいて、入力ストリームが異常になる前のデータにより表示される画像に動きを付与した画像を生成する。また、本発明は、入力ストリームが異常であることを報知する処理を行う報知手段を有する。そして、画像生成手段により生成された画像に、報知手段により、例えばノイズパターンを重畳する。あるいは、報知手段により、画像生成手段により生成された画像の彩度を下げるようにしてもよい。あるいは、報知手段により、フレームレートを変更するようにしてもよい。
この発明によれば、受信状態が悪くて入力ストリームが異常になっても、画像生成手段により生成される画像が表示される。また、受信状態が悪くて入力ストリームが異常になると、表示される画像にノイズが現われたり、表示される画像の彩度が下がったりする。また、この発明では、デコーダ内部で入力ストリームのエラーを検知するので、エラー訂正情報が付加されていないストリームにも対応できる。さらに、ストリームにエラー訂正情報が付加されている場合、そのエラー訂正状況をビデオデコーダに通知することによって、ビデオデコーダにストリームが入力されない状態であっても、画像を更新して表示する。
本発明にかかるビデオデコーダおよびデジタル放送受信装置は、受信状態が悪くても、映像をフリーズさせずに、視聴者に番組の進行状況を容易に想像させることができるという効果を奏する。また、受信状態が劣化していることを視聴者に知らせることができるという効果を奏する。
この発明の実施例1にかかるデジタル放送受信装置の構成を示す図である。 この発明の実施例1にかかるMPEGビデオデコーダの構成を示す図である。 この発明の実施例1にかかるビデオデコーダによるフレームデコード処理の流れを説明する図である。 この発明の実施例1にかかるビデオデコーダによるエラー検出時の表示画像の変遷を説明する図である。 この発明の実施例1にかかるビデオデコーダによるエラー復帰時にキーフレームから入力したときの表示画像の変遷を説明する図である。 この発明の実施例1にかかるビデオデコーダによるエラー復帰時にキーフレーム以外から入力したときの表示画像の変遷を説明する図である。 この発明の実施例2にかかるH.264ビデオデコーダの構成を示す図である。 従来のMPEGビデオデコーダの構成を示す図である。 従来のH.264ビデオデコーダの構成を示す図である。 従来のビデオデコーダによるフレームデコード処理の流れを説明する図である。 従来のビデオデコーダによるエラー検出時の表示画像の変遷を説明する図である。 従来のビデオデコーダによるエラー復帰時にキーフレームから入力したときの表示画像の変遷を説明する図である。 従来のビデオデコーダによるエラー復帰時にキーフレーム以外から入力したときの表示画像の変遷を説明する図である。
以下に、本発明にかかるビデオデコーダおよびデジタル放送受信装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、この発明の実施例1にかかるデジタル放送受信装置の構成を示す図である。図1に示すように、デジタル放送受信装置41は、アンテナ42、チューナ43およびデジタル復調部44を介して入力するトランスポートストリームパケット(TSパケット)をトランスポートストリーム・デマルチプレクサ(TS−Demux)45でビデオストリームとオーディオストリームに分離し、ビデオストリームおよびオーディオストリームを、それぞれ、ビデオデコーダ46およびオーディオデコーダ47でデコードすることによって、ビデオ出力48とオーディオ出力49を得る。
ビデオデコーダ46は、トランスポートストリームパケットの入力の有無によって、その動作が異なる。ビデオデコーダ46の構成および動作については、後述する。トランスポートストリーム・デマルチプレクサ45は、トランスポートストリームパケットの入力がある場合、ビデオデコーダ46にストリームの入力状況が正常であることを伝え、トランスポートストリームパケットの入力がない場合、ビデオデコーダ46にストリームの入力状況が異常であることを伝える。従って、トランスポートストリーム・デマルチプレクサ45は、入力ストリームの状況を出力する出力手段としての機能を有する。なお、トランスポートストリーム・デマルチプレクサ45においてエラー訂正状況を確認することができるが、ストリーム中にエラーが発生している場合に、ビデオデコーダ46の内部でエラー判定を行うので、ビデオストリームのデコードに関してこのエラー訂正状況の情報は使用されない。
図2は、この発明の実施例1にかかるMPEGビデオデコーダの構成を示す図である。ここでは、図1に示すビデオデコーダ46がMPEG−2のビデオデコーダ51(以下、MPEGビデオデコーダとする)であるとして説明する。なお、MPEG−1またはMPEG−4のビデオデコーダの構成は、厳密にはMPEGビデオデコーダ51とは異なるが、およそ同様である。
図2に示すように、MPEGビデオデコーダ51は、図8に示す従来のMPEGビデオデコーダ1の構成に、メモリ52と2個の乗算器53,54と重み付き加算器55と4個のスイッチ56,57,58,59を追加した構成となっている。これら4個のスイッチ56,57,58,59と、従来構成において設けられている、イントラデータとインターデータによってフレームバッファ6へのデータ入力経路を切り換えるスイッチ5と、を区別するため、これ以降、従来構成におけるスイッチ5を第1のスイッチとする。また、追加された重み付き加算器55と、従来構成において設けられている、動き補償予測部8により生成されたデータと逆離散コサイン変換部4の出力データを加算する加算器7と、を区別するため、これ以降、従来構成における加算器7を第1の加算器とする。従来と同様の構成については、図8と同じ符号を付して、重複する説明を省略する。
メモリ52は、可変長符号復号部2から出力されるベクトルデータを記憶する。従って、メモリ52は、ベクトルデータを記憶する記憶手段としての機能を有する。第1の乗算器53は、メモリ52に記憶されているベクトルデータに減衰係数rを乗算する。具体的には、例えば、各ベクトル値(符号付数値)を次式のように変換する。減衰係数rの値は、0.0よりも大きく、かつ1.0よりも小さい値であり、特に限定しないが、例えば、0.8である。
[ベクトル値]=r×[ベクトル値]
第1の乗算器53の乗算結果は、新たなベクトルデータとして、メモリ52に記憶される。第2のスイッチ56は、ストリームの入力状況が正常である場合に、可変長符号復号部2側に切り替わり、ストリームの入力状況が異常である場合に、第1の乗算器53側に切り替わる。従って、ストリームの入力状況が正常である場合、メモリ52には可変長符号復号部2から出力されるベクトルデータが記憶され、ストリームの入力状況が異常である場合、メモリ52には減衰係数rが乗算されて減衰したベクトルデータが記憶される。ストリームの入力状況は、上述したように、トランスポートストリーム・デマルチプレクサ45(図1参照)から与えられる。
第3のスイッチ57は、ストリームの入力状況が正常である場合に、可変長符号復号部2側に切り替わり、ストリームの入力状況が異常である場合に、メモリ52側に切り替わる。従って、ストリームの入力状況が正常である場合、動き補償予測部8には可変長符号復号部2から出力されるベクトルデータが入力し、ストリームの入力状況が異常である場合、動き補償予測部8にはメモリ52から出力されるベクトルデータが入力する。
第4のスイッチ58は、デコードが正常である場合に、第1の加算器7側に切り替わり、デコードが異常である場合に、動き補償予測部8側に切り替わる。従って、インターデータの場合に第1のスイッチ5により選択される側には、デコードが正常である場合、逆離散コサイン変換部4の出力データと動き補償予測部8の出力データを加算器7で加算したデータが供給され、デコードが異常である場合、動き補償予測部8の出力データが供給される。デコードが正常であるか異常であるかという情報は、可変長符号復号部2から与えられる。ここで、逆離散コサイン変換部4には、DC予測が可能でない場合、DC成分として所定の値、例えば中間値が与えられる。
第2の重み付き加算器55は、動き補償予測部8の出力データに、ノイズパターンのデータを加算する。具体的には、例えば、各画素の輝度信号(符号なし数値)を次式のように変換する。係数aの値は、0.0以上1.0以下の値であり、ストリーム入力が正常で、かつエラー復帰途中でない場合には0.0であり、ストリーム入力が異常である場合にはフレーム処理単位ごとに1.0までインクリメントされる。インクリメント幅は、任意の値であり、特に限定しないが、例えば、0.01である。
[画素の輝度信号]=(1.0−a)×[画素の輝度信号]+a×[ノイズパターン信号]
第5のスイッチ59は、ストリームの入力状況が正常である場合に、第1のスイッチ5側に切り替わり、ストリームの入力状況が異常である場合に、第2の重み付き加算器55側に切り替わる。従って、ストリームの入力状況が正常である場合、フレームバッファ6には、従来同様、逆離散コサイン変換部4の出力データ、または逆離散コサイン変換部4の出力データと動き補償予測部8の出力データを加算器7で加算したデータ、のいずれかが格納される。ストリームの入力状況が異常である場合、フレームバッファ6には、第2の重み付き加算器55により動き補償予測部8の出力データにノイズパターンのデータを加算したデータが格納される。
第2の乗算器54は、フレームバッファ6から出力されるビデオ出力の色差信号に係数bを乗算して、ビデオ出力に対して色差レベル制御を行う。具体的には、例えば、各画素の色差信号(符号付数値)を次式のように変換する。係数bの値は、0.0以上1.0以下の値であり、ストリーム入力が正常で、かつエラー復帰途中でない場合には1.0であり、ストリーム入力が異常である場合にはフレーム処理単位ごとに0.0までデクリメントされる。また、ストリーム入力が正常で、かつエラー復帰途中である場合にはフレーム処理単位ごとに1.0までインクリメントされる。インクリメント幅またはデクリメント幅は、任意の値であり、特に限定しないが、例えば、0.01である。
[画素の色差信号]=b×[画素の色差信号]
動き補償予測部8、第1の乗算器53、第2のスイッチ56、第3のスイッチ57、第4のスイッチ58、第5のスイッチ59、可変長符号復号部2、逆量子化部3、第1のスイッチ5、メモリ52および逆離散コサイン変換部4は、画像生成手段としての機能を有する。また、第2の乗算器54および第2の重み付き加算器55は、報知手段としての機能を有する。
図3は、この発明の実施例1にかかるビデオデコーダによるフレームデコード処理の流れを説明する図である。図3に示すデコード処理は、1フレームに対する処理である。図3に示すように、フレームのデコード処理が開始されると、まず、ストリームの入力が正常であるか異常であるかを判断する(ステップS11)。ストリームの入力が正常である場合(ステップS11:正常)、エラー復帰の途中であるか否かを判断する(ステップS12)。エラー復帰の途中でない場合(ステップS12:No)、フレーム内の全ブロックについて終了するまで、フレーム内のブロックごとに次のステップS13と、ステップS14もしくはステップS15を行う。
ステップS13では、フレーム内のブロックに対して、ストリームの入力が正常であるか異常であるかを判断する。ストリームの入力が正常である場合(ステップS13:正常)、通常のデコード処理を行ってデータをフレームバッファ6に格納するとともに、ベクトルデータをメモリ52に格納し(ステップS14)、次のブロックの処理に進む。また、ストリームの入力が異常である場合(ステップS13:異常)、フレームバッファ6から前回のフレームの該当するブロック位置のデータを読み出し、第2の重み付き加算器55により、そのデータにノイズパターンのデータを加算してフレームバッファ6に格納する(ステップS15)。画像のデータにノイズパターンのデータを加算することによって、画像にノイズパターンを重畳(ブレンド)させることができる。フレーム内の全ブロックについて終了したら、当該フレームのデコード処理を終了し、次のフレームのデコード処理を開始する。
一方、フレームのデコード処理を開始した直後の段階でストリームの入力が異常である場合(ステップS11:異常)、画像にノイズパターンをブレンドする際の前記係数aをフレーム処理単位ごとにインクリメントして、第2の重み付き加算器55によりブレンドするノイズパターンの度合いを強める(ステップS16)。また、第2の乗算器54により色差レベル制御を行う際の前記係数bをフレーム処理単位ごとにデクリメントして、画像の彩度を下げる(ステップS17)。そして、フレーム内の全ブロックについて終了するまで、次のステップS18とステップS19を行う。
ステップS18では、メモリ52から、該当するブロック位置のベクトルデータを読み出し、第2の重み付き加算器55により、このベクトルデータによって参照されるブロックの画像にノイズパターンをブレンドし、それを、デコードするフレームに貼り付けてフレームバッファ6に格納する(ステップS18)。そして、第1の乗算器53により、ここで用いたベクトルデータに減衰係数rを乗算し、ベクトルデータを減衰させてメモリ52に格納する(ステップS19)。そして、当該フレームのデコード処理を終了し、次のフレームのデコード処理を開始する。
フレームのデコード処理を開始した直後の段階でストリームの入力が正常であり(ステップS11:正常)、さらにエラー復帰の途中である場合(ステップS12:Yes)、キーフレーム(Iピクチャ)を検出したか否かを判断する(ステップS20)。キーフレームを検出できない場合(ステップS20:No)、第2の乗算器54により色差レベル制御を行う際の前記係数bをフレーム処理単位ごとにインクリメントして、画像の彩度を上げる(ステップS21)。そして、フレーム内の全ブロックについて終了するまで、次のステップS22とステップS23と、ステップS24もしくはステップS25、またはステップS26を行う。
ステップS22では、ブロックのデータがイントラデータとインターデータのいずれであるかを判断する(ステップS22)。ブロックのデータがイントラデータである場合(ステップS22:Intra)、さらに、DC予測が可能であるか否かを判断する(ステップS23)。DC予測が可能である場合(ステップS23:Yes)、通常のデコード処理を行ってデータをフレームバッファ6に格納する(ステップS24)。DC予測が可能でない場合(ステップS23:No)、逆離散コサイン変換部4にDC成分として所定の値、例えば中間値を与えて、デコード処理を行い、データをフレームバッファ6に格納する(ステップS25)。
ステップS22でブロックのデータがインターデータである場合(ステップS22:Inter)、メモリ52から、そのブロックのベクトルデータを読み出し、このベクトルデータによって参照されるブロックのデータを、デコードするフレームに貼り付けてフレームバッファ6に格納する(ステップS26)。そして、当該フレームのデコード処理を終了し、次のフレームのデコード処理を開始する。
一方、ステップS20でキーフレームを検出した場合(ステップS20:Yes)、第2の重み付き加算器55における前記係数aの値を0.0に戻して、画像にブレンドするノイズパターンの度合いをリセットする(ステップS27)。また、第2の乗算器54における前記係数bの値を1.0に戻して、画像の彩度の調整を解除する(ステップS28)。これによって、エラー復帰が完了する。この場合、フレーム内の全ブロックについて前記ステップS13と、ステップS14もしくはステップS15を行い、当該フレームのデコード処理を終了し、次のフレームのデコード処理を開始する。
上述したフレームデコード処理において、ストリームの入力が異常である場合に、ノイズパターンとのブレンド処理、色差レベル制御処理およびベクトルデータの減衰処理を含めたデコード処理を、表示フレーム時間単位で動作させたり、停止させたりすることによって、フレームレートを調整するようにしてもよい。その場合には、次のような構成とすればよい。ストリームの入力が正常であるときに、毎秒p枚のフレームを出力するとする。pは、2よりも大きい自然数である。この場合、1/p秒の周期でフレームが出力される。ストリームの入力が異常になった場合、q/p秒の周期でデコード処理を動作させて、出力フレームを更新する。
そうすれば、フレームレートが1/qとなる。qは1よりも大きな自然数であり、ストリームの入力が異常となってからm枚のフレームを出力するたびにインクリメントされる。mは、任意の自然数であり、特に限定しないが、例えば、30である。インクリメント幅は、任意の値であり、特に限定しないが、例えば、1である。そして、ストリームの入力が正常に戻ったら、qの値を1にリセットする。このように、ストリームの入力が異常となった場合に、フレームレートを下げることによって、視聴者に不快感を与えないようにすることができるとともに、ビデオデコーダが一定期間停止するので、消費電力を削減することができる。
図4は、この発明の実施例1にかかるビデオデコーダによるエラー検出時の表示画像の変遷を説明する図である。図4において、画像91は、図3に示すフレームデコード処理のステップS11で正常、ステップS12でNo、ステップS13で正常であり、ステップS14を行うときのフレームの画像である。画像92は、次のフレームのデコード処理中に、途中のブロックまでステップS13で正常であり、途中のブロックでのステップS13で異常になり、ステップS15を行うときのフレームの画像である。画像92において、矢印で指し示すエラー検出位置までの上半部の画像93は、今回のフレームデコード処理によってデコードされたデータによる画像であり、エラー検出位置からの下半部の画像94は、前回出力したフレームの画像にノイズパターンがブレンドされた画像である。
画像95,96,97は、ステップS11で異常であり、ステップS16からステップS19までを行うときのフレームの画像である。ここでは、ストリームの入力が異常になったことを検知した後、ストリームの入力が正常であったときのベクトルの履歴データを用いて画像を構成し、その画像に慣性的な動きを付ける。そして、動きベクトルの履歴データを減衰させることによって、映像が突然フリーズ状態になるのを避け、視聴者に違和感を与えないようにしている。
また、時間が経過して、画像95、画像96、画像97というように、表示されるフレームの画像が進むのに連れて、ノイズパターンのブレンドの度合いが徐々に強くなっていき、それに反して、画像の色情報については彩度が徐々に下がっていく。さらに、フレームレートが徐々に下がっていってもよい。このようにすることによって、視聴者に受信状態が悪くなっていることを知らせることができる。
図5は、この発明の実施例1にかかるビデオデコーダによるエラー復帰時にキーフレームから入力したときの表示画像の変遷を説明する図である。図5において、画像98は、ステップS11で異常であり、ステップS16からステップS19までを行うときのフレームの画像である。この画像には、ノイズパターンがブレンドされている。画像99は、ステップS11で正常、ステップS12でYes、ステップS20でYesとなり、ステップS27およびステップS28を行い、さらに、ステップS13で正常であり、ステップS14を行うときのフレームの画像である。画像100は、ステップS11で正常、ステップS12でNo、ステップS13で正常であり、ステップS14を行うときのフレームの画像である。
図6は、この発明の実施例1にかかるビデオデコーダによるエラー復帰時にキーフレーム以外から入力したときの表示画像の変遷を説明する図である。図6において、画像101は、ステップS11で異常であり、ステップS16からステップS19までを行うときのフレームの画像である。画像102,103,104は、ステップS11で正常、ステップS12でYes、ステップS20でNoであり、ステップS21からステップS26までを行うときのフレームの画像である。画像105は、次のフレームでのステップS11で正常、ステップS12でYes、ステップS20でYesとなり、ステップS27およびステップS28を行い、さらに、ステップS13で正常であり、ステップS14を行うときのフレームの画像である。
ストリームの入力が復帰した後、キーフレームが入力するまでは、インターデータのブロックについては、ベクトルデータのみを利用し、一方、イントラデータのブロックについては、通常のデコード処理またはDC成分を中間値等の値に設定してデコード処理を行うことによって、受信したデータのうち、利用可能なデータを最大限に利用してブロックの動きを表示する。その際、イントラデータのブロックについては、無彩色から徐々に彩度を上げていく。そうすることによって、視聴者に受信状態が良くなっていることを知らせることができる。
図7は、この発明の実施例2にかかるH.264ビデオデコーダの構成を示す図である。ここでは、図1に示すビデオデコーダ46がH.264ビデオデコーダ71であるとして説明する。図7に示すように、H.264ビデオデコーダ71は、図9に示す従来のH.264ビデオデコーダ11の構成において、スイッチ14の代わりに第1Aのスイッチ74および第1Bのスイッチ75を設け、加算器16の代わりに第1Aの加算器72および第1Bの加算器73を設け、さらに、メモリ82と2個の乗算器83,84と重み付き加算器85と4個のスイッチ86,87,88,89を追加した構成となっている。従来と同様の構成については、図9と同じ符号を付して、重複する説明を省略する。
メモリ82、第1の乗算器83、第2のスイッチ86および第3のスイッチ87については、実施例1のメモリ52、第1の乗算器53、第2のスイッチ56および第3のスイッチ57と同様であるので、重複する説明を省略する。メモリ82は、ベクトルデータを記憶する記憶手段としての機能を有する。第1Aの加算器72は、逆量子化逆変換部13の出力データと、ベクトルデータおよび前のフレームのデータに基づいて動き補償予測部17による動き補償予測により生成されたデータと、を加算する。第1Bの加算器73は、逆量子化逆変換部13の出力データと、イントラ予測部15によるイントラ予測により生成されたデータと、を加算する。
第1Aのスイッチ74は、入力データがインターデータの場合に、第1Aの加算器72側に切り替わり、入力データがイントラデータの場合に、第1Bの加算器73側に切り替わる。第1Aのスイッチ74の出力データは、イントラ予測部15とデブロッキングフィルタ18へ送られる。第1Bのスイッチ75は、入力データがインターデータの場合に、動き補償予測部17側に切り替わり、入力データがイントラデータの場合に、第1Bの加算器73側に切り替わる。第1Bのスイッチ75の出力データは、第4のスイッチ88へ送られる。
第4のスイッチ88は、デコードが正常である場合に、デブロッキングフィルタ18側に切り替わり、デコードが異常である場合に、第1Bのスイッチ75側に切り替わる。第4のスイッチ88の出力データは、第5のスイッチ89へ送られる。第2の重み付き加算器85については、実施例1の第2の重み付き加算器55と同様であるので、重複する説明を省略する。第5のスイッチ89は、ストリームの入力状況が正常である場合に、第4のスイッチ88側に切り替わり、ストリームの入力状況が異常である場合に、第2の重み付き加算器85側に切り替わる。第2の乗算器84については、実施例1の第2の乗算器54と同様であるので、重複する説明を省略する。
動き補償予測部17、第1の乗算器83、第2のスイッチ86、第3のスイッチ87、第4のスイッチ88、第5のスイッチ89、可変長符号復号部12、逆量子化逆変換部13、第1Aの加算器72、第1Aのスイッチ74、第1Bのスイッチ75、デブロッキングフィルタ18、メモリ82およびイントラ予測部15は、画像生成手段としての機能を有する。また、第2の乗算器84および第2の重み付き加算器85は、報知手段としての機能を有する。
上述した構成のH.264ビデオデコーダ71によるフレームデコード処理の流れは、図3に示す例と同様であるので、説明を省略する。また、エラー検出時、エラー復帰時にキーフレームから入力したとき、およびエラー復帰時にキーフレーム以外から入力したときの各表示画像の変遷については、それぞれ、図4、図5および図6に示す例と同様であるので、説明を省略する。
なお、上述した実施例1または2では、入力ストリームに異常が検出された場合に、ノイズパターンとのブレンド処理を行うとしたが、これに限らず、視聴者に受信状態が悪くなっていることを知らせることができれば、別の画像処理を行う構成としてもよい。例えば、入力ストリームが異常になったブロックの解像度を調整する構成とし、受信状態が悪い場合にモザイクのかかったような画像を表示するようにしてもよい。
また、本発明は、デジタル放送のチャンネル切り替え時の時間短縮を目的とする場合にも、適用可能である。デジタル放送受信装置がチューナやトランスポートストリーム・デマルチプレクサを1系統しか有していない場合、チャンネルを切り替えると、実際に映像が開始されるまでに時間がかかってしまう。本発明の特徴の一つである、ストリームの入力が復帰してからの動作を適用することによって、チャンネルの切り替えから映像の表示までの時間を短縮することができる。この場合、キーフレームをデコードするまでは、視聴者に映像を想像させるような画像が表示されることになる。
通常、チャンネルの切り替えを行うと、ビデオストリーム中の映像サイズ等の情報(シーケンス情報)を抽出してからでないと、ビデオデコーダを正常に動作させることができない。しかし、予めチャンネルの番組情報から映像サイズ情報を抽出しておいてビデオデコーダをセットアップしておけば、シーケンス情報を抽出する前でも、ビデオデコーダを動作させることができる。従って、このようにすれば、視聴者に映像を想像させるような画像を表示させることができる。また、デジタル放送以外に、生中継のネットワーク配信にも本発明を適用することができる。この場合、トランスポートストリーム・デマルチプレクサより前段部分のブロックが、ネットワーク受信部となる。
上述した実施の形態に関し、さらに以下の付記を開示する。
(付記1)ベクトルデータを記憶する記憶手段と、
入力ストリームが異常であるときに、入力ストリームが異常になる前のデータと前記記憶手段に記憶されているベクトルデータに基づいて、入力ストリームが異常になる前のデータにより表示される画像に動きを付与した画像を生成する画像生成手段と、
を備えることを特徴とするビデオデコーダ。
(付記2)前記画像生成手段は、所定のフレーム数ごとに前記ベクトルデータを減衰させて画像を生成することを特徴とする付記1に記載のビデオデコーダ。
(付記3)前記画像生成手段により生成される画像に対して、入力ストリームが異常であることを報知する処理を行う報知手段、をさらに備えることを特徴とする付記1に記載のビデオデコーダ。
(付記4)前記報知手段は、前記画像生成手段により生成される画像にノイズパターンを重畳する処理を行うことを特徴とする付記3に記載のビデオデコーダ。
(付記5)前記報知手段は、所定のフレーム数ごとにノイズパターンの重畳の度合いを変化させることを特徴とする付記4に記載のビデオデコーダ。
(付記6)前記報知手段は、前記画像生成手段により生成される画像の彩度を下げる処理を行うことを特徴とする付記3に記載のビデオデコーダ。
(付記7)前記報知手段は、所定のフレーム数ごとに前記画像生成手段により生成される画像の彩度を変えることを特徴とする付記6に記載のビデオデコーダ。
(付記8)前記報知手段は、所定のフレーム数ごとにフレームレートを変更することを特徴とする付記3に記載のビデオデコーダ。
(付記9)前記報知手段は、前記画像生成手段により生成される画像に対して、視聴者に受信状態の悪化を報せ得る画像処理を行うことを特徴とする付記3に記載のビデオデコーダ。
(付記10)前記報知手段は、前記画像生成手段により生成される画像の解像度を低くする処理を行うことを特徴とする付記9に記載のビデオデコーダ。
(付記11)前記報知手段は、入力ストリームが異常状態から正常状態に復帰した後、前記画像生成手段により生成される画像の彩度を上げる処理を行うことを特徴とする付記6に記載のビデオデコーダ。
(付記12)前記画像生成手段は、入力ストリームが異常状態から正常状態に復帰した後、ブロックのデータがイントラデータであり、かつDC予測が不可である場合に、DC成分の値を所定の値にしてデコード処理を行うことを特徴とする付記1に記載のビデオデコーダ。
(付記13)前記画像生成手段は、入力ストリームが異常状態から正常状態に復帰した後、ブロックのデータがインターデータである場合に、該ブロックのベクトルデータによって参照されるブロックのデータを、デコードするフレームに貼り付けることを特徴とする付記1に記載のビデオデコーダ。
(付記14)入力ストリームの状況を出力する出力手段と、
ベクトルデータを記憶する記憶手段と、
前記出力手段から入力ストリームが異常であるという情報を取得したときに、入力ストリームが異常になる前のデータと前記記憶手段に記憶されているベクトルデータに基づいて、入力ストリームが異常になる前のデータにより表示される画像に動きを付与した画像を生成する画像生成手段と、
を備えることを特徴とするデジタル放送受信装置。
(付記15)前記画像生成手段は、所定のフレーム数ごとに前記ベクトルデータを減衰させて画像を生成することを特徴とする付記14に記載のデジタル放送受信装置。
(付記16)前記画像生成手段により生成される画像に対して、入力ストリームが異常であることを報知する処理を行う報知手段、をさらに備えることを特徴とする付記14に記載のデジタル放送受信装置。
(付記17)前記報知手段は、前記画像生成手段により生成される画像にノイズパターンを重畳する処理を行うことを特徴とする付記16に記載のデジタル放送受信装置。
(付記18)前記報知手段は、所定のフレーム数ごとにノイズパターンの重畳の度合いを変化させることを特徴とする付記17に記載のデジタル放送受信装置。
(付記19)前記報知手段は、前記画像生成手段により生成される画像の彩度を下げる処理を行うことを特徴とする付記16に記載のデジタル放送受信装置。
(付記20)前記報知手段は、所定のフレーム数ごとに前記画像生成手段により生成される画像の彩度を変えることを特徴とする付記19に記載のデジタル放送受信装置。
(付記21)前記報知手段は、所定のフレーム数ごとにフレームレートを変更することを特徴とする付記16に記載のデジタル放送受信装置。
(付記22)前記報知手段は、前記画像生成手段により生成される画像に対して、視聴者に受信状態の悪化を報せ得る画像処理を行うことを特徴とする付記16に記載のデジタル放送受信装置。
(付記23)前記報知手段は、前記画像生成手段により生成される画像の解像度を低くする処理を行うことを特徴とする付記22に記載のデジタル放送受信装置。
(付記24)前記報知手段は、入力ストリームが異常状態から正常状態に復帰した後、前記画像生成手段により生成される画像の彩度を上げる処理を行うことを特徴とする付記19に記載のデジタル放送受信装置。
(付記25)前記画像生成手段は、入力ストリームが異常状態から正常状態に復帰した後、ブロックのデータがイントラデータであり、かつDC予測が不可である場合に、DC成分の値を所定の値にしてデコード処理を行うことを特徴とする付記14に記載のデジタル放送受信装置。
(付記26)前記画像生成手段は、入力ストリームが異常状態から正常状態に復帰した後、ブロックのデータがインターデータである場合に、該ブロックのベクトルデータによって参照されるブロックのデータを、デコードするフレームに貼り付けることを特徴とする付記14に記載のデジタル放送受信装置。
以上のように、本発明にかかるビデオデコーダおよびデジタル放送受信装置は、動画像データを再生する装置に有用であり、特に、MPEG−1、MPEG−2もしくはMPEG−4、またはH.264等のデジタル動画像圧縮方式に従って圧縮された動画像データを再生する装置に適している。
8,17 動き補償予測部
41 デジタル放送受信装置
45 トランスポートストリーム・デマルチプレクサ
46,51,71 ビデオデコーダ
52,82 メモリ
53,54,83,84 乗算器
55,85 重み付き加算器
56,57,58,59,86,87,88,89 スイッチ

Claims (26)

  1. ベクトルデータを記憶する記憶手段と、
    入力ストリームが異常であるときに、入力ストリームが異常になる前のデータと前記記憶手段に記憶されているベクトルデータに基づいて、入力ストリームが異常になる前のデータにより表示される画像に動きを付与した画像を生成する画像生成手段と、
    を備えることを特徴とするビデオデコーダ。
  2. 前記画像生成手段は、所定のフレーム数ごとに前記ベクトルデータを減衰させて画像を生成することを特徴とする請求項1に記載のビデオデコーダ。
  3. 前記画像生成手段により生成される画像に対して、入力ストリームが異常であることを報知する処理を行う報知手段、をさらに備えることを特徴とする請求項1に記載のビデオデコーダ。
  4. 前記報知手段は、前記画像生成手段により生成される画像にノイズパターンを重畳する処理を行うことを特徴とする請求項3に記載のビデオデコーダ。
  5. 前記報知手段は、所定のフレーム数ごとにノイズパターンの重畳の度合いを変化させることを特徴とする請求項4に記載のビデオデコーダ。
  6. 前記報知手段は、前記画像生成手段により生成される画像の彩度を下げる処理を行うことを特徴とする請求項3に記載のビデオデコーダ。
  7. 前記報知手段は、所定のフレーム数ごとに前記画像生成手段により生成される画像の彩度を変えることを特徴とする請求項6に記載のビデオデコーダ。
  8. 前記報知手段は、所定のフレーム数ごとにフレームレートを変更することを特徴とする請求項3に記載のビデオデコーダ。
  9. 前記報知手段は、前記画像生成手段により生成される画像に対して、視聴者に受信状態の悪化を報せ得る画像処理を行うことを特徴とする請求項3に記載のビデオデコーダ。
  10. 前記報知手段は、前記画像生成手段により生成される画像の解像度を低くする処理を行うことを特徴とする請求項9に記載のビデオデコーダ。
  11. 前記報知手段は、入力ストリームが異常状態から正常状態に復帰した後、前記画像生成手段により生成される画像の彩度を上げる処理を行うことを特徴とする請求項6に記載のビデオデコーダ。
  12. 前記画像生成手段は、入力ストリームが異常状態から正常状態に復帰した後、ブロックのデータがイントラデータであり、かつDC予測が不可である場合に、DC成分の値を所定の値にしてデコード処理を行うことを特徴とする請求項1に記載のビデオデコーダ。
  13. 前記画像生成手段は、入力ストリームが異常状態から正常状態に復帰した後、ブロックのデータがインターデータである場合に、該ブロックのベクトルデータによって参照されるブロックのデータを、デコードするフレームに貼り付けることを特徴とする請求項1に記載のビデオデコーダ。
  14. 入力ストリームの状況を出力する出力手段と、
    ベクトルデータを記憶する記憶手段と、
    前記出力手段から入力ストリームが異常であるという情報を取得したときに、入力ストリームが異常になる前のデータと前記記憶手段に記憶されているベクトルデータに基づいて、入力ストリームが異常になる前のデータにより表示される画像に動きを付与した画像を生成する画像生成手段と、
    を備えることを特徴とするデジタル放送受信装置。
  15. 前記画像生成手段は、所定のフレーム数ごとに前記ベクトルデータを減衰させて画像を生成することを特徴とする請求項14に記載のデジタル放送受信装置。
  16. 前記画像生成手段により生成される画像に対して、入力ストリームが異常であることを報知する処理を行う報知手段、をさらに備えることを特徴とする請求項14に記載のデジタル放送受信装置。
  17. 前記報知手段は、前記画像生成手段により生成される画像にノイズパターンを重畳する処理を行うことを特徴とする請求項16に記載のデジタル放送受信装置。
  18. 前記報知手段は、所定のフレーム数ごとにノイズパターンの重畳の度合いを変化させることを特徴とする請求項17に記載のデジタル放送受信装置。
  19. 前記報知手段は、前記画像生成手段により生成される画像の彩度を下げる処理を行うことを特徴とする請求項16に記載のデジタル放送受信装置。
  20. 前記報知手段は、所定のフレーム数ごとに前記画像生成手段により生成される画像の彩度を変えることを特徴とする請求項19に記載のデジタル放送受信装置。
  21. 前記報知手段は、所定のフレーム数ごとにフレームレートを変更することを特徴とする請求項16に記載のデジタル放送受信装置。
  22. 前記報知手段は、前記画像生成手段により生成される画像に対して、視聴者に受信状態の悪化を報せ得る画像処理を行うことを特徴とする請求項16に記載のデジタル放送受信装置。
  23. 前記報知手段は、前記画像生成手段により生成される画像の解像度を低くする処理を行うことを特徴とする請求項22に記載のデジタル放送受信装置。
  24. 前記報知手段は、入力ストリームが異常状態から正常状態に復帰した後、前記画像生成手段により生成される画像の彩度を上げる処理を行うことを特徴とする請求項19に記載のデジタル放送受信装置。
  25. 前記画像生成手段は、入力ストリームが異常状態から正常状態に復帰した後、ブロックのデータがイントラデータであり、かつDC予測が不可である場合に、DC成分の値を所定の値にしてデコード処理を行うことを特徴とする請求項14に記載のデジタル放送受信装置。
  26. 前記画像生成手段は、入力ストリームが異常状態から正常状態に復帰した後、ブロックのデータがインターデータである場合に、該ブロックのベクトルデータによって参照されるブロックのデータを、デコードするフレームに貼り付けることを特徴とする請求項14に記載のデジタル放送受信装置。
JP2009534092A 2007-09-26 2007-09-26 ビデオデコーダおよびデジタル放送受信装置 Expired - Fee Related JP5152189B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/068703 WO2009040904A1 (ja) 2007-09-26 2007-09-26 ビデオデコーダおよびデジタル放送受信装置

Publications (2)

Publication Number Publication Date
JPWO2009040904A1 true JPWO2009040904A1 (ja) 2011-01-13
JP5152189B2 JP5152189B2 (ja) 2013-02-27

Family

ID=40510814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009534092A Expired - Fee Related JP5152189B2 (ja) 2007-09-26 2007-09-26 ビデオデコーダおよびデジタル放送受信装置

Country Status (3)

Country Link
US (1) US8798163B2 (ja)
JP (1) JP5152189B2 (ja)
WO (1) WO2009040904A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI252045B (en) * 2005-01-20 2006-03-21 Via Tech Inc Video decoding device and method thereof for combining inverse quantization and inverse zig-zag scan
CN104994379A (zh) * 2015-08-05 2015-10-21 中磊电子(苏州)有限公司 视频处理方法及视频处理装置
US10712131B2 (en) * 2018-04-13 2020-07-14 Daniel Poplawski Handheld non-lethal dazzling system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354488A (ja) * 1993-02-26 2002-12-06 Toshiba Corp 動画像伝送装置
JP3519441B2 (ja) * 1993-02-26 2004-04-12 株式会社東芝 動画像伝送装置
JP3496378B2 (ja) * 1995-12-22 2004-02-09 三菱電機株式会社 ディジタル画像復号装置及びディジタル画像復号方法
US6128339A (en) * 1997-02-13 2000-10-03 Samsung Electronics Co., Ltd. Apparatus and method for masking video data errors
JP2000115654A (ja) * 1998-09-30 2000-04-21 Sharp Corp デジタル放送受信装置
KR100357093B1 (ko) * 1999-06-02 2002-10-18 엘지전자 주식회사 동영상 압축 복원시스템에서의 오류 은폐장치 및 방법
JP3630590B2 (ja) * 1999-08-25 2005-03-16 沖電気工業株式会社 復号化装置及び伝送システム
JP2001309388A (ja) * 2000-04-25 2001-11-02 Oki Electric Ind Co Ltd 画像復号装置におけるエラー画像補完方法
JP3691365B2 (ja) * 2000-08-23 2005-09-07 三洋電機株式会社 ディジタル放送受信装置
JP4409108B2 (ja) * 2001-03-19 2010-02-03 富士通マイクロエレクトロニクス株式会社 通信端末装置
JP2003069915A (ja) * 2001-08-24 2003-03-07 Fujitsu Ten Ltd デジタル放送受信機
CN100591138C (zh) * 2002-11-25 2010-02-17 松下电器产业株式会社 图像编码方法及其装置、图像解码方法及其装置
JP2004320394A (ja) 2003-04-16 2004-11-11 Hitachi Ltd デジタル放送送信システム,デジタル放送の受信装置,デジタル放送再生方法
JP2005260605A (ja) 2004-03-11 2005-09-22 Fujitsu Ten Ltd デジタル放送受信装置
JP4509809B2 (ja) * 2005-01-21 2010-07-21 パイオニア株式会社 ディジタル画像復号装置及び方法
JP2007036816A (ja) * 2005-07-28 2007-02-08 Denso Corp 移動体用デジタル放送受信装置及びプログラム
CN101278564A (zh) * 2005-09-29 2008-10-01 汤姆森特许公司 在基于块的视频中的运动预测错误隐藏的方法和装置
JP2007096802A (ja) * 2005-09-29 2007-04-12 Clarion Co Ltd デジタル放送受信装置および制御方法
JP4381384B2 (ja) * 2006-01-06 2009-12-09 株式会社日立国際電気 ディジタル伝送装置の伝送エラー発生状態報知方法
JP2006352911A (ja) * 2006-08-18 2006-12-28 Sony Corp 符号化装置および方法、並びに復号装置および方法

Also Published As

Publication number Publication date
WO2009040904A1 (ja) 2009-04-02
US20100172413A1 (en) 2010-07-08
JP5152189B2 (ja) 2013-02-27
US8798163B2 (en) 2014-08-05

Similar Documents

Publication Publication Date Title
JP5357255B2 (ja) スケーラブルビデオ符号化(svc)復号化におけるエンハンスメントレイヤパケットの消失によるエラー隠蔽方法
JP4712704B2 (ja) 放送受信装置、放送受信方法、放送受信プログラム及び放送受信回路
KR101420878B1 (ko) 동영상 프레임의 선택적 오류 은폐 방법 및 장치
JP3630590B2 (ja) 復号化装置及び伝送システム
JP2004056797A (ja) 画像復号化方法及び装置
JP2009081576A (ja) 動画像復号装置、および動画像復号方法
US20090103603A1 (en) Simulcast reproducing method
JP5137687B2 (ja) 復号装置及び復号方法、プログラム
WO2006046476A1 (ja) 動画像復号装置および動画像復号方法
JP2006319701A (ja) デジタル放送受信装置及び受信方法
JP2008252701A (ja) 映像信号処理装置、映像表示装置および映像信号処理方法
JPH08154247A (ja) 圧縮画像データ処理装置及び方法
JP2008278210A (ja) 動画像復号装置、放送受信装置、動画像復号方法
JP5152189B2 (ja) ビデオデコーダおよびデジタル放送受信装置
JP4613412B2 (ja) 受信装置及びディジタルデータ復号方法
JP2009081579A (ja) 動画像復号装置、および動画像復号方法
JP3911222B2 (ja) デジタル放送受信装置
JP4782023B2 (ja) 動画像データ復号装置、及びプログラム
JP2003116136A (ja) 動画像復号装置
JP4383844B2 (ja) 映像表示装置及び映像表示装置の制御方法
WO2004112378A1 (ja) テレビジョン受像機および画像処理方法
JP2009135769A (ja) 画像処理装置
JP2003319278A (ja) デジタル放送の受信機
JP2009077137A (ja) デジタル放送受信装置及び受信方法
JP2005020781A (ja) 符号化装置、復号化装置及び伝送システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5152189

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees