JP3888848B2 - 画像復号装置 - Google Patents

画像復号装置 Download PDF

Info

Publication number
JP3888848B2
JP3888848B2 JP2000352124A JP2000352124A JP3888848B2 JP 3888848 B2 JP3888848 B2 JP 3888848B2 JP 2000352124 A JP2000352124 A JP 2000352124A JP 2000352124 A JP2000352124 A JP 2000352124A JP 3888848 B2 JP3888848 B2 JP 3888848B2
Authority
JP
Japan
Prior art keywords
frame
display
decoding
image
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000352124A
Other languages
English (en)
Other versions
JP2002159011A (ja
Inventor
元浩 伊藤
伸也 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2000352124A priority Critical patent/JP3888848B2/ja
Publication of JP2002159011A publication Critical patent/JP2002159011A/ja
Application granted granted Critical
Publication of JP3888848B2 publication Critical patent/JP3888848B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、フレーム内予測およびフレーム間予測により符号化された動画像を復号して表示する画像復号装置に関するものである。
【0002】
【従来の技術】
動画像の符号化方式は、国際標準化機関により、MPEG-1、MPEG-2、MPEG-4等の規格が制定されている。これらは、いずれも動き補償付きフレーム間予測とDCTによりフレーム内予測を組み合わせたハイブリッド符号化になっている。
【0003】
これらのMPEG規格においては、復号に必用な技術の集合であるプロファイルと、フレーム画像の大きさやビットレートなどの復号器が備えなければならない能力の集合であるレベルが規定されている。復号器の能力は、このプロファイルとレベルの組み合わせにより規定される。
【0004】
図4は従来の画像復号装置の概略構成を示すブロック図である。図4において、401は復号処理部であり、入力されたビットストリームをフレーム単位で復号して復号フレーム画像に変換し、復号画像格納メモリ402へ格納する。
【0005】
復号画像格納メモリ402に格納されたフレーム画像は、復号処理部401において次のフレームの復号時にフレーム間予測にも使用される。403は表示変換処理部であり、復号画像格納メモリ402に格納された復号画像を表示のためのデータへ変換し、表示フレームメモリ404へ格納する。
【0006】
405は表示回路であり、表示フレームメモリ404に格納されている画像を表示走査のタイミングで読み出して、表示信号に変換し出力する。表示回路405による表示メモリの走査による読み出しは、通常表示変換処理部403によるフレームメモリの書き換え処理が見えないように行う必要があるため、表示メモリの走査の開始を示す垂直同期信号に同期して表示用フレームメモリを更新する必要がある。
【0007】
また、表示変換処理部403による表示変換処理が、表示回路405が画像表示用フレームメモリ404を走査するより遅い場合には、表示用フレームメモリ404は2フレーム分のメモリを用意し、一方のフレームメモリを表示している間に、もう一方のフレームメモリの書き換えを行い、書き換えが完了したら、表示用のフレームメモリと書き換え用のフレームメモリを入れ替えるデュアルバッファ構成にする必要がある。
【0008】
この場合、復号および表示変換のための処理の過程において、表示の垂直同期に対し同期を取る必要があるが、入力データが復号装置のレベルを満たしている場合には、復号処理と表示変換処理にかかる合計の時間は、所定時間以下を保証できるため、符号化の開始を表示時間の所定時間前の垂直同期に同期して開始すれば、正常な表示が可能となる。
【0009】
406は制御部であり、復号装置の処理の状態やユーザー操作等の復号装置の動作に必要な信号を監視し、各回路を制御する。表示変換処理部403では、表示用回路が対応する画素アスペクトレシオと異なる復号画像を表示回路の対応するアスペクトレシオへの変換や、表示装置が対応しない画像サイズの復号画像を表示装置対応する画像サイズへの変換、復号画像からブロックノイズなど符号化に特有の視覚上の妨害を軽減するためのフィルタ処理などを行う。
【0010】
図5は従来の復号装置において復号可能なデータが入力された場合の動作を示すタイミングチャートである。また、図6は従来の復号装置において復号可能なレベルを上回る符号データが入力された場合の復号処理および表示変換処理の様子を示すタイミングチャートである。それぞれのタイミングチャートにおける各欄の意味について以下説明を行う。
【0011】
垂直同期の欄は、縦線が垂直同期信号のタイミングを示す。表示回路405はこの同期信号にしたがってフレームの表示処理を行う。本来の表示フレームは、入力された符号データに指定されているフレームデータの表示タイミングを示す。
【0012】
復号処理の欄は、それぞれのフレームの復号動作が行われているタイミングを示す。表示変換処理の欄は、表示変換処理部403で処理が行われているタイミングと処理を行っているフレームを示す。実際の表示フレームの欄は、実際に表示回路405で表示されるフレームと表示されるタイミングを示す。
【0013】
図5においては、復号処理と表示変換処理との合計時間が復号装置の想定している最大の処理時間である2フレームを下回っているため、正常にデコードおよび表示が行われている。
【0014】
一方、図6においては、復号処理と表示変換処理との合計時間が復号装置の想定している最大の処理時間である2フレーム期間を上回る時間がかかっているため、復号を開始してから表示フレームの切り替えタイミングである2フレーム期間を過ぎてしまい、実際に表示が切り替わるのは、符号化開始から3フレーム期間過ぎた時点になる。
【0015】
次の垂直同期のタイミングで表示を切り替えた時点で次の画像の復号を開始するため、画像の表示されるタイミングが符号で指定されたタイミングに対し実際の表示がどんどん遅れていく現象が起きる。この結果、音声と画像との同期がずれていったり、また、符号化時に想定しているタイミングで符号データが消費されないため、符号バッファがあふれる等の現象が生じ、再生に破綻をきたす。
【0016】
したがって、復号開始以前に入力の符号データのプロファイル及びレベル等をチェックし、復号装置の想定しているレベルを超える符号データは復号を開始しないといった処理を行っている。
【0017】
【発明が解決しようとする課題】
上述した従来の画像復号装置では、レベルの規定を上回る画像符号が入力された場合、正常な画像を出力できない。しかしながら、レベルを上回る符号を入力された場合でも、完全な表示はできなくても画像の内容の確認が可能な程度の簡易再生でも良いから画像を表示したいという要求がある。
【0018】
本発明は、上記課題に鑑みてなされたものであり、復号装置のレベルを上回るフレームレートの画像データが入力された場合でも、簡易表示することが可能な画像復号装置を提供するものである。
【0019】
【課題を解決するための手段】
本願の第1の発明は、フレーム内予測およびフレーム間予測により符号化された画像を復号して復号画像を表示する画像復号装置であって、各フレーム毎に符号化データで指定されているフレーム表示時刻を求める手段と、前記フレームの復号開始時点を示す開始時刻を得る手段と、各フレームの符号化データを処理する第1乃至第3の手段を備え、前記フレーム表示時刻から前記開始時刻を引いた値が、フレームの復号に要する時間と復号画像の表示変換に要する時間の和よりも大きいときに、前記第1の手段で前記符号化データを処理し、前記フレーム表示時刻から前記開始時刻を引いた値が、フレームの復号に要する時間より大きくかつフレームの復号に要する時間と復号画像の表示変換に要する時間の和より小さいときに、前記第2の手段で前記符号化データを処理し、前記フレーム表示時刻から前記開始時刻を引いた値が、フレームの復号に要する時間より小さいときに、前記第3の手段で前記符号化データを処理し、前記第1の手段はフレームの復号処理と表示変換処理を行い、前記第2の手段はフレームの復号処理を行うが表示変換処理を行わず、
前記第3の手段はフレームの復号処理と表示変換処理を行わずに次のフレーム内予測フレームまでの符号化データを破棄することを特徴とする。
【0021】
【発明の実施の形態】
以下、本発明の一実施形態を、図1乃至図3とともに詳細に説明する。
【0022】
図1は本実施形態における概略構成を示すプロック図である。図1において、図4と同じ符号を付したブロックは、上述の従来例と同一動作を行う部分であるため、その詳細な説明は省略する。本実施形態の画像復号装置は、制御部406に代えて制御部506を備えたものである。
【0023】
図2は本実施形態におけるレベルを超えた画像が入力された場合の復号処理及び表示変換処理のシーケンスを示すタイミングチャートである。各欄の意味は上述の従来例で示したタイミングチャートと同一であるので、その説明は省略する。
【0024】
すなわち、図6とともに上述した従来例における動作との違いは、図1における制御部506と図4における制御部406との動作の違いによるものである。
【0025】
図3は制御部506の動作を示すフローチャートである。以下では、制御部506の状態遷移とそれぞれの状態における復号処理及び表示変換処理の制御に関する制御部506の動作について、図3のフローチャートにより説明する。
【0026】
(1)状態S1フレーム1の復号処理開始時点において、1フレーム分の復号時間の予測値T1と、1フレーム分の表示変換処理時間の予測値T2とを、ビットレートや復号画像の画像サイズおよび表示変換処理の処理画素数や処理内容を元にそれぞれ求める(S601)。
【0027】
求めたそれぞれの処理時間と、符号データから求めたそのフレームを表示しなければならない時間であるtd、および、フレームの復号開始時点の時間t1とすると、復号処理および表示変換処理に使用できる時間であるtd−t1を求めTthとする(S602)。
【0028】
T1+T2 < Tthであれば、状態S2に遷移する。T1 < Tth < T1+T2であれば、状態S3へ遷移する。T1 > Tthであれば、状態S4に移行する。
【0029】
(2)状態S2
制御部506は、復号処理と表示処理の両方が可能であると判断し、復号処理部401へ復号処理の開始するよう制御する(S603)。復号処理部401は復号処理が終了したら、それを制御部506へ通知する。復号処理の終了の通知を受けて制御部506は次に表示変換処理部403へ変換処理の開始するよう制御する(S604)。
【0030】
表示変換処理部403は変換処理が終了したら制御部506へ通知する。制御部506はそのフレームの表示タイミングに一番近い垂直同期信号まで待って表示の切り替えを行い(S605)、状態S1へ遷移する。
【0031】
(3)状態S3
制御部506は、復号処理部401へ復号の開始を行うように制御し、復号処理の終了が復号処理部1から通知されるのを待つ(S606)。復号処理部401は復号が終了したら、それを制御部506へ通知する。制御部506は復号の終了の通知により状態S1へ移行する。
【0032】
(4)状態S4
制御部506は、復号処理部401に対し、次のフレーム内予測フレームまで、符号データを破棄する動作になるよう制御する(S607)。次のフレーム内予測フレームが見つかったら、状態S1へ遷移する。
【0033】
制御部506は、上記のような状態遷移を繰り返すことにより、図2のタイミングチャートに示すような動作を行う。従って、表示がスキップされる画面数を減らし、効率的な処理を行うことが可能であり、簡易表示ではあるが、画像の内容を確認することができる。
【0034】
【発明の効果】
本発明の画像復号装置は、上記のような構成としているので、入力されたビットストリームがレベルにより規定された上限を超える入力であった場合でも、すべてのフレームが表示されるわけではないが、一応の表示が可能となり、画像の内容の確認が可能になる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る画像復号装置の概略構成を示すブロック図である。
【図2】本発明の一実施形態において、レベルを上回るフレームレートの符号データが入力された場合の、復号処理、表示変換および表示される表示画像のシーケンスを示すタイミングチャートである。
【図3】本発明の一実施形態における制御部506の動作を示すフローチャートである。
【図4】従来の画像復号装置の概略構成を示すブロック図である。
【図5】従来の画像復号装置において、レベル内の符号データを入力した場合の復号処理、表示変換および表示される表示画像のシーケンスを示すタイミングチャートである。
【図6】従来の画像復号装置において、レベルを上回るフレームレートの符号データが入力された場合の復号処理、表示変換および表示される表示画像のシーケンスを示すタイミングチャートである。
【符号の説明】
401 復号処理部
402 復号画像格納メモリ
403 表示変換処理部
404 表示フレームメモリ
405 表示回路
506 制御部

Claims (1)

  1. フレーム内予測およびフレーム間予測により符号化された画像を復号して復号画像を表示する画像復号装置であって、
    各フレーム毎に符号化データで指定されているフレーム表示時刻を求める手段と、
    前記フレームの復号開始時点を示す開始時刻を得る手段と、
    各フレームの符号化データを処理する第1乃至第3の手段と、を備え、
    前記フレーム表示時刻から前記開始時刻を引いた値が、フレームの復号に要する時間と復号画像の表示変換に要する時間の和よりも大きいときに、前記第1の手段で前記符号化データを処理し、
    前記フレーム表示時刻から前記開始時刻を引いた値が、フレームの復号に要する時間より大きくかつフレームの復号に要する時間と復号画像の表示変換に要する時間の和より小さいときに、前記第2の手段で前記符号化データを処理し、
    前記フレーム表示時刻から前記開始時刻を引いた値が、フレームの復号に要する時間より小さいときに、前記第3の手段で前記符号化データを処理し、
    前記第1の手段はフレームの復号処理と表示変換処理を行い、
    前記第2の手段はフレームの復号処理を行うが表示変換処理を行わず、
    前記第3の手段はフレームの復号処理と表示変換処理を行わずに次のフレーム内予測フレームまでの符号化データを破棄することを特徴とする画像復号装置。
JP2000352124A 2000-11-20 2000-11-20 画像復号装置 Expired - Fee Related JP3888848B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000352124A JP3888848B2 (ja) 2000-11-20 2000-11-20 画像復号装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000352124A JP3888848B2 (ja) 2000-11-20 2000-11-20 画像復号装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006152025A Division JP2006311587A (ja) 2006-05-31 2006-05-31 画像復号装置

Publications (2)

Publication Number Publication Date
JP2002159011A JP2002159011A (ja) 2002-05-31
JP3888848B2 true JP3888848B2 (ja) 2007-03-07

Family

ID=18825070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000352124A Expired - Fee Related JP3888848B2 (ja) 2000-11-20 2000-11-20 画像復号装置

Country Status (1)

Country Link
JP (1) JP3888848B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5515046B2 (ja) * 2010-01-29 2014-06-11 株式会社大一商会 遊技機
JP5598540B2 (ja) 2010-04-28 2014-10-01 富士通株式会社 動画出力装置、動画出力方法、および動画出力プログラム
JP5509262B2 (ja) * 2012-06-06 2014-06-04 株式会社東芝 映像処理装置、映像圧縮符号化装置、映像復号再生装置及び映像再生方法
JP6756228B2 (ja) * 2016-10-07 2020-09-16 株式会社デンソー 車載表示制御装置

Also Published As

Publication number Publication date
JP2002159011A (ja) 2002-05-31

Similar Documents

Publication Publication Date Title
JP3395166B2 (ja) 統合ビデオ復号化システム、フレーム・バッファ、符号化ストリーム処理方法、フレーム・バッファ割当て方法及び記憶媒体
AU2004250927B2 (en) Decoding method and apparatus enabling fast channel change of compressed video
JP3228874B2 (ja) 圧縮ディジタルビデオビットストリーム分割方法及び装置、並びにその復号方法及び装置
CN100539697C (zh) 视频处理方法
KR19990057102A (ko) 비디오 디코더
KR100215824B1 (ko) 엠펙 디코더의 프레임 메모리 및 영상 데이타 디코딩방법
JP3888848B2 (ja) 画像復号装置
JP4010617B2 (ja) 画像復号化装置及び画像復号化方法
JP2005124091A (ja) 復号装置及び復号方法
JP2001285868A (ja) 動画像符号列切替装置及び動画像符号列切替方法
JP2006311587A (ja) 画像復号装置
JP4289055B2 (ja) トランスコーダおよびこれを用いた記録再生装置
JP4433319B2 (ja) 信号再生装置
JP2002171530A (ja) スーパーインポーズ機能を備えた再符号化装置および方法
KR100252810B1 (ko) 엠펙디코더
JP2000032475A (ja) 動画像再生装置
JPH0898142A (ja) 画像再生装置
JP2002152743A (ja) 動画像復号装置
JP2005236386A (ja) 画像処理装置
JP3928301B2 (ja) 画像表示方法及び装置
KR100425136B1 (ko) 비디오 디코딩 시스템
JP2000078521A (ja) 画像復号表示装置
JPH08149464A (ja) フレームレート変換機能付き画像復号装置
JP2005080122A (ja) 画像復号化装置
JPH0898141A (ja) 画像再生装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051228

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20051228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061128

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091208

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121208

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121208

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees