JP3969776B2 - Transmission image decoding device - Google Patents

Transmission image decoding device Download PDF

Info

Publication number
JP3969776B2
JP3969776B2 JP823697A JP823697A JP3969776B2 JP 3969776 B2 JP3969776 B2 JP 3969776B2 JP 823697 A JP823697 A JP 823697A JP 823697 A JP823697 A JP 823697A JP 3969776 B2 JP3969776 B2 JP 3969776B2
Authority
JP
Japan
Prior art keywords
decoding
amount
buffer
image
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP823697A
Other languages
Japanese (ja)
Other versions
JPH10210464A (en
Inventor
雅人 野中
潔 福井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP823697A priority Critical patent/JP3969776B2/en
Publication of JPH10210464A publication Critical patent/JPH10210464A/en
Application granted granted Critical
Publication of JP3969776B2 publication Critical patent/JP3969776B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【0001】
【発明の属する技術分野】
木発明は、動画像の信号処理、特に伝送路のクロックと独立なクロックで動作する圧縮動画像などのメディアを伸長・表示するビデオデコード装置に関するものである。
【0002】
【従来の技術】
文献:「実践MPEG教科書」1995年アスキー出版局
従来、圧縮動画像伝送に関する文献として前述の文献がある。この文献には、圧縮動画像伝送に関する各種の技術や問題点が記述されている。例えば、LANから公衆網への乗り入れを行うアプリケーション等の場合には、ネットワーククロックの供給を必ずしも期待できないこと、そしてかかるネットワーククロックの供給を受けられない場合には次のような問題があることが指摘されている。すなわち、ネットワーククロックの供給が無い状態での圧縮動画像の伝送においては、送信側と受信側のクロックが独立して動作していると、その速度差に応じてデータの処理速度が異なってしまうことが指摘されている。
【0003】
しかしながら、このようにデータの処理速度が異なると、受信データを一時的に記憶するバッファメモリの使用量は、エンコーダ側とデコード側の処理速度の関係によって大きく異なってしまう。例えば、エンコーダの処理が早いと、デコードの処理が追い付かず増加し、逆の場合は減少してしまう。しかも、バッファが空になると、表示すべき新たな画像が存在しなくなるため「2度表示」が必要となり、逆に一杯になると入力された新たな画像を保持することができなくなるため「駒落し」が発生し、視覚的な劣化が目立ってしまう。
【0004】
このようなことを防ぐには、送受信間で同期したクロックを使う必要がある。
【0005】
これに関し、MPEG2システムではプログラムクロック基準参照値(Program Clock Reference 、以下PCRという)と呼ばれる時間情報を規定し、クロックの同期を確保している。文献にはこの方法についても記載されている。以下、この方法について説明する。
【0006】
エンコーダは、基準クロックから作成したPCRをデコードに伝送し、デコードでは自身の持つクロックをカウントし、送られてきたPCRの値と比較する。これが一致すれば、クロックの同期が確保されていることになる。PLL回路等によって、2つの値が一致するようにクロックの周波数を制御することで、送受信のクロックを同期させることができる。
【0007】
図2にこの構成を示す。PCRに相当する同期信号が付加された圧縮画像テークが入力端子201から入力され、同期分離部202で圧縮画像データと同期信号に分離される。画像データは同期分離部202からの制御でバッファメモリ203に蓄えられる。PLL部204では、同期分離部202からの同期信号を基準にクロックを再生する。このクロックを元にした読み出し制御信号でバッファメモリ203から画像データを読み出し、映像復号部205でこれを伸長し表示メモリ206に転送する。表示メモリ206からは、表示系のタイミングで読み出され、出力端子207から映像信号を出力する。
【0008】
このように、PLL回路を用いることで、送受信でクロックが一致、すなわちバッファメモリへの書き込み量(同期分離部202から制御)と読み出し量(映像復号部205からの読み出し制御)は同じになるため、バッファに蓄えられているデータ量が一定となり、前述のオーバーフロー等が発生しなくなる。
【0009】
【発明が解決しようとする課題】
以上のように、圧縮画像データに同期信号を付加し、これを基準とするPLL回路を構成することで、送受信間でクロックを一致させることができる。これにより、画像表示における「駒落し」、「2度表示」を防ぐことができる。
【0010】
しかしながら、ATMネットワーク等の伝送遅延に変動があるネットワークでは、送られてくる同期信号にジッタがのってしまう。
【0011】
遅延変動が大きくなると、PLL回路で変動の吸収ができなくなるだけでなく、PLL回路がロックしなくなるという場合がある。この場合、送受信間のクロックが一致しないため、その速度差に応じて受信バッファの蓄積量が増減することになり、オーバーフローによる「駒落し」、又はアンダーフローによる同じ画像の「2度表示」が発生する。特に、時間軸で画像に大きな変化がある場合に、「駒落し」又は「2度表示」、すなわち表示の乱れが発生すると画質劣化が目だってしまう。
【0012】
また、従来技法では、PLL回路を追加することによる回路規模の増加や再生クロックにジッタが残留することを避けるために、あえてPLL回路を使用しない場合もあった。この場合、表示の乱れの問題は未解決のままであった。
【0013】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、圧縮されている受信画像データを一時的に蓄積する受信バッファと、当該受信バッファより読み出した受信画像データを送信側のクロックと異なるクロックにより復号する復号化手段とを備える伝送画像復号装置において、以下の手段を備えたことを特徴とする。
【0014】
すなわち、(1) 受信画像データにおける時間軸上の変化量を、受信画像データの画像1フレームに対する圧縮データ量に基づいて監視する変化量監視手段と、(2) 受信画像データの一部について廃棄又は再表示の必要が生じた場合、変化量監視手段の検出結果に基づいて、時間軸上の変化量が少ない受信画像データを選択的に廃棄又は再表示させるよう復号化手段を制御する復号制御手段とを備えたことを特徴とする。
このように、本発明においては、受信画像データの一部について廃棄又は再表示の必要が生じた場合にも、時間軸上の変化量が少ない受信画像データを選択的に廃棄又は再表示できるので、表示画面上でかかる処理がなされても、該当する画面に視覚上の劣化が現れないようにできる。
【0015】
【発明の実施の形態】
(A)第1の実施形態
以下、本発明に係るデコード装置の第1の実施形態を説明する。
【0016】
(A−1)第1の実施形態の構成
「駒落し」や「2度表示」を行っても、常に同じ画像を表示する静止画では、表示の乱れが発生しても画質劣化にはならないが、時間軸上で表示画像に大きな変化がある場合には、画質劣化として目立ってしまう。
【0017】
そこで、この実施形態に係るビデオデコードでは、「駒落し」や「2度表示」を行う必要が生じた場合には、時間軸上での変化が少ない画像に対して行うことで、バッファにオーバーフロー等が発生しても、視覚的な画質の劣化を最小限にとどめる。
【0018】
図1は、本発明の第1の実施形態に係るデコード装置の全体構成を示すブロック図である。
【0019】
図1に示すように、デコード装置は、入力端子101、同期分離部102、バッファメモリ103、PLL部104、映像復号部105、変化量検出部106、バッファ残量算出部107、復号制御部108、表示メモリ109、映像信号出力端子110からなる。
【0020】
ここで、入力端子101は、同期信号が付加された圧縮画像データを入力する端子であり、入力された圧縮動画像データは当該入力端子101より同期分離部102に与えられる。同期分離部102は、圧縮画像データと同期信号を分離する手段である。分離された信号のうち、圧縮画像データはバッファメモリ103に入力され、同期信号はPLL部104に入力される。なお、圧縮画像データは、バッファメモリ103に蓄積される。また、PLL部104は、同期信号を基準に送信側クロックを再生する。
【0021】
映像復号部105は、バッファメモリ103から読み出した圧縮画像データを伸長する手段である。変化量検出部106は、時間軸上の画像の変化を検出する手段である。バッファ残量算出部107は、バッファメモリ103に蓄えられているデータ量を求める手段である。復号制御部108は、映像復号部105からの復号終了信号と変化量検出部106からの画像の変化情報及びバッファ残量算出部107からのバッファ残量から映像復号部105の復号表示タイミングを制御する手段である。表示メモリ109は、復号画像データを保持し表示系タイミングで出力するメモリである。映像出力端子110は、映像信号の出力端子である。
【0022】
実施形態に係るデコード装置は以上の手段から構成されるが、このうち、図2に示す従来のデコード装置には無い特有な手段は、変化量検出部106と、バッファ残量算出部107と、復号制御部108の3つの手段である。以下、かかる実施形態に特有の手段について説明する。
【0023】
まず、変化量検出部106の構成を図3に示す。この変化量検出部106は、バッファメモリ103から映像復号部105へ転送されたデータ量を検出する手段である。なお、図3は、画像1フレーム分の圧縮データ量から時間軸上の画像の変化を検出する場合の構成を示すものである。
【0024】
図3に示すように、変化量検出部106は、読み出し制御信号(メモリアドレス)入力端子301、復号終了信号入力端子302、レジスタ303及び305、減算器304、変化量出力端子306からなる。
【0025】
ここで、レジスタ303は、復号終了信号をトリガ信号として読み出しアドレスを保持するレジスタであり、減算器304は、一周期前の読み出し量と新たな読み出し量の差を求めるためのものである。なお、レジスタ305は、復号終了信号をトリガ信号として減算器306の出力値を保持するのに用いられる。
【0026】
次に、バッファ残量算出部107の構成を説明する。このバッファ残量算出部107は、バッファメモリ103の残量を監視するのに用いられる手段であり、書き込み制御信号(メモリアドレス)と読み出し制御信号(メモリアドレス)を減算器に入力し、その差分を求める構成になっている。
【0027】
続いて、復号制御部108の構成を図4に示す。なお、図4は、オーバーフローに対する制御を行う部分のみ記載している。アンダーフローに対しては同様の回路が別に必要になる。
【0028】
図4に示すように、復号制御部108は、複数の入出力端子(バッファ残量入力端子401、変化量入力端子402、復号終了信号入力端子403、データ出力命令端子415、復号開始命令出力端子416)と、比較器404、405と、複数のゲート回路(NANDゲート406、ANDゲート407、410、レジスタ408、409、411、412、NORゲート412、ORゲート414)とからなる。
【0029】
ここで、比較器404は、バッファ残量と閾値Aを比較する比較器であり、比較器405は、変化量と閾値Bを比較する比較器である。なお、NANDゲート406は、2つの比較器404及び405のNANDを得る手段である。また、レジスタ408は、復号終了信号をクロックの1サイクル分遅延させる手段である。さらに、レジスタ409は、NANDゲート406の出力を復号終了信号でホールドする手段である。さらに、ANDゲート410は、レジスタ408とレジスタ409の出力を入力とし、その論理積を得る手段である。また、シフトレジスタ411は、ANDゲート410の出力を遅延させるのに用いられる。さらに、レジスタ412は、NANDゲート406の出力をクロックの1サイクル分遅延させる手段である。
【0030】
(A−2)第1の実施形態の動作
(A−2−1)基本動作
続いて、デコード装置の動作内容を説明する。まず、基本的な動作内容を説明する。
【0031】
デコード装置は、同期信号が付加された圧縮画像データを入力端子101に入力すると、これを同期分離部102に与え、圧縮画像データと同期信号とに分離する。次に、デコード装置は、分離された圧縮画像データを同期分離部102の動作タイミングでバッファメモリ103に書き込むと共に、同期信号をPLL部104に供給し、当該PLL部104において送信側クロックを再生する。なお、この再生クロックは映像復号部105に与えられる。
【0032】
デコード装置は、当該再生クロックを用いてバッファメモリ103に蓄えられているデータを読み出し、映像復号部105で伸長する。やがて、1枚の画像の伸長が終了すると、復号終了信号を出力すると共に、伸長された画像を表示メモリ109に転送し、表示系のタイミングで出力する。
【0033】
以上がデコード装置の基本的な動作の内容である。
【0034】
(A−2−2)オーバーフロー時の動作
次に、本実施形態に係るデコード装置に特有な機能部である映像復号部105の復号制御動作を説明する。なお、この制御に密接に関係するのが、変化量検出部106とバッファ残量算出部107の2つの回路部である。このうち、変化量検出部106は、時間軸上の画像の変化量を検出するのに用いられ、バッファ残量算出部107は、伝送遅延変動等を原因としてPLL部104が送信側クロックにロックしていない場合に生じるバッファ残量の変動を算出するのに用いられる。
【0035】
まず、変化量検出部106とバッファ残量算出部107の動作内容を説明する。
【0036】
変化量検出部106は、画像1フレームあたりの圧縮データ量を求めることによって画像の変化量を監視する手段であり、図3のレジスタ303に、復号終了信号をトリガ信号として、各画像フレーム処理終了時点での総読み出し量(メモリアドレス)を保持する。そして、減算器304において、新たな1フレーム分のデータを加えた総読み出し量(メモリアドレス)とレジスタ303に保持されている前回までの総読み出し量との差を求め、画像1フレームあたりの圧縮データを得る。なお、減算器304の出力は、復号終了信号をトリガ信号とするレジスタ305で1復号周期の信号にされ、時間軸上の画像の変化量として出力端子306より出力される。
【0037】
一方、バッファ残量算出部107は、書き込まれたデータ量(すなわち、書き込み側メモリアドレス)と読み出されたデータ量(すなわち、読み出し側のメモリアドレス)との差を求めることによりバッファ残量を算出し、これを出力する。
【0038】
復号制御部108は、これら変化量やバッファ残量と共に、映像復号部105から出力される復号終了信号を入力し、復号開始命令やデータ出力命令を生成する。ここで、復号開始命令はバッファメモリ103からデータを取り込むための命令で、データ出力命令は復号画像を表示メモリ109に転送し表示するための命令である。
【0039】
以下、図5に基づいて、バッファオーバーフロー時に実行される復号制御部108の動作を説明する。
【0040】
復号制御部108は、比較器404において、前述のバッファ残量算出部107の出力とある閾値Aとを比較することにより、バッファ残量がある閾値Aを越えているか否かを判別している。ここで、比較器404は、バッファ残量が閾値Aを越えると、「H」レベルのアラーム信号を出力し、バッファオーバーフローが近いことを報知する。例えば、図5の第6フレーム〜第9フレームの復号処理期間がこの状態に相当する。なお、閾値Aにはバッファ容量、受信データレート等から求まる固定値が用いられている。
【0041】
また、復号制御部108は、比較器405において、前述の変化量検出部106の出力とある閾値Bとを比較することにより、現在処理中の画像が「駒落し」しても画質劣化の小さな画像か否かを判別している。ここでも、比較器405は、「駒落し」可能な画像の場合には「H」レベルの信号を出力する。例えば、図5では、第4フレームと第9フレームの復号処理期間がこの状態を表している。なお、閾値Bには表示画像サイズ等から求まる固定値が用いられている。
【0042】
従って、比較器404の出力が「H」レベルであり、かつ、比較器405の出力が「H」レベルのとき(すなわち、バッファ残量が閾値Aを越え、かつ、画像が「駒落し」可能である場合)、その出力が「L」レベルとなり、「駒落し」が必要であり、かつ、実際に「駒落し」ができることが後段の回路に報知される。以後の回路は、この「L」レベルの信号を基準に、「駒落し」動作を開始する。
【0043】
実際に、「駒落し」を行うには、「駒落し」を行う画像に対するデータ出力命令をキャンセルし、「駒落し」画像の代わりに次の画像を表示するための復号開始命令を前倒しして出力する必要がある。そこで、前者の目的のために用いられるのが、ANDゲート407である。
【0044】
ANDゲート407では、復号終了信号を1サイクル遅延させた信号を、NANDゲート406の出力でマスク(すなわち、AND)することで、データ出力命令を送出しないようにする。つまり、バッファ残量が閾値Aを超えた状態で、変化量が閾値B以下の場合、当該ANDゲート407から映像復号部105に対しては、映像復号部105から伸長画像が出力されないように制御信号が出力される。
【0045】
一方、後者の目的のためには、シフトレジスタ411が用いられる。シフトレジスタ411は、表示メモリ109へのデータ転送が終了してから新たな復号を開始するように、データ転送にかかる時間だけ復号終了信号を遅延させる働きをする。「駒落し」などが発生しない場合は、この信号が復号開始命令となる。レジスタ412とNORゲート413では、NANDゲート406出力の立ち下がりエッジを求め、追加すべき復号開始命令を生成している。ORゲート414では、シフトレジスタ411出力の通常の復号開始命令に、NORゲート413出力のパルスを追加している。このようにして、前倒しして復号を開始する復号開始命令を生成している。
【0046】
以上のように制御することで、バッファ残量が多くなった時には、表示メモリ109に受信データ量の少ない1枚の画像が書き込まれないことになり、代わりに次の画像を復号し表示メモリヘの転送することになり、表示の際に「駒落し」となる。
【0047】
(A−2−3)アンダーフロー時の動作
これに対して、バッファアンダーフローの場合は、同様の回路によって、復号開始命令に対して「H」パルスが出ないようにマスクをかけ、1回の復号処理に対しデータ出力命令を2回出力することで実現される。
【0048】
(A−3)第1の実施形態の効果
圧縮動画像の伝送において、送信側と受信側のクロックが独立していると、その速度差に応じて受信バッファの残量が増減する。PLL回路でクロックを再生することで、バッファ残量を一定にすることができるが、伝送路の遅延変動によっては、PLLがロックしない場合がある。この場合、クロックは独立してしまうためバッファ残量が増減する。ここで、バッファメモリがオーバーフロー又はアンダーフローを起こすと、「駒落し」や「2度表示」が発生し、表示の乱れが生じる。このような表示の乱れは、時間軸上での変化の大きい画像では劣化が目立つが、変化の小さな画像では大きな劣化とはならない。
【0049】
そこで、上述の構成のデコード装置を用いる。
【0050】
図6に、第1の実施形態によってもたらされる効果を説明する。ここでは、受信側のクロック周波数が送信側のクロック周波数より低く、バッファオ一バーフローを起こす状態を示している。上段はバッファの状態を示しており、折れ線で示されているバッファ残量がオーバーフローレベルを超えると、「駒落し」が発生する。下段は受信画像と表示画像を示している。受信側クロック周波数が低いため、表示フレーム数は受信フレーム数より低くなっている。
【0051】
従来方法では、バッファオーバーフローが発生した時点で「駒落し」が起こることになる。このため、図6の受信画像「5」と受信画像「10」で「駒落し」が起きる。これらの画像はその直前の受信画像「4」及び「9」との差が大きい。このため、表示画像では黒丸の動きに不連続な部分が現れ(矢印の部分)、画質劣化となる。
【0052】
そこで、第1の実施形態では、上述したように、バッファ残量が閾値Aを超えている状態で、変化量が閾値Bより小さい画像を受信すると、これを「駒落し」するように制御する。すなわち、図6において、受信画像「3」に対する受信画像「4」の変化量、受信画像「7」に対する受信画像「8」の変化量が閾値Bより小さく、この時バッファ残量も閾値Aより大きくなっているため、受信画像「4」及び「8」を「駒落し」することになる。その結果、図6に示すような表示画像が得られ、黒丸の動きに不自然さが現れない。
【0053】
以上のように、第1の実施形態によれば、変化量検出部106で時間軸上での画像の変化量を、バッファ残量算出部107でバッファの残量を監視し、これらの信号を元に復号制御部108でバッファメモリ103のオーバーフロー又はアンダーフローの発生と画像の変化を推測し、避けられない表示の乱れを時間軸上で変化の少ない画像に対して行っている。これにより、表示の乱れが発生した際の視覚的な劣化を抑えることができる。
【0054】
また、第1の実施形態では、圧縮画像データが通常、画像のフレーム間の差分データを元に作成されていることを利用し、時間軸上での画像の変化を受信データ量から推測している。このため、図3に示すような簡単な構成で上記効果を得ている。時間軸上での画像の変化は受信データ量以外からでも知ることができる。例えば、圧縮画像データを復号する際に得られる動きベクトル値、変換係数、さらに復号画像を用いて実際にフレーム間差分を求めることが挙げられる。本案施形態では、受信データ量を対象に記述しているが、これら他の方法で画像の変化を推測しても差し差し支えない。
【0055】
(B)第2の実施形態
以下、本発明に係るデコード装置の第2の実施形態を説明する。
【0056】
(B−1)第2の実施形態の構成
第1の実施形態においては、時間軸上の画像変化情報、バッファ残量を独立に比較器で閾値と比較して、「駒落し」等の制御を行っていたが、この第2の実施形態においては、この2種類の情報を一体化して扱い、「駒落し」等の制御を行う場合について説明する。
【0057】
なお、第2の実施形態の全体構成としては、第1の実施形態と同じく図1の構成のものを用いるが、このうち、復号制御部108として異なるものを用いる。
【0058】
図7に第2の実施形態に係る復号制御部108の構成を示す。図7は、図4との対応部分に対応符号を付して示したものであり、比較器404、405及びNAND406に代えて、ROM704を用いることを除いて同様の回路部品から構成されている。
【0059】
ここで、ROM704は、バッファ残量と変化量に応じて定まる制御情報を格納しており、2つの量関係に応じた適応的な「駒落し」制御を実現できるようになっている。例えば、バッファ残量が多い場合には変化量が比較的大きいときに「駒落し」が実行されるようにし、バッファ残量が少ない場合には変化量が極めて小さくても「駒落し」が実行されるようになっている。なお、この図7は、図4の場合と同じく、オーバーフローに対する制御部分のみ表したもので、アンダーフローに対しては同様の回路が別に必要になる。
【0060】
因みに、図7に示す復号制御部108は、バッファ残量の入力端子701、時間軸上の画像の変化量の入力端子702、復号終了信号の入力端子703、バッファ残量と変化量を入力とするROM704、レジスタ708の出力とROM704の出力を入力とするANDゲート707、復号終了信号をクロック1サイクル分遅延させるレジスタ708、ROM704の出力を復号終了信号でホールドするレジスタ709、レジスタ708及び709の出力を入力とするANDゲート710、ANDゲート710の出力を遅延させるシフトレジスタ711、ROM704の出力をクロック1サイクル分遅延させるレジスタ712、ROM704の出力とレジスタ712の反転出力を入力とするNORゲート713、NORゲート713の出力とシフトレジスタ711の出力を入力とするORゲート714、データ出力命令の出力端子715、復号開始命令の出力端子716からなる。
【0061】
(B−2)第2の実施形態の動作
第2の実施形態における基本的な動作については、第1の実施形態の場合と同様である。従って、ここでは、回路構成を異にする復号制御部108の動作についてのみ説明する。
【0062】
第2の実施形態においても、復号制御部108は、変化量とバッファ残量及び復号終了信号から復号開始命令とデータ出力命令を生成する。このために設けられた第2の実施形態に特有の回路ブロックがROM704であり、このROM704において、変化量とバッファ残量から「駒落し」を発生させるための元信号を生成する。
【0063】
この信号が「L」レベルの時に「駒落し」が起こる。ANDゲート707では、この信号で復号終了信号を1サイクル遅延させた信号をマスク(AND)することで、データ出力命令を送出しないようにしている。ANDゲート710では、この信号を1復号周期遅延させた信号で復号終了信号を1サイクル遅延させた信号をマスク(AND)している。
【0064】
シフトレジスタ711は、表示メモリ109へのデータ転送が終了してから新たな復号を開始するように、データ転送にかかる時間復号終了信号を遅延させる働きをする。レジスタ712とNORゲート713では、ROM704の出力の立ち下がりエッジを求め、ORゲート714では、シフトレジスタ709の出力に新たなパルスを追加し復号開始命令を生成している。
【0065】
このように、第2の実施形態では、ROM704において変化量とバッファ残量の関係から「駒落し」の制御を行っている点が特徴となる。この構成にすることで、バッファ残量に対し適応的に「駒落し」フレームを決定することができる。例えば、バッファ残量が比較的小さい段階では変化量が極めて小さくても「駒落し」が行われ、バッファ残量が大きい段階では変化量が比較的大きくても「駒落し」が実行される。
【0066】
(B−3)第2の実施形態の効果
以上のように、第2の実施例によれば、復号制御部108においてバッファ残量と変化量の双方の任意の関係から適応的に「駒落し」等の制御を行うようにしたことにより、画質劣化が視覚的に目立ちやすい静止画像であるか視覚的に目立ち難い動画像であるかに基づいて「駒落し」の実行基準を設定することも可能となる。例えば、静止画像に近い画像では、かなり小さい画像の変化でも「駒落し」が実行されるようにすることにより、視覚的な劣化をより一段と目立たないようにすることができる。
【0067】
(C)他の実施形態
なお、上述の実施形態においては、伝送路を介して圧縮画像データが伝送されてくる場合について述べたが、これに限らず、圧縮されていない画像データを受信する場合にも適用し得る。
【0068】
また、上述の実施形態においては、動画像を伝送する場合について述べたが、符号化された静止画を復号化する場合にも適用し得る。
【0069】
【発明の効果】
上述のように、本発明によれば、受信画像データを一時的に蓄積する受信バッファと、当該受信バッファより読み出した受信画像データを送信側のクロックと異なるクロックにより復号する復号化手段とを備える伝送画像復号装置において、受信画像データの一部の廃棄又は再表示の必要が生じた場合、時間軸上の変化量が少ない受信画像データを選択的に廃棄又は再表示するようにしたことにより、当該処理実行時における表示画面の視覚特性が劣化しないようにできる。
【図面の簡単な説明】
【図1】伝送画像復号装置の一実施形態を示すブロック図である。
【図2】従来用いられている伝送画像復号装置の構成を示すブロック図である。
【図3】図1の変化量検出部の構成を示すブロック図である。
【図4】第1の実施形態に係る復号制御部の構成を示すブロック図である。
【図5】図1内における各部の動作関係を示すタイムチャートである。
【図6】バッファ残量と表示画像の関係を表した説明図である。
【図7】第2の実施形態に係る復号制御部の構成を示すブロック図である。
【符号の説明】
102…同期分離部、103…バッファメモリ、104…PLL部、105…映像復号部、106…変化量検出部、107…バッファ残量算出部、108…復号制御部、109…表示メモリ、404、405…比較器、406…NANDゲート、704…ROM。
[0001]
BACKGROUND OF THE INVENTION
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video decoding apparatus for decompressing and displaying media such as compressed moving images that operate with a signal processing of moving images, particularly a clock independent of a clock of a transmission path.
[0002]
[Prior art]
Reference: "Practical MPEG Textbook" 1995 ASCII Publishing Bureau
Conventionally, there is the aforementioned document as a document relating to compressed moving image transmission. This document describes various technologies and problems related to compressed video transmission. For example, in the case of an application for entering a public network from a LAN, it is not always possible to expect the supply of the network clock, and there are the following problems when the supply of the network clock cannot be received. It has been pointed out. In other words, in the transmission of compressed moving images in the absence of a network clock supply, if the transmission side and reception side clocks operate independently, the data processing speed differs depending on the speed difference. It has been pointed out.
[0003]
However, when the data processing speed is different as described above, the amount of use of the buffer memory for temporarily storing the received data greatly varies depending on the relationship between the processing speed on the encoder side and the decoding side. For example, if the processing of the encoder is fast, the decoding processing does not catch up and increases, and vice versa. In addition, when the buffer is empty, there is no new image to be displayed, so “display twice” is necessary. Conversely, when the buffer is full, the input new image cannot be held. ”Occurs and visual deterioration becomes conspicuous.
[0004]
To prevent this, it is necessary to use a clock synchronized between transmission and reception.
[0005]
In this regard, in the MPEG2 system, time information called a program clock reference (hereinafter referred to as “PCR”) is defined to ensure clock synchronization. The literature also describes this method. Hereinafter, this method will be described.
[0006]
The encoder transmits the PCR created from the reference clock to the decode, and in the decode, counts its own clock and compares it with the value of the sent PCR. If they match, clock synchronization is ensured. By controlling the clock frequency so that the two values coincide with each other using a PLL circuit or the like, the transmission and reception clocks can be synchronized.
[0007]
FIG. 2 shows this configuration. A compressed image take to which a synchronization signal corresponding to PCR is added is input from the input terminal 201, and is separated into compressed image data and a synchronization signal by the synchronization separation unit 202. Image data is stored in the buffer memory 203 under the control of the synchronization separation unit 202. The PLL unit 204 regenerates a clock based on the synchronization signal from the synchronization separation unit 202. The image data is read from the buffer memory 203 by a read control signal based on this clock, and is decompressed by the video decoding unit 205 and transferred to the display memory 206. It is read from the display memory 206 at the timing of the display system, and a video signal is output from the output terminal 207.
[0008]
In this way, by using the PLL circuit, the clocks coincide with each other in transmission and reception, that is, the write amount to the buffer memory (control from the synchronization separation unit 202) and the read amount (read control from the video decoding unit 205) are the same. The amount of data stored in the buffer becomes constant and the above-described overflow does not occur.
[0009]
[Problems to be solved by the invention]
As described above, by adding a synchronization signal to the compressed image data and configuring a PLL circuit based on this, the clocks can be matched between transmission and reception. Thereby, it is possible to prevent “frame dropping” and “twice display” in the image display.
[0010]
However, in a network such as an ATM network where the transmission delay varies, jitter is added to the transmitted synchronization signal.
[0011]
When the delay variation becomes large, not only the PLL circuit cannot absorb the variation but also the PLL circuit may not be locked. In this case, since the clocks between the transmission and reception do not match, the accumulated amount of the reception buffer increases / decreases according to the speed difference, and “frame dropping” due to overflow or “twice display” of the same image due to underflow occurs. appear. In particular, when there is a large change in the image on the time axis, when “frame dropping” or “twice display”, that is, display disturbance occurs, image quality deterioration is noticeable.
[0012]
Further, in the conventional technique, there is a case where the PLL circuit is not used in order to avoid an increase in circuit scale due to the addition of the PLL circuit and a jitter remaining in the recovered clock. In this case, the display disorder problem remains unsolved.
[0013]
[Means for Solving the Problems]
In order to solve this problem, in the present invention, Compressed A transmission image decoding apparatus comprising: a reception buffer that temporarily stores received image data; and a decoding unit that decodes received image data read from the reception buffer using a clock different from a clock on the transmission side. It is characterized by that.
[0014]
That is, (1) the amount of change in the received image data on the time axis is Image 1 frame (2) When a part of the received image data needs to be discarded or redisplayed, on the time axis based on the detection result of the change amount monitoring means And a decoding control means for controlling the decoding means so as to selectively discard or redisplay received image data with a small change amount.
As described above, in the present invention, even when a part of the received image data needs to be discarded or redisplayed, the received image data with a small amount of change on the time axis can be selectively discarded or redisplayed. Even if such processing is performed on the display screen, visual degradation can be prevented from appearing on the corresponding screen.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
(A) First embodiment
Hereinafter, a first embodiment of a decoding apparatus according to the present invention will be described.
[0016]
(A-1) Configuration of the first embodiment
Even with “Frame Drop” or “Twice Display”, still images that always display the same image will not be degraded even if the display is disturbed, but there will be a significant change in the displayed image on the time axis. In some cases, it is noticeable as image quality degradation.
[0017]
Therefore, in the video decoding according to this embodiment, when it is necessary to perform “frame dropping” or “display twice”, it is performed on an image with little change on the time axis, thereby overflowing the buffer. Etc., the degradation of visual image quality is minimized.
[0018]
FIG. 1 shows the overall configuration of a decoding apparatus according to the first embodiment of the present invention. Bro FIG.
[0019]
As shown in FIG. 1, the decoding apparatus includes an input terminal 101, a synchronization separation unit 102, a buffer memory 103, a PLL unit 104, a video decoding unit 105, a change amount detection unit 106, a buffer remaining amount calculation unit 107, and a decoding control unit 108. , A display memory 109, and a video signal output terminal 110.
[0020]
Here, the input terminal 101 is a terminal for inputting compressed image data to which a synchronization signal is added, and the input compressed moving image data is given to the synchronization separation unit 102 from the input terminal 101. The sync separator 102 is a means for separating the compressed image data and the sync signal. Of the separated signals, the compressed image data is input to the buffer memory 103, and the synchronization signal is input to the PLL unit 104. Note that the compressed image data is stored in the buffer memory 103. The PLL unit 104 regenerates the transmission side clock based on the synchronization signal.
[0021]
The video decoding unit 105 is a unit that expands the compressed image data read from the buffer memory 103. The change amount detection unit 106 is means for detecting a change in the image on the time axis. The buffer remaining amount calculation unit 107 is a means for obtaining the amount of data stored in the buffer memory 103. The decoding control unit 108 controls the decoding display timing of the video decoding unit 105 from the decoding end signal from the video decoding unit 105, the image change information from the change amount detection unit 106, and the buffer remaining amount from the buffer remaining amount calculation unit 107. It is means to do. The display memory 109 is a memory that holds the decoded image data and outputs it at the display system timing. The video output terminal 110 is an output terminal for video signals.
[0022]
The decoding device according to the embodiment includes the above-described means. Among these, unique means that are not included in the conventional decoding device shown in FIG. 2 are a change amount detection unit 106, a buffer remaining amount calculation unit 107, These are the three means of the decoding control unit 108. Hereinafter, means unique to the embodiment will be described.
[0023]
First, the configuration of the change amount detection unit 106 is shown in FIG. The change amount detection unit 106 is means for detecting the amount of data transferred from the buffer memory 103 to the video decoding unit 105. FIG. 3 shows a configuration for detecting a change in the image on the time axis from the amount of compressed data for one frame of the image.
[0024]
As shown in FIG. 3, the change amount detection unit 106 includes a read control signal (memory address) input terminal 301, a decoding end signal input terminal 302, registers 303 and 305, a subtractor 304, and a change amount output terminal 306.
[0025]
Here, the register 303 is a register that holds a read address using the decoding end signal as a trigger signal, and the subtractor 304 is for obtaining a difference between the read amount of the previous cycle and a new read amount. The register 305 is used to hold the output value of the subtracter 306 using the decoding end signal as a trigger signal.
[0026]
Next, the configuration of the buffer remaining amount calculation unit 107 will be described. This buffer remaining amount calculation unit 107 is a means used to monitor the remaining amount of the buffer memory 103, and inputs a write control signal (memory address) and a read control signal (memory address) to a subtracter, and the difference It is the composition which asks for.
[0027]
Next, the configuration of the decoding control unit 108 is shown in FIG. Note that FIG. 4 shows only the part that controls overflow. A similar circuit is separately required for underflow.
[0028]
As shown in FIG. 4, the decoding control unit 108 includes a plurality of input / output terminals (buffer remaining amount input terminal 401, change amount input terminal 402, decoding end signal input terminal 403, data output command terminal 415, decoding start command output terminal. 416), comparators 404 and 405, and a plurality of gate circuits (NAND gate 406, AND gates 407 and 410, registers 408, 409, 411 and 412, NOR gate 412 and OR gate 414).
[0029]
Here, the comparator 404 is a comparator that compares the remaining amount of the buffer with the threshold A, and the comparator 405 is a comparator that compares the amount of change with the threshold B. The NAND gate 406 is a means for obtaining the NAND of the two comparators 404 and 405. The register 408 is means for delaying the decoding end signal by one cycle of the clock. Further, the register 409 is means for holding the output of the NAND gate 406 with a decoding end signal. Further, the AND gate 410 is a means for obtaining the logical product of the outputs of the registers 408 and 409 as inputs. The shift register 411 is used to delay the output of the AND gate 410. Further, the register 412 is means for delaying the output of the NAND gate 406 by one clock cycle.
[0030]
(A-2) Operation of the first embodiment
(A-2-1) Basic operation
Next, the operation content of the decoding apparatus will be described. First, the basic operation content will be described.
[0031]
When the decoding apparatus inputs the compressed image data to which the synchronization signal is added to the input terminal 101, the decoding apparatus supplies the compressed image data to the synchronization separation unit 102 and separates the compressed image data and the synchronization signal. Next, the decoding device writes the separated compressed image data into the buffer memory 103 at the operation timing of the synchronization separation unit 102 and supplies the synchronization signal to the PLL unit 104, and reproduces the transmission side clock in the PLL unit 104. . This reproduction clock is given to the video decoding unit 105.
[0032]
The decoding device reads the data stored in the buffer memory 103 using the reproduction clock, and decompresses the data by the video decoding unit 105. When the expansion of one image is finished, a decoding end signal is output and the expanded image is transferred to the display memory 109 and output at the timing of the display system.
[0033]
The above is the basic operation of the decoding apparatus.
[0034]
(A-2-2) Operation at overflow
Next, the decoding control operation of the video decoding unit 105, which is a functional unit unique to the decoding device according to the present embodiment, will be described. Note that two circuits that are closely related to this control are a change amount detection unit 106 and a buffer remaining amount calculation unit 107. Among them, the change amount detection unit 106 is used to detect the change amount of the image on the time axis, and the remaining buffer amount calculation unit 107 locks the PLL unit 104 to the transmission side clock due to a transmission delay variation or the like. It is used to calculate the fluctuation of the remaining amount of the buffer that occurs when not.
[0035]
First, the operation contents of the change amount detection unit 106 and the buffer remaining amount calculation unit 107 will be described.
[0036]
The change amount detection unit 106 is a means for monitoring the amount of change in the image by obtaining the amount of compressed data per frame of the image. Each image frame processing end is performed in the register 303 of FIG. 3 using the decoding end signal as a trigger signal. The total read amount (memory address) at the time is held. Then, the subtracter 304 obtains a difference between the total read amount (memory address) obtained by adding data for one new frame and the previous total read amount held in the register 303, and compresses the image per frame. Get the data. Note that the output of the subtractor 304 is converted into a signal of one decoding cycle by the register 305 using the decoding end signal as a trigger signal, and is output from the output terminal 306 as a change amount of the image on the time axis.
[0037]
On the other hand, the remaining buffer capacity calculation unit 107 calculates the remaining buffer capacity by calculating the difference between the amount of data written (that is, the memory address on the writing side) and the amount of data read (that is, the memory address on the reading side). Calculate and output this.
[0038]
The decoding control unit 108 inputs the decoding end signal output from the video decoding unit 105 together with the change amount and the buffer remaining amount, and generates a decoding start command and a data output command. Here, the decoding start command is a command for fetching data from the buffer memory 103, and the data output command is a command for transferring the decoded image to the display memory 109 and displaying it.
[0039]
Hereinafter, the operation of the decoding control unit 108 executed at the time of buffer overflow will be described with reference to FIG.
[0040]
In the comparator 404, the decryption control unit 108 compares the output of the buffer remaining amount calculating unit 107 with a threshold A to determine whether or not the buffer remaining amount exceeds a threshold A. . Here, when the remaining amount of the buffer exceeds the threshold value A, the comparator 404 outputs an “H” level alarm signal to notify that the buffer overflow is near. For example, the decoding process period of the sixth to ninth frames in FIG. 5 corresponds to this state. Note that a fixed value obtained from the buffer capacity, the reception data rate, and the like is used as the threshold A.
[0041]
In addition, the decoding control unit 108 compares the output of the above-described change amount detection unit 106 with a certain threshold B in the comparator 405, so that the image quality degradation is small even if the currently processed image is “frame dropped”. It is determined whether or not it is an image. Again, the comparator 405 outputs an “H” level signal in the case of an image capable of “dropping frames”. For example, in FIG. 5, the decoding processing period of the fourth frame and the ninth frame represents this state. Note that a fixed value obtained from the display image size or the like is used as the threshold value B.
[0042]
Therefore, when the output of the comparator 404 is at the “H” level and the output of the comparator 405 is at the “H” level (that is, the remaining buffer capacity exceeds the threshold A and the image can be “dropped”). In this case, the output becomes “L” level, “frame dropping” is necessary, and the fact that “frame dropping” can actually be performed is notified to the subsequent circuit. Subsequent circuits start the “frame dropping” operation based on this “L” level signal.
[0043]
Actually, in order to perform “frame dropping”, cancel the data output command for the image to be “frame dropped” and advance the decoding start command to display the next image instead of the “frame dropping” image. It is necessary to output. Therefore, the AND gate 407 is used for the former purpose.
[0044]
The AND gate 407 masks (that is, ANDs) the signal obtained by delaying the decoding end signal by one cycle with the output of the NAND gate 406 so that the data output instruction is not transmitted. That is, when the remaining amount of the buffer exceeds the threshold value A and the change amount is equal to or less than the threshold value B, control is performed so that the decompressed image is not output from the video decoding unit 105 to the video decoding unit 105 from the AND gate 407. A signal is output.
[0045]
On the other hand, a shift register 411 is used for the latter purpose. The shift register 411 confirms whether the data transfer to the display memory 109 is completed. New It functions to delay the decoding end signal by the time required for data transfer so that simple decoding is started. If no “frame dropping” occurs, this signal becomes a decoding start command. In the register 412 and the NOR gate 413, the falling edge of the NAND gate 406 output is obtained and a decoding start instruction to be added is generated. In the OR gate 414, the pulse of the NOR gate 413 output is added to the normal decoding start instruction of the shift register 411 output. In this way, a decoding start instruction is generated to start the decoding ahead of schedule.
[0046]
By controlling as described above, when the remaining buffer capacity increases, one image with a small amount of received data is not written to the display memory 109. Instead, the next image is decoded and stored in the display memory. It will be transferred, and it will be “frame dropping” when displayed.
[0047]
(A-2-3) Operation during underflow
On the other hand, in the case of buffer underflow, the same circuit is used to mask the “H” pulse from being output to the decoding start instruction, and the data output instruction is output twice for one decoding process. It is realized by doing.
[0048]
(A-3) Effects of the first embodiment
In the transmission of compressed moving images, if the clocks on the transmission side and the reception side are independent, the remaining amount of the reception buffer increases or decreases according to the speed difference. The remaining amount of the buffer can be made constant by regenerating the clock with the PLL circuit, but the PLL may not lock depending on the delay variation of the transmission path. In this case, since the clocks are independent, the remaining buffer capacity increases or decreases. Here, when the buffer memory overflows or underflows, "frame dropping" or "display twice" occurs, resulting in display disturbance. Such disturbance of the display is noticeably deteriorated in an image having a large change on the time axis, but is not greatly deteriorated in an image having a small change.
[0049]
Therefore, the decoding device having the above-described configuration is used.
[0050]
FIG. 6 illustrates the effects brought about by the first embodiment. Here, the clock frequency on the reception side is lower than the clock frequency on the transmission side, and a buffer overflow state is shown. The upper row shows the state of the buffer. When the remaining amount of the buffer indicated by the broken line exceeds the overflow level, “frame dropping” occurs. The lower row shows the received image and the display image. Since the receiving side clock frequency is low, the number of display frames is lower than the number of received frames.
[0051]
In the conventional method, “frame dropping” occurs when a buffer overflow occurs. For this reason, “frame dropping” occurs between the received image “5” and the received image “10” in FIG. These images have a large difference from the immediately preceding received images “4” and “9”. For this reason, a discontinuous portion appears in the movement of the black circle in the display image (arrow portion), resulting in image quality degradation.
[0052]
Therefore, in the first embodiment, as described above, when an image whose change amount is smaller than the threshold value B is received in a state where the remaining amount of the buffer exceeds the threshold value A, control is performed so as to “drop frames”. . That is, in FIG. 6, the amount of change of the received image “4” with respect to the received image “3” and the amount of change of the received image “8” with respect to the received image “7” are smaller than the threshold B. Since it is larger, the received images “4” and “8” are “dropped”. As a result, a display image as shown in FIG. 6 is obtained, and unnaturalness does not appear in the movement of the black circle.
[0053]
As described above, according to the first embodiment, the change amount detection unit 106 monitors the change amount of the image on the time axis, the buffer remaining amount calculation unit 107 monitors the remaining amount of the buffer, and these signals are obtained. Originally, the decoding control unit 108 estimates the occurrence of overflow or underflow in the buffer memory 103 and the change of the image, and unavoidably disturbs the display on the image with little change on the time axis. Thereby, visual deterioration when display disturbance occurs can be suppressed.
[0054]
In the first embodiment, the fact that the compressed image data is normally created based on the difference data between the frames of the image is used to estimate the change of the image on the time axis from the amount of received data. Yes. Therefore, the above effect is obtained with a simple configuration as shown in FIG. Changes in the image on the time axis can be known from other than the amount of received data. For example, an actual inter-frame difference can be obtained using a motion vector value, a transform coefficient, and a decoded image obtained when decoding compressed image data. In the present embodiment, the received data amount is described as an object, but it is possible to estimate the change of the image by these other methods.
[0055]
(B) Second embodiment
Hereinafter, a second embodiment of the decoding apparatus according to the present invention will be described.
[0056]
(B-1) Configuration of the second embodiment
In the first embodiment, the image change information on the time axis and the remaining amount of the buffer are independently compared with the threshold value by the comparator, and control such as “frame dropping” is performed, but this second embodiment In the following, a case will be described in which these two types of information are handled in an integrated manner and control such as “frame dropping” is performed.
[0057]
The overall configuration of the second embodiment is the same as that of the first embodiment shown in FIG. 1, but among these, a different one is used as the decoding control unit 108.
[0058]
FIG. 7 shows the configuration of the decoding control unit 108 according to the second embodiment. FIG. 7 shows the corresponding parts in FIG. 4 with corresponding reference numerals, and is composed of the same circuit components except that the ROM 704 is used instead of the comparators 404 and 405 and the NAND 406. .
[0059]
Here, the ROM 704 stores control information determined according to the buffer remaining amount and the amount of change, and can implement adaptive “frame dropping” control according to the relationship between the two amounts. For example, if the amount of change in the buffer is large, “frame drop” is executed when the amount of change is relatively large. If the amount of change in the buffer is small, “frame drop” is executed even if the amount of change is very small. It has come to be. FIG. 7 shows only the control part for overflow as in the case of FIG. 4, and a similar circuit is separately required for underflow.
[0060]
Incidentally, the decoding control unit 108 shown in FIG. 7 receives a buffer remaining amount input terminal 701, an image change amount input terminal 702 on a time axis, a decoding end signal input terminal 703, a buffer remaining amount and a change amount as inputs. ROM 704, AND gate 707 that receives the output of register 708 and the output of ROM 704, register 708 that delays the decoding end signal by one clock cycle, register 709 that holds the output of ROM 704 with the decoding end signal, and registers 708 and 709 An AND gate 710 that receives the output, a shift register 711 that delays the output of the AND gate 710, a register 712 that delays the output of the ROM 704 by one clock cycle, and a NOR gate 713 that receives the output of the ROM 704 and the inverted output of the register 712. , The output of the NOR gate 713 OR gate 714 receives the output of the shift register 711, the output terminal 715 of the data output instruction, and an output terminal 716 of the decoding start command.
[0061]
(B-2) Operation of the second embodiment
The basic operation in the second embodiment is the same as that in the first embodiment. Therefore, only the operation of the decoding control unit 108 having a different circuit configuration will be described here.
[0062]
Also in the second embodiment, the decoding control unit 108 generates a decoding start command and a data output command from the change amount, the buffer remaining amount, and the decoding end signal. The ROM 704 is a circuit block specific to the second embodiment provided for this purpose, and the ROM 704 generates an original signal for generating “frame dropping” from the change amount and the remaining buffer capacity.
[0063]
When this signal is at “L” level, “frame dropping” occurs. The AND gate 707 masks (ANDs) the signal obtained by delaying the decoding end signal by one cycle with this signal, so that the data output command is not sent out. The AND gate 710 masks (ANDs) a signal obtained by delaying this signal by one decoding cycle and a signal obtained by delaying the decoding end signal by one cycle.
[0064]
The shift register 711 functions to delay a time decoding end signal for data transfer so that a new decoding starts after the data transfer to the display memory 109 is completed. The register 712 and the NOR gate 713 obtain the falling edge of the output of the ROM 704, and the OR gate 714 adds a new pulse to the output of the shift register 709 to generate a decoding start instruction.
[0065]
As described above, the second embodiment is characterized in that the “frame dropping” control is performed in the ROM 704 from the relationship between the change amount and the remaining buffer capacity. With this configuration, the “frame dropping” frame can be determined adaptively with respect to the remaining buffer capacity. For example, when the remaining amount of the buffer is relatively small, “frame dropping” is performed even if the amount of change is extremely small, and at the stage where the remaining amount of buffer is large, “frame dropping” is performed even if the amount of change is relatively large.
[0066]
(B-3) Effects of the second embodiment
As described above, according to the second embodiment, the decoding control unit 108 adaptively performs control such as “frame dropping” based on an arbitrary relationship between the buffer remaining amount and the change amount. It is also possible to set an execution criterion for “frame dropping” based on whether the image quality deterioration is a visually noticeable still image or a visually inconspicuous moving image. For example, in the case of an image close to a still image, the “frame dropping” is executed even when the change of the image is quite small, so that the visual deterioration can be made more inconspicuous.
[0067]
(C) Other embodiments
In the above-described embodiment, the case where the compressed image data is transmitted through the transmission path has been described.
[0068]
In the above-described embodiment, the case of transmitting a moving image has been described. However, the present invention can also be applied to the case of decoding an encoded still image.
[0069]
【The invention's effect】
As described above, according to the present invention, the reception buffer that temporarily stores the received image data and the decoding unit that decodes the received image data read from the reception buffer using a clock different from the clock on the transmission side are provided. In the transmission image decoding device, when a part of the received image data needs to be discarded or redisplayed, the received image data with a small amount of change on the time axis is selectively discarded or redisplayed. It is possible to prevent the visual characteristics of the display screen from being deteriorated when the processing is executed.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an embodiment of a transmission image decoding apparatus.
FIG. 2 is a block diagram showing a configuration of a transmission image decoding device used conventionally.
3 is a block diagram illustrating a configuration of a change amount detection unit in FIG. 1;
FIG. 4 is a block diagram showing a configuration of a decoding control unit according to the first embodiment.
FIG. 5 is a time chart showing the operational relationship of each part in FIG. 1;
FIG. 6 is an explanatory diagram illustrating a relationship between a remaining buffer capacity and a display image.
FIG. 7 is a block diagram illustrating a configuration of a decoding control unit according to a second embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 102 ... Synchronous separation part, 103 ... Buffer memory, 104 ... PLL part, 105 ... Video decoding part, 106 ... Change amount detection part, 107 ... Buffer residual quantity calculation part, 108 ... Decoding control part, 109 ... Display memory, 404, 405 ... Comparator, 406 ... NAND gate, 704 ... ROM.

Claims (3)

圧縮されている受信画像データを一時的に蓄積する受信バッファと、当該受信バッファより読み出した受信画像データを送信側のクロックと異なるクロックにより復号する復号化手段とを備える伝送画像復号装置において、
上記受信画像データにおける時間軸上の変化量を、上記受信画像データの画像1フレームに対する圧縮データ量に基づいて監視する変化量監視手段と、
上記受信画像データの一部について廃棄又は再表示の必要が生じた場合、上記変化量監視手段の検出結果に基づいて、時間軸上の変化量が少ない受信画像データを選択的に廃棄又は再表示させるよう上記復号化手段を制御する復号制御手段と
を備えたことを特徴とする伝送画像復号装置。
In a transmission image decoding apparatus comprising: a reception buffer that temporarily stores received image data that has been compressed; and a decoding unit that decodes reception image data read from the reception buffer using a clock different from a clock on the transmission side.
Change amount monitoring means for monitoring the amount of change in the received image data on the time axis based on the amount of compressed data for one frame of the received image data;
When a part of the received image data needs to be discarded or redisplayed, the received image data with a small amount of change on the time axis is selectively discarded or redisplayed based on the detection result of the change amount monitoring means. A transmission image decoding apparatus comprising: a decoding control unit that controls the decoding unit.
上記受信バッファのデータ残量を監視するデータ残量監視手段を備え、上記復号制御手段は、上記変化量監視手段及びデータ残量監視手段の監視結果に基づいて、上記受信画像データの廃棄又は再表示の必要性を判定する
ことを特徴とする請求項1に記載の伝送画像復号装置。
Data remaining amount monitoring means for monitoring the remaining amount of data in the reception buffer is provided, and the decoding control means discards or recycles the received image data based on the monitoring results of the change amount monitoring means and the data remaining amount monitoring means. The transmission image decoding apparatus according to claim 1, wherein the necessity of display is determined.
上記復号制御手段は、バッファ残量及び変化量の任意の組み合わせのそれぞれについての制御情報を制御情報記憶手段に格納している
ことを特徴をする請求項1又は2に記載の伝送画像復号装置。
The transmission image decoding apparatus according to claim 1 or 2, wherein the decoding control means stores control information for each arbitrary combination of the buffer remaining amount and the change amount in the control information storage means.
JP823697A 1997-01-21 1997-01-21 Transmission image decoding device Expired - Fee Related JP3969776B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP823697A JP3969776B2 (en) 1997-01-21 1997-01-21 Transmission image decoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP823697A JP3969776B2 (en) 1997-01-21 1997-01-21 Transmission image decoding device

Publications (2)

Publication Number Publication Date
JPH10210464A JPH10210464A (en) 1998-08-07
JP3969776B2 true JP3969776B2 (en) 2007-09-05

Family

ID=11687525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP823697A Expired - Fee Related JP3969776B2 (en) 1997-01-21 1997-01-21 Transmission image decoding device

Country Status (1)

Country Link
JP (1) JP3969776B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3565182B2 (en) 2001-05-11 2004-09-15 日本電気株式会社 Method and method for preventing input of variable length code from being interrupted
JP4794345B2 (en) * 2006-03-31 2011-10-19 京セラ株式会社 Output control device
JP5263967B2 (en) * 2009-06-10 2013-08-14 Necカシオモバイルコミュニケーションズ株式会社 Movie stream processing apparatus and movie stream processing program
JP5994367B2 (en) * 2012-04-27 2016-09-21 富士通株式会社 Moving picture coding apparatus and moving picture coding method
JP6146502B2 (en) * 2016-03-07 2017-06-14 富士通株式会社 Video encoding / decoding system and video encoding / decoding method
JP6288129B2 (en) * 2016-03-07 2018-03-07 富士通株式会社 Moving picture decoding apparatus and moving picture decoding method
JP6194974B2 (en) * 2016-03-07 2017-09-13 富士通株式会社 Moving picture decoding apparatus and moving picture decoding method
JP6194973B2 (en) * 2016-03-07 2017-09-13 富士通株式会社 Moving picture decoding apparatus and moving picture decoding method

Also Published As

Publication number Publication date
JPH10210464A (en) 1998-08-07

Similar Documents

Publication Publication Date Title
KR100298958B1 (en) Synchronization arrangement for a compressed video signal
US8620134B2 (en) Video and audio reproducing apparatus and video and audio reproducing method for reproducing video images and sound based on video and audio streams
US6212208B1 (en) Method for coding and multiplexing multimedia data, apparatus for coding and multiplexing multimedia data, record media containing program for coding and multiplexing multimedia data
JPH11261958A (en) Video editing device and video editing method
KR100981378B1 (en) Device and process for the read-synchronization of video data and of ancillary data and associated products
JP3438223B2 (en) Multiplexing device and multiplexing method, and transmission device and transmission method
US6948185B1 (en) Process and device for synchronizing an MPEG decoder
US7327789B2 (en) Decoding apparatus, decoding method, decoding program, and decoding program storage medium
JP3969776B2 (en) Transmission image decoding device
JP4541885B2 (en) Video data transmission method and apparatus for implementing special mode
JP2001517040A (en) Seamless splicing of compressed video programs
JPH11317768A (en) Transmission system, transmitting device, recording and reproducing device, and recording device
US6751404B1 (en) Method and apparatus for detecting processor congestion during audio and video decode
KR100251549B1 (en) Digital image decoder
US20100097521A1 (en) Video-signal processing apparatus, video-signal processing method, video-signal processing computer program, and video-signal control circuit
EP1014728A2 (en) Encoder with smooth audio transitions
US8768150B2 (en) Method and system for trick mode support in a motion adaptive deinterlacer with inverse telecine
US8442126B1 (en) Synchronizing audio and video content through buffer wrappers
KR100279582B1 (en) Digital video compression signal editing device
CN113596355B (en) Subtitle image generating apparatus and method
JP2005130065A (en) Transport stream multiplexer
JP3705231B2 (en) Transport stream splicer
KR100215822B1 (en) Method for decoding image preventing bitstream overflow
JP4677755B2 (en) Image filter circuit and interpolation processing method
US6917387B2 (en) Arrangement for time-correct combination of two data streams

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040409

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050307

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070605

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130615

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees