JP3969776B2 - Transmission image decoding device - Google Patents
Transmission image decoding device Download PDFInfo
- Publication number
- JP3969776B2 JP3969776B2 JP823697A JP823697A JP3969776B2 JP 3969776 B2 JP3969776 B2 JP 3969776B2 JP 823697 A JP823697 A JP 823697A JP 823697 A JP823697 A JP 823697A JP 3969776 B2 JP3969776 B2 JP 3969776B2
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- amount
- buffer
- image
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【0001】
【発明の属する技術分野】
木発明は、動画像の信号処理、特に伝送路のクロックと独立なクロックで動作する圧縮動画像などのメディアを伸長・表示するビデオデコード装置に関するものである。
【0002】
【従来の技術】
文献:「実践MPEG教科書」1995年アスキー出版局
従来、圧縮動画像伝送に関する文献として前述の文献がある。この文献には、圧縮動画像伝送に関する各種の技術や問題点が記述されている。例えば、LANから公衆網への乗り入れを行うアプリケーション等の場合には、ネットワーククロックの供給を必ずしも期待できないこと、そしてかかるネットワーククロックの供給を受けられない場合には次のような問題があることが指摘されている。すなわち、ネットワーククロックの供給が無い状態での圧縮動画像の伝送においては、送信側と受信側のクロックが独立して動作していると、その速度差に応じてデータの処理速度が異なってしまうことが指摘されている。
【0003】
しかしながら、このようにデータの処理速度が異なると、受信データを一時的に記憶するバッファメモリの使用量は、エンコーダ側とデコード側の処理速度の関係によって大きく異なってしまう。例えば、エンコーダの処理が早いと、デコードの処理が追い付かず増加し、逆の場合は減少してしまう。しかも、バッファが空になると、表示すべき新たな画像が存在しなくなるため「2度表示」が必要となり、逆に一杯になると入力された新たな画像を保持することができなくなるため「駒落し」が発生し、視覚的な劣化が目立ってしまう。
【0004】
このようなことを防ぐには、送受信間で同期したクロックを使う必要がある。
【0005】
これに関し、MPEG2システムではプログラムクロック基準参照値(Program Clock Reference 、以下PCRという)と呼ばれる時間情報を規定し、クロックの同期を確保している。文献にはこの方法についても記載されている。以下、この方法について説明する。
【0006】
エンコーダは、基準クロックから作成したPCRをデコードに伝送し、デコードでは自身の持つクロックをカウントし、送られてきたPCRの値と比較する。これが一致すれば、クロックの同期が確保されていることになる。PLL回路等によって、2つの値が一致するようにクロックの周波数を制御することで、送受信のクロックを同期させることができる。
【0007】
図2にこの構成を示す。PCRに相当する同期信号が付加された圧縮画像テークが入力端子201から入力され、同期分離部202で圧縮画像データと同期信号に分離される。画像データは同期分離部202からの制御でバッファメモリ203に蓄えられる。PLL部204では、同期分離部202からの同期信号を基準にクロックを再生する。このクロックを元にした読み出し制御信号でバッファメモリ203から画像データを読み出し、映像復号部205でこれを伸長し表示メモリ206に転送する。表示メモリ206からは、表示系のタイミングで読み出され、出力端子207から映像信号を出力する。
【0008】
このように、PLL回路を用いることで、送受信でクロックが一致、すなわちバッファメモリへの書き込み量(同期分離部202から制御)と読み出し量(映像復号部205からの読み出し制御)は同じになるため、バッファに蓄えられているデータ量が一定となり、前述のオーバーフロー等が発生しなくなる。
【0009】
【発明が解決しようとする課題】
以上のように、圧縮画像データに同期信号を付加し、これを基準とするPLL回路を構成することで、送受信間でクロックを一致させることができる。これにより、画像表示における「駒落し」、「2度表示」を防ぐことができる。
【0010】
しかしながら、ATMネットワーク等の伝送遅延に変動があるネットワークでは、送られてくる同期信号にジッタがのってしまう。
【0011】
遅延変動が大きくなると、PLL回路で変動の吸収ができなくなるだけでなく、PLL回路がロックしなくなるという場合がある。この場合、送受信間のクロックが一致しないため、その速度差に応じて受信バッファの蓄積量が増減することになり、オーバーフローによる「駒落し」、又はアンダーフローによる同じ画像の「2度表示」が発生する。特に、時間軸で画像に大きな変化がある場合に、「駒落し」又は「2度表示」、すなわち表示の乱れが発生すると画質劣化が目だってしまう。
【0012】
また、従来技法では、PLL回路を追加することによる回路規模の増加や再生クロックにジッタが残留することを避けるために、あえてPLL回路を使用しない場合もあった。この場合、表示の乱れの問題は未解決のままであった。
【0013】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、圧縮されている受信画像データを一時的に蓄積する受信バッファと、当該受信バッファより読み出した受信画像データを送信側のクロックと異なるクロックにより復号する復号化手段とを備える伝送画像復号装置において、以下の手段を備えたことを特徴とする。
【0014】
すなわち、(1) 受信画像データにおける時間軸上の変化量を、受信画像データの画像1フレームに対する圧縮データ量に基づいて監視する変化量監視手段と、(2) 受信画像データの一部について廃棄又は再表示の必要が生じた場合、変化量監視手段の検出結果に基づいて、時間軸上の変化量が少ない受信画像データを選択的に廃棄又は再表示させるよう復号化手段を制御する復号制御手段とを備えたことを特徴とする。
このように、本発明においては、受信画像データの一部について廃棄又は再表示の必要が生じた場合にも、時間軸上の変化量が少ない受信画像データを選択的に廃棄又は再表示できるので、表示画面上でかかる処理がなされても、該当する画面に視覚上の劣化が現れないようにできる。
【0015】
【発明の実施の形態】
(A)第1の実施形態
以下、本発明に係るデコード装置の第1の実施形態を説明する。
【0016】
(A−1)第1の実施形態の構成
「駒落し」や「2度表示」を行っても、常に同じ画像を表示する静止画では、表示の乱れが発生しても画質劣化にはならないが、時間軸上で表示画像に大きな変化がある場合には、画質劣化として目立ってしまう。
【0017】
そこで、この実施形態に係るビデオデコードでは、「駒落し」や「2度表示」を行う必要が生じた場合には、時間軸上での変化が少ない画像に対して行うことで、バッファにオーバーフロー等が発生しても、視覚的な画質の劣化を最小限にとどめる。
【0018】
図1は、本発明の第1の実施形態に係るデコード装置の全体構成を示すブロック図である。
【0019】
図1に示すように、デコード装置は、入力端子101、同期分離部102、バッファメモリ103、PLL部104、映像復号部105、変化量検出部106、バッファ残量算出部107、復号制御部108、表示メモリ109、映像信号出力端子110からなる。
【0020】
ここで、入力端子101は、同期信号が付加された圧縮画像データを入力する端子であり、入力された圧縮動画像データは当該入力端子101より同期分離部102に与えられる。同期分離部102は、圧縮画像データと同期信号を分離する手段である。分離された信号のうち、圧縮画像データはバッファメモリ103に入力され、同期信号はPLL部104に入力される。なお、圧縮画像データは、バッファメモリ103に蓄積される。また、PLL部104は、同期信号を基準に送信側クロックを再生する。
【0021】
映像復号部105は、バッファメモリ103から読み出した圧縮画像データを伸長する手段である。変化量検出部106は、時間軸上の画像の変化を検出する手段である。バッファ残量算出部107は、バッファメモリ103に蓄えられているデータ量を求める手段である。復号制御部108は、映像復号部105からの復号終了信号と変化量検出部106からの画像の変化情報及びバッファ残量算出部107からのバッファ残量から映像復号部105の復号表示タイミングを制御する手段である。表示メモリ109は、復号画像データを保持し表示系タイミングで出力するメモリである。映像出力端子110は、映像信号の出力端子である。
【0022】
実施形態に係るデコード装置は以上の手段から構成されるが、このうち、図2に示す従来のデコード装置には無い特有な手段は、変化量検出部106と、バッファ残量算出部107と、復号制御部108の3つの手段である。以下、かかる実施形態に特有の手段について説明する。
【0023】
まず、変化量検出部106の構成を図3に示す。この変化量検出部106は、バッファメモリ103から映像復号部105へ転送されたデータ量を検出する手段である。なお、図3は、画像1フレーム分の圧縮データ量から時間軸上の画像の変化を検出する場合の構成を示すものである。
【0024】
図3に示すように、変化量検出部106は、読み出し制御信号(メモリアドレス)入力端子301、復号終了信号入力端子302、レジスタ303及び305、減算器304、変化量出力端子306からなる。
【0025】
ここで、レジスタ303は、復号終了信号をトリガ信号として読み出しアドレスを保持するレジスタであり、減算器304は、一周期前の読み出し量と新たな読み出し量の差を求めるためのものである。なお、レジスタ305は、復号終了信号をトリガ信号として減算器306の出力値を保持するのに用いられる。
【0026】
次に、バッファ残量算出部107の構成を説明する。このバッファ残量算出部107は、バッファメモリ103の残量を監視するのに用いられる手段であり、書き込み制御信号(メモリアドレス)と読み出し制御信号(メモリアドレス)を減算器に入力し、その差分を求める構成になっている。
【0027】
続いて、復号制御部108の構成を図4に示す。なお、図4は、オーバーフローに対する制御を行う部分のみ記載している。アンダーフローに対しては同様の回路が別に必要になる。
【0028】
図4に示すように、復号制御部108は、複数の入出力端子(バッファ残量入力端子401、変化量入力端子402、復号終了信号入力端子403、データ出力命令端子415、復号開始命令出力端子416)と、比較器404、405と、複数のゲート回路(NANDゲート406、ANDゲート407、410、レジスタ408、409、411、412、NORゲート412、ORゲート414)とからなる。
【0029】
ここで、比較器404は、バッファ残量と閾値Aを比較する比較器であり、比較器405は、変化量と閾値Bを比較する比較器である。なお、NANDゲート406は、2つの比較器404及び405のNANDを得る手段である。また、レジスタ408は、復号終了信号をクロックの1サイクル分遅延させる手段である。さらに、レジスタ409は、NANDゲート406の出力を復号終了信号でホールドする手段である。さらに、ANDゲート410は、レジスタ408とレジスタ409の出力を入力とし、その論理積を得る手段である。また、シフトレジスタ411は、ANDゲート410の出力を遅延させるのに用いられる。さらに、レジスタ412は、NANDゲート406の出力をクロックの1サイクル分遅延させる手段である。
【0030】
(A−2)第1の実施形態の動作
(A−2−1)基本動作
続いて、デコード装置の動作内容を説明する。まず、基本的な動作内容を説明する。
【0031】
デコード装置は、同期信号が付加された圧縮画像データを入力端子101に入力すると、これを同期分離部102に与え、圧縮画像データと同期信号とに分離する。次に、デコード装置は、分離された圧縮画像データを同期分離部102の動作タイミングでバッファメモリ103に書き込むと共に、同期信号をPLL部104に供給し、当該PLL部104において送信側クロックを再生する。なお、この再生クロックは映像復号部105に与えられる。
【0032】
デコード装置は、当該再生クロックを用いてバッファメモリ103に蓄えられているデータを読み出し、映像復号部105で伸長する。やがて、1枚の画像の伸長が終了すると、復号終了信号を出力すると共に、伸長された画像を表示メモリ109に転送し、表示系のタイミングで出力する。
【0033】
以上がデコード装置の基本的な動作の内容である。
【0034】
(A−2−2)オーバーフロー時の動作
次に、本実施形態に係るデコード装置に特有な機能部である映像復号部105の復号制御動作を説明する。なお、この制御に密接に関係するのが、変化量検出部106とバッファ残量算出部107の2つの回路部である。このうち、変化量検出部106は、時間軸上の画像の変化量を検出するのに用いられ、バッファ残量算出部107は、伝送遅延変動等を原因としてPLL部104が送信側クロックにロックしていない場合に生じるバッファ残量の変動を算出するのに用いられる。
【0035】
まず、変化量検出部106とバッファ残量算出部107の動作内容を説明する。
【0036】
変化量検出部106は、画像1フレームあたりの圧縮データ量を求めることによって画像の変化量を監視する手段であり、図3のレジスタ303に、復号終了信号をトリガ信号として、各画像フレーム処理終了時点での総読み出し量(メモリアドレス)を保持する。そして、減算器304において、新たな1フレーム分のデータを加えた総読み出し量(メモリアドレス)とレジスタ303に保持されている前回までの総読み出し量との差を求め、画像1フレームあたりの圧縮データを得る。なお、減算器304の出力は、復号終了信号をトリガ信号とするレジスタ305で1復号周期の信号にされ、時間軸上の画像の変化量として出力端子306より出力される。
【0037】
一方、バッファ残量算出部107は、書き込まれたデータ量(すなわち、書き込み側メモリアドレス)と読み出されたデータ量(すなわち、読み出し側のメモリアドレス)との差を求めることによりバッファ残量を算出し、これを出力する。
【0038】
復号制御部108は、これら変化量やバッファ残量と共に、映像復号部105から出力される復号終了信号を入力し、復号開始命令やデータ出力命令を生成する。ここで、復号開始命令はバッファメモリ103からデータを取り込むための命令で、データ出力命令は復号画像を表示メモリ109に転送し表示するための命令である。
【0039】
以下、図5に基づいて、バッファオーバーフロー時に実行される復号制御部108の動作を説明する。
【0040】
復号制御部108は、比較器404において、前述のバッファ残量算出部107の出力とある閾値Aとを比較することにより、バッファ残量がある閾値Aを越えているか否かを判別している。ここで、比較器404は、バッファ残量が閾値Aを越えると、「H」レベルのアラーム信号を出力し、バッファオーバーフローが近いことを報知する。例えば、図5の第6フレーム〜第9フレームの復号処理期間がこの状態に相当する。なお、閾値Aにはバッファ容量、受信データレート等から求まる固定値が用いられている。
【0041】
また、復号制御部108は、比較器405において、前述の変化量検出部106の出力とある閾値Bとを比較することにより、現在処理中の画像が「駒落し」しても画質劣化の小さな画像か否かを判別している。ここでも、比較器405は、「駒落し」可能な画像の場合には「H」レベルの信号を出力する。例えば、図5では、第4フレームと第9フレームの復号処理期間がこの状態を表している。なお、閾値Bには表示画像サイズ等から求まる固定値が用いられている。
【0042】
従って、比較器404の出力が「H」レベルであり、かつ、比較器405の出力が「H」レベルのとき(すなわち、バッファ残量が閾値Aを越え、かつ、画像が「駒落し」可能である場合)、その出力が「L」レベルとなり、「駒落し」が必要であり、かつ、実際に「駒落し」ができることが後段の回路に報知される。以後の回路は、この「L」レベルの信号を基準に、「駒落し」動作を開始する。
【0043】
実際に、「駒落し」を行うには、「駒落し」を行う画像に対するデータ出力命令をキャンセルし、「駒落し」画像の代わりに次の画像を表示するための復号開始命令を前倒しして出力する必要がある。そこで、前者の目的のために用いられるのが、ANDゲート407である。
【0044】
ANDゲート407では、復号終了信号を1サイクル遅延させた信号を、NANDゲート406の出力でマスク(すなわち、AND)することで、データ出力命令を送出しないようにする。つまり、バッファ残量が閾値Aを超えた状態で、変化量が閾値B以下の場合、当該ANDゲート407から映像復号部105に対しては、映像復号部105から伸長画像が出力されないように制御信号が出力される。
【0045】
一方、後者の目的のためには、シフトレジスタ411が用いられる。シフトレジスタ411は、表示メモリ109へのデータ転送が終了してから新たな復号を開始するように、データ転送にかかる時間だけ復号終了信号を遅延させる働きをする。「駒落し」などが発生しない場合は、この信号が復号開始命令となる。レジスタ412とNORゲート413では、NANDゲート406出力の立ち下がりエッジを求め、追加すべき復号開始命令を生成している。ORゲート414では、シフトレジスタ411出力の通常の復号開始命令に、NORゲート413出力のパルスを追加している。このようにして、前倒しして復号を開始する復号開始命令を生成している。
【0046】
以上のように制御することで、バッファ残量が多くなった時には、表示メモリ109に受信データ量の少ない1枚の画像が書き込まれないことになり、代わりに次の画像を復号し表示メモリヘの転送することになり、表示の際に「駒落し」となる。
【0047】
(A−2−3)アンダーフロー時の動作
これに対して、バッファアンダーフローの場合は、同様の回路によって、復号開始命令に対して「H」パルスが出ないようにマスクをかけ、1回の復号処理に対しデータ出力命令を2回出力することで実現される。
【0048】
(A−3)第1の実施形態の効果
圧縮動画像の伝送において、送信側と受信側のクロックが独立していると、その速度差に応じて受信バッファの残量が増減する。PLL回路でクロックを再生することで、バッファ残量を一定にすることができるが、伝送路の遅延変動によっては、PLLがロックしない場合がある。この場合、クロックは独立してしまうためバッファ残量が増減する。ここで、バッファメモリがオーバーフロー又はアンダーフローを起こすと、「駒落し」や「2度表示」が発生し、表示の乱れが生じる。このような表示の乱れは、時間軸上での変化の大きい画像では劣化が目立つが、変化の小さな画像では大きな劣化とはならない。
【0049】
そこで、上述の構成のデコード装置を用いる。
【0050】
図6に、第1の実施形態によってもたらされる効果を説明する。ここでは、受信側のクロック周波数が送信側のクロック周波数より低く、バッファオ一バーフローを起こす状態を示している。上段はバッファの状態を示しており、折れ線で示されているバッファ残量がオーバーフローレベルを超えると、「駒落し」が発生する。下段は受信画像と表示画像を示している。受信側クロック周波数が低いため、表示フレーム数は受信フレーム数より低くなっている。
【0051】
従来方法では、バッファオーバーフローが発生した時点で「駒落し」が起こることになる。このため、図6の受信画像「5」と受信画像「10」で「駒落し」が起きる。これらの画像はその直前の受信画像「4」及び「9」との差が大きい。このため、表示画像では黒丸の動きに不連続な部分が現れ(矢印の部分)、画質劣化となる。
【0052】
そこで、第1の実施形態では、上述したように、バッファ残量が閾値Aを超えている状態で、変化量が閾値Bより小さい画像を受信すると、これを「駒落し」するように制御する。すなわち、図6において、受信画像「3」に対する受信画像「4」の変化量、受信画像「7」に対する受信画像「8」の変化量が閾値Bより小さく、この時バッファ残量も閾値Aより大きくなっているため、受信画像「4」及び「8」を「駒落し」することになる。その結果、図6に示すような表示画像が得られ、黒丸の動きに不自然さが現れない。
【0053】
以上のように、第1の実施形態によれば、変化量検出部106で時間軸上での画像の変化量を、バッファ残量算出部107でバッファの残量を監視し、これらの信号を元に復号制御部108でバッファメモリ103のオーバーフロー又はアンダーフローの発生と画像の変化を推測し、避けられない表示の乱れを時間軸上で変化の少ない画像に対して行っている。これにより、表示の乱れが発生した際の視覚的な劣化を抑えることができる。
【0054】
また、第1の実施形態では、圧縮画像データが通常、画像のフレーム間の差分データを元に作成されていることを利用し、時間軸上での画像の変化を受信データ量から推測している。このため、図3に示すような簡単な構成で上記効果を得ている。時間軸上での画像の変化は受信データ量以外からでも知ることができる。例えば、圧縮画像データを復号する際に得られる動きベクトル値、変換係数、さらに復号画像を用いて実際にフレーム間差分を求めることが挙げられる。本案施形態では、受信データ量を対象に記述しているが、これら他の方法で画像の変化を推測しても差し差し支えない。
【0055】
(B)第2の実施形態
以下、本発明に係るデコード装置の第2の実施形態を説明する。
【0056】
(B−1)第2の実施形態の構成
第1の実施形態においては、時間軸上の画像変化情報、バッファ残量を独立に比較器で閾値と比較して、「駒落し」等の制御を行っていたが、この第2の実施形態においては、この2種類の情報を一体化して扱い、「駒落し」等の制御を行う場合について説明する。
【0057】
なお、第2の実施形態の全体構成としては、第1の実施形態と同じく図1の構成のものを用いるが、このうち、復号制御部108として異なるものを用いる。
【0058】
図7に第2の実施形態に係る復号制御部108の構成を示す。図7は、図4との対応部分に対応符号を付して示したものであり、比較器404、405及びNAND406に代えて、ROM704を用いることを除いて同様の回路部品から構成されている。
【0059】
ここで、ROM704は、バッファ残量と変化量に応じて定まる制御情報を格納しており、2つの量関係に応じた適応的な「駒落し」制御を実現できるようになっている。例えば、バッファ残量が多い場合には変化量が比較的大きいときに「駒落し」が実行されるようにし、バッファ残量が少ない場合には変化量が極めて小さくても「駒落し」が実行されるようになっている。なお、この図7は、図4の場合と同じく、オーバーフローに対する制御部分のみ表したもので、アンダーフローに対しては同様の回路が別に必要になる。
【0060】
因みに、図7に示す復号制御部108は、バッファ残量の入力端子701、時間軸上の画像の変化量の入力端子702、復号終了信号の入力端子703、バッファ残量と変化量を入力とするROM704、レジスタ708の出力とROM704の出力を入力とするANDゲート707、復号終了信号をクロック1サイクル分遅延させるレジスタ708、ROM704の出力を復号終了信号でホールドするレジスタ709、レジスタ708及び709の出力を入力とするANDゲート710、ANDゲート710の出力を遅延させるシフトレジスタ711、ROM704の出力をクロック1サイクル分遅延させるレジスタ712、ROM704の出力とレジスタ712の反転出力を入力とするNORゲート713、NORゲート713の出力とシフトレジスタ711の出力を入力とするORゲート714、データ出力命令の出力端子715、復号開始命令の出力端子716からなる。
【0061】
(B−2)第2の実施形態の動作
第2の実施形態における基本的な動作については、第1の実施形態の場合と同様である。従って、ここでは、回路構成を異にする復号制御部108の動作についてのみ説明する。
【0062】
第2の実施形態においても、復号制御部108は、変化量とバッファ残量及び復号終了信号から復号開始命令とデータ出力命令を生成する。このために設けられた第2の実施形態に特有の回路ブロックがROM704であり、このROM704において、変化量とバッファ残量から「駒落し」を発生させるための元信号を生成する。
【0063】
この信号が「L」レベルの時に「駒落し」が起こる。ANDゲート707では、この信号で復号終了信号を1サイクル遅延させた信号をマスク(AND)することで、データ出力命令を送出しないようにしている。ANDゲート710では、この信号を1復号周期遅延させた信号で復号終了信号を1サイクル遅延させた信号をマスク(AND)している。
【0064】
シフトレジスタ711は、表示メモリ109へのデータ転送が終了してから新たな復号を開始するように、データ転送にかかる時間復号終了信号を遅延させる働きをする。レジスタ712とNORゲート713では、ROM704の出力の立ち下がりエッジを求め、ORゲート714では、シフトレジスタ709の出力に新たなパルスを追加し復号開始命令を生成している。
【0065】
このように、第2の実施形態では、ROM704において変化量とバッファ残量の関係から「駒落し」の制御を行っている点が特徴となる。この構成にすることで、バッファ残量に対し適応的に「駒落し」フレームを決定することができる。例えば、バッファ残量が比較的小さい段階では変化量が極めて小さくても「駒落し」が行われ、バッファ残量が大きい段階では変化量が比較的大きくても「駒落し」が実行される。
【0066】
(B−3)第2の実施形態の効果
以上のように、第2の実施例によれば、復号制御部108においてバッファ残量と変化量の双方の任意の関係から適応的に「駒落し」等の制御を行うようにしたことにより、画質劣化が視覚的に目立ちやすい静止画像であるか視覚的に目立ち難い動画像であるかに基づいて「駒落し」の実行基準を設定することも可能となる。例えば、静止画像に近い画像では、かなり小さい画像の変化でも「駒落し」が実行されるようにすることにより、視覚的な劣化をより一段と目立たないようにすることができる。
【0067】
(C)他の実施形態
なお、上述の実施形態においては、伝送路を介して圧縮画像データが伝送されてくる場合について述べたが、これに限らず、圧縮されていない画像データを受信する場合にも適用し得る。
【0068】
また、上述の実施形態においては、動画像を伝送する場合について述べたが、符号化された静止画を復号化する場合にも適用し得る。
【0069】
【発明の効果】
上述のように、本発明によれば、受信画像データを一時的に蓄積する受信バッファと、当該受信バッファより読み出した受信画像データを送信側のクロックと異なるクロックにより復号する復号化手段とを備える伝送画像復号装置において、受信画像データの一部の廃棄又は再表示の必要が生じた場合、時間軸上の変化量が少ない受信画像データを選択的に廃棄又は再表示するようにしたことにより、当該処理実行時における表示画面の視覚特性が劣化しないようにできる。
【図面の簡単な説明】
【図1】伝送画像復号装置の一実施形態を示すブロック図である。
【図2】従来用いられている伝送画像復号装置の構成を示すブロック図である。
【図3】図1の変化量検出部の構成を示すブロック図である。
【図4】第1の実施形態に係る復号制御部の構成を示すブロック図である。
【図5】図1内における各部の動作関係を示すタイムチャートである。
【図6】バッファ残量と表示画像の関係を表した説明図である。
【図7】第2の実施形態に係る復号制御部の構成を示すブロック図である。
【符号の説明】
102…同期分離部、103…バッファメモリ、104…PLL部、105…映像復号部、106…変化量検出部、107…バッファ残量算出部、108…復号制御部、109…表示メモリ、404、405…比較器、406…NANDゲート、704…ROM。[0001]
BACKGROUND OF THE INVENTION
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video decoding apparatus for decompressing and displaying media such as compressed moving images that operate with a signal processing of moving images, particularly a clock independent of a clock of a transmission path.
[0002]
[Prior art]
Reference: "Practical MPEG Textbook" 1995 ASCII Publishing Bureau
Conventionally, there is the aforementioned document as a document relating to compressed moving image transmission. This document describes various technologies and problems related to compressed video transmission. For example, in the case of an application for entering a public network from a LAN, it is not always possible to expect the supply of the network clock, and there are the following problems when the supply of the network clock cannot be received. It has been pointed out. In other words, in the transmission of compressed moving images in the absence of a network clock supply, if the transmission side and reception side clocks operate independently, the data processing speed differs depending on the speed difference. It has been pointed out.
[0003]
However, when the data processing speed is different as described above, the amount of use of the buffer memory for temporarily storing the received data greatly varies depending on the relationship between the processing speed on the encoder side and the decoding side. For example, if the processing of the encoder is fast, the decoding processing does not catch up and increases, and vice versa. In addition, when the buffer is empty, there is no new image to be displayed, so “display twice” is necessary. Conversely, when the buffer is full, the input new image cannot be held. ”Occurs and visual deterioration becomes conspicuous.
[0004]
To prevent this, it is necessary to use a clock synchronized between transmission and reception.
[0005]
In this regard, in the MPEG2 system, time information called a program clock reference (hereinafter referred to as “PCR”) is defined to ensure clock synchronization. The literature also describes this method. Hereinafter, this method will be described.
[0006]
The encoder transmits the PCR created from the reference clock to the decode, and in the decode, counts its own clock and compares it with the value of the sent PCR. If they match, clock synchronization is ensured. By controlling the clock frequency so that the two values coincide with each other using a PLL circuit or the like, the transmission and reception clocks can be synchronized.
[0007]
FIG. 2 shows this configuration. A compressed image take to which a synchronization signal corresponding to PCR is added is input from the input terminal 201, and is separated into compressed image data and a synchronization signal by the
[0008]
In this way, by using the PLL circuit, the clocks coincide with each other in transmission and reception, that is, the write amount to the buffer memory (control from the synchronization separation unit 202) and the read amount (read control from the video decoding unit 205) are the same. The amount of data stored in the buffer becomes constant and the above-described overflow does not occur.
[0009]
[Problems to be solved by the invention]
As described above, by adding a synchronization signal to the compressed image data and configuring a PLL circuit based on this, the clocks can be matched between transmission and reception. Thereby, it is possible to prevent “frame dropping” and “twice display” in the image display.
[0010]
However, in a network such as an ATM network where the transmission delay varies, jitter is added to the transmitted synchronization signal.
[0011]
When the delay variation becomes large, not only the PLL circuit cannot absorb the variation but also the PLL circuit may not be locked. In this case, since the clocks between the transmission and reception do not match, the accumulated amount of the reception buffer increases / decreases according to the speed difference, and “frame dropping” due to overflow or “twice display” of the same image due to underflow occurs. appear. In particular, when there is a large change in the image on the time axis, when “frame dropping” or “twice display”, that is, display disturbance occurs, image quality deterioration is noticeable.
[0012]
Further, in the conventional technique, there is a case where the PLL circuit is not used in order to avoid an increase in circuit scale due to the addition of the PLL circuit and a jitter remaining in the recovered clock. In this case, the display disorder problem remains unsolved.
[0013]
[Means for Solving the Problems]
In order to solve this problem, in the present invention, Compressed A transmission image decoding apparatus comprising: a reception buffer that temporarily stores received image data; and a decoding unit that decodes received image data read from the reception buffer using a clock different from a clock on the transmission side. It is characterized by that.
[0014]
That is, (1) the amount of change in the received image data on the time axis is Image 1 frame (2) When a part of the received image data needs to be discarded or redisplayed, on the time axis based on the detection result of the change amount monitoring means And a decoding control means for controlling the decoding means so as to selectively discard or redisplay received image data with a small change amount.
As described above, in the present invention, even when a part of the received image data needs to be discarded or redisplayed, the received image data with a small amount of change on the time axis can be selectively discarded or redisplayed. Even if such processing is performed on the display screen, visual degradation can be prevented from appearing on the corresponding screen.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
(A) First embodiment
Hereinafter, a first embodiment of a decoding apparatus according to the present invention will be described.
[0016]
(A-1) Configuration of the first embodiment
Even with “Frame Drop” or “Twice Display”, still images that always display the same image will not be degraded even if the display is disturbed, but there will be a significant change in the displayed image on the time axis. In some cases, it is noticeable as image quality degradation.
[0017]
Therefore, in the video decoding according to this embodiment, when it is necessary to perform “frame dropping” or “display twice”, it is performed on an image with little change on the time axis, thereby overflowing the buffer. Etc., the degradation of visual image quality is minimized.
[0018]
FIG. 1 shows the overall configuration of a decoding apparatus according to the first embodiment of the present invention. Bro FIG.
[0019]
As shown in FIG. 1, the decoding apparatus includes an input terminal 101, a
[0020]
Here, the input terminal 101 is a terminal for inputting compressed image data to which a synchronization signal is added, and the input compressed moving image data is given to the
[0021]
The
[0022]
The decoding device according to the embodiment includes the above-described means. Among these, unique means that are not included in the conventional decoding device shown in FIG. 2 are a change
[0023]
First, the configuration of the change
[0024]
As shown in FIG. 3, the change
[0025]
Here, the
[0026]
Next, the configuration of the buffer remaining
[0027]
Next, the configuration of the
[0028]
As shown in FIG. 4, the
[0029]
Here, the
[0030]
(A-2) Operation of the first embodiment
(A-2-1) Basic operation
Next, the operation content of the decoding apparatus will be described. First, the basic operation content will be described.
[0031]
When the decoding apparatus inputs the compressed image data to which the synchronization signal is added to the input terminal 101, the decoding apparatus supplies the compressed image data to the
[0032]
The decoding device reads the data stored in the
[0033]
The above is the basic operation of the decoding apparatus.
[0034]
(A-2-2) Operation at overflow
Next, the decoding control operation of the
[0035]
First, the operation contents of the change
[0036]
The change
[0037]
On the other hand, the remaining buffer
[0038]
The
[0039]
Hereinafter, the operation of the
[0040]
In the
[0041]
In addition, the
[0042]
Therefore, when the output of the
[0043]
Actually, in order to perform “frame dropping”, cancel the data output command for the image to be “frame dropped” and advance the decoding start command to display the next image instead of the “frame dropping” image. It is necessary to output. Therefore, the AND
[0044]
The AND
[0045]
On the other hand, a
[0046]
By controlling as described above, when the remaining buffer capacity increases, one image with a small amount of received data is not written to the
[0047]
(A-2-3) Operation during underflow
On the other hand, in the case of buffer underflow, the same circuit is used to mask the “H” pulse from being output to the decoding start instruction, and the data output instruction is output twice for one decoding process. It is realized by doing.
[0048]
(A-3) Effects of the first embodiment
In the transmission of compressed moving images, if the clocks on the transmission side and the reception side are independent, the remaining amount of the reception buffer increases or decreases according to the speed difference. The remaining amount of the buffer can be made constant by regenerating the clock with the PLL circuit, but the PLL may not lock depending on the delay variation of the transmission path. In this case, since the clocks are independent, the remaining buffer capacity increases or decreases. Here, when the buffer memory overflows or underflows, "frame dropping" or "display twice" occurs, resulting in display disturbance. Such disturbance of the display is noticeably deteriorated in an image having a large change on the time axis, but is not greatly deteriorated in an image having a small change.
[0049]
Therefore, the decoding device having the above-described configuration is used.
[0050]
FIG. 6 illustrates the effects brought about by the first embodiment. Here, the clock frequency on the reception side is lower than the clock frequency on the transmission side, and a buffer overflow state is shown. The upper row shows the state of the buffer. When the remaining amount of the buffer indicated by the broken line exceeds the overflow level, “frame dropping” occurs. The lower row shows the received image and the display image. Since the receiving side clock frequency is low, the number of display frames is lower than the number of received frames.
[0051]
In the conventional method, “frame dropping” occurs when a buffer overflow occurs. For this reason, “frame dropping” occurs between the received image “5” and the received image “10” in FIG. These images have a large difference from the immediately preceding received images “4” and “9”. For this reason, a discontinuous portion appears in the movement of the black circle in the display image (arrow portion), resulting in image quality degradation.
[0052]
Therefore, in the first embodiment, as described above, when an image whose change amount is smaller than the threshold value B is received in a state where the remaining amount of the buffer exceeds the threshold value A, control is performed so as to “drop frames”. . That is, in FIG. 6, the amount of change of the received image “4” with respect to the received image “3” and the amount of change of the received image “8” with respect to the received image “7” are smaller than the threshold B. Since it is larger, the received images “4” and “8” are “dropped”. As a result, a display image as shown in FIG. 6 is obtained, and unnaturalness does not appear in the movement of the black circle.
[0053]
As described above, according to the first embodiment, the change
[0054]
In the first embodiment, the fact that the compressed image data is normally created based on the difference data between the frames of the image is used to estimate the change of the image on the time axis from the amount of received data. Yes. Therefore, the above effect is obtained with a simple configuration as shown in FIG. Changes in the image on the time axis can be known from other than the amount of received data. For example, an actual inter-frame difference can be obtained using a motion vector value, a transform coefficient, and a decoded image obtained when decoding compressed image data. In the present embodiment, the received data amount is described as an object, but it is possible to estimate the change of the image by these other methods.
[0055]
(B) Second embodiment
Hereinafter, a second embodiment of the decoding apparatus according to the present invention will be described.
[0056]
(B-1) Configuration of the second embodiment
In the first embodiment, the image change information on the time axis and the remaining amount of the buffer are independently compared with the threshold value by the comparator, and control such as “frame dropping” is performed, but this second embodiment In the following, a case will be described in which these two types of information are handled in an integrated manner and control such as “frame dropping” is performed.
[0057]
The overall configuration of the second embodiment is the same as that of the first embodiment shown in FIG. 1, but among these, a different one is used as the
[0058]
FIG. 7 shows the configuration of the
[0059]
Here, the
[0060]
Incidentally, the
[0061]
(B-2) Operation of the second embodiment
The basic operation in the second embodiment is the same as that in the first embodiment. Therefore, only the operation of the
[0062]
Also in the second embodiment, the
[0063]
When this signal is at “L” level, “frame dropping” occurs. The AND
[0064]
The
[0065]
As described above, the second embodiment is characterized in that the “frame dropping” control is performed in the
[0066]
(B-3) Effects of the second embodiment
As described above, according to the second embodiment, the
[0067]
(C) Other embodiments
In the above-described embodiment, the case where the compressed image data is transmitted through the transmission path has been described.
[0068]
In the above-described embodiment, the case of transmitting a moving image has been described. However, the present invention can also be applied to the case of decoding an encoded still image.
[0069]
【The invention's effect】
As described above, according to the present invention, the reception buffer that temporarily stores the received image data and the decoding unit that decodes the received image data read from the reception buffer using a clock different from the clock on the transmission side are provided. In the transmission image decoding device, when a part of the received image data needs to be discarded or redisplayed, the received image data with a small amount of change on the time axis is selectively discarded or redisplayed. It is possible to prevent the visual characteristics of the display screen from being deteriorated when the processing is executed.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an embodiment of a transmission image decoding apparatus.
FIG. 2 is a block diagram showing a configuration of a transmission image decoding device used conventionally.
3 is a block diagram illustrating a configuration of a change amount detection unit in FIG. 1;
FIG. 4 is a block diagram showing a configuration of a decoding control unit according to the first embodiment.
FIG. 5 is a time chart showing the operational relationship of each part in FIG. 1;
FIG. 6 is an explanatory diagram illustrating a relationship between a remaining buffer capacity and a display image.
FIG. 7 is a block diagram illustrating a configuration of a decoding control unit according to a second embodiment.
[Explanation of symbols]
DESCRIPTION OF
Claims (3)
上記受信画像データにおける時間軸上の変化量を、上記受信画像データの画像1フレームに対する圧縮データ量に基づいて監視する変化量監視手段と、
上記受信画像データの一部について廃棄又は再表示の必要が生じた場合、上記変化量監視手段の検出結果に基づいて、時間軸上の変化量が少ない受信画像データを選択的に廃棄又は再表示させるよう上記復号化手段を制御する復号制御手段と
を備えたことを特徴とする伝送画像復号装置。In a transmission image decoding apparatus comprising: a reception buffer that temporarily stores received image data that has been compressed; and a decoding unit that decodes reception image data read from the reception buffer using a clock different from a clock on the transmission side.
Change amount monitoring means for monitoring the amount of change in the received image data on the time axis based on the amount of compressed data for one frame of the received image data;
When a part of the received image data needs to be discarded or redisplayed, the received image data with a small amount of change on the time axis is selectively discarded or redisplayed based on the detection result of the change amount monitoring means. A transmission image decoding apparatus comprising: a decoding control unit that controls the decoding unit.
ことを特徴とする請求項1に記載の伝送画像復号装置。Data remaining amount monitoring means for monitoring the remaining amount of data in the reception buffer is provided, and the decoding control means discards or recycles the received image data based on the monitoring results of the change amount monitoring means and the data remaining amount monitoring means. The transmission image decoding apparatus according to claim 1, wherein the necessity of display is determined.
ことを特徴をする請求項1又は2に記載の伝送画像復号装置。The transmission image decoding apparatus according to claim 1 or 2, wherein the decoding control means stores control information for each arbitrary combination of the buffer remaining amount and the change amount in the control information storage means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP823697A JP3969776B2 (en) | 1997-01-21 | 1997-01-21 | Transmission image decoding device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP823697A JP3969776B2 (en) | 1997-01-21 | 1997-01-21 | Transmission image decoding device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10210464A JPH10210464A (en) | 1998-08-07 |
JP3969776B2 true JP3969776B2 (en) | 2007-09-05 |
Family
ID=11687525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP823697A Expired - Fee Related JP3969776B2 (en) | 1997-01-21 | 1997-01-21 | Transmission image decoding device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3969776B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3565182B2 (en) | 2001-05-11 | 2004-09-15 | 日本電気株式会社 | Method and method for preventing input of variable length code from being interrupted |
JP4794345B2 (en) * | 2006-03-31 | 2011-10-19 | 京セラ株式会社 | Output control device |
JP5263967B2 (en) * | 2009-06-10 | 2013-08-14 | Necカシオモバイルコミュニケーションズ株式会社 | Movie stream processing apparatus and movie stream processing program |
JP5994367B2 (en) * | 2012-04-27 | 2016-09-21 | 富士通株式会社 | Moving picture coding apparatus and moving picture coding method |
JP6146502B2 (en) * | 2016-03-07 | 2017-06-14 | 富士通株式会社 | Video encoding / decoding system and video encoding / decoding method |
JP6288129B2 (en) * | 2016-03-07 | 2018-03-07 | 富士通株式会社 | Moving picture decoding apparatus and moving picture decoding method |
JP6194974B2 (en) * | 2016-03-07 | 2017-09-13 | 富士通株式会社 | Moving picture decoding apparatus and moving picture decoding method |
JP6194973B2 (en) * | 2016-03-07 | 2017-09-13 | 富士通株式会社 | Moving picture decoding apparatus and moving picture decoding method |
-
1997
- 1997-01-21 JP JP823697A patent/JP3969776B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10210464A (en) | 1998-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100298958B1 (en) | Synchronization arrangement for a compressed video signal | |
US8620134B2 (en) | Video and audio reproducing apparatus and video and audio reproducing method for reproducing video images and sound based on video and audio streams | |
US6212208B1 (en) | Method for coding and multiplexing multimedia data, apparatus for coding and multiplexing multimedia data, record media containing program for coding and multiplexing multimedia data | |
JPH11261958A (en) | Video editing device and video editing method | |
KR100981378B1 (en) | Device and process for the read-synchronization of video data and of ancillary data and associated products | |
JP3438223B2 (en) | Multiplexing device and multiplexing method, and transmission device and transmission method | |
US6948185B1 (en) | Process and device for synchronizing an MPEG decoder | |
US7327789B2 (en) | Decoding apparatus, decoding method, decoding program, and decoding program storage medium | |
JP3969776B2 (en) | Transmission image decoding device | |
JP4541885B2 (en) | Video data transmission method and apparatus for implementing special mode | |
JP2001517040A (en) | Seamless splicing of compressed video programs | |
JPH11317768A (en) | Transmission system, transmitting device, recording and reproducing device, and recording device | |
US6751404B1 (en) | Method and apparatus for detecting processor congestion during audio and video decode | |
KR100251549B1 (en) | Digital image decoder | |
US20100097521A1 (en) | Video-signal processing apparatus, video-signal processing method, video-signal processing computer program, and video-signal control circuit | |
EP1014728A2 (en) | Encoder with smooth audio transitions | |
US8768150B2 (en) | Method and system for trick mode support in a motion adaptive deinterlacer with inverse telecine | |
US8442126B1 (en) | Synchronizing audio and video content through buffer wrappers | |
KR100279582B1 (en) | Digital video compression signal editing device | |
CN113596355B (en) | Subtitle image generating apparatus and method | |
JP2005130065A (en) | Transport stream multiplexer | |
JP3705231B2 (en) | Transport stream splicer | |
KR100215822B1 (en) | Method for decoding image preventing bitstream overflow | |
JP4677755B2 (en) | Image filter circuit and interpolation processing method | |
US6917387B2 (en) | Arrangement for time-correct combination of two data streams |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040409 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050111 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050307 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070605 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100615 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110615 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110615 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120615 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130615 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |