JP3597852B2 - 符号化方法及び装置 - Google Patents

符号化方法及び装置 Download PDF

Info

Publication number
JP3597852B2
JP3597852B2 JP2003323703A JP2003323703A JP3597852B2 JP 3597852 B2 JP3597852 B2 JP 3597852B2 JP 2003323703 A JP2003323703 A JP 2003323703A JP 2003323703 A JP2003323703 A JP 2003323703A JP 3597852 B2 JP3597852 B2 JP 3597852B2
Authority
JP
Japan
Prior art keywords
code
bit
synchronization
synchronization code
bits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003323703A
Other languages
English (en)
Other versions
JP2004080811A (ja
Inventor
義浩 菊池
敏明 渡邊
健 中條
剛 永井
健志 駄竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2003323703A priority Critical patent/JP3597852B2/ja
Publication of JP2004080811A publication Critical patent/JP2004080811A/ja
Application granted granted Critical
Publication of JP3597852B2 publication Critical patent/JP3597852B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Television Systems (AREA)
  • Error Detection And Correction (AREA)
  • Detection And Correction Of Errors (AREA)

Description

本発明は、無線伝送路のような誤り率の高い媒体を介して情報を伝送/蓄積するシステムに係り、高能率圧縮符号化によって得られた圧縮符号列を誤り訂正/検出符号化して伝送/蓄積するのに適した符号化方法及び装置に関する。
例えば、無線TV電話、携帯情報端末、デジタルTV放送システムのように、画像や音声の情報をできるだけ少ない情報量となるように高能率に圧縮符号化して無線伝送路等を介して伝送するシステムにおいては、伝送路の誤り率が高いため、得られた符号列をいかに高品質に伝送するかが重要な課題となる。
このように誤り率の高い媒体を介して符号列の伝送/蓄積を行う場合に、誤り率を低減する手段として、BCH符号、RS符号、畳み込み等の誤り訂正符号が多く用いられる。また、受信側で誤り検出を可能にする手段としては、チェックサムやCRC等の誤り検出符号が用いられる。これらの誤り訂正/誤り検出は、伝送/蓄積する情報に余分なビット(冗長性)を一定の規則に従って付加し、復号の際に伝送/蓄積された符号列がこの規則に従っているかどうかを調べ、その結果によって誤りの訂正や検出を行うものである。
しかし、このように高能率圧縮符号化により得られた符号列を誤り訂正/検出符号に符号化して伝送/蓄積する方法は、伝送路/媒体での符号語誤りによって生じる同期外れを回復する同期回復手法との組み合わせが難しくなることが欠点である。同期回復手法としては、一意に復号可能な同期符号と呼ばれる符号を挿入し、同期外れが生じたときは同期符号を検出した時点から復号を再開する方法が多く用いられている。
同期符号を一意に復号可能な符号語とするためには、他の符号語の組み合わせで同期符号と同一のビットパターンが生じないように符号語を構成する必要がある。しかし、一般に誤り訂正/検出符号化では、ある特定のビットパターンの出現を避けるように符号語を構成することは困難であり、同期符号と同一ビットパターンが出現した場合には、同期符号の誤検出により擬似同期を引き起こしてしまうことになる。
この問題を避けるために、誤り訂正/検出符号化を行った後に同期符号と同一のビットパターンが符号列中に存在するか否かを判定し、同一ビットパターンが存在する場合には、そのパターン中にある規則に従ってダミービットを挿入し、復号化装置において同一の規則でダミービットを削除することにより擬似同期を防ぐ方法が用いられている。しかし、誤りが生じやすい媒体を介して符号列を伝送/蓄積する場合には、この挿入ビットにも誤りが生じる可能性があり、新たな同期外れや擬似同期を引き起こすという問題点がある。
また、符号列を誤り訂正/検出符号化し同期符号を挿入する場合、従来では同期符号と同期符号とで挟まれた同期区間の最後の部分で、誤り訂正/検出符号化すべき情報ビットの剰余を補うために多くの挿入ビットを符号列に付加する必要があるため、符号化効率が低下するという問題点もある。
一方、誤り訂正/検出能力を高めるためには、伝送/蓄積する情報の冗長度を高めればよいが、こうすると同じ情報を送るのに必要なビット数は増える。このため、誤り訂正/検出能力を高めると、より伝送レートの高い伝送路が必要となったり、蓄積しなければならない情報のビット数が増加することになる。また、伝送レートや蓄積容量が同一ならば、冗長度が高いほど少ない情報しか伝送/蓄積できないことになる。画像や音声を高能率に圧縮符号化して伝送/蓄積する場合、誤り耐性を向上させるために冗長性を付加することは、伝送/蓄積レートが同一ならばより少ない情報量に圧縮符号化を行わなければならないことになり、画質や音質の低下を招くことになる。
そこで、より少ない冗長度で高い誤り耐性を持たせる方法として、階層符号化と呼ばれる方法がある。これは高能率圧縮符号化された情報を誤りが画質や音質に与える大きさに応じて分類し、誤りの影響が大きい情報には冗長度が高くともより誤り訂正/検出能力の高い誤り訂正/検出符号を用い、誤りの影響があまり大きくない情報には誤り訂正/検出能力はそれほど高くないが冗長度が少ない誤り訂正/検出符号を用いることにより、全体に同一の誤り訂正/検出符号を用いる場合より同一の平均冗長度でより誤り耐性を高める方法である。
例えば、動画像の高能率圧縮符号化に多く用いられている動き補償予測と直交変換を組み合わせた符号化方式、すなわち、入力される動画像信号に対して動き補償予測を行い、その予測残差をDCT(離散コサイン変換)などにより直交変換する方式においては、誤りが生じると大きな画質劣化を生じる動きベクトル情報や、予測残差信号の直交変換係数のうちの低次係数には、誤り訂正/検出能力の強い誤り訂正/検出符号を用い、誤りの影響が小さい予測残差信号の直交変換係数のうちの高次係数には、誤り訂正/検出能力の弱い誤り訂正/検出符号を用いる。
このような階層符号化を実現するためには、出力される符号列の途中で、誤り訂正/検出能力の異なる誤り訂正/検出符号を切り替える必要がある。誤り訂正/検出能力の異なる誤り訂正/検出符号を切り替える方法としては、誤り訂正/検出符号の種類を示すヘッダ情報を符号列に付加する方法がある。図11は、ヘッダ情報を付加して誤り訂正/検出符号を切り替えた符号列の例を示したものであり、この例では2種類の誤り訂正/検出符号FEC1およびFEC2を切り替えている。ヘッダ1101〜1104には、誤り訂正/検出符号の種類や符号語の数を示すヘッダ情報が入っている。符号化装置では、これらのヘッダ情報に続けて誤り訂正/検出符号化された符号語を並べ、復号化装置ではヘッダ情報を復号し、これに従って誤り訂正/検出符号の復号を行う。
しかし、このようなヘッダ情報を付加することによって誤り訂正/検出符号を切り替える方法では、ヘッダ情報の付加によって伝送/蓄積しなければならない符号列のビット数が増加するという問題がある。画像や音声を高能率圧縮符号化して伝送/蓄積する場合、ヘッダ情報にビット数が割かれることは、画像や音声の高能率圧縮符号化に用いられるビット数が減少することになり、結果的に画質や音質の劣化を招く。
上述したように、動画像信号などを高能率圧縮符号化した符号列に対して誤り訂正/検出符号化を行うと、任意のビットパターンが発生するため、誤り訂正/検出符号化と、一意に復号可能な同期符号を用いる同期回復手法との組み合わせた場合には、同期符号の誤検出による擬似同期という問題点があり、ダミービットの挿入により擬似同期を避ける操作を行った場合にも挿入ビットの誤りによって新たな同期外れや擬似同期を生じてしまうという問題点があった。
また、符号列を誤り訂正/検出符号化し同期符号を挿入する場合、従来では同期区間の最後の部分で、誤り訂正/検出符号化すべき情報ビットの剰余を補うために多くの挿入ビットを用いる必要があるため、符号化効率が低下するという問題点があった。
さらに、ヘッダ情報を付加することにより誤り訂正/検出能力の異なる誤り訂正/検出符号を切り替える符号化/復号化装置では、ヘッダ情報の付加により伝送/蓄積しなければならないビット数が増加するため、画像や音声を高能率圧縮符号化して伝送/蓄積する場合には、画像や音声の情報に割り当てられる情報量が減少して画質や音質の低下を招くという問題点があった。
本発明の主たる目的は、同期符号の誤検出による擬似同期や同期外れの問題を解決できる符号化方法及び装置を提供することにある。
上記の課題を解決するため、本発明に係る符号化方法は、順方向及び逆方向から復号可能な符号語からなる可変長符号を含む出力符号列中の予め周期的に定められた複数の同期符号挿入位置のいずれかに同期符号を挿入すると共に、該出力符号列中の前記複数の同期符号挿入位置のいずれかの直前にスタッフィングビットを挿入することを特徴とする。
本発明に係る符号化装置は、順方向及び逆方向から復号可能な符号語からなる可変長符号を含む出力符号列中の予め周期的に定められた複数の同期符号挿入位置のいずれかに同期符号を挿入すると共に、該出力符号列中の前記複数の同期符号挿入位置のいずれかの直前にスタッフィングビットを挿入する符号列組立手段を有することを特徴とする。
なお、本発明において同期符号とは符号列中に同期回復のために挿入される一意に復号可能な符号であり、例えば同期符号を挿入する符号列が、フレーム単位で入力される画像信号を圧縮符号化した複数種類の可変長符号を多重化した多重化符号列であれば、符号化フレームの区切りや、複数種類の可変長符号の区切りその他の区切りを示す符号である。
本発明によれば、符号化装置において複数種類の可変長符号を多重化した多重化符号列中に予め周期的に定められた同期符号挿入位置にのみ同期符号を挿入するため、復号化装置においては、この同期符号挿入位置でのみ同期検出を行えば良く、符号列中の任意の位置に同期符号が挿入される従来方式に比べて同期符号検出の回数が削減される。
また、ビット誤りによって復号化装置に入力されるビット列が同期符号と同一のビットパターンに変化してしまうことによる疑似同期の発生の確率は、この同期符号検出回数の削減に伴って減少するため、本発明によると疑似同期の発生を少なくすることができ、同期符号検出に伴う演算処理量も削減される。
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1は、動き補償適応予測と直交変換符号化の一種である離散コサイン変換符号化を用いた高能率圧縮符号化装置に、本発明による誤り訂正/検出符号切り替え機能を有する符号化装置を組み合わせた動画像符号化装置の一実施形態を示すブロック図である。動き補償適応予測と離散コサイン変換符号化を組み合わせた符号化方式については、例えば文献1:安田浩編著、“マルチメディア符号化の国際標準”、丸善、(平成3年6月)等に詳しいので、動作の概略のみを説明する。また、本実施形態で用いられる誤り訂正/検出符号は、BCH符号のように情報ビットと検査ビットが分離されているものとする。
図1において、フレーム単位で入力される符号化対象の入力動画像信号131は、まずマクロブロック等の小領域単位で動き補償適応予測が行われる。すなわち、動き補償適応予測器101において、入力動画像信号131とフレームメモリ102中に蓄えられている既に符号化/局部復号化が行われた画像信号との間の動きベクトルが検出され、この動きベクトルに基づいて動き補償予測により予測信号132が作成される。この動き補償予測器101においては、動き補償予測符号化と、入力動画像信号131をそのまま符号化するフレーム内符号化(予測信号=0)のうち、符号化に用いて好適な方の予測モードが選択され、対応する予測信号132が出力される。
予測信号132は減算器103に入力され、入力動画像信号131から予測信号132が減算されることによって予測残差信号133が出力される。予測残差信号133は、離散コサイン変換器104において一定の大きさのブロック単位で離散コサイン変換(DCT)され、DCT係数が生成される。このDCT係数は量子化器105で量子化される。量子化器105からの量子化されたDCT係数データは2分岐され、一方は第1の可変長符号化器106で可変長符号化され、他方は逆量子化器107で逆量子化された後、逆離散コサイン変換器108で逆離散コサイン変換(逆DCT)される。逆離散コサイン変換器108からの出力は加算器109において予測信号132と加算され、局部復号信号が生成される。この局部復号信号は、フレームメモリ102に記憶される。
一方、動き補償適応予測器101において決定された予測モードおよび動きベクトルの情報は、第2の可変長符号化器110で可変長符号化される。第1、第2の可変長符号化器106,110から出力される可変長符号(圧縮符号)は、多重化器111において多重化され、多重化符号列201となる。
多重化器111からは、多重化符号列201と、これに対応する誤り訂正/検出符号の種類を示すFEC種類識別信号202および同期符号の挿入を要求する同期符号挿入要求信号203が出力される。
これらの符号列202、FEC種類識別信号202および同期符号挿入要求信号203は、符号列202を誤り訂正/検出能力の異なる複数種類の誤り訂正/検出符号に切り替えて符号化する出力符号化装置200に入力され、最終的な出力符号列205が生成される。本実施形態においては、出力符号化装置200が本発明に係る符号化装置に相当する。
図2は、多重化器111における多重化の流れを示す図である。多重化は符号化フレームを単位として行われる。まず、同期符号301が多重化される。同期符号301が多重化されたときには、多重化器111から同期符号挿入要求信号203が出力され、多重化された符号語が同期符号であることが符号化装置200に知らされる。次に、多重化符号列201にその符号化フレームの各種符号化モードを示すピクチャヘッダ302が多重化される。次に、各領域における動き補償適応予測器MCにおける予測モードを示す予測モード情報303が多重化され、さらに動きベクトル情報304および予測残差信号のDCT係数(以下、これを残差DCT係数という)305が多重化される。ピクチャヘッダ302、予測モード情報303、動きベクトル情報304および残差DCT係数305を多重化するときには、それぞれに対応する誤り訂正/検出符号の種類を示すFEC種類識別信号202が出力される。
誤りが混入すると画質が大きく劣化してしまうピクチャヘッダ302、予測モード情報303および動きベクトル情報304には、訂正/検出能力の高い誤り訂正/検出符号を用いる。一方、残差DCT係数305は、誤りが混入してもそれを検出して残差を0とすることで大きな画質劣化を防ぐことができるため、誤り訂正能力はそれほど高くする必要はなく、単に誤り検出を行うことができるようにするだけでもよい。
図3は、図1中の出力符号化装置200の構成を示すブロック図である。この出力符号化装置200は、ビット挿入器211、誤り訂正/検出切替符号化器212および符号列組立器213から構成される。また、図4は出力符号化装置200で生成される出力符号列205の一例を示す図である。図4において、PSCは同期符号、PHはピクチャヘッダ、MODEは予測モード情報、MVは動きベクトル情報、CHKは誤り訂正/検出符号の検査ビット、COEFは残差DCT係数、STUFFはスタッフィングビット(挿入ビット)である。この出力符号列205は、以下のような特徴を持っている。
(1)同期符号PSCは、一定間隔(sync_periodビットおき)に配置された矢印で示される同期符号挿入位置のいずれかにのみ挿入される。sync_periodの長さは、同期符号PSCの長さと検査ビットCHKの最大長よりも大きくとる。検査ビットCHKは、同期符号挿入位置の直前に来るように位置ずらしが行わていれる。
(2)1フレーム、つまり同期符号PSCと次のPSCとで挟まれた1同期期間の最後の部分の誤り訂正/検出符号は、最後に残った情報ビットだけを符号化する縮退符号とし、検査ビットCHK(図4の例ではCHK6)の位置ずらしを行うために必要なビット数だけスタッフィングビットSTUFFのビット挿入を行う。
(3)誤り訂正/検出符号の種類や数を示すFEC種類識別信号は、図4の出力符号列205中には存在しない。
この出力符号列205では、上記(1)のように検査ビットCHKの位置ずらしを行っているため、矢印で示される同期符号挿入位置には検査ビットCHKが入ることが無く、従って検査ビットCHKによって擬似同期が発生する可能性は全く無い。また、上記(2)のようにフレームの最後の誤り訂正/検出符号化を行う場合、従来の技術では多くの挿入ビット(ダミービット)を挿入することが必要であったが、本実施形態ではフレームの最後が縮退符号となっているため、挿入ビット数は少なくてすむ。また、上記(3)のように誤り訂正/検出符号の種類や数を示すヘッダ情報を出力符号列205中に含ませていないため、これによる符号量の増加は無い。
以下、このような出力符号列205を生成する図3の出力符号化装置200の構成と動作について、多重化器111から出力される図2の多重化符号列201および図4の出力符号列205と対応させて詳細に説明する。
多重化器111で同期符号301が多重化されたとき、前述のように同期符号挿入要求信号203が出力される。同期符号301は、例えば図5のようにsync_0_len ビットの“0”、1ビットの“1”および同期符号301の種類を示すsync_nb_len ビットの“×××××”からなる。出力符号化装置200は、多重化器111からの同期符号301および同期符号挿入要求信号203を受けると、符号列組立器213から出力符号列205として同期符号(PSC)を出力する。
ここで、同期符号301は図4に示したように出力符号列205中のsync_periodビットおきに配置された同期符号挿入位置のみにしか挿入することができないようになっているため、それまでに生成された出力符号列205の最後尾が同期符号挿入位置に無い場合には、後述のようにスタッフィングビットSTUFFを挿入して、同期符号301が同期符号挿入位置に来るようにする。
同期符号301が出力符号列205に出力されると、以降ピクチャヘッダ302、予測モード情報303、動きベクトル情報304、残差DCT係数305が以下のように符号化される。まず、多重化器111から出力された多重化符号列201に対して、ビット挿入器211において擬似同期の発生を防ぐためのビット挿入が行われる。すなわち、出力符号列205中に同期符号301の符号語と同一のビットパターンがあると同期符号301を一意に復号できなくなることを防ぐために、必要に応じてビット挿入を行う。例えば、同期符号301が図5のようにsync_0_len ビットの“0”が連続する符号語ならば、同期符号301以外の符号列中にsync_0_len ビット以上“0”が連続しないように“1”を挿入すれば、擬似同期の発生を防ぐことができる。
前述のように同期符号301は同期符号挿入位置にしか挿入されないため、この擬似同期の発生防止のためのビット挿入操作は同期符号挿入位置だけで行えばよい。そこで、これまでに生成された出力符号列205の総ビット数を示す計数値221を符号列組立器213から出力し、ビット挿入器211で計数値221に基づいてビット挿入が必要であるか否かを判定する。計数値221、つまり既に生成された出力符号列205の総ビット数を total_len とすれば、
0< total_len mod sync_period≦sync_0_len
となる区間で多重化符号列201中の“1”の数を計数し、この区間に“1”が全くなければ1ビットの“1”を挿入する。ここで、Amod BはAをBで除したときの剰余を表す。
また、誤りによる同期符号301の誤検出の確率を低くするには、以下のようにビット挿入を行えばよい。
同期符号301にnビット誤りが混入した場合にも、同期符号301を検出するためには、後述する動画像復号化装置の入力復号化装置で真の同期符号とハミング距離がn以下の符号語は同期符号と判定する必要がある。しかし、同期符号301以外の符号列をそのままにしてこのような判定を行うと、同期符号301以外の符号列中にも同期符号とハミング距離がn以下のビットパターンが存在することがあり、これが同期符号挿入位置にあると誤まって同期符号301と判定されてしまう。
そこで、ビット挿入器211で多重化符号列201に以下のようにビット挿入を行うことによって、多重化符号列201中の同期符号挿入位置にある同期符号以外の符号列を同期符号301とのハミング距離が2*n+1以上離れた値となるように変換する。具体的には、
0< total_len mod sync_period≦sync_0_len −(2*N+1)
となる区間での“1”の数(=n0とする)を計数し、n0が2*n+1以下であったら2*n+1−n0ビットの“1”を多重化符号列201に挿入する。
こうしてビット挿入器211でビット挿入が行われた後の符号化列222は、誤り訂正/検出符号の種類を示すFEC種類識別信号202と共に、誤り訂正/検出符号切替符号化部212に入力される。
図6は、図3中の誤り訂正/検出符号切替符号化部212の構成を示すブロック図である。ラッチ回路603は、FEC種類識別信号202をラッチする回路であり、多重化器111から多重化符号列201への同期符号の出力が終了して同期符号挿入要求信号203が停止すると、FEC種類識別信号202をラッチし、ラッチした信号623を誤り訂正/検出符号化器604に供給する。
誤り訂正/検出符号化器604は、ラッチされた信号623に従ってビット挿入器211からの符号列222を誤り訂正/検出符号化し、情報ビット631および検査ビット632を生成して出力する。また、誤り訂正/検出符号化器604は1ブロックの誤り訂正/検出符号化が終了すると、ラッチ回路603に次のFEC種類識別信号202のラッチを指示するラッチ指示信号625を出す。ラッチ回路603は、このラッチ指示信号625に従ってラッチを行い、ラッチした信号623を誤り訂正/検出符号化器604に供給する。
出力符号化装置200では以上の動作が繰り返され、ビット挿入器211からのビット挿入後の符号列222は、誤り訂正/検出切替符号化器212で多重化器111から示されたFEC種類識別信号202に従って誤り訂正/検出符号の切り替えがなされながら、誤り訂正/検出符号化が行われる。FEC種類識別信号202は、1ブロックの誤り訂正/検出符号の符号化の終了時点でのみラッチ回路603でラッチされるため、この切り替え点までは同一の誤り訂正/検出符号が適用される。例えば、ピクチャヘッダ302はFEC1、予測モード情報303はFEC2という誤り訂正/検出符号を用いる場合、ピクチャヘッダ302のビット数がFEC1の1ブロックの情報ビット数より短い場合は、後続の予測モード情報303の誤り訂正/検出符号としては、FEC1の情報ビット数に達するまではFEC1が用いられる。
図7は、図3中の符号列組立器213の構成を示すブロック図である。この符号列組立器213は、出力符号列205のビット数を計数するカウンタ701、検査ビット632とそのビット数を一時的に記憶するバッファ702、出力符号列205を切り替える切替器703、および切替器703を制御する切替制御器704から構成される。
カウンタ701は、同期符号挿入要求信号203が入力すると同期符号長sync_len の値にリセットされ、同期符号の次のビットから順に次の同期符号が入力するまでカウントアップしていく。同期符号入力後、最初の検査ビット632が入力するまでは情報ビット631が出力されるように切替器703が動作する。検査ビット632が入力すると、バッファ702に記憶されると共に、そのビット数(検査ビット数)711がバッファ702から切替制御器704に出力される。
切替制御器704は、検査ビット数711とカウンタ701の計数値221を基に、前述のように検査ビット632が同期符号挿入位置に出力されないようにするための検査ビットずらしを行うように切替器703を制御する。例えば計数値221を bit_count 、検査ビット数711を check_len とすれば、
bit_count mod sync_period<sync_period− check_len
の時は情報ビット631を出力し、
sync_period− check_len ≦total _bits mod sync_period<sync_period
の時には、バッファ702に記憶された検査ビット713を出力する。以降、情報ビット631と検査ビット632を入力しながら、以上の処理を繰り返す。
出力符号化装置200は、前述のように1フレームの最後の部分では誤り訂正/検出符号として縮退符号を用いることと、検査ビットの位置ずらしを行うためにビット挿入を行うため、それ以外の部分の通常とは異なった動作を行う。すなわち、多重化器111は1フレームの多重化符号列201の出力が終了すると、次のフレームの同期符号挿入要求信号203を出力する。これに対応して、図6の誤り訂正/検出切替符号化部212内の誤り訂正/検出符号化器604は、誤り訂正/検出符号の情報ビット631の不足分は挿入ビット発生器705から出力される予め定められたビットパターンであるとみなして、縮退符号を用いた誤り訂正/検出符号化を行う。このビットパターンは、全ビットを“1”としてもよいし、“0”としてもよいし、“0101……”のような特定のパターンの繰り返しでもよい。情報ビット631には、この補われた挿入ビットは出力しない。
図7の符号列組立器213では、情報ビット631を最後まで出力した後、切替器703をビット発生器705から入力に切り替え、バッファ702に記憶されている検査ビット713が次の同期符号の直前に配置されるように挿入ビットを挿入する。この挿入ビットの数stuffing_len は、1フレームの最後の情報ビット631を出力したときのカウンタ701の計数値221を total_len とし、最後に出力する検査ビット632のビット数をlast_check _len とすれば、
stuffing_len =sync_period−last_check _len −( total_len mod sync_period)
となる。なお、縮退符号を用いない場合は、最後の情報ビットlast_into_len の通常の情報ビットinto_len からの不足分(into_len −last_into_len )ビットのビット挿入を行い、さらに検査ビットの位置ずらしを行うためのビット挿入を行う必要がある。このため、縮退符号を用いる場合に比べinto_len −last_into_len +(into_len −last_into_len )mod sync_periodビット多くの挿入ビットが必要となってしまう。
符号列組立器213は、こうして切替器703を介して情報ビット631および挿入ビットを出力符号列205に出力した後、最後に検査ビット713に切り替えて出力符号列205に出力する。
次に、本実施形態に係る動画像復号化装置について説明する。
図8は、図1の動画像符号化装置に対応した動画像復号化装置の構成を示すブロック図である。図1の動画像符号化装置から出力された出力符号列205は伝送/蓄積系を経た後、入力符号列205′として入力復号化装置800に入力される。本実施形態においては、入力復号化装置800が本発明に係る復号化装置に相当する。
入力復号化装置800では、後続の逆多重化器811からの誤り訂正/検出符号の種類を示すFEC種類識別信号802に基づいて誤り訂正/検出符号を切り替えながら、誤り訂正/検出復号化された符号列801、同期符号検出信号803および誤り検出信号804が出力される。逆多重化器811は、これらの符号列801、同期符号検出信号803および誤り検出信号804を入力し、予測残差符号841と動き補償適応予測情報符号842を分離して出力する。
予測残差符号841および動き補償適応予測情報符号842は、それぞれ第1および第2の可変長復号器806および810に入力される。第1の可変長復号器806で復号された残差DCT係数831は、逆量子化器807で逆量子化、逆DCT器808で逆離散コサイン変換という一連の処理が施された後、加算器809で動き補償適応予測器801からの出力である動き補償適応予測信号832と加算されて再生画像信号850となる。再生画像信号850は、装置外へ出力されると共に、フレームメモリ820へ記録される。第2の可変長復号化器810で復号された動き補償適応予測情報は、動き補償適応予測器801に入力され、動き補償予測信号832が生成される。
以上の処理は、図1の動画像符号化装置に対応して動画像を再生する処理であり、逆量子化器807、逆DCT器808、加算器809およびフレームメモリ820が行う処理は、それぞれ図1における逆量子化器107、逆DCT器108、加算器109およびフレームメモリ102のそれと実現手段は異なる場合もあるが、基本的に同一である。また、第1および第2の可変長復号器806,810、逆多重化器811および入力復号化装置800の処理は、符号列に誤りが混入した場合を除いて、それぞれ図1における可変長符号化器106,110、多重化器111および出力符号化装置200のそれと逆の処理である。
図9は、入力復号化装置800の構成を示すブロック図である。この入力復号化装置800は、入力符号列205′中の同期符号を検出する同期検出器901、入力符号列205′のビット数を計数するカウンタ902、入力符号列205′を情報ビット912と検査ビット913に分解して出力する符号列分解器903、誤り訂正/検出復号化器904および挿入ビット除去器905から構成される。
同期検出器901では、カウンタ902の計数値911に基づいて同期符号挿入位置でのみ同期符号の検出を行う。例えば、同期符号挿入位置の間隔をsync_period、計数値911を bit_count とし、同期符号の長さをsync_len とすれば、
0< bit_count %sync_period≦sync_len
の時のみ同期検出を行う。
ここで、同期符号の誤りを考慮した同期符号の検出を行っても良い。
図3中の出力符号化装置200内のビット挿入器211において、nビット以下の誤りを考慮して同期符号とのハミング距離が2*n+1離れるようにビット挿入による符号列変換を行っていれば、真の同期符号とのハミング距離がn以下のものを同期符号と判定しても、nビット以下の誤りの混入であれば誤同期検出は起こらない。
図10は、符号列分解器903の構成を示すブロック図である。入力符号列205′は、後述する制御器1001で制御される第1の切替器1002で情報ビット1021と検査ビット913とに切り替えられる。第1の切替器1002から情報ビット1021が出力された場合、この情報ビット1021は第2の切替器1003を経てバッファ1004に情報ビット長だけ記憶される。カウンタ1005は、第2の切替器1003からの出力ビット数を計数する。このカウンタ1005の計数値1023は、比較器1006で誤り訂正/検出符号情報出力器1007から出力された情報ビット長1024と比較され、両者が一致したときにカウンタ1005がリセットされると共に、誤り訂正/検出符号の種類を示すFEC種類識別信号802がラッチ回路1008でラッチされ、さらにバッファ1004から情報ビット912が出力される。ラッチ回路1008の出力914は、誤り訂正/検出符号情報出力回路1007へ入力されると共に、図9中に示す誤り訂正/検出復号化器904に出力される。
前述のように、誤り訂正/検出符号の検査ビットは位置ずらしが施され、符号列205中後方の誤り訂正/検出符号の情報ビットの間に入っている。制御器1001は、この位置ずらしが施された検査ビットと情報ビットが分離されるように制御を行う。1ブロックの誤り訂正/検出符号の情報ビットの入力が終了すると、比較器1006において計数値1023と情報ビット長1024が一致する。制御器1001は、この一致信号を受けて誤り訂正/検出情報出力器1007から検査ビット長1025を取り込み、次の情報ビットの間に入っている検査ビットの位置を計算する。比較器1006で一致と判定されたときの符号列205′の入力ビット数の計数値911をbit _count 、検査ビット長をcheck _len とすれば、検査ビット開始位置check _start は
check _start =(bit _count /sync_period+1)*sync_period−check _len
となり、検査ビット終了位置check _end は、
check _end =(bit _count /sync_period+1)*sync_period
となる。制御器1001は、計数値911が check_start から check_end までの間、切替器1002を検査ビット913が出力されるように制御する。
1フレームの最後は縮退符号で誤り訂正/検出符号化が行われているので、特別な処理を行う。1フレームの最後に達すると、同期検出器901から次のフレームの同期符号を検出したことを示す信号803が出力される。制御器1001は、この信号803を受けてフレームの最後の誤り訂正/検出符号の検査ビットの位置および情報ビットの不足ビット数を計算する。1フレームの最後の誤り訂正/検出符号を入力し始めたときの入力される符号列205′のビット数の計数値911を pre_last_count 、1フレームの符号列205′の入力が終了した時点の計数値911を total_count 、処理時点での計数値911を bit_count 、1フレーム最後の誤り訂正/検出符号の検査ビット長をlast_check _len 、それより一つ前の誤り訂正/検出符号の検査ビット長をpre _last_check _len とする。まず、誤り訂正符号が縮退符号であることおよびビット挿入が行われていることによる情報ビットの過不足分を計算する。1フレーム最後の誤り訂正/検出符号の情報ビットのうち、出力符号列205中に含まれているビット数last_info_len は、
last_inf0_len = total_count −last_check _len −pre _last_count −pre _last_check _len
である。last_info_len が誤り訂正符号の情報長info_len より短いときには縮退符号であると判定し、計数値1023がlast_info_len からinfo_len までは切替器1021を挿入ビット発生器1015から出力されるビットパターンに切り替えて、縮退による情報ビットの不足分を補う。この挿入ビット発生器1015からの出力ビットパターンは、符号化器の図7中の挿入ビット発生器705と同一のビットパターンを発生する。
一方、last_info_len がinfo_len より長いときには、ビット挿入分と判定し計数値1023がinfo_len 以上となる部分については情報ビット912を出力しないようにする。検査ビットについては、
total _count −check _len <bit _count ≦total _count
の時の出力符号列205を検査ビットとして出力するように切替器1002を制御する。
誤り訂正/検出復号化器904は、符号列分解器903から出力された情報ビット912および検査ビット913を入力し、図10のラッチ回路1008でラッチされた誤り訂正/検出符号の種類を示すFEC種類識別信号914に基づいて誤り訂正/検出符号の復号化を行い、誤り訂正された符号列915と誤り検出信号804を出力する。
誤り訂正された符号列915は、挿入ビット除去器905に入力される。挿入ビット除去器905は、出力符号化装置200のビット挿入器211で挿入された擬似同期信号を防ぐための挿入ビットを取り除く処理を行う。前述のように、ビット挿入は同期挿入位置でのみ行われているため、計数器902の計数値911に基づいて同期挿入位置を判定する。
例えば、同期符号語が図5に示すものとし、ビット挿入器211において同期符号とのハミング距離が2*n+1以上離れるように同期符号の最初のsync_len ビットの“0000…”の部分にビット挿入が行われている場合には、同期符号挿入位置からsync_0_len −(2*n+1)ビットの“1”の数(=n0とする)を計数し、n0が2*n+1以下であったら2*n+1−n0ビット削除する。ただし、挿入ビットは“1”であると定められているため、挿入ビット除去器905で挿入ビットと判定されたビットが“0”となっていたときは、同期符号挿入区間に誤りが混入したと考えられ、この場合には誤り検出信号804を出力する。
以上のようにして入力復号化装置800で復号された符号列801は、逆多重化器811で逆多重化が行われる。これは図2に示したような多重化された符号語を分離して出力する操作である。この逆多重化器811は、第1および第2の可変長復号器806および810と連動して動作する。
まず、出力復号化装置800から同期符号検出信号803が入力されると、逆多重化器811はフレーム処理の初期状態に移る。次に、誤り訂正/検出符号の種類を示すFEC種類識別信号802としてピクチャヘッダに対する誤り訂正/検出符号の種類を出力し、符号列801を入力してピクチャヘッダ302を復号しピクチャヘッダに誤りが無いか判定する。誤りが無い場合には、FEC種類識別信号802として、予測モード情報303に対する誤り訂正/検出符号の種類を出力し、符号列801を入力して予測モード情報を逆多重化し、第2の可変長復号化器810へ出力する。
第2の可変長復号化器810は、全ての予測モード情報を復号すると、その旨を示す信号を逆多重化器811に出力する。これを受けて、逆多重化器811は動きベクトル情報304に対する誤り訂正/検出符号の種類を示すFEC種類識別信号を出力し、動きベクトル情報304の逆多重化を開始する。逆多重化された動きベクトル情報は第2の可変長復号器810に出力され、復号化される。全ての動きベクトル情報の復号が終了すると、第2の可変長復号器810から逆多重化器811にその旨を示す信号が出力され、これを受けて逆多重化器811は残差DCT係数305に対する誤り訂正/検出符号の種類を示すFEC種類識別信号を出力すると共に、残差DCT係数を305を逆多重化して第1の可変長復号器806に出力する。この残差DCT係数305を第1の可変長復号器806で復号する。
以上のように、誤り訂正/検出符号の種類は、逆多重化器811において出力符号化装置200と同一に定められた多重化の規則に基づいて判定される。このため、誤り訂正/検出符号の種類を示すヘッダ情報等を出力符号列205に含める必要はない。
誤り訂正/検出復号化器904において、誤り検出符号により入力符号列205′に誤りが混入していることが検出されることがある。また、前述のように挿入ビット除去器905で挿入ビットの誤りが検出されることもある。これらの場合には、入力復号化装置800から誤り検出符号804が出力される。さらには、可変長復号化の処理において可変長符号語テーブルに無い符号語が検出された場合にも、誤りが混入したと判定される。また、逆多重化器811における逆多重化処理において多重化の規則に違反する部分があると判定されたときも、誤りが混入したと判定される。これらの場合、入力復号化装置800および逆多重化器811は再生画像に大きな劣化が生じないように、以下のような処理を行う。
(1)残差DCT係数で誤りが検出された場合は、当該部分の残差を0とする。予測モードとしてイントラ符号化モードが選択されていた場合は、既再生フレームや周囲の領域の再生画像信号から当該領域の再生画像信号を予測してもよい。
(2)予測モード情報や動きベクトルで誤りが検出された場合は、周囲の領域の予測モード情報や動きベクトル情報から当該領域の予測モード情報や動きベクトル情報が推定できるときにはそれらを用い、それが不可能ならば既再生フレームや周囲の領域の再生画像信号から当該領域の再生画像信号を予測する。
(3)ピクチャヘッダに誤りが検出された場合は、それをそのまま復号すると非常に大きな画質劣化を生じる可能性があるため、前フレームの再生画像をそのまま現フレームの再生画像とする。
以上の(1)(2)(3)処理において、可変長符号化を用いているために誤りが次の同期符号までの後続の符号にも波及している場合には、その部分についても同様の処理を行う。
上述の説明では、同期符号検出器901が同期符号挿入位置(sync_periodビットおき)でのみ同期符号の検出を行う例を示したが、伝送/蓄積媒体によってはビットの消失や誤ビットの挿入が起こる場合もある。このような場合は、同期符号挿入位置以外でも同期符号の検出を行い、同期符号が検出された位置を同期符号挿入位置と判定すればよい。
(第2の実施形態)
次に、図12〜図14を参照して本発明に係る第2の実施形態について説明する。本実施形態による動画像符号化装置および動画像復号化装置は、ビット列の一部が消失してビット数が減少したり、余分なビットが付加されてビット数が増加するような伝送路/蓄積媒体で符号列の伝送/蓄積を行っても、同期検出を確実に行うことができるようにしたものである。
図12は、このようなビット付加/消失のある場合の同期検出の処理の原理を示すブロック図である。ここで、正しい同期符号は図12(a)に示すように、sync_0_len ビットの“0”と、1ビットの“1”からなるとする。なお、図12中の“×”は同期符号以外のビットである。
図12(b)〜(e)は、ビット付加/消失によって同期符号がどのように変化するかを示したものである。ここで、付加/消失するビット数(Nid)は最大1ビットとしている。(b)は同期符号より前のビット列中で1ビット削除が起きた揚合であり、同期符号全体が1ビット前にシフトしている。(c)は同期符号より前のビット列中で1ビット付加が起きた場合であり、同期符号全体が1ビット後ろにシフトしている。(d)は同期符号中でビット削除が起きた場合であり、図中矢印のビット抜け位置から後ろが1ビット前にシフトしている。さらに、(e)は同期符号中で1ビット付加が起きた場合であり、図中矢印のビット付加位置に1ビット付加が起こり、それより後ろが1ビット後ろにシフトしている。
ビット付加/消失が起きても正しく同期を検出するためには、図12(b)〜(d)に示したビット列も同期符号と判定する必要がある。図12から分かるように、正しい同期符号挿入位置の±Nidビットの範囲に含まれる“1”の数は最大
sync_0_len −3*Nid
ビットである。従って、復号側で同期符号挿入位置の±Nidビットの範囲で同期検出を行い、この区間に含まれる“1”の数が上記の値以下だったらば同期符号と判定すればよい。また、符号化装置では図12(b)〜(d)のビットパターンが生じないように符号列の変換を行う。
以下、このような符号化装置/復号化装置を第1の実施形態との差異を中心に説明する。
第2の実施形態に係る動画像符号化装置は、第1の実施形態に係る動画像符号化装置と全体構成は同じであるが、図3中のビット挿入器211の動作が異なっている。図13に、ビット挿入器211の動作を示す。すなわち、第1の実施形態のビット挿入器211では、同期符号挿入区間でのみビット挿入操作を行っていたが、第2の実施形態におけるビット挿入器211では、最大Nidビットのビット付加/消失が起きても同期符号と同一のビットパターンが生じないようにするため、同期符号挿入区間±Nidビットの区間でビット挿入を行う。
図3における計数値221を total_len 、同期符号挿入位置の間隔をsync_preriod とすれば、ビット挿入器211は
total _len mod sync_period=sync_period−Nid
(mod:剰余演算)
から、
total_len mod sync_period=sync_0_len −1−3*Nid
の区間での“1”の数(=n0とする)を計数し、n0が3*Nid+1未満であったら3*Nid+1−n0ビットの“1”を挿入する。
図13では、sync_period=12、sync_0_len =9、Nid=1の場合のビット挿入器211の動作例を示している。この例ではn0=2であるので、3*Nid+1−n0=2ビットの“1”を挿入する。
このようにビット挿入を行うことにより、同期符号挿入区間±Nidビットの“0”の数は3*Nidビット以上であることが保証され、同期符号と一意に識別することが可能である。
一方、第2の実施形態に係る動画像復号化装置は、第1の実施形態と全体構成は同一であるが、図9中の同期検出器901および挿入ビット除去器905の動作が異なっている。図14に、挿入ビット除去器905の動作を示す。
すなわち、同期検出器901では最大Nidビットのビット付加/消失が起きても同期を検出するために、同期符号挿入位置の前後±Nidビットの範囲で同期符号の検出を行う。
まず、同期符号挿入位置毎に同期符号が存在するかを判定する。すなわち、カウンタ902の計数値911を bit_count すると、
bit_count mod sync_period=sync_period−Nid
から、
bit_count mod sync_period=sync_0_len −1+Nid
の間の“0”の数(=ns0とする)をカウントし、n0が3*Nid以下であたら、この区間に同期符号があると判定する。
図14の動作例では、sync_period=12、sync_0_len =9、Nid=1の場合の例を示している。この例では( bit_count mod sync_period)が“11”から“8”の間で“0”の数をカウントする。図14の例ではns0=2であるので、同期符号と判定する。
次に、同期符号があると判定された同期符号挿入区間で、ビット付加/消失によって符号列が何ビットシフトしているかを判定する。図14のようなsync_0_len ビットの場合、最後の“1”の位置からシフト量を判定する。具体的には、同期符号判定区間の最初からsync_0_len +1ビット目から見て最初にある “1”を探索し、この同期符号判定区間の最初から何ビット目にあるか(= first_1_pos ビットとする)を基に、
シフトビット数= first_1_pos −(sync_0_len +1+Nid)
(負の場合は前方シフト、正の場合は後方シフト)
として求める。図14の例では first_1_pos =10であるから、
シフトビット数=10−(9+1+1)=−1
となり、前方に1ビットシフトしていることが分かる。
挿入ビット除去器905では、第1の実施形態と異なり、同期符号挿入位置±Nidビットの区間で挿入ビット除去処理を行う。すなわち、
bit_count mod sync_period=sync_period−Nid
から、
bit_count mod sync_period=sync_0_len −1−3*Nid
の区間での“1”の数(=n0とする)を計数し、n0が3*Nid+1以下であったら、3*Nid+1−n0ビットの“1”を除去する。
第2の実施形態において、伝送路や蓄積媒体でのビット付加/消失が起きた区間を何らかの形で判定できる場合、ビット付加/消失を考慮した同期検出処理やビット挿入処理、ビット除去処理は、その区間でのみ行うようにしてもよい。
なお、前述した第1の実施形態に係る動画像復号化装置においても、伝送路や蓄積媒体でのビット付加/消失に対応した同期検出を行うために、同期検出器901では第2の実施形態と同様に同期符号挿入区間±Nidビットの区間で同期検出を行うようにしてもよい。この場合、同期符号以外の部分を誤って同期符号と判定する疑似同期が生じる可能性があるが、ビット付加/消失の起きやすい伝送路/蓄積媒体では同期検出ミスによる復号画像の品質劣化を抑えることができ、画質が向上する。
また、伝送路や蓄積媒体でのビット付加/消失が起きた区間を何らかの形で判定できる場合は、この処理はその区間でのみ行い、それ以外の区間では通常の同期検出を行うようにしてもよい。
さらに、上述した第1および第2の実施形態において、フレームの長さを示す情報(以下、フレーム長情報という)を用いて同期をさらに保護するようにしてもよい。図15、図16および図17は、フレーム長情報POINTERを用いた場合の符号列の例を示したものである。
図15の例では、同期符号PSCの直後にフレーム長情報POINTERと、このフレーム長情報POINTERを保護する誤り訂正/検出符号のチェックビットCHKPが続いている。フレーム長情報POINTERには前フレームのビット数、すなわち前フレームの同期符号から現フレームの同期符号までのビット数を示す情報が記録されている。
符号化装置では、1フレームの符号列ビット数をカウントして、これをフレーム長情報POINTERに変換し、さらに誤り訂正/検出符号化を行ってチェックビットCHKPを生成する。そして、これらを図15に示すように次フレームの同期符号の直後に続けて符号列を生成する。
一方、復号化装置では、第1および第2の実施形態に述べたのと同様の方法で同期符号の検出を行った後、それに続くフレーム長情報POINTERとチェックビットCHKPを符号列から取り出し、誤り訂正/検出復号を行ってフレーム長情報POINTERを復号する。そして、復号されたフレーム長情報POINTERと、1つ前に検出された同期符号から現在の同期符号の位置までのビット数をカウントして求めた値(フレーム長カウント値)を比較し、同期符号の誤検出が無いかをチェックする。
もし、フレーム長カウント値がフレーム長情報POINTERに示された前フレームの符号長と異なる場合には、同期符号の誤検出が起こった可能性があるため、フレーム長情報POINTERを用いて誤検出された同期符号の再検出を行う。すなわち、現在の同期符号からフレーム長情報POINTERで示されたビット数だけ前方に検出できなかった同期符号があると見なすこととする。この場合、1つ前に検出された同期符号から現在の同期符号までの区間は、1つ前の同期符号からフレーム長情報POINTERで示される位置までの区間と、そこから現在の同期符号までの区間の二つのフレームに分割して復号処理を行う。
ただし、フレーム長情報POINTERで示されるビット数が、1つ前に検出された同期符号から現在の同期符号の位置までのビット数よりも多い場合には、フレーム長情報POINTERが誤っているものと見なし、上記の同記再検出処理は行わない。
フレーム長情報POINTERおよびチェックビットCHKPのビット数が多い場合には、図16に示すように同期符号PSC、フレーム長情報POINTER、チェックビットCHKPが複数の同期区間にわたるようにしてもよい。この場合、同期符号以外の符号列が同期符号と一定のハミング距離を保つようにするための符号化装置でのビット挿入処理および復号化装置でのビット削除処理は、フレーム長情報POINTERおよびチェックビットCHKPが存在する区間では行わないようにしてもよい。
図15および図16の例において、同期符号PSCの後半にその同期符号の種類を示す情報(フレーム同期符号、GOB同期符号の区別等)が含まれている場合、フレーム長情報POINTERだけでなく、同期符号PSCの後半ビットを誤り訂正符号で保護するようにしてもよい。これにより、同期符号の位置だけでなくその種類も正確に検出できるため、誤りに対する耐性がさらに向上する。
図17の例では、フレーム長情報POINTERおよびチェックビットCHKPをフレームの最後(次のフレームの同期符号の直前)に置く例である。この場合、復号化装置では、次のフレームの同期符号を検出した後にその直前のフレーム長情報POINTERおよびチェックビットCHKPを取り出して誤り訂正/検出復号を行い、図15および図16と同様の処理により同期符号の再検出を行う。
図15の例においては、同期符号は同期符号挿入位置にのみ存在するので、フレーム長情報POINTERはフレームのビット数を同期符号挿入問隔(=sync_periodビット)で割った値を記録してもよい。これにより、フレーム長を少ないビット数で表すことができる。
また、第1および第2の実施形態では、誤り訂正/検出符号を符号化する情報の重要度に応じて変化させる階層符号化を行う例を示したが、フレーム内で同一の誤り訂正/検出符号を用いるようにしてもよいし、誤り訂正/検出符号を用いなくともよい。そのような場合でも、本実施形態で示したような同期符号以外の符号列が同期符号と予め定められた値以上のハミング距離を保つためのビット挿入処理、およびこれに対応した同期符号検出処理によって、同期を検出する能力は従来方式より向上する。
また、以上の各実施形態の説明では動画像信号を高能率圧縮符号化して伝送/蓄積する例を示したが、本発明は静止画像や音声、データ等の伝送/蓄積にも応用することが可能である。例えば、静止画像信号を直交変換を用いて高能率圧縮符号化する場合には、変換係数の低域成分をより強く誤り保護するように誤り訂正/検出符号を切り替えて用いればよい。音声を駆動源と声道フィルタにモデル化して符号化する方法では、ピッチ周期や声道パラメータ等を強く誤り保護するように誤り訂正/検出符号を切り替えれば良い。
(第3の実施形態)
次に、本発明に係る第3の実施形態について説明する。本実施形態は、誤り訂正/検出符号を用いないことが第1および第2の実施形態と異なる。
図18は、本実施形態に係る動画像符号化装置のブロック図である。図1と相対応する部分に同一符号を付して第1の実施形態との相違点を中心に説明すると、本実施形態では出力符号化装置200の構成および動作が異なる。また、多重化器111は、基本動作は図1の多重化器111と同一であるが、誤り訂正/検出符号を用いないことに伴って、多重化符号列201および同期符号挿入要求信号203のみを出力する。
図19は、図18中の出力符号化装置200の構成を示すブロック図である。この出力符号化装置200は、出力符号列205のビット数を計数するカウンタ1701、出力符号列205を切り替える切替器1703、切替器1703を制御する切替制御器1704、およびスタッフィングビットを発生するスタッフィングビット発生器1705から構成される。
図20は、図19の出力符号化装置200で生成される出力符号列205の一例を示す図である。図4の出力符号列と相対応する符号語には同一記号を用いて表記してある。図4と同様に同期符号PSCは周期的に、つまり一定区間(sync_periodビット)おきに配置された矢印で示される同期符号挿入位置のいずれかのみに挿入されている。図20では、誤り訂正/検出符号の検査ビットCHKが含まれないところが図4と異なる。出力符号列205の1フレームの最後の部分には、同期符号PSCが同期符号挿入位置に挿入されるように、スタッフィングビットSTUFFが挿入される。スタッフィングビットSTUFFのビット数は、sync_periodビット以下となる。
以下、このような出力符号列205を生成する図19の出力符号化装置200の構成と動作について詳細に説明する。
カウンタ1701は、多重化器111から同期符号挿入要求信号203が入力され、多重化符号列201として同期符号301の最初のビットが入力されると“1”にセットされ、同期符号301の全ビットが入力されると同期符号長sync_len にセットされる。その後、カウンタ1701は同期符号301の次のビットから順に次の同期符号の直前のビットが出力されるまでカウントアップしてゆく。
切替制御器1704は、多重化符号列201として同期符号の最初のビットから次の同期符号の前のビットまでが入力されている時は、切替器1703を多重化符号列201の側に切り替え、多重化符号列201が出力符号列205として出力されるように制御する。
そして、1フレームの最後の部分では、次の同期符号が同期符号挿入位置に挿入されるようにするためのビット挿入(ビットスタッフィング)を行う。多重化器111は、1フレームの多重化符号列201の出力が終了すると、次のフレームの同期符号挿入要求信号203を出力する。これを受けて切替制御器1704は、切替器1703をスタッフィングビット発生器1705の側に切り替え、スタッフィングビット1223を出力符号列205として出力する。このスタッフィングビット1223は全ビットを“1”としてもよいし、“0”としてもよいし、“0101…”のような特定のパターンとしてもよい。
次に、本実施形態に係る動画像復号化装置について説明する。
図21は、図18の動画像符号化装置に対応した動画像復号化装置の構成を示すブロック図である。図8と相対応する部分に同一符号を付して第1の実施形態との相違点を中心に説明すると、本実施形態では入力符号化装置800の構成および動作が異なる。また、入力復号化装置800から逆多重器811に入力される信号は符号列801および同期符号検出信号803のみであり、逆多重器811から入力復号化装置800に入力される信号が無い。
図22は、入力復号化装置800の構成を示すブロック図である。この入力復号化装置800は、入力符号列205′中の同期符号を検出する同期検出器1901と、入力符号列205′のビット数を計数するカウンタ1902から構成される。
カウンタ1902は、復号化の最初の段階では“0”にリセットされており、入力符号列205′が1ビット入力される度に計数値1911を“1”ずつカウントアップしていく。
同期検出器1901では、カウンタ1902の計数値1911に基づいて同期符号挿入位置でのみ同期符号の検出を行う。例えば、同期符号挿入間隔をsync_period、計数値1911を bit_count とし、同期符号の長さをsync_len とすれば、
0< bit_count mod sync_period≦sync_len
の時のみ同期検出を行う。ここで、A mod BはAをBで除したときの剰余を表す。同期検出器1901は、同期符号を検出すると同期符号検出信号803を出力する。
入力復号化装置からの符号列801は、入力符号列205′がそのまま出力され、逆多重化器811に入力される。以降、図21の動画像復号化装置と同様に逆多重化、復号化の処理が行われる。
フレームの最後のスタッフィングビットSTUFFを予め定められたビットパターンとした場合、逆多重化器811においてこのスタッフィングビットSTUFFが予め定められたパターンと一致するか判定し、一致しなかった場合には入力符号列205′中に誤りがあったと判定して、第1の実施形態で示した動画像符号化装置で述べたような画質劣化が大きくならないようにするための処理を行ってもよい。
(第4の実施形態)
次に、本発明に係る第4の実施形態について説明する。
本実施形態に係る動画像符号化装置はその全体構成は図18の動画像符号化装置と同一であり、出力符号化装置の動作が第3の実施形態と異なる。
図23は、図18中の出力符号化装置200の構成を示すブロック図である。図19の出力符号化装置と相対応する部分に同一の符号を付してその差異を中心に説明すると、疑似同期符号を防止するためのビットスタッフィング処理を行うビット挿入器1211が追加されている。
ビット挿入器1211において、多重化符号列201に対して疑似同期の発生の防ぐためのビット挿入が行われる。これは、出力符号列205中に同期符号と同一のビットパターンがあると同期符号を一意に復号できなくなるため、これを防ぐための処理である。例えば、同期符号が図5に示すようにsync_0_len ビットの“0”、1ビットの“1”および同期符号の種類を示すsync_nb_len ビットの“×××××”からなる場合、同期符号以外の符号列中にsync_0_len ビット以上“0”が連続しないように“1”を挿入すれば疑似同期の発生を防ぐことができる。
同期符号は同期符号挿入装置にしか挿入されない。従って、疑似同期発生防止のためのビット挿入操作は同期符号挿入位置だけで行えばよい。そこで、出力符号列205の総ビット数を示す計数値1221に基づいてビット挿入が必要であるかを判定する。計数値1221を total_len とすれば、
0< total_len _ mod_sync_period≦sync_0_len
となる区間で多重化符号列201中の“1”の数を計数し、この区間に“1”が全く無くなければ1ビットの“1”を挿入する。ここで、A mod BはAをBで除したときの剰余を表す。
また、誤りによる同期符号の誤検出の確率を低くするためには、以下のようにビット挿入を行えばよい。
同期符号にnビット誤りが混入した場合にも同期符号を検出するためには、後述する動画像符号化装置の入力符号化装置で真の同期符号とハミング距離がn以下の符号語は同期符号と判定する必要がある。しかし、同期符号以外の符号列をそのままにしてこのような判定を行うと、同期符号以外の符号列中にも同期符号とハミング距離がn以下のビットパターンが存在することがあり、これが同期符号挿入位置にあると誤って同期符号と判定されてしまう。
そこで、ビット挿入器211で多重化符号列201に以下のようにビット挿入を行うことによって、多重化符号列201中の同期符号挿入位置にある同期符号以外の符号列を同期符号とのハミング距離が2×n+1以上離れるように変換する。具体的には、
0< total_len _ mod_sync_period≦sync_0_len −(2×n+1)
となる区間での“1”の数(=n0とする)を計数し、n0が2×n+1未満であったら2×n+1−n0ビットの“1”を多重化符号列201に挿入する。
こうしてビット挿入が行われた後の符号列1222は、図19の出力符号化装置と同様にフレームの最後の区間のビット挿入(図20中STUFF)が行われ、出力符号列205として出力される。
次に、本実施形態に係る動画像復号化装置について説明する。動画像復号化装置の全体構成は図21の動画像復号化装置と同一であり、入力符号化装置800の動作が第3の実施形態と異なる。
図24は入力復号化装置800の構成を示すブロック図である。図22の入力復号化装置と相対応する部分に同一の符号を付して第3の実施形態との差異を中心に説明するビット除去器1905が追加されている。
入力符号列205′は、挿入ビット除去器1905に入力され、図23の出力符号化装置のビット挿入器1211で挿入された疑似同期符号を防ぐための挿入ビットを取り除く処理を行う。前述のように、ビット挿入は同期符号挿入位置でのみ行われているため、計数器1902の計数値1911に基づいて同期符号挿入位置を判定する。
例えば、同期符号が図5に示す符号語であるものとし、ビット挿入器1211において同期符号とのハミング距離が2×n+1以上離れるように同期符号の最初の“0000…”の部分にビット挿入が行われている場合には、同期符号挿入位置からsync_0_len −(2×n+1)ビットの“1”の数を計数し、n0が2×n+1未満であったら2×n+1−n0ビット削除する。
ここで、挿入ビットは“1”と定められているため、挿入ビットと判定されたビットが“0”となっていたときは、同期符号挿入区間に誤りが混入したと考えられる。この場合は、図示しない誤り検出信号を逆多重化器811に出力し、第1の実施形態で述べたのと同様に、再生画像に大きな劣化が生じないような処理を行ってもよい。
図23のビット挿入器1211でのビット挿入処理は、同期符号以外の全ての同期符号挿入区間にあらかじめ定められたビット数の挿入ビットを挿入するようにしてもよい。25はこのようなビット挿入処理を行ったときの出力符号列205の一例を示したものである。図中SBが挿入されたビットを示している。
例えば、同期符号が図5に示すようにsync_0_len ビットの“0”、1ビットの“1”および同期符号の種類を示すsync_nb_len ビットの“xxxxx”からなる場合、同期符号挿入区間の最初からsync_0_len ビットの区間の予め定められた位置に1ビットの挿入ビットSBを挿入する。
挿入ビットSBは、常に“1”としてもよい。また、同期符号挿入区間の最初からsync_0_len ビットの区間のビットパターンに応じて、その区間の“1”の数が1個以上となるように適応的に挿入ビットSBを決定してもよい。
さらに、挿入ビットSBを同期符号挿入区間の最初からsync_0_len ビットの区間の奇パリティとすることにより、同期符号と同一のビットパターンの出現を避けると共に、このビットパターンに混入した誤りの検出をも行うことが可能である。
図25(b)は、このようなビット挿入処理を行った出力符号列を示している。この例では、同期符号挿入位置から最初の部分に1ビットの挿入ビットSBを挿入している。この挿入ビットSBは、これと次のビットからsync_0_len −1ビットを合わせた区間の“1”の数が必ず奇数となるように決定する。例えば、図25(b)の左側の例では、挿入ビットSBは“1”となる。また、図25 (b)の右側の例では、挿入ビットSBの次のビットからsync_0_len −1ビットの区間が全て“0”であっても挿入ビットSBが“1”になるため、同期符号挿入区間に必ず1ビット以上の“1”が入ることになり、同期符号と同一のビットパターンは生じない。また、挿入ビットSBはパリティチェックビットとしても働くため、この区間に混入したビット誤りを検出することが可能である。
また、挿入ビットSBを次の同期符号挿入位置までの全ビットの奇パリティチェックビットとしてもよい。但し、挿入ビットのSB次のビットからsync_0_len −1ビットが全て“0”の場合のみ同期符号と同一のビットパターンの出現を避けるために、挿入ビットSBを必ず“1”とする。これにより、全ビットのパリティチェックによる誤り検出を行うことが可能である。
誤りによる同期符号の誤検出の確率を低くするためには、より多くのビット数を挿入することが望ましい。例えば、nビットの誤りが入っても同期を正しく検出するためには、この区間の予め定められた位置に2×n+1ビットの“1”を挿入する。
本実施形態では、上述のビット挿入器1211の動作に対応して、図24のビット除去器1905の動作も異なったものになる。すなわち、ビット除去器1905ではビット挿入器1211でビット挿入を行った予め定められた位置の挿入ビットSBを削除する処理を行う。
ここで、挿入ビットSBを常に“1”とした場合には、入力符号列205′中のビット挿入位置にあるビットが“0”であったときビット誤りと判定して、誤り検出信号(図示しない)を逆多重化器811に出力し、復号画像に大きな劣化を生じないようにするための処理を行ってもよい。
第1〜第4の実施形態においては、多重化器111における多重化は図2のように予測モード情報303、動きベクトル情報304、および、残差DCT計数305を符号化フレームを単位としてまとめて多重化する例を示したが、図26のように符号化領域(例えばマクロブロック、GOB等)単位に予測モード情報303、動きベクトル情報304、残差DCT計数305をまとめるように多重化してもよい。この場合、ピクチャヘッダ302と、それ以外の情報とで異なる誤り訂正/検出符号を用いてもよいし、同一の誤り訂正/検出符号を用いてもよい。あるいは、ピクチャヘッダのみに誤り訂正/検出符号を用いてもよいし、各フレームの予め定められたビット数の一部の符号列に誤り訂正/検出符号を用いてもよいし、誤り訂正/検出符号を全く用いなくともよい。
また、フレーム(ピクチャ)単位だけでなく、フレーム内の部分領域や、複数のフレームをまとめたレイヤ単位で多重化を行い、これらの多重化単位(レイヤ単位)毎に同期符号を挿入してもよい。
図28は、このような多重化の例を示したものである。この図28の例では、複数の符号化ブロックをまとめたマクロブロック、複数のマクロブロックをまとめたGOB、ピクチャ(フレーム)、複数のピクチャをまとめたセッションの4つのレイヤ毎に多重化を行う。これらのうち、セッション、ピクチャ、GOBの各レイヤは、それぞれの同期符号(図中SSC,SEC,PSC,GSC)を用いる。SSC,SEC,PSC,GSCにはそれぞれ異なる符号を用い、どのレイヤの同期符号が検出されたかを区別できるようにする。図5のような同期符号を用いる場合、同期符号の種類を示すsync_nb_len ビットの部分でこれらの同期符号の区別を行えばよい。
このような多重化を行った場合も、セッション、ピクチャ、GOBの同期符号の一部ないしは全てに対して前述の実施形態におけるフレーム同期符号と同様の処理を行ってもよい。図29は、このような処理を行った出力符号列の一例を示したものである。同図に示されるように、PSC,GSCの前にスタッフィングビットSTUFFが挿入されており、SSC,PSC,GSCは図中矢印の同期符号挿入位置に挿入されている。このため、前述の実施形態でフレーム同期符号PSCについて説明したのと同様に、各同期符号の検出精度が向上する。
図15、図16および図17のフレーム長情報POINTERと同様の長さ情報をセッション、ピクチャ、GOBの各同期符号に付加することも可能である。図15および図16のように、フレーム長情報POINTERに対して誤り訂正/検出符号による保護を行っている場合、フレーム長情報POINTERのみでなく、同期符号の種類を示すsync_nb_len ビットの部分に対しても併せて誤り訂正/検出符号を用いることにより、同期符号の位置のみでなく、その種類も正しく検出できる確率が向上する。また、セッション、ピクチャ、GOBのヘッダ情報(図中SH,PH,GF)の一部または全部も併せて誤り訂正/検出符号を用いて保護を行ってもよく、これによって各ヘッダ情報の誤り耐性も向上する。
本実施形態のように疑似同期符号を防止するためのスタッフィング処理を行う場合、以下のような処理を行って同期符号挿入間隔sync_periodを同期符号の長さ以下にすることも可能である。
まず、動画像符号化装置の出力符号化装量における処理について説明する。ここで、同期符号は図5に示すようにsync_0_len ビットの“0”と1ビットの“1”からなる符号語とする。図23の出力符号化装置において、ビット挿入器1211から出力したビット数を示す計数値1221を total_len とすれば、 total_len を同期符号挿入間隔sync_periodで除した剰余が、同期符号の最初の“0”のビット数sync_0_len から1を引いた値をsync_periodで除した剰余と一致したとき、すなわち、
total_len mod sync_period
=(sync_0_len −1)mod sync_period (1)
となったとき、そのときの出力ビットから(sync_0_len −1)ビット前までの出力ビット中の“1”の数(n1とする)を計数し、“1”が全くなかったら(すなわち、n1=0であったら)1ビットの“1”を挿入する。
図33(a)に、このような処理を行った出力符号列の例を示す。図中、下向きの矢印が同期符号挿入位置を示しており、同期符号は23ビットの“0”(すなわち、sync_0_len =23)と、1ビットの“1”からなる。図の例では同期符号挿入間隔sync_perod は同期符号の長さ(=24ビット)よりも短い8である。
図中、区間1〜4は前述のn1を計数する区間を示している。各区間で順次 “1”の数n1を計数し、n1=0であったらば、その区間の次のビットにスタッフィングビットを挿入する。区間1ではn1>0なので、スタッフィングの必要はない。区間2ではn1=0となるので、この区間の次に1ビットのスタッフィングビット3301を挿入する。区間3ではスタッフィング3301が挿入されたことにより、n1=1となるため、スタッフィングビットを挿入する必要はない。
以上のようなビットスタッフィング処理を行うことにより、出力符号列中の同期符号以外の部分で同期符号と同一のビットパターンが無くなるため、疑似同期を生じることが無くなる。
一方、伝送路誤りによる同期符号の誤検出の確率を低くするためには、以下のようにビット挿入を行えばよい。
同期符号にnビット誤りが混入した場合にも、同期符号を正しく検出するためには、ビット挿入1211において、出力符号列中の同期符号以外の部分と同期符号とのハミング距離が2×n+1以上になるようにビット挿入処理を行えばよい。
これは、図23における出力符号列205の総ビット数を示す計数値1221 total_len を同期符号挿入間隔sync_periodで除した剰余が、同期符号の最初の“0”のビット数sync_0_len から2×n+1を引いた値をsync_periodで除した剰余と一致したとき、すなわち、
total_len mod sync_period
=(sync_0_len −(2×n+1))mod sync_period (2)
となったとき、そのときの出力ビットから(sync_0_len −(2×n+1))ビット前までの出力ビット中の“1”の数(n1とする)を計数し、“1”の数が(2×n+1)未満、すなわち
n1<2×n+1
であったら、(2×n+1−n1)ビット“1”を挿入する。
図5に示したような複数ビットの“0”から始まる同期符号を用いる場合、同期符号の直前のビット列中の“1”の数が少ないとこの部分で同期誤検出が起こることがある。これを防ぐために、同期符号からその直前の同期符号挿入位置までのsync_periodビットの区間の“1”のビット数が2×n+1ビット以上になるように、フレームの最後の区間のビット挿入(図20中、STUFF)を出力するようにしても良い。
これには、必ず2×n+1ビット以上の“1”が含まれるSTUFFを用いてもよいし、あるいは出力符号列に応じてSTUFFを決定するようにしてもよい。すなわち、STUFFを含めた出力狩号列中の、同期符号の直前のsync_periodビットの“1”のビット数が2×n+1ビット以上になるように、STUFFを決定してもよい。
図33(b)に、このような処理を行った出力符号列の例を示す。図中、区間1〜4は前述のn1を計数する区間を示している。各区聞で順次“1”の数をn1を計数し、n1<2×n+1であったらその区間の次のビットにスタッフィングビットを挿入する。区間2ではn1=1となるので、この区間の次に(2×n+1)−1=2ビットのスタッフィングビット3311を挿入する。区間3ではスタッフィング3311が挿入されたことによりn1=3となるため、スタッフィングビットを挿入する必要は無い。
さらに、同期符号の直前の部分での同期符号誤検出を防ぐために、以下のようにSTUFFを決定する。STUFFの直前のビットを3312とする。このビット3312の直前の同期符号挿入位置から直後の同期符号挿入位置までのsync_periodビット間(区間5)の“1”の数は1ビットしかないため、図5のような複数の“0”が連続する同期符号を用いる場合にはこの部分で同期誤検出を生じる可能性がある。このため、同期符号を挿入する位置を次の同期符号挿入位置までずらし、多くの“1”を含むSTUFF3313を出力する。これにより、同期符号の直前のsync_periodビット区間(区間6)には2×n+1ビット以上の“1”が含まれるようになるため、同期誤検出を防止することができる。
以上のようなビットスタッフィング処理を行うことにより、出力符号列中の同期符号以外の部分で同期符号とのハミング距離を2×n+1以上にすることができるため、同期誤検出の確率が減少する。
次に、動画像復号化装置の入力復号化装置における処理について説明する。図24のビット除去器1905において、入力した符号列のビット数を示す計数値1905を total_len とすれば、 total_len が1の条件を満たす値になった時点で、そのときの入力ビットから(sync_0_len −1)ビット前までの入力ビット中の“1”の数(n1とする)を計数し、“1”が全くなかったら、すなわち、n1=0であったら、1ビット削除する。
同期符号にnビット誤りが混入した場合にも同期符号を検出するために、ビット挿入器1211で出力符号列中の同期符号以外の部分と同期符号とのハミング距離力2×n+1以上になるようにビット挿入処理を行った場合には、次のような処理を行えばよい。 total_len が式(2)を満たす値になった時点で、そのときの入力ビットから(sync_0_len −(2×n+1))ビット前までの出力ビット中の“1”の数(n1とする)を計数し、“1”の数が(2×n+1)未満、すなわち
n1<(2×n+1)
であったら(2×n+1−n1)ビット削除する。
出力符号化装置および入力復号化装置において以上のような処理を行って、同期符号挿入間隔sync_periodを同期符号の長さ以下の短いビット数とすることにより、スタッフィングブットSTUFFのビット数が削減され、符号化効率力が向上する。特に、同期符号の長さが長い場合や、多くの同期符号が挿入される場合には、このスタッフィングビットSTUFFのビット数削減による符号化効率向上の度合いが大きい。例えば、動画像符号化におけるGOB/スライスのように、画面を1ないし複数のマクロブロック、あるいはマクロブロックライン毎に区切り、その単位毎に同期符号を挿入する方式においては、多くの同期符号が挿入されるため、STUFFのビット数削減による符号化効率の度合いがより大きくなる。
また、図28のように複数のレイヤ構造の多重化を行う場合には、レイヤに応じで異なる長さの同期符号を用いるようにしても良い。
図34(a)は、このような同期符号の例を示したものである。4種類の同期符号のうち、SSC,SEC,PSCはいずれも23ビットの“0”、1ビットの“1”、および同期符号の種類を示す8ビットの合計32ビットからなる。一方、GOBレイヤの同期符号GSCは、16ビットの“0”と1ビットの“1”からなる17ビットの同期符号であり、他の同期符号より短い符号語である。
このようにGSCのみを短い符号語としたのは、GOBは1ないし複数のマクロブロック(MB)からなる、画面内を小領域に区切った符号化単位であることから、一般にGOBレイヤの同期符号は他の同期符号に比べて数が多く、同期符号語長を短くすることで、出力符号列の符号量を削減することができるためである。また、このようにすると、同じ符号量ならばより多くのGSCを出力することができ、画面内をより細かなGOB領域に区切って符号化することが可能になるため、伝送路誤りが発生したときの再生画像の品質が向上する。
第4の実施形態で説明したような疑似同期を防止するための処理、すなわち、同期符号以外の符号列中に同期符号と同一のビットパターンを生じないようにするビットスタッフィング処埋を行うようにしてもよい。伝送路誤りによる同期符号の誤検出の確率を低くするためのビットスタッフィング処理、例えば、ビット長の長い同期符号(図34(a)の例ではSSC,SEC,PSC)と同一のビットパターンが生じないことだけが保証されているビット列に対しても、最も短い同期符号(図34(a)の例ではGSC)と同一のパターンが生じないようにビットスタッフィング処理を行えば、全ての同期符号と同一のビットパターンが生じないようにすることができる。この処理は、全レイヤの符号列に対して行ってもよいし、最も短い符号を用いるレイヤより下位のレイヤ(図の例ではGOBレイヤ、マクロブロックレイヤ)の符号列に対して行ってもよいし、そのレイヤよりも一つ上のレイヤ以下のレイヤ(ピクチャレイヤ、GOBレイヤ、マクロブロックレイヤ)の符号列に対して行ってもよい。さらに、この処理を予め定められたレイヤの符号列に対してのみ行ってもよい。
伝送路誤りが生じても長さの異なる同期符号同土を識別しやすくするために、同期符号語およびその前後の処理を以下のようにしてもよい。
(i) 複数ビットの“0”と、それに続く“1”からなる同期符号を用いる場合には、長い符号語と短い符号語で、この“1”の同期符号挿入位置から見た相対位置が異なるようにしてもよい。図34(b)の例では、PSCの“1”3411と、GSCの“1”3412は異なる位置にあり、別の同期符号中の同位量のビット(3411に対する3413、および3412に対する3414)はいずれも“0”である。このようにする事によリ同期符号およびその部分列のハミング距離が大きくなるため、伝送路誤りが生じても異なる同期符号同士を識別しやすくなる。
(ii)長さの短い同期符号の前にスタッフィングビットを挿入しても良い。例えば、図中3401のように長さの短いGSCの前に1ないし複数の“1”からなるスタッフィングビット3401を挿入することにより、OSCと他の同期符号の部分列とのハミング距離を大きくすることができる。
(iii) 長さの短い同期符号の後ろにスタッフィングビットを挿入してもよい。例えば、長い同期符号中の同期符号の種類を識別する部分とのハミング距離が大きくなるように、GSCの後ろにビット挿入3402を行ってもよい。
(第5の実施形態)
次に、本発明に係る第5の実施形態について説明する。
本実施形態による動画像符号化装置および動画像復号化装置の全体の構成は第1の実施形態と同様であり、出力符号化装置200および入力復号化装置800の1同期区間の最初および最後の部分での処理がこれまでの実施形態と異なっている。
図27(a)(b)(c)は、本実施形態における動画像符号化装置からの出力符号列205の一例を示す図である。この出力符号列205は、同期符号PSCの後に前フレーム(フレームn−1)の符号列の一部2701が入っており、この符号列2701と現フレーム(nフレーム)の符号列との境界2703(現フレームの符号列のスタートポイント)、言い換えれば多重化符号列の境界を示すポインタ情報2702(SA)があり、これに伴い1フレームの最後のスタッフィングビット(図4中STUFF)が無くなっていることが図4の出力符号列と異なっている。
動画像符号化装置内の出力符号化装置200においては、各同期符号挿入位置においてそのフレームの残りの符号列のビット数 resid_bit をチェックする。 resid_bit と同期符号PSCとポインタ情報SAのビット数の和が同期符号挿入間隔sync_periodビットよりも少ない場合には、そのフレームの残りの符号列を出力符号列205中に出力する前に、同期符号PSCを出力する。次に、ポインタ情報SA(この場合、 resid_bit を表す)を出力し、その後に残りの符号列2701を出力する。その後、次のフレームの符号列を出力していく。
動画像復号化装置内の入力符号化装置800においては、各同期符号挿入位置において同期符号の検出を行い、同期符号が検出された場合にはその後ろにポインタ情報SAとフレームの残りの情報が続いているものとして処理を行う。
図27中のフレームn−1とフレームnの境界部を例に説明すると、同期符号PSCの直前2704までの復号処理を終えた後、その後ろの同期符号挿入区間で同期符号を検出し、同期符号が検出された場合には、次にポインタ情報2702の復号化し、フレームn−1の符号列があと何ビットあるかを求める。これを基にして、ポインタ情報の直後の符号列からポインタ情報で示されるビット数を取り出し(図27中2703まで)、これが2704に続くものとして符号列801を出力する。その後ろの符号列(図27中2703から)は次のフレーム、すなわちフレームnとして処理を行う。
本実施形態においては、図27(a)に示すように出力符号列の一部または全てに対して誤り訂正/検出符号化を行ってもよい。この場合、誤り訂正/検出符号の種類は全て同じでもよいし、異なるものを用いてもよい。
また、図27(b)に示すように、誤り訂正/検出符号化を行わないようにしてもよい。
さらに、図27(c)のように、図15や図16に示したような1フレームの符号列ビット数を示すフレーム長情報POINTERを挿入してもよい。この場合、フレーム長情報POINTERは、そのフレームの同期符号PSCから次のフレームの同期符号PSCまでのビット数を表すようにしてもよい。
図27(a)のように誤り訂正/検出符号化を行う場合、同期符号PSCから次の検査ビットCHKまでの部分の誤り訂正/検出符号化は、ポインタ情報SA、フレームn−1の残りの符号列2701および、2703以降のフレームnの符号列をまとめてひとつの情報ビットとして誤り訂正/検出符号を行う。
ポインタ情報SAは誤り訂正/検出符号化を行った情報としてもよい。この場合、同期符号PSC(あるいはその一部)、フレーム長情報POINTERとポインタ情報を合わせて誤り訂正/検出符号化を行うようにしてもよい。
次に、スタッフィングビットSTUFFの具体例を説明する。
図30(a)(b)は、上述したスタッフィングビットSTUFFの具体例としてのスタッフィングビットSTUFFの符号表の例を示した図である。図30(a)(b)のいずれも、出力符号列の逆方向から一意に復号できることが特徴であり、これによってスタッフィングビットSTUFFの開始位置を一意に特定できる。従って、スタッフィングビットSTUFFの直前の符号列の復号終了位置と、スタッフィングビットSTUFFの開始位置を比較することにより、符号列中に混入した誤りを検出できると共に、同期符号から逆方向に復号を行う符号化方式に用いた場合に逆方向復号の開始地点を特定することができる。
さらに、図30(a)(b)の符号表に示すスタッフィングビットSTUFFは、その最初のビットが必ず“0”になっており、後述のような簡易的な復号による誤り検出が可能である。
図31は、図30(a)(b)の符号表に示したスタッフィングビットSTUFFを含む符号列の復号処理の例を示したものである。図31では、同期符号挿入位置の直前のスタッフィングビットの例を示しているが、これ以外の任意の同期符号挿入位置の直前にスタッフィングビットビットを挿入して同様の処理を行うことも可能である。図31中、矢印3101〜3103は順方向に復号化を行った場合のスタッフィングビットSTUFFの直前の符号列(“×××…”で示す)の復号終了位置の例であり、矢印の右端が復号終了位置を表す。符号列に誤りが混入しておらず、正常に復号化が行われた場合には、矢印3101のようにスタッフィングビットSTUFFの直前の符号列の復号終了位置とスタッフィングビットSTUFFの開始位置は一致する。
一方、符号列に誤りが混入した場合には、スタッフィングビットSTUFFの直前の符号列の復号終了位置は矢印3102、3103のようにスタッフィングビットSTUFFの開始位置とずれる。このような場合には、符号列に誤りがあったと判定する。
復号化装置においては、スタッフィングビットSTUFFの直前の符号列の復号化が終了すると、次の同期符号挿入位置までスタッフィングビットSTUFFを読み込み、それが図30(a)(b)に示した符号表の符号に合致するかどうかを判定する。もし、スタッフィングビットSTUFFが符号表のいずれの符号にも合致しない場合は、誤りがあったと判定する。
スタッフィングビットSTUFFと符号表との合致を判定する場合、少数のビットの誤りを許容するようにしてもよい。こうすることにより、スタッフィングビットSTUFFそのものに誤りが入った場合の誤りの誤検出を低減することができる。
図30(a)の符号表は、必ず“0”で始まり後続のビットが“1”である。従って、スタッフィングビットSTUFFの直前の符号列の復号終了位置の次のビットが“0”であるか否かだけを判定して誤り検出を行ってもよいし、あるいは、最初の“0”と後続のいくつかの“1”のみから誤り検出を行ってもよい。このようにすると、誤り検出精度は若干低下するものの、復号化に要する処理量が削減される。このように全てのスタッフィングビットSTUFFが特定のビットないしは複数ビットからなる特定のビットパターンから始まる符号表を用いる場合には、復号化処理の簡略化を図ることができる。
さらに、図30(a)(b)の符号表に示されるスタッフィングビットSTUFFは、“1”のビットを多く含んでおり、図5のように“0”が多く含まれる同期符号およびその一部分とのハミング距離が離れているため、疑似同期が発生する確率が低いという利点がある。具体的には、図30(a)の符号表ではスタッフィングビットSTUFFの最初のビットのみが全て“0”で、それ以外のビットは全て“1”であるため、オール“0”である同期符号およびその一部とのハミング距離は(スタッフィングビットSTUFFの長さ−1)となる。また、図30(b)の符号表ではスタッフィングビットSTUFFの最初と最後のビットのみが“0”で、それ以外のビットは全て“1”であるため、同期符号およびその一部とのハミング距離は(スタッフィングビットSTUFFの長さ−2)となる。このようにスタッフィングビットSTUFFと同期符号およびその一部分とのハミング距離を所定値以上、例えば(スタッフィングビットSTUFFの長さ−2)以上に選ぶことにより、符号列に誤りが混入しても疑似同期符号が発生しにくい。
この効果について、図32を用いて説明する。図32(a−0)、(b−0)はそれぞれ通常のスタッフィングビット(全てのビットが“0”)および図30(a)の符号表に示すスタッフィングビットSTUFFを用いたときの符号列の例を示したものであり、(a−1)、(b−1)はそれぞれ(a−0)、(b−0)に1ビットの誤りが混入したときの例を示したものである。図32(a−1)から分かるように、全てのビットが“0”である通常のスタッフィングビットでは1ビットの誤りが混入しただけで、(a−1)の破線で示すように同期符号と同一のビットパターンが生じるため、疑似同期が発生してしまう。これに対し、図30(a)の符号表に示すスタッフィングビットSTUFFは、図32(b−2)に示すように誤りが混入しても同期符号と同一のパターンにならないため、疑似同期が発生しない。
このように本実施形態によるスタッフィングビットは、符号列の誤りを容易に検出できると共に、符号列に誤りが混入しても疑似同期符号が発生しにくく、強い誤り耐性を持つという利点がある。
また、本実施形態によるスタッフィングビットは逆方向から一意に復号が可能であり、その開始位置すなわちスタッフィングビットビットSTUFFの直前の符号列の終了位置を特定できるため、情報符号列が順方向からも逆方向からも復号可能な符号語の場合、図31の矢印3104で示すようにSTUFFの直前の符号列を逆方向から復号することができる。
上述の実施形態において、スタッフィングビットSTUFFは、以下のように定めてもよい。
(1)同期符号に図5に示したようにsync_0_len ビットの“0”が含まれる場合、スタッフィングビットSTUFFの全てないしは少なくとも同期符号挿入位置の全ビットを“1”とすることにより、同期符号の“0”の部分とスタッフィングビットSTUFFのハミング距離を離すことができる。従って、このようにすることにより、スタッフィングビットSTUFFに誤りが混入して擬似同期が発生する確率を減少させることができる。
(2)スタッフィングビットSTUFFは、その長さを表す符号語としてもよい。復号化装置において、スタッフィングビットSTUFF以外の符号列の復号が終了した地点より、STUFFの長さを判定すると共に、STUFFの復号を行ってSTUFFの長さ情報を復号する。この場合、もし両者が一致しなかった場合には符号列中に誤りが混入したと判定することができる。
また、スタッフィングビットSTUFFの符号語は、その長さを2進数表現したものでもよい。例えば、STUFFが5ビットの場合、“5”を2進数表現した“00101”としてもよい。あるいは、2進数表現したものの“1”の補数や“2”の補数をとった値をスタッフィングビットSTUFFの符号語としてもよく、それによりSTUFF中の“0”のビットの数が減少するため、(1)で述べたのと同様に擬似同期の発生を抑えることができる。
(3)順方向だけでなく、逆方向からも復号可能な符号語を用いて符号化を行った場合、復号装置においてフレームの終了地点からスタッフィングビットSTUFFを逆方向に復号して、その開始地点(STUFFと他の符号語との境界地点)を知る必要がある。そのような場合には、例えばSTUFFを“01111111”のように、1ビットないしは複数ビットの“0”で始まり残りが“1”の符号語として定めればよい。これにより、STUFFを逆方向から復号して “0”がある位置を探せば、その地点をSTUFFの開始地点と一意に判定することができる。また、この例ではスタッフィングビットSTUFFの最初の部分以外のビットは“1”であり、(1)で述べたと同様に擬似同期が発生する確率が減少する。
(4)スタッフィングビットSTUFFは出力符号列の一部または全てのビットの誤り訂正/検出符号の検査ビットや、パリティチェックビット等としてもよい。これにより、出力符号列中に混入したビット誤りの訂正/検出を行うことが可能である。
以上の例のように、スタッフィングビットSTUFFを予め定められた規則に従って生成することにより、復号装置において入力符号列中のスタッフィング誤ットSTUFFをその生成規則と照合し、もしその生成規則に反すると判定された場合には、入力符号列中に誤りが混入したと判定することが可能である。これにより、動画像復号化装置において再生画像に大きな劣化が生じないような処理を行って、入力符号列中に誤りが混入したときの再生画像の品質を向上させることができる。
さらに、上記実施形態において同期符号挿入間隔sync_periodは、以下のように定めてもよい。
(1)誤り訂正/検出符号を用いる場合、同期符号挿入間隔sync_periodは復号化装置で同期検出を行う最小のビット数、すなわち同期符号の長さと誤り訂正/検出符号の検査ビットの最大値の和以上にとれば十分である。フレームの最後のスタッフィングビットSTUFFのビット数の平均値はsync_period/2であるので、sync_periodをこの同期検出可能な最小ビットにとることにより、スタッフィングビットSTUFFのビット数が削減され、符号化効率が向上する。
(2)誤り訂正/検出符号を用いない場合、同期符号挿入間隔sync_periodは復号化装置で同期検出を行う最小のビット数、すなわち同期符号の長さ以上あれば十分である。フレームの最後のスタッフィングビットSTUFFのビット数の平均はsync_period/2であるので、sync_periodをこの同期検出可能な最小ビットにとることにより、スタッフィングビットSTUFFのビット数が削減され、符号化効率が向上する。
(3)図15、図16、図17および図27に示されるように、フレーム長情報POINTERを用いる場合には、同期符号挿入間隔sync_periodを同期符号の長さより短くしてもよい。これにより、スタッフィングビットSTUFFのビット数が削減され、符号化効率が向上する。
(4)伝送路や蓄積媒体において定められた間隔のパケットやセルに区切って伝送/蓄積を行う場合、同期符号挿入間隔sync_periodをパケットやセルの間隔に合わせるか、その間隔の約数になるようにしてもよい。これにより、パケットやセルの先頭は必ず同期符号挿入位置になるため、パケットロスやセルロスによりパケットやセルが起きた場合にも同期符号を検出することが可能である。
(5)同期符号挿入間隔sync_periodは、1フレームの最小必要ビット数より短くすることが好ましい。これにより、スタッフィングビットSTUFFのビット数が削減され、符号化効率が向上する。
(第6の実施形態)
次に、本発明に係る第6の実施形態について説明する。
図35は、本実施形態における動画像符号化装置の出力符号列の一例を示す図である。この出力符号列では、誤りによる同期符号の誤検出確率を低くするために、前述の実旅例で述べたようなビット挿入処理を行っている。また、予め定められた位置、あるいは同期符号から相対的にみて予め定められた位置に、ヘッダ情報等の情報が入っている。
図35の(a)はビット挿入処理を行う前の符号列であり、(b)はビット挿入処理を行った後の出力符号列である。図中、斜線の部分3201,3202,3261,3262が定められた位量(同期符号から相対的に見て定められた位置)に入れる情報であり、白抜きの矢印3211、3212がその情報を入れる位置である。図35(b)中の符号列の情報3261、3262が(a)の符号列の情報3201、3202にそれぞれ相当し、場合によっては符号列(a)から符号列(b)への変換に際して、これらの情報に対しても変換(すなわち、情報3201から情報3261への変換および情報3202から情報3262への変換)が施されることがある。
図35(b)中の3203は、ビット挿入処理によって挿入されたビットである。このビット挿入処理により、挿入ビットに後続するビット列は後方にずれてしまうため、定められた位置に入れる情報が定位置に入るように、その情報直前の符号列の一部を後方に移す処理を行う。例えば、情報3201の一つ前の同期符号3205からの挿入ビットの数の合計をNs1とすれば、情報3201の直前の図35(a)中の記号3221に示すNs1ビットを情報3201の直後の図35(b)中の記号3231の部分に移せばよい。
情報3201,3202中に、符号列中の特定の位置を示すポインタ等の情報が含まれている場合には、これを変換する処理を行ってもよい。具体的には、例えば情報3201中に矢印3241で示す位置を示す情報が含まれている場合、この位置よりも挿入ビットの数Ns1だけ後ろの矢印3251で示す位置を指すように、情報3261中の位置を示す情報を変換するようにする。
本発明の第1および第2の実施形態に係る動画像符号化装置の構成を示すブロック図 図1の動画像符号化装置における多重化器での多重化の規則を示す図 図1の動画像符号化装置における出力符号化装置の構成を示すブロック図 図1の動画像符号化装置からの出力符号列の例を示す図 同期符号の例を示す図 図3の出力符号化装置における誤り訂正/検出切替符号化部の構成を示すブロック図 図3の出力符号化装置における符号列組立器の構成を示すブロック図 本発明の第1および第2の実施形態に係る動画像復号化装置の構成を示すブロック図 図8の動画像復号化装置における入力復号化装置の構成を示すブロック図 図9の入力復号化装置における符号列分解器の構成を示すブロック図 従来の誤り訂正/検出符号切替符号化装置で得られる符号列の例を示す図 本発明の第2の実施形態を説明するための伝送路のビット付加/消失によって誤りが生じた同期符号の例を示す図 第2の実施形態における図3中のビット挿入器の動作を説明するための図 第2の実施形態における図9中の同期検出器および挿入ビット除去器の動作を説明するための図 第1および第2の実施形態においてフレーム長情報を用いて同期保護を行うようにした符号列の例を示す図 第1および第2の実施形態においてフレーム長情報を用いて同期保護を行うようにした符号列の他の例を示す図 第1および第2の実施形態においてフレーム長情報を用いて同期保護を行うようにした符号列のさらに別の例を示す図 本発明の第3および第4の実施形態に係る動画像符号化装置の構成を示すブロック図 本発明の第3の実施形態に係る動画像符号化装置の出力符号化装置の構成を示すブロック図 本発明の第3の実施形態に係る動画像符号化装置からの出力符号列の例を示すブロック図 本発明の第3および第4の実施形態に係る動画像復号化装置の構成を示すブロック図 本発明の第3の実施形態に係る動画像復号化装置の入力復号化装置の構成を示すブロック図 本発明の第4の実施形態に係る動画像符号化装置の出力符号化装置の構成を示すブロック図 本発明の第4の実施形態に係る動画像復号化装置の入力復号化装置の構成を示すブロック図 本発明の第4の実施形態に係る動画像符号化装置からの出力符号列の例を示すブロック図 動画像符号化装置における多重化器での多重化の規則を示す図 本発明の第5の実施形態に係る動画像符号化装置からの出力符号列の例を示すブロック図 動画像符号化装置における多重化器での多重化の他の例を示す図 図28で示される多重化を行った場合の各同期符号に対して処理を行った出力符号列を示す図 本発明で用いるスタッフィングビットの例を説明するための符号表を示す図 図30のスタッフィングビットを用いた場合の復号化装置の処理を説明するための図 図30のスタッフィングビットの特徴を説明するための図 同期符号挿入間隔を同期符号より短くした場合の出力符号列の例を示す図 異なる長さの同期符号を用いる例を示す図 本発明の第6の実施形態に係る動画像符号化装置からの出力符号列を示す図
符号の説明
101…動き補償適応予測器
102…フレームメモリ
104…離散コサイン変換器
105…量子化器
107…逆量子化器
108…逆離散コサイン変換器
111…多重化器
131…入力動画像信号
200…出力符号化装置
201…多重化符号列
205…出力符号列
301…同期符号
302…ピクチャヘッダ
303…予測モード情報
304…動きベクトル情報
305…予測残差信号のDCT係数
402…同期符号挿入位置
212…ビット挿入器
211…符号列組立器
603…ラッチ回路
604…誤り訂正/検出符号化器
701…カウンタ
702…バッファ
705…挿入ビット発生器
801…動き補償適応予測器
820…フレームメモリ
807…逆量子化器
808…逆離散コサイン変換器
811…逆多重化器
800…入力復号化装置
850…再生画像信号
901,1901…同期符号検出器
902,1902…カウンタ
903…符号列分解器
904…誤り訂正/検出符号復号化器
905,1905…挿入ビット除去器
1005…カウンタ
1006…比較器
1015…挿入ビット発生器
1101〜1104…ヘッダ情報
1211…ビット挿入器

Claims (8)

  1. 順方向及び逆方向から復号可能な符号語からなる可変長符号を含む出力符号列中の予め周期的に定められた複数の同期符号挿入位置のいずれかに同期符号を挿入すると共に、該出力符号列中の前記複数の同期符号挿入位置のいずれかの直前にスタッフィングビットを挿入することを特徴とする符号化方法。
  2. 順方向及び逆方向から復号可能な符号語からなる可変長符号を含む出力符号列中の予め周期的に定められた複数の同期符号挿入位置のいずれかに同期符号を挿入すると共に、該出力符号列中の前記複数の同期符号挿入位置のいずれかの直前にスタッフィングビットを挿入する符号列組立手段を有することを特徴とする符号化装置。
  3. 前記可変長符号は画像信号を圧縮符号化することにより生成され、前記出力符号列は前記可変長符号が前記画像信号のフレーム単位で多重化された多重化符号列を含むことを特徴とする請求項2に記載の符号化装置。
  4. 前記可変長符号は画像信号を圧縮符号化することにより生成され、前記出力符号列は前記可変長符号が前記画像信号のフレームの部分領域単位で多重化された多重化符号列を含むことを特徴とする請求項2に記載の符号化装置。
  5. 前記可変長符号は画像信号を圧縮符号化することにより生成され、前記出力符号列は前記可変長符号が前記画像信号のフレーム単位で多重化された多重化符号列を含み、前記符号列組立手段は、前記多重化符号列の前記フレーム単位で多重化された各多重化単位の終りの部分の直前または直後に位置する同期符号挿入位置に同期符号を挿入することを特徴とする請求項2に記載の符号化装置。
  6. 前記可変長符号は画像信号を圧縮符号化することにより生成され、前記出力符号列は前記可変長符号が前記画像信号のフレームの部分領域単位で多重化された多重化符号列を含み、前記符号列組立手段は、前記多重化符号列の前記部分領域単位で多重化された各多重化単位の終りの部分の直前または直後に位置する同期符号挿入位置に同期符号を挿入することを特徴とする請求項2に記載の符号化装置。
  7. 前記出力符号列中の前記同期符号挿入位置にある前記同期符号以外の符号列を該同期符号とのハミング距離が予め定められた値以上となるように変換する符号列変換手段をさらに有することを特徴とする請求項2乃至6のいずれか1項に記載の符号化装置。
  8. 前記スタッフィングビットは、前記同期符号およびその一部との間のハミング距離が予め定められた値以上であることを特徴とする請求項2に記載の符号化装置。
JP2003323703A 1995-09-29 2003-09-16 符号化方法及び装置 Expired - Lifetime JP3597852B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003323703A JP3597852B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP27699395 1995-09-29
JP6145096 1996-03-18
JP16308296 1996-06-24
JP23236296 1996-09-02
JP2003323703A JP3597852B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP24388396A Division JP3597647B2 (ja) 1995-09-29 1996-09-13 符号化方法及び装置

Publications (2)

Publication Number Publication Date
JP2004080811A JP2004080811A (ja) 2004-03-11
JP3597852B2 true JP3597852B2 (ja) 2004-12-08

Family

ID=32034428

Family Applications (42)

Application Number Title Priority Date Filing Date
JP24388396A Expired - Fee Related JP3597647B2 (ja) 1995-09-29 1996-09-13 符号化方法及び装置
JP2003323691A Expired - Lifetime JP3631488B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置
JP2003323703A Expired - Lifetime JP3597852B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置
JP2003323702A Expired - Lifetime JP3597851B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置
JP2003323692A Expired - Fee Related JP3597841B2 (ja) 1995-09-29 2003-09-16 復号化方法及び装置
JP2003323699A Expired - Lifetime JP3597848B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置
JP2003323694A Expired - Lifetime JP3597843B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置
JP2003323693A Expired - Fee Related JP3597842B2 (ja) 1995-09-29 2003-09-16 復号化方法及び装置
JP2003323696A Expired - Fee Related JP3597845B2 (ja) 1995-09-29 2003-09-16 復号化方法及び装置
JP2003323700A Expired - Lifetime JP3597849B2 (ja) 1995-09-29 2003-09-16 復号化方法及び装置
JP2003323701A Expired - Lifetime JP3597850B2 (ja) 1995-09-29 2003-09-16 復号化方法及び装置
JP2003323697A Expired - Lifetime JP3597846B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置
JP2003323698A Expired - Lifetime JP3597847B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置
JP2003323704A Expired - Fee Related JP3597853B2 (ja) 1995-09-29 2003-09-16 復号化方法及び装置
JP2003323695A Expired - Fee Related JP3597844B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置
JP2003323690A Expired - Fee Related JP3597840B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置
JP2004324421A Expired - Fee Related JP3657963B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324414A Expired - Lifetime JP3657956B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324420A Expired - Fee Related JP3657962B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324412A Expired - Lifetime JP3657954B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324431A Expired - Fee Related JP3657973B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324422A Expired - Fee Related JP3657964B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324426A Expired - Lifetime JP3657968B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324427A Expired - Lifetime JP3657969B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324424A Expired - Fee Related JP3657966B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324428A Expired - Lifetime JP3657970B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324416A Expired - Fee Related JP3657958B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324435A Expired - Fee Related JP3657977B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324429A Expired - Fee Related JP3657971B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324418A Expired - Fee Related JP3657960B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324436A Expired - Lifetime JP3657978B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324425A Expired - Lifetime JP3657967B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324417A Expired - Fee Related JP3657959B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324430A Expired - Fee Related JP3657972B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324419A Expired - Fee Related JP3657961B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324434A Expired - Fee Related JP3657976B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324423A Expired - Lifetime JP3657965B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324433A Expired - Fee Related JP3657975B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324432A Expired - Fee Related JP3657974B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324415A Expired - Lifetime JP3657957B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324411A Expired - Fee Related JP3657953B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324413A Expired - Lifetime JP3657955B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP24388396A Expired - Fee Related JP3597647B2 (ja) 1995-09-29 1996-09-13 符号化方法及び装置
JP2003323691A Expired - Lifetime JP3631488B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置

Family Applications After (39)

Application Number Title Priority Date Filing Date
JP2003323702A Expired - Lifetime JP3597851B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置
JP2003323692A Expired - Fee Related JP3597841B2 (ja) 1995-09-29 2003-09-16 復号化方法及び装置
JP2003323699A Expired - Lifetime JP3597848B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置
JP2003323694A Expired - Lifetime JP3597843B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置
JP2003323693A Expired - Fee Related JP3597842B2 (ja) 1995-09-29 2003-09-16 復号化方法及び装置
JP2003323696A Expired - Fee Related JP3597845B2 (ja) 1995-09-29 2003-09-16 復号化方法及び装置
JP2003323700A Expired - Lifetime JP3597849B2 (ja) 1995-09-29 2003-09-16 復号化方法及び装置
JP2003323701A Expired - Lifetime JP3597850B2 (ja) 1995-09-29 2003-09-16 復号化方法及び装置
JP2003323697A Expired - Lifetime JP3597846B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置
JP2003323698A Expired - Lifetime JP3597847B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置
JP2003323704A Expired - Fee Related JP3597853B2 (ja) 1995-09-29 2003-09-16 復号化方法及び装置
JP2003323695A Expired - Fee Related JP3597844B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置
JP2003323690A Expired - Fee Related JP3597840B2 (ja) 1995-09-29 2003-09-16 符号化方法及び装置
JP2004324421A Expired - Fee Related JP3657963B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324414A Expired - Lifetime JP3657956B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324420A Expired - Fee Related JP3657962B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324412A Expired - Lifetime JP3657954B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324431A Expired - Fee Related JP3657973B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324422A Expired - Fee Related JP3657964B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324426A Expired - Lifetime JP3657968B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324427A Expired - Lifetime JP3657969B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324424A Expired - Fee Related JP3657966B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324428A Expired - Lifetime JP3657970B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324416A Expired - Fee Related JP3657958B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324435A Expired - Fee Related JP3657977B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324429A Expired - Fee Related JP3657971B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324418A Expired - Fee Related JP3657960B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324436A Expired - Lifetime JP3657978B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324425A Expired - Lifetime JP3657967B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324417A Expired - Fee Related JP3657959B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324430A Expired - Fee Related JP3657972B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324419A Expired - Fee Related JP3657961B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324434A Expired - Fee Related JP3657976B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324423A Expired - Lifetime JP3657965B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324433A Expired - Fee Related JP3657975B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324432A Expired - Fee Related JP3657974B2 (ja) 1995-09-29 2004-11-08 復号化方法及び装置
JP2004324415A Expired - Lifetime JP3657957B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324411A Expired - Fee Related JP3657953B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置
JP2004324413A Expired - Lifetime JP3657955B2 (ja) 1995-09-29 2004-11-08 符号化方法及び装置

Country Status (1)

Country Link
JP (42) JP3597647B2 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1174868A (ja) 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置/復号化装置、並びに符号化・多重化装置/復号化・逆多重化装置
KR100377939B1 (ko) * 1998-09-01 2003-06-12 삼성전자주식회사 이동통신시스템에서서브프레임전송을위한프레임구성장치및방법
KR100673692B1 (ko) * 2000-03-16 2007-01-23 엘지엔시스(주) 패리티 블록코드를 이용한 오류 복구방법
JP2003061095A (ja) * 2001-08-08 2003-02-28 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像符号化方法
CN1618236A (zh) 2002-01-22 2005-05-18 微软公司 编码和解码视频数据以起动随机存取和接合的方法和系统
KR20040042935A (ko) * 2002-11-14 2004-05-22 엘지전자 주식회사 이동 통신 시스템의 코드 블록 분할 장치 및 방법
KR100894235B1 (ko) * 2004-01-28 2009-04-20 닛본 덴끼 가부시끼가이샤 컨텐츠의 배포 방법, 인코드 방법 및 수신 재생 방법과 장치 그리고 프로그램
JP2007195156A (ja) * 2005-12-21 2007-08-02 Matsushita Electric Ind Co Ltd 誤り制御装置及びプログラム
JP5246804B2 (ja) * 2006-07-18 2013-07-24 トムソン ライセンシング 時間同期化のための方法及びシステム
JP2008042288A (ja) * 2006-08-02 2008-02-21 Fujitsu Ltd 信号処理装置及び信号処理方法
EP2146343A1 (en) * 2008-07-16 2010-01-20 Deutsche Thomson OHG Method and apparatus for synchronizing highly compressed enhancement layer data
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
WO2013081414A1 (en) * 2011-11-30 2013-06-06 Samsung Electronics Co., Ltd. Apparatus and method of transmiting/receiving broadcast data
CN103650398B (zh) 2011-12-08 2016-10-19 三菱电机株式会社 帧生成方法、光传送装置以及光传送系统
WO2014143776A2 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Providing remote interactions with host device using a wireless device
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
US9967401B2 (en) 2014-05-30 2018-05-08 Apple Inc. User interface for phone call routing among devices
EP3149554B1 (en) 2014-05-30 2024-05-01 Apple Inc. Continuity
US10339293B2 (en) 2014-08-15 2019-07-02 Apple Inc. Authenticated device used to unlock another device
WO2016036603A1 (en) 2014-09-02 2016-03-10 Apple Inc. Reduced size configuration interface
US10254911B2 (en) 2015-03-08 2019-04-09 Apple Inc. Device configuration user interface
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
JP6734152B2 (ja) * 2016-08-29 2020-08-05 京セラ株式会社 電子機器、制御装置、制御プログラム及び電子機器の動作方法
US10271069B2 (en) 2016-08-31 2019-04-23 Microsoft Technology Licensing, Llc Selective use of start code emulation prevention
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
EP3729781B1 (en) 2018-01-22 2023-11-01 Apple Inc. Secure login with authentication based on a visual representation of data
KR102436985B1 (ko) 2019-05-31 2022-08-29 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing

Also Published As

Publication number Publication date
JP2004080807A (ja) 2004-03-11
JP3597847B2 (ja) 2004-12-08
JP3597841B2 (ja) 2004-12-08
JP2005102290A (ja) 2005-04-14
JP2005102293A (ja) 2005-04-14
JP3657973B2 (ja) 2005-06-08
JP2005102292A (ja) 2005-04-14
JP3657957B2 (ja) 2005-06-08
JP2004080812A (ja) 2004-03-11
JP3657956B2 (ja) 2005-06-08
JP3597853B2 (ja) 2004-12-08
JP3657953B2 (ja) 2005-06-08
JP3657958B2 (ja) 2005-06-08
JP2004080806A (ja) 2004-03-11
JP3631488B2 (ja) 2005-03-23
JP2005110297A (ja) 2005-04-21
JP3657977B2 (ja) 2005-06-08
JP3657966B2 (ja) 2005-06-08
JP3657955B2 (ja) 2005-06-08
JP3657968B2 (ja) 2005-06-08
JP2005110301A (ja) 2005-04-21
JP2005102306A (ja) 2005-04-14
JP3597846B2 (ja) 2004-12-08
JPH10126389A (ja) 1998-05-15
JP2004104814A (ja) 2004-04-02
JP2004080809A (ja) 2004-03-11
JP2005102305A (ja) 2005-04-14
JP2005102298A (ja) 2005-04-14
JP2005110299A (ja) 2005-04-21
JP3657974B2 (ja) 2005-06-08
JP3657963B2 (ja) 2005-06-08
JP2004080811A (ja) 2004-03-11
JP2005102303A (ja) 2005-04-14
JP2005110296A (ja) 2005-04-21
JP3657959B2 (ja) 2005-06-08
JP3597844B2 (ja) 2004-12-08
JP2005102289A (ja) 2005-04-14
JP3657971B2 (ja) 2005-06-08
JP2005102294A (ja) 2005-04-14
JP3657976B2 (ja) 2005-06-08
JP2005102300A (ja) 2005-04-14
JP3657965B2 (ja) 2005-06-08
JP2005102304A (ja) 2005-04-14
JP2004080805A (ja) 2004-03-11
JP2005102296A (ja) 2005-04-14
JP2004104812A (ja) 2004-04-02
JP3657972B2 (ja) 2005-06-08
JP2005102302A (ja) 2005-04-14
JP3597840B2 (ja) 2004-12-08
JP2004096766A (ja) 2004-03-25
JP3657975B2 (ja) 2005-06-08
JP2005102287A (ja) 2005-04-14
JP2005102295A (ja) 2005-04-14
JP3597848B2 (ja) 2004-12-08
JP2005110298A (ja) 2005-04-21
JP3597843B2 (ja) 2004-12-08
JP3657970B2 (ja) 2005-06-08
JP2005102291A (ja) 2005-04-14
JP2004080810A (ja) 2004-03-11
JP3657969B2 (ja) 2005-06-08
JP2004096767A (ja) 2004-03-25
JP3597849B2 (ja) 2004-12-08
JP3657961B2 (ja) 2005-06-08
JP3657954B2 (ja) 2005-06-08
JP3597851B2 (ja) 2004-12-08
JP2004080808A (ja) 2004-03-11
JP3597850B2 (ja) 2004-12-08
JP2005102297A (ja) 2005-04-14
JP3657967B2 (ja) 2005-06-08
JP3657962B2 (ja) 2005-06-08
JP3657960B2 (ja) 2005-06-08
JP2005102288A (ja) 2005-04-14
JP2004104813A (ja) 2004-04-02
JP2004112799A (ja) 2004-04-08
JP2005102299A (ja) 2005-04-14
JP3657964B2 (ja) 2005-06-08
JP3597647B2 (ja) 2004-12-08
JP3597845B2 (ja) 2004-12-08
JP3597842B2 (ja) 2004-12-08
JP2004104811A (ja) 2004-04-02
JP3657978B2 (ja) 2005-06-08
JP2005102301A (ja) 2005-04-14
JP2005110300A (ja) 2005-04-21

Similar Documents

Publication Publication Date Title
JP3597852B2 (ja) 符号化方法及び装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040909

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070917

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100917

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120917

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120917

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 9

EXPY Cancellation because of completion of term