JP3653745B2 - 符号化装置及び方法並びに符号化復号化装置及び方法 - Google Patents
符号化装置及び方法並びに符号化復号化装置及び方法 Download PDFInfo
- Publication number
- JP3653745B2 JP3653745B2 JP13065194A JP13065194A JP3653745B2 JP 3653745 B2 JP3653745 B2 JP 3653745B2 JP 13065194 A JP13065194 A JP 13065194A JP 13065194 A JP13065194 A JP 13065194A JP 3653745 B2 JP3653745 B2 JP 3653745B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- image data
- phase information
- decoding
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、データ圧縮伸長を伴うディジタル信号を送信、受信及び送受信する符号化装置及び方法並びに符号化復号化装置及び方法に関する。
【０００２】
【従来の技術】
一般的に、画像データは大量であり、これをそのまま伝送すると広い帯域を必要とし、記憶すると多くの記憶容量が必要になる。特に、動画像のデータ量は、膨大であるので、伝送帯域及び記憶容量をたくさん必要とする。このため、近年では、画像データの圧縮、すなわちディジタル画像の符号化技術が考えられてきた。
【０００３】
動画像データの圧縮には、蓄積メディア動画像符号化の国際標準会議ＭＰＥＧ（Moving Picture Expert Groupの略）が標準化した符号化技術が使われている。この符号化技術を以下では単にＭＰＥＧとして説明を続ける。このＭＰＥＧは、離散コサイン変換ＤＣＴ（Discrete Cosine Transform）、動き補償ＭＣ（Motion Compensation)、Ｂピクチャといった技術からなる。
【０００４】
ＭＰＥＧは、フレーム内（intra-frame、イントラフレーム）で符号化されたフレームであるＩピクチャと、過去のフレームを順方向に使って符号化されたＰピクチャと、過去と未来の双方向のフレームを使って符号化されたＢピクチャにより符号化フレームを構成する。ここで、ＰピクチャとＢピクチャは、フレーム間（inter-frame、インターフレーム）で符号化されたフレームである。
【０００５】
このような符号化は、入力画像をＮ×Ｎのマクロブロックに分割し、動きベクトルをブロック毎に用意して、その動きベクトルと入力画像との差分を符号化するものである。図１２の（Ａ）の（ｍ−１）フレームの以前の再生画像（予測画像）であるＩピクチャを図１２の（Ｂ）に示すように動きベクトルＶM分ずらして差分を作り符号化する。
【０００６】
ここで、エンコーダとデコーダよりなるコーデックを連続して行う場合、例えばディジタルビデオテープレコーダでダビングを繰り返すような場合、例えばフレーム間で符号化されるＢピクチャとフレーム内で符号化されるＩピクチャの位相関係が、前段と次段で同じであれば、コーデックの回数が重なっても画質の劣化は起きない。すなわち、インターフレーム、イントラフレーム混在の形でデータ圧縮を実現するようなディジタル映像機器同士の接続では、圧縮し符号化された機器特有のデータフォーマットで受渡しする閉じた系の場合には、自らのヘッダなどにこれらの位相情報を記録し伝送すればコーデックの回数が重なっても画質の劣化が無い。
【０００７】
【発明が解決しようとする課題】
ところで、最近、ディジタル映像機器の接続では、シリアルディジタルインターフェース（Serial Digital Interface、ＳＤＩという。）を使用し映像データをインターフェースするのが標準になりつつある。このため、インターフレーム、イントラフレーム混在の形で映像信号をデータ圧縮するような映像機器同士の接続において、ＳＤＩでインターフェースされた圧縮映像データからいわゆる４：２：２コンポーネント符号化方式であるＣＣＩＲ．Ｒｅｃ６０１等の既存の映像フォーマットの形式にコーデックを繰り返すような場合を考慮すると、上述したような位相情報を伝える方法がとられていないので、位相が守られない接続、編集によって位相が不連続になる接続などに対応することができず、コーデックを繰り返す度に画質劣化が発生していた。すなわち、例えばＳＤＩによってインターフェースされた映像信号について、インターフレームとイントラフレームの位相が毎回交番するような場合には、その位相情報を伝える方法がとられていないと、その都度無視できない画質劣化が発生してしまっていた。
【０００８】
本発明は、上記実情に鑑みてなされたものであり、インターフェースされた映像データの復号化信号と共に、該映像データのインターフレームとイントラフレームの位相関係を示す位相情報を送信し、コーデックの際に画質の劣化を生じさせない符号化装置及び方法並びに符号化復号化装置及び方法を提供することを目的とする。
【０００９】
また、本発明は、上記実情に鑑みてなされたものであり、インターフェースされた復号化映像データと該映像データのインターフレームとイントラフレームの位相関係を受信し、コーデックの際に画質の劣化を生じさせない符号化装置及び方法並びに符号化復号化装置及び方法を提供することを目的とする。
【００１０】
また、本発明は、上記実情に鑑みてなされたものであり、コーデックの際に画質の劣化を生じさせない符号化装置及び方法並びに符号化復号化装置及び方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明に係る符号化装置は、符号化画像データを復号化処理することより得られた画像データを符号化処理する符号化装置において、上記画像データを、上記符号化画像データのグループオブピクチャ内においてピクチャがどの順番で配列されているかを示す位相情報とともに入力する入力手段と、上記入力手段により入力された上記位相情報を検出する検出手段と、上記画像データを符号化処理して符号化画像データを生成する符号化手段と、上記検出手段により検出された上記位相情報を用いて、上記順番を保持して符号化処理するように、上記符号化手段の符号化処理を制御する制御手段とを備えることにより、上述の課題を解決する。
また、本発明に係る符号化装置は、符号化画像データを復号化処理することより得られた画像データを符号化処理する符号化装置において、上記画像データを、ＩピクチャとＩピクチャとが互いに何フレーム離れているか、又は、ＩピクチャとＰピクチャとが互いに何フレーム離れているか、又は、ＰピクチャとＰピクチャとが互いに何フレーム離れているか、を少なくとも示す位相情報とともに入力する入力手段と、上記入力手段により入力された上記位相情報を検出する検出手段と、上記画像データを符号化処理して符号化画像データを生成する符号化手段と、上記検出手段により検出された上記位相情報を用いて符号化処理するように、上記符号化手段の符号化処理を制御する制御手段とを備えることにより、上述の課題を解決する。
【００１３】
また、本発明に係る符号化復号化装置は、符号化画像データを復号化処理することより得られた画像データを符号化処理する符号化部と、符号化処理された符号化画像データを復号化処理して出力する復号化部とを有する符号化復号化装置において、上記符号化部は、上記画像データを、上記符号化画像データのグループオブピクチャ内においてピクチャがどの順番で配列されているかを示す位相情報とともに入力する入力手段と、上記入力手段により入力された上記位相情報を検出する検出手段と、上記画像データを符号化処理して符号化画像データを生成する符号化手段と、上記検出手段により検出された上記位相情報を用いて、上記順番を保持して符号化処理するように、上記符号化手段の符号化処理を制御する制御手段とを備え、上記復号化部は、上記符号化手段により生成された上記符号化画像データを復号化処理する復号化手段と、上記検出手段により検出された位相情報を、上記復号化手段により復号化処理された上記画像データとともに出力する出力手段とを備えることにより、上述の課題を解決する。
また、本発明に係る符号化復号化装置は、画像データを符号化処理する符号化部と、符号化処理された符号化画像データを復号化処理して出力する復号化部とを有する符号化復号化装置において、上記符号化部は、上記画像データを、ＩピクチャとＩピクチャとが互いに何フレーム離れているか、又は、ＩピクチャとＰピクチャとが互いに何フレーム離れているか、又は、ＰピクチャとＰピクチャとが互いに何フレーム離れているか、を少なくとも示す位相情報とともに入力する入力手段と、上記入力手段により入力された上記位相情報を検出する検出手段と、上記画像データを符号化処理して符号化画像データを生成する符号化手段と、上記検出手段により検出された上記位相情報を用いて符号化処理するように、上記符号化手段の符号化処理を制御する制御手段とを備え、上記復号化部は、上記符号化手段により生成された上記符号化画像データを復号化処理する復号化手段と、上記検出手段により検出された位相情報を、上記復号化手段により復号化処理された上記画像データとともに出力する出力手段とを備えることにより、上述の課題を解決する。
【００１５】
また、本発明に係る符号化方法は、符号化画像データを復号化処理することより得られた画像データを符号化処理する符号化方法において、上記画像データを、 上記符号化画像データのグループオブピクチャ内においてピクチャがどの順番で配列されているかを示す位相情報とともに入力する入力工程と、上記入力工程により入力された上記位相情報を検出する検出工程と、上記画像データを符号化処理して符号化画像データを生成する符号化工程と、上記検出工程により検出された上記位相情報を用いて、上記順番を保持して符号化処理するように、上記符号化工程の符号化処理を制御する制御工程とを備えることにより、上述の課題を解決する。
また、本発明に係る符号化方法は、画像データを符号化処理する符号化方法において、上記画像データを、ＩピクチャとＩピクチャとが互いに何フレーム離れているか、又は、ＩピクチャとＰピクチャとが互いに何フレーム離れているか、又は、ＰピクチャとＰピクチャとが互いに何フレーム離れているか、を少なくとも示す位相情報とともに入力する入力工程と、上記入力工程により入力された上記位相情報を検出する検出工程と、上記画像データを符号化処理して符号化画像データを生成する符号化工程と、上記検出工程により検出された上記位相情報を用いて、上記配列を保持して符号化処理するように、上記符号化工程の符号化処理を制御する制御工程とを備えることにより、上述の課題を解決する。
【００１６】
また、本発明に係る符号化復号化方法は、符号化画像データを復号化処理することより得られた画像データを符号化処理し、符号化処理された符号化画像データを復号化処理して出力する符号化復号化方法において、上記画像データを、上記符号化画像データのグループオブピクチャ内においてピクチャがどの順番で配列されているかを示す位相情報とともに入力する入力工程と、上記入力工程により入力された上記位相情報を検出する検出工程と、上記画像データを符号化処理して符号化画像データを生成する符号化工程と、上記検出工程により検出された上記位相情報を用いて、上記順番を保持して符号化処理するように、上記符号化工程の符号化処理を制御する制御工程と、上記符号化工程により生成された上記符号化画像データを復号化処理する復号化工程と、上記検出工程により検出された位相情報を、上記復号化工程により復号化処理された上記画像データとともに出力する出力工程とを備えることにより、上述の課題を解決する。
さらに、本発明に係る符号化復号化方法は、画像データを符号化処理し、符号化処理された符号化画像データを復号化処理して出力する符号化復号化方法において、上記画像データを、ＩピクチャとＩピクチャとが互いに何フレーム離れているか、又は、ＩピクチャとＰピクチャとが互いに何フレーム離れているか、又は、ＰピクチャとＰピクチャとが互いに何フレーム離れているか、を少なくとも示す位相情報とともに入力する入力工程と、上記入力工程により入力された上記位相情報を検出する検出工程と、上記画像データを符号化処理して符号化画像データを生成する符号化工程と、上記検出工程により検出された上記位相情報を用いて、上記配列を保持して符号化処理するように、上記符号化工程の符号化処理を制御する制御工程と、上記符号化工程により生成された上記符号化画像データを復号化処理する復号化工程と、上記検出手段により検出された位相情報を、上記復号化工程により復号化処理された上記画像データとともに出力する出力工程とを備えることにより、上述の課題を解決する。
【００１７】
【作用】
グループオブピクチャを構成するフレーム内符号化信号とフレーム間符号化信号のうちのいずれかからなる所定の種類の第１の符号化信号と、所定の種類の第２の符号化信号とが互いに何フレーム分離れているかを示す情報を、各復号化信号と共に送信されてくれば、上記所定の種類の第１の符号化信号と所定の種類の第２の符号化信号とが互いに何フレーム分離れているかを示す情報を検出し、検出した情報に応じて、前段で符号化されて復号化された各復号化信号を、前段での符号化時と同じ種類で符号化することができる。このため、ディジタル信号送信、受信及び送受信装置等の映像処理装置は、コーデックの際に画質の劣化を生じさせない。
【００１８】
【実施例】
以下、本発明に係る符号化装置及び方法並びに符号化復号化装置及び方法が適用された実施例としてのディジタル信号送信、受信及び送受信装置を説明する。この実施例は、蓄積メディア動画像符号化の国際標準会議ＭＰＥＧ（Moving Picture Expert Groupの略）が標準化した符号化技術により圧縮されたディジタルビデオデータを送受信するディジタルビデオデータ送受信装置である。
【００１９】
このディジタルビデオデータ送受信装置は、フレーム内（intra-frame、イントラフレーム）で符号化されたフレームであるＩピクチャと、過去のフレームを順方向に使って符号化されたＰピクチャと、過去と未来の双方向のフレームを使って符号化されたＢピクチャにより構成された符号化フレームを使ってディジタルビデオデータを送受信する。特に、Ｉピクチャは、離散コサイン変換ＤＣＴ（Discrete Cosine Transform）による変換符号化で、Ｂピクチャは、動き補償ＭＣ（Motion Compensation)＋ＤＣＴによる予測符号化＋変換符号化で得られる。
【００２０】
このディジタルビデオデータ送受信装置は、図１に示すエンコーダ１０と図２に示すデコーダ３０からなっており、エンコード処理とデコード処理のコーデック処理をエンコーダ１０とデコーダ３０で行っている。ここで、エンコーダ１０は、受信装置に相当し、グループ化されたブロック内におけるフレーム内復号化信号とフレーム間復号化信号の位相関係を示す位相情報を検出し、該位相情報に応じて上記ブロック内の各復号化信号の順番と同じ順番となるようにフレーム内符号化信号とフレーム間符号化信号を得る。また、デコーダ３０は、送信装置に相当し、グループ化されたブロック内におけるフレーム内復号化信号とフレーム間復号化信号の位相関係を示す位相情報を、該ブロック内の各復号化信号と共に送信する。
【００２１】
なお、以下の説明では、このディジタルビデオデータ送受信装置がシリアルディジタルインターフェース（Serial Digital Interface、ＳＤＩという。）を使用し多段に接続されているとして説明を進める。
【００２２】
先ず、エンコーダ１０には、ＳＤＩによってインターフェースされた映像入力が供給される。この映像入力は、前段のディジタルビデオデータ送受信装置のデコーダによってデコーダされた映像データである。前段のディジタルビデオデータ送受信装置のエンコーダでは、Ｉピクチャ、Ｐピクチャ及びＢピクチャを符号化データとして出力している。ここで、Ｉピクチャ、Ｐピクチャ及びＢピクチャは、所定の順番で配列され、映像データの符号化の単位となるグループオブピクチャ（Group of Pictures：ＧＯＰ）を構成している。一方、デコーダでは、Ｉピクチャ、Ｐピクチャ及びＢピクチャよりなるＧＯＰをデコード処理している。
【００２３】
そして、前段のディジタルビデオデータ送受信装置にＳＤＩを介して接続された後段のディジタルビデオデータ送受信装置のエンコーダ１０は、前段のデコーダでデコード処理されたＩピクチャ、Ｐピクチャ及びＢピクチャよりなるＧＯＰを再度エンコード処理する。
【００２４】
上記映像データは、位相情報検出回路１１及び減算器１３及びスイッチ１４の被選択端子ｂに供給される。位相情報検出回路１１は、この映像データから該映像データのイントラフレームとインターフレームの位相関係を示す後述する位相情報を検出する。この位相情報検出回路１１で検出された位相情報は、制御回路１２に供給される。この制御回路１２は、上記位相情報に応じてスイッチ１４、２３及び２６の切り換えを制御する。
【００２５】
減算器１３は、上記映像データから後述する動き補償ＭＣ（Motion Compensation)成分を減算し、スイッチ１４の被選択端子ｃに供給する。このスイッチ１４は、被選択端子ｂに供給された上記映像データと被選択端子ｃに供給された上記減算出力とを制御回路１２の制御に応じ選択端子ａで切り換えてＤＣＴ回路１５に供給する。
【００２６】
ＤＣＴ回路１５は、スイッチ１４の切り換え出力を離散コサイン変換することで、フレーム内の画像の変化具合いにより符号量を減少し、該ＤＣＴ変換出力を量子化回路１６に供給する。量子化回路１６は、ＤＣＴ変換出力を小さい値で表現することで符号量を減らし、該出力である量子化出力を可変長符号化回路１７及び逆量子化回路１９に供給する。
【００２７】
可変長符号化回路１７は、量子化回路１６により減らされた符号量をさらに減らすため、出現度の高い符号に短い符号を割り当て、全体としての符号量をさらに減らす。この可変長符号化回路１７の可変長符号化出力は、ＥＣＣエンコーダ１８に供給されてエラー訂正処理され、該エンコーダ１０の符号化出力となる。
【００２８】
一方、逆量子化回路１９は、量子化回路１６で符号量が減らされた量子化出力を逆量子化し、該逆量子化出力を逆ＤＣＴ（図中にはＩＤＣＴと示す。）回路２０に供給する。この逆ＤＣＴ回路２０は、上記逆量子化出力を逆離散コサイン変換し、該逆ＤＣＴ出力を加算器２１に供給する。
【００２９】
加算器２１は、この逆ＤＣＴ出力にスイッチ２２を介してＭＣ成分を加算し、スイッチ２３の選択端子ａに供給する。このスイッチ２３が制御回路１２の制御により選択端子ａを被選択端子ｂに切り換えると加算器２１の加算出力は、フレームメモリ２４に供給される。
【００３０】
フレームメモリ２４は、加算器２１の加算出力を１フレーム分記憶する。このフレームメモリ２４の１フレーム分の記憶データは、後ろ向き予測動き補償回路２５での後向き予測動き補償処理に用いられる。この後ろ向き予測動き補償回路２５は、１フレーム分の記憶データに後向きの動き補償処理を施し、該後向き動き補償出力をスイッチ２６の被選択端子ｂに供給する。フレームメモリ２４に記憶された１フレーム分の記憶データは、さらにフレームメモリ２８に記憶される。このフレームメモリ２８に記憶された記憶データは、合計２フレーム分遅延され、前向き予測動き補償回路２７に供給される。この前向き予測動き補償回路２７は、２フレーム分遅延された遅延出力に前向きの動き補償処理を施し、該前向き動き補償出力をスイッチ２６の被選択端子ｃに供給する。
【００３１】
スイッチ２６は、制御回路１２の制御により選択端子ａを被選択端子ｂ又は被選択端子ｃに切り換えることで、後向き予測による動き補償信号又は前向き予測による動き補償信号を減算器１３に供給する。
【００３２】
例えば、このエンコーダ１０に入力された映像データが復号化されたＩピクチャであることが判明していれば、このエンコーダ１０は差分をとらずＤＣＴ回路１５、量子化回路１６、可変長符号化１７及びＥＣＣエンコーダ１８を介して該復号化されたＩピクチャをエンコード処理する。
【００３３】
また、例えば、このエンコーダ１０に入力された映像データが復号化されたＰピクチャであることが判明していれば、このエンコーダ１０は予測画像（差分をとる基準となる画像）として、入力で時間的に前に位置しすでに復号化されたＩピクチャ又はＰピクチャを用い、再度Ｐピクチャをエンコード処理する。
【００３４】
また、例えば、このエンコーダ１０に入力された映像データが復号化されたＢピクチャであることが判明していれば、このエンコーダ１０は予測画像として時間的に前に位置しすでに復号化されたＩピクチャ又はＰピクチャ、時間的に後ろに位置するすでに復号化されたＩピクチャ又はＰピクチャ、及びその両方から作られた補間画像の３種類を用い、再度Ｂピクチャをエンコード処理する。
【００３５】
ここで、位相情報検出回路１１は、前段のデコーダのデコード処理時に付加される位相情報を検出している。この位相情報は、例えばＩピクチャ、Ｐピクチャ及びＢピクチャがＧＯＰ内でどの位置に配列されているかを示す信号であればよい。すなわち、この位相情報は、ＧＯＰがどのように構成されているかを示す情報である。例えば、位相情報としては、ＩピクチャとＰピクチャ又はＰピクチャとＰピクチャとの距離（１フレームを単位として何フレーム分離れているかにより示す。）Ｍと、ＩピクチャとＩピクチャとの距離Ｎが考えられる。例えば、図３の（Ａ）に示すＧＯＰはＭ＝３、Ｎ＝９であり、図３の（Ｂ）に示すＧＯＰはＭ＝２、Ｎ＝２である。また、例えば、位相情報としては、ＧＯＰがどのように区切られているかを示す信号でもよい。さらにまた、位相情報としては、Ｉピクチャ、Ｐピクチャ及びＢピクチャであることをそれぞれフレーム毎に示すような信号でもよい。
【００３６】
この位相情報は、映像信号の劣化を防ぐためにあるので、偶数ライン及び奇数ラインのアクティブビデオ以前に位置することが必要である。このため、この位相情報は、少なくともディジタルフィールドブランキングにほぼ等しい垂直ブランキング内に挿入する必要がある。さらに、この位相情報は、映像スイッチングポイント以降に乗せることが必要となる。したがって、この位相情報は、例えば、図４の（Ａ）に示すように偶数及び奇数ラインの垂直ブランキング内の補助（Ancillary、以下ＡＮＣという。）エリア内の、図４の（Ｂ）に示すＤＩＤエリアに書き込まれるのが好ましい。ここで、ＤＩＤはデータＩＤのことである。また、ＡＮＣエリアは、ＥＡＶとＳＡＶの間に設けられた補助データ用のエリアである。ＥＡＶはエンドオブアクティブビデオ（End of Active Video）のことであり、ＳＡＶはスタートオブアクティブビデオ（Start of Active Video）のことである。また、ＡＤＦエリアはＡＮＣデータフラグ記録エリアである。また、ＤＢＮエリアはＡＮＣデータのユニット番号が記録されたエリアである。また、ＤＣエリアはＡＮＣデータのワード数を示すエリアである。ＡＮＣデータエリアは、最大２５５ワードのＡＮＣデータを記録できる。そして、ＳＡＶの前のＣＳエリアは、ＤＩＤ〜ＡＮＣデータのチェックサムが示されるエリアである。
【００３７】
この位相情報検出回路１１が上記位相情報を検出すると、その位相情報に基づいて制御回路１２は、スイッチ１４、２３及び２６の切り換えを制御し、前段のディジタルビデオデータ送受信装置のデコーダでのデコード処理に同期させたエンコード処理をエンコーダ１０に行わせることができる。
【００３８】
次に、このディジタルビデオデータ送受信装置のデコーダ３０には、エンコーダ１０によって符号化されたＩピクチャ、Ｐピクチャ及びＢピクチャの符号化入力が供給される。
【００３９】
図２において、変換復号化系３１を構成するＥＣＣデコーダ３２は、供給された符号化入力にエラー訂正処理を施し、該ＥＣＣデコード出力を可変長復号化回路３３、制御回路３８及びＳＤＩエンコーダ３７に供給する。可変長復号化回路３３は、ＥＣＣデコーダ出力に可変長復号化処理を施し、該復号化出力を逆量子化回路３４に供給する。逆量子化回路３４は、上記復号化出力に逆量子化処理を施し、該逆量子化出力を逆ＤＣＴ回路３５に供給する。逆ＤＣＴ回路３５は、上記逆量子化出力に逆ＤＣＴ処理を施し、該逆ＤＣＴ出力をスイッチ３６の被選択端子ｂ及び加算器３９に供給する。
【００４０】
加算器３９は、逆ＤＣＴ回路３５の逆ＤＣＴ出力に後述する動き補償ＭＣ成分を加算し、該加算出力をスイッチ３６の被選択端子ｃに供給する。このスイッチ３６は、被選択端子ｂに供給された逆ＤＣＴ出力と被選択端子ｃに供給された上記加算出力とを制御回路３８の制御に応じて選択端子ａで切り換えてＳＤＩエンコーダ３７及びフレームメモリ４２に供給する。
【００４１】
ＳＤＩエンコーダ３７は、ＥＣＣデコーダ３２から供給されるＥＣＣデコード出力に応じてスイッチ３６の出力をシリアルディジタルインターフェース用にエンコード処理し、復号化された映像データを出力する。この際、このＳＤＩエンコーダ３７は、上記位相情報を図４を用いて説明したように上記映像データに付加する。
【００４２】
フレームメモリ４２は、スイッチ３６の切り換え出力を１フレーム分記憶する。このフレームメモリ４２の１フレーム分の記憶データは、前向き予測動き補償回路４１での前向き予測動き補償処理に用いられる。この前向き予測動き補償回路４１は、１フレーム分の記憶データに前向きの動き補償処理を施し、該前向き動き補償出力をスイッチ４０の被選択端子ｂに供給する。フレームメモリ４２に記憶された記憶データは、さらにフレームメモリ４３に記憶される。このフレームメモリ４３に記憶された記憶データは、合計２フレーム分遅延され、後ろ向き予測動き補償回路４４に供給される。この後ろ向き動き補償回路４４は、２フレーム分遅延された遅延出力に後ろ向きの動き補償を施し、該後ろ向き動き補償出力をスイッチ４０の被選択端子ｃに供給する。
【００４３】
スイッチ４０は、制御回路３８の制御により選択端子ａを被選択端子ｂ又は被選択端子ｃに切り換えることで、前向き予測による動き補償信号又は後ろ向き予測による動き補償信号を加算器３９に供給する。
【００４４】
以下に、このディジタルビデオデータ送受信装置が上記位相情報に応じて行うエンコード処理とデコード処理を説明する。このディジタルビデオデータ送受信装置のエンコーダ１０が、前段のディジタルビデオデータ送受信装置のデコーダのＳＤＩエンコーダが上記ＡＮＣエリアに挿入した位相情報を、位相情報検出回路１１で検出し、該検出位相情報に応じてイントラフレームとインターフレームをエンコード処理するのは、前段のディジタルビデオデータ送受信装置のイントラフレームに関する処理とインターフレームに関する処理との関係を崩すことなく、すなわちＧＯＰを崩すことなく処理を進めるためである。
【００４５】
このような関係、すなわち前段のディジタルビデオデータ送受信装置と後段のディジタルビデオデータ装置装置でＧＯＰを崩すことなくコーデック処理を進めると、１回目を除く２回目以降のコーデック処理での信号劣化が無くなる。例えば、ディジタルビデオデータ送受信装置を図５のように接続する場合を考慮する。この図５において、ディジタルビデオデータ送受信装置５１、５９及び６４は、イントラフレームによる符号化画像であるＩピクチャと、インターフレームによる符号化画像であるＢピクチャとの位相関係を各装置内で守りながらコーデック処理を進めている。ここで、ＩピクチャはＤＣＴによる変換符号化で、ＢピクチャはＭＣ＋ＤＣＴによる変換符号化により得られる。また、該当するフレームに対して、時間的に前の動き補償フレームで差分をとるときを前方予測、時間的に後ろの動き補償フレームで差分をとるときを後方予測、両方でとるときを両方向予測という。
【００４６】
ディジタルビデオデータ送受信装置５１、５９及び６４は、予測符号の差分信号を生成するとき、各装置内において図中ＤＣＴ-Ｑ-ＩＤＣＴと記された変換符号化回路（以下、ＤＣＴ-Ｑ-ＩＤＣＴ回路という。）での変換符号化処理の後の画像であるＩピクチャを使っている。このような場合をローカルデコーダ有りとする。また、各ディジタルビデオデータ送受信装置５１、５９及び６４においては、３フレーム完結であるからフレーム並びはＩＢＩ・・・である。つまり、３フレームでＢピクチャを作っている。
【００４７】
例えば、ディジタルビデオデータ送受信装置５１には、入力映像信号ｆ0が供給されている。入力映像信号ｆ0は、本来、１本のＳＤＩインターフェースでディジタルビデオデータ送受信装置５１に供給されるが、ここでは説明の都合上３本の線を用いて説明する。この３本の線は、時間的にずれて入力するフレーム画像を同時に示すために使っている。この３本の線のうちの先ず１本目（シリアルインターフェースでいうと一番最初の入力データ）の入力映像信号をｆ0（１）とし、以下ｆ0（２）、ｆ0（３）とする。同様に、ディジタルビデオデータ送受信装置５１の出力（ディジタルビデオデータ送受信装置５９の入力であるが、以下では前段に接続されたディジタルビデオデータ送受信装置の出力とする。）をｆ1（１）、ｆ1（２）及びｆ1（３）、ディジタルビデオデータ送受信装置５９の出力をｆ2（１）、ｆ2（２）及びｆ2（３）、ディジタル送受装置６４の出力をｆ3（１）、ｆ3（２）及びｆ3（３）とする。
【００４８】
また、例えば、ディジタルビデオデータ送受信装置５１の内部では、コーデック処理をエンコーダとデコーダによってそれぞれ行わせているが、ＤＣＴ-Ｑ-ＩＤＣＴ回路５２、ＤＣＴ-Ｑ-ＩＤＣＴ回路５５及びＤＣＴ-Ｑ-ＩＤＣＴ回路５８の各再量子化回路Ｑがエンコード処理とデコード処理を分ける部分となる。この再量子化回路Ｑの量子化ステップと、ＩＤＣＴ回路の出力丸めが信号に歪を与え、画像歪の原因を作る。
【００４９】
但し、変換符号化回路であるＤＣＴ-Ｑ-ＩＤＣＴ回路で、常に信号歪が起こるわけではなく、単純に変換の繰り返しを行うとき、目的の精度を満足する演算精度をこの系に与えれば１回目を除く２回目以降のコーデック処理での信号劣化はない。
【００５０】
例えば、ディジタルビデオデータ送受信装置５１の内部でのコーデック処理を考慮する。先ず、入力映像信号ｆ0（１）及びｆ0（３）をＤＣＴ-Ｑ-ＩＤＣＴ回路５２及び５８で変換符号した変換出力を動き補償（図中ＭＣという。）回路５３及び５７で動き補償し、該２つのＭＣ出力を入力映像信号ｆ0（２）から減算器５４で減算する。次に、この減算器５４の減算出力をＤＣＴ-Ｑ-ＩＤＣＴ回路５５で変換符号化する。そして、ＤＣＴ-Ｑ-ＩＤＣＴ回路５５の変換出力にＭＣ回路５３及び５７の２つのＭＣ出力を加算器５６で加算する。すると、加算器５６は、Ｂピクチャを出力する。すなわち、このディジタルビデオデータ送受信装置５１は、デコード出力ｆ1（２）としてＢピクチャを出力する。ここで、デコード出力ｆ1（１）及びｆ1（３）は、１回目の変換符号化処理を行うＤＣＴ-Ｑ-ＩＤＣＴ回路５２及び５８において、再量子化部Ｑ及びＩＤＣＴ部が発生する信号歪を受けたＩピクチャとなる。
【００５１】
ここで、Ｉピクチャが単純に繰り返される場合には、２回目以降に信号の劣化が生じないのであるから、ディジタルビデオデータ送受信装置５９のＭＣ回路６０及び６１の出力も変化がない。したがって、１回目のＤＣＴ-Ｑ-ＩＤＣＴ回路５５の変換出力と、Ｂピクチャを復元して得た画像からＭＣ出力を減じて得られた減算器６２の減算出力は、同一のものである。これがＤＣＴ-Ｑ-ＩＤＣＴ回路６３の入力となるのであるから、Ｂピクチャもまた２回目以降の信号劣化がなくなる。
【００５２】
次に、ディジタルビデオデータ送受信装置を図６のように接続する場合を考慮する。この図６においても、ディジタルビデオデータ送受信装置７１、８１及び８６は、イントラフレームによる符号化画像であるＩピクチャと、インターフレームによる符号化画像であるＢピクチャとの位相関係を各装置内で守りながらコーデック処理を進めている。なお、ディジタルビデオデータ送受信装置７１、８１及び８６は、予測符号の差分信号を生成するとき、各装置内において変換符号化前の入力信号によって予測符号化の差分を作っている。このような場合をローカルデコーダ無しとする。
【００５３】
例えば、ディジタルビデオデータ送受信装置７１の内部でのコーデック処理を考慮する。先ず、入力映像信号ｆ0（１）及びｆ0（３）をＤＣＴ-Ｑ-ＩＤＣＴ回路７２及び８０に供給する前にＭＣ回路７３及び７８で動き補償し、該２つのＭＣ出力を入力映像信号ｆ0（２）から減算器７５で減算する。次に、この減算器７５の減算出力をＤＣＴ-Ｑ-ＩＤＣＴ回路７６で変換符号化する。そして、ＤＣＴ-Ｑ-ＩＤＣＴ回路７６の変換出力にＭＣ回路７４及び７９の２つのＭＣ出力を加算器７７で加算する。すると、加算器７７は、Ｂピクチャを出力する。ここで、ＭＣ回路７４及び７９は、ＤＣＴ-Ｑ-ＩＤＣＴ回路７２及び８０の変換出力をＭＣ補償している。すなわち、このディジタルビデオデータ送受信装置７１は、デコード出力ｆ1（２）としてＢピクチャを出力する。ここで、デコード出力ｆ1（１）及びｆ1（３）は、１回目の変換符号化処理を行うＤＣＴ-Ｑ-ＩＤＣＴ回路７２及び８０において、再量子化部Ｑ及びＩＤＣＴ部が発生する信号歪を受けたＩピクチャとなる。
【００５４】
ここで、Ｉピクチャが単純に繰り返される場合には、２回目以降に信号の劣化が生じないのであるから、ディジタルビデオデータ送受信装置８１のＭＣ回路８２及び８３の出力も変化がなく、ＭＣ回路７４及び７９の出力と等しくなる。したがって、全く同じものを減算器８４でデコード出力ｆ1（２）であるＢピクチャから減算することになるので、ＤＣＴ-Ｑ-ＩＤＣＴ回路７６の変換出力とＤＣＴ-Ｑ-ＩＤＣＴ回路８５の変換出力は等しくなる。したがって、Ｉピクチャの劣化無しの条件と同じになり、この場合もＢピクチャは２回目以降の劣化を生じさせない。
【００５５】
例えば、図５に示したローカルデコーダが有る場合において、ＧＯＰ内のＩＢＩの位相が崩れない状態でコーデックを繰り返した場合には、図７に示すように、映像信号を初めてコーデックした処理の後には信号劣化が生じない。この図７では、信号劣化の尺度を縦軸に示すＳ／Ｎで示している。また、横軸にはコーデックの回数を示している。ただし、この図７のように、Ｓ／Ｎが一定となるのは、量子化器を含んだ直交変換器が出力精度を満たすように設計されているときである。それ以外では、演算精度により緩やかに右下がりとなる。
【００５６】
なお、以下では、コーデック処理毎にＧＯＰ内の位相が崩れた場合を想定して、ＩピクチャとＢピクチャが交番するような場合について説明する。
【００５７】
例えば、図８に示すような場合、すなわち、ディジタルビデオデータ送受信装置９１、９２、９３及び９４がＳＤＩインターフェースで接続され、コーデック処理を繰り返す場合を考慮する。
【００５８】
ディジタルビデオデータ送受信装置９１には、入力映像信号ｆ0が供給されている。入力映像信号ｆ0は、本来、１本のＳＤＩインターフェースでディジタルビデオデータ送受信装置９１に供給されるが、ここでは説明の都合上５本の線を用いて説明する。この５本の線は、時間的にずれて入力するフレーム画像を同時に示すために使っている。この５本の線のうちの先ず１本目（シリアルインターフェースでいうと一番最初の入力データ）の入力映像信号をｆ0（１）とし、以下ｆ0（２）、ｆ0（３）、ｆ0（４）、ｆ0（５）とする。同様に、ディジタルビデオデータ送受信装置９１の出力（ディジタルビデオデータ送受信装置９２の入力であるが、以下では前段に接続されたディジタルビデオデータ送受信装置の出力とする。）をｆ1（１）、ｆ1（２）、ｆ1（３）、ｆ1（４）及びｆ1（５）とする。同様に、ディジタルビデオデータ送受信装置９２の出力をｆ2（１）、ｆ2（２）、ｆ2（３）、ｆ2（４）及びｆ2（５）とする。ディジタルビデオデータ送受信装置９３の出力をｆ3（１）、ｆ3（２）、ｆ3（３）、ｆ3（４）及びｆ3（５）とする。同様に、ディジタルビデオデータ送受信装置９４の出力をｆ4（１）、ｆ4（２）、ｆ4（３）、ｆ4（４）及びｆ4（５）とする。また、この図８は、ローカルデコーダ有りの場合を示している。
【００５９】
この図８に示したような場合、各ディジタルビデオデータ送受信装置間では、イントラフレームにより符号化されたＩピクチャと、インターフレームにより符号化されたＢピクチャやＰピクチャの位相関係をコーデック処理毎に交番させているので、図５に示したような関係が成立せず、コーデック処理の回数を重ねる度に図９の特性図に示すように信号の劣化が生じることになる。この図９においては、信号の劣化の様子をＳ／Ｎの変化として示している。
【００６０】
また、図１０には、ローカルデコーダが無い場合のディジタルビデオデータ送受信装置９５、９６、９７及び９８の位相関係が崩れた場合を想定した接続を示す。
【００６１】
この場合においても、各ディジタルビデオデータ送受信装置では、イントラフレームにより符号化されたＩピクチャと、インターフレームにより符号化されたＢピクチャやＰピクチャの位相関係をコーデック処理毎に交番させているので、図５に示したような関係が成立せず、コーデック処理の回数を重ねる度に図１１の特性図に示すように信号の劣化が生じることになる。
【００６２】
このようにコーデック処理毎にＧＯＰ内のＩピクチャ、Ｐピクチャ、Ｂピクチャの位相関係が交番することによる画質の劣化の発生を抑えるため、本発明の実施例のディジタルビデオデータ送受信装置では、上述したように位相情報検出回路１１によって位相情報を検出し、該検出位相情報に応じて制御回路１２がスイッチ１４、２３及び２６を制御して、コーデック処理を行っている。
【００６３】
なお、本発明に係るディジタル信号送信、受信及び送受信装置は、上記実施例にのみ限定されるものではなく、例えば他の動画圧縮復号化を繰り返すコーデック処理を行う送受信装置に適用されてもよい。
【００６４】
また、上記位相情報は、例えばＡＮＣデータとして予備の情報を提供するものであるから、各装置間でコーデックの種類が異なる場合は、無視してもよいしあるいは一部利用してもよい。
【００６５】
【発明の効果】
以上の説明から明らかなように、本発明に係る映像処理装置及び方法によれば、グループオブピクチャを構成するフレーム内符号化信号とフレーム間符号化信号のうちのいずれかからなる所定の種類の第１の符号化信号と、所定の種類の第２の符号化信号とが互いに何フレーム分離れているかを示す情報を、各復号化信号と共に出力するので、コーデックの際に画質の劣化を生じさせない。
【００６６】
また、本発明に係る映像処理装置及び方法によれば、グループオブピクチャを構成するフレーム内符号化信号とフレーム間符号化信号のうちのいずれかからなる所定の種類の第１の符号化信号と、所定の種類の第２の符号化信号とが互いに何フレーム分離れているかを示す情報を検出し、検出した情報に応じて、前段で符号化されて復号化された各復号化信号を、前段での符号化時と同じ種類で符号化するので、コーデックの際に画質の劣化を生じさせない。
【００６７】
さらに、本発明に係る映像処理装置及び方法によれば、グループオブピクチャを構成するフレーム内符号化信号とフレーム間符号化信号のうちのいずれかからなる所定の種類の第１の符号化信号と、所定の種類の第２の符号化信号とが互いに何フレーム分離れているかを示す情報を、各復号化信号と共に出力し、上記所定の種類の第１の符号化信号と、所定の種類の第２の符号化信号とが互いに何フレーム分離れているかを示す情報を検出し、検出した情報に応じて、前段で符号化されて復号化された各復号化信号を、前段での符号化時と同じ種類で符号化するので、コーデック処理の際に画質の劣化を生じさせず、コーデック処理の繰り返しを品質を保って行うことができる。
【図面の簡単な説明】
【図１】本発明の実施例のディジタルビデオデータ送受信装置のエンコード側の概略構成を示すブロック図である。
【図２】本発明の実施例のディジタルビデオデータ送受信装置のデコード側の概略構成を示すブロック図である。
【図３】位相情報を説明するための図である。
【図４】位相情報の挿入場所を説明するための図である。
【図５】ローカルデコーダ有りの場合のディジタルビデオデータ送受信装置の動作を説明するための図である。
【図６】ローカルデコーダ無しの場合のディジタルビデオデータ送受信装置の動作を説明するための図である。
【図７】ディジタルビデオデータ送受信装置で２回目以降のコーデックにおいて画質の劣化が生じないことを示すための特性図である。
【図８】ローカルデコーダ有りの場合の従来のディジタルビデオデータ送受信装置の動作を説明するための図である。
【図９】図８を用いて説明した従来のディジタルビデオデータ送受信装置のコーデックでの画質劣化を示すための特性図である。
【図１０】ローカルデコーダ無しの場合の従来のディジタルビデオデータ送受信装置の動作を説明するための図である。
【図１１】図１０を用いて説明した従来のディジタルビデオデータ送受信装置のコーデックでの画質劣化を示すための特性図である。
【図１２】ＭＰＥＧによる符号化処理を説明するための図である。
【符号の簡単な説明】
１１ 位相情報検出回路
１２ 制御回路
１５ 離散コサイン変換回路
１６ 量子化回路
１７ 可変長符号化回路
１８ エラー訂正処理回路
１９ 逆量子化回路
２０ 逆ＤＣＴ回路
２４、２８ フレームメモリ
２５ 後ろ向き予測動き補償回路
２７ 前向き予測動き補償回路
【産業上の利用分野】
本発明は、データ圧縮伸長を伴うディジタル信号を送信、受信及び送受信する符号化装置及び方法並びに符号化復号化装置及び方法に関する。
【０００２】
【従来の技術】
一般的に、画像データは大量であり、これをそのまま伝送すると広い帯域を必要とし、記憶すると多くの記憶容量が必要になる。特に、動画像のデータ量は、膨大であるので、伝送帯域及び記憶容量をたくさん必要とする。このため、近年では、画像データの圧縮、すなわちディジタル画像の符号化技術が考えられてきた。
【０００３】
動画像データの圧縮には、蓄積メディア動画像符号化の国際標準会議ＭＰＥＧ（Moving Picture Expert Groupの略）が標準化した符号化技術が使われている。この符号化技術を以下では単にＭＰＥＧとして説明を続ける。このＭＰＥＧは、離散コサイン変換ＤＣＴ（Discrete Cosine Transform）、動き補償ＭＣ（Motion Compensation)、Ｂピクチャといった技術からなる。
【０００４】
ＭＰＥＧは、フレーム内（intra-frame、イントラフレーム）で符号化されたフレームであるＩピクチャと、過去のフレームを順方向に使って符号化されたＰピクチャと、過去と未来の双方向のフレームを使って符号化されたＢピクチャにより符号化フレームを構成する。ここで、ＰピクチャとＢピクチャは、フレーム間（inter-frame、インターフレーム）で符号化されたフレームである。
【０００５】
このような符号化は、入力画像をＮ×Ｎのマクロブロックに分割し、動きベクトルをブロック毎に用意して、その動きベクトルと入力画像との差分を符号化するものである。図１２の（Ａ）の（ｍ−１）フレームの以前の再生画像（予測画像）であるＩピクチャを図１２の（Ｂ）に示すように動きベクトルＶM分ずらして差分を作り符号化する。
【０００６】
ここで、エンコーダとデコーダよりなるコーデックを連続して行う場合、例えばディジタルビデオテープレコーダでダビングを繰り返すような場合、例えばフレーム間で符号化されるＢピクチャとフレーム内で符号化されるＩピクチャの位相関係が、前段と次段で同じであれば、コーデックの回数が重なっても画質の劣化は起きない。すなわち、インターフレーム、イントラフレーム混在の形でデータ圧縮を実現するようなディジタル映像機器同士の接続では、圧縮し符号化された機器特有のデータフォーマットで受渡しする閉じた系の場合には、自らのヘッダなどにこれらの位相情報を記録し伝送すればコーデックの回数が重なっても画質の劣化が無い。
【０００７】
【発明が解決しようとする課題】
ところで、最近、ディジタル映像機器の接続では、シリアルディジタルインターフェース（Serial Digital Interface、ＳＤＩという。）を使用し映像データをインターフェースするのが標準になりつつある。このため、インターフレーム、イントラフレーム混在の形で映像信号をデータ圧縮するような映像機器同士の接続において、ＳＤＩでインターフェースされた圧縮映像データからいわゆる４：２：２コンポーネント符号化方式であるＣＣＩＲ．Ｒｅｃ６０１等の既存の映像フォーマットの形式にコーデックを繰り返すような場合を考慮すると、上述したような位相情報を伝える方法がとられていないので、位相が守られない接続、編集によって位相が不連続になる接続などに対応することができず、コーデックを繰り返す度に画質劣化が発生していた。すなわち、例えばＳＤＩによってインターフェースされた映像信号について、インターフレームとイントラフレームの位相が毎回交番するような場合には、その位相情報を伝える方法がとられていないと、その都度無視できない画質劣化が発生してしまっていた。
【０００８】
本発明は、上記実情に鑑みてなされたものであり、インターフェースされた映像データの復号化信号と共に、該映像データのインターフレームとイントラフレームの位相関係を示す位相情報を送信し、コーデックの際に画質の劣化を生じさせない符号化装置及び方法並びに符号化復号化装置及び方法を提供することを目的とする。
【０００９】
また、本発明は、上記実情に鑑みてなされたものであり、インターフェースされた復号化映像データと該映像データのインターフレームとイントラフレームの位相関係を受信し、コーデックの際に画質の劣化を生じさせない符号化装置及び方法並びに符号化復号化装置及び方法を提供することを目的とする。
【００１０】
また、本発明は、上記実情に鑑みてなされたものであり、コーデックの際に画質の劣化を生じさせない符号化装置及び方法並びに符号化復号化装置及び方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明に係る符号化装置は、符号化画像データを復号化処理することより得られた画像データを符号化処理する符号化装置において、上記画像データを、上記符号化画像データのグループオブピクチャ内においてピクチャがどの順番で配列されているかを示す位相情報とともに入力する入力手段と、上記入力手段により入力された上記位相情報を検出する検出手段と、上記画像データを符号化処理して符号化画像データを生成する符号化手段と、上記検出手段により検出された上記位相情報を用いて、上記順番を保持して符号化処理するように、上記符号化手段の符号化処理を制御する制御手段とを備えることにより、上述の課題を解決する。
また、本発明に係る符号化装置は、符号化画像データを復号化処理することより得られた画像データを符号化処理する符号化装置において、上記画像データを、ＩピクチャとＩピクチャとが互いに何フレーム離れているか、又は、ＩピクチャとＰピクチャとが互いに何フレーム離れているか、又は、ＰピクチャとＰピクチャとが互いに何フレーム離れているか、を少なくとも示す位相情報とともに入力する入力手段と、上記入力手段により入力された上記位相情報を検出する検出手段と、上記画像データを符号化処理して符号化画像データを生成する符号化手段と、上記検出手段により検出された上記位相情報を用いて符号化処理するように、上記符号化手段の符号化処理を制御する制御手段とを備えることにより、上述の課題を解決する。
【００１３】
また、本発明に係る符号化復号化装置は、符号化画像データを復号化処理することより得られた画像データを符号化処理する符号化部と、符号化処理された符号化画像データを復号化処理して出力する復号化部とを有する符号化復号化装置において、上記符号化部は、上記画像データを、上記符号化画像データのグループオブピクチャ内においてピクチャがどの順番で配列されているかを示す位相情報とともに入力する入力手段と、上記入力手段により入力された上記位相情報を検出する検出手段と、上記画像データを符号化処理して符号化画像データを生成する符号化手段と、上記検出手段により検出された上記位相情報を用いて、上記順番を保持して符号化処理するように、上記符号化手段の符号化処理を制御する制御手段とを備え、上記復号化部は、上記符号化手段により生成された上記符号化画像データを復号化処理する復号化手段と、上記検出手段により検出された位相情報を、上記復号化手段により復号化処理された上記画像データとともに出力する出力手段とを備えることにより、上述の課題を解決する。
また、本発明に係る符号化復号化装置は、画像データを符号化処理する符号化部と、符号化処理された符号化画像データを復号化処理して出力する復号化部とを有する符号化復号化装置において、上記符号化部は、上記画像データを、ＩピクチャとＩピクチャとが互いに何フレーム離れているか、又は、ＩピクチャとＰピクチャとが互いに何フレーム離れているか、又は、ＰピクチャとＰピクチャとが互いに何フレーム離れているか、を少なくとも示す位相情報とともに入力する入力手段と、上記入力手段により入力された上記位相情報を検出する検出手段と、上記画像データを符号化処理して符号化画像データを生成する符号化手段と、上記検出手段により検出された上記位相情報を用いて符号化処理するように、上記符号化手段の符号化処理を制御する制御手段とを備え、上記復号化部は、上記符号化手段により生成された上記符号化画像データを復号化処理する復号化手段と、上記検出手段により検出された位相情報を、上記復号化手段により復号化処理された上記画像データとともに出力する出力手段とを備えることにより、上述の課題を解決する。
【００１５】
また、本発明に係る符号化方法は、符号化画像データを復号化処理することより得られた画像データを符号化処理する符号化方法において、上記画像データを、 上記符号化画像データのグループオブピクチャ内においてピクチャがどの順番で配列されているかを示す位相情報とともに入力する入力工程と、上記入力工程により入力された上記位相情報を検出する検出工程と、上記画像データを符号化処理して符号化画像データを生成する符号化工程と、上記検出工程により検出された上記位相情報を用いて、上記順番を保持して符号化処理するように、上記符号化工程の符号化処理を制御する制御工程とを備えることにより、上述の課題を解決する。
また、本発明に係る符号化方法は、画像データを符号化処理する符号化方法において、上記画像データを、ＩピクチャとＩピクチャとが互いに何フレーム離れているか、又は、ＩピクチャとＰピクチャとが互いに何フレーム離れているか、又は、ＰピクチャとＰピクチャとが互いに何フレーム離れているか、を少なくとも示す位相情報とともに入力する入力工程と、上記入力工程により入力された上記位相情報を検出する検出工程と、上記画像データを符号化処理して符号化画像データを生成する符号化工程と、上記検出工程により検出された上記位相情報を用いて、上記配列を保持して符号化処理するように、上記符号化工程の符号化処理を制御する制御工程とを備えることにより、上述の課題を解決する。
【００１６】
また、本発明に係る符号化復号化方法は、符号化画像データを復号化処理することより得られた画像データを符号化処理し、符号化処理された符号化画像データを復号化処理して出力する符号化復号化方法において、上記画像データを、上記符号化画像データのグループオブピクチャ内においてピクチャがどの順番で配列されているかを示す位相情報とともに入力する入力工程と、上記入力工程により入力された上記位相情報を検出する検出工程と、上記画像データを符号化処理して符号化画像データを生成する符号化工程と、上記検出工程により検出された上記位相情報を用いて、上記順番を保持して符号化処理するように、上記符号化工程の符号化処理を制御する制御工程と、上記符号化工程により生成された上記符号化画像データを復号化処理する復号化工程と、上記検出工程により検出された位相情報を、上記復号化工程により復号化処理された上記画像データとともに出力する出力工程とを備えることにより、上述の課題を解決する。
さらに、本発明に係る符号化復号化方法は、画像データを符号化処理し、符号化処理された符号化画像データを復号化処理して出力する符号化復号化方法において、上記画像データを、ＩピクチャとＩピクチャとが互いに何フレーム離れているか、又は、ＩピクチャとＰピクチャとが互いに何フレーム離れているか、又は、ＰピクチャとＰピクチャとが互いに何フレーム離れているか、を少なくとも示す位相情報とともに入力する入力工程と、上記入力工程により入力された上記位相情報を検出する検出工程と、上記画像データを符号化処理して符号化画像データを生成する符号化工程と、上記検出工程により検出された上記位相情報を用いて、上記配列を保持して符号化処理するように、上記符号化工程の符号化処理を制御する制御工程と、上記符号化工程により生成された上記符号化画像データを復号化処理する復号化工程と、上記検出手段により検出された位相情報を、上記復号化工程により復号化処理された上記画像データとともに出力する出力工程とを備えることにより、上述の課題を解決する。
【００１７】
【作用】
グループオブピクチャを構成するフレーム内符号化信号とフレーム間符号化信号のうちのいずれかからなる所定の種類の第１の符号化信号と、所定の種類の第２の符号化信号とが互いに何フレーム分離れているかを示す情報を、各復号化信号と共に送信されてくれば、上記所定の種類の第１の符号化信号と所定の種類の第２の符号化信号とが互いに何フレーム分離れているかを示す情報を検出し、検出した情報に応じて、前段で符号化されて復号化された各復号化信号を、前段での符号化時と同じ種類で符号化することができる。このため、ディジタル信号送信、受信及び送受信装置等の映像処理装置は、コーデックの際に画質の劣化を生じさせない。
【００１８】
【実施例】
以下、本発明に係る符号化装置及び方法並びに符号化復号化装置及び方法が適用された実施例としてのディジタル信号送信、受信及び送受信装置を説明する。この実施例は、蓄積メディア動画像符号化の国際標準会議ＭＰＥＧ（Moving Picture Expert Groupの略）が標準化した符号化技術により圧縮されたディジタルビデオデータを送受信するディジタルビデオデータ送受信装置である。
【００１９】
このディジタルビデオデータ送受信装置は、フレーム内（intra-frame、イントラフレーム）で符号化されたフレームであるＩピクチャと、過去のフレームを順方向に使って符号化されたＰピクチャと、過去と未来の双方向のフレームを使って符号化されたＢピクチャにより構成された符号化フレームを使ってディジタルビデオデータを送受信する。特に、Ｉピクチャは、離散コサイン変換ＤＣＴ（Discrete Cosine Transform）による変換符号化で、Ｂピクチャは、動き補償ＭＣ（Motion Compensation)＋ＤＣＴによる予測符号化＋変換符号化で得られる。
【００２０】
このディジタルビデオデータ送受信装置は、図１に示すエンコーダ１０と図２に示すデコーダ３０からなっており、エンコード処理とデコード処理のコーデック処理をエンコーダ１０とデコーダ３０で行っている。ここで、エンコーダ１０は、受信装置に相当し、グループ化されたブロック内におけるフレーム内復号化信号とフレーム間復号化信号の位相関係を示す位相情報を検出し、該位相情報に応じて上記ブロック内の各復号化信号の順番と同じ順番となるようにフレーム内符号化信号とフレーム間符号化信号を得る。また、デコーダ３０は、送信装置に相当し、グループ化されたブロック内におけるフレーム内復号化信号とフレーム間復号化信号の位相関係を示す位相情報を、該ブロック内の各復号化信号と共に送信する。
【００２１】
なお、以下の説明では、このディジタルビデオデータ送受信装置がシリアルディジタルインターフェース（Serial Digital Interface、ＳＤＩという。）を使用し多段に接続されているとして説明を進める。
【００２２】
先ず、エンコーダ１０には、ＳＤＩによってインターフェースされた映像入力が供給される。この映像入力は、前段のディジタルビデオデータ送受信装置のデコーダによってデコーダされた映像データである。前段のディジタルビデオデータ送受信装置のエンコーダでは、Ｉピクチャ、Ｐピクチャ及びＢピクチャを符号化データとして出力している。ここで、Ｉピクチャ、Ｐピクチャ及びＢピクチャは、所定の順番で配列され、映像データの符号化の単位となるグループオブピクチャ（Group of Pictures：ＧＯＰ）を構成している。一方、デコーダでは、Ｉピクチャ、Ｐピクチャ及びＢピクチャよりなるＧＯＰをデコード処理している。
【００２３】
そして、前段のディジタルビデオデータ送受信装置にＳＤＩを介して接続された後段のディジタルビデオデータ送受信装置のエンコーダ１０は、前段のデコーダでデコード処理されたＩピクチャ、Ｐピクチャ及びＢピクチャよりなるＧＯＰを再度エンコード処理する。
【００２４】
上記映像データは、位相情報検出回路１１及び減算器１３及びスイッチ１４の被選択端子ｂに供給される。位相情報検出回路１１は、この映像データから該映像データのイントラフレームとインターフレームの位相関係を示す後述する位相情報を検出する。この位相情報検出回路１１で検出された位相情報は、制御回路１２に供給される。この制御回路１２は、上記位相情報に応じてスイッチ１４、２３及び２６の切り換えを制御する。
【００２５】
減算器１３は、上記映像データから後述する動き補償ＭＣ（Motion Compensation)成分を減算し、スイッチ１４の被選択端子ｃに供給する。このスイッチ１４は、被選択端子ｂに供給された上記映像データと被選択端子ｃに供給された上記減算出力とを制御回路１２の制御に応じ選択端子ａで切り換えてＤＣＴ回路１５に供給する。
【００２６】
ＤＣＴ回路１５は、スイッチ１４の切り換え出力を離散コサイン変換することで、フレーム内の画像の変化具合いにより符号量を減少し、該ＤＣＴ変換出力を量子化回路１６に供給する。量子化回路１６は、ＤＣＴ変換出力を小さい値で表現することで符号量を減らし、該出力である量子化出力を可変長符号化回路１７及び逆量子化回路１９に供給する。
【００２７】
可変長符号化回路１７は、量子化回路１６により減らされた符号量をさらに減らすため、出現度の高い符号に短い符号を割り当て、全体としての符号量をさらに減らす。この可変長符号化回路１７の可変長符号化出力は、ＥＣＣエンコーダ１８に供給されてエラー訂正処理され、該エンコーダ１０の符号化出力となる。
【００２８】
一方、逆量子化回路１９は、量子化回路１６で符号量が減らされた量子化出力を逆量子化し、該逆量子化出力を逆ＤＣＴ（図中にはＩＤＣＴと示す。）回路２０に供給する。この逆ＤＣＴ回路２０は、上記逆量子化出力を逆離散コサイン変換し、該逆ＤＣＴ出力を加算器２１に供給する。
【００２９】
加算器２１は、この逆ＤＣＴ出力にスイッチ２２を介してＭＣ成分を加算し、スイッチ２３の選択端子ａに供給する。このスイッチ２３が制御回路１２の制御により選択端子ａを被選択端子ｂに切り換えると加算器２１の加算出力は、フレームメモリ２４に供給される。
【００３０】
フレームメモリ２４は、加算器２１の加算出力を１フレーム分記憶する。このフレームメモリ２４の１フレーム分の記憶データは、後ろ向き予測動き補償回路２５での後向き予測動き補償処理に用いられる。この後ろ向き予測動き補償回路２５は、１フレーム分の記憶データに後向きの動き補償処理を施し、該後向き動き補償出力をスイッチ２６の被選択端子ｂに供給する。フレームメモリ２４に記憶された１フレーム分の記憶データは、さらにフレームメモリ２８に記憶される。このフレームメモリ２８に記憶された記憶データは、合計２フレーム分遅延され、前向き予測動き補償回路２７に供給される。この前向き予測動き補償回路２７は、２フレーム分遅延された遅延出力に前向きの動き補償処理を施し、該前向き動き補償出力をスイッチ２６の被選択端子ｃに供給する。
【００３１】
スイッチ２６は、制御回路１２の制御により選択端子ａを被選択端子ｂ又は被選択端子ｃに切り換えることで、後向き予測による動き補償信号又は前向き予測による動き補償信号を減算器１３に供給する。
【００３２】
例えば、このエンコーダ１０に入力された映像データが復号化されたＩピクチャであることが判明していれば、このエンコーダ１０は差分をとらずＤＣＴ回路１５、量子化回路１６、可変長符号化１７及びＥＣＣエンコーダ１８を介して該復号化されたＩピクチャをエンコード処理する。
【００３３】
また、例えば、このエンコーダ１０に入力された映像データが復号化されたＰピクチャであることが判明していれば、このエンコーダ１０は予測画像（差分をとる基準となる画像）として、入力で時間的に前に位置しすでに復号化されたＩピクチャ又はＰピクチャを用い、再度Ｐピクチャをエンコード処理する。
【００３４】
また、例えば、このエンコーダ１０に入力された映像データが復号化されたＢピクチャであることが判明していれば、このエンコーダ１０は予測画像として時間的に前に位置しすでに復号化されたＩピクチャ又はＰピクチャ、時間的に後ろに位置するすでに復号化されたＩピクチャ又はＰピクチャ、及びその両方から作られた補間画像の３種類を用い、再度Ｂピクチャをエンコード処理する。
【００３５】
ここで、位相情報検出回路１１は、前段のデコーダのデコード処理時に付加される位相情報を検出している。この位相情報は、例えばＩピクチャ、Ｐピクチャ及びＢピクチャがＧＯＰ内でどの位置に配列されているかを示す信号であればよい。すなわち、この位相情報は、ＧＯＰがどのように構成されているかを示す情報である。例えば、位相情報としては、ＩピクチャとＰピクチャ又はＰピクチャとＰピクチャとの距離（１フレームを単位として何フレーム分離れているかにより示す。）Ｍと、ＩピクチャとＩピクチャとの距離Ｎが考えられる。例えば、図３の（Ａ）に示すＧＯＰはＭ＝３、Ｎ＝９であり、図３の（Ｂ）に示すＧＯＰはＭ＝２、Ｎ＝２である。また、例えば、位相情報としては、ＧＯＰがどのように区切られているかを示す信号でもよい。さらにまた、位相情報としては、Ｉピクチャ、Ｐピクチャ及びＢピクチャであることをそれぞれフレーム毎に示すような信号でもよい。
【００３６】
この位相情報は、映像信号の劣化を防ぐためにあるので、偶数ライン及び奇数ラインのアクティブビデオ以前に位置することが必要である。このため、この位相情報は、少なくともディジタルフィールドブランキングにほぼ等しい垂直ブランキング内に挿入する必要がある。さらに、この位相情報は、映像スイッチングポイント以降に乗せることが必要となる。したがって、この位相情報は、例えば、図４の（Ａ）に示すように偶数及び奇数ラインの垂直ブランキング内の補助（Ancillary、以下ＡＮＣという。）エリア内の、図４の（Ｂ）に示すＤＩＤエリアに書き込まれるのが好ましい。ここで、ＤＩＤはデータＩＤのことである。また、ＡＮＣエリアは、ＥＡＶとＳＡＶの間に設けられた補助データ用のエリアである。ＥＡＶはエンドオブアクティブビデオ（End of Active Video）のことであり、ＳＡＶはスタートオブアクティブビデオ（Start of Active Video）のことである。また、ＡＤＦエリアはＡＮＣデータフラグ記録エリアである。また、ＤＢＮエリアはＡＮＣデータのユニット番号が記録されたエリアである。また、ＤＣエリアはＡＮＣデータのワード数を示すエリアである。ＡＮＣデータエリアは、最大２５５ワードのＡＮＣデータを記録できる。そして、ＳＡＶの前のＣＳエリアは、ＤＩＤ〜ＡＮＣデータのチェックサムが示されるエリアである。
【００３７】
この位相情報検出回路１１が上記位相情報を検出すると、その位相情報に基づいて制御回路１２は、スイッチ１４、２３及び２６の切り換えを制御し、前段のディジタルビデオデータ送受信装置のデコーダでのデコード処理に同期させたエンコード処理をエンコーダ１０に行わせることができる。
【００３８】
次に、このディジタルビデオデータ送受信装置のデコーダ３０には、エンコーダ１０によって符号化されたＩピクチャ、Ｐピクチャ及びＢピクチャの符号化入力が供給される。
【００３９】
図２において、変換復号化系３１を構成するＥＣＣデコーダ３２は、供給された符号化入力にエラー訂正処理を施し、該ＥＣＣデコード出力を可変長復号化回路３３、制御回路３８及びＳＤＩエンコーダ３７に供給する。可変長復号化回路３３は、ＥＣＣデコーダ出力に可変長復号化処理を施し、該復号化出力を逆量子化回路３４に供給する。逆量子化回路３４は、上記復号化出力に逆量子化処理を施し、該逆量子化出力を逆ＤＣＴ回路３５に供給する。逆ＤＣＴ回路３５は、上記逆量子化出力に逆ＤＣＴ処理を施し、該逆ＤＣＴ出力をスイッチ３６の被選択端子ｂ及び加算器３９に供給する。
【００４０】
加算器３９は、逆ＤＣＴ回路３５の逆ＤＣＴ出力に後述する動き補償ＭＣ成分を加算し、該加算出力をスイッチ３６の被選択端子ｃに供給する。このスイッチ３６は、被選択端子ｂに供給された逆ＤＣＴ出力と被選択端子ｃに供給された上記加算出力とを制御回路３８の制御に応じて選択端子ａで切り換えてＳＤＩエンコーダ３７及びフレームメモリ４２に供給する。
【００４１】
ＳＤＩエンコーダ３７は、ＥＣＣデコーダ３２から供給されるＥＣＣデコード出力に応じてスイッチ３６の出力をシリアルディジタルインターフェース用にエンコード処理し、復号化された映像データを出力する。この際、このＳＤＩエンコーダ３７は、上記位相情報を図４を用いて説明したように上記映像データに付加する。
【００４２】
フレームメモリ４２は、スイッチ３６の切り換え出力を１フレーム分記憶する。このフレームメモリ４２の１フレーム分の記憶データは、前向き予測動き補償回路４１での前向き予測動き補償処理に用いられる。この前向き予測動き補償回路４１は、１フレーム分の記憶データに前向きの動き補償処理を施し、該前向き動き補償出力をスイッチ４０の被選択端子ｂに供給する。フレームメモリ４２に記憶された記憶データは、さらにフレームメモリ４３に記憶される。このフレームメモリ４３に記憶された記憶データは、合計２フレーム分遅延され、後ろ向き予測動き補償回路４４に供給される。この後ろ向き動き補償回路４４は、２フレーム分遅延された遅延出力に後ろ向きの動き補償を施し、該後ろ向き動き補償出力をスイッチ４０の被選択端子ｃに供給する。
【００４３】
スイッチ４０は、制御回路３８の制御により選択端子ａを被選択端子ｂ又は被選択端子ｃに切り換えることで、前向き予測による動き補償信号又は後ろ向き予測による動き補償信号を加算器３９に供給する。
【００４４】
以下に、このディジタルビデオデータ送受信装置が上記位相情報に応じて行うエンコード処理とデコード処理を説明する。このディジタルビデオデータ送受信装置のエンコーダ１０が、前段のディジタルビデオデータ送受信装置のデコーダのＳＤＩエンコーダが上記ＡＮＣエリアに挿入した位相情報を、位相情報検出回路１１で検出し、該検出位相情報に応じてイントラフレームとインターフレームをエンコード処理するのは、前段のディジタルビデオデータ送受信装置のイントラフレームに関する処理とインターフレームに関する処理との関係を崩すことなく、すなわちＧＯＰを崩すことなく処理を進めるためである。
【００４５】
このような関係、すなわち前段のディジタルビデオデータ送受信装置と後段のディジタルビデオデータ装置装置でＧＯＰを崩すことなくコーデック処理を進めると、１回目を除く２回目以降のコーデック処理での信号劣化が無くなる。例えば、ディジタルビデオデータ送受信装置を図５のように接続する場合を考慮する。この図５において、ディジタルビデオデータ送受信装置５１、５９及び６４は、イントラフレームによる符号化画像であるＩピクチャと、インターフレームによる符号化画像であるＢピクチャとの位相関係を各装置内で守りながらコーデック処理を進めている。ここで、ＩピクチャはＤＣＴによる変換符号化で、ＢピクチャはＭＣ＋ＤＣＴによる変換符号化により得られる。また、該当するフレームに対して、時間的に前の動き補償フレームで差分をとるときを前方予測、時間的に後ろの動き補償フレームで差分をとるときを後方予測、両方でとるときを両方向予測という。
【００４６】
ディジタルビデオデータ送受信装置５１、５９及び６４は、予測符号の差分信号を生成するとき、各装置内において図中ＤＣＴ-Ｑ-ＩＤＣＴと記された変換符号化回路（以下、ＤＣＴ-Ｑ-ＩＤＣＴ回路という。）での変換符号化処理の後の画像であるＩピクチャを使っている。このような場合をローカルデコーダ有りとする。また、各ディジタルビデオデータ送受信装置５１、５９及び６４においては、３フレーム完結であるからフレーム並びはＩＢＩ・・・である。つまり、３フレームでＢピクチャを作っている。
【００４７】
例えば、ディジタルビデオデータ送受信装置５１には、入力映像信号ｆ0が供給されている。入力映像信号ｆ0は、本来、１本のＳＤＩインターフェースでディジタルビデオデータ送受信装置５１に供給されるが、ここでは説明の都合上３本の線を用いて説明する。この３本の線は、時間的にずれて入力するフレーム画像を同時に示すために使っている。この３本の線のうちの先ず１本目（シリアルインターフェースでいうと一番最初の入力データ）の入力映像信号をｆ0（１）とし、以下ｆ0（２）、ｆ0（３）とする。同様に、ディジタルビデオデータ送受信装置５１の出力（ディジタルビデオデータ送受信装置５９の入力であるが、以下では前段に接続されたディジタルビデオデータ送受信装置の出力とする。）をｆ1（１）、ｆ1（２）及びｆ1（３）、ディジタルビデオデータ送受信装置５９の出力をｆ2（１）、ｆ2（２）及びｆ2（３）、ディジタル送受装置６４の出力をｆ3（１）、ｆ3（２）及びｆ3（３）とする。
【００４８】
また、例えば、ディジタルビデオデータ送受信装置５１の内部では、コーデック処理をエンコーダとデコーダによってそれぞれ行わせているが、ＤＣＴ-Ｑ-ＩＤＣＴ回路５２、ＤＣＴ-Ｑ-ＩＤＣＴ回路５５及びＤＣＴ-Ｑ-ＩＤＣＴ回路５８の各再量子化回路Ｑがエンコード処理とデコード処理を分ける部分となる。この再量子化回路Ｑの量子化ステップと、ＩＤＣＴ回路の出力丸めが信号に歪を与え、画像歪の原因を作る。
【００４９】
但し、変換符号化回路であるＤＣＴ-Ｑ-ＩＤＣＴ回路で、常に信号歪が起こるわけではなく、単純に変換の繰り返しを行うとき、目的の精度を満足する演算精度をこの系に与えれば１回目を除く２回目以降のコーデック処理での信号劣化はない。
【００５０】
例えば、ディジタルビデオデータ送受信装置５１の内部でのコーデック処理を考慮する。先ず、入力映像信号ｆ0（１）及びｆ0（３）をＤＣＴ-Ｑ-ＩＤＣＴ回路５２及び５８で変換符号した変換出力を動き補償（図中ＭＣという。）回路５３及び５７で動き補償し、該２つのＭＣ出力を入力映像信号ｆ0（２）から減算器５４で減算する。次に、この減算器５４の減算出力をＤＣＴ-Ｑ-ＩＤＣＴ回路５５で変換符号化する。そして、ＤＣＴ-Ｑ-ＩＤＣＴ回路５５の変換出力にＭＣ回路５３及び５７の２つのＭＣ出力を加算器５６で加算する。すると、加算器５６は、Ｂピクチャを出力する。すなわち、このディジタルビデオデータ送受信装置５１は、デコード出力ｆ1（２）としてＢピクチャを出力する。ここで、デコード出力ｆ1（１）及びｆ1（３）は、１回目の変換符号化処理を行うＤＣＴ-Ｑ-ＩＤＣＴ回路５２及び５８において、再量子化部Ｑ及びＩＤＣＴ部が発生する信号歪を受けたＩピクチャとなる。
【００５１】
ここで、Ｉピクチャが単純に繰り返される場合には、２回目以降に信号の劣化が生じないのであるから、ディジタルビデオデータ送受信装置５９のＭＣ回路６０及び６１の出力も変化がない。したがって、１回目のＤＣＴ-Ｑ-ＩＤＣＴ回路５５の変換出力と、Ｂピクチャを復元して得た画像からＭＣ出力を減じて得られた減算器６２の減算出力は、同一のものである。これがＤＣＴ-Ｑ-ＩＤＣＴ回路６３の入力となるのであるから、Ｂピクチャもまた２回目以降の信号劣化がなくなる。
【００５２】
次に、ディジタルビデオデータ送受信装置を図６のように接続する場合を考慮する。この図６においても、ディジタルビデオデータ送受信装置７１、８１及び８６は、イントラフレームによる符号化画像であるＩピクチャと、インターフレームによる符号化画像であるＢピクチャとの位相関係を各装置内で守りながらコーデック処理を進めている。なお、ディジタルビデオデータ送受信装置７１、８１及び８６は、予測符号の差分信号を生成するとき、各装置内において変換符号化前の入力信号によって予測符号化の差分を作っている。このような場合をローカルデコーダ無しとする。
【００５３】
例えば、ディジタルビデオデータ送受信装置７１の内部でのコーデック処理を考慮する。先ず、入力映像信号ｆ0（１）及びｆ0（３）をＤＣＴ-Ｑ-ＩＤＣＴ回路７２及び８０に供給する前にＭＣ回路７３及び７８で動き補償し、該２つのＭＣ出力を入力映像信号ｆ0（２）から減算器７５で減算する。次に、この減算器７５の減算出力をＤＣＴ-Ｑ-ＩＤＣＴ回路７６で変換符号化する。そして、ＤＣＴ-Ｑ-ＩＤＣＴ回路７６の変換出力にＭＣ回路７４及び７９の２つのＭＣ出力を加算器７７で加算する。すると、加算器７７は、Ｂピクチャを出力する。ここで、ＭＣ回路７４及び７９は、ＤＣＴ-Ｑ-ＩＤＣＴ回路７２及び８０の変換出力をＭＣ補償している。すなわち、このディジタルビデオデータ送受信装置７１は、デコード出力ｆ1（２）としてＢピクチャを出力する。ここで、デコード出力ｆ1（１）及びｆ1（３）は、１回目の変換符号化処理を行うＤＣＴ-Ｑ-ＩＤＣＴ回路７２及び８０において、再量子化部Ｑ及びＩＤＣＴ部が発生する信号歪を受けたＩピクチャとなる。
【００５４】
ここで、Ｉピクチャが単純に繰り返される場合には、２回目以降に信号の劣化が生じないのであるから、ディジタルビデオデータ送受信装置８１のＭＣ回路８２及び８３の出力も変化がなく、ＭＣ回路７４及び７９の出力と等しくなる。したがって、全く同じものを減算器８４でデコード出力ｆ1（２）であるＢピクチャから減算することになるので、ＤＣＴ-Ｑ-ＩＤＣＴ回路７６の変換出力とＤＣＴ-Ｑ-ＩＤＣＴ回路８５の変換出力は等しくなる。したがって、Ｉピクチャの劣化無しの条件と同じになり、この場合もＢピクチャは２回目以降の劣化を生じさせない。
【００５５】
例えば、図５に示したローカルデコーダが有る場合において、ＧＯＰ内のＩＢＩの位相が崩れない状態でコーデックを繰り返した場合には、図７に示すように、映像信号を初めてコーデックした処理の後には信号劣化が生じない。この図７では、信号劣化の尺度を縦軸に示すＳ／Ｎで示している。また、横軸にはコーデックの回数を示している。ただし、この図７のように、Ｓ／Ｎが一定となるのは、量子化器を含んだ直交変換器が出力精度を満たすように設計されているときである。それ以外では、演算精度により緩やかに右下がりとなる。
【００５６】
なお、以下では、コーデック処理毎にＧＯＰ内の位相が崩れた場合を想定して、ＩピクチャとＢピクチャが交番するような場合について説明する。
【００５７】
例えば、図８に示すような場合、すなわち、ディジタルビデオデータ送受信装置９１、９２、９３及び９４がＳＤＩインターフェースで接続され、コーデック処理を繰り返す場合を考慮する。
【００５８】
ディジタルビデオデータ送受信装置９１には、入力映像信号ｆ0が供給されている。入力映像信号ｆ0は、本来、１本のＳＤＩインターフェースでディジタルビデオデータ送受信装置９１に供給されるが、ここでは説明の都合上５本の線を用いて説明する。この５本の線は、時間的にずれて入力するフレーム画像を同時に示すために使っている。この５本の線のうちの先ず１本目（シリアルインターフェースでいうと一番最初の入力データ）の入力映像信号をｆ0（１）とし、以下ｆ0（２）、ｆ0（３）、ｆ0（４）、ｆ0（５）とする。同様に、ディジタルビデオデータ送受信装置９１の出力（ディジタルビデオデータ送受信装置９２の入力であるが、以下では前段に接続されたディジタルビデオデータ送受信装置の出力とする。）をｆ1（１）、ｆ1（２）、ｆ1（３）、ｆ1（４）及びｆ1（５）とする。同様に、ディジタルビデオデータ送受信装置９２の出力をｆ2（１）、ｆ2（２）、ｆ2（３）、ｆ2（４）及びｆ2（５）とする。ディジタルビデオデータ送受信装置９３の出力をｆ3（１）、ｆ3（２）、ｆ3（３）、ｆ3（４）及びｆ3（５）とする。同様に、ディジタルビデオデータ送受信装置９４の出力をｆ4（１）、ｆ4（２）、ｆ4（３）、ｆ4（４）及びｆ4（５）とする。また、この図８は、ローカルデコーダ有りの場合を示している。
【００５９】
この図８に示したような場合、各ディジタルビデオデータ送受信装置間では、イントラフレームにより符号化されたＩピクチャと、インターフレームにより符号化されたＢピクチャやＰピクチャの位相関係をコーデック処理毎に交番させているので、図５に示したような関係が成立せず、コーデック処理の回数を重ねる度に図９の特性図に示すように信号の劣化が生じることになる。この図９においては、信号の劣化の様子をＳ／Ｎの変化として示している。
【００６０】
また、図１０には、ローカルデコーダが無い場合のディジタルビデオデータ送受信装置９５、９６、９７及び９８の位相関係が崩れた場合を想定した接続を示す。
【００６１】
この場合においても、各ディジタルビデオデータ送受信装置では、イントラフレームにより符号化されたＩピクチャと、インターフレームにより符号化されたＢピクチャやＰピクチャの位相関係をコーデック処理毎に交番させているので、図５に示したような関係が成立せず、コーデック処理の回数を重ねる度に図１１の特性図に示すように信号の劣化が生じることになる。
【００６２】
このようにコーデック処理毎にＧＯＰ内のＩピクチャ、Ｐピクチャ、Ｂピクチャの位相関係が交番することによる画質の劣化の発生を抑えるため、本発明の実施例のディジタルビデオデータ送受信装置では、上述したように位相情報検出回路１１によって位相情報を検出し、該検出位相情報に応じて制御回路１２がスイッチ１４、２３及び２６を制御して、コーデック処理を行っている。
【００６３】
なお、本発明に係るディジタル信号送信、受信及び送受信装置は、上記実施例にのみ限定されるものではなく、例えば他の動画圧縮復号化を繰り返すコーデック処理を行う送受信装置に適用されてもよい。
【００６４】
また、上記位相情報は、例えばＡＮＣデータとして予備の情報を提供するものであるから、各装置間でコーデックの種類が異なる場合は、無視してもよいしあるいは一部利用してもよい。
【００６５】
【発明の効果】
以上の説明から明らかなように、本発明に係る映像処理装置及び方法によれば、グループオブピクチャを構成するフレーム内符号化信号とフレーム間符号化信号のうちのいずれかからなる所定の種類の第１の符号化信号と、所定の種類の第２の符号化信号とが互いに何フレーム分離れているかを示す情報を、各復号化信号と共に出力するので、コーデックの際に画質の劣化を生じさせない。
【００６６】
また、本発明に係る映像処理装置及び方法によれば、グループオブピクチャを構成するフレーム内符号化信号とフレーム間符号化信号のうちのいずれかからなる所定の種類の第１の符号化信号と、所定の種類の第２の符号化信号とが互いに何フレーム分離れているかを示す情報を検出し、検出した情報に応じて、前段で符号化されて復号化された各復号化信号を、前段での符号化時と同じ種類で符号化するので、コーデックの際に画質の劣化を生じさせない。
【００６７】
さらに、本発明に係る映像処理装置及び方法によれば、グループオブピクチャを構成するフレーム内符号化信号とフレーム間符号化信号のうちのいずれかからなる所定の種類の第１の符号化信号と、所定の種類の第２の符号化信号とが互いに何フレーム分離れているかを示す情報を、各復号化信号と共に出力し、上記所定の種類の第１の符号化信号と、所定の種類の第２の符号化信号とが互いに何フレーム分離れているかを示す情報を検出し、検出した情報に応じて、前段で符号化されて復号化された各復号化信号を、前段での符号化時と同じ種類で符号化するので、コーデック処理の際に画質の劣化を生じさせず、コーデック処理の繰り返しを品質を保って行うことができる。
【図面の簡単な説明】
【図１】本発明の実施例のディジタルビデオデータ送受信装置のエンコード側の概略構成を示すブロック図である。
【図２】本発明の実施例のディジタルビデオデータ送受信装置のデコード側の概略構成を示すブロック図である。
【図３】位相情報を説明するための図である。
【図４】位相情報の挿入場所を説明するための図である。
【図５】ローカルデコーダ有りの場合のディジタルビデオデータ送受信装置の動作を説明するための図である。
【図６】ローカルデコーダ無しの場合のディジタルビデオデータ送受信装置の動作を説明するための図である。
【図７】ディジタルビデオデータ送受信装置で２回目以降のコーデックにおいて画質の劣化が生じないことを示すための特性図である。
【図８】ローカルデコーダ有りの場合の従来のディジタルビデオデータ送受信装置の動作を説明するための図である。
【図９】図８を用いて説明した従来のディジタルビデオデータ送受信装置のコーデックでの画質劣化を示すための特性図である。
【図１０】ローカルデコーダ無しの場合の従来のディジタルビデオデータ送受信装置の動作を説明するための図である。
【図１１】図１０を用いて説明した従来のディジタルビデオデータ送受信装置のコーデックでの画質劣化を示すための特性図である。
【図１２】ＭＰＥＧによる符号化処理を説明するための図である。
【符号の簡単な説明】
１１ 位相情報検出回路
１２ 制御回路
１５ 離散コサイン変換回路
１６ 量子化回路
１７ 可変長符号化回路
１８ エラー訂正処理回路
１９ 逆量子化回路
２０ 逆ＤＣＴ回路
２４、２８ フレームメモリ
２５ 後ろ向き予測動き補償回路
２７ 前向き予測動き補償回路
Claims (14)
- 符号化画像データを復号化処理することより得られた画像データを符号化処理する符号化装置において、
上記画像データを、上記符号化画像データのグループオブピクチャ内においてピクチャがどの順番で配列されているかを示す位相情報とともに入力する入力手段と、
上記入力手段により入力された上記位相情報を検出する検出手段と、
上記画像データを符号化処理して符号化画像データを生成する符号化手段と、
上記検出手段により検出された上記位相情報を用いて、上記順番を保持して符号化処理するように、上記符号化手段の符号化処理を制御する制御手段と
を備えることを特徴とする符号化装置。 - 上記位相情報は、上記画像データに多重化されており、
上記検出手段は、上記入力手段により入力された上記画像データから、上記位相情報を検出する
ことを特徴とする請求項１記載の符号化装置。 - 上記符号化手段により生成された符号化画像データを、上記検出手段により検出された位相情報とともに出力する出力手段を更に備える
ことを特徴とする請求項１又は２記載の符号化装置。 - 符号化画像データを復号化処理することより得られた画像データを符号化処理する符号化装置において、
上記画像データを、ＩピクチャとＩピクチャとが互いに何フレーム離れているか、又は、ＩピクチャとＰピクチャとが互いに何フレーム離れているか、又は、ＰピクチャとＰピクチャとが互いに何フレーム離れているか、を少なくとも示す位相情報とともに入力する入力手段と、
上記入力手段により入力された上記位相情報を検出する検出手段と、
上記画像データを符号化処理して符号化画像データを生成する符号化手段と、
上記検出手段により検出された上記位相情報を用いて符号化処理するように、上記符号化手段の符号化処理を制御する制御手段と
を備えることを特徴とする符号化装置。 - 符号化画像データを復号化処理することより得られた画像データを符号化処理する符号化部と、符号化処理された符号化画像データを復号化処理して出力する復号化部とを有する符号化復号化装置において、
上記符号化部は、
上記画像データを、上記符号化画像データのグループオブピクチャ内においてピクチャがどの順番で配列されているかを示す位相情報とともに入力する入力手段と、
上記入力手段により入力された上記位相情報を検出する検出手段と、
上記画像データを符号化処理して符号化画像データを生成する符号化手段と、
上記検出手段により検出された上記位相情報を用いて、上記順番を保持して符号化処理するように、上記符号化手段の符号化処理を制御する制御手段と
を備え、
上記復号化部は、
上記符号化手段により生成された上記符号化画像データを復号化処理する復号化手段と、
上記検出手段により検出された位相情報を、上記復号化手段により復号化処理された上記画像データとともに出力する出力手段と
を備えることを特徴とする符号化復号化装置。 - 上記出力手段は、上記検出手段により検出された上記位相情報を、上記復号化手段により復号化処理された上記画像データに多重化して出力する
ことを特徴とする請求項５記載の符号化復号化装置。 - 画像データを符号化処理する符号化部と、符号化処理された符号化画像データを復号化処理して出力する復号化部とを有する符号化復号化装置において、
上記符号化部は、
上記画像データを、ＩピクチャとＩピクチャとが互いに何フレーム離れているか、又は、ＩピクチャとＰピクチャとが互いに何フレーム離れているか、又は、ＰピクチャとＰピクチャとが互いに何フレーム離れているか、を少なくとも示す位相情報とともに入力する入力手段と、
上記入力手段により入力された上記位相情報を検出する検出手段と、
上記画像データを符号化処理して符号化画像データを生成する符号化手段と、
上記検出手段により検出された上記位相情報を用いて符号化処理するように、上記符号化手段の符号化処理を制御する制御手段と
を備え、
上記復号化部は、
上記符号化手段により生成された上記符号化画像データを復号化処理する復号化手段と、
上記検出手段により検出された位相情報を、上記復号化手段により復号化処理された上記画像データとともに出力する出力手段と
を備えることを特徴とする符号化復号化装置。 - 符号化画像データを復号化処理することより得られた画像データを符号化処理する符号化方法において、
上記画像データを、 上記符号化画像データのグループオブピクチャ内においてピクチャがどの順番で配列されているかを示す位相情報とともに入力する入力工程と、
上記入力工程により入力された上記位相情報を検出する検出工程と、
上記画像データを符号化処理して符号化画像データを生成する符号化工程と、
上記検出工程により検出された上記位相情報を用いて、上記順番を保持して符号化処理するように、上記符号化工程の符号化処理を制御する制御工程と
を備えることを特徴とする符号化方法。 - 上記位相情報は、上記画像データに多重化されており、
上記検出ステップでは、上記入力手段により入力された上記画像データから、上記位相情報を検出する
ことを特徴とする請求項８記載の符号化方法。 - 上記符号化工程により生成された符号化画像データを、上記検出工程により検出された上記位相情報とともに出力する出力工程を更に備える
ことを特徴とする請求項８記載の符号化方法。 - 画像データを符号化処理する符号化方法において、
上記画像データを、ＩピクチャとＩピクチャとが互いに何フレーム離れているか、又は、ＩピクチャとＰピクチャとが互いに何フレーム離れているか、又は、ＰピクチャとＰピクチャとが互いに何フレーム離れているか、を少なくとも示す位相情報とともに入力する入力工程と、
上記入力工程により入力された上記位相情報を検出する検出工程と、
上記画像データを符号化処理して符号化画像データを生成する符号化工程と、
上記検出工程により検出された上記位相情報を用いて、上記配列を保持して符号化処理するように、上記符号化工程の符号化処理を制御する制御工程と
を備えることを特徴とする符号化方法。 - 符号化画像データを復号化処理することより得られた画像データを符号化処理し、符号化処理された符号化画像データを復号化処理して出力する符号化復号化方法において、
上記画像データを、上記符号化画像データのグループオブピクチャ内においてピクチャがどの順番で配列されているかを示す位相情報とともに入力する入力工程と、
上記入力工程により入力された上記位相情報を検出する検出工程と、
上記画像データを符号化処理して符号化画像データを生成する符号化工程と、
上記検出工程により検出された上記位相情報を用いて、上記順番を保持して符号化処理するように、上記符号化工程の符号化処理を制御する制御工程と、
上記符号化工程により生成された上記符号化画像データを復号化処理する復号化工程と、
上記検出工程により検出された位相情報を、上記復号化工程により復号化処理された上記画像データとともに出力する出力工程と
を備えることを特徴とする符号化復号化方法。 - 上記出力工程では、上記検出工程により検出された上記位相情報を、上記復号化工程により復号化処理された上記画像データに多重化して出力することを特徴とする請求項１１記載の符号化復号化方法。
- 画像データを符号化処理し、符号化処理された符号化画像データを復号化処理して出力する符号化復号化方法において、
上記画像データを、ＩピクチャとＩピクチャとが互いに何フレーム離れているか、又は、ＩピクチャとＰピクチャとが互いに何フレーム離れているか、又は、ＰピクチャとＰピクチャとが互いに何フレーム離れているか、を少なくとも示す位相情報とともに入力する入力工程と、
上記入力工程により入力された上記位相情報を検出する検出工程と、
上記画像データを符号化処理して符号化画像データを生成する符号化工程と、
上記検出工程により検出された上記位相情報を用いて、上記配列を保持して符号化処理するように、上記符号化工程の符号化処理を制御する制御工程と、
上記符号化工程により生成された上記符号化画像データを復号化処理する復号化工程と、
上記検出手段により検出された位相情報を、上記復号化工程により復号化処理された上記画像データとともに出力する出力工程と
を備えることを特徴とする符号化復号化方法。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13065194A JP3653745B2 (ja) | 1994-06-13 | 1994-06-13 | 符号化装置及び方法並びに符号化復号化装置及び方法 |
| US08/477,855 US5715009A (en) | 1994-03-29 | 1995-06-07 | Picture signal transmitting method and apparatus |
| US09/497,026 USRE40415E1 (en) | 1994-03-29 | 2000-02-02 | Picture signal transmitting method and apparatus |
| US12/152,290 USRE43238E1 (en) | 1994-03-29 | 2008-05-12 | Picture signal transmitting method and apparatus |
| US12/152,287 USRE43111E1 (en) | 1994-03-29 | 2008-05-12 | Picture signal transmitting method and apparatus |
| US12/152,289 USRE43021E1 (en) | 1994-03-29 | 2008-05-12 | Picture signal transmitting method and apparatus |
| US12/152,286 USRE43043E1 (en) | 1994-03-29 | 2008-05-12 | Picture signal transmitting method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13065194A JP3653745B2 (ja) | 1994-06-13 | 1994-06-13 | 符号化装置及び方法並びに符号化復号化装置及び方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005009457A Division JP3891198B2 (ja) | 2005-01-17 | 2005-01-17 | 復号装置及び方法、並びに伝送装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07336678A JPH07336678A (ja) | 1995-12-22 |
| JP3653745B2 true JP3653745B2 (ja) | 2005-06-02 |
Family
ID=15039352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13065194A Expired - Lifetime JP3653745B2 (ja) | 1994-03-29 | 1994-06-13 | 符号化装置及び方法並びに符号化復号化装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3653745B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007074467A (ja) * | 2005-09-08 | 2007-03-22 | Sony Corp | 情報処理装置および方法、送信装置および方法、記録装置および方法、並びにプログラム |
-
1994
- 1994-06-13 JP JP13065194A patent/JP3653745B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07336678A (ja) | 1995-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5343248A (en) | Moving image compressing and recording medium and moving image data encoder and decoder | |
| US7146056B2 (en) | Efficient spatial scalable compression schemes | |
| USRE35158E (en) | Apparatus for adaptive inter-frame predictive encoding of video signal | |
| JP3720875B2 (ja) | トランスコーディング方法及び装置 | |
| KR950011200B1 (ko) | 인터레이스 동화상 신호의 압축 장치 | |
| KR100628494B1 (ko) | 화상복호화방법 및 장치와 기록매체 | |
| JP3365771B2 (ja) | ビデオ信号圧縮装置 | |
| US5473380A (en) | Picture signal transmitting method and apparatus | |
| KR100505306B1 (ko) | 동화상신호의부호화방법및장치와,동화상신호의복호화방법및장치 | |
| US6256349B1 (en) | Picture signal encoding method and apparatus, picture signal transmitting method, picture signal decoding method and apparatus and recording medium | |
| US5991445A (en) | Image processing apparatus | |
| JPH07212761A (ja) | 階層符号化装置及び階層復号化装置 | |
| US5905534A (en) | Picture decoding and encoding method and apparatus for controlling processing speeds | |
| US5703651A (en) | Motion picture expert group (MPEG) video coder/decoder apparatus | |
| KR100226563B1 (ko) | 동화상 데이타 복호화장치 | |
| JP2898413B2 (ja) | 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法 | |
| JP3245496B2 (ja) | 画像符号化方法、画像符号化回路、画像符号化装置及び再生装置 | |
| JP3653745B2 (ja) | 符号化装置及び方法並びに符号化復号化装置及び方法 | |
| US20030016757A1 (en) | Signal processing apparatus and method | |
| JP3891198B2 (ja) | 復号装置及び方法、並びに伝送装置及び方法 | |
| US6490321B1 (en) | Apparatus and method of encoding/decoding moving picture using second encoder/decoder to transform predictive error signal for each field | |
| JPH06276481A (ja) | 画像信号符号化及び復号化方法、並びに記録媒体 | |
| JPH1023415A (ja) | 画像符号化復号方法および装置 | |
| JP3401273B2 (ja) | 符号化装置 | |
| JP3168723B2 (ja) | 映像信号の符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040810 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050221 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080311 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140311 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |