JP4320509B2 - 映像再符号化装置および方法 - Google Patents
映像再符号化装置および方法 Download PDFInfo
- Publication number
- JP4320509B2 JP4320509B2 JP2000365641A JP2000365641A JP4320509B2 JP 4320509 B2 JP4320509 B2 JP 4320509B2 JP 2000365641 A JP2000365641 A JP 2000365641A JP 2000365641 A JP2000365641 A JP 2000365641A JP 4320509 B2 JP4320509 B2 JP 4320509B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- field
- superimposed
- video signal
- repeat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ２("Generic coding of Moving Pictures and associated audio information", ISO/IEC 13818)符号化方式に代表される動き補償手段を備えた画像符号化装置で生成したストリームに対して、画質劣化を抑えながら文字や画像データを重畳するスーパーインポーズ機能を備えた再符号化装置および方法に関する。
【０００２】
【従来の技術】
現在、日本のアナログ放送は２９．９７Ｈｚのフレーム周波数が用いられており、通常家庭で使用されているアナログＶＴＲやＴＶ受像機等は２９．９７Ｈｚのみのフレーム周波数に対応する。そのため、映画のようなフレーム周波数２４Ｈｚで作成された素材を放送する場合、シネテレ変換と呼ぶ２４Ｈｚから２９．９７Ｈｚへの変換を行うため、一定間隔で同じフィールド画像が繰り返される。
【０００３】
一方、デジタル放送では、伝送帯域を効率よく利用するため、ＭＰＥＧ２規格と呼ばれる画像圧縮技術を用いた画像符号化が行われている。家庭ではＳＴＢ(Set Top Box)と呼ばれるデジタル受信機を用いてＭＰＥＧ２データの復号を行い、アナログ映像信号をＴＶ受像機に出力する。
【０００４】
ＭＰＥＧ２規格は、符号化されたストリームのフレーム周波数やフレーム構造とＴＶ受像機の持つフレーム周波数やフレーム構造が異なる場合、ＳＴＢが周波数変換を行いＴＶ受像機が再生できるよう符号化パラメータとして、frame_rate_codeと呼ぶフレーム周波数情報と、top_field_firstと呼ぶ開始フィールドの位置情報と、repeat_first_fieldと呼ぶ次フィールドのリピート情報等が存在する。
【０００５】
そのため、ＭＰＥＧ２規格を用いたデジタル放送では従来のアナログ放送と異なり、エンコード時にシネテレ変換をする必要がない。
【０００６】
また、放送局内で用いられる放送用機材もＭＰＥＧ２を用いた機種が開発されている。このような機材間の接続インターフェースは従来の非圧縮のデジタル機材で使用されているＳＤＩ(serial digital interface)（ＳＭＰＴＥ−２５９Ｍ規格）／ＨＤ−ＳＤＩ（ＳＭＰＴＥ−２９２Ｍ規格）では、インターフェース間でデコード（伸張）、エンコード（圧縮）を繰り返すため伝送回数に従って画質劣化が発生するため、ＭＰＥＧ２ストリームを直接伝送する方式としてＳＭＰＴＥ−３１０Ｍ規格："Synchronous Serial Interface for MPEG-2 Digital Transport Streams"が規格化されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、前記ＭＰＥＧ２ストリームに様々な映像効果やスーパーインポーズ処理を加えたり、４：２：２／４：２：０クロマフォーマット変換や、符号化レートを変換するためにトランスコーダ（再符号化装置）が必要となる。
【０００８】
上述したように、放送局内でも機器間の伝送インターフェースとして非圧縮のデジタルインターフェースに代わりＭＰＥＧ２ストリームが使用されつつあるが、ＭＰＥＧ２ストリームの持つフレーム周波数やフレーム構造が通常放送されるフレーム周波数やフレーム構造と異なると次のような課題がある。
【０００９】
以下、２４Ｈｚの映画素材を、２９．９７Ｈｚの４８０ｉ／６０方式すなわち４８０ラインをインターレースで６０フィールド走査する方式に変換する場合の例について述べる。
【００１０】
スーパーインポーズ処理等を行う場合、ＭＰＥＧ２ストリームを映像信号に復号し、スーパーインポーズ処理を行い、再エンコード処理を行う際に、大きく画質劣化が発生することである。これは、もともと２４Ｈｚで符号化されていたデータを映像信号に戻す段階で２９．９７Ｈｚとなり、２９．９７Ｈｚの信号に対しスーパーインポーズ処理を行うため、再エンコード時も２９．９７Ｈｚで符号化しなければならないため、符号化効率が落ち画質劣化が知覚されやすくなるということである。
【００１１】
例えば、１画面が７２０画素×４８０ラインで構成される２４Ｈｚの映画素材が６Ｍｂｐｓ符号化レートで符号化されていたとすると、１画素あたりの割り当て符号量は、６，０００，０００ｂｐｓ／（７２０画素×４８０ライン×２４Ｈｚ）＝０．７２ｂｉｔとなるのに対し、適時リピートフィールドを行いフレーム周波数２９．９７Ｈｚで符号化すると、６，０００，００００ｂｐｓ／（７２０画素×４８０ライン×２９．９７Ｈｚ）＝０．５８ｂｉｔとなり、１画素あたりの割り当て符号量は８０％程度に減少するためである。
【００１２】
そこで本発明は、放送方式と異なるフレーム周波数やフレーム構造を持つＭＰＥＧ２ストリームに対し、スーパーインポーズ処理を行う際、画質劣化を最大限抑えながら再びＭＰＥＧ２ストリームを生成することを目的とする。
【００１３】
【課題を解決するための手段】
上述の課題を解決するため、本発明に係る映像再符号化装置は、第１のフレーム周波数で符号化されたＭＰＥＧ２映像ストリームを復号化し、その復号画像の再生映像信号を前記第１のフレーム周波数より高い第２のフレーム周波数で出力するとき、ＭＰＥＧ２符号化パラメータである、再生映像信号がトップフィールドから始まるか否かを示すtop_field_first信号と復号した映像信号をフィールドリピートするか否かを示すrepeat_first_field信号に基づいて前記再生映像信号のリピートフィールド画像を生成する機能を備えたビデオデコーダと、文字情報または画像情報を静止画又は動画のスーパーインポーズ映像として前記第２のフレーム周波数で前記再生映像信号に重畳するスーパーインポーズ手段と、前記スーパーインポーズ映像が重畳された前記再生映像信号を前記第１あるいは前記第２のフレーム周波数で再びＭＰＥＧ２符号化するビデオエンコーダとを備える。
前記ビデオデコーダは、前記top_field_first信号と前記repeat_first_field信号に基づいて、前記再生映像信号が前記ＭＰＥＧ２映像ストリームの先頭フィールドか否かを示すピクチャ開始情報と、前記再生映像信号が前記リピートフィールド画像か否かを示すリピートフィールド情報とを前記再生映像信号に同期して出力する手段を有する。
前記スーパーインポーズ手段は、前記スーパーインポーズ映像が静止画か動画かを判別し、その判別結果を前記スーパーインポーズ映像に同期して出力する手段と、前記判別結果により前記スーパーインポーズ映像が静止画であるとき、前記リピートフィールド情報に基づいて前記再生映像信号が前記リピートフィールド画像であるか否かを判断し、前記リピートフィールド画像であれば、前記静止画のスーパーインポーズ映像を重畳しないで前記再生映像信号を出力する一方、前記リピートフィールド画像でなければ、前記ピクチャ開始情報に基づいて前記静止画のスーパーインポーズ映像を前記ＭＰＥＧ２映像ストリームの先頭フィールドから前記再生映像信号に重畳すると共に、前記判別結果により前記スーパーインポーズ映像が動画であるとき、前記ピクチャ開始情報と前記リピートフィールド情報に拠らずに前記動画のスーパーインポーズ映像を前記再生映像信号に重畳する手段とを有する。
前記ビデオエンコーダは、前記静止画のスーパーインポーズ映像が重畳された前記再生映像信号を前記第１のフレーム周波数でＭＰＥＧ２符号化する一方、前記動画のスーパーインポーズ映像が重畳された前記再生映像信号を前記第２のフレーム周波数でＭＰＥＧ２符号化する。
【００１４】
また、本発明に係る映像再符号化方法は、第１のフレーム周波数で符号化されたＭＰＥＧ２映像ストリームを復号化し、その復号画像の再生映像信号を前記第１のフレーム周波数より高い第２のフレーム周波数で出力するとき、ＭＰＥＧ２符号化パラメータである、再生映像信号がトップフィールドから始まるか否かを示すtop_field_first信号と復号した映像信号をフィールドリピートするか否かを示すrepeat_first_field信号に基づいて前記再生映像信号のリピートフィールド画像を生成する処理を備えたデコード処理と、文字情報または画像情報を静止画又は動画のスーパーインポーズ映像として前記第２のフレーム周波数で前記再生映像信号に重畳するスーパーインポーズ処理と、前記スーパーインポーズ映像が重畳された前記再生映像信号を前記第１あるいは前記第２のフレーム周波数で再びＭＰＥＧ２符号化するエンコード処理とを備える。
前記デコード処理は、前記top_field_first信号と前記repeat_first_field信号に基づいて、前記再生映像信号が前記ＭＰＥＧ２映像ストリームの先頭フィールドか否かを示すピクチャ開始情報と、前記再生映像信号が前記リピートフィールド画像か否かを示すリピートフィールド情報を前記再生映像信号に同期して出力する処理を有する。
前記スーパーインポーズ処理は、前記スーパーインポーズ映像が静止画か動画かを判別し、その判別結果を前記スーパーインポーズ映像に同期して出力する処理と、前記判別結果により前記スーパーインポーズ映像が静止画であるとき、前記リピートフィールド情報に基づいて前記再生映像信号が前記リピートフィールド画像であるか否かを判断し、前記リピートフィールド画像であれば、前記静止画のスーパーインポーズ映像を重畳しないで前記再生映像信号を出力する一方、前記リピートフィールド画像でなければ、前記ピクチャ開始情報に基づいて前記静止画のスーパーインポーズ映像を前記ＭＰＥＧ２映像ストリームの先頭フィールドから前記再生映像信号に重畳すると共に、前記判別結果により前記スーパーインポーズ映像が動画であるとき、前記ピクチャ開始情報と前記リピートフィールド情報に拠らずに前記動画のスーパーインポーズ映像を前記再生映像信号に重畳する処理とを有する。
前記エンコード処理は、前記静止画のスーパーインポーズ映像が重畳された前記再生映像信号を前記第１のフレーム周波数でＭＰＥＧ２符号化する一方、前記動画のスーパーインポーズ映像が重畳された前記再生映像信号を前記第２のフレーム周波数でＭＰＥＧ２符号化する。
【００１８】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。図中で同じ機能を有する回路には同じ番号を付している。
【００１９】
図１は、本発明によるスーパーインポーズ機能を備えた再符号化装置のシステム概要を示すブロック図で、ＴＳデコーダ１、音声遅延メモリ２、ＴＳエンコーダ３、ビデオデコーダ４、スーパーインポーズ回路５、ビデオエンコーダ６で構成される。
【００２０】
ＴＳデコーダ１は、伝送されるＭＰＥＧ２−ＴＳ（トランスポートストリーム）１００から映像信号と音声信号を分離し、映像信号をＭＰＥＧ２映像ストリーム１０３としてビデオデコーダ４に、音声信号を音声ストリーム１０１として音声遅延メモリ２にそれぞれ出力する。
【００２１】
音声遅延メモリ２は、映像信号と音声信号を同期させるための遅延メモリで、ビデオエンコーダ４、スーパーインポーズ回路５、ビデオエンコーダ６で映像信号が遅延する時間、音声ストリーム１０１を遅延し、遅延した音声ストリーム１０２としてＴＳエンコーダ３に出力する。ここで、音声ストリームはＭＰＥＧ２符号化方式で圧縮されたものや非圧縮のＰＣＭデータ等で構成される。本実施の形態では、音声データのビットレート変換やアフレコ処理（差し替え）を想定していないため映像信号と同期させるための遅延メモリを用いているが、音声信号の再処理を必要とする場合、遅延メモリ２に加え再処理用の音声エンコーダが必要となる。また、映像、音声以外のデータがＴＳストリームに含まれる場合、外部メモリを用いて遅延やデータの再生成が必要となるが、本実施の形態は映像信号の処理が主目的であるため省略している。
【００２２】
図２は、ビデオデコーダ４の詳細な回路構成例を示したもので、ＶＬＤ（可変長符号復号器）回路４０、逆量子化回路４１、逆ＤＣＴ回路４２、動き補償回路４３、パラメータメモリ４４、同期発生回路４５で構成される。
【００２３】
従来技術を用いたビデオデコーダと異なる点は、同期発生回路４５を用いて、ＭＰＥＧ２ストリーム上のピクチャ開始情報１０７とリピートフィールド位置情報１０８をデコードされた映像データ１０６に同期してスーパーインポーズ回路５に出力することにある。
【００２４】
ＶＬＤ回路４０は、ＭＰＥＧ２映像ストリーム１０３から可変長復号を行い、符号化パラメータ１０５をパラメータメモリ４４へ、映像データである量子化係数値データ１２３を逆量子化回路４１へ出力する。ここで、符号化パラメータ１０５はマクロブロックごとの符号化ビット数１２６とＭＰＥＧ２規格のシーケンス層以下のパラメータ、フレーム周波数情報、トップフィールド情報、リピートフィールド情報、ピクチャタイプ、フレームごとの符号化ビット数１２７、ＶＢＶディレイ値、量子化マトリクス、マクロブロックタイプ、動ベクトルデータ１２２、量子化ステップ値１２０（量子化ステップコードを量子化ステップタイプに従ってデコードしたもの）、ＤＣＴモード情報１２１等で構成される。
【００２５】
逆量子化回路４１は、量子化係数値データ１２３とマクロブロック単位で量子化ステップ値１２０をパラメータメモリから読み出して逆量子化処理を行い、ＤＣＴ係数値データ１２４を逆ＤＣＴ回路４２に出力する。逆量子化処理で使用する量子化マトリクスがユーザー定義のものを利用する場合、パラメータメモリから量子化マトリクスも読み込むものとする。
【００２６】
逆ＤＣＴ回路４２は、ＤＣＴ係数値データ１２４とＤＣＴモード情報１２１を用いて逆ＤＣＴ処理を行い、差分映像データ１２５を動き補償回路４３に出力する。
【００２７】
動き補償回路４３は、内部にそれぞれ前方向予測用、後方向予測用のフレームメモリを有し、差分映像データ１２５と動ベクトルデータ１２２を用いて動き補償処理を行いデコードされた映像データ１０６をスーパーインポーズ回路５に出力する。ここで、ＭＰＥＧ２データの持つフレーム周波数と再生系で用いられるフレーム周波数が異なる場合、適時リピートフィールド処理を行いデコードされた映像データ１０６を出力する。
【００２８】
パラメータメモリ４４は、ＶＬＤ回路４０で復号された符号化パラメータ１０５をフレーム単位で保持している。
【００２９】
同期発生回路４５は、パラメータメモリ４４から、フレーム単位で符号化パラメータを読み出し、フレーム構成情報として、ＭＰＥＧ２ストリーム上の先頭フィールドを表すピクチャ開始情報１０７と、再生フィールドがリピート処理により生成された映像データであることを示すリピートフィールド情報１０８としてスーパーインポーズ回路５に出力する。
【００３０】
図３は、フレーム周波数２４Ｈｚの映画素材を２９．９７Ｈｚの４８０ｉ／６０に再生する場合のリピートフィールドの一例を示したものである。各フィールドは、トップフィールドにＴ、ボトムフィールドにＢの記号を付し、数字でフレーム番号を表している。例えば、Ｔ０は第０フレームのトップフィールド、Ｂ０は第０フレームのボトムフィールドを表している。また、楕円形の図形はＭＰＥＧ２ストリーム上フレーム位置を表しており、記号Ｓとフレーム番号を付している。
【００３１】
ストリームＳ０は、top_field_first＝１、repeat_first_field＝１であるから、Ｔ１フィールドはＴ０フィールドのリピートフィールドで構成される。ストリームＳ１は、top_field_first＝０、repeat_first_field＝０となっているため、本来ボトムフィールドであるＢ１がトップフィールド、本来トップフィールドであるＴ２をボトムフィールドとして１フレームを構成する。ストリームＳ２は、top_field_first＝０、repeat_first_field＝１より、Ｂ２をトップフィールド、Ｔ３をボトムフィールドとして再生後、Ｂ３をＢ２のリピートフィールドで再生する。以下同様に、ストリームＳ３はtop_field_first＝１、repeat_first_field＝０より再生フレームはＴ４、Ｂ４で構成され、ストリームＳ４はtop_field_first＝１、repeat_first_field＝１よりＴ５、Ｂ５を再生後、Ｔ６をＴ５のリピートフィールドで再生する。
【００３２】
このように、４８０ｉ／６０では、１フレームはトップフィールド、ボトムフィールドの２フィールド、１秒あたり２９．９７枚のフレーム画像で構成される。一方、映画素材は１秒あたり２４枚の静止画（フレーム画像）で構成されているため、１秒あたり約６枚のフレーム画像を挿入する必要があるが、フィールド単位で挿入されるため、ＭＰＥＧ２ストリーム上のピクチャ開始位置は固定していない。
【００３３】
図４は、同期発生回路４５の出力するピクチャ開始情報１０７とリピートフィールド情報１０８の出力タイミングを表した図である。ＭＰＥＧ２ストリームの構造は図５と同じ構成とする。ピクチャ開始情報１０７は、ＭＰＥＧ２ストリーム上の先頭フィールド時に“Ｈ”となる信号であるため、Ｔ０、Ｂ１、Ｂ２、Ｔ４、Ｔ５で“Ｈ”となる。リピートフィールド情報１０８は、ＭＰＥＧ２パラメータのrepeat_first_fieldフラグからリピートフィールドのとき“Ｈ”となる信号で、repeat_first_fieldフラグがＴ０、Ｂ１、Ｔ５で“Ｈ”となっているため、それぞれＴ１、Ｂ３、Ｔ６がリピートフィールドで構成されていることを示している。
【００３４】
図５は、スーパーインポーズ回路５の構成例を示す図で、文字・画像発生回路５０、遅延メモリ５１、フレームメモリ５２、静止画判別回路５３、スーパーインポーズ領域検出回路５４、適応ミックス回路５５で構成される。
【００３５】
従来技術を用いたスーパーインポーズが、文字・画像発生回路５０と単一フレーム周波数のみに対応したミックス回路で構成されるのに対し、本実施の形態では発生したスーパーインポーズ画像データの静止画・動画判定を行う静止画判別回路５３と、遅延メモリ５１と、フレームメモリ５２と、スーパーインポーズ領域抽出回路５４が加わり、ミックス回路も映像データ、スーパーインポーズ画像データのフレーム構造とフレーム周波数情報を考慮して映像データのミックス処理を行う適応ミックス回路５５に置き換えている。
【００３６】
文字・画像発生回路５０はスーパーインポーズする文字、画像データ１０４よりミックスする映像データ１０６の画面サイズに合わせて文字や画像データを生成し、遅延メモリ５１と静止画判別回路５３とスーパーインポーズ領域検出回路５４に出力する。また、スーパーインポーズの有無を表すスーパーインポーズ存在情報１３１を静止画判別回路５３に出力する。
【００３７】
遅延メモリ５１は１フレームのメモリを持ち、静止画判別回路５３でスーパーインポーズ画像が静止画か動画かを判定するためフレーム遅延を行い、フレーム遅延したスーパーインポーズ画像データ１３２を静止画判別回路５３と、フレームメモリ５２、スーパーインポーズ領域検出回路５４に出力する。
【００３８】
静止画判別回路５３は、スーパーインポーズ存在情報１３１より、スーパーインポーズデータが存在しない場合、スーパーインポーズ無効を、存在する場合、スーパーインポーズ画像データ１３０とフレーム遅延したスーパーインポーズ画像データ１３２の差分値の絶対和を１フィールド間に渡って累積し、あらかじめ定められたしきい値と比較して、しきい値以下の場合静止画、しきい値より大きい場合動画と判断し、スーパーインポーズフィールド情報１１０を適応ミックス回路５５とビデオエンコーダ６に出力する。また、スーパーインポーズフィールド情報１１０が動画の場合、フレームメモリ５２に１フレーム遅延したスーパーインポーズ画像データ１３２を書き込み、静止画の場合は書き込まないようにするフレーム書き込み制御信号１３３をフレームメモリ５２に出力する。なお、静止画が切り替わるフレームでは１フレーム間だけスーパーインポーズフィールド情報１１０は動画と判断され、フレームメモリ５２にフレーム遅延したスーパーインポーズ画像データ１３２を書き込む。
【００３９】
フレームメモリ５２は、１フレーム分のフレームメモリで構成され、フレーム書き込み制御信号１３３が書き込みを指示した場合、フレーム遅延したスーパーインポーズ画像データ１３２をフレームメモリに書き込み、それ以外は書き込み動作を行わない。また、適応ミックス回路５５から出力されるフィールド読み出し制御信号１３４に従い、フレームメモリ内に記録されたトップフィールドデータ、あるいはボトムフィールドデータを出力する。
【００４０】
スーパーインポーズ領域検出回路５４は、フレーム遅延したスーパーインポーズ画像データ１３２がどの座標にデータがあるかを検出し、座標情報をスーパーインポーズ領域識別信号１１１としてビデオエンコーダ６に出力する。
【００４１】
図６はスーパーインポーズ領域の検出例を示す。座標情報は画素単位でも良いが、ＭＰＥＧ２規格は映像データの制御がマクロブロック単位で行われるため、座標情報もマクロブロックアドレス単位とすることで領域情報の蓄積に必要なメモリ量を削減する事ができる。図６では、左上座標を（１，１）とし、横方向１５マクロブロック、縦方向１０マクロブロックで構成される画面の座標（５，２）のマクロブロックから座標（９，３）のマクロブロックまで文字情報が重畳されている例を示しており、マクロブロック領域が座標（５，２）−（９，３）の矩形領域だけスーパーインポーズされている識別信号１１１を出力する。
【００４２】
適応ミックス回路５５は、ピクチャ開始情報１０７と、リピートフィールド情報１０８と、スーパーインポーズフィールド情報１１０を用いて、デコードされた映像データ１０６と選択されたスーパーインポーズ画像フィールドデータ１３５のミックスを行い、スーパーインポーズ処理された映像データ１０９を出力する。
【００４３】
図７は適応ミックス回路５５のフレームメモリ読み出し制御アルゴリズムの例を示す。図７で、ＳＩＦはスーパーインポーズフィールド情報１１０を、ピクチャ開始はピクチャ開始情報１０７を、リピートフィールドはリピートフィールド情報１０８を、フィールド位置は現在のフィールド位置がトップフィールドかボトムフィールドかを表す。以下、アルゴリズムについて説明する。
【００４４】
スーパーインポーズフィールド情報１１０が動画のとき（ステップＳ１）、ＭＰＥＧ２ストリームのフレーム構造に関係なく（ステップＳ２）、現在のフィールド位置からフレームメモリから読み出すフィールド位置を決定する（ステップＳ５，Ｓ６）。
【００４５】
スーパーインポーズフィールド情報１１０が静止画のとき（ステップＳ１）、ＭＰＥＧ２ストリームの符号化情報によって読み出すフィールド位置を決定する。まず、リピートフィールド情報１０８がリピートフィールドの場合（ステップＳ３）、ビデオエンコーダ回路６では、リピートフィールドの除去を行うため、スーパーインポーズ画像の重畳は行わず、デコードした映像データ１０６をそのままスーパーインポーズ処理された映像データ１０９としてビデオエンコーダ回路６に出力する（ステップＳ９）。
【００４６】
リピートフィールド情報１０８がリピートフィールドでない場合（ステップＳ３）、ピクチャ開始情報１０７に従って（ステップＳ４）、フレームメモリ５２からトップフィールド、ボトムフィールドのスーパーインポーズ画像データを読み出しデコードされた映像データ１０６に重畳し、ビデオエンコーダ回路６に出力する（ステップＳ７，Ｓ８）。
【００４７】
また、スーパーインポーズされていない場合（ステップＳ１）、スーパーインポーズ画像の重畳は行わず、デコードした映像データ１０６をそのままスーパーインポーズ処理された映像データ１０９としてビデオエンコーダ回路６に出力する（ステップＳ９）。
【００４８】
図８、図９はそれぞれスーパーインポーズ画像が静止画、動画のときの適応ミックス回路５５の入出力信号を表したものである。
【００４９】
図９より、スーパーインポーズ画像が動画の場合、ビデオデコーダ回路４から出力されるピクチャ開始情報１０７、リピートフィールド情報１０８に関係なく、フィールド位置がトップフィールドかボトムフィールドかによって、フレームメモリから読み出すフィールドが決定されるため、トップフィールドである場合、フレームメモリからトップフィールドのスーパーインポーズされた画像データが読み出され、適応ミックス回路５５でデコードされた映像データ１０６に重畳され、スーパーインポーズ処理された映像データ１０９をビデオエンコーダ回路６に出力される。
【００５０】
図８より、スーパーインポーズ画像が静止画の場合、フレームメモリ５２には遅延メモリ５１から書き込まれないため、トップフィールドデータＩＴ０、ボトムフィールドデータＩＢ０を保持され、フレームメモリ５２から読み出されるスーパーインポーズ画像データは、ピクチャ開始情報１０７とリピートフィールド情報１０８のみから決定される。よって、入力画像がＴ０のとき、リピートフィールド情報１０８＝“Ｌ”かつピクチャ開始情報１０７＝“Ｈ”より（Ｔ０＋ＩＴ０）を出力し、Ｂ０のときリピートフィールド情報１０８＝“Ｌ”かつピクチャ開始情報１０７＝“Ｌ”より（Ｂ０＋ＩＢ０）を出力する。Ｔ１のときリピートフィールド情報＝“Ｈ”のため、Ｔ１をそのまま出力する。以下、Ｂ１のとき（Ｂ１＋ＩＴ０）を出力し、Ｔ２のとき（Ｔ２＋ＩＢ０）を出力する。
【００５１】
以上詳述したように、本実施の形態記載のスーパーインポーズ回路５を用いることで、従来は行えなかった異なるフレーム構造の画像に対して、スーパーインポーズ画像データの特性に合わせ重畳処理を行うことができるため、ビデオエンコーダ６で再符号化する際の画質劣化を防ぐことが出来る。
【００５２】
図１０は、請求項５に対応したビデオエンコーダ回路６の構成例を示したもので、フィールド間引き回路６０、適応動ベクトル探索回路６１、動き補償回路６２、適応ＤＣＴモード判定回路６３、ＤＣＴ回路６４、適応量子化制御回路６５、量子化回路６６、ＶＬＣ（可変長符号化）回路６７で構成される。
【００５３】
本実施の形態は、先に出願した特願２０００−１９７８７１の明細書の記載例を異なるフレーム構造やフレーム周波数に対応させるためのもので、フィールド間引き回路６０を除く回路構成については特願２０００−１９７８７１と同じ構成である。
【００５４】
フィールド間引き回路６０は、スーパーインポーズされた映像データ１０９がフィールド間引き処理できる場合、ＭＰＥＧ２映像ストリーム１０３と同じフレーム順序となるようにリピートフィールド情報１０８、スーパーインポーズフィールド情報１１０を用いてフィールド間引き処理を行いフィールド間引きされた映像データ１４０を適応動ベクトル探索回路６１と動き補償回路６２に出力する。
【００５５】
図１１は、フィールド間引き回路６０の制御例を表すフローチャートである。フローチャート内の符号化情報はデコードされたＭＰＥＧ２符号化パラメータ１０５を、ＳＩＦはスーパーインポーズフィールド情報１１０を表す。まず、入力であるスーパーインポーズされた映像データ１０９が符号化情報を持たない場合（ステップＳ１１）、再符号化ではないため、通常のフィールド差分値を求め（ステップＳ１２）、フィールド差分値がしきい値より大きい場合、フィールドを出力し（ステップＳ１６）、小さい場合、前フィールドと同じであるためフィールド間引きを行う（ステップＳ１５）。
【００５６】
符号化情報１０５が存在する場合（ステップＳ１１）、repeat_first_fieldフラグから生成されたリピートフィールド情報１０８が通常画像か（ステップＳ１３）、リピートフィールドかつスーパーインポーズフィールド情報１１０が動画の場合（ステップＳ１４）、フィールド出力し（ステップＳ１８）、リピートフィールド情報１０８がリピートフィールドかつスーパーインポーズフィールド情報１１０が存在しないか、静止画の場合（ステップＳ１４）、フィールド間引きを行う（ステップＳ１７）。
【００５７】
スーパーインポーズ画像データが静止画の場合、本実施の形態のスーパーインポーズを用いるとリピートフィールド位置にはスーパーインポーズ画像データは重畳されない。
【００５８】
また、スーパーインポーズ画像データが動画の場合、図９より、Ｔ０は（Ｔ０＋ＩＴ０）に、Ｔ１は（Ｔ１＋ＩＴ１）＝（Ｔ０＋ＩＴ１）となり、フィールド差分値は０とならない。スーパーインポーズ画像データが２９．９７Ｈｚで重畳されているため、ＭＰＥＧ２映像ストリームのフレーム周波数で符号化すると、スーパーインポーズ画像データのデータが欠落するため、フリッカーが発生し主観上画質が悪くなるため、２９．９７Ｈｚで符号化しフィールド間引きを行わない。
【００５９】
このように、ＭＰＥＧ２ストリームのフレーム周波数が異なる場合、従来のフィールド間引き回路ではデコードされた映像データ１０６になんらかの処理を加えると、ＭＰＥＧ２ストリームのフレーム周波数で再符号化することは不可能であったが、本実施の形態のスーパーインポーズ回路でスーパーインポーズする画像データの特性に合わせて、映像データに適時重畳するため、フィールド間引き回路でリピートフィールドの映像データを削除することができる。
【００６０】
ここで図１０に戻って構成を説明する。適応動ベクトル検索回路８０は、動ベクトル探索回路６１と選択回路７０で構成され、予測元画像がスーパーインポーズ領域となっている場合、スーパーインポーズ処理により映像データが変わっているため、動ベクトル探索回路６０で探索した動ベクトルデータ１４１を選択し、選択された動ベクトルデータとして動き補償回路６１に出力する。予測元画像がスーパーインポーズ領域でなく、かつ、現在の符号化画像がスーパーインポーズ領域となっている場合も、映像データが変わっているため動ベクトルデータ１４１を選択された動ベクトルデータ１４２として動き補償回路６２に出力する。予測元画像がスーパーインポーズ領域でなく、かつ、符号化画像がスーパーインポーズ領域でない場合、画像データはＭＰＥＧ２ストリームとなんら変わっていないため、ＭＰＥＧ２ストリームをデコードした動ベクトルデータ１２２を選択された動ベクトルデータ１４２として動き補償回路６２に出力する。
【００６１】
動き補償回路６２は、予測元映像データを蓄積するフレームメモリを有し、動ベクトルデータ１４２に従ってフィールド間引きされた映像データ１４０と予測元映像データの差分を求め、差分映像データ１４３としてＤＣＴモード判定回路６３とＤＣＴ回路６４に出力する。ここで、予測元映像データは動き補償回路内のローカルデコード部で量子化係数値データ１５０を逆量子化処理と逆ＤＣＴ処理から求めたものである。
【００６２】
適応ＤＣＴモード選択回路８１は、ＤＣＴモード判定回路６３と選択回路７１で構成される。
【００６３】
ＤＣＴモード判定回路６３は、フィールド・フレーム適応ＤＣＴ変換を用いる場合の変換モードを算出する。一般的には、輝度信号マクロブロックの垂直方向に関して連続的なライン差分と１ラインごとの差分値を比較して連続的なライン差分値の方が小さい場合フレームＤＣＴ、１ラインごとの差分値が小さい場合フィールドＤＣＴ変換を行うものとしてＤＣＴ回路６４にＤＣＴモード情報１４４を出力する。
【００６４】
選択回路７１は、スーパーインポーズ領域識別信号１１１に従い、ＭＰＥＧ２ストリームをデコードしたＤＣＴモード情報１２１とＤＣＴモード判定回路６３で算出したＤＣＴモード情報１４４を選択し、選択されたＤＣＴモード情報１４５としてＤＣＴ回路６４に出力する。
【００６５】
ＤＣＴ回路６４は、差分画像データ１４３に対して選択されたＤＣＴモード情報１４５を用いてマクロブロックごとに最適なＤＣＴ変換を行い、量子化制御回路６５と量子化回路６６に出力する。
【００６６】
量子化回路６６は、ＤＣＴ変換係数値データ１４６に対して量子化ステップ値１４７を用いて量子化処理を行い、ＶＬＣ回路６７に量子化係数値データ１５０を出力する。
【００６７】
ＶＬＣ回路６７は、量子化係数値データ１５０はランレングス、ハフマン符号を用いて符号化し、ピクチャタイプや量子化ステップ値等の符号化に必要な情報もＭＰＥＧ２規格に準拠するよう付加し、エンコードされたＭＰＥＧ２映像データ１１２をＴＳエンコーダ３に出力する。
【００６８】
適応量子化制御回路８２は、量子化制御回路６５と非スーパー領域ビット数算出回路７２、選択回路７３で構成される。
【００６９】
量子化制御回路６５は、ＤＣＴ変換係数値データ１４６のアクティビティと、ＶＬＣバッファの状態を表すＶＬＣバッファ値１５１からマクロブロックごとに最適な量子化ステップ値１４７を求める。ここで、量子化決定の手法は、ＭＰＥＧ２ ＴＭ４(Test Model 4)等に記述されている方法が一般的である。
【００７０】
非スーパー領域ビット数算出回路７２は、スーパーインポーズ領域識別信号１１１とマクロブロックごとの符号化ビット数１２６を用いて、ＭＰＥＧ２ストリーム中のスーパーインポーズされていないマクロブロックのビット数を１フレーム単位で累積し、非スーパーインポーズ領域の符号化ビット数１４８として選択回路７３に出力する。
【００７１】
選択回路７３は、非スーパーインポーズ領域の符号化ビット数１４８とフレームごとの符号化ビット数１２７と、スーパーインポーズ領域識別信号１１１と、ＶＬＣバッファ値１５１を用いて、ＭＰＥＧ２ストリームをデコードした量子化ステップ値１２０と量子化制御回路６５で算出した量子化ステップ値１４７を適応的に選択し、選択された量子化ステップ値１４９として量子化回路６６に出力する。
【００７２】
図１２は、選択回路７３の選択処理の一例を示している。まず符号化フレーム中の非スーパーインポーズ領域の符号化ビット数ＮＳＰＢ（回路では１４８）とＭＰＥＧ２ストリームからデコードした符号化フレーム全体のビット数ＡＬＬＢ（回路では１２７）を比較し（ステップＳ２１）、（ＡＬＬＢ＜ＮＳＰＢ×２）であれば、スーパーインポーズ部分の画質劣化が大きくなる可能性があるため、量子化ステップ値１４７を選択する（ステップＳ２４）。これは、スーパーインポーズする画像は静止画に近い特性を持つものが多いため、フレームあたり５０％程度の符号量があれば非スーパーインポーズ領域の画質を落とさなくてもスーパーインポーズ領域の符号化が行えるためである。（ＡＬＬＢ≧ＮＳＰＢ×２）のとき、ＶＬＣバッファの状態が目標符号量以上で符号化されている場合（ステップＳ２２）、目標符号量で制御するため量子化ステップ値１４７を選択し（ステップＳ２４）、ＶＬＣバッファの状態が目標符号量以下で符号化されている場合（ステップＳ２１）、対象マクロブロックが、スーパーインポーズ領域の場合は（ステップＳ２３）、量子化ステップ値１４７を（ステップＳ２４）、非スーパーインポーズ領域の場合（ステップＳ２３）、ＭＰＥＧ２ストリームからデコードした量子化ステップ値１２０を選択する（ステップＳ２５）。
【００７３】
また、本実施の形態ではハードウェア構成について説明したが、近年のコンピュータ処理能力の向上に伴い、リアルタイム処理を必要とする場合でも低解像度の画像や、非リアルタイム処理で良い場合、ソフトウェアで構成しても良い。
【００７４】
【発明の効果】
以上説明した本発明の再符号化装置および方法によれば、フレーム周波数の異なるＭＰＥＧ２データに、スーパーインポーズ処理を行っても、スーパーインポーズされる画像が静止画の場合、ＭＰＥＧ２データと同じフレームレートで符号化することが出来るため、再符号化時の画質劣化を最大限抑えることができるというすぐれた効果がある。
【図面の簡単な説明】
【図１】再符号化装置の全体ブロック図
【図２】ビデオデコーダ回路のブロック図
【図３】２４Ｈｚで記録されたＭＰＥＧ２ストリームの２９．９７Ｈｚへの展開例を示す図
【図４】同期発生回路の出力信号のタイミング例を示す図
【図５】適応スーパーインポーズ回路のブロック図
【図６】スーパーインポーズ領域の例を示す図
【図７】適応ミックス回路のフレームメモリ読み出し制御を表すフローチャート
【図８】 スーパーインポーズデータが静止画である場合のデータミックス例を示す図
【図９】 スーパーインポーズデータが動画である場合のデータミックス例を示す図
【図１０】フィールド間引きの制御方法を表すフローチャート
【図１１】フィールド間引きの制御方法を表すフローチャート
【図１２】適応量子化制御回路の制御方法を表すフローチャート
【符号の説明】
１ ＴＳデコーダ
２ 音声遅延メモリ
３ ＴＳエンコーダ
４ ビデオデコーダ
５ スーパーインポーズ回路
６ ビデオエンコーダ
４０ ＶＬＤ回路
４１ 逆量子化回路
４２ 逆ＤＣＴ回路
４３ 動き補償回路
４４ パラメータメモリ
４５ 同期発生回路
５０ 文字・画像発生回路
５１ 遅延メモリ
５２ フレームメモリ
５３ 静止画判別回路
５４ スーパーインポーズ領域検出回路
５５ 適応ミックス回路
６０ フィールド間引き回路
６１ 動ベクトル探索回路
６２ 動き補償回路
６３ ＤＣＴモード判定回路
６４ ＤＣＴ回路
６５ 量子化制御回路
６６ 量子化回路
６７ ＶＬＣ回路
７０ 選択回路
７１ 選択回路
７２ 非スーパー領域ビット数算出回路
７３ 選択回路
８０ 適応動ベクトル探索回路
８１ 適応ＤＣＴモード探索回路
８２ 適応量子化制御回路
１００ ＭＰＥＧ２−ＴＳストリーム
１０１ 音声ストリーム
１０２ 遅延した音声ストリーム
１０３ ＭＰＥＧ２映像ストリーム
１０４ スーパーインポーズする文字、画像データ
１０５ デコードされたＭＰＥＧ２ストリームの符号化パラメータ
１０６ デコードされた映像データ
１０７ ピクチャ開始情報
１０８ リピートフィールド情報
１０９ スーパーインポーズ処理された映像データ
１１０ スーパーインポーズフィールド情報
１１１ スーパーインポーズ領域情報
１１２ エンコードされたＭＰＥＧ２映像ストリーム
１１３ 再符号化されたＭＰＥＧ２−ＴＳストリーム
１２０ 量子化ステップ値
１２１ ＤＣＴモード
１２２ 動ベクトルデータ
１２３ 量子化係数値データ
１２４ ＤＣＴ係数値データ
１２５ 差分映像データ
１２６ マクロブロックごとの符号化ビット数
１２７ フレームごとの符号化ビット数
１３０ スーパーインポーズ画像データ
１３１ スーパーインポーズ存在情報
１３２ フレーム遅延されたスーパーインポーズ画像データ
１３３ フレーム書き込み制御信号
１３４ フィールド読み出し制御信号
１３５ 選択されたスーパーインポーズ画像フィールドデータ
１４０ フィールド間引きされた映像データ
１４１ 動ベクトルデータ
１４２ 選択された動ベクトルデータ
１４３ 差分映像データ
１４４ ＤＣＴモード
１４５ 選択されたＤＣＴモード
１４６ ＤＣＴ変換係数値
１４７ 量子化ステップ値
１４８ 非スーパーインポーズ領域の符号化ビット数
１４９ 選択された量子化ステップ値
１５０ 量子化係数値データ
１５１ ＶＬＣバッファ値
【発明の属する技術分野】
本発明は、ＭＰＥＧ２("Generic coding of Moving Pictures and associated audio information", ISO/IEC 13818)符号化方式に代表される動き補償手段を備えた画像符号化装置で生成したストリームに対して、画質劣化を抑えながら文字や画像データを重畳するスーパーインポーズ機能を備えた再符号化装置および方法に関する。
【０００２】
【従来の技術】
現在、日本のアナログ放送は２９．９７Ｈｚのフレーム周波数が用いられており、通常家庭で使用されているアナログＶＴＲやＴＶ受像機等は２９．９７Ｈｚのみのフレーム周波数に対応する。そのため、映画のようなフレーム周波数２４Ｈｚで作成された素材を放送する場合、シネテレ変換と呼ぶ２４Ｈｚから２９．９７Ｈｚへの変換を行うため、一定間隔で同じフィールド画像が繰り返される。
【０００３】
一方、デジタル放送では、伝送帯域を効率よく利用するため、ＭＰＥＧ２規格と呼ばれる画像圧縮技術を用いた画像符号化が行われている。家庭ではＳＴＢ(Set Top Box)と呼ばれるデジタル受信機を用いてＭＰＥＧ２データの復号を行い、アナログ映像信号をＴＶ受像機に出力する。
【０００４】
ＭＰＥＧ２規格は、符号化されたストリームのフレーム周波数やフレーム構造とＴＶ受像機の持つフレーム周波数やフレーム構造が異なる場合、ＳＴＢが周波数変換を行いＴＶ受像機が再生できるよう符号化パラメータとして、frame_rate_codeと呼ぶフレーム周波数情報と、top_field_firstと呼ぶ開始フィールドの位置情報と、repeat_first_fieldと呼ぶ次フィールドのリピート情報等が存在する。
【０００５】
そのため、ＭＰＥＧ２規格を用いたデジタル放送では従来のアナログ放送と異なり、エンコード時にシネテレ変換をする必要がない。
【０００６】
また、放送局内で用いられる放送用機材もＭＰＥＧ２を用いた機種が開発されている。このような機材間の接続インターフェースは従来の非圧縮のデジタル機材で使用されているＳＤＩ(serial digital interface)（ＳＭＰＴＥ−２５９Ｍ規格）／ＨＤ−ＳＤＩ（ＳＭＰＴＥ−２９２Ｍ規格）では、インターフェース間でデコード（伸張）、エンコード（圧縮）を繰り返すため伝送回数に従って画質劣化が発生するため、ＭＰＥＧ２ストリームを直接伝送する方式としてＳＭＰＴＥ−３１０Ｍ規格："Synchronous Serial Interface for MPEG-2 Digital Transport Streams"が規格化されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、前記ＭＰＥＧ２ストリームに様々な映像効果やスーパーインポーズ処理を加えたり、４：２：２／４：２：０クロマフォーマット変換や、符号化レートを変換するためにトランスコーダ（再符号化装置）が必要となる。
【０００８】
上述したように、放送局内でも機器間の伝送インターフェースとして非圧縮のデジタルインターフェースに代わりＭＰＥＧ２ストリームが使用されつつあるが、ＭＰＥＧ２ストリームの持つフレーム周波数やフレーム構造が通常放送されるフレーム周波数やフレーム構造と異なると次のような課題がある。
【０００９】
以下、２４Ｈｚの映画素材を、２９．９７Ｈｚの４８０ｉ／６０方式すなわち４８０ラインをインターレースで６０フィールド走査する方式に変換する場合の例について述べる。
【００１０】
スーパーインポーズ処理等を行う場合、ＭＰＥＧ２ストリームを映像信号に復号し、スーパーインポーズ処理を行い、再エンコード処理を行う際に、大きく画質劣化が発生することである。これは、もともと２４Ｈｚで符号化されていたデータを映像信号に戻す段階で２９．９７Ｈｚとなり、２９．９７Ｈｚの信号に対しスーパーインポーズ処理を行うため、再エンコード時も２９．９７Ｈｚで符号化しなければならないため、符号化効率が落ち画質劣化が知覚されやすくなるということである。
【００１１】
例えば、１画面が７２０画素×４８０ラインで構成される２４Ｈｚの映画素材が６Ｍｂｐｓ符号化レートで符号化されていたとすると、１画素あたりの割り当て符号量は、６，０００，０００ｂｐｓ／（７２０画素×４８０ライン×２４Ｈｚ）＝０．７２ｂｉｔとなるのに対し、適時リピートフィールドを行いフレーム周波数２９．９７Ｈｚで符号化すると、６，０００，００００ｂｐｓ／（７２０画素×４８０ライン×２９．９７Ｈｚ）＝０．５８ｂｉｔとなり、１画素あたりの割り当て符号量は８０％程度に減少するためである。
【００１２】
そこで本発明は、放送方式と異なるフレーム周波数やフレーム構造を持つＭＰＥＧ２ストリームに対し、スーパーインポーズ処理を行う際、画質劣化を最大限抑えながら再びＭＰＥＧ２ストリームを生成することを目的とする。
【００１３】
【課題を解決するための手段】
上述の課題を解決するため、本発明に係る映像再符号化装置は、第１のフレーム周波数で符号化されたＭＰＥＧ２映像ストリームを復号化し、その復号画像の再生映像信号を前記第１のフレーム周波数より高い第２のフレーム周波数で出力するとき、ＭＰＥＧ２符号化パラメータである、再生映像信号がトップフィールドから始まるか否かを示すtop_field_first信号と復号した映像信号をフィールドリピートするか否かを示すrepeat_first_field信号に基づいて前記再生映像信号のリピートフィールド画像を生成する機能を備えたビデオデコーダと、文字情報または画像情報を静止画又は動画のスーパーインポーズ映像として前記第２のフレーム周波数で前記再生映像信号に重畳するスーパーインポーズ手段と、前記スーパーインポーズ映像が重畳された前記再生映像信号を前記第１あるいは前記第２のフレーム周波数で再びＭＰＥＧ２符号化するビデオエンコーダとを備える。
前記ビデオデコーダは、前記top_field_first信号と前記repeat_first_field信号に基づいて、前記再生映像信号が前記ＭＰＥＧ２映像ストリームの先頭フィールドか否かを示すピクチャ開始情報と、前記再生映像信号が前記リピートフィールド画像か否かを示すリピートフィールド情報とを前記再生映像信号に同期して出力する手段を有する。
前記スーパーインポーズ手段は、前記スーパーインポーズ映像が静止画か動画かを判別し、その判別結果を前記スーパーインポーズ映像に同期して出力する手段と、前記判別結果により前記スーパーインポーズ映像が静止画であるとき、前記リピートフィールド情報に基づいて前記再生映像信号が前記リピートフィールド画像であるか否かを判断し、前記リピートフィールド画像であれば、前記静止画のスーパーインポーズ映像を重畳しないで前記再生映像信号を出力する一方、前記リピートフィールド画像でなければ、前記ピクチャ開始情報に基づいて前記静止画のスーパーインポーズ映像を前記ＭＰＥＧ２映像ストリームの先頭フィールドから前記再生映像信号に重畳すると共に、前記判別結果により前記スーパーインポーズ映像が動画であるとき、前記ピクチャ開始情報と前記リピートフィールド情報に拠らずに前記動画のスーパーインポーズ映像を前記再生映像信号に重畳する手段とを有する。
前記ビデオエンコーダは、前記静止画のスーパーインポーズ映像が重畳された前記再生映像信号を前記第１のフレーム周波数でＭＰＥＧ２符号化する一方、前記動画のスーパーインポーズ映像が重畳された前記再生映像信号を前記第２のフレーム周波数でＭＰＥＧ２符号化する。
【００１４】
また、本発明に係る映像再符号化方法は、第１のフレーム周波数で符号化されたＭＰＥＧ２映像ストリームを復号化し、その復号画像の再生映像信号を前記第１のフレーム周波数より高い第２のフレーム周波数で出力するとき、ＭＰＥＧ２符号化パラメータである、再生映像信号がトップフィールドから始まるか否かを示すtop_field_first信号と復号した映像信号をフィールドリピートするか否かを示すrepeat_first_field信号に基づいて前記再生映像信号のリピートフィールド画像を生成する処理を備えたデコード処理と、文字情報または画像情報を静止画又は動画のスーパーインポーズ映像として前記第２のフレーム周波数で前記再生映像信号に重畳するスーパーインポーズ処理と、前記スーパーインポーズ映像が重畳された前記再生映像信号を前記第１あるいは前記第２のフレーム周波数で再びＭＰＥＧ２符号化するエンコード処理とを備える。
前記デコード処理は、前記top_field_first信号と前記repeat_first_field信号に基づいて、前記再生映像信号が前記ＭＰＥＧ２映像ストリームの先頭フィールドか否かを示すピクチャ開始情報と、前記再生映像信号が前記リピートフィールド画像か否かを示すリピートフィールド情報を前記再生映像信号に同期して出力する処理を有する。
前記スーパーインポーズ処理は、前記スーパーインポーズ映像が静止画か動画かを判別し、その判別結果を前記スーパーインポーズ映像に同期して出力する処理と、前記判別結果により前記スーパーインポーズ映像が静止画であるとき、前記リピートフィールド情報に基づいて前記再生映像信号が前記リピートフィールド画像であるか否かを判断し、前記リピートフィールド画像であれば、前記静止画のスーパーインポーズ映像を重畳しないで前記再生映像信号を出力する一方、前記リピートフィールド画像でなければ、前記ピクチャ開始情報に基づいて前記静止画のスーパーインポーズ映像を前記ＭＰＥＧ２映像ストリームの先頭フィールドから前記再生映像信号に重畳すると共に、前記判別結果により前記スーパーインポーズ映像が動画であるとき、前記ピクチャ開始情報と前記リピートフィールド情報に拠らずに前記動画のスーパーインポーズ映像を前記再生映像信号に重畳する処理とを有する。
前記エンコード処理は、前記静止画のスーパーインポーズ映像が重畳された前記再生映像信号を前記第１のフレーム周波数でＭＰＥＧ２符号化する一方、前記動画のスーパーインポーズ映像が重畳された前記再生映像信号を前記第２のフレーム周波数でＭＰＥＧ２符号化する。
【００１８】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。図中で同じ機能を有する回路には同じ番号を付している。
【００１９】
図１は、本発明によるスーパーインポーズ機能を備えた再符号化装置のシステム概要を示すブロック図で、ＴＳデコーダ１、音声遅延メモリ２、ＴＳエンコーダ３、ビデオデコーダ４、スーパーインポーズ回路５、ビデオエンコーダ６で構成される。
【００２０】
ＴＳデコーダ１は、伝送されるＭＰＥＧ２−ＴＳ（トランスポートストリーム）１００から映像信号と音声信号を分離し、映像信号をＭＰＥＧ２映像ストリーム１０３としてビデオデコーダ４に、音声信号を音声ストリーム１０１として音声遅延メモリ２にそれぞれ出力する。
【００２１】
音声遅延メモリ２は、映像信号と音声信号を同期させるための遅延メモリで、ビデオエンコーダ４、スーパーインポーズ回路５、ビデオエンコーダ６で映像信号が遅延する時間、音声ストリーム１０１を遅延し、遅延した音声ストリーム１０２としてＴＳエンコーダ３に出力する。ここで、音声ストリームはＭＰＥＧ２符号化方式で圧縮されたものや非圧縮のＰＣＭデータ等で構成される。本実施の形態では、音声データのビットレート変換やアフレコ処理（差し替え）を想定していないため映像信号と同期させるための遅延メモリを用いているが、音声信号の再処理を必要とする場合、遅延メモリ２に加え再処理用の音声エンコーダが必要となる。また、映像、音声以外のデータがＴＳストリームに含まれる場合、外部メモリを用いて遅延やデータの再生成が必要となるが、本実施の形態は映像信号の処理が主目的であるため省略している。
【００２２】
図２は、ビデオデコーダ４の詳細な回路構成例を示したもので、ＶＬＤ（可変長符号復号器）回路４０、逆量子化回路４１、逆ＤＣＴ回路４２、動き補償回路４３、パラメータメモリ４４、同期発生回路４５で構成される。
【００２３】
従来技術を用いたビデオデコーダと異なる点は、同期発生回路４５を用いて、ＭＰＥＧ２ストリーム上のピクチャ開始情報１０７とリピートフィールド位置情報１０８をデコードされた映像データ１０６に同期してスーパーインポーズ回路５に出力することにある。
【００２４】
ＶＬＤ回路４０は、ＭＰＥＧ２映像ストリーム１０３から可変長復号を行い、符号化パラメータ１０５をパラメータメモリ４４へ、映像データである量子化係数値データ１２３を逆量子化回路４１へ出力する。ここで、符号化パラメータ１０５はマクロブロックごとの符号化ビット数１２６とＭＰＥＧ２規格のシーケンス層以下のパラメータ、フレーム周波数情報、トップフィールド情報、リピートフィールド情報、ピクチャタイプ、フレームごとの符号化ビット数１２７、ＶＢＶディレイ値、量子化マトリクス、マクロブロックタイプ、動ベクトルデータ１２２、量子化ステップ値１２０（量子化ステップコードを量子化ステップタイプに従ってデコードしたもの）、ＤＣＴモード情報１２１等で構成される。
【００２５】
逆量子化回路４１は、量子化係数値データ１２３とマクロブロック単位で量子化ステップ値１２０をパラメータメモリから読み出して逆量子化処理を行い、ＤＣＴ係数値データ１２４を逆ＤＣＴ回路４２に出力する。逆量子化処理で使用する量子化マトリクスがユーザー定義のものを利用する場合、パラメータメモリから量子化マトリクスも読み込むものとする。
【００２６】
逆ＤＣＴ回路４２は、ＤＣＴ係数値データ１２４とＤＣＴモード情報１２１を用いて逆ＤＣＴ処理を行い、差分映像データ１２５を動き補償回路４３に出力する。
【００２７】
動き補償回路４３は、内部にそれぞれ前方向予測用、後方向予測用のフレームメモリを有し、差分映像データ１２５と動ベクトルデータ１２２を用いて動き補償処理を行いデコードされた映像データ１０６をスーパーインポーズ回路５に出力する。ここで、ＭＰＥＧ２データの持つフレーム周波数と再生系で用いられるフレーム周波数が異なる場合、適時リピートフィールド処理を行いデコードされた映像データ１０６を出力する。
【００２８】
パラメータメモリ４４は、ＶＬＤ回路４０で復号された符号化パラメータ１０５をフレーム単位で保持している。
【００２９】
同期発生回路４５は、パラメータメモリ４４から、フレーム単位で符号化パラメータを読み出し、フレーム構成情報として、ＭＰＥＧ２ストリーム上の先頭フィールドを表すピクチャ開始情報１０７と、再生フィールドがリピート処理により生成された映像データであることを示すリピートフィールド情報１０８としてスーパーインポーズ回路５に出力する。
【００３０】
図３は、フレーム周波数２４Ｈｚの映画素材を２９．９７Ｈｚの４８０ｉ／６０に再生する場合のリピートフィールドの一例を示したものである。各フィールドは、トップフィールドにＴ、ボトムフィールドにＢの記号を付し、数字でフレーム番号を表している。例えば、Ｔ０は第０フレームのトップフィールド、Ｂ０は第０フレームのボトムフィールドを表している。また、楕円形の図形はＭＰＥＧ２ストリーム上フレーム位置を表しており、記号Ｓとフレーム番号を付している。
【００３１】
ストリームＳ０は、top_field_first＝１、repeat_first_field＝１であるから、Ｔ１フィールドはＴ０フィールドのリピートフィールドで構成される。ストリームＳ１は、top_field_first＝０、repeat_first_field＝０となっているため、本来ボトムフィールドであるＢ１がトップフィールド、本来トップフィールドであるＴ２をボトムフィールドとして１フレームを構成する。ストリームＳ２は、top_field_first＝０、repeat_first_field＝１より、Ｂ２をトップフィールド、Ｔ３をボトムフィールドとして再生後、Ｂ３をＢ２のリピートフィールドで再生する。以下同様に、ストリームＳ３はtop_field_first＝１、repeat_first_field＝０より再生フレームはＴ４、Ｂ４で構成され、ストリームＳ４はtop_field_first＝１、repeat_first_field＝１よりＴ５、Ｂ５を再生後、Ｔ６をＴ５のリピートフィールドで再生する。
【００３２】
このように、４８０ｉ／６０では、１フレームはトップフィールド、ボトムフィールドの２フィールド、１秒あたり２９．９７枚のフレーム画像で構成される。一方、映画素材は１秒あたり２４枚の静止画（フレーム画像）で構成されているため、１秒あたり約６枚のフレーム画像を挿入する必要があるが、フィールド単位で挿入されるため、ＭＰＥＧ２ストリーム上のピクチャ開始位置は固定していない。
【００３３】
図４は、同期発生回路４５の出力するピクチャ開始情報１０７とリピートフィールド情報１０８の出力タイミングを表した図である。ＭＰＥＧ２ストリームの構造は図５と同じ構成とする。ピクチャ開始情報１０７は、ＭＰＥＧ２ストリーム上の先頭フィールド時に“Ｈ”となる信号であるため、Ｔ０、Ｂ１、Ｂ２、Ｔ４、Ｔ５で“Ｈ”となる。リピートフィールド情報１０８は、ＭＰＥＧ２パラメータのrepeat_first_fieldフラグからリピートフィールドのとき“Ｈ”となる信号で、repeat_first_fieldフラグがＴ０、Ｂ１、Ｔ５で“Ｈ”となっているため、それぞれＴ１、Ｂ３、Ｔ６がリピートフィールドで構成されていることを示している。
【００３４】
図５は、スーパーインポーズ回路５の構成例を示す図で、文字・画像発生回路５０、遅延メモリ５１、フレームメモリ５２、静止画判別回路５３、スーパーインポーズ領域検出回路５４、適応ミックス回路５５で構成される。
【００３５】
従来技術を用いたスーパーインポーズが、文字・画像発生回路５０と単一フレーム周波数のみに対応したミックス回路で構成されるのに対し、本実施の形態では発生したスーパーインポーズ画像データの静止画・動画判定を行う静止画判別回路５３と、遅延メモリ５１と、フレームメモリ５２と、スーパーインポーズ領域抽出回路５４が加わり、ミックス回路も映像データ、スーパーインポーズ画像データのフレーム構造とフレーム周波数情報を考慮して映像データのミックス処理を行う適応ミックス回路５５に置き換えている。
【００３６】
文字・画像発生回路５０はスーパーインポーズする文字、画像データ１０４よりミックスする映像データ１０６の画面サイズに合わせて文字や画像データを生成し、遅延メモリ５１と静止画判別回路５３とスーパーインポーズ領域検出回路５４に出力する。また、スーパーインポーズの有無を表すスーパーインポーズ存在情報１３１を静止画判別回路５３に出力する。
【００３７】
遅延メモリ５１は１フレームのメモリを持ち、静止画判別回路５３でスーパーインポーズ画像が静止画か動画かを判定するためフレーム遅延を行い、フレーム遅延したスーパーインポーズ画像データ１３２を静止画判別回路５３と、フレームメモリ５２、スーパーインポーズ領域検出回路５４に出力する。
【００３８】
静止画判別回路５３は、スーパーインポーズ存在情報１３１より、スーパーインポーズデータが存在しない場合、スーパーインポーズ無効を、存在する場合、スーパーインポーズ画像データ１３０とフレーム遅延したスーパーインポーズ画像データ１３２の差分値の絶対和を１フィールド間に渡って累積し、あらかじめ定められたしきい値と比較して、しきい値以下の場合静止画、しきい値より大きい場合動画と判断し、スーパーインポーズフィールド情報１１０を適応ミックス回路５５とビデオエンコーダ６に出力する。また、スーパーインポーズフィールド情報１１０が動画の場合、フレームメモリ５２に１フレーム遅延したスーパーインポーズ画像データ１３２を書き込み、静止画の場合は書き込まないようにするフレーム書き込み制御信号１３３をフレームメモリ５２に出力する。なお、静止画が切り替わるフレームでは１フレーム間だけスーパーインポーズフィールド情報１１０は動画と判断され、フレームメモリ５２にフレーム遅延したスーパーインポーズ画像データ１３２を書き込む。
【００３９】
フレームメモリ５２は、１フレーム分のフレームメモリで構成され、フレーム書き込み制御信号１３３が書き込みを指示した場合、フレーム遅延したスーパーインポーズ画像データ１３２をフレームメモリに書き込み、それ以外は書き込み動作を行わない。また、適応ミックス回路５５から出力されるフィールド読み出し制御信号１３４に従い、フレームメモリ内に記録されたトップフィールドデータ、あるいはボトムフィールドデータを出力する。
【００４０】
スーパーインポーズ領域検出回路５４は、フレーム遅延したスーパーインポーズ画像データ１３２がどの座標にデータがあるかを検出し、座標情報をスーパーインポーズ領域識別信号１１１としてビデオエンコーダ６に出力する。
【００４１】
図６はスーパーインポーズ領域の検出例を示す。座標情報は画素単位でも良いが、ＭＰＥＧ２規格は映像データの制御がマクロブロック単位で行われるため、座標情報もマクロブロックアドレス単位とすることで領域情報の蓄積に必要なメモリ量を削減する事ができる。図６では、左上座標を（１，１）とし、横方向１５マクロブロック、縦方向１０マクロブロックで構成される画面の座標（５，２）のマクロブロックから座標（９，３）のマクロブロックまで文字情報が重畳されている例を示しており、マクロブロック領域が座標（５，２）−（９，３）の矩形領域だけスーパーインポーズされている識別信号１１１を出力する。
【００４２】
適応ミックス回路５５は、ピクチャ開始情報１０７と、リピートフィールド情報１０８と、スーパーインポーズフィールド情報１１０を用いて、デコードされた映像データ１０６と選択されたスーパーインポーズ画像フィールドデータ１３５のミックスを行い、スーパーインポーズ処理された映像データ１０９を出力する。
【００４３】
図７は適応ミックス回路５５のフレームメモリ読み出し制御アルゴリズムの例を示す。図７で、ＳＩＦはスーパーインポーズフィールド情報１１０を、ピクチャ開始はピクチャ開始情報１０７を、リピートフィールドはリピートフィールド情報１０８を、フィールド位置は現在のフィールド位置がトップフィールドかボトムフィールドかを表す。以下、アルゴリズムについて説明する。
【００４４】
スーパーインポーズフィールド情報１１０が動画のとき（ステップＳ１）、ＭＰＥＧ２ストリームのフレーム構造に関係なく（ステップＳ２）、現在のフィールド位置からフレームメモリから読み出すフィールド位置を決定する（ステップＳ５，Ｓ６）。
【００４５】
スーパーインポーズフィールド情報１１０が静止画のとき（ステップＳ１）、ＭＰＥＧ２ストリームの符号化情報によって読み出すフィールド位置を決定する。まず、リピートフィールド情報１０８がリピートフィールドの場合（ステップＳ３）、ビデオエンコーダ回路６では、リピートフィールドの除去を行うため、スーパーインポーズ画像の重畳は行わず、デコードした映像データ１０６をそのままスーパーインポーズ処理された映像データ１０９としてビデオエンコーダ回路６に出力する（ステップＳ９）。
【００４６】
リピートフィールド情報１０８がリピートフィールドでない場合（ステップＳ３）、ピクチャ開始情報１０７に従って（ステップＳ４）、フレームメモリ５２からトップフィールド、ボトムフィールドのスーパーインポーズ画像データを読み出しデコードされた映像データ１０６に重畳し、ビデオエンコーダ回路６に出力する（ステップＳ７，Ｓ８）。
【００４７】
また、スーパーインポーズされていない場合（ステップＳ１）、スーパーインポーズ画像の重畳は行わず、デコードした映像データ１０６をそのままスーパーインポーズ処理された映像データ１０９としてビデオエンコーダ回路６に出力する（ステップＳ９）。
【００４８】
図８、図９はそれぞれスーパーインポーズ画像が静止画、動画のときの適応ミックス回路５５の入出力信号を表したものである。
【００４９】
図９より、スーパーインポーズ画像が動画の場合、ビデオデコーダ回路４から出力されるピクチャ開始情報１０７、リピートフィールド情報１０８に関係なく、フィールド位置がトップフィールドかボトムフィールドかによって、フレームメモリから読み出すフィールドが決定されるため、トップフィールドである場合、フレームメモリからトップフィールドのスーパーインポーズされた画像データが読み出され、適応ミックス回路５５でデコードされた映像データ１０６に重畳され、スーパーインポーズ処理された映像データ１０９をビデオエンコーダ回路６に出力される。
【００５０】
図８より、スーパーインポーズ画像が静止画の場合、フレームメモリ５２には遅延メモリ５１から書き込まれないため、トップフィールドデータＩＴ０、ボトムフィールドデータＩＢ０を保持され、フレームメモリ５２から読み出されるスーパーインポーズ画像データは、ピクチャ開始情報１０７とリピートフィールド情報１０８のみから決定される。よって、入力画像がＴ０のとき、リピートフィールド情報１０８＝“Ｌ”かつピクチャ開始情報１０７＝“Ｈ”より（Ｔ０＋ＩＴ０）を出力し、Ｂ０のときリピートフィールド情報１０８＝“Ｌ”かつピクチャ開始情報１０７＝“Ｌ”より（Ｂ０＋ＩＢ０）を出力する。Ｔ１のときリピートフィールド情報＝“Ｈ”のため、Ｔ１をそのまま出力する。以下、Ｂ１のとき（Ｂ１＋ＩＴ０）を出力し、Ｔ２のとき（Ｔ２＋ＩＢ０）を出力する。
【００５１】
以上詳述したように、本実施の形態記載のスーパーインポーズ回路５を用いることで、従来は行えなかった異なるフレーム構造の画像に対して、スーパーインポーズ画像データの特性に合わせ重畳処理を行うことができるため、ビデオエンコーダ６で再符号化する際の画質劣化を防ぐことが出来る。
【００５２】
図１０は、請求項５に対応したビデオエンコーダ回路６の構成例を示したもので、フィールド間引き回路６０、適応動ベクトル探索回路６１、動き補償回路６２、適応ＤＣＴモード判定回路６３、ＤＣＴ回路６４、適応量子化制御回路６５、量子化回路６６、ＶＬＣ（可変長符号化）回路６７で構成される。
【００５３】
本実施の形態は、先に出願した特願２０００−１９７８７１の明細書の記載例を異なるフレーム構造やフレーム周波数に対応させるためのもので、フィールド間引き回路６０を除く回路構成については特願２０００−１９７８７１と同じ構成である。
【００５４】
フィールド間引き回路６０は、スーパーインポーズされた映像データ１０９がフィールド間引き処理できる場合、ＭＰＥＧ２映像ストリーム１０３と同じフレーム順序となるようにリピートフィールド情報１０８、スーパーインポーズフィールド情報１１０を用いてフィールド間引き処理を行いフィールド間引きされた映像データ１４０を適応動ベクトル探索回路６１と動き補償回路６２に出力する。
【００５５】
図１１は、フィールド間引き回路６０の制御例を表すフローチャートである。フローチャート内の符号化情報はデコードされたＭＰＥＧ２符号化パラメータ１０５を、ＳＩＦはスーパーインポーズフィールド情報１１０を表す。まず、入力であるスーパーインポーズされた映像データ１０９が符号化情報を持たない場合（ステップＳ１１）、再符号化ではないため、通常のフィールド差分値を求め（ステップＳ１２）、フィールド差分値がしきい値より大きい場合、フィールドを出力し（ステップＳ１６）、小さい場合、前フィールドと同じであるためフィールド間引きを行う（ステップＳ１５）。
【００５６】
符号化情報１０５が存在する場合（ステップＳ１１）、repeat_first_fieldフラグから生成されたリピートフィールド情報１０８が通常画像か（ステップＳ１３）、リピートフィールドかつスーパーインポーズフィールド情報１１０が動画の場合（ステップＳ１４）、フィールド出力し（ステップＳ１８）、リピートフィールド情報１０８がリピートフィールドかつスーパーインポーズフィールド情報１１０が存在しないか、静止画の場合（ステップＳ１４）、フィールド間引きを行う（ステップＳ１７）。
【００５７】
スーパーインポーズ画像データが静止画の場合、本実施の形態のスーパーインポーズを用いるとリピートフィールド位置にはスーパーインポーズ画像データは重畳されない。
【００５８】
また、スーパーインポーズ画像データが動画の場合、図９より、Ｔ０は（Ｔ０＋ＩＴ０）に、Ｔ１は（Ｔ１＋ＩＴ１）＝（Ｔ０＋ＩＴ１）となり、フィールド差分値は０とならない。スーパーインポーズ画像データが２９．９７Ｈｚで重畳されているため、ＭＰＥＧ２映像ストリームのフレーム周波数で符号化すると、スーパーインポーズ画像データのデータが欠落するため、フリッカーが発生し主観上画質が悪くなるため、２９．９７Ｈｚで符号化しフィールド間引きを行わない。
【００５９】
このように、ＭＰＥＧ２ストリームのフレーム周波数が異なる場合、従来のフィールド間引き回路ではデコードされた映像データ１０６になんらかの処理を加えると、ＭＰＥＧ２ストリームのフレーム周波数で再符号化することは不可能であったが、本実施の形態のスーパーインポーズ回路でスーパーインポーズする画像データの特性に合わせて、映像データに適時重畳するため、フィールド間引き回路でリピートフィールドの映像データを削除することができる。
【００６０】
ここで図１０に戻って構成を説明する。適応動ベクトル検索回路８０は、動ベクトル探索回路６１と選択回路７０で構成され、予測元画像がスーパーインポーズ領域となっている場合、スーパーインポーズ処理により映像データが変わっているため、動ベクトル探索回路６０で探索した動ベクトルデータ１４１を選択し、選択された動ベクトルデータとして動き補償回路６１に出力する。予測元画像がスーパーインポーズ領域でなく、かつ、現在の符号化画像がスーパーインポーズ領域となっている場合も、映像データが変わっているため動ベクトルデータ１４１を選択された動ベクトルデータ１４２として動き補償回路６２に出力する。予測元画像がスーパーインポーズ領域でなく、かつ、符号化画像がスーパーインポーズ領域でない場合、画像データはＭＰＥＧ２ストリームとなんら変わっていないため、ＭＰＥＧ２ストリームをデコードした動ベクトルデータ１２２を選択された動ベクトルデータ１４２として動き補償回路６２に出力する。
【００６１】
動き補償回路６２は、予測元映像データを蓄積するフレームメモリを有し、動ベクトルデータ１４２に従ってフィールド間引きされた映像データ１４０と予測元映像データの差分を求め、差分映像データ１４３としてＤＣＴモード判定回路６３とＤＣＴ回路６４に出力する。ここで、予測元映像データは動き補償回路内のローカルデコード部で量子化係数値データ１５０を逆量子化処理と逆ＤＣＴ処理から求めたものである。
【００６２】
適応ＤＣＴモード選択回路８１は、ＤＣＴモード判定回路６３と選択回路７１で構成される。
【００６３】
ＤＣＴモード判定回路６３は、フィールド・フレーム適応ＤＣＴ変換を用いる場合の変換モードを算出する。一般的には、輝度信号マクロブロックの垂直方向に関して連続的なライン差分と１ラインごとの差分値を比較して連続的なライン差分値の方が小さい場合フレームＤＣＴ、１ラインごとの差分値が小さい場合フィールドＤＣＴ変換を行うものとしてＤＣＴ回路６４にＤＣＴモード情報１４４を出力する。
【００６４】
選択回路７１は、スーパーインポーズ領域識別信号１１１に従い、ＭＰＥＧ２ストリームをデコードしたＤＣＴモード情報１２１とＤＣＴモード判定回路６３で算出したＤＣＴモード情報１４４を選択し、選択されたＤＣＴモード情報１４５としてＤＣＴ回路６４に出力する。
【００６５】
ＤＣＴ回路６４は、差分画像データ１４３に対して選択されたＤＣＴモード情報１４５を用いてマクロブロックごとに最適なＤＣＴ変換を行い、量子化制御回路６５と量子化回路６６に出力する。
【００６６】
量子化回路６６は、ＤＣＴ変換係数値データ１４６に対して量子化ステップ値１４７を用いて量子化処理を行い、ＶＬＣ回路６７に量子化係数値データ１５０を出力する。
【００６７】
ＶＬＣ回路６７は、量子化係数値データ１５０はランレングス、ハフマン符号を用いて符号化し、ピクチャタイプや量子化ステップ値等の符号化に必要な情報もＭＰＥＧ２規格に準拠するよう付加し、エンコードされたＭＰＥＧ２映像データ１１２をＴＳエンコーダ３に出力する。
【００６８】
適応量子化制御回路８２は、量子化制御回路６５と非スーパー領域ビット数算出回路７２、選択回路７３で構成される。
【００６９】
量子化制御回路６５は、ＤＣＴ変換係数値データ１４６のアクティビティと、ＶＬＣバッファの状態を表すＶＬＣバッファ値１５１からマクロブロックごとに最適な量子化ステップ値１４７を求める。ここで、量子化決定の手法は、ＭＰＥＧ２ ＴＭ４(Test Model 4)等に記述されている方法が一般的である。
【００７０】
非スーパー領域ビット数算出回路７２は、スーパーインポーズ領域識別信号１１１とマクロブロックごとの符号化ビット数１２６を用いて、ＭＰＥＧ２ストリーム中のスーパーインポーズされていないマクロブロックのビット数を１フレーム単位で累積し、非スーパーインポーズ領域の符号化ビット数１４８として選択回路７３に出力する。
【００７１】
選択回路７３は、非スーパーインポーズ領域の符号化ビット数１４８とフレームごとの符号化ビット数１２７と、スーパーインポーズ領域識別信号１１１と、ＶＬＣバッファ値１５１を用いて、ＭＰＥＧ２ストリームをデコードした量子化ステップ値１２０と量子化制御回路６５で算出した量子化ステップ値１４７を適応的に選択し、選択された量子化ステップ値１４９として量子化回路６６に出力する。
【００７２】
図１２は、選択回路７３の選択処理の一例を示している。まず符号化フレーム中の非スーパーインポーズ領域の符号化ビット数ＮＳＰＢ（回路では１４８）とＭＰＥＧ２ストリームからデコードした符号化フレーム全体のビット数ＡＬＬＢ（回路では１２７）を比較し（ステップＳ２１）、（ＡＬＬＢ＜ＮＳＰＢ×２）であれば、スーパーインポーズ部分の画質劣化が大きくなる可能性があるため、量子化ステップ値１４７を選択する（ステップＳ２４）。これは、スーパーインポーズする画像は静止画に近い特性を持つものが多いため、フレームあたり５０％程度の符号量があれば非スーパーインポーズ領域の画質を落とさなくてもスーパーインポーズ領域の符号化が行えるためである。（ＡＬＬＢ≧ＮＳＰＢ×２）のとき、ＶＬＣバッファの状態が目標符号量以上で符号化されている場合（ステップＳ２２）、目標符号量で制御するため量子化ステップ値１４７を選択し（ステップＳ２４）、ＶＬＣバッファの状態が目標符号量以下で符号化されている場合（ステップＳ２１）、対象マクロブロックが、スーパーインポーズ領域の場合は（ステップＳ２３）、量子化ステップ値１４７を（ステップＳ２４）、非スーパーインポーズ領域の場合（ステップＳ２３）、ＭＰＥＧ２ストリームからデコードした量子化ステップ値１２０を選択する（ステップＳ２５）。
【００７３】
また、本実施の形態ではハードウェア構成について説明したが、近年のコンピュータ処理能力の向上に伴い、リアルタイム処理を必要とする場合でも低解像度の画像や、非リアルタイム処理で良い場合、ソフトウェアで構成しても良い。
【００７４】
【発明の効果】
以上説明した本発明の再符号化装置および方法によれば、フレーム周波数の異なるＭＰＥＧ２データに、スーパーインポーズ処理を行っても、スーパーインポーズされる画像が静止画の場合、ＭＰＥＧ２データと同じフレームレートで符号化することが出来るため、再符号化時の画質劣化を最大限抑えることができるというすぐれた効果がある。
【図面の簡単な説明】
【図１】再符号化装置の全体ブロック図
【図２】ビデオデコーダ回路のブロック図
【図３】２４Ｈｚで記録されたＭＰＥＧ２ストリームの２９．９７Ｈｚへの展開例を示す図
【図４】同期発生回路の出力信号のタイミング例を示す図
【図５】適応スーパーインポーズ回路のブロック図
【図６】スーパーインポーズ領域の例を示す図
【図７】適応ミックス回路のフレームメモリ読み出し制御を表すフローチャート
【図８】 スーパーインポーズデータが静止画である場合のデータミックス例を示す図
【図９】 スーパーインポーズデータが動画である場合のデータミックス例を示す図
【図１０】フィールド間引きの制御方法を表すフローチャート
【図１１】フィールド間引きの制御方法を表すフローチャート
【図１２】適応量子化制御回路の制御方法を表すフローチャート
【符号の説明】
１ ＴＳデコーダ
２ 音声遅延メモリ
３ ＴＳエンコーダ
４ ビデオデコーダ
５ スーパーインポーズ回路
６ ビデオエンコーダ
４０ ＶＬＤ回路
４１ 逆量子化回路
４２ 逆ＤＣＴ回路
４３ 動き補償回路
４４ パラメータメモリ
４５ 同期発生回路
５０ 文字・画像発生回路
５１ 遅延メモリ
５２ フレームメモリ
５３ 静止画判別回路
５４ スーパーインポーズ領域検出回路
５５ 適応ミックス回路
６０ フィールド間引き回路
６１ 動ベクトル探索回路
６２ 動き補償回路
６３ ＤＣＴモード判定回路
６４ ＤＣＴ回路
６５ 量子化制御回路
６６ 量子化回路
６７ ＶＬＣ回路
７０ 選択回路
７１ 選択回路
７２ 非スーパー領域ビット数算出回路
７３ 選択回路
８０ 適応動ベクトル探索回路
８１ 適応ＤＣＴモード探索回路
８２ 適応量子化制御回路
１００ ＭＰＥＧ２−ＴＳストリーム
１０１ 音声ストリーム
１０２ 遅延した音声ストリーム
１０３ ＭＰＥＧ２映像ストリーム
１０４ スーパーインポーズする文字、画像データ
１０５ デコードされたＭＰＥＧ２ストリームの符号化パラメータ
１０６ デコードされた映像データ
１０７ ピクチャ開始情報
１０８ リピートフィールド情報
１０９ スーパーインポーズ処理された映像データ
１１０ スーパーインポーズフィールド情報
１１１ スーパーインポーズ領域情報
１１２ エンコードされたＭＰＥＧ２映像ストリーム
１１３ 再符号化されたＭＰＥＧ２−ＴＳストリーム
１２０ 量子化ステップ値
１２１ ＤＣＴモード
１２２ 動ベクトルデータ
１２３ 量子化係数値データ
１２４ ＤＣＴ係数値データ
１２５ 差分映像データ
１２６ マクロブロックごとの符号化ビット数
１２７ フレームごとの符号化ビット数
１３０ スーパーインポーズ画像データ
１３１ スーパーインポーズ存在情報
１３２ フレーム遅延されたスーパーインポーズ画像データ
１３３ フレーム書き込み制御信号
１３４ フィールド読み出し制御信号
１３５ 選択されたスーパーインポーズ画像フィールドデータ
１４０ フィールド間引きされた映像データ
１４１ 動ベクトルデータ
１４２ 選択された動ベクトルデータ
１４３ 差分映像データ
１４４ ＤＣＴモード
１４５ 選択されたＤＣＴモード
１４６ ＤＣＴ変換係数値
１４７ 量子化ステップ値
１４８ 非スーパーインポーズ領域の符号化ビット数
１４９ 選択された量子化ステップ値
１５０ 量子化係数値データ
１５１ ＶＬＣバッファ値
Claims (2)
- 第１のフレーム周波数で符号化されたＭＰＥＧ２映像ストリームを復号化し、その復号画像の再生映像信号を前記第１のフレーム周波数より高い第２のフレーム周波数で出力するとき、ＭＰＥＧ２符号化パラメータである、再生映像信号がトップフィールドから始まるか否かを示すtop_field_first信号と復号した映像信号をフィールドリピートするか否かを示すrepeat_first_field信号に基づいて前記再生映像信号のリピートフィールド画像を生成する機能を備えたビデオデコーダと、
文字情報または画像情報を静止画又は動画のスーパーインポーズ映像として前記第２のフレーム周波数で前記再生映像信号に重畳するスーパーインポーズ手段と、
前記スーパーインポーズ映像が重畳された前記再生映像信号を前記第１あるいは前記第２のフレーム周波数で再びＭＰＥＧ２符号化するビデオエンコーダとを備え、
前記ビデオデコーダは、前記top_field_first信号と前記repeat_first_field信号に基づいて、前記再生映像信号が前記ＭＰＥＧ２映像ストリームの先頭フィールドか否かを示すピクチャ開始情報と、前記再生映像信号が前記リピートフィールド画像か否かを示すリピートフィールド情報とを前記再生映像信号に同期して出力する手段を有し、
前記スーパーインポーズ手段は、前記スーパーインポーズ映像が静止画か動画かを判別し、その判別結果を前記スーパーインポーズ映像に同期して出力する手段と、前記判別結果により前記スーパーインポーズ映像が静止画であるとき、前記リピートフィールド情報に基づいて前記再生映像信号が前記リピートフィールド画像であるか否かを判断し、前記リピートフィールド画像であれば、前記静止画のスーパーインポーズ映像を重畳しないで前記再生映像信号を出力する一方、前記リピートフィールド画像でなければ、前記ピクチャ開始情報に基づいて前記静止画のスーパーインポーズ映像を前記ＭＰＥＧ２映像ストリームの先頭フィールドから前記再生映像信号に重畳すると共に、前記判別結果により前記スーパーインポーズ映像が動画であるとき、前記ピクチャ開始情報と前記リピートフィールド情報に拠らずに前記動画のスーパーインポーズ映像を前記再生映像信号に重畳する手段とを有し、
前記ビデオエンコーダは、前記静止画のスーパーインポーズ映像が重畳された前記再生映像信号を前記第１のフレーム周波数でＭＰＥＧ２符号化する一方、前記動画のスーパーインポーズ映像が重畳された前記再生映像信号を前記第２のフレーム周波数でＭＰＥＧ２符号化することを特徴とする映像再符号化装置。 - 第１のフレーム周波数で符号化されたＭＰＥＧ２映像ストリームを復号化し、その復号画像の再生映像信号を前記第１のフレーム周波数より高い第２のフレーム周波数で出力するとき、ＭＰＥＧ２符号化パラメータである、再生映像信号がトップフィールドから始まるか否かを示すtop_field_first信号と復号した映像信号をフィールドリピートするか否かを示すrepeat_first_field信号に基づいて前記再生映像信号のリピートフィールド画像を生成する処理を備えたデコード処理と、
文字情報または画像情報を静止画又は動画のスーパーインポーズ映像として前記第２のフレーム周波数で前記再生映像信号に重畳するスーパーインポーズ処理と、
前記スーパーインポーズ映像が重畳された前記再生映像信号を前記第１あるいは前記第２のフレーム周波数で再びＭＰＥＧ２符号化するエンコード処理とを備え、
前記デコード処理は、前記top_field_first信号と前記repeat_first_field信号に基づいて、前記再生映像信号が前記ＭＰＥＧ２映像ストリームの先頭フィールドか否かを示すピクチャ開始情報と、前記再生映像信号が前記リピートフィールド画像か否かを示すリピートフィールド情報を前記再生映像信号に同期して出力する処理を有し、
前記スーパーインポーズ処理は、前記スーパーインポーズ映像が静止画か動画かを判別し、その判別結果を前記スーパーインポーズ映像に同期して出力する処理と、前記判別結果により前記スーパーインポーズ映像が静止画であるとき、前記リピートフィールド情報に基づいて前記再生映像信号が前記リピートフィールド画像であるか否かを判断し、前記リピートフィールド画像であれば、前記静止画のスーパーインポーズ映像を重畳しないで前記再生映像信号を出力する一方、前記リピートフィールド画像でなければ、前記ピクチャ開始情報に基づいて前記静止画のスーパーインポーズ映像を前記ＭＰＥＧ２映像ストリームの先頭フィールドから前記再生映像信号に重畳すると共に、前記判別結果により前記スーパーインポーズ映像が動画であるとき、前記ピクチャ開始情報と前記リピートフィールド情報に拠らずに前記動画のスーパーインポーズ映像を前記再生映像信号に重畳する処理とを有し、
前記エンコード処理は、前記静止画のスーパーインポーズ映像が重畳された前記再生映像信号を前記第１のフレーム周波数でＭＰＥＧ２符号化する一方、前記動画のスーパーインポーズ映像が重畳された前記再生映像信号を前記第２のフレーム周波数でＭＰＥＧ２符号化することを特徴とする映像再符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000365641A JP4320509B2 (ja) | 2000-11-30 | 2000-11-30 | 映像再符号化装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000365641A JP4320509B2 (ja) | 2000-11-30 | 2000-11-30 | 映像再符号化装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002171530A JP2002171530A (ja) | 2002-06-14 |
| JP4320509B2 true JP4320509B2 (ja) | 2009-08-26 |
Family
ID=18836378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000365641A Expired - Fee Related JP4320509B2 (ja) | 2000-11-30 | 2000-11-30 | 映像再符号化装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4320509B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7141196B2 (ja) | 2020-11-25 | 2022-09-22 | 日本マタイ株式会社 | パーテーション |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005004450A1 (en) * | 2003-06-19 | 2005-01-13 | Sony Ericsson Mobile Communications Ab | Media stream mixing |
| US7839927B2 (en) | 2005-03-24 | 2010-11-23 | Terayon Communication Systems, Inc. | Motion graphics keying in the compressed domain |
| GB2438004B (en) * | 2006-05-08 | 2011-08-24 | Snell & Wilcox Ltd | Creation and compression of video data |
| JP4767283B2 (ja) * | 2008-06-04 | 2011-09-07 | Ｎｔｔエレクトロニクス株式会社 | トランスコーダ装置 |
-
2000
- 2000-11-30 JP JP2000365641A patent/JP4320509B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7141196B2 (ja) | 2020-11-25 | 2022-09-22 | 日本マタイ株式会社 | パーテーション |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002171530A (ja) | 2002-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100252108B1 (ko) | Mpeg 압축부호화 및 복호화기를 채용한 디지털 기록 재생장치 및 그 방법 | |
| US6952451B2 (en) | Apparatus and method for decoding moving picture capable of performing simple and easy multiwindow display | |
| JP4666695B2 (ja) | ビデオ信号圧縮処理方法 | |
| JPH07264580A (ja) | 映像信号伝送方法並びに映像信号送信装置及び映像信号受信装置 | |
| JP4983917B2 (ja) | 動画像配信システム、変換装置および動画像配信方法 | |
| JP2011087195A (ja) | 画像処理装置および画像処理方法 | |
| KR101154743B1 (ko) | 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법, 기록 매체, 및 재생 장치 | |
| JP4320509B2 (ja) | 映像再符号化装置および方法 | |
| JP2898413B2 (ja) | 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法 | |
| JP2000244872A (ja) | トランスコーダ装置 | |
| JP2820630B2 (ja) | 画像復号装置 | |
| JPH08102908A (ja) | 再生装置 | |
| JP3703088B2 (ja) | 拡張画像符号化装置及び拡張画像復号化装置 | |
| JP2012010147A (ja) | 情報処理装置と情報処理方法 | |
| JP2001045490A (ja) | 動画像信号の符号化装置及び符号化方法 | |
| JP2002016924A (ja) | トランスコーダ装置およびトランスコード方法 | |
| JP3859118B2 (ja) | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 | |
| JP2005051287A (ja) | トランスコーダおよびこれを用いた記録再生装置 | |
| JPH07222048A (ja) | 撮像装置 | |
| KR20070029090A (ko) | 정보 처리 장치 및 방법, 송신 장치 및 방법, 기록 장치 및방법과 프로그램 | |
| KR19980054366A (ko) | 디지탈 티브이의 피아이피(pip)구현장치 및 그 방법 | |
| JPH08237599A (ja) | フレーム間帯域圧縮信号切り替え回路 | |
| JPH08265759A (ja) | 圧縮信号切換装置 | |
| JPWO2005062623A1 (ja) | 動画像再生方法及び装置並びにプログラム | |
| JPH08102894A (ja) | デジタル方式テレビジョン放送受信機 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050822 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051021 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061013 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080310 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080509 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090507 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090520 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130612 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |