JP4133581B2 - テロップ合成装置、テロップ合成方法及びテロップ合成プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、符号化された映像にテロップを合成するテロップ合成装置、テロップ合成方法及びテロップ合成プログラムに関する。
【０００２】
【従来の技術】
従来、映像（動画像）の符号化方式として、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ １４４９６）、Ｈ．２６４（ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４）等が知られている。また、これらの符号化方式で符号化された映像の符号化ストリーム（ビットストリーム）は、放送等に利用されている。この場合、この符号化された映像に対して、テロップ（ｔｅｌｏｐ）を合成する必要が生じることがある。例えば、図６に示すように、ある映像Ｐに、天気予報等の情報を付加させたい場合は、映像Ｐに文字や図形等のテロップＴを合成（スーパーインポーズ）することで、合成映像ＣＰが生成される。しかし、符号化された映像に対しては、テロップをそのまま合成することはできないので、従来は、以下に示す手順によりテロップの合成を行っていた。
【０００３】
すなわち、まず、符号化ストリームをデコーダ（復号器）によって復号する。そして、その復号された映像に対して、テロップをスーパーインポーズし、さらに、そのスーパーインポーズされた映像を再度エンコーダ（符号化器）によって符号化することで、テロップを合成した符号化ストリーム（ビットストリーム）を生成していた。
【０００４】
しかし、一般に復号された映像に対して、再び符号化を行うと画質が大きく劣化するという問題がある。この問題を解決するために、例えば、ＭＰＥＧ−２におけるマクロブロック毎の符号化ビット数、ピクチャタイプ、量子化マトリクス等の復号時に得られるパラメータを用いて、再符号化を行うことで、画質の劣化を低減させた技術が開示されている（例えば、特許文献１参照。）。
【０００５】
【特許文献１】
特開２００２−１６９２４号公報（段落〔００２８〕−段落〔００６６〕、第１−１１図）
【０００６】
【発明が解決しようとする課題】
しかし、前記従来の技術では、以下に示す課題が存在する。
まず、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等の一般的な符号化方式では、前記したように、復号した映像にテロップをスーパーインポーズし、再び符号化を行うと画質が劣化してしまうという問題がある。
【０００７】
さらに、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等は、イントラ符号化を用いたＩフレームと、インター符号化を用いたＢフレーム及びＰフレームとから構成されるＩＢＰ構造となっている（ただし、Ｂフレーム及びＰフレームが使われない場合もある）。このため、ビットストリーム（符号化ストリーム）を映像に復号する際、及び、映像をビットストリームとして符号化する際には、フレームの並べ替えが必要になり、復号及び符号化動作において、数フレームの遅延が発生する。また、この復号及び符号化を装置に実装する場合、実装に起因する遅延が発生し、さらに数フレームの遅延が発生することが多い。
【０００８】
従って、ビットストリーム（符号化ストリーム）を復号し、その復号された映像に対して、テロップをスーパーインポーズし、さらに、そのスーパーインポーズされた映像を符号化する手法は、フレームの遅延量が著しく大きくなり、生放送の映像にテロップを合成する手法として用いることができない。
【０００９】
また、前記した特許文献１で開示されている技術では、ビットストリームの復号時に得られるパラメータを用いて、復号化された映像を再符号化することで、画質の劣化を低減させるようにしている。しかし、一般的な符号化方式は、ビットストリームの構造（シンタックス）と復号方法のみが規定されており、エンコーダにおけるＤＣＴ（Discrete Cosine Transform）変換や、量子化の制御は、エンコーダに依存した設計事項であって、規定されているものではない。このため、復号時に得られるパラメータを用いるだけでは、再符号化時に元と同じビットストリームを得ることはできず、テロップをスーパーインポーズしていない領域においても、画質が劣化する場合がある。
【００１０】
さらに、前記した特許文献１では、ＭＰＥＧ−２のような予測符号化方式で使用する予測元画像（参照画像）及び符号化の対象となる符号化画像（ブロック画像）が、両画像ともスーパーインポーズを行うスーパー領域に存在しない場合、再符号化された画像は、元のビットストリームと同じであるという仮定で記載されている（特許文献１の段落〔００５５〕参照）。しかし、この仮定は、必ずしも成り立たず、テロップをスーパーインポーズした領域の周辺部分に画質劣化が生じるという問題がある。
【００１１】
ここで、図７を参照して、特許文献１における問題点について説明する。
図７は、画像全体が（ａ）、（ｂ）、（ｃ）、（ｄ）の順に右方向へ移動しているパン画像（時系列のフレーム画像）を示している。ここでは、図７（ａ）に示すように、画像はブロック毎に分割されているものとし、図７（ｂ）の網掛けで示すブロックＢ１にテロップをスーパーインポーズしたと仮定する（ブロックＢ１＝スーパー領域Ｓ）。
【００１２】
すると、図７（ｂ）の次のフレーム画像である図７（ｃ）におけるブロックＢ２は、ブロックＢ１を動き補償予測における参照画像として符号化される。この場合、特許文献１によれば、ブロックＢ２は、参照画像がスーパー領域Ｓに存在するため、他のブロックとは異なる処理（動きベクトルの適応的な切り替え）を行うことで、画質劣化を抑えるようにしている。しかし、再符号化時に量子化を行う一般的な符号化では、元と同じビットストリームを得ることはできず、テロップをスーパーインポーズしていない領域（ブロックＢ２）においても、画質が劣化してしまうという問題がある。すなわち、再符号化されたブロックＢ２は、元のビットストリームのブロックＢ２とは異なる画像となってしまう。
【００１３】
また、図７（ｃ）の次のフレーム画像である図７（ｄ）におけるブロックＢ３は、ブロックＢ２を動き補償予測における参照画像として符号化される。この場合、特許文献１によれば、ブロックＢ３はスーパー領域Ｓに存在せず、ブロックＢ３が参照する参照画像（ブロックＢ２）もスーパー領域Ｓに存在しないため、ブロックＢ３は、元のビットストリームと同じ画像データであると判定される。そこで、ブロックＢ３は、ブロックＢ２を参照画像として符号化が行われる。しかし、ブロックＢ２は、すでに画質が劣化したブロックであるため、ブロックＢ３も画質が劣化してしまうという問題がある。すなわち、再符号化されたブロックＢ３は、元のビットストリームのブロックＢ３とは異なる画像となってしまう。
【００１４】
このように、再符号化時に画質劣化を生じる符号化方式を用いる場合、従来の手法では、スーパーインポーズによって影響を受けるブロックの検出漏れを生じるという問題がある。
【００１５】
本発明は、以上のような問題点に鑑みてなされたものであり、映像を符号化した符号化ストリーム（ビットストリーム）に、テロップを合成（スーパーインポーズ）する際に、スーパーインポーズによって影響を受けるブロックを適切に検出し、画質の低減を抑えたテロップ合成符号化ストリーム（ビットストリーム）を生成するテロップ合成装置、テロップ合成方法及びテロップ合成プログラムを提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のテロップ合成装置は、映像を符号化した符号化ストリームに、テロップを合成するテロップ合成装置であって、復号手段と、合成手段と、符号化手段と、比較手段と、切り替え手段と、を備える構成とした。
【００１７】
かかる構成によれば、テロップ合成装置は、復号手段によって、入力された符号化ストリームを所定のブロック単位で復号して、復号画像を生成する。ここで、所定のブロックは、１つの画面を構成する画像を細分化したものであって、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４等においては、動き補償の単位となるブロックを用いることができる。そして、テロップ合成装置は、合成手段によって、復号手段で復号された復号画像に、入力されたテロップを合成（スーパーインポーズ）して、合成画像を生成する。このテロップは、文字に限られず、図形、画像、あるいは、他の映像であってもよい。
【００１８】
そして、テロップ合成装置は、符号化手段によって、合成手段で合成された合成画像を符号化して、合成画像符号化ストリームを生成する。この合成画像符号化ストリームは、テロップの合成や、再符号化に伴い画質が劣化したものとなっている。
【００１９】
そして、テロップ合成装置は、比較手段によって、合成画像と復号画像とを比較して、その比較結果に基づいて、切り替え手段が、符号化ストリームと合成画像符号化ストリームとを切り替えて出力する。すなわち、テロップを合成したことで画質が変化したブロックは、符号化手段で再符号化された合成画像符号化ストリームを出力し、画質が変化していないブロックは、再符号化を行わずに最初に入力された符号化ストリームを出力する。
【００２０】
これによって、テロップ合成装置は、画質が変化したブロックを確実に検出することができる。また、テロップ合成装置は、画質が変化しないブロックに対して、再符号化を行わないため、画質の劣化が発生しない。
【００２１】
また、請求項２に記載のテロップ合成装置は、請求項１に記載のテロップ合成装置において、前記符号化手段が、前記合成画像をその合成画像内において単独で符号化するイントラモードによって動作することを特徴とする。
【００２２】
かかる構成によれば、テロップ合成装置は、符号化手段が、復号画像にテロップを合成した合成画像を符号化する際に、予測符号化を行わず、その合成画像のみで符号化を行う（イントラモード）ことで、符号化における計算量を減らすことができる。
【００２３】
さらに、請求項３に記載のテロップ合成装置は、請求項１に記載のテロップ合成装置において、前記切り替え手段から出力されるテロップ合成符号化ストリームを所定のブロック単位で復号して、第二復号画像を生成する第二復号手段を備え、前記符号化手段が、前記第二復号画像を参照して前記合成画像を符号化することを特徴とする。
【００２４】
かかる構成によれば、テロップ合成装置は、第二復号手段によって、切り替え手段から出力されるテロップ合成符号化ストリームを復号し、その復号画像を符号化手段が参照することで、符号化手段は予測符号化を行うことができる。これによって、再符号化におけるデータ量の増加を防ぐことができる。
【００２５】
また、請求項４に記載のテロップ合成装置は、請求項１乃至請求項３のいずれか１項に記載のテロップ合成装置において、前記符号化手段に、量子化手段と、量子化ステップ変更手段とを備える構成とした。
【００２６】
かかる構成によれば、テロップ合成装置は、符号化を行う際に、量子化手段によって、符号化されるデータを離散的な代表値で近似することで量子化を行い、その代表値の間隔、すなわち量子化間隔（量子化ステップ）を量子化ステップ変更手段によって変更する。なお、この量子化ステップを大きく設定することで、符号化量を減らすことができ、量子化ステップを小さく設定することで、画質の劣化を抑えることができる。
【００２７】
さらに、請求項５に記載のテロップ合成装置は、請求項１乃至請求項４のいずれか１項に記載のテロップ合成装置において、前記比較手段が、前記合成画像と前記復号画像との類似の度合いを示す類似度が、所定値以上であるときに前記合成画像と前記復号画像とが同一の画像であると判断することを特徴とする。
【００２８】
かかる構成によれば、テロップ合成装置は、比較手段が合成画像と復号画像とを比較するときに、合成画像と復号画像との類似度が、所定値以上であるかどうかで判定する。この所定値を高くする、すなわち、一致と判定する類似度を高くすることで、合成画像と復号画像との類似判定が厳しくなる。これによって、切り替え手段は再符号化された合成画像符号化ストリームを出力する割合が高まり符号量は大きくなるが、画質の劣化は小さくなる。ただし、量子化手段で符号量を減らすことで、符号化されたデータ量の増加を抑えることができる。また、所定値を低くする、すなわち、一致と判定する類似度を低くすることでも、符号量を抑えることができる。
【００２９】
また、請求項６に記載のテロップ合成方法は、映像を符号化した符号化ストリームに、テロップを合成するテロップ合成方法であって、復号画像生成ステップと、合成画像生成ステップと、比較ステップと、切り替え出力ステップと、を含んでいることを特徴とする。
【００３０】
この方法によれば、まず、復号画像生成ステップで、符号化ストリームを所定の画像（ブロック）単位で復号して復号画像を生成する。そして、合成画像生成ステップで、復号画像にテロップを合成して合成画像を生成する。
【００３１】
また、テロップ合成方法は、比較ステップで、所定のブロック単位で合成画像と復号画像とを比較する。テロップが合成されているブロックは、復号画像のブロックとは内容が異なっている。そこで、テロップ合成方法は、比較ステップの比較結果に基づいて、切り替え出力ステップで、テロップを合成したことで画質が変化したブロックについては、合成画像を符号化して出力し、テロップを合成したことで画質が変化していないブロックについては、入力された符号化ストリームをそのまま出力する。すなわち、テロップを合成したことで画質が変化しないブロックについては、画質の劣化のないビットストリームが出力されることになる。
【００３２】
さらに、請求項７に記載のテロップ合成プログラムは、映像を符号化した符号化ストリームに、テロップを合成するために、コンピュータを、復号手段、合成手段、符号化手段、比較手段、切り替え手段、として機能させることを特徴とする。
【００３３】
かかる構成によれば、テロップ合成プログラムは、復号手段によって、符号化ストリームを所定のブロック単位で復号して、復号画像を生成する。そして、合成手段によって、復号手段で復号された復号画像にテロップを合成（スーパーインポーズ）して、合成画像を生成する。
【００３４】
そして、テロップ合成プログラムは、符号化手段によって、合成手段で合成された合成画像を符号化して、合成画像符号化ストリームを生成する。この合成画像符号化ストリームは、テロップの合成や、再符号化に伴い画質が劣化したものとなっている。
【００３５】
そして、テロップ合成プログラムは、比較手段によって、合成画像と復号画像とを比較して、その比較結果に基づいて、切り替え手段が、符号化ストリームと合成画像符号化ストリームとを切り替えて出力する。すなわち、切り替え手段は、テロップを合成したことで画質が変化したブロックについては、符号化手段で再符号化された合成画像符号化ストリームを出力し、画質が変化していないブロックについては、再符号化を行わずに最初に入力された符号化ストリームを出力する。
【００３６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
［テロップ合成装置の構成］
図１は、本発明における実施の形態であるテロップ合成装置の構成を示したブロック図である。テロップ合成装置１は、映像を符号化したビットストリーム（符号化ストリーム）に、文字、図形等のテロップを合成したビットストリーム（テロップ合成符号化ストリーム）を生成するものである。ここでは、テロップ合成装置１は、復号手段１０（１０ａ、１０ｂ及び１０ｃ）と、合成手段２０と、符号化手段３０と、比較手段４０と、切り替え手段５０とを備えている。
なお、このテロップ合成装置１に入力されるビットストリーム（符号化ストリーム）は、ＭＰＥＧ−２等の予測符号化方式により符号化されているものとする。
【００３７】
復号手段１０は、ビットストリームを所定のブロック単位で復号して復号画像を出力するものである。例えば、入力されるビットストリームがＭＰＥＧ−２、ＭＰＥＧ−４等で符号化されたビットストリームの場合、動き補償を行う単位となるブロック（例えば８ライン×８画素）で復号を行う。なお、ここでは、テロップ合成装置１内には、同じ復号機能を有する復号手段１０ａ、復号手段１０ｂ及び復号手段１０ｃを備えている。
【００３８】
復号手段１０ａは、テロップ合成装置１に入力されるビットストリームを復号（例えばＭＰＥＧ−２の復号処理）して、復号画像を生成するものである。ここで復号された復号画像は、合成手段２０へ出力される。なお、復号手段１０ａは、自身が復号した復号画像を参照画像として、動き補償を行うことにより復号を行う。ただし、復号するブロックがイントラブロックである場合は、復号画像の参照は行わない。
【００３９】
復号手段１０ｂは、テロップ合成装置１に入力されるビットストリームを復号して、復号画像を生成するものである。ここで復号された復号画像は、比較手段４０へ出力される。なお、復号手段１０ｂは、復号手段１０ｃで復号された復号画像を参照画像として、動き補償を行うことにより復号を行う。ただし、復号するブロックがイントラブロックである場合は、復号画像の参照は行わない。
この復号手段１０ａ及び復号手段１０ｂが特許請求の範囲の復号手段に相当する。
【００４０】
復号手段１０ｃは、切り替え手段５０から出力されるビットストリーム（テロップ合成符号化ストリーム）を復号して、復号画像（第二復号画像）を生成するものである。ここで復号された復号画像は、復号手段１０ｂ及び符号化手段３０において、動き補償を行うための参照画像として用いられる。
この復号手段１０ｃが特許請求の範囲の第二復号手段に相当する。
【００４１】
ここで、図２を参照して、復号手段１０の詳細な構成について説明する。図２は、予測符号化方式における復号手段１０の構成を示すブロック図である。ここでは、復号手段１０は、ブロック情報解析部１１と、逆量子化部１２と、逆ＤＣＴ部１３と、フレームメモリ１４と、動き補償部１５と、加算部１６とを備えている。
【００４２】
ブロック情報解析部１１は、入力されたビットストリームのブロック情報を解析し、ブロックの動き補償情報と、量子化されたＤＣＴ係数（量子化ＤＣＴ係数）とを抽出するものである。ここで抽出された動き補償情報は、動き補償部１５及び加算部１６へ通知され、量子化ＤＣＴ係数は、逆量子化部１２へ出力される。
【００４３】
ここで、動き補償情報とは、当該ブロックの予測の種類（イントラブロック、片方向予測ブロック、双方向予測ブロック等）、当該ブロックの画像が参照画像に対してどの方向及びどの大きさで動いたかを示す動きベクトル等、当該ブロックを動き補償するために必要となる情報である。
【００４４】
また、量子化ＤＣＴ係数とは、符号化時にブロック毎に離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）した数（ＤＣＴ係数）を量子化したものである。なお、このＤＣＴ係数の量子化は、ＤＣＴ係数の値を特定の値で除算して、ＤＣＴ係数のビット数を低減することで行ったり、予め定めた周波数毎に設定された除数を量子化テーブルとして設定し、その量子化テーブルによって、各周波数におけるＤＣＴ係数のビット数を低減することにより行っている。
【００４５】
逆量子化部１２は、ブロック情報解析部１１から出力される量子化ＤＣＴ係数に対して、逆量子化を行うことで、量子化ＤＣＴ係数をＤＣＴ係数に変換するものである。ここで変換されたＤＣＴ係数は、逆ＤＣＴ部１３へ出力される。なお、この量子化ＤＣＴ係数の逆量子化は、例えば、前記した量子化テーブルと同じテーブルを用い、量子化ＤＣＴ係数に対して、量子化テーブルの値を乗算することで行う。
【００４６】
逆ＤＣＴ部１３は、逆量子化部１２で変換されたＤＣＴ係数に対して、逆ＤＣＴ（逆離散コサイン変換）を行うものである。この逆ＤＣＴによって生成される画像は、このブロックがイントラブロックである場合は、復号画像そのものであり、イントラブロック以外の場合は、復号画像に対する予測誤差画像となる。ここで生成された画像は加算部１６へ出力される。
【００４７】
フレームメモリ１４は、復号手段１０が復号した画像を、次のフレームの復号を行う際の参照画像として蓄積しておくものである。このフレームメモリ１４には、１ブロック毎復号されたブロック画像が蓄積され１つのフレーム画像として作成される。そして、現在のフレームを復号するときには、１つ前のフレームを復号したときに作成されたフレーム画像が参照画像として用いられる。
【００４８】
動き補償部１５は、ブロック情報解析部１１から通知される動き補償情報に基づいて、フレームメモリ１４に蓄積されている参照画像（１つ前のフレーム画像）から、動きベクトル分動いたと予測される予測画像を生成するものである。この予測画像は、加算部１６へ出力される。
【００４９】
加算部１６は、逆ＤＣＴ部１３から出力される画像（予測誤差画像）と、動き補償部１５から出力される予測画像とを加算するものである。この加算された画像が、復号された復号結果画像として復号手段１０から出力される。なお、この加算部１６は、ブロック情報解析部１１から通知されるブロックの予測の種類（動き補償情報）が、イントラブロックである場合は、加算を行わずに、逆ＤＣＴ部１３から出力されるブロック単位の画像（復号画像）をそのまま出力する。
このように、復号手段１０を構成することで、ビットストリームを所定のブロック（画像）単位で復号して復号画像を得ることができる。
図１に戻って説明を続ける。
【００５０】
合成手段２０は、復号手段１０ａで復号されたブロック単位の復号画像と、そのブロックに対応する位置のテロップ（テロップ信号）とを合成（スーパーインポーズ）して、合成画像を生成するものである。この合成手段２０で合成された合成画像は、符号化手段３０及び比較手段４０へ出力される。なお、合成されるテロップは、文字に限られず、図形、画像、あるいは、他の映像であっても構わない。
【００５１】
符号化手段３０は、合成手段２０で合成された合成画像を符号化して、ビットストリーム（合成画像符号化ストリーム）を生成するものである。なお、この符号化手段３０は、合成画像を符号化する際に、復号手段１０ｃで復号された１フレーム前の復号画像（参照画像）を参照して符号化を行う。ここで符号化された合成画像符号化ストリームは、切り替え手段５０へ出力される。
【００５２】
ここで、図３を参照して、符号化手段３０の詳細な構成について説明する。図３は、予測符号化方式における符号化手段３０の構成を示すブロック図である。ここでは、符号化手段３０は、フレームメモリ３１と、動き予測部３２と、動き補償部３３と、減算部３４と、ＤＣＴ部３５と、量子化部３６と、ブロック情報生成部３７とを備えている。
【００５３】
フレームメモリ３１は、復号手段１０が復号した画像を、次のフレームの符号化を行う際の参照画像として蓄積しておくものである。このフレームメモリ３１に蓄積された参照画像は、動き予測部３２及び動き補償部３３によって参照される。なお、このフレームメモリ３１に蓄積された参照画像は、復号手段１０が１ブロック毎復号したブロック画像をまとめて１つのフレーム画像として作成したものである。そして、現在のフレームを符号化するときには、１つ前のフレーム（フレーム画像）を参照画像として用いる。
【００５４】
動き予測部３２は、入力された画像（図１の合成手段２０が出力する合成画像）と、フレームメモリ３１に蓄積されている参照画像とに基づいて、入力画像（合成画像）が参照画像に対してどれくらい動いたかを示すブロック毎の動き予測の方向及び大きさである動きベクトルや、ブロックの予測の種類（イントラブロック、片方向予測ブロック、双方向予測ブロック等）を含んだ動き補償情報を生成するものである。ここで生成された動き補償情報は、動き補償部３３、減算部３４及びブロック情報生成部３７へ通知される。
【００５５】
動き補償部３３は、動き予測部３２で生成された動きベクトルに基づいて、フレームメモリ３１に蓄積されている参照画像（例えば、１つ前のフレーム画像）から、動きベクトル分動いたと予測される予測画像を生成するものである。この予測画像は、減算部３４へ出力される。
【００５６】
減算部３４は、符号化手段３０に入力された画像（合成画像）と、動き補償部３３で生成された予測画像との差分をとった予測誤差画像を生成するものである。この予測誤差画像は、ＤＣＴ部３５に出力される。なお、この減算部３４は、動き予測部３２から通知されるブロックの予測の種類（動き補償情報）が、イントラブロックである場合は減算を行わずに、入力された画像（合成画像）をブロック単位でそのままＤＣＴ部３５に出力する。
【００５７】
ＤＣＴ部３５は、減算部３４から出力される画像を離散コサイン変換（ＤＣＴ）して、周波数成分の大きさを表すＤＣＴ係数を生成するものである。ここで、生成されたＤＣＴ係数は、量子化部３６に出力される。
【００５８】
量子化部（量子化手段）３６は、ＤＣＴ部３５で生成されたＤＣＴ係数を量子化して、符号量の削減を行うものである。この量子化部３６は、ＤＣＴ係数の中で、視覚感度の低い高周波成分を大きく削減するように予め設定した量子化テーブルに基づいて量子化を行う。また、この量子化部３６は、量子化ステップ変更部３６ａを備えることとした。
【００５９】
量子化ステップ変更部３６ａは、図示していない入力手段から、量子化を行う代表値の間隔（量子化ステップ）を入力されることで、量子化による誤差を調整するものである。例えば、ある周波数における量子化ステップの値を設定している量子化テーブルの数値が「８」（８ビット毎に量子化）であった場合、この数値「８」を除数として量子化が行われ、ＤＣＴ係数「０」〜「７」は「０」、ＤＣＴ係数「８」〜「１５」は「１」、…という代表値で量子化される。しかし、復号時に、例えば代表値「１」のＤＣＴ係数は、８倍されることで、すべて「８」となってしまう。すなわち、量子化前のＤＣＴ係数「８」〜「１５」は、すべて「８」となってしまい、量子化誤差が発生する。
【００６０】
そこで、量子化ステップ変更部３６ａは、量子化ステップを変更することで符号化手段３０の量子化誤差を調整する。例えば、スーパーインポーズに伴う画質の劣化を抑えるには、量子化ステップを小さく設定する。ただし、この場合、符号化結果であるビットストリームのデータ量は増加する。また、量子化ステップを大きく設定すると、画質の劣化は大きくなるがデータ量を抑えることができる。この量子化ステップは、リアルタイムで画質を確認しながら変更してもよいし、すでに使用したことのあるテロップであれば、予めそのテロップによる画質の劣化に適した量子化ステップを設定しておくこととしてもよい。
【００６１】
なお、符号化手段３０で生成されるビットストリームが使用されるのは、テロップをスーパーインポーズすることで影響されるブロックのみであるので、この量子化ステップ変更部３６ａで量子化ステップを変更しても、テロップに影響されない画像については、ビットストリームのデータ量の増加や、画質の劣化が生じない。
【００６２】
ブロック情報生成部３７は、量子化部３６で量子化されたＤＣＴ係数（量子化ＤＣＴ係数）、動き予測部３２で生成された動き補償情報及びヘッダ情報（例えばＭＰＥＧ−２におけるシーケンスヘッダ等）から構成されるビットストリーム（合成画像符号化ストリーム）を生成するものである。
このように、符号化手段３０を構成することで、合成手段２０（図１）で生成されたテロップの合成画像を再符号化することができる。
【００６３】
なお、一般的な符号化方式では、最初のフレーム（符号化方式によっては最初のフレームにおける最初のブロック）を必ず予測を用いないモードで符号化すると決められている。そのような符号化方式においては、符号化手段３０で最初のフレーム（又は最初のフレームにおける最初のブロック）を再符号化する際には、動き予測部３２が定められた予測の種類（例えば、イントラブロック）を動き補償情報として出力する。
【００６４】
また、最初のフレーム（又は最初のフレームにおける最初のブロック）に限らず、入力されたフレームが、イントラフレーム（入力されたビットストリームが表すブロックが属しているフレームが予測を用いないモードで符号化されている）の場合は、符号化手段３０における再符号化においても、予測を用いないモードで符号化を行うことで、生成されるビットストリームは、入力されたビットストリームと同様にイントラフレームとなる。これによって、生成されたビットストリームは入力されたビットストリームと同様に編集やビットストリームの切り替え等が可能になる。
【００６５】
なお、符号化手段３０は、参照画像を参照せず、合成手段２０で生成された合成画像を、常に予測を用いないモードで符号化（すべてイントラブロックとして符号化）することとしてもよい。これによって、再符号化時の計算量を減らすことができ、実装時の遅延量を小さくすることができる。これは、一般に予測を用いるモードにおける予測の手段としては動き補償予測が用いられるが、この動き補償予測を行うために必要な動き推定は計算量が多いため、実装時における遅延量が大きくなることに起因する。
図１に戻って説明を続ける。
【００６６】
比較手段４０は、合成手段２０で生成された合成画像と、復号手段１０ｂで復号された復号画像とを比較して、その比較結果を切り替え手段５０に通知するものである。例えば、比較した結果が一致するときは「真」、一致しないときは「偽」を切り替え手段５０に通知する。なお、比較手段４０は、図示していない遅延手段を備え、合成手段２０から出力される合成画像を遅延させることで、復号画像との同期をとることとする。
【００６７】
また、この比較手段４０は、合成画像と復号画像との類似度が、所定値以上であるときは、「真」を出力することとしてもよい。この類似の判定は、例えば、２つの画像の距離（画素値の差）によって判定することができる。ここで、あるブロックに含まれる画素の集合をＳ、画素位置をｐとし、比較しようとする２つの画像において、一方の画素値をｆ（ｐ）、他方の画素値をｇ（ｐ）で表したとき、（１）式で類似度を判定することができる。
【００６８】
【数１】

【００６９】
ここで、比較する閾値Ｔｈの値を０にすれば、２つの画像が完全に一致したときのみ、「真」となり、閾値Ｔｈの値を大きくすれば、一致と判定する類似度が低くなる。
【００７０】
切り替え手段５０は、比較手段４０から通知される比較結果に基づいて、テロップ合成装置１が入力したビットストリームと、符号化手段３０で生成されたビットストリームとをブロック単位で切り替えて、テロップ合成符号化ストリームとして出力するものである。この切り替え手段５０では、比較結果が「真」のときは、テロップ合成装置１が入力したビットストリームをそのまま出力する。また、比較結果が「偽」のときは、符号化手段３０で生成されたビットストリームを出力する。なお、切り替え手段５０は、図示していない遅延手段を備え、符号化手段３０で生成されたビットストリームを遅延させることで、テロップ合成装置１が入力したビットストリームとの同期をとることとする。
【００７１】
このように、テロップ合成装置１は、映像を符号化した符号化ストリーム（ビットストリーム）にテロップをスーパーインポーズする際に、テロップによって影響される画像（ブロック）を正確に検出することができる。また、テロップによって影響される画像のみを再符号化し、それ以外の画像は入力されたビットストリームをそのまま出力するため、画質の低減を抑えることができる。
【００７２】
以上、本発明に係るテロップ合成装置１の構成について説明したが、本発明はこれに限定されるものではない。ここでは、テロップ合成装置１を、予測符号化方式により符号化されたビットストリームにテロップを合成するものとして説明を行ったが、予測符号化が行われていないビットストリームにテロップを合成する場合は、復号手段１０及び符号化手段３０は、参照画像を参照せずに復号及び符号化を行うこととしてもよい。この場合、テロップ合成装置１から復号手段１０ｃを削除した構成としてもよい。
【００７３】
なお、復号手段１０及び符号化手段３０では、参照画像を１つとし、１フレーム前の参照画像を参照することで、復号及び符号化を行うこととしたが、参照画像を２つ以上用いて、復号及び符号化を行うこととしてもよい。例えば、ＭＰＥＧ−２、ＭＰＥＧ−４等におけるＢフレームでは参照画像を２つ用いている。この場合、図２及び図３において、フレームメモリ１４及びフレームメモリ３１をそれぞれ２つのフレームメモリで構成し、動き補償部１５、動き補償部３３及び動き予測部３２で適切なフレームを参照すればよい。
【００７４】
例えば、図５（ａ）に示すように、フレームメモリ１４を２つのフレームメモリ１４ａ及びフレームメモリ１４ｂで構成する。フレームメモリ１４ａは、復号手段１０（図２）が復号した画像を蓄積しておくものであり、１ブロック毎復号されたブロック画像が蓄積されて１つのフレーム画像として作成される。また、フレームメモリ１４ｂは、１フレーム前のフレームメモリ１４ａの出力を保持するものである。このようにフレームメモリ１４を構成すれば、復号手段１０は、現在のフレームを復号するときは、フレームメモリ１４ａを参照することで、１つ前のフレームを復号したときに作成されたフレーム画像を参照画像として得ることができる。また、フレームメモリ１４ｂを参照することで、２つ前のフレームを復号したときに作成されたフレーム画像を参照画像として得ることができる。なお、図５（ｂ）に、フレームメモリ３１を２つのフレームメモリ３１ａ及びフレームメモリ３１ｂで構成した例を示すが、図５（ａ）と構成が同じであるため、説明は省略する。
【００７５】
また、例えば、Ｈ．２６４のように参照画像を２つ以上用いる符号化方式の場合であっても、参照画像分のフレームメモリを構成することで本発明を実施することができる。Ｈ．２６４のように、同一フレーム内で予測符号化を行う符号化方式を本発明に適用する場合は、フレームメモリ１４及びフレームメモリ３１を、１フレーム遅延ではなく、例えば、１ブロック遅延とし、符号化方式の予測に合わせた遅延量のフレームメモリを構成すればよい。
このように、本発明は任意の符号化方式に適用することができる。
【００７６】
また、テロップ合成装置１における各機能手段を、コンピュータにおいて機能プログラムとして実現することも可能であり、各機能プログラムを結合して、テロップ合成プログラムとして動作させることも可能である。
【００７７】
［テロップ合成装置の動作］
次に、図４を参照（適宜図１、図２及び図３参照）して、テロップ合成装置１の動作について説明する。図４は、テロップ合成装置１の動作を示すフローチャートである。
【００７８】
（復号画像生成ステップ）
まず、テロップ合成装置１は、復号手段１０ａ及び復号手段１０ｂによって、映像を符号化したビットストリーム（符号化ストリーム）を、ブロック（例えば８ライン×８画素）単位で復号し、復号画像を生成する（ステップＳ１）。
【００７９】
ここで、復号手段１０ａは、自身が復号した復号画像を、動き補償を行うための参照画像として参照し、ビットストリームを復号する。一方、復号手段１０ｂは、復号手段１０ｃで復号された復号画像（第二復号画像）を、動き補償を行うための参照画像として参照し、ビットストリームを復号する。ここで、１フレーム内のブロックの復号が終了した段階で、このフレームのフレーム画像がフレームメモリ１４に蓄積されることになる。ここで、参照画像を複数用いる符号化方式により復号を行う場合は、フレームメモリ１４に複数の参照画像が蓄積されることになる。
なお、復号手段１０ａ及び復号手段１０ｂは、イントラブロックを復号する場合は、参照画像を参照せずに復号を行う。
【００８０】
（合成画像生成ステップ）
そして、合成手段２０が、復号手段１０ａで復号されたブロック単位の復号画像と、そのブロックに対応する位置のテロップ（テロップ信号）とを合成して、合成画像を生成する（ステップＳ２）。
【００８１】
（比較ステップ）
そして、比較手段４０が、合成手段２０で生成された合成画像と、復号手段１０ｂで復号された復号画像とを比較する（ステップＳ３）。そして、比較手段４０は、この比較結果を切り替え手段５０に通知する。この比較結果は、比較した結果が一致（同一画像）するときは「真」（例えば、数値「１」）、不一致のときは「偽」（例えば、数値「０」）とする。
なお、この比較手段４０における比較は、合成画像と復号手段１０ｂで復号された復号画像との相違量が、予め定めた閾値の範囲内にあるときは、一致の判定を行うこととしてもよい。
【００８２】
（切り替え出力ステップ）
比較結果を通知された切り替え手段５０は、その比較結果（「真」又は「偽」）に基づいて、出力ストリームを変更する（ステップＳ４）。ここで、同一画像であると判定した場合（ステップＳ４でＹｅｓ）、切り替え手段５０は、テロップ合成装置１が入力したビットストリーム（符号化ストリーム）をそのまま出力する（ステップＳ５）。
【００８３】
一方、同一画像でないと判定した場合（ステップＳ４でＮｏ）、符号化手段３０が、合成手段２０で合成された合成画像を符号化して、ビットストリーム（合成画像符号化ストリーム）を生成し出力する（ステップＳ６）。ここで、符号化手段３０は、復号手段１０ｃで復号された復号画像（参照画像）を参照して符号化を行う。ただし、参照画像を複数用いる符号化方式により符号化を行うときは、適宜フレームメモリ３１に蓄積されているフレーム画像から選択された画像を参照画像として利用する。なお、符号化手段３０は、予測を用いないモード（イントラブロック）で合成画像を符号化する場合は、参照画像を参照せずに符号化を行う。
【００８４】
（参照画像生成ステップ）
そして、このステップＳ５及びステップＳ６で、切り替え手段５０によって切り替えられて出力されたビットストリームを、復号手段１０ｃが、復号手段１０ｂ及び符号化手段３０の参照画像として復号する（ステップＳ７）。ここで復号された参照画像は、復号手段１０ｂのフレームメモリ１４及び符号化手段３０のフレームメモリ３１に書き込まれ、復号手段１０ｂ及び符号化手段３０が、予測符号化における復号及び符号化を行う際に参照する。
【００８５】
このステップＳ１からステップＳ７の動作を、１フレームに含まれるすべてのブロックについての動作させる。ただし、図４のフローチャートでは、１フレーム内のブロックについての動作をステップＳ１からステップＳ７で表している。そして、最後に、ビットストリーム（符号化ストリーム）の終了を判定し（ステップＳ８）、ビットストリームの入力が終了した場合（ステップＳ８でＹｅｓ）は、本動作を終了する。一方、ビットストリームが継続している場合（ステップＳ８でＮｏ）は、ステップＳ１へ戻って動作を継続する。
【００８６】
以上の動作によって、テロップ合成装置１は、映像を符号化した符号化ストリーム（ビットストリーム）にテロップをスーパーインポーズする際に、テロップを合成されることで画質が劣化したブロックについては、再符号化を行い、それ以外のブロックについては、入力されたビットストリーム（符号化ストリーム）をそのまま出力することになり、画質の劣化を抑えることができる。
【００８７】
【発明の効果】
以上説明したとおり、本発明に係るテロップ合成装置、テロップ合成方法及びテロップ合成プログラムでは、以下に示す優れた効果を奏する。
【００８８】
請求項１、請求項６又は請求項７に記載の発明によれば、映像を符号化したビットストリーム（符号化ストリーム）に、テロップを合成するときに、テロップの合成に起因する画質劣化を伴う画像（ブロック）のみを正確に検出することができる。また、このテロップの合成により画質が劣化した画像（ブロック）のみを再符号化し、それ以外の画像（ブロック）については、元のビットストリームをそのまま出力するため、テロップの合成されたブロック以外は、画質の劣化が発生しない。
【００８９】
また、ビットストリームの構造がＩＢＰ（Ｉフレーム、Ｂフレーム及びＰフレーム）構造であっても、１ブロック単位で処理を行うため、処理に伴う遅延量は１ブロック分となり、生放送においても映像にテロップを合成ことが可能になる。
【００９０】
請求項２に記載の発明によれば、再符号化時にブロックをイントラブロックとして符号化することで、符号化における計算量が少なくて済み、テロップを合成するときの遅延量を少なくすることができる。
【００９１】
請求項３に記載の発明によれば、再符号化時に、ブロックを予測符号化方式により符号化することができるので、符号化されたデータ量を抑えることができる。
【００９２】
請求項４に記載の発明によれば、テロップの合成により画質が劣化したブロックにおいて、量子化ステップを小さく設定することで、画質の劣化の程度を軽減することができる。
【００９３】
請求項５に記載の発明によれば、映像を符号化したビットストリームに、テロップを合成する際に、画質の劣化とビットストリームの増加量とを調整することができ、例えば、高画質映像のビットストリームにテロップを合成するときは、比較手段における類似判定に用いる類似度を高く設定することで、画質の劣化を抑えることができる。また、低画質映像のビットストリームにテロップを合成するときは、比較手段における類似判定に用いる類似度を低く設定することで、データ量の増加を抑えることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るテロップ合成装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係るテロップ合成装置の復号手段の構成を示すブロック図である。
【図３】本発明の実施の形態に係るテロップ合成装置の符号化手段の構成を示すブロック図である。
【図４】本発明の実施の形態に係るテロップ合成装置の動作を示すフローチャートである。
【図５】本発明の他の実施の形態に係るフレームメモリの構成を示す構成図である。
【図６】映像にテロップを合成する例を示す概念図である。
【図７】従来のテロップ合成手法における問題点を説明するための説明図である。
【符号の説明】
１ テロップ合成装置
１０（１０ａ、１０ｂ） 復号手段
１０（１０ｃ） 復号手段（第二復号手段）
１１ ブロック情報解析部
１２ 逆量子化部
１３ 逆ＤＣＴ部
１４ フレームメモリ
１５ 動き補償部
１６ 加算部
２０ 合成手段
３０ 符号化手段
３１ フレームメモリ
３２ 動き予測部
３３ 動き補償部
３４ 減算部
３５ ＤＣＴ部
３６ 量子化部（量子化手段）
３６ａ 量子化ステップ変更部（量子化ステップ変更手段）
３７ ブロック情報生成部
４０ 比較手段
５０ 切り替え手段

Claims (7)

1. 映像を符号化した符号化ストリームに、テロップを合成するテロップ合成装置であって、
   前記符号化ストリームを所定のブロック単位で復号して、復号画像を生成する復号手段と、
   この復号手段で復号された復号画像に前記テロップを合成して、合成画像を生成する合成手段と、
   この合成手段で合成された合成画像を符号化して、合成画像符号化ストリームを生成する符号化手段と、
   前記合成画像と前記復号画像とを比較する比較手段と、
   この比較手段の比較結果に基づいて、前記合成画像と前記復号画像とが同一画像である場合には前記符号化ストリームを、同一画像ではない場合には前記合成画像符号化ストリームを切り替えて、テロップ合成符号化ストリームとして出力する切り替え手段と、
   を備えていることを特徴とするテロップ合成装置。
2. 前記符号化手段は、前記合成画像をその合成画像内において単独で符号化するイントラモードによって動作することを特徴とする請求項１に記載のテロップ合成装置。
3. 前記切り替え手段から出力されるテロップ合成符号化ストリームを所定のブロック単位で復号して、第二復号画像を生成する第二復号手段を備え、
   前記符号化手段は、前記第二復号画像を参照して前記合成画像を符号化することを特徴とする請求項１に記載のテロップ合成装置。
4. 前記符号化手段は、符号化されるデータを量子化する量子化手段と、
   この量子化手段における量子化間隔である量子化ステップを変更する量子化ステップ変更手段と、
   を備えていることを特徴とする請求項１乃至請求項３のいずれか１項に記載のテロップ合成装置。
5. 前記比較手段は、前記合成画像と前記復号画像との類似の度合いを示す類似度が、所定値以上であるときに前記合成画像と前記復号画像とが同一の画像であると判断することを特徴とする請求項１乃至請求項４のいずれか１項に記載のテロップ合成装置。
6. 映像を符号化した符号化ストリームに、テロップを合成するテロップ合成方法であって、
   前記符号化ストリームを所定のブロック単位で復号して、復号画像を生成する復号画像生成ステップと、
   この復号画像生成ステップで生成された復号画像に前記テロップを合成して、合成画像を生成する合成画像生成ステップと、
   前記合成画像と前記復号画像とを比較する比較ステップと、
   この比較ステップの比較結果に基づいて、前記符号化ストリームを出力するか、前記合成画像生成ステップで生成された合成画像を符号化して出力するかを切り替えて実行する切り替え出力ステップと、
   を含んでいることを特徴とするテロップ合成方法。
7. 映像を符号化した符号化ストリームに、テロップを合成するために、コンピュータを、
   前記符号化ストリームを所定のブロック単位で復号して、復号画像を生成する復号手段、
   この復号手段で復号された復号画像に前記テロップを合成して、合成画像を生成する合成手段、
   この合成手段で合成された合成画像を符号化して、合成画像符号化ストリームを生成する符号化手段、
   前記合成画像と前記復号画像とを比較する比較手段、
   この比較手段の比較結果に基づいて、前記符号化ストリームと前記合成画像符号化ストリームとを切り替えて、テロップ合成符号化ストリームとして出力する切り替え手段、
   として機能させることを特徴とするテロップ合成プログラム。

Images