JP7352396B2 - 番組送出装置 - Google Patents

Description

本発明は、番組データの映像信号を符号化し直して出力する番組送出装置に関する。

従来の番組送出システムでは、完成プログラムと呼ばれる送出用映像及び音声等の番組データを送信用サーバに蓄積しておく。そして、番組データを放送又は通信で伝送する際には、決められた時間に決められたフォーマットで送信用サーバから読み出して再生し、エンコーダと呼ばれる映像及び音声等の圧縮装置で伝送のための符号化処理を施して、電波或いは通信網を介して送出する。

より具体的に、多くの場合、完成プログラムを作成するための番組の素材となる素材映像及び音声等は、送信用サーバに蓄積する前に、編集作業において１回又は複数回の映像処理が施されることもある。この複数の映像処理により信号品質の劣化が生じるが、できる限り高品質な記録方式で（ロスレス、又はロスレスに近い記録方式で）記録・再生を行うことができるように完成プログラムが作成される。

つまり、完成プログラムは、番組の素材に対する品質劣化を極力抑制する工夫がとられている。一方で、完成プログラムは、送信用サーバに蓄積する際の記録容量、及び、番組データを放送又は通信で伝送する際の品質が番組の素材の品質よりも低いことを考慮し、必要に応じて番組の素材に比して品質劣化を極力抑制しながらも相対的に品質の低いデータ構成で、送信用サーバに蓄積される。

そして、従来の番組送出システムでは番組送出装置が設けられ、典型的な番組送出装置は、データ変換部、エンコーダ及び送出機を有する。データ変換部は、決められた時間に送信用サーバに蓄積されていた複数の完成プログラムを構成する番組データのうち送信先（放送、或いは通信の受信装置）に応じて或る番組データを読み出して再生し、必要に応じて伝送用フォーマット（解像度、色域など）に変換する。エンコーダはその変換後の番組データを当該送信先に応じた圧縮率（例えば放送に適したビットレート）で符号化圧縮する。送出機はその符号化後の信号を当該送信先に対応する放送又は通信の送信設備に送出する。

このように、従来の典型的な番組送出装置は、送信用サーバに蓄積されていた番組データを符号化して放送又は通信の送信設備に送出し、放送、或いは通信により伝送可能としている。

ところで、送信用サーバに完成プログラムとして蓄積する番組データは、番組の素材に対する品質劣化を極力抑制するために、比較的シンプルな映像符号化方式で記録・保存されることがあり、更にはビットレートの非常に高い条件で圧縮処理が施され記録・保存されることもある。場合によっては送信先が放送であれば、放送で用いる圧縮方式と同じ方式で高品質になるよう高ビットレートで保存され、送信先が通信の受信装置であれば、通信で用いる圧縮方式と同じ方式で高品質になるよう高ビットレートで保存されることもある。このように、完成プログラムによっては、同一内容の番組データであっても、送信先に応じた完成プログラムがそれぞれ送信用サーバに蓄積される。

この場合の番組送出装置は、送信用サーバに蓄積され符号化されていた番組データの符号化信号を復号し、符号化し直して放送又は通信の送信設備に送出し、放送、或いは通信により伝送可能としている。

つまり、送信用サーバに蓄積されている番組データが符号化されている場合、番組送出装置は、上記のデータ変換部の代わりに、或いはその一部の機能として、符号化されていた番組データを復号するデコーダが設けられる。このデコーダは、決められた時間に送信用サーバに蓄積され符号化されていた或る番組データを読み出して復号し再生する。そして、エンコーダはその復号後の番組データを送信先（放送、或いは通信の受信装置）に応じた圧縮率（例えば放送に適したビットレート）で再圧縮する。このようなエンコーダによる再圧縮の処理は、番組送出時に災害や事件の発生を知らせる文字によるスーパーを付加するサービス、或いは時刻や天気情報などの図形・文字によるスーパーを付加するサービスを実現するためであり、特に映像信号の圧縮処理のやり直しを要するときに行われ、例えばリアルタイム放送、或いは通信のリアルタイムストリーミングでは避けられない処理である。

一方で、圧縮符号化後のデータは多くの場合、品質の劣化を伴い、一度符号化処理された映像信号を復号し、全く異なる符号化方式で再度符号化処理を行うと、一度目の符号化処理で生じた符号化歪みの影響を受けて更に符号化歪みが増大することがある。このような現象を極力低減するために送信用サーバに番組データを蓄積する際には、符号化圧縮率を低く抑えて、符号化歪みが少なくなるように比較的シンプルな映像符号化方式が利用されることが多い。しかし、比較的シンプルな映像符号化方式が利用される場合であっても、多くの場合、そのために放送品質に比べて数倍から数十倍の記録容量を送信用サーバに必要とし、番組送出装置も送信先に応じた完成プログラムの読み出し処理が必要となり、番組送出装置の処理負担が巨大となっている。更に、完成プログラムの番組データが同一内容であるにも関わらず送信先に応じたものをそれぞれ予め用意して事前に送信用サーバに蓄積されることは、効率的な番組送出システムとはいえない。

尚、複数回の符号化処理による品質劣化を抑制する方式として、継承符号化方式と呼ばれる手法が放送システムの一部で用いられている（例えば、非特許文献１参照）。

この場合の番組送出装置は、通信網を介して或る放送品質の番組データに係る映像等の符号化信号を受信し、離れた地域でその内容を放送する場合などに用いられており、例えば東京発の番組を名古屋で放送する場合などである。このとき、名古屋は東京都とは異なる地域であるため、例えば地震や事件などを名古屋のみを対象として名古屋発の番組データをスーパーとして付加することがあり、東京発の番組として東京放送局の送信設備から通信で伝送された符号化信号を名古屋放送局の送信設備で受信した後に一度復号し、スーパーを付加し、再度の放送のための符号化を行っている。

このような場合に、東京発として伝送するために符号化された番組データの符号化信号の放送品質から、名古屋発の放送品質の符号化処理を行う際に、再度符号化を行うと復号された映像に含まれる符号化劣化により異なる符号化処理が行われ、前述したように符号化劣化の増大が顕著になる。この現象を抑制するために、継承符号化方式における番組送出装置は、デコーダにより受信した符号化信号を復号する一方で、エンコーダにより当該受信した符号化信号の符号化制御情報（符号化パラメータ等）を再度の符号化処理において再利用（継承）して符号化する仕組みが一部で実用化されている。

これにより、継承符号化方式における番組送出装置は、当該受信した符号化信号に復号処理を施した際の番組データに含まれる符号化歪みの影響を増大させることなく、再度の符号化処理を施すことができ、このため受信した符号化信号の番組データの符号化品質を維持することができる。

ところで、映像符号化処理における品質低下の要因の一つとして、現在主流の映像符号化方式の多くがブロックベース符号化と呼ばれる仕組みを利用している点にある。

ブロックベース符号化は、映像信号を部分的に逐次符号化処理するため大容量の信号蓄積メモリが不要、広範囲な映像信号の解析という重い処理が必要ない、など実用的なメリットを複数有している。しかし、ブロックベース符号化は、基本的には、映像信号の一部の部分信号を逐次符号化処理するものであることから、その部分信号の先にどのような信号が入力され処理対象となるか未知となるため、符号化信号のトータル（例えばピクチャ全体）で最適化を行うことは難しいというデメリットがある。

そこで、番組データにおける映像信号をブロックベース符号化により符号化する際に、一度簡易な既知の手法で符号化、解析し、全体像を把握した上で符号化処理をすることにより上記のデメリットを解決することができる。このような複数回の符号化処理を繰り返して、高品質な符号化処理を実現する手法としてマルチパス符号化処理が知られている。

つまり、マルチパス符号化処理では、１回目の符号化処理結果である符号化制御情報を参考に符号化を制御することにより最適な符号化を実現する。尚、複数回の符号化処理を繰り返すことにより最適化を進めることができるが、その改善度は低減することから多くの場合、処理遅延やエネルギー効率を考慮して二回（ツーパス）符号化が多く用いている。

花田ほか、"地上デジタル地域放送サービス用ＴＳ伝送シームレス切り替え装置の開発"、一般社団法人 映像情報メディア学会、映像情報メディア学会技術報告、２６．３４（０），１３－１６，２００２年

上述したように、送信用サーバに蓄積され、或いは伝送用に符号化されていた番組データの符号化信号を復号し、符号化し直して放送又は通信の送信設備に送出し、放送、或いは通信により伝送可能とする番組送出装置がある。

しかし、符号化されていた番組データの符号化信号を復号し、符号化し直す際に、全く異なる符号化制御が施されると前述したように符号化劣化の増大が顕著になる。

そこで、符号化し直す際に、継承符号化方式の技法を応用して、ブロックベース符号化として同一の符号化方式とし、尚且つ当該符号化信号の符号化制御情報（符号化パラメータ等）を再度の符号化処理において再利用（継承又は指標として利用）して符号化し直すように番組送出装置を構成することが考えられる。

しかしながら、符号化されていた番組データにおける映像信号の符号化信号がブロックベース符号化により符号化されているときに、同一の符号化方式とし、尚且つ当該符号化信号の符号化制御情報を再度の符号化処理において再利用して符号化し直すと、種々の送信先（放送、或いは通信の受信装置）に応じた符号化信号として適したものとはいえない。

更に、完成プログラムを作成する時点で送信先を特定せずに、番組データにおける映像信号をブロックベース符号化により符号化して送信サーバに蓄積しようとしても、送信先を特定しない符号化制御として最適化することは難しい。

逆に、完成プログラムの番組データが同一内容であるにも関わらず送信先に応じたものをそれぞれ予め用意して送信用サーバに予め蓄積しておくことは、効率的な番組送出システムとはいえない。

そこで、マルチパス符号化処理を応用して、送信用サーバ等に記録され、或いは伝送用に符号化されていた番組データにおける映像信号の符号化信号を復号し、符号化歪みの増大を抑制しながら、送信先に応じて高品質に再度の符号化を行う番組送出装置が要望される。

本発明の目的は、上述の問題に鑑みて、符号化されていた番組データにおける映像信号の符号化信号を復号し、符号化歪みの増大を抑制しながら、送信先に応じて高品質に再度の符号化を行う番組送出装置を提供することにある。

本発明に係る番組送出装置は、番組データにおける映像信号の１回目の符号化処理に用いた符号化制御情報を参考にして、必ずしもその符号化制御情報の全部を再利用するのではなく、少なくとも予め定められた一部の情報を継承しながら送信先に応じて２回目の符号化処理を可変制御することにより、出力先に応じた最適な符号化制御を行う。

更に、本発明による一態様の番組送出装置は、番組データを構成する映像信号を符号化し直して出力する番組送出装置であって、番組データを構成する前記映像信号の第１の符号化信号を入力し、前記第１の符号化信号を復号して前記映像信号を復号するとともに、前記第１の符号化信号の生成に用いられていた第１の符号化制御情報を抽出して外部指定される送信先情報に応じて事前分析し、該映像信号の第２の符号化信号の生成に用いる第２の符号化制御情報を、前記第１の符号化制御情報における予め定められた情報を継承して形成するデコーダと、外部指定される送信先情報に応じて前記デコーダから得られる前記第２の符号化制御情報を分析し、前記第２の符号化制御情報における予め定められた少なくとも一部の情報を継承して第３の符号化制御情報を形成するとともに、前記第３の符号化制御情報を基に前記デコーダから得られる映像信号を符号化し直して前記映像信号の第２の符号化信号を生成するエンコーダと、前記映像信号の第２の符号化信号を含む符号化後の番組データの信号を、前記送信先情報により外部指定される送信先に対応する放送又は通信の送信設備に送出する送出機と、を備えることを特徴とする。

また、本発明による一態様の番組送出装置において、前記第１の符号化制御情報と前記第２の符号化制御情報の双方は、ブロックベース符号化に基づいた少なくとも符号化タイプの情報を含み、前記第２の符号化制御情報は、前記第１の符号化制御情報における予め定められた情報として、少なくとも前記符号化タイプの情報を継承して形成されていることを特徴とする。

また、本発明による一態様の番組送出装置において、前記第１の符号化制御情報と前記第２の符号化制御情報の双方は、ブロックベース符号化に基づいた少なくとも符号化タイプ及び符号化ブロックのサイズの情報を含み、前記第２の符号化制御情報は、前記第１の符号化制御情報における予め定められた情報として、少なくとも前記符号化タイプの情報を継承して形成され、前記第３の符号化制御情報は、前記符号化ブロックのサイズのみ可変決定され、前記符号化ブロックのサイズ以外の符号化パラメータが前記第２の符号化制御情報から継承されて形成されていることを特徴とする。

また、本発明による一態様の番組送出装置において、前記エンコーダは、前記第１の符号化信号の符号化方式と同一のブロックベース符号化により前記第２の符号化信号を生成するように構成されていることを特徴とする。

また、本発明による一態様の番組送出装置において、前記デコーダと前記エンコーダのいずれか一方に、符号化方式の変換と符号化制御情報の読み替えを行うトランスコード部が設けられていることを特徴とする。

本発明によれば、符号化されていた番組データにおける映像信号の符号化信号を復号し、符号化歪みの増大を抑制しながら、送信先に応じて限られた伝送容量で高品質に再度の符号化を行うことができる。また、２回目の符号化処理時における消費電力や遅延を改善することができる。

更に、２回目の符号化処理時における品質が向上することから、送信用サーバに蓄積させる番組データについて、その１回目の符号化では従来よりも低いビットレートで符号化して記録しておくことが相対的に許容できるようになり、尚且つ送信用サーバの蓄積容量の低減も行うことができる。

また、送信先に応じて２回目の符号化処理を可変制御することから、送信先に応じた限られた伝送容量で高品質な映像伝送を実現できるようになる。

本発明による一実施形態の番組送出装置の概略構成を示すブロック図である。 本発明による一実施形態の番組送出装置における実施例１のデコーダの概略構成を示すブロック図である。 本発明による一実施形態の番組送出装置における実施例１のエンコーダの概略構成を示すブロック図である。 本発明による一実施形態の番組送出装置における実施例２のデコーダの概略構成を示すブロック図である。 本発明による一実施形態の番組送出装置における実施例２のエンコーダの概略構成を示すブロック図である。

以下、図面を参照して、本発明による一実施形態の番組送出装置１を説明する。

〔全体構成〕
図１は、本発明による一実施形態の番組送出装置１の概略構成を示すブロック図である。図１に示す本実施形態の番組送出装置１は、送信用サーバ２に蓄積され第１の符号化処理により符号化されていた番組データを読み出して、その番組データを構成する映像信号の第１の符号化信号を復号し、第２の符号化処理により符号化し直して当該映像信号の第２の符号化信号を生成して符号化圧縮した番組データを再構成し、放送又は通信の送信設備に送出して放送、或いは通信により伝送可能とする装置である。尚、図１に示す本実施形態の番組送出装置１では、代表して、映像信号のみを符号化し直し、音声や字幕、図形・文字のスーパー等の符号化データはそのまま利用する例として図示しているが、音声や字幕、図形・文字のスーパー等の符号化データを新たに付加することや、符号化し直すように構成してもよい。

ここで、送信用サーバ２に蓄積されている番組データは、番組の素材に対する品質劣化を極力抑制するように、第１の符号化処理により符号化されて蓄積されていることを想定して説明する。

より具体的に、本実施形態の番組送出装置１は、デコーダ１１、エンコーダ１２、及び送出機１３を備える。

デコーダ１１は、送信用サーバ２から第１の符号化処理により符号化されていた番組データを読み出して、その番組データを構成する映像信号の第１の符号化信号をビットストリームとして入力し、ビットストリームに係る可変長符号を復号した上で、当該第１の符号化信号を復号して映像信号を復号し、エンコーダ１２に出力する機能を有する。

また、デコーダ１１は、ビットストリームに係る可変長符号の復号を経て、当該映像信号の第１の符号化信号の生成に用いられていた第１の符号化制御情報を抽出して、エンコーダ１２に出力する機能（後述する図２に示す実施例１）、或いは当該映像信号の第１の符号化制御情報を抽出して外部指定される送信先（放送、或いは通信の受信装置）情報に応じて事前分析し、エンコーダ１２にて再圧縮する映像信号の第２の符号化信号の生成に用いる第２の符号化制御情報を、第１の符号化制御情報における予め定められた少なくとも一部の情報を継承して形成し、エンコーダ１２に出力する機能（後述する図４に示す実施例２）を有する。

ここで、第１及び第２の符号化制御情報は、符号化タイプ（イントラ符号化、インター符号化）情報、符号化順情報、符号化ブロックのサイズ情報、量子化値設定情報、予測関連制御情報（予測の参照関係、予測モード情報、動きベクトル情報など）、ピクチャ単位及び符号化ブロック単位で発生する情報量を示す発生情報量情報、直交変換係数情報及び直交変換係数に係る関連設定情報など、それぞれ第１及び第２の符号化信号の生成に必要な全ての制御情報を含み、ビットストリームに含めて伝送されるものである。

エンコーダ１２は、デコーダ１１から得られる映像信号を入力し、第２の符号化処理により符号化し直して当該映像信号の第２の符号化信号を生成し、送出機１３に出力する機能を有する。

ここで、エンコーダ１２は、送信用サーバ２において蓄積され符号化されていた映像信号の第１の符号化信号の符号化方式と同様にブロック単位で符号化を行うブロックベース符号化（例えばＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６－１０｜ＩＴＵ－Ｔ Ｈ．２６４）やＨＥＶＣ（ＩＳＯ／ＩＥＣ ２３００８－２｜ＩＴＵ－Ｔ Ｈ．２６５）、ＶＶＣ（ＩＳＯ／ＩＥＣ ２３０９０－３｜ＩＴＵ－Ｔ Ｈ．ＦＶＣ（仮称））など）による符号化方式によって、当該映像信号の第２の符号化信号の生成のために符号化を行うが、第１の符号化信号に対応する第１の符号化制御情報における予め定められた少なくとも一部の情報を継承した第２の符号化制御情報を基に、当該第２の符号化信号を生成する。

そこで、エンコーダ１２は、当該映像信号の第２の符号化信号の生成に先立って、外部指定される送信先（放送、或いは通信の受信装置）情報に応じてデコーダ１１から得られる第１の符号化制御情報を分析し、第１の符号化制御情報における予め定められた少なくとも一部の情報を継承し当該第２の符号化信号の生成に用いる第２の符号化制御情報を形成する機能（後述する図３に示す実施例１）、或いはデコーダ１１により事前分析済の第２の符号化制御情報を入力して当該映像信号の第２の符号化信号の生成を行う機能（後述する図５に示す実施例２）を有する。

即ち、第２の符号化制御情報は、第１の符号化制御情報を参考にして、必ずしもその第１の符号化制御情報の全部を再利用するのではなく、送信先を示す送信先情報を基に、少なくとも第１の符号化制御情報における予め定められた一部の情報を継承して形成される。

ここで、送信先情報には、例えば、各種の放送向け、各種の通信用のストリーミング向け、通信のオンデマンド向け、低画質／高画質等の設定の情報など、送信先に要求される伝送品質の情報が含まれる。

送出機１３は、エンコーダ１２によって生成した映像信号の第２の符号化信号を含む符号化後の番組データの信号を、送信先情報により外部指定される送信先（放送、或いは通信の受信装置）に対応する放送又は通信の送信設備に送出する。番組データの信号は、エンコーダ１２によって生成した映像信号の第２の符号化信号に、音声や字幕等の符号化データを多重して再構成される。

従って、図１に示す本実施形態の番組送出装置１では、実施例１として、エンコーダ１２側で少なくとも第１の符号化制御情報における予め定められた一部の情報を継承して第２の符号化制御情報を形成する形態と、実施例２として、デコーダ１１側で事前分析して第２の符号化制御情報を形成する形態のいずれかで構成される。

以下、実施例１，２におけるデコーダ１１及びエンコーダ１２について、詳細に説明する。

〔実施例１〕
（デコーダ）
図２は、本発明による一実施形態の番組送出装置１における実施例１のデコーダ１１の概略構成を示すブロック図である。実施例１のデコーダ１１は、可変長符号復号部１１０、制御情報抽出部１１１、及び映像復号部１１２を備える。

可変長符号復号部１１０は、送信用サーバ２から第１の符号化処理により符号化されていた番組データを読み出して、その番組データを構成する映像信号の第１の符号化信号をビットストリームとして入力し、当該ビットストリームに係る可変長符号に対して復号処理を施すことにより、ビットストリームの復号信号に含まれる映像符号化信号を判別し、映像復号部１１２に出力する。尚、可変長符号復号部１１０は、第１の符号化制御情報を含むビットストリームの復号信号については制御情報抽出部１１１にも出力する。

制御情報抽出部１１１は、可変長符号復号部１１０から得られるビットストリームの復号信号に含まれる第１の符号化制御情報を抽出し、エンコーダ１２に出力する。

映像復号部１１２は、ビットストリームの復号信号に含まれる第１の符号化制御情報を基に、映像符号化信号に対して復号処理を施して映像信号を復号し、エンコーダ１２に出力する。

尚、可変長符号復号部１１０から入力される本例の映像符号化信号は、ブロックベース符号化により符号化されており、このため、本例の映像復号部１１２は、逆量子化部１１３、逆変換部１１４、加算部１１５、ループフィルタ処理部１１６、及び予測部１１７を有する。ただし、可変長符号復号部１１０から入力される映像符号化信号が周波数変換を伴う映像符号化方式のブロックベース符号化により符号化されているとき（例えば、Ｈ．２６４／ＡＶＣ又はＨ．２６５／ＨＥＶＣ等）、映像復号部１１２はこれに対応する復号処理を行う。

逆量子化部１１３は、映像符号化信号を符号化ブロック単位で入力し、逆量子化処理を施してブロック単位の差分信号に変換し、逆変換部１１４に出力する。

逆変換部１１４は、逆量子化部１１３から得られる当該差分信号に施されている周波数変換を基に戻す処理を行い、加算部１１５に出力する。

加算部１１５は、逆変換部１１４から得られるブロック単位の差分信号と、予測部１１７から得られるブロック単位の予測信号と、を加算して、映像信号の部分信号を形成し、ループフィルタ処理部１１６に出力する。

ループフィルタ処理部１１６は、加算部１１５から得られる映像信号の部分信号に対して、所謂、デブロッキングフィルタや帯域通過フィルタ、ブロック単位にオフセット処理を行うＳＡＯ（Sample adaptive offset）などを施し、フィルタ処理後の映像信号をエンコーダ１２に出力する。

予測部１１７は、ループフィルタ処理部１１６から得られる映像信号を一時記憶し、ブロック単位の映像信号を次のブロックの予測信号として加算部１１５に出力する。

このように、実施例１のデコーダ１１は、ビットストリームに係る可変長符号の復号を経て、ブロック単位の映像信号をエンコーダ１２に出力するとともに、当該映像信号の第１の符号化信号の生成に用いられていた第１の符号化制御情報を抽出して、エンコーダ１２に出力する。

（エンコーダ）
図３は、本発明による一実施形態の番組送出装置１における実施例１のエンコーダ１２の概略構成を示すブロック図である。実施例１のエンコーダ１２は、制御情報分析部１２０、及び映像符号化部１２１を備える。

制御情報分析部１２０は、デコーダ１１から得られる映像信号に対しエンコーダ１２における第２の符号化信号の生成に先立って、デコーダ１１から得られる第１の符号化制御情報を、送信先（放送、或いは通信の受信装置）を示す送信先情報を基に分析する。そして、制御情報分析部１２０は、必ずしもその第１の符号化制御情報の全部を再利用するのではなく、少なくとも第１の符号化制御情報における予め定められた一部の情報を継承して、エンコーダ１２における第２の符号化信号の生成に用いる第２の符号化制御情報を形成し、映像符号化部１２１に出力する。

映像符号化部１２１は、デコーダ１１から得られるブロック単位の映像信号を入力して、制御情報分析部１２０から得られる送信先（放送、或いは通信の受信装置）に応じた第２の符号化制御情報を基に、例えば、Ｈ．２６４／ＡＶＣ又はＨ．２６５／ＨＥＶＣ等のブロックベース符号化により、送信先に応じて符号化パラメータを可変制御して符号化する処理部であり、前処理部１２２、減算部１２３、直交変換部１２４、量子化部１２５、逆量子化・逆直交変換部１２６、加算部１２７、ループフィルタ処理部１２８、空間予測部１２９、動き予測部１３０、切替部１３１、及びエントロピー符号化部１３２を有する。

前処理部１２２は、第２の符号化制御情報を基に、符号化タイプ（イントラ符号化、インター符号化）や符号化順、予測の参照関係、符号化単位である符号化ブロック、或いはスライス等の第２の符号化信号の生成に必要な全ての前処理を行って、改めて設定されるブロック単位の映像信号を減算部１２３に出力する。

減算部１２３は、第２の符号化制御情報を基に、前処理部１２２から得られるブロック単位の映像信号と、切替部１３１から得られるブロック単位の予測信号と、を差分して、映像信号の差分信号を形成し、直交変換部１２４に出力する。

直交変換部１２４は、第２の符号化制御情報を基に、減算部１２３から得られる映像信号の差分信号に対して直交変換係数に基づく周波数変換を施し、量子化部１２５に出力する。

量子化部１２５は、第２の符号化制御情報を基に、直交変換部１２４から得られる直交変換係数の信号に対して量子化処理を施し、エントロピー符号化部１３２及び逆量子化・逆直交変換部１２６に出力する。

逆量子化・逆直交変換部１２６は、量子化部１２５から得られる直交変換係数の信号の量子化値に対して量子化部１２５の逆処理を施して、直交変換係数の信号を復元し、更に、この直交変換係数の信号に対して直交変換部１２４の逆処理を施して、映像信号の差分信号を復元し、加算部１２７に出力する。

加算部１２７は、逆量子化・逆直交変換部１２６から得られる映像信号の差分信号と、切替部１３１から得られ予測信号と、を加算して映像信号の部分信号を生成し、イントラ符号化時には空間予測部１２９に出力し、インター符号化時にはループフィルタ処理部１２８経由で動き予測部１３０に出力する。

ループフィルタ処理部１２８は、加算部１２７から得られる映像信号の部分信号に対して、所謂、デブロッキングフィルタや帯域通過フィルタ、ブロック単位にオフセット処理を行うＳＡＯ（Sample adaptive offset）などを施す処理部である。

また、切替部１３１は、第２の符号化制御情報を基に、符号化タイプに応じてイントラ符号化、又はインター符号化の切り替えを行う機能部である。

空間予測部１２９は、第２の符号化制御情報を基に、イントラ符号化時に、加算部１２７から得られる映像信号の部分信号を一時記憶し、次のブロックの予測信号を生成して切替部１３１経由で、減算部１２３及び加算部１２７に出力する。

動き予測部１３０は、第２の符号化制御情報を基に、インター符号化時に、ループフィルタ処理部１２８から得られる映像信号の部分信号を一時記憶し、次のブロックの予測信号を生成して切替部１３１経由で、減算部１２３及び加算部１２７に出力する。

エントロピー符号化部１３２は、第２の符号化制御情報を基に、量子化部１２５から得られる直交変換係数の信号の量子化値に対してエントロピー符号化処理を施して、第２の符号化信号をビットストリームの形式で、送出機１３に出力する。

（典型的な動作例）
ここで、実施例１に係る番組送出装置１の典型的な動作例について説明する。

典型的な例として、実施例１のエンコーダ１２の制御情報分析部１２０は、第１の符号化制御情報を基に第２の符号化制御情報を形成するにあたり、第１の符号化制御情報における符号化タイプと同一として予め定めておき、各符号化ブロックの発生情報量と量子化値の分布を分析し、フレーム、或いは映像シーケンス全体に対する符号量の割り当て、符号化ブロックの分割サイズ及び量子化値等の符号化パラメータを送信先に応じて可変決定する。即ち、第１の符号化制御情報における予め定められた少なくとも一部の情報として、符号化タイプを継承して映像信号の第２の符号化信号の生成に用いる第２の符号化制御情報を形成する。

そして、制御情報分析部１２０は、第１の符号化制御情報を基に、ピクチャの発生情報量と量子化値を用いたピクチャ単位の、更にはピクチャ内の部分的なブロック又はスライス等の情報量を推定し、新たに量子化値を符号化ブロック単位で調整した第２の符号化制御情報を形成する。

より具体的な例として、制御情報分析部１２０は、ピクチャ毎の発生情報量と量子化値の積で求められるピクチャ単位の情報量の推定値を基に、ピクチャ全体の情報量の変動を推定し、ピクチャ単位の平均量子化値を決定する。次に、制御情報分析部１２０は、ピクチャ単位の平均量子化値を基準としてピクチャ内の符号化ブロック単位の情報量の推定値を求め、符号化ブロック単位の情報量の平均値を基準として符号化ブロック単位の量子化値を決定する。

また、制御情報分析部１２０は、スライスの分割形状、及び符号化ブロックの分割形状の決定を行うときは、符号化ブロック内の情報量の変動を均一化するように決定する。

また、制御情報分析部１２０は、符号化タイプに応じた予測モードの決定についても、伝送規格上（例えば、Ｈ．２６４／ＡＶＣ又はＨ．２６５／ＨＥＶＣ等）では複数のモード選択が許容される場合でも、第１の符号化制御情報を基に、そのモード選択を簡略化して決定する。

このように決定し形成した第２の符号化制御情報を再度の符号化に用いることで、実施例１のエンコーダ１２は、第１の符号化制御情報で符号化されていた１回目の符号化信号（第１の符号化信号）に対し符号化タイプを同一とした上で、その他の符号化パラメータを送信先に応じて可変した符号量制御をフィードバックと同様に行うことができる。

これにより、実施例１に係る番組送出装置１は、マルチパス符号化と同様に、１度で符号化する場合のフィードフォワード型の予測をしながら符号量の割り当てを行う場合に比べ、送信先に応じた良好なビット割り当てを行うことができる。

例えば一般的に用いられるブロックベース符号化のビット割り当てでは、ピクチャタイプごとに各フレームの発生情報量と量子化値の積によるフレームの複雑度を用い次のそのタイプのフレームの複雑度を推測する。そして、符号量制御を行う単位（例えば１ピクチャから次の１フレームに至るフレーム）で目標とするビット量に対し、これまでに消費したビット量を引いた残ビット量を計算し、複雑度から量子化値を制御することで発生情報量を制御する。しかしながら実際には、映像の変化により複雑度の予測精度が変動するため決定した量子化値で十分に発生情報量を制限できないことが少なくない。そのため、一般的に用いられるブロックベース符号化では、目標値に対する発生情報量の過剰発生は映像に対する著しい劣化を引き起こすことから、余裕を見て（過剰に圧縮率を高く）制御を行っている。

これに対して、実施例１に係る番組送出装置１は、一度、符号化に用いた第１の符号化制御情報を参考にするため、画像解析処理を繰り返し行うことなく符号化フレームの発生情報量の適切な割り当てを行うことができるため、適切な符号量割り当て制御が実現できる。同様に、実施例１に係る番組送出装置１は、当該フレームの目標発生情報量に対し、各ブロックの複雑度を既に符号化された結果を基に見積もりながら符号化を行うことでフレーム内のブロック単位の発生情報量を過度な余裕を設けることなく符号化することができ、これによってブロック内の符号量を適切に制御可能となる。このような符号量制御及びその利点については従来からよく知られている（例えば、“総合マルチメディア選書 ＭＰＥＧ”、映像情報メディア学会編、オーム社、５章 ５－５レート制御とバッファ制御、１９９６年４月２０日発行、参照）。

このように、実施例１のエンコーダ１２は、送信用サーバ２において蓄積され符号化されていた映像信号の第１の符号化信号の符号化方式と同様のブロックベース符号化による符号化方式によって、当該映像信号の第２の符号化信号の生成のために符号化を行う。更に、実施例１のエンコーダ１２は、当該第１の符号化信号に対応する第１の符号化制御情報における予め定められた少なくとも一部の情報を継承した第２の符号化制御情報を送信先に応じて分析して決定し、この第２の符号化制御情報を基に、当該第２の符号化信号を生成する。

つまり、エンコーダ１２は、それ自体マルチパス符号化を行うものではなくとも、番組送出装置１全体としてみれば、処理負担を軽減しながらマルチパス符号化を行うのに相当する作用・効果が得られる。

即ち、実施例１に係る番組送出装置１は、番組データにおける映像信号の１回目の符号化処理に用いた符号化制御情報を参考にして、必ずしもその符号化制御情報の全部を再利用するのではなく、少なくとも予め定められた一部の情報を継承しながら送信先に応じて２回目の符号化処理を可変制御する。これにより、当該２回目の符号化処理時におけるビット利用効率が向上し、符号化品質が改善する。また、２回目の符号化処理時における消費電力や遅延を改善することができる。

更に、２回目の符号化処理時における品質が向上することから、番組データを符号化して送信用サーバ２に記録・保存する際の映像信号の符号化信号について、過剰に高ビットレートでの記録を抑制することができ、送信用サーバ２の利用効率が改善する。従って、送信用サーバ２に蓄積させる番組データについて、その１回目の符号化では従来よりも低いビットレートで符号化して記録しておくことが相対的に許容できるようになり、尚且つ送信用サーバの蓄積容量の低減も行うことができる。

また、送信先に応じて２回目の符号化処理を可変制御することから、送信先に応じた限られた伝送容量で高品質な映像伝送を実現できるようになる。

従って、実施例１に係る番組送出装置１によれば、符号化されていた番組データにおける映像信号の符号化信号を復号し、符号化歪みの増大を抑制しながら、送信先に応じて限られた伝送容量で高品質に再度の符号化を行うことができる。

〔実施例２〕
（デコーダ）
図４は、本発明による一実施形態の番組送出装置１における実施例３のデコーダ１１の概略構成を示すブロック図である。尚、同様な構成要素には同一の参照番号を付している。実施例２のデコーダ１１は、可変長符号復号部１１０、映像復号部１１２、及び事前分析部１１２ａを備え、図２に示す実施例１と比較して、実施例１の制御情報抽出部１１１が事前分析用に組み込まれた事前分析部１１２ａを備える点で相違している。尚、実施例２に係る可変長符号復号部１１０、及び映像復号部１１２の構成と動作は、実施例１と同様であり、更なる説明は省略する。

事前分析部１１２ａは、制御情報抽出部１１１、制御情報分析部１１８、及び記憶部１１９を備える。

実施例２に係る制御情報抽出部１１１は、映像復号部１１２からエンコーダ１２に向けて復号後の映像信号を出力するよりも所定期間前に、可変長符号復号部１１０に対して第１の符号化信号を構成するビットストリームを取得するように指示し、そのビットストリームに含まれる第１の符号化制御情報を抽出し、一旦、映像復号部１１２を機能させて映像信号を復号し、第１の符号化制御情報及び映像信号を制御情報分析部１１８に出力する。制御情報分析部１１８への入力映像は、ループフィルタの影響を除く必要がある解析に用いる場合にはループフィルタ処理部１１６の入力を用い、ループフィルタの解析を行う場合にはループフィルタ処理部１１６の出力を使用又は併用する。尚、映像復号部１１２からエンコーダ１２に向けて復号後の映像信号を出力する際にも、映像復号部１１２は当該第１の符号化制御情報を用いて復号処理を行う。

制御情報分析部１１８は、実施例１ではエンコーダ１２に設けられていた制御情報分析部１２０と同様に処理する機能部であり、制御情報抽出部１１１から得られる第１の符号化制御情報を、送信先（放送、或いは通信の受信装置）を示す送信先情報を基に分析する。そして、制御情報分析部１１８は、必ずしもその第１の符号化制御情報の全部を再利用するのではなく、少なくとも第１の符号化制御情報における予め定められた一部の情報を継承して、エンコーダ１２における第２の符号化信号の生成に用いる第２の符号化制御情報を形成し、記憶部１１９に記憶する。

また、事前分析部１１２ａは、映像復号部１１２から復号後の映像信号をエンコーダ１２に出力する際に、その出力開始を監視し先立って記憶部１１９から第２の符号化制御情報を読み出しエンコーダ１２に出力する。尚、事前分析部１１２ａは、エンコーダ１２からの要求に応じて記憶部１１９から第２の符号化制御情報を読み出しエンコーダ１２に出力する構成としてもよい。

即ち、実施例２のデコーダ１１は、事前分析部１１２ａにより、エンコーダ１２で用いる第２の符号化制御情報をエンコーダ１２の映像符号化処理より所定期間前に事前分析し、決定した第２の符号化制御情報を記憶部１１９に記憶しておく。そして、実施例２のデコーダ１１は、映像復号部１１２により、復号後の映像信号をエンコーダ１２に出力するとともに、事前分析部１１２ａにより、記憶部１１９から第２の符号化制御情報を読み出しエンコーダ１２に出力する。

（エンコーダ）
図５は、本発明による一実施形態の番組送出装置１における実施例２のエンコーダ１２の概略構成を示すブロック図である。尚、同様な構成要素には同一の参照番号を付している。実施例２のエンコーダ１２は、制御情報反映部１２０ａ、及び映像符号化部１２１を備え、図３に示す実施例１と比較して、実施例１の制御情報分析部１２０の代わりに、制御情報反映部１２０ａを備える点で相違している。尚、実施例２に係る映像符号化部１２１の構成と動作は、実施例１と同様であり、更なる説明は省略する。

制御情報反映部１２０ａは、デコーダ１１から得られる第２の符号化制御情報を入力し、そのまま映像符号化部１２１に出力する。

実施例２の映像符号化部１２１は、実施例１と同様に、デコーダ１１から得られるブロック単位の映像信号を入力して、制御情報分析部１２０から得られる送信先（放送、或いは通信の受信装置）に応じた第２の符号化制御情報を基に、例えば、Ｈ．２６４／ＡＶＣ又はＨ．２６５／ＨＥＶＣ等のブロックベース符号化により、送信先に応じて符号化パラメータを可変制御して符号化する。

従って、実施例１の番組送出装置１では或る程度の処理時間の制限が必要になるところ、実施例２に係る番組送出装置１は、実施例１の上述した利点を全て包含した上で、より詳細に第２の符号化制御情報を事前分析できるため、より高品質の第２の符号化制御信号を生成することができる。

例えば、実施例２に係る番組送出装置１では、デコーダ１１は、映像符号化部１２１により第１の符号化信号を復号する前に、事前解析部１１２ａにより、当該バックグラウンドで第１の符号化信号に係る第１の符号化制御情報を事前分析し、シミュレーションを行って、第２の符号化制御情報を決定しておくことができる。

そして、実施例２に係る番組送出装置１によれば、デコーダ１１の一部として事前分析部１１２ａを必要とするが、この事前分析部１１２ａは、実施例１よりも詳細な分析、最適化が実現でき、エンコーダ１２における処理負荷の高い符号化制御処理を大幅に低減可能であり、低消費電力での動作が実現できる。

〔変形例〕
上述した実施例２のエンコーダ１２では、制御情報反映部１２０ａにより、デコーダ１１から得られる第２の符号化制御情報を入力し、そのまま映像符号化部１２１に出力して反映させる形態としている。この変形例として、実施例２のエンコーダ１２において、制御情報反映部１２０ａの代わりに、実施例１の制御情報分析部１２０を設け、デコーダ１１から得られる第２の符号化制御情報を改めて送信先情報に基づいて分析し、事前分析部１１２ａによる事前解析時とは異なる符号化パラメータを決定して第２の符号化制御情報における予め定められた少なくとも一部の情報を継承して第３の符号化制御情報を形成し、映像符号化部１２１に出力する構成とすることもできる。この場合の映像符号化部１２１は、第３の符号化制御情報を基にデコーダ１１から得られる映像信号を符号化し直して映像信号の第２の符号化信号を生成する。

この変形例のエンコーダ１２では、改めて送信先情報に基づいて分析しても第２の符号化制御情報に変化が無ければそのままの符号化パラメータを利用でき、一方で、送信先情報が変化した場合や、事後的に元の第１の符号化信号に別の映像処理が加えられた場合など、事前分析部１１２ａにおける事前解析時とは異なる可能性がある場合にも対応できるようになる。また、この変形例のエンコーダ１２では、第２の符号化制御情報に含まれる符号化パラメータのうち、そのほとんどを利用しながら、例えば一部の符号化ブロックのサイズのみ可変決定するなど、実施例１と比較してより少ない一部の符号化パラメータのみ可変制御の対象とすることで、より利便性の高い、且つ高品質の第２の符号化信号の生成に寄与するものとなる。例えば、第２の符号化制御情報が、第１の符号化制御情報における予め定められた少なくとも一部の情報として、少なくとも符号化タイプの情報を継承して形成されており、第３の符号化制御情報は符号化ブロックのサイズのみ可変決定され、その他の符号化パラメータは第２の符号化制御情報から継承されて形成されたものとすることができる。

上述した実施例に関して、番組送出装置１の一部の情報を構成するデコーダ１１として機能するコンピュータの各手段を機能させるためのプログラム、或いはエンコーダ１２として機能するコンピュータの各手段を機能させるためのプログラムを好適に用いることができる。具体的には、各手段を制御するための制御部をコンピュータ内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各手段を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピュータに、ＣＰＵによって該プログラムを実行させることにより、上述した各手段の有する機能を実現させることができる。また、上述した各手段をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。

上述の実施形態及び実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換することができることは当業者に明らかである。例えば、上述の実施形態及び実施例では、番組送出装置１が送信用サーバ２に蓄積され符号化されていた番組データにおける映像信号の第１の符号化信号を符号化し直す例を説明したが、第１の符号化信号は送信用サーバ２に蓄積されたものでなくともよく、伝送用に符号化されていたものでもよい。例えば、送信用サーバ２ではなく、編集機、或いは録再機などのビットストリームを記録する機能を持つ映像処理装置でもよく、他の送信設備から伝送されてきたものでもよい。更に、番組送出装置１を複数連接して構成してもよい。

また、上述の実施形態及び実施例では、第１の符号化信号の符号化方式と同一のブロック形状を可変サイズで扱うブロックベース符号化による符号化方式によって第２の符号化信号を生成する好適例を説明したが、同一のブロックを扱うブロックベース符号化に限定する必要はない。例えば、これらの符号化方式の組み合わせが番組送出装置１として明らかであり符号化歪みの増大を抑制する限りにおいては異なる符号化方式でもよく、この場合には各符号化方式の組み合わせを設定し符号化方式の変換を行うトランスコード部を設ける。このトランスコード部に符号化制御情報の読み替えを行う機能を設け、デコーダ１１とエンコーダ１２のいずれか一方に当該トランスコード部を設けた番組送出装置１としてもよい。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明によれば、符号化されていた番組データにおける映像信号の符号化信号を復号し、符号化歪みの増大を抑制しながら、送信先に応じて限られた伝送容量で高品質に再度の符号化を行うことができるので、符号化された番組データの符号化信号を復号し、符号化し直す用途に有用である。

１ 番組送出装置
２ 送信用サーバ
１１ デコーダ
１２ エンコーダ
１３ 送出機
１１０ 可変長符号復号部
１１１ 制御情報抽出部
１１２ 映像復号部
１１２ａ 事前分析部
１１３ 逆量子化部
１１４ 逆変換部
１１５ 加算部
１１６ ループフィルタ処理部
１１７ 予測部
１１８ 制御情報分析部
１１９ 記憶部
１２０ 制御情報分析部
１２０ａ 制御情報反映部
１２１ 映像符号化部
１２２ 前処理部
１２３ 減算部
１２４ 直交変換部
１２５ 量子化部
１２６ 逆量子化・逆直交変換部
１２７ 加算部
１２８ ループフィルタ処理部
１２９ 空間予測部
１３０ 動き予測部
１３１ 切替部
１３２ エントロピー符号化部

Claims (5)

1. 番組データを構成する映像信号を符号化し直して出力する番組送出装置であって、
   番組データを構成する前記映像信号の第１の符号化信号を入力し、前記第１の符号化信号を復号して前記映像信号を復号するとともに、前記第１の符号化信号の生成に用いられていた第１の符号化制御情報を抽出して外部指定される送信先情報に応じて事前分析し、該映像信号の第２の符号化信号の生成に用いる第２の符号化制御情報を、前記第１の符号化制御情報における予め定められた情報を継承して形成するデコーダと、
   外部指定される送信先情報に応じて前記デコーダから得られる前記第２の符号化制御情報を分析し、前記第２の符号化制御情報における予め定められた少なくとも一部の情報を継承して第３の符号化制御情報を形成するとともに、前記第３の符号化制御情報を基に前記デコーダから得られる映像信号を符号化し直して前記映像信号の第２の符号化信号を生成するエンコーダと、
   前記映像信号の第２の符号化信号を含む符号化後の番組データの信号を、前記送信先情報により外部指定される送信先に対応する放送又は通信の送信設備に送出する送出機と、
   を備えることを特徴とする番組送出装置。
2. 前記第１の符号化制御情報と前記第２の符号化制御情報の双方は、ブロックベース符号化に基づいた少なくとも符号化タイプの情報を含み、
   前記第２の符号化制御情報は、前記第１の符号化制御情報における予め定められた情報として、少なくとも前記符号化タイプの情報を継承して形成されていることを特徴とする、請求項１に記載の番組送出装置。
3. 前記第１の符号化制御情報と前記第２の符号化制御情報の双方は、ブロックベース符号化に基づいた少なくとも符号化タイプ及び符号化ブロックのサイズの情報を含み、
   前記第２の符号化制御情報は、前記第１の符号化制御情報における予め定められた情報として、少なくとも前記符号化タイプの情報を継承して形成され、
   前記第３の符号化制御情報は、前記符号化ブロックのサイズのみ可変決定され、前記符号化ブロックのサイズ以外の符号化パラメータが前記第２の符号化制御情報から継承されて形成されていることを特徴とする、請求項１に記載の番組送出装置。
4. 前記エンコーダは、前記第１の符号化信号の符号化方式と同一のブロックベース符号化により前記第２の符号化信号を生成するように構成されていることを特徴とする、請求項１から３のいずれか一項に記載の番組送出装置。
5. 前記デコーダと前記エンコーダのいずれか一方に、符号化方式の変換と符号化制御情報の読み替えを行うトランスコード部が設けられていることを特徴とする、請求項１から３のいずれか一項に記載の番組送出装置。