JP6577426B2 - トランスコードシステム、トランスコード方法、コンピュータ可読記録媒体、復号装置および符号化装置 - Google Patents

Description

本発明は、トランスコードシステム、トランスコード方法、コンピュータ可読記録媒体、復号装置および符号化装置に関する。

イントラ予測（フレーム内予測）またはインター予測（フレーム間予測）と、残差変換と、エントロピー符号化とを用いた動画像符号化方式が提案されている。そのような動画像符号化により生成される動画像のビットストリームから設定の異なる動画像のビットストリームを生成することをトランスコードと呼ぶ。例えば、解像度は同一のままビットレートのみを削減する場合や、解像度を縮小した映像を生成する場合にトランスコードが利用される。

原動画像のビットストリームのトランスコードにより得られる画質と、原動画像を直接エンコードすることにより得られる画質と、を比較すると、一般的にトランスコード画質のほうが低い。したがって、トランスコードにおいては、直接エンコードの結果に近いほど性能が良いと言える。トランスコーダの符号化性能を改善するために、トランスコーダの符号化部の符号化性能を改善することがまず考えられる。しかしながら、符号化部の性能が改善されたとしても、得られるのは符号化部に入力される動画像（＝トランスコーダの復号部から出力される動画像）を正確に再現できるビットストリームであり、これが原動画像をより良く再現できているという保証はない。したがって、符号化部単体の符号化性能の改善とは異なる方式が必要となる。

従来では、動画像に含まれるフレームのうちイントラフレームが最も高画質であると考えられていた。したがって、トランスコードにおいて入力ビットストリームのイントラフレームが、出力ビットストリームでもイントラフレームとして符号化されていると、トランスコードによる劣化が少ないということになる。例えば、特許文献１には、入出力ビットストリームでイントラフレームを揃えることが開示されている。これを含め符号化構造を入出力ビットストリームで一致させることを、符号化構造を引き継ぐと表現する。

特開２０００−０９２４９７号公報

しかしながら、入力ビットストリームの符号化構造を単純に引き継ぐと、入力ビットストリームに含まれるより高画質なインターフレームを劣化させ、画質劣化が大きくなる虞がある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ビットストリームをパースすることなくトランスコードの際のイントラフレームを決定できる技術の提供にある。

本発明のある態様は、トランスコードシステムに関する。このトランスコードシステムは、動画像のビットストリームを取得する手段と、取得されたビットストリームとは設定の異なる新たなビットストリームを出力する手段と、取得されたビットストリームから高位シンタックスの復号により得られる情報を抽出する手段と、抽出された情報に基づいて、新たなビットストリームにおいてイントラフレームとされるべきフレームを特定する手段と、を備える。

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、ビットストリームをパースすることなくトランスコードの際のイントラフレームを決定できる。

実施の形態に係るトランスコード装置を備えるケーブルテレビシステムの構成を示す模式図である。 入力ビットストリームにおけるフレームの階層構造の一例を示す説明図である。 入力ビットストリームおよび出力ビットストリームの構造を示す説明図である。 図１のトランスコード装置の機能および構成を示すブロック図である。 図４の順番保持部の一例を示すデータ構造図である。 図４のフレーム構造制御部における一連の処理を示すフローチャートである。

以下、各図面に示される同一または同等の構成要素、部材、処理、信号には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

実施の形態に係るトランスコード装置は、入力されたビットストリームのＮＡＬ（Network Abstraction Layer ）ヘッダを復号して得られる情報のうち符号化構造とフレーム種別とフレームごとの発生符号量とを抽出する。トランスコード装置の符号化部は、入力ビットストリームのうち、イントラフレームに限定せずより画質の高いと推定されるフレームを出力ビットストリームのイントラフレームとして符号化を行う。動き補償予測の有効度合いが低い動画像では入力ビットストリームのイントラフレームの画質がインターフレームの画質よりも高いと推定され、動き補償予測の有効度合いが高い動画像では入力ビットストリームのインターフレームの画質がイントラフレームの画質よりも高いと推定される。より画質の高いフレームを出力ビットストリームのイントラフレームとすることで、トランスコードにおける画質の劣化を抑制できる。

図１は、実施の形態に係るトランスコード装置１００を備えるケーブルテレビシステム１０の構成を示す模式図である。ケーブルテレビシステム１０は、放送事業者サーバ１２と、センター設備１４と、ケーブルネットワーク１６と、エンドユーザ１８と、を備える。放送事業者サーバ１２は放送事業者により運営され、比較的高解像度または高ビットレートの動画像を有線または無線によりセンター設備１４に提供する。センター設備１４は放送事業者サーバ１２およびケーブルネットワーク１６と接続される。センター設備１４は、実施の形態に係るトランスコード装置１００を備える。センター設備１４は放送事業者サーバ１２から動画像を取得し、取得された動画像の設定すなわち解像度やビットレートを、トランスコード装置１００を利用してケーブルネットワーク１６の仕様に合うよう変更する。センター設備１４は、トランスコードの結果得られた動画像をケーブルネットワーク１６に送信する。複数のエンドユーザ１８のそれぞれはケーブルネットワーク１６と接続され、ケーブルネットワーク１６から取得された動画像をセットトップボックスや他の復号装置を使用して再生する。例えば、放送事業者サーバ１２が送信する動画像の解像度は４Ｋ、ビットレートは２５Ｍｂｐｓであり、センター設備１４からケーブルネットワーク１６に送信される動画像の解像度はＨＤ（High Definition）、ビットレートは１０Ｍｂｐｓである。

なお、ケーブルテレビシステム１０は一例であり、実施の形態に係るトランスコード装置１００は動画像の復号およびそれに続く符号化を含む任意のシステムやサービスに適用可能である。そのようなシステムやサービスでは、ケーブルネットワーク１６の代わりにインターネットや電話網などが用いられてもよい。
また、本実施の形態ではレート制御を行い、特に固定ビットレートを採用する。しかしながら、固定ビットレート以外の他のレート制御を採用する場合にも本実施の形態に係る技術的思想を適用できることは、本明細書に触れた当業者には明らかである。

より具体的には、放送事業者サーバ１２は動画像を符号化して入力ビットストリームＢＳＩを生成する。トランスコード装置１００は放送事業者サーバ１２から入力ビットストリームＢＳＩを取得し、取得された入力ビットストリームＢＳＩを復号し、設定を変えて符号化することで出力ビットストリームＢＳＴを生成する。トランスコード装置１００は生成された出力ビットストリームＢＳＴをケーブルネットワーク１６に出力する。エンドユーザ１８はケーブルネットワーク１６から出力ビットストリームＢＳＴを取得し、それを復号する。入力ビットストリームＢＳＩ、出力ビットストリームＢＳＴはいずれもＨＥＶＣ（High Efficiency Video Coding）に準拠した構造を有する。

図２は、入力ビットストリームＢＳＩにおけるフレームの階層構造の一例を示す説明図である。図２において、横軸は表示の順番（以下、表示順フレーム番号と称す）を示す。各ブロック内の上段はイントラフレームすなわちＩフレーム（Intra Frame）であるかインターフレームすなわちＢフレーム（Bi-directional Frame）であるかの別を示すフレーム種別を示し、下段は符号化の順番（復号の順番でもあり、以下復号順フレーム番号と称す）を示す。

図２に示される階層構造では、Ｂフレームが再帰的に参照される。参照される回数の多いフレームほど量子化値（Quantization Parameter, QP）を小さく設定し、全く参照されないフレームは量子化値を相対的に大きく設定する（ＱＰ１＜ＱＰ２＜ＱＰ３＜ＱＰ４＜ＱＰ５）ことで、符号量削減と実現される画質とのトレードオフが実現される。これにより、高い符号化性能を実現できる。なお、図２中で参照関係を高さ方向に拡張しているが、これを階層と呼ぶ。例えば、復号順フレーム番号が３、６、１１、１４のフレームは同じ階層に属する。復号順フレーム番号が３、６のフレームは、復号順フレーム番号が２のフレームよりも階層が深いと呼ぶ。

階層構造における浅い階層のＢフレームは参照回数が多いため、Ｉフレームが属する階層の量子化値からそのＢフレームが属する階層の量子化値への増分を小さく設定する。さらに、動き補償予測がよく当たる場合、誤差（残差）信号は主に参照フレーム（例えばＩフレーム）における量子化誤差に起因する。そのため、ＢフレームのビットはＩフレームの量子化誤差を削減することになる。結果として、Ｉフレームよりも高画質なＢフレームが送られる場合が生じる。このように、入力ビットストリームＢＳＩのＢフレームがＩフレームよりも高画質となる場合、符号化構造を単純に引き継ぐと、入力ビットストリームＢＳＩに含まれるより高画質なＢフレームが劣化し、画質の劣化が大きくなる。これに対して本実施の形態では、入力ビットストリームＢＳＩから高画質のＢフレームを検出し、検出されたＢフレームを出力ビットストリームＢＳＴにおけるＩフレームとする。これにより、画質の劣化を低減または除去できる。

図３は、入力ビットストリームＢＳＩおよび出力ビットストリームＢＳＴの構造を示す説明図である。入力ビットストリームＢＳＩ、出力ビットストリームＢＳＴはいずれもＨＥＶＣに準拠するので、同様の構造を有する。ビットストリームは、複数のシーケンス（Coded Video Sequence, CVS）と、ＥｏＢ（End of bitstream NAL unit）から構成される。ＣＶＳは、複数のＧＯＰ（Group of Pictures）と、ＥｏＳ（End of Sequence NAL unit）から構成される。ＧＯＰは、複数のアクセスユニット（Access Unit, AU）から構成される。ＡＵは、複数のネットワーク抽象レイヤユニット（Network Abstraction Layer Unit, NALU）から構成される。

ＮＡＬＵは、ＮＡＬヘッダと、ＲＢＳＰ（Raw Byte Sequence Payload）と、ＲＢＳＰトレイリングビットと、を含む。ＮＡＬヘッダは、２バイト（１６ビット）の固定長であり、ＮＡＬＵのタイプを示すＮＡＬＵタイプ（Nal_unit_type（６ビット））を含む。ＮＡＬＵは映像符号化レイヤ（video coding layer, VCL）と非映像符号化レイヤ（non-VCL）との２つに大別される。ＶＣＬには、ＴＲＡＩＬ（Trailing Picture Slice）、ＴＳＡ（Temporal Sub-layer Access Slice）、ＳＴＳＡ（Step-wise Temporal Sub-layer Access Slice）、ＲＡＤＬ（Random Access Decodable Leading Slice）、ＲＡＳＬ（Random Access Skipped Leading Slice）、ＢＬＡ（Broken Link Access Slice）、ＩＤＲ（Instantaneous Decoding Refresh Slice）、ＣＲＡ（Clean Random Access Slice）等が含まれる。ｎｏｎ−ＶＣＬには、ＶＵＩ（Video Usability Information）、ＳＰＳ（Sequence Parameter Set）、ＰＰＳ（Picture Parameter Set）、ＶＰＳ（Video Parameter Set）、ＰＴＳＥＩ（Picture Timing Supplemental Enhancement Information）等が含まれる。ビットストリームのうち、ＮＡＬヘッダおよび各種パラメータセット、ＳＥＩは高位シンタックスに含まれるが、例えばＶＣＬのＲＢＳＰは高位シンタックスに含まれない。

ＴＲＡＩＬ、ＴＳＡ、ＳＴＳＡ、ＲＡＤＬ、ＲＡＳＬ、ＢＬＡはＢフレームに対応し、ＩＤＲ、ＣＲＡはＩフレームに対応する。本実施の形態に係るトランスコード装置１００は入力ビットストリームＢＳＩからＮＡＬヘッダを抽出して復号する。復号結果に含まれるＮＡＬＵタイプがＴＲＡＩＬ、ＴＳＡ、ＳＴＳＡ、ＲＡＤＬ、ＲＡＳＬ、ＢＬＡのいずれかである場合、トランスコード装置１００は対応するフレームの種別をＢフレームと決定する。復号結果に含まれるＮＡＬＵタイプがＩＤＲ、ＣＲＡのいずれかである場合、トランスコード装置１００は対応するフレームの種別をＩフレームと決定する。すなわち、ＮＡＬＵタイプはインターフレームであるかイントラフレームであるかの別を示す情報として利用される。

図４は、図１のトランスコード装置１００の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解される。

トランスコード装置１００は、復号部１０２と、符号化部１０４と、フレーム構造制御部１０６と、を備える。復号部１０２は、入力ビットストリームＢＳＩを取得し、取得された入力ビットストリームＢＳＩを復号して動画像を再構成し、再構成動画像を符号化部１０４に出力する。符号化部１０４は、復号部１０２で生成された再構成動画像を取得し、取得された再構成動画像を符号化することで新たなビットストリームである出力ビットストリームＢＳＴを生成し、生成された出力ビットストリームＢＳＴをケーブルネットワーク１６へ出力する。符号化部１０４では、入力ビットストリームＢＳＩの解像度やビットレートとは異なる解像度やビットレートの出力ビットストリームＢＳＴが生成される。フレーム構造制御部１０６は、入力ビットストリームＢＳＩを取得し、取得された入力ビットストリームＢＳＩの高位シンタックスに基づいて出力ビットストリームＢＳＴのフレーム構造を制御する。なお、解像度を変更する場合は、復号部１０２と符号化部１０４との間に解像度変換部が挿入される。

復号部１０２は、エントロピー復号部１０８と、第１フレームバッファ１１０と、第１インループフィルタ１１２と、第１逆量子化・逆変換部１１４と、第１インター予測部１１６と、第１イントラ予測部１１８と、第１加算部１２０と、を含む。

エントロピー復号部１０８は入力ビットストリームＢＳＩを受信し、受信した入力ビットストリームＢＳＩをエントロピー復号し、レベル値とサイド情報とを取り出す。なお、ビットストリームからサイド情報およびレベル値を得る処理はパース（ｐａｒｓｅ）処理と称される。このようにして得られたサイド情報およびレベル値を用いて画素値を再構成することは、復号処理と称される。

入力ビットストリームＢＳＩが表す動画像のフレームは複数のブロックに分割されている。ブロックのサイズは様々であり、複数のブロックは四分木構造を有する。本実施の形態におけるフレームのブロックへの分割は、ＨＥＶＣにおけるブロック分割に準じる。すなわち、もっとも大きな処理サイズであるＣＴＵ（Coding Tree Unit）のサイズは６４×６４であり、これを繰り返し四分割した３２×３２、１６×１６、８×８のサイズが存在する。

サイド情報は、復号部１０２やエンドユーザ１８に設けられた復号装置において使用される、画素値の再構成に必要な情報であり、イントラ予測またはインター予測の何れを使用したかを示す予測モード、動き情報、量子化値、ブロックサイズ等の関連情報を含む。

第１逆量子化・逆変換部１１４は、エントロピー復号部１０８におけるパース処理の結果得られるレベル値をブロックごとに逆量子化および逆変換して誤差信号を生成する。第１加算部１２０は、処理対象ブロックがイントラ予測されたものであるかインター予測されたものであるかに応じて、第１インター予測部１１６または第１イントラ予測部１１８のいずれか一方が出力する処理対象ブロックの予測画像と第１逆量子化・逆変換部１１４によって生成された処理対象ブロックの誤差信号とを加算し、処理対象ブロックを再生する。第１加算部１２０は、再生された処理対象ブロックを第１イントラ予測部１１８と第１インループフィルタ１１２とに出力する。

第１インター予測部１１６には、第１フレームバッファ１１０から以前のフレームの画像データが入力される。第１インター予測部１１６は、以前のフレームに基づくフレーム間予測により処理対象ブロックの予測画像を生成し、出力する。第１イントラ予測部１１８は再生されたブロックを使用してフレーム内予測を行い処理対象ブロックの予測画像を生成し、出力する。第１インループフィルタ１１２は例えばデブロックフィルタである。第１インループフィルタ１１２は、フレームに対応する局所復号画像を生成して第１フレームバッファ１１０に出力する。この局所復号画像は、第１インター予測部１１６におけるフレーム間予測に使用されると同時に、再構成動画像のフレームとして符号化部１０４に出力される。

符号化部１０４は、第２フレームバッファ１２２と、第２インループフィルタ１２４と、第２インター予測部１２６と、第２イントラ予測部１２８と、減算部１３０と、第２加算部１３２と、変換・量子化部１３４と、第２逆変換・逆量子化部１３６と、エントロピー符号化部１３８と、選択部１４０と、を含む。復号部１０２から出力された再構成動画像のフレームは、ブロックごとに減算部１３０と第２インター予測部１２６と第２イントラ予測部１２８とに入力される。

第２インター予測部１２６には、第２フレームバッファ１２２から以前のフレームの画像データが入力される。第２インター予測部１２６は、以前のフレームに基づくフレーム間予測により処理対象ブロックの予測画像を生成し、出力する。第２イントラ予測部１２８には、処理対象フレームの既に処理したブロックの画像データが第２加算部１３２から入力される。第２イントラ予測部１２８は、処理対象フレームの他のブロックに基づき、処理対象ブロックの予測画像を生成し、出力する。選択部１４０は、フレーム構造制御部１０６によって制御され、処理対象ブロックにフレーム間予測を適用するか、フレーム内予測を適用するか、をフレームごとに選択する。選択部１４０は選択結果に基づく予測画像を減算部１３０および第２加算部１３２に出力する。

減算部１３０は、ブロック単位で符号化対象の画像と予測画像との誤差信号を生成する。減算部１３０は、処理対象ブロックと、第２インター予測部１２６が出力した予測画像または第２イントラ予測部１２８が出力した予測画像と、の誤差を示す誤差信号を出力する。変換・量子化部１３４は、ブロック単位で誤差信号を変換（例えば、直交変換）および量子化し、レベル値を生成する。変換・量子化部１３４は、生成されたレベル値をエントロピー符号化部１３８および第２逆変換・逆量子化部１３６に出力する。エントロピー符号化部１３８は、変換・量子化部１３４によって生成されたレベル値とサイド情報とをエントロピー符号化して、出力ビットストリームＢＳＴを生成し、出力する。

第２逆変換・逆量子化部１３６は、変換・量子化部１３４における処理とは逆の処理を行って誤差信号を生成（再生成）する。第２加算部１３２は、第２逆変換・逆量子化部１３６が出力する誤差信号と、選択部１４０が出力する予測画像と、を加算して処理対象ブロックを生成し、第２イントラ予測部１２８と第２インループフィルタ１２４とに出力する。第２インループフィルタ１２４は、処理対象フレームに対応する局所復号画像を生成して第２フレームバッファ１２２に出力する。この局所復号画像は、第２インター予測部１２６におけるフレーム間予測に使用される。

フレーム構造制御部１０６は、抽出部１４２と、特定部１４４と、順番保持部１５４と、を含む。抽出部１４２は、入力ビットストリームＢＳＩを取得し、取得された入力ビットストリームＢＳＩから高位シンタックスの復号により得られる情報を抽出する。特定部１４４は、入力ビットストリームＢＳＩにおいてＩフレームであったかＢフレームであったかによらずに、抽出部１４２によって抽出された情報に基づいて出力ビットストリームＢＳＴにおいてＩフレームとされるべきフレームを特定する。順番保持部１５４は、入力ビットストリームＢＳＩのフレームごとに復号順フレーム番号と表示順フレーム番号と画質の指標とを対応付けて保持する。

抽出部１４２は、部分抽出部１４６と、部分復号部１４８と、を有する。部分抽出部１４６は、入力ビットストリームＢＳＩを取得する。部分抽出部１４６は、取得された入力ビットストリームＢＳＩから、ＮＡＬヘッダとＰＰＳに対応するＮＡＬＵとＰＴＳＥＩに対応するＮＡＬＵとを抽出する。

部分復号部１４８は、部分抽出部１４６によって抽出されたＮＡＬヘッダを復号する。部分復号部１４８は、復号結果に含まれるＮＡＬＵタイプからフレーム種別を決定する。部分復号部１４８は、入力ビットストリームＢＳＩに含まれるＮＡＬヘッダの並びおよび各ＮＡＬヘッダを解析することで、復号順フレーム番号を特定する。復号順フレーム番号は、入力ビットストリームＢＳＩにおけるフレームの並びを表し、任意の番号から開始して１フレームごとに加算されていく。部分復号部１４８は、部分抽出部１４６によって抽出されたＮＡＬＵを復号し、ＰＴＳＥＩを取得する。部分復号部１４８は、取得されたＰＴＳＥＩを解析することで、表示順フレーム番号を特定する。

部分復号部１４８は、ＮＡＬヘッダ間のビットストリーム部分の符号量を測定する。符号量は、画質に依存して変化するので、フレームの画質の指標となる。ただし、ＩフレームとＢフレームとでは符号化方式が異なるので、それらの間での符号量の単純な比較は意味が無い。部分復号部１４８は、部分抽出部１４６によって抽出されたＮＡＬＵを復号し、ＰＰＳを取得する。部分復号部１４８は、取得されたＰＰＳに記載された量子化値を特定する。量子化値は、一般に小さいほど対応するフレームの画質が良いと言えるので、フレームの画質の指標となる。

このようにして、部分復号部１４８は、入力ビットストリームＢＳＩのフレームごとに復号順フレーム番号と表示順フレーム番号とフレーム種別と符号量と量子化値とを特定し、順番保持部１５４に登録すると共に判定部１５０に出力する。

図５は、順番保持部１５４の一例を示すデータ構造図である。図５に示される例は図２に示されるフレーム構造に対応する。順番保持部１５４は、復号順フレーム番号と表示順フレーム番号とフレーム種別と符号量と量子化値とを対応付けて保持する。ｆ＿ｉｎｔｒａは、入力ビットストリームＢＳＩに含まれるあるＩフレームの復号順フレーム番号を示す自然数である。Ｍはｆ＿ｉｎｔｒａで特定されるＩフレームの表示順フレーム番号を示す自然数である。

図４に戻り、特定部１４４は、判定部１５０と、イントラ特定部１５２と、を有する。判定部１５０は、入力ビットストリームＢＳＩのＢフレームの量子化値および符号量に基づいて、該Ｂフレームを出力ビットストリームＢＳＴにおけるＩフレームとすべきか否かを判定する。イントラ特定部１５２は、判定部１５０においてＩフレームとすべきと判定された場合、判定対象のＢフレームを、出力ビットストリームＢＳＴにおいてＩフレームとされるべきフレームとして特定する。イントラ特定部１５２は、特定されたフレームがＩフレームとなるよう、すなわち特定されたフレームについて第２イントラ予測部１２８からの予測画像が選択されるよう、選択部１４０を制御する。その結果、符号化部１０４では、入力ビットストリームＢＳＩから出力ビットストリームＢＳＴを生成する際、特定されたフレームはＩフレームとして符号化される。

より具体的には、判定部１５０はまず、入力ビットストリームＢＳＩのＢフレームの量子化値に基づいて、該Ｂフレームを出力ビットストリームＢＳＴにおけるＩフレームとすべきか否かを判定する。判定部１５０は、任意の手段により外部から与えられる自然数Ｎを取得する。判定部１５０は、順番保持部１５４を参照し、Ｉフレームの量子化値と、該Ｉフレームから復号順に数えてＮ番目となる判定対象のＢフレームの量子化値と、の差分を算出する。判定部１５０は、算出された差分が所定のしきい値以上の場合には、判定対象のＢフレームを出力ビットストリームＢＳＴにおけるＩフレームとすべきでないと判定する。そのように判定された場合、判定対象のＢフレームはＩフレームとして特定されない。この場合、判定部１５０は、変数ｆ＿ｓｔａｒｔをＩフレームの復号順フレーム番号（＝ｆ＿ｉｎｔｒａ）に設定する。判定部１５０は、算出された差分がしきい値未満の場合には、判定対象のＢフレームを出力ビットストリームＢＳＴにおけるＩフレームとすべきであると判定する。

次に判定部１５０は、判定対象のＢフレームが量子化値に関してＩフレームとすべきと判定された場合に、符号量に基づいて判定対象のＢフレームを出力ビットストリームＢＳＴにおけるＩフレームとすべきか否かを判定する。判定部１５０は、判定対象のＢフレームの符号量が所定の範囲に入る場合には判定対象のＢフレームをＩフレームとすべきと判定し、該符号量が所定の範囲から外れる場合にはすべきでないと判定する。所定の範囲の上限値をｔｈ１、下限値をｔｈ２と表記する。判定部１５０は、順番保持部１５４を参照し、判定対象のＢフレームの符号量を取得する。判定部１５０は、取得された符号量が［ｔｈ２、ｔｈ１）に含まれる場合、変数ｆ＿ｓｔａｒｔを判定対象のＢフレームの復号順フレーム番号（＝ｆ＿ｉｎｔｒａ＋Ｎ）に設定する。判定部１５０は、取得された符号量が［ｔｈ２、ｔｈ１）に含まれない場合、変数ｆ＿ｓｔａｒｔをＩフレームの復号順フレーム番号（＝ｆ＿ｉｎｔｒａ）に設定する。判定部１５０は、設定された変数ｆ＿ｓｔａｒｔをイントラ特定部１５２に出力する。

イントラ特定部１５２は、判定部１５０から変数ｆ＿ｓｔａｒｔを取得する。イントラ特定部１５２は、順番保持部１５４を参照し、取得された変数ｆ＿ｓｔａｒｔを復号順フレーム番号とするフレームの表示順フレーム番号を特定する。復号部１０２から符号化部１０４へ、再構成動画像のフレームが表示順に渡される。イントラ特定部１５２は、符号化部１０４において現在符号化されているフレームの表示順フレーム番号を監視する。イントラ特定部１５２は、監視対象の表示順フレーム番号が、変数ｆ＿ｓｔａｒｔから特定された表示順フレーム番号と一致する場合、監視対象の表示順フレーム番号で特定されるフレームについて第２イントラ予測部１２８からの予測画像が選択されるよう、選択部１４０を制御する。なお、出力ビットストリームＢＳＴにおけるＩフレームの後続フレームの構造は、図２に示される階層構造に準じる。その結果、入力ビットストリームＢＳＩ中のＩフレームは出力ビットストリームＢＳＴではＢフレームとなる。

Ｎ＝１である場合を例として説明する。判定部１５０は、順番保持部１５４を参照し、復号順フレーム番号＝ｆ＿ｉｎｔｒａで特定されるＩフレームの量子化値ＱＰ１を取得する。判定部１５０は、順番保持部１５４を参照し、復号順フレーム番号＝ｆ＿ｉｎｔｒａ＋Ｎ＝ｆ＿ｉｎｔｒａ＋１で特定される判定対象のＢフレームの量子化値ＱＰ２を取得する。判定部１５０は、取得された２つの量子化値の差分（ＱＰ２−ＱＰ１）を算出する。判定部１５０は、算出された差分（ＱＰ２−ＱＰ１）としきい値（例えば、２）との大小関係により、判定対象のＢフレームを出力ビットストリームＢＳＴにおけるＩフレームとすべきか否かを決定する。なお、Ｎ＝２の場合はしきい値を３としてもよい。より一般的には、復号順フレーム番号＝ｆ＿ｉｎｔｒａ＋Ｎで特定される判定対象のＢフレームが属する階層の深さに対応する、例えば比例するしきい値が設定されてもよい。

ＱＰ２−ＱＰ１≧２の場合、判定部１５０はｆ＿ｓｔａｒｔ＝ｆ＿ｉｎｔｒａを出力する。ＱＰ２−ＱＰ１＜２の場合、判定部１５０は、順番保持部１５４を参照し、復号順フレーム番号＝ｆ＿ｉｎｔｒａ＋Ｎ＝ｆ＿ｉｎｔｒａ＋１で特定される判定対象のＢフレームの符号量ｘｙを取得する。ｔｈ２≦ｘｙ＜ｔｈ１の場合、判定部１５０はｆ＿ｓｔａｒｔ＝ｆ＿ｉｎｔｒａ＋１を出力する。ｘｙ＜ｔｈ２またはｘｙ≧ｔｈ１の場合、判定部１５０はｆ＿ｓｔａｒｔ＝ｆ＿ｉｎｔｒａを出力する。イントラ特定部１５２は、ｆ＿ｓｔａｒｔ＝ｆ＿ｉｎｔｒａが出力された場合は、表示順フレーム番号としてＭを特定する。イントラ特定部１５２は、ｆ＿ｓｔａｒｔ＝ｆ＿ｉｎｔｒａ＋１が出力された場合は、表示順フレーム番号としてＭ＋８を特定する。同様にＮ＝２の場合には、表示順フレーム番号としてＭまたはＭ＋４が特定される。

以上の構成によるトランスコード装置１００の動作を説明する。
図６は、図４のフレーム構造制御部１０６における一連の処理を示すフローチャートである。フレーム構造制御部１０６は、入力ビットストリームＢＳＩから高位シンタックスを抽出する（Ｓ６０２）。フレーム構造制御部１０６は、抽出された高位シンタックスを復号する（Ｓ６０４）。フレーム構造制御部１０６は、復号結果からフレームごとに復号順フレーム番号と表示順フレーム番号とフレーム種別と符号量と量子化値とを特定する（Ｓ６０６）。フレーム構造制御部１０６は、注目するＩフレームの量子化値とそのＩフレームから復号順で所定数離れたＢフレームの量子化値との差分としきい値とを比較する（Ｓ６０８）。差分≧しきい値の場合（Ｓ６０８のＹＥＳ）、フレーム構造制御部１０６は注目するＩフレームの表示順フレーム番号を特定する（Ｓ６１４）。差分＜しきい値（Ｓ６０８のＮＯ）の場合、フレーム構造制御部１０６はＢフレームの符号量と範囲［ｔｈ２、ｔｈ１）とを比較する（Ｓ６１０）。符号量が範囲［ｔｈ２、ｔｈ１）に属さない場合（Ｓ６１０のＮＯ）、処理はステップＳ６１４に進む。符号量が範囲［ｔｈ２、ｔｈ１）に属する場合（Ｓ６１０のＹＥＳ）、フレーム構造制御部１０６はＢフレームの表示順フレーム番号を特定する（Ｓ６１２）。フレーム構造制御部１０６は、入力ビットストリームＢＳＩの再符号化の際、ステップＳ６１２またはステップＳ６１４で特定された表示順フレーム番号のフレームについてイントラ予測を選択する（Ｓ６１６）。

上述の実施の形態において、保持部の例は、ハードディスクや半導体メモリである。また、本明細書の記載に基づき、各部を、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。

本実施の形態に係るトランスコード装置１００によると、動画像のビットストリームのトランスコードにおいて、入力ビットストリームの高位シンタックスを復号することで得られる情報に基づいて出力ビットストリームにおけるイントラフレームが選択される。したがって、イントラフレームの選択のために、入力ビットストリーム全体をパースする必要はない。その結果、処理の負荷を低減しつつ、より画質の高いフレームをイントラフレームとして特定することでトランスコードにおける画質の劣化を抑制できる。

また、本実施の形態に係るトランスコード装置１００では、入力ビットストリームＢＳＩのＢフレームの方がＩフレームよりも画質が良いと判定される場合、当該Ｂフレームは出力ビットストリームＢＳＴにおいてＩフレームとして符号化される。したがって、画質によらずにＩフレームを引き継ぐ場合と比較して、出力ビットストリームＢＳＴの画質の劣化を低減または除去できる。

また、本実施の形態に係るトランスコード装置１００では、符号量が［ｔｈ２、ｔｈ１）に属する場合にＢフレームが、そうでない場合にＩフレームが、出力ビットストリームＢＳＴにおけるＩフレームとして特定される。これは、本発明者の当業者としての以下の知見に基づく。
（１）Ｂフレームの符号量が多すぎる場合は参照フレームとの差分が多すぎる、すなわち予測が当たっていないことを意味し、したがって当該Ｂフレームの画質は低い場合が多い。
（２）Ｂフレームの符号量が少なすぎる場合は参照フレームの画質とＢフレームの画質とはほぼ同じであり、したがって、Ｂフレームを新たなＩフレームとすることによる画質劣化抑制効果は比較的小さい。

また、本実施の形態に係るトランスコード装置１００では、発生符号量に基づく判定に優先して量子化値に基づく判定が行われる。Ｂフレームの量子化値がＩフレームの量子化値よりも十分に大きい場合、Ｂフレームの符号量如何に関わらず、Ｂフレームの画質は比較的悪いことが予想される。したがって、そのような場合には符号量による判定を行わずＩフレームを引き継ぐこととすることで、処理量を低減できる。

以上、実施の形態に係るトランスコード装置１００の構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。

実施の形態では、まず量子化値に関して判定対象のＢフレームを出力ビットストリームＢＳＴにおけるＩフレームとすべきか否かを判定する場合について説明したが、これに限られない。例えば、量子化値に関する判定は無くてもよい。

実施の形態では、入力ビットストリームＢＳＩのフレームが階層構造を有する場合について説明したが、これに限られず、入力ビットストリームＢＳＩのフレームはイントラフレームおよびインターフレームを含む任意の構造を有してもよい。

実施の形態では、トランスコード装置１００が復号部１０２と符号化部１０４とフレーム構造制御部１０６とを備える場合を説明したが、これに限られない。例えば、システムは、復号部１０２と同様の機能を有する復号装置と、該復号装置とは別体の符号化装置であって符号化部１０４と同様の機能を有する符号化装置と、を備える。復号装置と符号化装置とは有線（例えば、ＨＤ−ＳＤＩ）または無線により接続され、復号装置は入力ビットストリームＢＳＩを取得し、復号装置から符号化装置へ再構成動画像が送信され、符号化装置は出力ビットストリームＢＳＴを出力する。フレーム構造制御部１０６と同様の機能は、復号装置に設けられてもよく、または符号化装置に設けられてもよく、または一部が復号装置に、残りが符号化装置に設けられてもよい。

１０ ケーブルテレビシステム、 １２ 放送事業者サーバ、 １４ センター設備、 １６ ケーブルネットワーク、 １８ エンドユーザ、 １００ トランスコード装置。

Claims (8)

1. トランスコードシステムであって、
   動画像のビットストリームを取得する手段と、
   取得された前記ビットストリームとは設定の異なる新たなビットストリームを出力する手段と、
   取得された前記ビットストリームから高位シンタックスの復号により得られる情報を抽出する手段と、を備え、
   抽出された前記情報は、フレームごとにインターフレームであるかイントラフレームであるかの別を示す情報と画質の指標とを含み、
   前記トランスコードシステムはさらに、
   取得された前記ビットストリームのインターフレームの画質の指標に基づいて、該インターフレームを前記新たなビットストリームにおけるイントラフレームとすべきか否かを判定する手段と、
   イントラフレームとすべきと判定された場合、判定対象の前記インターフレームを、前記新たなビットストリームにおけるイントラフレームとして特定する手段と、を備えるトランスコードシステム。
2. 前記出力する手段は、取得された前記ビットストリームから前記新たなビットストリームを生成する際、前記特定する手段によって特定された判定対象の前記インターフレームをイントラフレームとして符号化する請求項１に記載のトランスコードシステム。
3. 前記抽出する手段は、
   取得された前記ビットストリームから前記高位シンタックスを抽出する手段と、
   抽出された前記高位シンタックスを復号する手段と、を含む請求項１または２に記載のトランスコードシステム。
4. 抽出された前記情報は、フレームごとに復号順フレーム番号を含み、
   前記判定する手段は、取得された前記ビットストリームのイントラフレームの復号順フレーム番号に所定の自然数Ｎを足して得られる復号順フレーム番号のインターフレームについて判定を行う請求項１から３のいずれか一項に記載のトランスコードシステム。
5. 前記判定する手段は、取得された前記ビットストリームのインターフレームの画質の指標が所定の範囲に入る場合には該インターフレームを前記新たなビットストリームにおけるイントラフレームとすべきと判定し、該指標が前記範囲から外れる場合にはすべきでないと判定する請求項１から４のいずれか一項に記載のトランスコードシステム。
6. 前記画質の指標は対応するフレームの符号量と対応するフレームの量子化値とを含み、
   前記判定する手段は、取得された前記ビットストリームのインターフレームの量子化値に基づいて、該インターフレームを前記新たなビットストリームにおけるイントラフレームとすべきか否かを判定し、かつ、量子化値に関してイントラフレームとすべきと判定された場合に、符号量に基づいて該インターフレームを前記新たなビットストリームにおけるイントラフレームとすべきか否かを判定し、
   量子化値に関してイントラフレームとすべきでないと判定された場合、該インターフレームはイントラフレームとして特定されない請求項１から５のいずれか１項に記載のトランスコードシステム。
7. トランスコード方法であって、
   動画像のビットストリームを取得することと、
   取得された前記ビットストリームとは設定の異なる新たなビットストリームを出力することと、
   取得された前記ビットストリームから高位シンタックスの復号により得られる情報を抽出することと、を含み、
   抽出された前記情報は、フレームごとにインターフレームであるかイントラフレームであるかの別を示す情報と画質の指標とを含み、
   前記トランスコード方法はさらに、
   取得された前記ビットストリームのインターフレームの画質の指標に基づいて、該インターフレームを前記新たなビットストリームにおけるイントラフレームとすべきか否かを判定することと、
   イントラフレームとすべきと判定された場合、判定対象の前記インターフレームを、前記新たなビットストリームにおけるイントラフレームとして特定することと、を含むトランスコード方法。
8. 請求項１から６のいずれか１項に記載のトランスコードシステムとしてコンピュータを機能させるプログラムを有することを特徴とするコンピュータ可読記録媒体。

Images