JP6133577B2 - 映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラム - Google Patents

Description

本発明は、映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラムに関する。

近年、映像サービスにおけるコンテンツの高解像度化が進んでおり、近い将来に４Ｋ解像度の映像サービス提供が期待されている。４Ｋ解像度の映像サービスの普及期には、新しい４Ｋ解像度映像と、従来のＨＤ解像度映像と、が混在してサービス提供されることが予想される。

ケーブルテレビ網では、上述の環境下で円滑に映像サービス提供するための技術として、スケーラブル符号化（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；ＳＶＣ）方式を用いたハイブリッド伝送技術が期待されている。なお、代表的なＳＶＣ方式としては、Ｈ．２６４ ＳＶＣ（例えば、非特許文献１参照）がある。しかしながら、４Ｋ解像度映像を得るために必要なデータ量について、ＢａｓｅレイヤをＨＤ解像度、Ｅｎｈａｎｃｅｍｅｎｔレイヤを４Ｋ解像度としたＳＶＣストリームのデータ量は、シングルストリームのデータ量と比べて、１５％〜２０％程度のオーバヘッドを伴う。

このため、ハイブリッド伝送により４Ｋ映像サービスが提供される場合、受信側で効率的に映像コンテンツを蓄積するためには、ＳＶＣストリームからシングルストリームに変換することが求められる。この場合、ＳＶＣストリームからシングルストリームへの変換は、受信側、すなわち映像配信サービスのエンドユーザ環境で行われることになる。

Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG, "Text of ISO/IEC 14496-10 Advanced Video Coding,"

従来の高速なフォーマット変換技術が対象としているのは、フォーマット変換の前後で圧縮方式が異なっており、フォーマット変換の前後がシングルストリームである場合である。このため、従来の高速なフォーマット変換技術を、上述のＳＶＣストリームからシングルストリームへの変換に適用する場合には、ＳＶＣストリームをデコードし、得られたデコード映像をシングルストリームで符号化する必要がある。ところが、シングルストリームへの符号化処理には、図６を用いて後述するように、多大な処理量が必要である。

図６は、従来の符号化処理のフローチャートである。図６に示す従来の符号化処理は、従来の映像圧縮フォーマット変換装置により、マクロブロックごとに行われる。

ステップＳ１０１において、従来の映像圧縮フォーマット変換装置は、符号化処理を行うマクロブロックで適用し得る全ての符号化モードのそれぞれについて、最適な動きベクトルまたはイントラ予測方向をサーチして求め、ステップＳ１０２に処理を移す。

ステップＳ１０２において、従来の映像圧縮フォーマット変換装置は、符号化モードを決定し、ステップＳ１０３に処理を移す。具体的には、従来の映像圧縮フォーマット変換装置は、ステップＳ１０１で最適な動きベクトルまたはイントラ予測方向を求めた各符号化モードの符号化性能を評価する。そして、符号化性能の最も高い符号化モードを、符号化処理を行うマクロブロックに最適な符号化モードとして決定する。

ステップＳ１０３において、従来の映像圧縮フォーマット変換装置は、動きベクトルまたはイントラ予測方向を決定し、ステップＳ１０４に処理を移す。具体的には、従来の映像圧縮フォーマット変換装置は、ステップＳ１０２で決定した符号化モードに対してステップＳ１０１で求めた動きベクトルまたはイントラ予測方向を、符号化処理を行うマクロブロックに最適な動きベクトルまたはイントラ予測方向として決定する。

ステップＳ１０４において、従来の映像圧縮フォーマット変換装置は、上述のステップＳ１０１〜Ｓ１０３で求めた符号化モードと、動きベクトルまたはイントラ予測方向と、を用いて、符号化処理を行うマクロブロックの予測誤差を算出し、図６に示す従来の符号化処理を終了する。

以上のように、従来の符号化処理では、符号化処理を行うマクロブロックで適用し得る全ての符号化モードのそれぞれについて、最適な動きベクトルまたはイントラ予測方向を求める必要がある。このため、上述のように、多大な処理量が必要である。

ここで、エンドユーザ環境における処理性能は、限定的である。このため、エンドユーザ環境にて、従来の高速なフォーマット変換技術を、上述のＳＶＣストリームからシングルストリームへの変換に適用することは、困難であった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、画質の低下を抑制しつつ、ＳＶＣストリームからシングルストリームへの変換に要する処理コストを低減できる映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１） 本発明は、解像度スケーラビリティを有するスケーラブル符号化ストリーム（例えば、後述のＳＶＣストリームに相当）をシングル符号化ストリーム（例えば、後述のＡＶＣストリームに相当）に変換する映像圧縮フォーマット変換装置（例えば、図１の映像圧縮フォーマット変換装置１に相当）であって、前記スケーラブル符号化ストリームに含まれる下位レイヤ継承情報（例えば、後述のフラグ情報に相当）に基づいて、予測方法（例えば、後述の符号化モードや、動きベクトルまたはイントラ予測方向に相当）を決定する予測方法決定手段（例えば、図１のエンコード処理部２１に相当）を備えることを特徴とする映像圧縮フォーマット変換装置を提案している。

この発明によれば、解像度スケーラビリティを有するスケーラブル符号化ストリームをシングル符号化ストリームに変換する映像圧縮フォーマット変換装置に、予測方法決定手段を設けた。そして、予測方法決定手段により、スケーラブル符号化ストリームに含まれる下位レイヤ継承情報に基づいて、予測方法を決定することとした。このため、予測方法を決定する際の処理量を削減することができ、画質の低下を抑制しつつ、スケーラブル符号化ストリームからシングル符号化ストリームへの変換に要する処理コストを低減できる。

（２） 本発明は、（１）の映像圧縮フォーマット変換装置について、前記予測方法決定手段は、スケーラブル符号化を行うマクロブロックにおいて、当該マクロブロックに対応する下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承するか否かを示す第１のフラグ情報（例えば、後述のBase_mode_flagに相当）を、少なくとも前記下位レイヤ継承情報として用い、前記第１のフラグ情報が真であれば、シングルストリーム符号化を行うマクロブロックにおいて、当該マクロブロックに対応するスケーラブル符号化ストリームの下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承することを特徴とする映像圧縮フォーマット変換装置を提案している。

この発明によれば、（１）の映像圧縮フォーマット変換装置において、予測方法決定手段により、スケーラブル符号化を行うマクロブロックにおいて、このマクロブロックに対応する下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承するか否かを示す第１のフラグ情報を、少なくとも下位レイヤ継承情報として用いる。さらに、予測方法決定手段により、第１のフラグ情報が真であれば、シングルストリーム符号化を行うマクロブロックにおいて、このマクロブロックに対応するスケーラブル符号化ストリームの下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承する。このため、符号化モードごとに最適な動きベクトルを求める必要がない。したがって、画質の低下を抑制しつつ、スケーラブル符号化ストリームからシングル符号化ストリームへの変換に要する処理コストを大幅に低減できる。

（３） 本発明は、（１）の映像圧縮フォーマット変換装置について、前記予測方法決定手段は、スケーラブル符号化を行う所定の領域において、当該所定の領域に対応する下位レイヤの領域における動きベクトルを継承するか否かを示す第２のフラグ情報（例えば、後述のMotion_prediction_flagに相当）を、少なくとも前記下位レイヤ継承情報として用い、前記第２のフラグ情報が真であれば、シングルストリーム符号化を行う所定の領域において、当該所定の領域に対応するスケーラブル符号化ストリームの下位レイヤの領域における動きベクトルを継承することを特徴とする映像圧縮フォーマット変換装置を提案している。

この発明によれば、（１）の映像圧縮フォーマット変換装置において、予測方法決定手段により、スケーラブル符号化を行う所定の領域において、この所定の領域に対応する下位レイヤの領域における動きベクトルを継承するか否かを示す第２のフラグ情報を、少なくとも下位レイヤ継承情報として用いる。さらに、予測方法決定手段により、第２のフラグ情報が真であれば、シングルストリーム符号化を行う所定の領域において、この所定の領域に対応するスケーラブル符号化ストリームの下位レイヤの領域における動きベクトルを継承する。このため、動きベクトルを求める際にサーチを行う必要がない。したがって、画質の低下を抑制しつつ、スケーラブル符号化ストリームからシングル符号化ストリームへの変換に要する処理コストを低減できる。

（４） 本発明は、（２）または（３）の映像圧縮フォーマット変換装置について、前記予測方法決定手段は、スケーラブル符号化を行うマクロブロックにおいて、当該マクロブロックに対応する下位レイヤのマクロブロックにおける予測誤差情報を継承するか否かを示す第３のフラグ情報（例えば、後述のResidual_prediction_flagに相当）を、少なくとも前記下位レイヤ継承情報として用い、前記第３のフラグ情報が真であれば、シングルストリーム符号化を行うマクロブロックにおいて、当該マクロブロックに対応するスケーラブル符号化ストリームの下位レイヤのマクロブロックにおける予測誤差情報を継承することを特徴とする映像圧縮フォーマット変換装置を提案している。

この発明によれば、（２）または（３）の映像圧縮フォーマット変換装置において、予測方法決定手段により、スケーラブル符号化を行うマクロブロックにおいて、このマクロブロックに対応する下位レイヤのマクロブロックにおける予測誤差情報を継承するか否かを示す第３のフラグ情報を、少なくとも下位レイヤ継承情報として用いる。さらに、予測方法決定手段により、第３のフラグ情報が真であれば、シングルストリーム符号化を行うマクロブロックにおいて、このマクロブロックに対応するスケーラブル符号化ストリームの下位レイヤのマクロブロックにおける予測誤差情報を継承する。このため、予測誤差を算出する際の処理量を削減できる。したがって、画質の低下を抑制しつつ、スケーラブル符号化ストリームからシングル符号化ストリームへの変換に要する処理コストを低減できる。

（５） 本発明は、（１）〜（４）のいずれかの映像圧縮フォーマット変換装置について、前記予測方法決定手段は、前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されている場合には、当該スケーラブル符号化ストリームの下位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から１つ以上を符号化モード候補として選択し、前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されていない場合には、当該スケーラブル符号化ストリームの上位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から１つ以上を符号化モード候補として選択することを特徴とする映像圧縮フォーマット変換装置を提案している。

この発明によれば、（１）〜（４）のいずれかの映像圧縮フォーマット変換装置において、スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されている場合には、予測方法決定手段により、スケーラブル符号化ストリームの下位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から１つ以上を符号化モード候補として選択する。また、スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されていない場合には、予測方法決定手段により、スケーラブル符号化ストリームの上位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から１つ以上を符号化モード候補として選択する。このため、シングルストリーム符号化を行うマクロブロックに最適な符号化モードを決定する際の処理量を削減できる。したがって、画質の低下を抑制しつつ、スケーラブル符号化ストリームからシングル符号化ストリームへの変換に要する処理コストを低減できる。

（６） 本発明は、（５）の映像圧縮フォーマット変換装置について、前記予測方法決定手段は、前記スケーラブル符号化ストリームの下位レイヤの符号化モードごとに、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードのうち前記符号化モード候補として選択する符号化モードを予め定めた情報と、前記スケーラブル符号化ストリームの上位レイヤの符号化モードごとに、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードのうち前記符号化モード候補として選択する符号化モードを予め定めた情報と、を記憶することを特徴とする映像圧縮フォーマット変換装置を提案している。

この発明によれば、（５）の映像圧縮フォーマット変換装置において、予測方法決定手段により、スケーラブル符号化ストリームの下位レイヤの符号化モードごとに、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードのうち符号化モード候補として選択する符号化モードを予め定めた情報を記憶する。また、予測方法決定手段により、スケーラブル符号化ストリームの上位レイヤの符号化モードごとに、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードのうち符号化モード候補として選択する符号化モードを予め定めた情報を記憶する。このため、これら情報を参照して、符号化モード候補を選択することができ、上述した効果と同様の効果を奏することができる。

（７） 本発明は、予測方法決定手段（例えば、図１のエンコード処理部２１に相当）を備え、解像度スケーラビリティを有するスケーラブル符号化ストリーム（例えば、後述のＳＶＣストリームに相当）からシングル符号化ストリーム（例えば、後述のＡＶＣストリームに相当）に変換する映像圧縮フォーマット変換装置（例えば、図１の映像圧縮フォーマット変換装置１に相当）における映像圧縮フォーマット変換方法であって、前記予測方法決定手段が、スケーラブル符号化ストリームに含まれる下位レイヤ継承情報（例えば、後述のフラグ情報に相当）に基づいて、予測方法（例えば、後述の符号化モードや、動きベクトルまたはイントラ予測方向に相当）を決定するステップを備えることを特徴とする映像圧縮フォーマット方法を提案している。

この発明によれば、予測方法決定手段により、スケーラブル符号化ストリームに含まれる下位レイヤ継承情報に基づいて、予測方法を決定することとした。このため、予測方法を決定する際の処理量を削減することができ、画質の低下を抑制しつつ、スケーラブル符号化ストリームからシングル符号化ストリームへの変換に要する処理コストを低減できる。
（８） 本発明は、予測方法決定手段（例えば、図１のエンコード処理部２１に相当）を備え、解像度スケーラビリティを有するスケーラブル符号化ストリーム（例えば、後述のＳＶＣストリームに相当）からシングル符号化ストリーム（例えば、後述のＡＶＣストリームに相当）に変換する映像圧縮フォーマット変換装置（例えば、図１の映像圧縮フォーマット変換装置１に相当）における映像圧縮フォーマット変換方法を、コンピュータに実行させるためのプログラムであって、前記予測方法決定手段が、スケーラブル符号化ストリームに含まれる下位レイヤ継承情報（例えば、後述のフラグ情報に相当）に基づいて、予測方法（例えば、後述の符号化モードや、動きベクトルまたはイントラ予測方向に相当）を決定するステップを、コンピュータに実行させるためのプログラムを提案している。

この発明によれば、コンピュータを用いてプログラムを実行することで、予測方法決定手段により、スケーラブル符号化ストリームに含まれる下位レイヤ継承情報に基づいて、予測方法を決定することとした。このため、予測方法を決定する際の処理量を削減することができ、画質の低下を抑制しつつ、スケーラブル符号化ストリームからシングル符号化ストリームへの変換に要する処理コストを低減できる。

本発明によれば、画質の低下を抑制しつつ、ＳＶＣストリームからシングルストリームへの変換に要する処理コストを低減できる。

本発明の第１実施形態に係る映像圧縮フォーマット変換装置のブロック図である。 前記映像圧縮フォーマット変換装置に設けられたエンコード処理部が行う符号化処理のフローチャートである。 前記映像圧縮フォーマット変換装置に設けられたエンコード処理部が行う符号化処理のフローチャートである。 本発明の第２実施形態に係る映像圧縮フォーマット変換装置に設けられたエンコード処理部が行う符号化処理のフローチャートである。 前記映像圧縮フォーマット変換装置に設けられたエンコード処理部が行う符号化処理のフローチャートである。 従来例に係る符号化処理のフローチャートである。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
［映像圧縮フォーマット変換装置１の構成および動作］
図１は、本発明の第１実施形態に係る映像圧縮フォーマット変換装置１のブロック図である。なお、本実施形態では、解像度スケーラビリティを有するＳＶＣストリームについて、下位レイヤと比べて解像度の高い上位レイヤの映像を、シングル符号化ストリームに変換する場合を説明する。また、本実施形態では、ＳＶＣストリームは、Ｂａｓｅレイヤ（下位レイヤ）およびＥｎｈａｎｃｅｍｅｎｔレイヤ（上位レイヤ）の２レイヤで構成されるものとする。

映像圧縮フォーマット変換装置１は、ＳＶＣストリームをデコードするＳＶＣデコード処理部１０と、ＳＶＣデコード処理部１０でデコードされた上位レイヤのデコード映像をシングルストリーム符号化で再圧縮するＡＶＣエンコード処理部２０と、を備える。

ＳＶＣデコード処理部１０は、第１のデコード処理部１１および第２のデコード処理部１２を備える。第１のデコード処理部１１は、ＳＶＣストリームの下位レイヤの映像をデコードし、下位レイヤのデコード映像を出力する。第２のデコード処理部１２は、下位レイヤのデコード映像を用いてＳＶＣストリームの上位レイヤの映像をデコードし、上位レイヤのデコード映像を出力する。

ＡＶＣエンコード処理部２０は、エンコード処理部２１を備える。エンコード処理部２１は、ＳＶＣストリームの下位レイヤの映像と、ＳＶＣストリームの上位レイヤの映像と、を用いて、ＳＶＣデコード処理部１０から出力された上位レイヤのデコード映像をシングルストリーム符号化で再圧縮し、シングルストリームを出力する。このエンコード処理部２１の動作について、図２、３を用いて以下に詳述する。

［エンコード処理部２１の動作］
図２、３は、エンコード処理部２１がマクロブロックごとに行う符号化処理のフローチャートである。なお、本実施形態では、ＳＶＣストリームがＨ．２６４ ＳＶＣであり、シングルストリームがＨ．２６４ ＡＶＣであるものとする。

エンコード処理部２１は、ステップＳ１〜Ｓ７の処理により、フラグ情報（Base_mode_flag、Motion_prediction_flag）に基づいて符号化モードおよび動きベクトルを決定する。ただし、フラグ情報（Base_mode_flag、Motion_prediction_flag）に基づいて符号化モードおよび動きベクトルを決定できない場合には、ステップＳ１１〜Ｓ１６の処理により、ＳＶＣストリームでレイヤ間予測符号化モードが適用されているか否かに応じて、符号化モードと、動きベクトルまたはイントラ予測方向と、を決定する。

図２のステップＳ１において、エンコード処理部２１は、ＳＶＣストリームのマクロブロック解析を行って、ステップＳ２に処理を移す。具体的には、ステップＳ１では、エンコード処理部２１は、符号化処理を行うマクロブロックに対するフラグ情報を解析する。このフラグ情報は、ＳＶＣストリームに含まれており、マクロブロックごとに予め設定されるものである。

本実施形態では、フラグ情報とは、Base_mode_flagおよびMotion_prediction_flagのことである。これらBase_mode_flagおよびMotion_prediction_flagのＳＶＣ符号化における役割は、以下の通りである。

Base_mode_flagは、ＳＶＣストリームの上位レイヤのマクロブロックごとに付与される１ビットの情報である。Base_mode_flagが真であれば、ＳＶＣ符号化を行うマクロブロックにおいて、このマクロブロックに対応する下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承する。そして、本実施形態では、Base_mode_flagが真であれば、ステップＳ３において後述するように、ＡＶＣ符号化を行うマクロブロックにおいて、このマクロブロックに対応するＳＶＣストリームの下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承するものとする。

Motion_prediction_flagは、ＳＶＣストリームの上位レイヤの８×８領域ごとに付与される１ビットのフラグ情報である。Motion_prediction_flagが真であれば、ＳＶＣ符号化を行う８×８領域において、この８×８領域に対応する下位レイヤの４×４領域における動きベクトルを承継する。そして、本実施形態では、Motion_prediction_flagが真であれば、ステップＳ６において後述するように、ＡＶＣ符号化を行う８×８領域において、この８×８領域に対応するＳＶＣストリームの下位レイヤの４×４領域における動きベクトルを承継するものとする。

ステップＳ２において、エンコード処理部２１は、Base_mode_flagが真であるか否かを判別する。そして、Base_mode_flagが真である場合には、ステップＳ３に処理を移し、Base_mode_flagが偽である場合には、ステップＳ５に処理を移す。

ステップＳ３において、エンコード処理部２１は、符号化処理を行うマクロブロックにおいて、このマクロブロックに対応するＳＶＣストリームの下位レイヤのマクロブロックにおける符号化モードを継承するものとし、ステップＳ４に処理を移す。

ステップＳ４において、エンコード処理部２１は、符号化処理を行うマクロブロックにおいて、このマクロブロックに対応するＳＶＣストリームの下位レイヤのマクロブロックにおける動きベクトルを継承するものとし、ステップＳ８に処理を移す。

以上のステップＳ２〜Ｓ４によれば、Base_mode_flagが真であれば、符号化処理を行うマクロブロックでは、このマクロブロックに対応するＳＶＣストリームの下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルが、継承されることになる。このため、ＳＶＣストリームにおけるマクロブロックのBase_mode_flagが真であれば、このマクロブロックに対応するマクロブロックに対してＡＶＣ再圧縮における符号化処理を行う際に、インター符号化を適用し、このマクロブロックに対応するＳＶＣストリームの下位レイヤのマクロブロックと同一の符号化モードおよび動きベクトルを用いることになる。

ステップＳ５において、エンコード処理部２１は、Motion_prediction_flagが真であるか否かを判別する。そして、Motion_prediction_flagが真である場合には、ステップＳ６に処理を移し、Motion_prediction_flagが偽である場合には、図３のステップＳ１１に処理を移す。

ステップＳ６において、エンコード処理部２１は、符号化モードを決定し、ステップＳ７に処理を移す。具体的には、エンコード処理部２１は、符号化方式がインター符号化であると決定し、Ｉｎｔｅｒ４×４、Ｉｎｔｅｒ８×８、Ｉｎｔｅｒ１６×１６といったインター符号化の各符号化モードの符号化性能を評価する。そして、符号化性能の最も高い符号化モードを、符号化処理を行うマクロブロックに最適な符号化モードとして決定する。

ステップＳ７において、エンコード処理部２１は、符号化処理を行う８×８領域について、この８×８領域に対応するＳＶＣストリームの下位レイヤの４×４領域における動きベクトルをスケーリングしたものを継承するものとして、ステップＳ８に処理を移す。

以上のステップＳ５〜Ｓ７によれば、Motion_prediction_flagが真であれば、符号化処理を行う８×８領域では、この８×８領域に対応するＳＶＣストリームの下位レイヤの４×４領域における動きベクトルが継承されることになる。このため、ＳＶＣストリームにおけるマクロブロックのMotion_prediction_flagが真であれば、このマクロブロックに対応する８×８領域に対してＡＶＣ再圧縮における符号化処理を行う際に、インター符号化を適用し、この８×８領域に対応するＳＶＣストリームの下位レイヤの４×４領域と同一の動きベクトルをスケーリングしたものを用いることになる。

ステップＳ８において、エンコード処理部２１は、上述のステップＳ１〜Ｓ７で求めた符号化モードおよび動きベクトルを用いて、符号化処理を行うマクロブロックの予測誤差を算出し、図２、３に示す符号化処理を終了する。

図３のステップＳ１１において、エンコード処理部２１は、ＳＶＣストリームでレイヤ間予測符号化モードが適用されているか否かを判別する。そして、適用されていると判別した場合には、ステップＳ１２に処理を移し、適用されていないと判別した場合には、ステップＳ１４に処理を移す。

ステップＳ１２において、エンコード処理部２１は、ＳＶＣストリームの下位レイヤにおける符号化モードに基づいて、ＡＶＣ再圧縮で選択可能な符号化モードの候補を絞り込み、ステップＳ１３に処理を移す。具体的には、エンコード処理部２１は、予め定められた符号化モード遷移テーブルを記憶しており、この符号化モード遷移テーブルを参照して符号化モードの候補を絞り込む。

符号化モード遷移テーブルには、ＳＶＣストリームの下位レイヤにおける符号化モードがどの符号化モードである場合に、符号化処理を行うマクロブロックで適用し得る全ての符号化モードのうちどれを候補に絞るのかという情報が、記憶されている。例えば、符号化モード遷移テーブルには、ＳＶＣストリームの下位レイヤにおける符号化方式がイントラ符号化である場合にはＩｎｔｅｒ４×４、Ｉｎｔｅｒ８×８、およびＩｎｔｅｒ１６×１６に絞り込むといった情報や、ＳＶＣストリームの下位レイヤにおける符号化モードがＩｎｔｒａ４×４である場合にはＩｎｔｒａ８×８、Ｉｎｔｒａ１６×１６、およびＩｎｔｅｒ８×８に絞り込むといった情報が、記憶されている。

ステップＳ１３において、エンコード処理部２１は、符号化モードを決定し、ステップＳ１６に処理を移す。具体的には、エンコード処理部２１は、ステップＳ１２において絞り込んだ符号化モードの候補のそれぞれについて、符号化性能を評価する。そして、ステップＳ１２において絞り込んだ符号化モードの候補のうち最も符号化性能が高いものを、符号化処理を行うマクロブロックに最適な符号化モードとして決定する。

ステップＳ１４において、エンコード処理部２１は、ＳＶＣストリームの上位レイヤにおける符号化モードに基づいて、ＡＶＣ再圧縮で選択可能な符号化モードの候補を絞り込み、ステップＳ１５に処理を移す。具体的には、エンコード処理部２１は、上述の符号化モード遷移テーブルを参照して符号化モードの候補を絞り込む。

上述の符号化モード遷移テーブルには、ＳＶＣストリームの上位レイヤにおける符号化モードがどの符号化モードである場合に、符号化処理を行うマクロブロックで適用し得る全ての符号化モードのうちどれを候補に絞るのかという情報も、記憶されている。

ステップＳ１５において、エンコード処理部２１は、符号化モードを決定し、ステップＳ１６に処理を移す。具体的には、エンコード処理部２１は、ステップＳ１４において絞り込んだ符号化モードの候補のそれぞれについて、符号化性能を評価する。そして、ステップＳ１４において絞り込んだ符号化モードの候補のうち最も符号化性能が高いものを、符号化処理を行うマクロブロックに最適な符号化モードとして決定する。

ステップＳ１６において、エンコード処理部２１は、ステップＳ１３またはステップＳ１５で決定した符号化モードに最適な動きベクトルまたはイントラ予測方向をサーチして決定し、ステップＳ１７に処理を移す。

ステップＳ１７において、エンコード処理部２１は、上述のステップＳ１１〜Ｓ１６で求めた符号化モードおよび動きベクトルを用いて、符号化処理を行うマクロブロックの予測誤差を算出し、図２、３に示す符号化処理を終了する。

以上の映像圧縮フォーマット変換装置１によれば、以下の効果を奏することができる。

映像圧縮フォーマット変換装置１は、ＳＶＣストリームにおけるマクロブロックのBase_mode_flagが真であれば、このマクロブロックに対応するマクロブロックに対してＡＶＣ再圧縮における符号化処理を行う際に、インター符号化を適用し、このマクロブロックに対応するＳＶＣストリームの下位レイヤのマクロブロックと同一の符号化モードおよび動きベクトルを用いる。このため、図６に示した従来の符号化処理と比べて、符号化モードごとに最適な動きベクトルまたはイントラ予測方向を求める必要がない。したがって、画質の低下を抑制しつつ、ＳＶＣストリームからＡＶＣストリームへの変換に要する処理コストを大幅に低減できる。

また、映像圧縮フォーマット変換装置１は、ＳＶＣストリームにおけるマクロブロックのBase_mode_flagが偽であっても、Motion_prediction_flagが真であれば、このマクロブロックに対応する８×８領域に対してＡＶＣ再圧縮における符号化処理を行う際に、インター符号化を適用し、この８×８領域に対応するＳＶＣストリームの下位レイヤの４×４領域と同一の動きベクトルをスケーリングしたものを用いる。このため、図６に示した従来の符号化処理と同様に、符号化モードごとに最適な動きベクトルまたはイントラ予測方向を求める必要はあるものの、図６に示した従来の符号化処理と比べて、これら動きベクトルまたはイントラ予測方向を求める際にサーチを行う必要はない。したがって、画質の低下を抑制しつつ、ＳＶＣストリームからＡＶＣストリームへの変換に要する処理コストを低減できる。

また、映像圧縮フォーマット変換装置１は、ＳＶＣストリームにおけるマクロブロックのBase_mode_flagおよびMotion_prediction_flagが偽であっても、ＳＶＣストリームでレイヤ間予測符号化モードが適用されているか否かに応じて、符号化処理を行うマクロブロックで適用し得る全ての符号化モードの中から候補を予め絞り込む。このため、符号化処理を行うマクロブロックに最適な符号化モードを決定する際の処理量を削減できる。したがって、画質の低下を抑制しつつ、ＳＶＣストリームからＡＶＣストリームへの変換に要する処理コストを低減できる。

＜第２実施形態＞
［映像圧縮フォーマット変換装置１Ａの構成および動作］
本発明の第２実施形態に係る映像圧縮フォーマット変換装置１Ａは、図１に示した本発明の第１実施形態に係る映像圧縮フォーマット変換装置１とは、エンコード処理部２１の代わりにエンコード処理部２１Ａを備える点が異なる。なお、映像圧縮フォーマット変換装置１Ａにおいて、映像圧縮フォーマット変換装置１と同一構成要件については、同一符号を付し、その説明を省略する。

図４、５は、エンコード処理部２１Ａがマクロブロックごとに行う符号化処理のフローチャートである。

エンコード処理部２１Ａは、ステップＳ２１〜Ｓ２７のそれぞれでは、エンコード処理部２１が行うステップＳ１〜Ｓ７のそれぞれと同様の処理を行う。また、ステップＳ４１〜Ｓ４７のそれぞれでは、エンコード処理部２１が行うステップＳ１１〜Ｓ１７のそれぞれと同様の処理を行う。ただし、エンコード処理部２１Ａは、エンコード処理部２１が行わないステップＳ２８〜Ｓ３０の処理を行う。

ステップＳ２８において、エンコード処理部２１Ａは、Residual_prediction_flagが真であるか否かを判別する。そして、Residual_prediction_flagが真である場合には、ステップＳ２９に処理を移し、Residual_prediction_flagが偽である場合には、ステップＳ３０に処理を移す。

本実施形態では、フラグ情報とは、Base_mode_flagおよびMotion_prediction_flagに加えて、Residual_prediction_flagのことである。このResidual_prediction_flagのＳＶＣ符号化における役割は、以下の通りである。

Residual_prediction_flagは、ＳＶＣストリームの上位レイヤのマクロブロックごとに付与される１ビットの情報である。Residual_prediction_flagが真であれば、ＳＶＣ符号化を行うマクロブロックにおいて、このマクロブロックに対応する下位レイヤのマクロブロックにおける予測誤差情報を継承する。そして、本実施形態では、Residual_prediction_flagが真であれば、ステップＳ２９において後述するように、ＡＶＣ符号化を行うマクロブロックにおいて、このマクロブロックに対応するＳＶＣストリームの下位レイヤのマクロブロックにおける予測誤差情報を継承するものとする。

ステップＳ２９において、エンコード処理部２１Ａは、符号化処理を行うマクロブロックにおいて、このマクロブロックに対応するＳＶＣストリームの下位レイヤのマクロブロックにおけるインター符号化の予測残差情報をスケーリングしたものを用いるものとし、図４、５に示す符号化処理を終了する。

ステップＳ３０において、エンコード処理部２１Ａは、上述のステップＳ２１〜Ｓ２７で求めた符号化モードおよび動きベクトルを用いて、符号化処理を行うマクロブロックの予測誤差を算出し、図４、５に示す符号化処理を終了する。

以上の映像圧縮フォーマット変換装置１Ａによれば、映像圧縮フォーマット変換装置１が奏することのできる上述の効果に加えて、以下の効果を奏することができる。

映像圧縮フォーマット変換装置１Ａは、ＳＶＣストリームにおけるマクロブロックのResidual_prediction_flagが真であれば、このマクロブロックに対応するマクロブロックに対してＡＶＣ再圧縮における符号化処理を行う際に、ＳＶＣストリームの下位レイヤのマクロブロックにおけるインター符号化の予測残差情報をスケーリングしたものを用いる。このため、予測残差を算出する際の処理量を削減できる。したがって、画質の低下を抑制しつつ、ＳＶＣストリームからＡＶＣストリームへの変換に要する処理コストを低減できる。

なお、本発明の映像圧縮フォーマット変換装置１や映像圧縮フォーマット変換装置１Ａの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを映像圧縮フォーマット変換装置１や映像圧縮フォーマット変換装置１Ａに読み込ませ、実行することによって、本発明を実現できる。

ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、映像圧縮フォーマット変換装置１や映像圧縮フォーマット変換装置１Ａに設けられたプロセッサによって行われる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した映像圧縮フォーマット変換装置１や映像圧縮フォーマット変換装置１Ａから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を映像圧縮フォーマット変換装置１や映像圧縮フォーマット変換装置１Ａにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の第１実施形態や第２実施形態では、Ｈ．２６４ ＳＶＣからＨ．２６４ ＡＶＣへの変換について説明したが、これに限らない。本発明は、ＳＶＣ方式からシングルストリーム形式への変換に対して適用できる。

１、１Ａ・・・映像圧縮フォーマット変換装置
１０・・・ＳＶＣデコード処理部
１１・・・第１のデコード処理部
１２・・・第２のデコード処理部
２０・・・ＡＶＣエンコード処理部
２１、２１Ａ・・・エンコード処理部

Claims (8)

1. 解像度スケーラビリティを有するスケーラブル符号化ストリームをシングル符号化ストリームに変換する映像圧縮フォーマット変換装置であって、
   前記スケーラブル符号化ストリームに含まれるフラグ情報に基づいて、符号化モードや、動きベクトルまたはイントラ予測方向を予測し、決定する予測方法決定手段を備え、
   前記予測方法決定手段は、
   スケーラブル符号化を行うマクロブロックにおいて、当該マクロブロックに対応する下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承するか否かを示す第１のフラグ情報を、少なくとも前記フラグ情報として用い、
   前記第１のフラグ情報が真であれば、シングルストリーム符号化を行うマクロブロックにおいて、当該マクロブロックに対応するスケーラブル符号化ストリームの下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承するとともに、
   前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されている場合には、当該スケーラブル符号化ストリームの下位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から１つ以上を符号化モード候補として選択し、
   前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されていない場合には、当該スケーラブル符号化ストリームの上位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から１つ以上を符号化モード候補として選択することを特徴とする映像圧縮フォーマット変換装置。
2. 解像度スケーラビリティを有するスケーラブル符号化ストリームをシングル符号化ストリームに変換する映像圧縮フォーマット変換装置であって、
   前記スケーラブル符号化ストリームに含まれるフラグ情報に基づいて、符号化モードや、動きベクトルまたはイントラ予測方向を予測し、決定する予測方法決定手段を備え、
   前記予測方法決定手段は、
   スケーラブル符号化を行う所定の領域において、当該所定の領域に対応する下位レイヤの領域における動きベクトルを継承するか否かを示す第２のフラグ情報を、少なくとも前記フラグ情報として用い、
   前記第２のフラグ情報が真であれば、シングルストリーム符号化を行う所定の領域において、当該所定の領域に対応するスケーラブル符号化ストリームの下位レイヤの領域における動きベクトルを継承するとともに、
   前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されている場合には、当該スケーラブル符号化ストリームの下位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から１つ以上を符号化モード候補として選択し、
   前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されていない場合には、当該スケーラブル符号化ストリームの上位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から１つ以上を符号化モード候補として選択することを特徴とする映像圧縮フォーマット変換装置。
3. 前記予測方法決定手段は、
   スケーラブル符号化を行うマクロブロックにおいて、当該マクロブロックに対応する下位レイヤのマクロブロックにおける予測誤差情報を継承するか否かを示す第３のフラグ情報を、少なくとも前記フラグ情報として用い、
   前記第３のフラグ情報が真であれば、シングルストリーム符号化を行うマクロブロックにおいて、当該マクロブロックに対応するスケーラブル符号化ストリームの下位レイヤのマクロブロックにおける予測誤差情報を継承することを特徴とする請求項１または２のいずれかに記載の映像圧縮フォーマット変換装置。
4. 前記予測方法決定手段は、
   前記スケーラブル符号化ストリームの下位レイヤの符号化モードごとに、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードのうち前記符号化モード候補として選択する符号化モードを予め定めた情報と、
   前記スケーラブル符号化ストリームの上位レイヤの符号化モードごとに、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードのうち前記符号化モード候補として選択する符号化モードを予め定めた情報と、を記憶することを特徴とする請求項１または２のいずれかに記載の映像圧縮フォーマット変換装置。
5. 解像度スケーラビリティを有するスケーラブル符号化ストリームをシングル符号化ストリームに変換する映像圧縮フォーマット変換装置における映像圧縮フォーマット方法であって、
   前記スケーラブル符号化ストリームに含まれるフラグ情報に基づいて、符号化モードや、動きベクトルまたはイントラ予測方向を予測し、決定する予測方法決定手段を備え、
   前記予測方法決定手段は、
   スケーラブル符号化を行うマクロブロックにおいて、当該マクロブロックに対応する下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承するか否かを示す第１のフラグ情報を、少なくとも前記フラグ情報として用い、
   前記第１のフラグ情報が真であれば、シングルストリーム符号化を行うマクロブロックにおいて、当該マクロブロックに対応するスケーラブル符号化ストリームの下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承する第１のステップと、
   前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されている場合には、当該スケーラブル符号化ストリームの下位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から１つ以上を符号化モード候補として選択し、
   前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されていない場合には、当該スケーラブル符号化ストリームの上位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から１つ以上を符号化モード候補として選択する第２のステップと、
   を備えることを特徴とする映像圧縮フォーマット変換方法。
6. 解像度スケーラビリティを有するスケーラブル符号化ストリームをシングル符号化ストリームに変換する映像圧縮フォーマット変換装置における映像圧縮フォーマット方法であって、
   前記スケーラブル符号化ストリームに含まれるフラグ情報に基づいて、符号化モードや、動きベクトルまたはイントラ予測方向を予測し、決定する予測方法決定手段を備え、
   前記予測方法決定手段は、
   スケーラブル符号化を行う所定の領域において、当該所定の領域に対応する下位レイヤの領域における動きベクトルを継承するか否かを示す第２のフラグ情報を、少なくとも前記フラグ情報として用い、
   前記第２のフラグ情報が真であれば、シングルストリーム符号化を行う所定の領域において、当該所定の領域に対応するスケーラブル符号化ストリームの下位レイヤの領域における動きベクトルを継承する第１のステップと、
   前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されている場合には、当該スケーラブル符号化ストリームの下位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から１つ以上を符号化モード候補として選択し、
   前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されていない場合には、当該スケーラブル符号化ストリームの上位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から１つ以上を符号化モード候補として選択する第２のステップと、
   を備えることを特徴とする映像圧縮フォーマット変換方法。
7. 解像度スケーラビリティを有するスケーラブル符号化ストリームをシングル符号化ストリームに変換する映像圧縮フォーマット変換装置における映像圧縮フォーマット方法をコンピュータに実行させるためのプログラムであって、
   前記スケーラブル符号化ストリームに含まれるフラグ情報に基づいて、符号化モードや、動きベクトルまたはイントラ予測方向を予測し、決定する予測方法決定手段を備え、
   前記予測方法決定手段は、
   スケーラブル符号化を行うマクロブロックにおいて、当該マクロブロックに対応する下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承するか否かを示す第１のフラグ情報を、少なくとも前記フラグ情報として用い、
   前記第１のフラグ情報が真であれば、シングルストリーム符号化を行うマクロブロックにおいて、当該マクロブロックに対応するスケーラブル符号化ストリームの下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承する第１のステップと、
   前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されている場合には、当該スケーラブル符号化ストリームの下位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から１つ以上を符号化モード候補として選択し、
   前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されていない場合には、当該スケーラブル符号化ストリームの上位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から１つ以上を符号化モード候補として選択する第２のステップと、
   をコンピュータに実行させるためのプログラム。
8. 解像度スケーラビリティを有するスケーラブル符号化ストリームをシングル符号化ストリームに変換する映像圧縮フォーマット変換装置における映像圧縮フォーマット方法をコンピュータに実行させるためのプログラムであって、
   前記スケーラブル符号化ストリームに含まれるフラグ情報に基づいて、符号化モードや、動きベクトルまたはイントラ予測方向を予測し、決定する予測方法決定手段を備え、
   前記予測方法決定手段は、
   スケーラブル符号化を行う所定の領域において、当該所定の領域に対応する下位レイヤの領域における動きベクトルを継承するか否かを示す第２のフラグ情報を、少なくとも前記フラグ情報として用い、
   前記第２のフラグ情報が真であれば、シングルストリーム符号化を行う所定の領域において、当該所定の領域に対応するスケーラブル符号化ストリームの下位レイヤの領域における動きベクトルを継承する第１のステップと、
   前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されている場合には、当該スケーラブル符号化ストリームの下位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から１つ以上を符号化モード候補として選択し、
   前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されていない場合には、当該スケーラブル符号化ストリームの上位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から１つ以上を符号化モード候補として選択する第２のステップと、
   を備えることを特徴とする映像圧縮フォーマット変換方法をコンピュータに実行させるためのプログラム。