JP6016488B2 - 映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラム - Google Patents

Description

本発明は、映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラムに関する。

映像圧縮方式技術の高性能化に関する研究開発が、世界的に継続して実施されている。そして、映像圧縮技術に関する国際標準規格として、数年ごとに新しい技術が規格化されている。

近年では、２００３年にＨ．２６４（例えば、非特許文献１参照）が規格化され、普及しつつある。しかしながら、国際標準規格の規格化の場では、新たな圧縮技術としてＨＥＶＣ（例えば、非特許文献２参照）が議論されている。

Ｈ．２６４とＨＥＶＣといった、互いに異なる圧縮方式間では、類似した技術が用いられるものの、圧縮データのフォーマットとしての互換性はない場合がある。例えばＨ．２６４とＨＥＶＣとでは、どちらも動き補償および直交変換（離散コサイン変換）をベースとした方式であるが、フォーマットに関する互換性はない。

このため、新たな映像圧縮方式が普及する際には、圧縮データフォーマットが互いに異なる映像コンテンツが、混在することになる。このため、映像コンテンツを、旧来の圧縮データフォーマットから、新たな圧縮データフォーマットに変換する、フォーマット変換技術が求められる。

Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG, "Text of ISO/IEC 14496-10 Advanced Video Coding," High Efficiency Video Coding (HEVC) text specification draft 6, JCTVC-H1003 ISO/IEC MPEG and ITU-T VCEG, "Text of ISO/IEC 13818-2 Generic coding of moving pictures and associated audio information: Video," 2000.

従来のフォーマット変換技術は、変換の前後で符号化処理の単位ブロックサイズが同一である場合を想定した技術である。

例えばＭＰＥＧ−２（例えば、非特許文献３参照）とＨ．２６４とでは、符号化処理の単位ブロックサイズが同一である。このため、映像コンテンツをＭＰＥＧ−２からＨ．２６４に変換する場合、変換対象となる符号化処理ブロックが１対１で対応するため、変換前の符号化情報を変換後の圧縮処理に用いることは容易であり、従来のフォーマット変換技術を適用することが可能であった。

しかしながら、Ｈ．２６４からＨＥＶＣのように、変換の前後で符号化処理の単位ブロックサイズが異なる場合、上述のように変換前の符号化情報を変換後の圧縮処理に単純に用いると、画質が低下してしまう場合があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、変換の前後で符号化処理の単位ブロックサイズが異なる圧縮方式間であっても、画質の低下を抑制しつつ映像圧縮フォーマットを変換できる映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１） 本発明は、符号化処理の単位ブロックサイズが異なる圧縮方式間での映像圧縮フォーマットの変換を行う映像圧縮フォーマット変換装置（例えば、図１の映像圧縮フォーマット変換装置１や、図１０の映像圧縮フォーマット変換装置１Ａに相当）であって、変換後における符号化処理の単位ブロックである変換後単位ブロックごとに、当該変換後単位ブロックで適用し得る全ての予測方法（例えば、図６〜９のＩｎｔｒａ８×８、Ｉｎｔｒａ１６×１６、Ｉｎｔｅｒ８×８、およびＩｎｔｅｒ１６×１６に相当）の中から、１つ以上を予測方法候補として選択する予測方法候補決定手段（例えば、図４の予測方法候補決定部２１２や、図１２の予測方法候補決定部２１２Ａに相当）と、前記変換後単位ブロックごとに、前記予測方法候補を適用した結果を求める適用結果算出手段（例えば、図４や図１２の単位予測値生成部２１３およびコスト値算出部２１４に相当）と、前記変換後単位ブロックごとに、前記適用結果算出手段により求められた結果に基づいて、前記予測方法候補の中から当該変換後単位ブロックに最適な予測方法を決定する予測方法決定手段（例えば、図４や図１２の予測方法決定部２１５に相当）と、を備えることを特徴とする映像圧縮フォーマット変換装置を提案している。

この発明によれば、符号化処理の単位ブロックサイズが異なる圧縮方式間での映像圧縮フォーマットの変換を行う映像圧縮フォーマット変換装置に、予測方法候補決定手段、適用結果算出手段、および予測方法決定手段を設けた。そして、予測方法候補決定手段により、変換後における符号化処理の単位ブロックである変換後単位ブロックごとに、この変換後単位ブロックで適用し得る全ての予測方法の中から、１つ以上を予測方法候補として選択することとした。また、適用結果算出手段により、変換後単位ブロックごとに、予測方法候補を適用した結果を求めることとした。また、予測方法決定手段により、変換後単位ブロックごとに、適用結果算出手段により求められた結果に基づいて、この変換後単位ブロックに最適な予測方法を予測方法候補の中から決定することとした。

このため、予測方法候補として、変換処理である符号化処理において高い符号化性能が期待される予測方法を選択することで、変換後単位ブロックごとに、符号化処理において高い符号化性能が期待される予測方法を適用できる。したがって、変換の前後で符号化処理の単位ブロックサイズが異なる圧縮方式間であっても、画質の低下を抑制しつつ、映像圧縮フォーマットを変換できる。

また、適用結果算出手段により予測方法候補を適用した結果を求め、この結果に基づいて、予測方法決定手段により変換後単位ブロックに最適な予測方法を決定する。このため、適用結果算出手段は、適用結果を、変換後単位ブロックで適用し得る全ての予測方法について求めるのではなく、これら予測方法のうちの一部である予測方法候補についてのみ求めることになる。したがって、変換の前後で符号化処理の単位ブロックサイズが異なる圧縮方式間において、変換に要する処理コストを低減できる。

（２） 本発明は、（１）の映像圧縮フォーマット変換装置について、前記変換後単位ブロックで適用し得る全ての予測方法と、変換前における符号化処理の単位ブロックである変換前単位ブロックのうち当該変換後単位ブロックに対応するもので適用し得る全ての予測方法（例えば、図６〜９のＩｎｔｒａ４×４、Ｉｎｔｒａ８×８、Ｉｎｔｅｒ４×４、およびＩｎｔｅｒ８×８に相当）と、の組み合わせごとに、変換の前後での予測方法の遷移を遷移率で評価する遷移率算出手段（例えば、図４の予測方法候補決定部２１２や、図１２の予測方法候補決定部２１２Ａに相当）を備え、前記予測方法候補決定手段は、前記遷移率に基づいて、前記予測方法候補を選択することを特徴とする映像圧縮フォーマット変換装置を提案している。

ここで、変換前単位ブロックにおける予測方法と、変換後単位ブロックにおける予測方法と、の間には、相関性が存在する場合がある。

そこで、この発明によれば、（１）の映像圧縮フォーマット変換装置に遷移率算出手段を設けた。そして、遷移率算出手段により、変換後単位ブロックで適用し得る全ての予測方法と、変換前における符号化処理の単位ブロックである変換前単位ブロックのうち変換後単位ブロックに対応するもので適用し得る全ての予測方法と、の組み合わせごとに、変換の前後での予測方法の遷移を遷移率で評価することとした。また、予測方法候補決定手段により、遷移率に基づいて、予測方法候補を選択することとした。

このため、変換後単位ブロックにおける予測方法の決定に、変換前単位ブロックにおける予測方法を反映させることができる。したがって、画質の低下をさらに抑制できる。

（３） 本発明は、（２）の映像圧縮フォーマット変換装置について、前記変換後単位ブロックごとに、当該変換後単位ブロックに対応する変換前単位ブロックにおけるデコード映像の特徴量解析を行う画像解析手段（例えば、図４の画像解析部２１１に相当）を備え、前記遷移率算出手段は、前記画像解析手段による特徴量解析の結果に基づいて、前記遷移率を算出することを特徴とする映像圧縮フォーマット変換装置を提案している。

ここで、変換前単位ブロックにおける予測方法と、変換後単位ブロックにおける予測方法と、の間には、テクスチャの複雑さやオブジェクトの追従性などの、映像の特徴量に応じた相関性が存在する場合がある。

そこで、この発明によれば、（２）の映像圧縮フォーマット変換装置に画像解析手段を設けた。そして、画像解析手段により、変換後単位ブロックごとに、この変換後単位ブロックに対応する変換前単位ブロックにおけるデコード映像の特徴量解析を行うこととした。また、遷移率算出手段により、画像解析手段による特徴量解析の結果に基づいて、遷移率を算出することとした。

このため、変換後単位ブロックにおける予測方法の決定に、この変換後単位ブロックに対応する変換前単位ブロックにおけるデコード映像の特徴量に応じて、変換前単位ブロックにおける予測方法を反映させることができる。したがって、画質の低下をさらに抑制できる。

（４） 本発明は、（３）の映像圧縮フォーマット変換装置について、前記画像解析手段は、前記特徴量解析を行って、変換後単位ブロックに対応する変換前単位ブロックにおけるデコード映像についてテクスチャの複雑さを評価し、前記遷移率算出手段は、前記テクスチャの複雑さの評価結果に基づいて前記遷移率を算出し、前記予測方法候補決定手段は、前記遷移率に基づいて、前記テクスチャの複雑さが高くなるに従って高精度になる予測方法を、前記予測方法候補として選択することを特徴とする映像圧縮フォーマット変換装置を提案している。

この発明によれば、（３）の映像圧縮フォーマット変換装置において、画像解析手段により、特徴量解析を行って、変換後単位ブロックに対応する変換前単位ブロックにおけるデコード映像についてテクスチャの複雑さを評価し、遷移率算出手段により、テクスチャの複雑さの評価結果に基づいて遷移率を算出することとした。また、予測方法候補決定手段により、遷移率に基づいて、テクスチャの複雑さが高くなるに従って高精度になる予測方法を、予測方法候補として選択することとした。

このため、変換後単位ブロックにおける予測方法の決定に、この変換後単位ブロックに対応する変換前単位ブロックにおけるデコード映像のテクスチャの複雑さに応じて、変換前単位ブロックにおける予測方法を反映させることができる。したがって、画質の低下をさらに抑制できる。

（５） 本発明は、（３）または（４）の映像圧縮フォーマット変換装置について、前記画像解析手段は、前記特徴量解析を行って、変換後単位ブロックに対応する変換前単位ブロックにおけるデコード映像についてオブジェクトの追従性を評価し、前記遷移率算出手段は、前記オブジェクトの追従性の評価結果に基づいて前記遷移率を算出し、前記予測方法候補決定手段は、前記遷移率に基づいて、前記オブジェクトの追従性が低くなるに従ってイントラ予測を前記予測方法候補として選択する度合いを高くすることを特徴とする映像圧縮フォーマット変換装置を提案している。

この発明によれば、（３）または（４）の映像圧縮フォーマット変換装置において、画像解析手段により、特徴量解析を行って、変換後単位ブロックに対応する変換前単位ブロックにおけるデコード映像についてオブジェクトの追従性を評価し、遷移率算出手段により、オブジェクトの追従性の評価結果に基づいて遷移率を算出することとした。また、予測方法候補決定手段により、遷移率に基づいて、オブジェクトの追従性が低くなるに従ってイントラ予測を予測方法候補として選択する度合いを高くすることとした。

このため、変換後単位ブロックにおける予測方法の決定に、この変換後単位ブロックに対応する変換前単位ブロックにおけるデコード映像のオブジェクトの追従性に応じて、変換前単位ブロックにおける予測方法を反映させることができる。したがって、画質の低下をさらに抑制できる。

（６） 本発明は、（１）の映像圧縮フォーマット変換装置について、前記予測方法候補決定手段には、前記予測方法候補として選択すべき予測方法を示す情報（例えば、図１０や図１１の予測方法候補情報ｐに相当）が入力され、前記予測方法候補決定手段は、前記情報に基づいて前記予測方法候補を選択することを特徴とする映像圧縮フォーマット変換装置を提案している。

この発明によれば、（１）の映像圧縮フォーマット変換装置において、予測方法候補決定手段には、予測方法候補として選択すべき予測方法を示す情報が入力され、この予測方法候補決定手段により、上述の情報に基づいて予測方法候補を選択することとした。

このため、上述の情報に基づいて、適切な予測方法を予測方法候補として選択することができる。

（７） 本発明は、（１）〜（６）のいずれかの映像圧縮フォーマット変換装置について、予測ブロックサイズと、符号化方法と、イントラ予測方向と、動きベクトルと、の少なくともいずれかを、前記予測方法として用いることを特徴とする映像圧縮フォーマット変換装置を提案している。

この発明によれば、（１）〜（６）のいずれかの映像圧縮フォーマット変換装置において、予測ブロックサイズと、符号化方法と、イントラ予測方向と、動きベクトルと、の少なくともいずれかを、予測方法として用いることとした。これによれば、上述した効果と同様の効果を奏することができる。

（８） 本発明は、予測方法候補決定手段（例えば、図４の予測方法候補決定部２１２や、図１２の予測方法候補決定部２１２Ａに相当）、適用結果算出手段（例えば、図４や図１２の単位予測値生成部２１３およびコスト値算出部２１４に相当）、および予測方法決定手段（例えば、図４や図１２の予測方法決定部２１５に相当）を備え、符号化処理の単位ブロックサイズが異なる圧縮方式間での映像圧縮フォーマットの変換を行う映像圧縮フォーマット変換装置（例えば、図１の映像圧縮フォーマット変換装置１や、図１０の映像圧縮フォーマット変換装置１Ａに相当）における映像圧縮フォーマット変換方法であって、前記予測方法候補決定手段が、変換後における符号化処理の単位ブロックである変換後単位ブロックごとに、当該変換後単位ブロックで適用し得る全ての予測方法（例えば、図６〜９のＩｎｔｒａ８×８、Ｉｎｔｒａ１６×１６、Ｉｎｔｅｒ８×８、およびＩｎｔｅｒ１６×１６に相当）の中から、１つ以上を予測方法候補として選択する第１のステップ（例えば、図５や図１３の予測方法候補決定処理に相当）と、前記適用結果算出手段が、前記変換後単位ブロックごとに、前記予測方法候補を適用した結果を求める第２のステップ（例えば、図５や図１３の予測値生成処理およびコスト値算出処理に相当）と、前記予測方法決定手段が、前記変換後単位ブロックごとに、前記第２のステップにおいて求められた結果に基づいて、前記予測方法候補の中から当該変換後単位ブロックに最適な予測方法を決定する第３のステップ（例えば、図５や図１３の予測方法決定処理に相当）と、を備えることを特徴とする映像圧縮フォーマット変換方法を提案している。

この発明によれば、予測方法候補決定手段により、変換後における符号化処理の単位ブロックである変換後単位ブロックごとに、この変換後単位ブロックで適用し得る全ての予測方法の中から、１つ以上を予測方法候補として選択することとした。また、適用結果算出手段により、変換後単位ブロックごとに、予測方法候補を適用した結果を求めることとした。また、予測方法決定手段により、変換後単位ブロックごとに、適用結果算出手段により求められた結果に基づいて、この変換後単位ブロックに最適な予測方法を予測方法候補の中から決定することとした。このため、上述した効果と同様の効果を奏することができる。

（９） 本発明は、予測方法候補決定手段（例えば、図４の予測方法候補決定部２１２や、図１２の予測方法候補決定部２１２Ａに相当）、適用結果算出手段（例えば、図４や図１２の単位予測値生成部２１３およびコスト値算出部２１４に相当）、および予測方法決定手段（例えば、図４や図１２の予測方法決定部２１５に相当）を備え、符号化処理の単位ブロックサイズが異なる圧縮方式間での映像圧縮フォーマットの変換を行う映像圧縮フォーマット変換装置（例えば、図１の映像圧縮フォーマット変換装置１や、図１０の映像圧縮フォーマット変換装置１Ａに相当）における映像圧縮フォーマット変換方法を、コンピュータに実行させるためのプログラムであって、前記予測方法候補決定手段が、変換後における符号化処理の単位ブロックである変換後単位ブロックごとに、当該変換後単位ブロックで適用し得る全ての予測方法（例えば、図６〜９のＩｎｔｒａ８×８、Ｉｎｔｒａ１６×１６、Ｉｎｔｅｒ８×８、およびＩｎｔｅｒ１６×１６に相当）の中から、１つ以上を予測方法候補として選択する第１のステップ（例えば、図５や図１３の予測方法候補決定処理に相当）と、前記適用結果算出手段が、前記変換後単位ブロックごとに、前記予測方法候補を適用した結果を求める第２のステップ（例えば、図５や図１３の予測値生成処理およびコスト値算出処理に相当）と、前記予測方法決定手段が、前記変換後単位ブロックごとに、前記第２のステップにおいて求められた結果に基づいて、前記予測方法候補の中から当該変換後単位ブロックに最適な予測方法を決定する第３のステップ（例えば、図５や図１３の予測方法決定処理に相当）と、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、コンピュータを用いてプログラムを実行することで、予測方法候補決定手段により、変換後における符号化処理の単位ブロックである変換後単位ブロックごとに、この変換後単位ブロックで適用し得る全ての予測方法の中から、１つ以上を予測方法候補として選択することとした。また、適用結果算出手段により、変換後単位ブロックごとに、予測方法候補を適用した結果を求めることとした。また、予測方法決定手段により、変換後単位ブロックごとに、適用結果算出手段により求められた結果に基づいて、この変換後単位ブロックに最適な予測方法を予測方法候補の中から決定することとした。このため、上述した効果と同様の効果を奏することができる。

本発明によれば、変換の前後で符号化処理の単位ブロックサイズが異なる圧縮方式間であっても、画質の低下を抑制するとともに、変換に要する処理コストを低減しつつ、映像圧縮フォーマットを変換できる。

本発明の第１実施形態に係る映像圧縮フォーマット変換装置のブロック図である。 前記映像圧縮フォーマット変換装置に設けられた変換前復号処理部のブロック図である。 前記映像圧縮フォーマット変換装置に設けられた変換処理部のブロック図である。 前記変換処理部に設けられた第２の予測値生成部のブロック図である。 前記第２の予測値生成部が行う予測処理を示す図である。 前記第２の予測値生成部の動作を説明するための図である。 前記第２の予測値生成部の動作を説明するための図である。 前記第２の予測値生成部の動作を説明するための図である。 前記第２の予測値生成部の動作を説明するための図である。 本発明の第２実施形態に係る映像圧縮フォーマット変換装置のブロック図である。 前記映像圧縮フォーマット変換装置に設けられた変換処理部のブロック図である。 前記変換処理部に設けられた第２の予測値生成部のブロック図である。 前記第２の予測値生成部が行う予測処理を示す図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
［映像圧縮フォーマット変換装置１の構成および動作］
図１は、本発明の第１実施形態に係る映像圧縮フォーマット変換装置１のブロック図である。映像圧縮フォーマット変換装置１は、変換前圧縮データａを、変換前圧縮データａとは符号化処理の単位ブロックサイズが異なる圧縮方式の変換後圧縮データｂに変換する。この映像圧縮フォーマット変換装置１は、変換前復号処理部１０および変換処理部２０を備える。

（変換前復号処理部１０の構成および動作）
図２は、変換前復号処理部１０のブロック図である。変換前復号処理部１０は、エントロピー復号部１１、第１の予測値生成部１２、逆ＤＣＴ／逆量子化部１３、およびローカルメモリ１４を備える。

エントロピー復号部１１は、変換前圧縮データａを入力とする。このエントロピー復号部１１は、変換前圧縮データａをエントロピー復号して、変換前における符号化処理の単位ブロックである変換前単位ブロックごとに変換前符号化情報ｄおよび残差信号ｆを抽出し、出力する。

第１の予測値生成部１２は、変換前符号化情報ｄと、ローカルメモリ１４から出力される後述の変換前デコード映像ｅと、を入力とする。この第１の予測値生成部１２は、変換前符号化情報ｄに従って、変換前単位ブロックごとに変換前デコード映像ｅから予測値ｇを生成し、出力する。

逆ＤＣＴ／逆量子化部１３は、残差信号ｆを入力とする。この逆ＤＣＴ／逆量子化部１３は、変換前単位ブロックごとに残差信号ｆに対して逆ＤＣＴ処理および逆量子化処理を行って、逆ＤＣＴおよび逆量子化された残差信号ｈとして出力する。

第１の予測値生成部１２から出力された予測値ｇと、逆ＤＣＴ／逆量子化部１３から出力された残差信号ｈとは、変換前単位ブロックごとに加算器で加算され、変換前デコード映像ｅとして変換前復号処理部１０から出力される。

ローカルメモリ１４は、変換前デコード映像ｅを入力とする。このローカルメモリ１４は、入力された変換前デコード映像ｅを蓄積し、適宜、第１の予測値生成部１２に供給する。

（変換処理部２０の構成および動作）
図３は、変換処理部２０のブロック図である。変換処理部２０は、第２の予測値生成部２１、ＤＣＴ／量子化部２２、エントロピー符号化部２３、逆ＤＣＴ／逆量子化部２４、およびローカルメモリ２５を備える。

第２の予測値生成部２１は、ローカルメモリ２５から出力される後述の変換後ローカルデコード映像ｎと、変換処理部２０の外部から入力される符号化パラメータｃと、変換前符号化情報ｄと、変換前デコード映像ｅと、を入力とする。この第２の予測値生成部２１は、図４に示すように、画像解析部２１１、予測方法候補決定部２１２、単位予測値生成部２１３、コスト値算出部２１４、および予測方法決定部２１５を備えており、変換後における符号化処理の単位ブロックである変換後単位ブロックごとに、図５に示す予測処理を行い、現在の変換後単位ブロックについての最適な予測方法を決定して、決定した予測方法による予測値ｉと、決定した予測方法を示す予測情報ｊと、を出力する。

なお、本実施形態において、予測方法の種類としては、例えば、予測ブロックサイズ、符号化方法、イントラ符号化における予測方向、動きベクトルなどを挙げることができる。符号化方法としては、例えば、イントラ予測やインター予測などを挙げることができる。

画像解析部２１１は、図５の画像解析処理を行う。この画像解析部２１１は、変換前デコード映像ｅを入力とし、変換後単位ブロックごとに、この変換後単位ブロックに対応する変換前単位ブロックのデコード映像の特徴量解析を行う。特徴量解析では、後述のテクスチャの複雑さと、後述のオブジェクトの追従性と、の少なくともいずれかを評価し、評価結果に基づいて画像特徴量を決定する。

ここで、上述の変換後単位ブロックに対応する変換前単位ブロックについて、説明する。例えば、フレームを構成する全ての変換後単位ブロックのうちの１つを、所定の変換後単位ブロックと呼ぶこととする。すると、所定の変換後単位ブロックに対応する変換前単位ブロックとは、フレームを構成する全ての変換前単位ブロックのうち、所定の変換後単位ブロックに含まれる画素を含む変換前単位ブロックのことである。

テクスチャの複雑さの評価は、イントラ予測の容易性を評価するのに適している。テクスチャの複雑さを評価する場合には、例えば、変換前単位ブロック内の画素値の分散値や、変換前単位ブロック内の各画素にラプラシアンフィルタを適用した結果についてこの変換前単位ブロック内で二乗和した値や、変換前単位ブロック内の画素値をフーリエ変換などで周波数変換したときのＡＣ成分のエネルギーを求める。

一方、オブジェクトの追従性の評価は、インター予測の容易性を評価するのに適している。オブジェクトの追従性を評価する場合には、まず、オブジェクトの動きを検出する。オブジェクトの動きの検出では、例えば、時間的に過去のフレームのローカルデコード画像とブロックマッチングしたときの動きベクトルの大きさや、変換前単位ブロックを包含する領域（またはフレーム全体）でのグローバル動きの大きさなどを求める。なお、時間的に過去のフレームとのブロックマッチングによる動きベクトルの検出では、後述の予測方法候補決定部２１２への入力である変換前符号化情報に含まれる動きベクトルの情報を、援用できる。

次に、上述の検出したオブジェクトの動きを用いて符号化処理ブロックの動き補償を行った際の、符号化処理ブロック画素値と参照先画素値との差分に関する二乗和または絶対値和を求める。

予測方法候補決定部２１２は、図５の予測方法候補決定処理を行う。予測方法候補決定部２１２は、変換前符号化情報ｄと、符号化パラメータｃと、上述の画像解析処理で決定された画像特徴量と、を入力とする。この予測方法候補決定部２１２は、変換後単位ブロックごとに、まず、この変換後単位ブロックで効果的な予測方法を変換前符号化情報ｄに基づいて抽出する。次に、この変換後単位ブロックで最終的に候補とする予測方法を予測方法候補情報として、画像特徴量や符号化パラメータｃを用いて決定する。

ここで、本実施形態に係る映像圧縮フォーマット変換装置１は、映像圧縮フォーマットの変換の前後で符号化処理の単位ブロックサイズが異なる場合を想定している。そこで、予測方法候補決定部２１２は、変換後単位ブロックに適した予測方法候補として、この変換後単位ブロックに対応する変換前単位ブロックにおける全ての予測方法と、これら全ての予測方法のそれぞれに符号化性能が近い予測方法と、を選択する。

具体的には、予測方法候補決定部２１２は、まず、変換後単位ブロックで適用し得る全ての予測方法と、この変換後単位ブロックに対応する変換前単位ブロックで適用し得る全ての予測方法と、の組み合わせごとに、変換の前後での予測方法の遷移率を初期値に設定するとともに、これら遷移率の閾値を設定する。

図６は、遷移率を初期値に設定するとともに、これら遷移率の閾値を設定した例を示す図である。図６では、変換前の予測方法として、Ｉｎｔｒａ４×４、Ｉｎｔｒａ８×８、Ｉｎｔｅｒ４×４、およびＩｎｔｅｒ８×８を想定し、変換後の予測方法として、Ｉｎｔｒａ８×８、Ｉｎｔｒａ１６×１６、Ｉｎｔｅｒ８×８、およびＩｎｔｅｒ１６×１６を想定している。そして、例えばＩｎｔｒａ４×４からＩｎｔｒａ８×８に遷移する遷移率の初期値として１５％を設定し、Ｉｎｔｅｒ４×４からＩｎｔｅｒ１６×１６に遷移する遷移率の初期値として５％を設定している。また、遷移率の閾値として、１０％を設定している。

予測方法候補決定部２１２は、次に、画像解析部２１１で決定された画像特徴量と、符号化パラメータｃと、に基づいて遷移率を更新する。

図７は、図６に示した遷移率を、テクスチャの複雑さを用いて更新した例を示す図である。図７では、テクスチャの複雑さが高くなるに従って、予測ブロックを細分化する予測方法の遷移率を高くしている。これによれば、テクスチャの複雑さが高くなるに従って、高精度になる予測方法が、後述の予測方法候補決定部２１２において予測方法候補として選択されることになる。

図８は、図７に示した遷移率を、オブジェクトの追従性を用いて更新した例を示す図である。図８では、オブジェクトの追従性が低くなるに従って、イントラ予測の遷移率を高くしている。これによれば、オブジェクトの追従性が低くなるに従って、イントラ予測が、後述の予測方法候補決定部２１２において予測方法候補として選択されることになる。

予測方法候補決定部２１２は、次に、遷移率が閾値以上である予測方法を、変換後の処理ブロックにおける予測方法候補として決定する。

図９は、図８に示した遷移率に基づいて、変換後の処理ブロックにおける予測方法候補を選択した例を示す図である。図９では、上述の設定した閾値（１０％）以上である遷移率が、５つある。このため、これら５つの遷移率で遷移すると求められたＩｎｔｒａ８×８、Ｉｎｔｒａ１６×１６、およびＩｎｔｅｒ８×８が予測方法候補として選択される。

単位予測値生成部２１３は、図５の予測値生成処理を行う。この単位予測値生成部２１３は、変換前デコード映像ｅと、変換後ローカルデコード映像ｎと、上述の予測方法候補決定処理で決定された予測方法候補と、を入力とし、予測方法候補ごとに、その予測方法にしたがって、入力された映像から予測値を求める。

コスト値算出部２１４は、図５のコスト値算出処理を行う。このコスト値算出部２１４は、予測値生成処理で求められた予測方法候補ごとの予測値と、変換後ローカルデコード映像ｎと、変換前デコード映像ｅと、を入力とし、予測方法候補ごとに、その予測方法によって生じる符号化歪および符号量を、コスト値として算出する。

予測方法決定部２１５は、図５の予測方法決定処理を行う。この予測方法決定部２１５は、コスト値算出処理で求められた予測方法候補ごとのコスト値と、変換後ローカルデコード映像ｎと、変換前デコード映像ｅと、を入力とし、コスト値の最も高い予測方法候補の予測方法を、現在の変換後単位ブロックについての最適な予測方法として決定し、決定した予測方法による予測値ｉと、決定した予測方法を示す予測情報ｊと、を出力する。

図３に戻って、ＤＣＴ／量子化部２２は、予測値ｉと変換前デコード映像ｅとの差分信号（残差信号）を入力とする。このＤＣＴ／量子化部２２は、変換後単位ブロックごとに残差信号に対してＤＣＴを行ってＤＣＴ係数を求め、このＤＣＴ係数に対して量子化処理を行って、ＤＣＴおよび量子化された残差信号ｋとして出力する。

エントロピー符号化部２３は、予測情報ｊと、ＤＣＴおよび量子化された残差信号ｋと、を入力とする。このエントロピー符号化部２３は、変換後単位ブロックごとに、入力された情報に対して可変長符号化または算術符号化を行い、その結果を符号化シンタックスにしたがって圧縮データストリームとして書き出し、変換後圧縮データｂとして出力する。

逆ＤＣＴ／逆量子化部２４は、ＤＣＴおよび量子化された残差信号ｋを入力とする。この逆ＤＣＴ／逆量子化部２４は、変換後単位ブロックごとに、ＤＣＴおよび量子化された残差信号ｋに対して逆量子化処理および逆ＤＣＴ処理を行って、逆量子化および逆ＤＣＴされた残差信号ｍとして出力する。

ローカルメモリ２５は、変換後ローカルデコード映像ｎを入力とする。変換後ローカルデコード映像ｎは、予測値ｉと、逆量子化および逆ＤＣＴされた残差信号ｍと、の加算情報のことである。このローカルメモリ２５は、入力された変換後ローカルデコード映像ｎを蓄積し、適宜、第２の予測値生成部２１に供給する。

以上の映像圧縮フォーマット変換装置１によれば、以下の効果を奏することができる。

映像圧縮フォーマット変換装置１は、変換後単位ブロックごとに、この変換後単位ブロックに対応する変換前単位ブロックのデコード映像について、テクスチャの複雑さと、オブジェクトの追従性と、の少なくともいずれかを評価して、評価結果に基づいて画像特徴量を決定する。そして、変換後単位ブロックで適用し得る全ての予測方法の中から、この変換後単位ブロックでの候補を画像特徴量を用いて絞り込み、候補ごとにコスト値を算出して、コスト値に基づいて、絞り込んだ候補の中から１つをこの変換後単位ブロックで適用する予測方法として決定する。このため、変換後単位ブロックにおける予測方法の決定に、この変換後単位ブロックに対応する変換前単位ブロックにおけるデコード映像のテクスチャの複雑さやオブジェクトの追従性に応じて、変換前単位ブロックにおける予測方法を反映させることができる。したがって、画質の低下を抑制しつつ、映像圧縮フォーマットを変換できる。

また、映像圧縮フォーマット変換装置１は、上述のように、変換後単位ブロックで適用し得る全ての予測方法の中から候補を予め絞り込んだ上で、この変換後単位ブロックで適用する予測方法を最終的に１つに決定する。このため、上述のように絞り込まない場合と比べて、コスト値を算出する処理を少なくすることができるため、変換に要する処理コストを低減できる。

＜第２実施形態＞
［映像圧縮フォーマット変換装置１Ａの構成および動作］
図１０は、本発明の第２実施形態に係る映像圧縮フォーマット変換装置１Ａのブロック図である。映像圧縮フォーマット変換装置１Ａは、図１に示した本発明の第１実施形態に係る映像圧縮フォーマット変換装置１とは、変換処理部２０の代わりに変換処理部２０Ａを備える点が異なる。なお、映像圧縮フォーマット変換装置１Ａにおいて、映像圧縮フォーマット変換装置１と同一構成要件については、同一符号を付し、その説明を省略する。

（変換処理部２０の構成および動作）
図１１は、変換処理部２０Ａのブロック図である。変換処理部２０Ａは、図３に示した本発明の第１実施形態に係る変換処理部２０とは、第２の予測値生成部２１の代わりに第２の予測値生成部２１Ａを備える点が異なる。

図１２は、第２の予測値生成部２１Ａのブロック図である。第２の予測値生成部２１Ａは、図４に示した本発明の第１実施形態に係る第２の予測値生成部２１とは、画像解析部２１１を備えていない点と、予測方法候補決定部２１２の代わりに予測方法候補決定部２１２Ａを備える点と、が異なる。

予測方法候補決定部２１２Ａは、変換前符号化情報ｄと、予測方法候補情報ｐと、を入力とする。予測方法候補情報ｐは、予測方法候補として選択すべき予測方法を示す情報であり、変換処理部２０Ａの外部から入力される。なお、本実施形態では、変換の前後での予測方法の遷移は、画像特徴量に依存しないものとする。

この予測方法候補決定部２１２Ａは、変換前符号化情報ｄの予測方法に対して、予測方法候補情報ｐにしたがって、最終的に処理ブロックで候補とする予測方法を、予測方法候補情報として選択する。予測方法候補情報として選択する際には、例えば、処理ブロックに含まれる変換前の全ての予測方法に対する全ての予測方法を候補としたり、処理ブロックに含まれる変換前の予測方法のうち頻度の高い予測方法に対応する予測方法を候補としたりする。

以上の映像圧縮フォーマット変換装置１Ａによれば、以下の効果を奏することができる。

映像圧縮フォーマット変換装置１Ａは、予測方法候補情報ｐに基づいて、変換後単位ブロックで適用し得る全ての予測方法の中から、この変換後単位ブロックでの候補を画像特徴量を用いて絞り込み、候補ごとにコスト値を算出して、コスト値に基づいて、絞り込んだ候補の中から１つをこの変換後単位ブロックで適用する予測方法として決定する。このため、映像圧縮フォーマット変換装置１が奏することのできる上述の効果と同様の効果を奏することができる。

また、映像圧縮フォーマット変換装置１Ａでは、映像圧縮フォーマット変換装置１に設けられている画像解析部２１１が不要である。このため、映像圧縮フォーマット変換装置１と比べて、構成を簡易化できるとともに、変換に要する処理コストをさらに提言できる。

なお、本発明の映像圧縮フォーマット変換装置１や映像圧縮フォーマット変換装置１Ａの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを映像圧縮フォーマット変換装置１や映像圧縮フォーマット変換装置１Ａに読み込ませ、実行することによって、本発明を実現できる。

ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、映像圧縮フォーマット変換装置１や映像圧縮フォーマット変換装置１Ａに設けられたプロセッサによって行われる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した映像圧縮フォーマット変換装置１や映像圧縮フォーマット変換装置１Ａから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を映像圧縮フォーマット変換装置１や映像圧縮フォーマット変換装置１Ａにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の第１実施形態や第２実施形態では、映像圧縮フォーマットの変換の前後で符号化処理の単位ブロックサイズが異なる場合を想定しているものとしたが、具体的には、変換前の処理ブロックサイズが、変換後の処理ブロックサイズより小さい場合であってもよいし、変換後の処理ブロックサイズより大きい場合であってもよい。

また、上述の第１実施形態や第２実施形態では、変換前の予測方法として、Ｉｎｔｒａ４×４、Ｉｎｔｒａ８×８、Ｉｎｔｅｒ４×４、およびＩｎｔｅｒ８×８を想定するものとしたが、これに限らず、種々の予測方法を想定することができる。また、変換後の予測方法として、Ｉｎｔｒａ８×８、Ｉｎｔｒａ１６×１６、Ｉｎｔｅｒ８×８、およびＩｎｔｅｒ１６×１６と、を想定するものとしたが、これに限らず、種々の予測方法を想定することができる。

また、上述の第２実施形態では、予測方法候補情報ｐは、変換処理部２０Ａの外部から入力されるものとしたが、これに限らず、変換処理部２０Ａの内部で生成されるものとしてもよい。

なお、上述の第１実施形態や第２実施形態において、変換前圧縮データａの圧縮方式は、例えばＨ．２６４であり、変換後圧縮データｂの圧縮方式は、例えばＨＥＶＣであってもよい。また、変換前圧縮データａの圧縮方式は、例えばＭＰＥＧ−２であり、変換後圧縮データｂの圧縮方式は、例えばＨＥＶＣであってもよい。

１、１Ａ・・・映像圧縮フォーマット変換装置
１０・・・変換前復号処理部
２０、２０Ａ・・・変換処理部
２１、２１Ａ・・・第２の予測値生成部
２１１・・・画像解析部
２１２、２１２Ａ・・・予測方法候補決定部
２１３・・・単位予測値生成部
２１４・・・コスト値算出部
２１５・・・予測方法決定部

Claims (5)

1. 符号化処理の単位ブロックサイズが異なる圧縮方式間での映像圧縮フォーマットの変換を行う映像圧縮フォーマット変換装置であって、
   変換後における符号化処理の単位ブロックである変換後単位ブロックごとに、当該変換後単位ブロックに対応する変換前単位ブロックにおけるデコード映像の特徴量解析を行う画像解析手段と、
   前記変換後単位ブロックで適用し得る全ての予測方法と、変換前における符号化処理の単位ブロックである変換前単位ブロックのうち当該変換後単位ブロックに対応するもので適用し得る全ての予測方法と、の組み合わせごとに、前記画像解析手段による特徴量解析の結果に基づいて、変換の前後での予測方法の遷移を遷移率で評価する遷移率算出手段と、
   前記遷移率に基づいて、前記変換後単位ブロックごとに、当該変換後単位ブロックで適用し得る全ての予測方法の中から、１つ以上を予測方法候補として選択する予測方法候補決定手段と、
   前記変換後単位ブロックごとに、前記予測方法候補を適用した結果を求める適用結果算出手段と、
   前記変換後単位ブロックごとに、前記適用結果算出手段により求められた結果に基づいて、前記予測方法候補の中から当該変換後単位ブロックに最適な予測方法を決定する予測方法決定手段と、を備えることを特徴とする映像圧縮フォーマット変換装置。
2. 前記画像解析手段は、前記特徴量解析を行って、変換後単位ブロックに対応する変換前単位ブロックにおけるデコード映像についてテクスチャの複雑さを評価し、
   前記遷移率算出手段は、前記テクスチャの複雑さの評価結果に基づいて前記遷移率を算出し、
   前記予測方法候補決定手段は、前記遷移率に基づいて、前記テクスチャの複雑さが高くなるに従って、前記変換後単位ブロックのサイズが小さい予測方法を前記予測方法候補として選択する度合いを高くすることを特徴とする請求項１に記載の映像圧縮フォーマット変換装置。
3. 前記予測方法候補決定手段には、前記予測方法候補として選択すべき予測方法を示す情報が入力され、
   前記予測方法候補決定手段は、前記情報に基づいて前記予測方法候補を選択することを特徴とする請求項１に記載の映像圧縮フォーマット変換装置。
4. 画像解析手段、遷移率算出手段、予測方法候補決定手段、適用結果算出手段、および予測方法決定手段を備え、符号化処理の単位ブロックサイズが異なる圧縮方式間での映像圧縮フォーマットの変換を行う映像圧縮フォーマット変換装置における映像圧縮フォーマット変換方法であって、
   前記画像解析手段が、変換後における符号化処理の単位ブロックである変換後単位ブロックごとに、当該変換後単位ブロックに対応する変換前単位ブロックにおけるデコード映像の特徴量解析を行う第１のステップと、
   前記遷移率算出手段が、前記変換後単位ブロックで適用し得る全ての予測方法と、変換前における符号化処理の単位ブロックである変換前単位ブロックのうち当該変換後単位ブロックに対応するもので適用し得る全ての予測方法と、の組み合わせごとに、前記第１のステップによる特徴量解析の結果に基づいて、変換の前後での予測方法の遷移を遷移率で評価する第２のステップと、
   前記予測方法候補決定手段が、前記遷移率に基づいて、前記変換後単位ブロックごとに、当該変換後単位ブロックで適用し得る全ての予測方法の中から、１つ以上を予測方法候補として選択する第３のステップと、
   前記適用結果算出手段が、前記変換後単位ブロックごとに、前記予測方法候補を適用した結果を求める第４のステップと、
   前記予測方法決定手段が、前記変換後単位ブロックごとに、前記第４のステップにおいて求められた結果に基づいて、前記予測方法候補の中から当該変換後単位ブロックに最適な予測方法を決定する第５のステップと、を備えることを特徴とする映像圧縮フォーマット変換方法。
5. 符号化処理の単位ブロックサイズが異なる圧縮方式間での映像圧縮フォーマットの変換を行うためのプログラムであって、
   変換後における符号化処理の単位ブロックである変換後単位ブロックごとに、当該変換後単位ブロックに対応する変換前単位ブロックにおけるデコード映像の特徴量解析を行う画像解析手段と、
   前記変換後単位ブロックで適用し得る全ての予測方法と、変換前における符号化処理の単位ブロックである変換前単位ブロックのうち当該変換後単位ブロックに対応するもので適用し得る全ての予測方法と、の組み合わせごとに、前記画像解析手段による特徴量解析の結果に基づいて、変換の前後での予測方法の遷移を遷移率で評価する遷移率算出手段と、
   前記遷移率に基づいて、前記変換後単位ブロックごとに、当該変換後単位ブロックで適用し得る全ての予測方法の中から、１つ以上を予測方法候補として選択する予測方法候補決定手段と、
   前記変換後単位ブロックごとに、前記予測方法候補を適用した結果を求める適用結果算出手段と、
   前記変換後単位ブロックごとに、前記適用結果算出手段により求められた結果に基づいて、前記予測方法候補の中から当該変換後単位ブロックに最適な予測方法を決定する予測方法決定手段と、としてコンピュータを機能させるためのプログラム。

Images