JP4516874B2 - 画像データ符号化装置及び画像データ符号化方法 - Google Patents

Description

本発明は、画像データ符号化装置及び画像データ符号化方法に関し、特に複数の符号化器や複数の復号化器を有する機器において、それらを有効に利用することが可能な画像データ符号化装置及び画像データ符号化方法に関する。

ＴＶ番組のような画像を符号化して録画し、復号化して再生するＨＤＤレコーダのような機器が知られている。ＨＤＤレコーダは、近年、複数の符号化器及び複数の復号化器（コーデック）が実装されていることが多い。これらは、例えば、ユーザの録画したい番組が重なったとき、別々の番組を録画するためにに用いられる。そのため、同時に複数の符号化器及び複数の復号化器が動作することは少なく、有効に利用されているとは言い難い状況にある。機器に搭載されているにもかかわらず、有効に利用されていないこのような複数の符号化器及び複数の復号化器を、より有効に活用することが可能な技術が望まれる。また、年々高まるユーザの画質に対する要求に対応するために、録画する画像をより高画質にする技術が望まれる。

特開２００１−２８５８７６号公報に画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置が開示されている。この画像符号化装置は、分割手段と、符号化手段と、統合手段とを有する。分割手段は、入力画像をＮ個の領域に分割し、当該各領域に対応するＮ個の分割画像信号を生成する。符号化手段は、前記生成したＮ個の分割画像信号を各々符号化し、Ｎ個の符号化画像信号を生成する。統合手段は、前記生成したＮ個の符号化画像信号を統合し、前記入力画像に対応する１個の符号化画像信号を生成する。前記符号化手段は、前記分割した領域間の境界に近接する異なる領域に含まれる各画像の画像信号については、同一の符号化条件により符号化を行なう。

特開２００１−２１８２１３号公報に画像信号変換符号化装置が開示されている。この画像信号変換符号化装置は、入力された画像信号を一旦復号し、さらに所定の方式に従って再符号化する。復号処理部と、符号化処理部と、制御部とを備える。復号処理部は、ＭＰＥＧ２規格に従う入力ビットストリームを復号して復号画像データを出力するとともに、前記入力ビットストリームの符号化情報を抽出する。符号化処理部は、前記復号画像データをＭＰＥＧ２規格に従って再符号化して出力ビットストリームを生成する。制御部は、前記符号化情報に基づいて、前記再符号化における符号化パラメータを設定する。

特表２００３−５０２９５８号公報に多重プログラマブル・プロセッサを使用する多重チャネルＭＰＥＧビデオ・トランスコーダの実行アーキテクチャーが開示されている。この方法は、デジタル・ビデオ・データからなるビットストリームをトランスコード化する。ビットストリームを複数の連続した処理ユニットに区分化する工程と、 処理ユニットの待ち行列を作る工程と、 待ち行列を作るシステムモデルにしたがって、待ち行列が作られた処理ユニットのそれぞれを、並行に配置された、複数のトランスコード化プロセッサのそれぞれに付与する工程と、を含む。

特開２００１−２８５８７６号公報 特開２００１−２１８２１３号公報 特表２００３−５０２９５８号公報（国際公開ＷＯ００／０７９８０１号公報）

本発明の目的は、機器に搭載されているにもかかわらず、有効に利用されていない複数の符号化器及び複数の復号化器を、より有効に活用することが可能な画像データ符号化装置及び画像データ符号化方法を提供することにある。

本発明の他の目的は、有効に利用されていない複数の符号化器及び複数の復号化器を有効に活用して、録画する画像をより高画質にすることが可能な画像データ符号化装置及び画像データ符号化方法を提供することにある。

本発明の更に他の目的は、コストを低く抑えながら、録画する画像をより高画質にすることが可能な画像データ符号化装置及び画像データ符号化方法を提供することにある。

以下に、発明を実施するための最良の形態で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、特許請求の範囲の記載と発明を実施するための最良の形態との対応関係を明らかにするために括弧付きで付加されたものである。ただし、それらの番号・符号を、特許請求の範囲に記載されている発明の技術的範囲の解釈に用いてはならない。

上記課題を解決するために、本発明の画像データ符号化装置は、画像分割器（２）と、複数の符号化器（３）と、圧縮画像合成器（４）とを具備する。画像分割器（２）は、予め設定された規則に基づく分割位置で、入力された画像データ（１１）を分割して複数の分割画像データ（１２）を出力する。複数の符号化器（３）は、複数の分割画像データ（１２）を符号化して複数の分割圧縮データ（１３）を出力する。圧縮画像合成器（４）は、分割位置に基づいて、複数の分割圧縮データ（１３）を合成して圧縮データ（１５）を出力する。複数の符号化器（３）の各々は、複数の分割画像データ（１２）のうちの対応するものを符号化して、複数の分割圧縮データ（１３）のうちの対応するものとして出力する。複数の符号化器（３）の各々は、単独で画像データを符号化して、圧縮データとして出力することが可能なように設けられている。ここで、“単独でデータを符号化（復号化）”とは、他の符号化器を用いずにデータの符号化（復号化）が可能な状態である。
本発明により、単独で画像データの符号化が可能な符号化器（３）を組み合わせて、共同で一つの画像データを分担して符号化させることで、一つの符号化器（３）の能力を超えた高画質映像を得ることができる。それにより、機器に搭載されているにもかかわらず、有効に利用されていない複数の符号化器及び複数の復号化器をより有効に活用しながら、録画する画像をより高画質にすることが可能となる。

上記の画像データ符号化装置において、画像分割器（２）は、位置判定器（２１）と分配器（２２）とを備える。位置判定器（２１）は、規則に基づいて、画像データ（１１）の分割位置を示す複数の分割位置情報（１９）を出力する。分配器（２２）は、複数の分割位置情報（１９）に基づいて、画像データ（１１）を分割して複数の分割画像データ（１２）を出力する。複数の分割画像データ（１２）の各々は、複数の分割位置情報（１９）に対応する対応分割位置情報（１９）を含む。

上記の画像データ符号化装置において、位置判定器（２１）は、画像データ（１１）における１フレーム中の所定数のラインごとの終点を分割位置として複数の１分割位置情報（１９）を出力する。分配器（２２）は、複数の分割位置情報（１９）に基づいて、画像データ（１１）を所定数のラインごとに分割して複数の分割画像データ（１２）として出力する。

上記の画像データ符号化装置において、分配器（２２）は、複数の分割位置情報（１９）に基づいて、画像データ（１１）を所定数のラインごとに分割した複数のライン分割画像データとする。複数のライン分割画像データの各々を、複数の符号化器（３）の各々へ順番に繰り返し割り振って複数の分割画像データ（１２）として出力する。

上記の画像データ符号化装置において、複数の符号化器（３）の数は偶数である。

上記の画像データ符号化装置において、画像合成器（４）は、複数の分割位置判定器（２５）と、圧縮データ合成器（２６）とを備える。複数の分割位置判定器（２５）の各々は、複数の分割圧縮データ（１３）のうちの対応するものについて、対応分割位置情報を検出する。圧縮データ合成器（２６）は、検出された対応分割位置情報に基づいて、複数の分割圧縮データ（１３）を合成して圧縮データ（１５）を出力する。

上記の画像データ符号化装置において、圧縮画像分割器（５）と、複数の復号化器（６）と、画像合成器（７）とを更に具備する。圧縮画像分割器（５）は、対応分割位置情報に基づいて、圧縮データ（１５）を分割して複数の分割圧縮画像データ（１６）を出力する。複数の復号化器（６）は、複数の分割圧縮画像データ（１６）を復号化して複数の復号化データ（１７）を出力する。画像合成器（７）は、対応分割位置情報に基づいて、複数の復号化データ（１７）を合成して復号化画像データ（１８）を出力する。複数の復号化器（６）の各々は、複数の分割圧縮画像データ（１６）のうちの対応するものを復号化して、複数の復号化データ（１７）のうちの対応するものとして出力する。複数の復号化器（６）の各々は、単独で圧縮データを復号化して、画像データとして出力することが可能なように設けられている。

上記課題を解決するために、本発明の画像データ符号化装置は、第１符号化器（３１）と、構図情報分析器（３２）と、第２符号化器（３５）とを具備する。第１符号化器（３１）は、入力された画像データ（４１）の符号化を行い、画像データ（４１）の第１期間の構図に関する構図情報パラメータ（４８）を出力する。構図情報分析器（３２）は、第１期間より長い第２期間で受け取った複数の構図情報パラメータ（４８）に基づいて、画像データ（４１）の構図分析を行い、エンコーダパラメータ（４９）を出力する。第２符号化器（３５）は、エンコーダパラメータ（４９）に基づいて、画像データ（４１）の符号化を行い、圧縮データ（４５）を出力する。第１符号化器（３１）及び第２符号化器（３５）の各々は、単独で画像データを符号化して、圧縮データとして出力することが可能なように設けられている。ここで、“単独でデータを符号化（復号化）”とは、他の符号化器を用いずにデータの符号化（復号化）が可能な状態である。
本発明により、単独で画像データの符号化が可能な符号化器（３１、３５）を組み合わせて、構図分析と符号化とを分担して共同で一つの画像データを符号化させることで、一つの符号化器（３１、３５）の能力を超えた高画質映像を得ることができる。それにより、機器に搭載されているにもかかわらず、有効に利用されていない複数の符号化器及び複数の復号化器をより有効に活用しながら、録画する画像をより高画質にすることが可能となる。

上記の画像データ符号化装置において、構図情報パラメータ（４８）は、第１符号化器（３１）における量子化パラメータ及び動きベクトルなどを含む。

上記の画像データ符号化装置において、エンコーダパラメータ（４９）は、量子化パラメータ及び動きベクトルを含む。

上記課題を解決するために、本発明の画像データ符号化装置は、分割器（７１）と複数の復号化器（７２）と複数の符号化器（７３）と結合器（７４）とを具備する。分割器（７１）は、指定された分割位置に基づいて、入力された第１圧縮データ（８１）を分割して複数の第１分割圧縮データ（８２）を出力する。複数の復号化器（７２）は、複数の第１分割圧縮データ（８２）を復号化して複数の分割画像データ（８３）を出力する。ここで、複数の復号化器（７２）の各々は、複数の第１分割圧縮データ（８２）のうちの対応するものを復号化して、複数の分割画像データ（８３）のうちの対応するものとして出力する。複数の符号化器（７３）は、複数の分割画像データ（８３）を符号化して複数の第２分割圧縮データ（８４）を出力する。ここで、複数の符号化器（７３）の各々は、複数の分割画像データ（８３）のうちの対応するものを符号化して、複数の第２分割圧縮データ（８４）のうちの対応するものとして出力する。結合器（７４）は、分割位置に基づいて、複数の第２分割圧縮データ（８４）を合成して第２圧縮データ（８５）を出力する。複数の符号化器（７３）の各々は、単独で画像データを符号化して、圧縮データとして出力することが可能なように設けられている。複数の復号化器（７２）の各々は、単独で圧縮データを復号化して、画像データとして出力することが可能なように設けられている。ここで、“単独でデータを符号化（復号化）”とは、他の符号化器を用いずにデータの符号化（復号化）が可能な状態である。
本発明により、単独で画像データの復号化／符号化が可能な復号化器（７２）／符号化器（７３）を組み合わせて、共同で一つの圧縮データをレート変換させることで、一組の復号化器（７２）／符号化器（７３）の能力を超えた短時間で再エンコードされた圧縮データ得ることができる。それにより、機器に搭載されているにもかかわらず、有効に利用されていない複数の符号化器及び複数の復号化器をより有効に活用することが可能となる。

上記の画像データ符号化装置において、複数の復号化器（７２）及び複数の符号化器（７３）の性能を示す複数のパラメータに基づいて、第１圧縮データ（８１）の分割の分割サイズを決定する分割サイズ判定器（７６）を更に具備する。

上記課題を解決するために、本発明の画像データ符号化方法は、（ａ）予め設定された規則に基づく分割位置を、入力された分割される画像データ（１１）から複数の分割位置情報（１９）として検出するステップと、（ｂ）複数の分割位置情報（１９）に基づいて、画像データ（１１）を分割して複数の分割画像データ（１２）を出力するステップと、（ｃ）複数の分割画像データ（１２）を符号化して複数の分割圧縮データ（１３）を出力するステップと、（ｄ）複数の分割位置情報（１９）に基づいて、複数の分割圧縮データ（１３）を合成して圧縮データ（１４）を出力するステップとを具備する。複数の分割画像データ（１２）の各々は、複数の分割位置情報（１９）に対応する対応分割位置情報（１９）を含む。

上記の画像データ符号化方法において、（ａ）ステップは、（ａ１）画像データ（１１）における１フレーム中の所定数のラインごとの終点を分割位置として複数の分割位置情報（１９）を出力するステップとを含む。（ｂ）ステップは、（ｂ１）複数の分割位置情報（１９）に基づいて、画像データ（１１）を所定数のラインごとに分割して複数の分割画像データ（１２）として出力するステップを含む。

上記の画像データ符号化方法において、（ｂ１）ステップは、（ｂ１１）複数の分割位置情報（１９）に基づいて、画像データ（１１）を所定数のラインごとに分割した複数のライン分割画像データとし、複数のライン分割画像データの各々を、複数の符号化器（３）の各々へ順番に繰り返し割り振って複数の分割画像データ（１２）として出力するステップを含む。

上記の画像データ符号化方法において、（ｄ）ステップは、（ｄ１）複数の分割圧縮データ（１３）の各々について、対応分割位置情報を検出するステップと、（ｄ２）対応分割位置情報に基づいて、複数の分割圧縮データ（１３）を合成して圧縮データ（１４）を出力するステップを備える。

上記の画像データ符号化方法において、（ｅ）対応分割位置情報に基づいて、圧縮データ（１４）を分割して複数の分割圧縮画像データ（１６）を出力するステップと、（ｆ）複数の分割圧縮画像データ（１６）を復号化して複数の復号化データ（１７）を出力するステップと、（ｇ）対応分割位置情報に基づいて、複数の復号化データ（１７）を合成して第２画像データ（１８）を出力するステップとを更に具備する。

上記の画像データ符号化方法において、（ｃ）ステップは、（ｃ１）複数の符号化器（３）の各々が単独で符号化を行っていないとき、複数の符号化器（３）の各々が、複数の分割画像データ（１２）のうちの対応するものを符号化して、複数の分割圧縮データ（１３）のうちの対応するものとして出力するステップを備える。

上記の画像データ符号化方法において、（ｆ）ステップは、（ｆ１）複数の復号化器（６）の各々が単独で復号化を行っていないとき、複数の復号化器（６）の各々が、複数の分割圧縮画像データ（１６）のうちの対応するものを復号化して、複数の復号化データ（１７）のうちの対応するものとして出力するステップを備える。

上記課題を解決するために、本発明の画像データ符号化方法は、（ｈ）入力された画像データ（４１）の符号化を行い、画像データ（４１）の第１期間の構図に関する構図情報パラメータ（４８）を出力するステップと、（ｉ）第１期間より長い第２期間で受け取った構図情報パラメータ（４８）に基づいて、画像データ（４１）の構図分析を行い、エンコーダパラメータ（４９）を出力するステップと、（ｊ）エンコーダパラメータ（４９）に基づいて、画像データ（４１）の符号化を行い、圧縮データ（４５）を出力するステップとを具備する。

上記の画像データ符号化方法において、（ｈ）ステップは、（ｈ１）第１符号化器（３１）が単独で符号化を行っていないとき、第１符号化器（３１）が、入力された画像データ（４１）の符号化を行い、構図情報パラメータ（４８）を出力するステップを備える。（ｊ）ステップは、（ｊ１）第２符号化器（３５）が単独で符号化を行っていないとき、第２符号化器（３５）が、エンコーダパラメータ（４９）に基づいて、画像データ（４１）の符号化を行い、圧縮データ（４５）を出力するステップを備える。

上記課題を解決するために、本発明の画像データ符号化方法は、（ｋ）指定された分割位置に基づいて、入力された第１圧縮データ（８１）を分割して複数の第１分割圧縮データ（８２）を出力するステップと、（ｌ）複数の第１分割圧縮データ（８２）を復号化して複数の分割画像データ（８３）を出力するステップと、（ｍ）複数の分割画像データ（８３）を符号化して複数の第２分割圧縮データ（８４）を出力するステップと、（ｎ）分割位置に基づいて、複数の第２分割圧縮データ（８４）を合成して第２圧縮データ（８５）を出力するステップとを具備する。（ｋ１）（ｌ）ステップにおける複数の第１分割圧縮データ（８２）の各々を復号化する複数の復号化器（７２）の性能を示す複数のパラメータ、及び、（ｍ）ステップにおける複数の分割画像データ（８３）の各々を符号化する複数の符号化器（７３）の性能を示す複数のパラメータに基づいて、第１圧縮データ（８１）を複数の第１分割圧縮データ（８２）に分割するときの分割サイズを決定するステップを備える。

上記の画像データ符号化方法において、（ｌ）ステップは、（ｌ１）複数の第１復号化器（７２）の各々が単独で符号化を行っていないとき、複数の第１復号化器（７２）の各々が、複数の第１分割圧縮データ（８２）のうちの対応するものを復号化して、複数の分割画像データ（８３）のうちの対応するものとして出力するステップを備える。（ｍ）ステップは、（ｍ１）複数の符号化器（７３）の各々が単独で符号化を行っていないとき、複数の符号化器（７３）の各々が、複数の分割画像データ（８３）のうちの対応するものを符号化して、複数の第２分割圧縮データ（８４）のうちの対応するものとして出力するステップを備える。

本発明により、機器に搭載されているにもかかわらず、有効に利用されていない複数の符号化器及び複数の復号化器をより有効に活用して、コストを低く抑えながら、録画する画像をより高画質にすることが可能となる。

以下、本発明の画像データ符号化装置及び画像データ符号化方法の実施の形態に関して、添付図面を参照して説明する。

（第１の実施の形態）
本発明の画像データ符号化装置及び画像データ符号化方法の第１の実施の形態について、添付図面を参照して説明する。

まず、本発明の画像データ符号化装置の第１の実施の形態の構成について説明する。図１は、本発明の画像データ符号化装置の第１の実施の形態の符号化側の構成を示すブロック図である。画像データ符号化装置１０は、映像バッファ１、映像分割器２、複数のエンコーダ３（３−ｉ、ｉ＝１〜ｎ：ｎは２以上の自然数で、本発明に用いるエンコーダの数）、及び映像合成器４、制御部９を具備する。

映像バッファ１は、所定のデータ量の入力映像データ１１を一時的に格納する。所定のデータ量は、ＴＶ画像やビデオ画像における１フレーム分の映像データのデータ量に例示される。所定のデータ量の映像データ１１が蓄積された後、その所定のデータ量の映像データ１１を映像分割器２へ出力する。

映像分割器２は、予め設定された規則に基づいて、映像データ１１を分割して複数の分割映像データ１２（１２−ｉ、ｉ＝１〜ｎ）を生成する。そして、複数の分割映像データ１２−１〜１２−ｎをそれぞれ複数のエンコーダ３−１〜３−ｎのうちの対応するものへ出力する。映像データ１１の分割数ｎは、エンコーダ３の個数以内で任意に設定可能である。

エンコーダ３−ｉは、複数の分割映像データ１２−１〜１２−ｎのうちの対応する分割映像データ１２−ｉを供給される。そして、その分割映像データ１２−ｉを符号化して、複数の分割圧縮データ１３（１３−ｉ、ｉ＝１〜ｎ）のうちの対応する分割圧縮データ１３−ｉとして映像合成器４へ出力する。符号化は、例えばＭＰＥＧ２の規格による符号化に例示される。その場合、エンコーダ３−ｉは、一般的なＭＰＥＧエンコーダである。

これら複数のエンコーダ３−１〜３−ｎの各々は、画像データ符号化装置１０において、互いに独立して、かつ単独の状態で映像データ１１’を符号化して、圧縮データ１５’として出力可能である。すなわち、映像分割器２及び映像合成器４を用いずに、単独のエンコーダとして使用できる。その動作は、通常のエンコーダの動作と同様である。

映像合成器４は、複数のエンコーダ３−１〜３−ｎの各々から複数の分割圧縮データ１３−１〜１３−ｎを供給される。そして、それらの複数の分割圧縮データ１３−１〜１３−ｎを合成して、一つの圧縮データ１５を出力する。

制御部９は、エンコーダ３−１〜３−ｎからコーデック情報パラメータを取得する。コーデック情報パラメータは、エンコーダ３の性能を示すパラメータであり、処理速度やビットレートに例示される。そして、エンコーダ３−１〜３−ｎの能力に基づいて分割サイズを決定する。そして、分割サイズ及び分割数を制御信号として映像分割器２へ出力する。ここでは分割数ｎ＝エンコーダ３の数ｎである。ただし、分割数を２以上ｎ以下で設定することも可能である。例えば、分割数がｎよりも小さいとき、制御部９の制御信号にエンコーダ３のＩＤを含ませることにより、エンコーダ３−１〜３−ｎからビットレートのより高い処理が可能なエンコーダ３−ｓ、３−ｔ、…（１≦ｓ、ｔ≦ｎの自然数）を選択することも可能である。分割サイズの算出は、例えば、エンコーダ３−１〜３−ｎが行うデータ処理の処理速度の比による算出に例示される。また、なお、エンコーダ３−１〜３−ｎの能力が等しい場合には、映像データ１１を等分するように分割サイズを出力する。

このような構成を用いることで、映像データを一つのエンコーダで符号化する場合と比較して、分割した数分の高画質映像を得ることができる。例えば、一つのエンコーダの能力が最大１０Ｍｂｐｓの場合、本発明を用いれば最大（ｎ×１０）Ｍｂｐｓの圧縮（符号化）データを得ることができ、ｎ倍の高画質映像を得ることができる。一般にビットレートが高いほど、高画質を得ることができる。

図２は、図１における映像分配器の構成の一例を示すブロック図である。映像分配器２は、ライン位置判定器２１及びライン分配器２２を備える。ここでは、映像データ１１（映像信号）を水平方向の一本のラインごとに分割する例を示す。水平方向の一本のラインごとに分割する場合、分割位置を容易に検出することが可能である。

ライン位置判定器２１は、予め設定された規則に基づいて、映像データ１１を分割するときの分割位置を検出する。ここでは、分割位置（予め設定された規則）は、映像データにおける各水平方向のラインの終点の位置である。そして、その検出された分割位置を示す複数のライン位置情報１９（１９−ｋ、ｋ＝１〜ｍ、ｍは自然数）を、映像データ１１と共に出力する。ただし、ｍは水平方向のラインの数（走査線数）である。

ライン分配器２２は、映像データ１１と複数のライン位置情報１９−１〜１９−ｍとに基づいて、映像データ１１を分割して複数の分割映像データ１２−１〜１２−ｎを出力する。複数の分割映像データ１２−１〜１２−ｎの各々は、複数のライン位置情報１９−１〜１９−ｍに対応する対応分割位置情報を含む。

対応分割位置情報は、分割映像データ１２−ｉに対するライン位置情報１９−ｑ、１９−ｑ＋ｒ、１９−ｑ＋２ｒ…そのものであっても良いし、ライン位置情報１９−ｑ、１９−ｑ＋ｒ、１９−ｑ＋２ｒ…の設定規則（例示：水平方向のラインの終点）でも良い。

映像分配器２について具体的に説明する。エンコーダ３の数がｎのとき、映像データ１１について水平方向のラインを、上から順に映像データ１１−１−１、１１−２−１、…、１１−ｎ−１；１１−１−２、１１−２−２、…、１１−ｎ−２；…とする。

このとき、ライン位置判定器２１は、ライン位置情報１９として、各映像データ（１１−１−１、１１−２−１、…、１１−ｎ−１；１１−１−２、１１−２−２、…、１１−ｎ−２；…）の始点である各水平方向のラインの始点の位置を複数のライン位置情報１９−１〜１９−ｍとする。

ライン分配器２２は、複数のライン位置情報１９−１〜１９−ｍを一個ずつ順番に繰り返し複数の分割映像データ１２−１〜１２−ｎの各々へ割り振る。これにより、映像データ１１の水平方向のラインは、ｎ本おきに対応する分割映像データ１２に割り振られることになる。すなわち、映像データ１１−１−１、１１−１−２、…は、分割映像データ１２−１に割り振られる。従って、分割映像データ１２−１の映像データ１２−１−１、１２−１−２、…は、それぞれ映像データ１１−１−１、１１−１−２、…に対応する。同様に、映像データ１１−２−１、１１−２−２、…は、分割映像データ１２−２に割り振られる。従って、分割映像データ１２−２の映像データ１２−２−１、１２−２−２、…は、それぞれ映像データ１１−２−１、１１−２−２、…に対応する。同様にして行けば最後に、映像データ１１−ｎ−１、１１−ｎ−２、…は、分割映像データ１２−ｎに割り振られる。従って、分割映像データ１２−ｎの映像データ１２−ｎ−１、１２−ｎ−２、…は、映像データ１１−ｎ−１、１１−ｎ−２、…に対応する。このように、ライン分配器２２は、映像データ１１と複数のライン位置情報１９−１〜１９−ｍとに基づいて、映像データ１１を一本のラインごとに分割して複数の分割映像データ１２−１〜１２−ｎとして出力する。

ここでは、分割位置（予め設定された規則）映像データ１１を水平方向の一本のラインごとに分割する例を示したが、水平方向の複数のラインごとや、水平方向の領域ごと、垂直方向の一本又は複数のラインごとに分割するなど、様々な分割方法が可能である。映像データ１１の分割数は、エンコーダ３の数に依存する。

なお、水平方向の複数のライン（例示：ｐ本）ごとに分割する場合、ｍは走査線数／ｐとなる。ライン分配器２２は、複数のライン位置情報１９−１〜１９−ｍをｐ個ずつ順番に繰り返し複数の分割映像データ１２−１〜１２−ｎの各々へ割り振る。

その後、分割映像データ１２−１〜１２−ｎは、エンコーダ３−１〜３−ｎで符号化され、分割圧縮データ１３−１〜１３−ｎとなる。例えば、分割映像データ１２−１は、エンコーダ３−１で符号化され、分割圧縮データ１３−１となる。分割圧縮データ１３−１は、一つながりの複数のＰＥＳパケットとなる。

図３は、図１における映像合成器の構成を示すブロック図である。映像合成器４は、複数の分割位置判定器２５（２５−ｉ、ｉ＝１〜ｎ）及び圧縮データ合成器２６を備える。

複数の分割位置判定器２５−１〜２５−ｎは、複数のエンコーダ３−１〜３−ｎの各々に対応して設けられている。複数の分割圧縮データ１３−１〜１３−ｎのうちの対応するものついて、対応分割位置情報を検出する。

圧縮データ合成器２６は、複数の分割位置判定器２５の各々における複数の分割圧縮データ１３−１〜１３−ｎのうちの対応するものと対応分割位置情報とに基づいて、複数の分割圧縮データ１３−１〜１３−ｎを合成して圧縮データ１４を出力する。

映像合成器４について具体的に説明する。例えば、分割位置判定器２５−１は、分割圧縮データ１３−１に含まれるＰＥＳパケットのヘッダの先頭（対応分割位置情報）を検索する。そして、分割位置判定器２５−１は、分割圧縮データ１３−１をＰＥＳパケットごとに分割して、複数のＰＥＳパケットデータ１４−１として出力する。

同様に、分割位置判定器２５−２は、分割圧縮データ１３−２に含まれるＰＥＳパケットのヘッダの先頭（対応分割位置情報）を検索する。そして、分割位置判定器２５−２は、分割圧縮データ１３−２をＰＥＳパケットごとに分割して、複数のＰＥＳパケットデータ１４−２として出力する。

同様に、分割位置判定器２５−ｎは、分割圧縮データ１３−ｎに含まれるＰＥＳパケットのヘッダの先頭（対応分割位置情報）を検索する。そして、分割位置判定器２５−ｎは、分割圧縮データ１３−ｎをＰＥＳパケットごとに分割して、複数のＰＥＳパケットデータ１４−ｎとして出力する。
なお、分割は、圧縮データ合成器２６で行っても良い。

圧縮データ合成器２６は、ＰＥＳパケットデータ１４−１、１４−２、…、１４−ｎの各データをヘッダに基づいて連結する。そのとき、規則（例示：ＰＥＳパケットデータ１４−１を０ｘ０００００１ｅ０、ＰＥＳパケットデータ１４−１を０ｘ０００００１ｅ１、．．．）に従って、ＰＥＳパケットヘッダのスタートコードを修正する。ただし、エンコーダ３−１〜３−ｎで、あらかじめ規則に従って、ＰＥＳパケットヘッダのスタートコードを設定してあれば、圧縮データ合成器２６でＰＥＳパケットヘッダのスタートコードを修正する必要はない。

上述のように、映像データの分割方法は、例えば水平方向のラインごとに、所定の本数（例示：２本以下）で飛び飛びに分割することが好ましい。このように飛び飛びに分割することによって、一画面（１フレーム）を複数のエンコーダ３−１〜３−ｎで符号化しても、分割した境界ラインは見えなくなる。すなわち、画質に問題が発生することなく、分割した数分の高画質映像を得ることができる。

もし単純に、エンコーダ３の数ｎで一画面を分割し、分割された各領域をそれぞれ複数のエンコーダ３−１〜３−ｎに担当させた場合、分割した境界ラインが目立つことが予想される。それは以下の理由による。通常、エンコーダは画面の特性に基づいて自身のエンコーダのパラメータを随時自動的に調整している。そのため、平均のビットレートは概ね一定（設定値）であっても画面ごとにビットレートが変化している。従って、上記のように複数のエンコーダ３−１〜３−ｎが、それぞれ一画面における異なる領域を担当すると、各領域間でエンコーダのパラメータやビットレートが異なることになる。その結果、分割した境界ラインが目立つことになる。

更に、通常のＴＶ映像データ（例示：ＮＴＳＣ）のように、水平方向の奇数番目の複数のライン（以下、「奇数ライン」ともいう）と、偶数番目の複数のライン（以下、「偶数ライン」ともいう）との２種類の形でデータが供給される場合、偶数個のエンコーダ３を用いることが好ましい。偶数個のエンコーダ３を同数エンコーダ３を含む二つの組に分けて、一方を奇数ライン用、他方を偶数ライン用として使用する。この場合、奇数ラインと偶数ラインとは、１／６０の時間のずれがあり、奇数ライン、偶数ラインの映像単位でまとまっているため、奇数ライン用と偶数ライン用に、割り当てた方が効率良く映像データを処理することができる。また、奇数ラインと偶数ラインとの間で概ね同等のエンコードが行われるので、奇数ラインの表示と偶数ラインの表示との間の差の発生を防止することができる。これにより、上述のように高画質映像を得ることができる。

図４は、図３における圧縮データの構成を示す概念図である。
圧縮データ１５は、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｔｙ Ｓｔｒｅａｍ）パケット２７と呼ばれるパケットで構成することができる。ＰＥＳパケット２７の先頭にはＰＥＳパケットヘッダ２８が付加されており、映像／音声データ２９は、ＰＥＳパケットヘッダ２７に続いている。例えば、上記の圧縮データ１５−１−１は、一つのＰＥＳパケット２７に対応する。

ＰＥＳパケットヘッダ２８の先頭には、２４Ｂｉｔのスタートコード２８ａが付加されている。スタートコード２８ａによりパケットの開始位置が容易に分る仕組みとなっている。さらにスタートコード２８ａは、映像（Ｖｉｄｅｏ）は０ｘ０００００１Ｅ０〜０ｘ０００００１ＥＦ（１６進）の１６種類のコードを割り当てることができる。音声（Ａｕｄｉｏ）についても同様である。

図５は、図３における分割圧縮データの構成を示す概念図である。
分割圧縮データ１３−１〜１３−ｎの各々には、そのスタートに、映像（Ｖｉｄｅｏ）のスタートコードが割り当てられている。このスタートコードは、ライン分配器２２で各分割映像データ１２−１〜１２−ｎに付与される対応分割位置情報に対応する。このスタートコードは、分割圧縮データ１３−１〜１３−ｎの各々が、分割位置判定器２５−１〜２５−ｎにより分割されるとき、その分割する位置を示す。そして、圧縮データ１５におけるスタートコード２８ａとなる。例えば、分割位置判定器２５−１が分割圧縮データ１３−１を複数のライン分割データ１４−１に分割するとき、そのスタートコードの位置で分割する。そのヘッダは圧縮データ１５におけるスタートコード２８ａとなる。この割り当てによって、復号器側においても、スタートコードをチェックすることによって、圧縮データを分離することが出来る。
また、スタートコードがライン分配器２２で各分割映像データ１２−１〜１２−ｎに付与される対応分割位置情報に対応していない場合、圧縮データ合成器２６は、スタートコードを修正する。

例えば、エンコーダ３−１は、まず、分割映像データ１２−１に対応したスタートコードを分割圧縮データ１３−１に割り当てる。それが、圧縮データ１５におけるスタートコード２８ａとなる。
または、例えば、圧縮データ合成器２６は、分割映像データ１２−１の対応分割位置情報に対応したスタートコードを分割圧縮データ１３−１に、割り当てる。このとき、エンコーダ３−１によってスタートコードが既に割り当てられていが、それを対応分割位置情報に対応したスタートコードへ置き換える。それが、圧縮データ１５におけるスタートコード２８ａとなる。

すなわち、ＰＥＳパッケージのスタートコードは、エンコーダ３で付加される。付加するとき各領域ごとにスタートコードを割り振ることが可能な場合、圧縮データ合成器２６は、スタートコードを割り振らずにＰＥＳパケットの時間差が生じないようにＰＥＳパケットを結合する。
一方、付加するとき各領域ごとにスタートコードを割り振ることが不可能な場合、すなわちエンコーダ３でスタートコードの詳細まで設定することができない場合、圧縮データ合成器２６は、スタートコードを修正して（置き換えて）、ＰＥＳパケットを結合する。
なお、ここでは、分割位置判定器２５−１〜２５−ｎは、分割位置の判定のみを行う。

図６は、本発明の画像データ符号化装置の第１の実施の形態の復号化側の構成を示すブロック図である。画像データ符号化装置１０は、映像分割器５、複数のデコーダ６（６−ｉ、ｉ＝１〜ｎ）、映像合成器７、及び映像バッファ８を更に具備する。これらは、図１の逆の動作を行う。すなわち、以下のようである。

映像分割器５は、複数のＰＥＳパケットのヘッダ（対応分割位置情報）に基づいて、圧縮データ１５を分割して複数のＰＥＳパケットデータとする。そして、その複数のＰＥＳパケットのヘッダに基づいて複数のＰＥＳパケットデータをグループ化し、複数の分割圧縮映像データ１６（１６−ｉ、ｉ＝１〜ｎ）を出力する。そして、複数の分割圧縮映像データ１６−１〜１６−ｎをそれぞれ複数のデコーダ６−１〜６−ｎのうちの対応するものへ出力する。この複数の分割圧縮映像データ１６−１〜１６−ｎは、符号化時の複数の分割圧縮データ１３−１〜１３−ｎに対応する。

デコーダ６−ｉは、複数の分割圧縮映像データ１６−１〜１６−ｎのうちの対応する分割圧縮映像データ１６−ｉを供給される。そして、その分割圧縮映像データ１６−ｉを復号化して、複数の復号化データ１７（１７−ｉ、ｉ＝１〜ｎ）のうちの対応する復号化データ１７−ｉとして映像合成器７へ出力する。復号化は、例えばＭＰＥＧ２の規格による復号化に例示される。

これら複数のデコーダ６−１〜６−ｎの各々は、図示しないが、画像データ符号化装置１０において、互いに独立して、かつ単独でも圧縮データを復号化して、映像データとして出力可能である。その動作は、通常のデコーダの動作と同様である。

映像合成器７は、複数のデコーダ６−１〜６−ｎの各々から複数の復号化データ１７−１〜１７−ｎを供給される。そして、それらの複数の復号化データ１７−１〜１７−ｎを合成して、一つの映像データ１８を出力する。

映像バッファ８は、所定のデータ量の映像データ１８を一時的に格納する。そして、映像データ１８は、ＴＶ（図示されず）などの画面に表示される。なお、圧縮データ１５は、ＨＤＤやＤＶＤドライブ（図示されず）に記録される。

次に、本発明の画像データ符号化方法の第１の実施の形態の動作について図１〜図３、図６、図７、図８を参照して説明する。図７及び図８は、本発明の画像データ符号化方法の第１の実施の形態の動作を示すフローチャートである。図７はエンコードに関する動作であり、図８はデコードに関する動作である。

図７、図１を参照して映像バッファ１は、所定のデータ量の映像データ１１が蓄積された後、その所定のデータ量の映像データ１１を映像分割器２へ出力する。図７、図２を参照して、映像分配器２のライン位置判定器２１は、映像データ１１を分割するときの分割位置を検出する（ステップＳ１）。その検出された分割位置を示す複数のライン位置情報１９−１〜１９−ｍを、映像データ１１と共に出力する。ライン分配器２２は、映像データ１１と複数のライン位置情報１９−１〜１９−ｍとに基づいて、映像データ１１を分割して複数の分割映像データ１２−１〜１２−ｎを出力する（ステップＳ２）。図７、図１を参照して、複数のエンコーダ３−１〜３−ｎの各々は、複数の分割映像データ１２−１〜１２−ｎのうちの対応する分割映像データ１２−ｉを符号化して、それぞれの分割圧縮データ１３−ｉとして映像合成器４へ出力する（ステップＳ３）。各分割圧縮データ１３は、一つながりの複数のＰＥＳパケットとなる。図７、図３を参照して、映像合成器４の複数の分割位置判定器２５−１〜２５−ｎの各々は、複数の分割圧縮データ１３−１〜１３−ｎのうちの対応する分割圧縮データ１３−ｉにおいて、複数のＰＥＳパケットのヘッダの先頭（対応分割位置情報）を検出する。そして、分割圧縮データ１３−ｉをヘッダの位置で分割した複数のＰＥＳパケットデータ１４−ｉを出力する（ステップＳ４）。圧縮データ合成器２６は、複数のＰＥＳパケットのヘッダに基づいて、複数のＰＥＳパケットデータ１４−１〜１４−ｎを合成して圧縮データ１５を出力する（ステップＳ５）。圧縮データ１５は、ＨＤＤやＤＶＤドライブに記録される。

図８、図６を参照して、映像分割器５は、複数のＰＥＳパケットのヘッダに基づいて、圧縮データ１５を分割して複数のＰＥＳパケットデータとする（ステップＳ６）。そして、その複数のＰＥＳパケットのヘッダに基づいて複数のＰＥＳパケットデータをグループ化し、その複数の分割圧縮映像データ１６（１６−ｉ、ｉ＝１〜ｎ）を出力する（ステップＳ７）。そして、複数の分割圧縮映像データ１６−１〜１６−ｎを複数のデコーダ６−１〜６−ｎへ出力する。複数のデコーダ６−１〜６−ｎは、複数の分割圧縮映像データ１６−１〜１６−ｎを復号化して、複数の復号化データ１７−１〜１７−ｎとして映像合成器７へ出力する（ステップＳ８）。映像合成器７は、複数の復号化データ１７−１〜１７−ｎを合成して、一つの映像データ１８を出力する（ステップＳ９）。映像バッファ８は、所定のデータ量の映像データ１８を蓄積した後、その所定のデータ量の映像データ１８をＴＶへ出力する。

本発明により、一つの画面を分割して複数のエコーダで符号化することにより、一つのエンコーダで符号化する場合と比較して、ビットレートを高くすることができるので、より高画質の映像を得ることができる。これにより、ＨＤＤレコーダのような機器に搭載されているにもかかわらず、有効に利用されていない複数の符号化器及び複数の復号化器を有効に活用して、録画する画像をより高画質にすることが可能となる。

本発明では、有効に利用されていない複数の符号化器及び複数の復号化器について、映像分割器２及び映像合成器４を追加するだけで、有効に活用し高画質を得ることができる。すなわち、コストを低く抑えながら、録画する画像をより高画質にすることが可能となる。

（第２の実施の形態）
本発明の画像データ符号化装置及び画像データ符号化方法の第２の実施の形態について、添付図面を参照して説明する。

本発明の画像データ符号化装置の第２の実施の形態の構成について説明する。図９は、本発明の画像データ符号化装置の第２の実施の形態の構成を示すブロック図である。画像データ符号化装置３０は、エンコーダ３１、構図情報パラメータ分析器３２、デコーダ３３、映像バッファ３４、エンコーダ３５、制御部３９を具備する。

エンコーダ３１は、映像データ４１の入力に基づいて、映像データ４１の符号化を行い、圧縮データ４２を出力する。そのとき、所定の時間間隔で映像データ４１の構図に関する構図情報パラメータ４８を出力する。符号化としては、例えばＭＰＥＧ２の規格による符号化が例示される。構図情報パラメータ４８としては、ブロックごとの量子化パラメータ、符号化モード（動きベクトル、Ｉｎｔｒａ Ｍａｃｒｏ Ｂｌｏｃｋ、Ｉｎｔｅｒ Ｍａｃｒｏ Ｂｌｏｃｋなどの組み合わせ）、及びビットレートが例示される。ただし、エンコーダ３１は、図示しないが、画像データ符号化装置３０において、単独でも映像データを符号化して、圧縮データとして出力可能である。その場合の動作は、通常のエンコーダの動作と同様である。

構図情報パラメータ分析器３２は、所定の時間間隔でエンコーダ３１から構図情報パラメータ４８を受け取る。そして、構図情報パラメータ４８を受け取る時間間隔（例示：１フレーム分の時間）よりも長い時間間隔（例示：数秒〜１分）の間に受け取った構図情報パラメータ４８に基づいて、映像データ４１の構図分析を行う。入力映像データ４１の構図分析は、符号化処理の一過程であるため、既存のエンコーダ３１を流用することができる。構図情報パラメータ分析器３２は、構図分析の結果得られたエンコーダパラメータ４９をエンコーダ３５へ出力する。エンコーダパラメータ４９としては、動きベクトル、量子化パラメータが例示さえる。

構図分析は、例えば、得られた量子化パラメータ、符号化モード、ビットレートなどの情報から、どの画像（フレーム）により多くの符号量を割り当て、どの画像に少なめの符号量を割り当てれば、1つの映像全体として、より高画質の映像が得られるかを判定する。
具体的な判定方法は、例えば、動きベクトルのみで符号化されているブロックが多いほど、その画面全体の符号量を多くし、より多くのブロックでＩｎｔｒａ Ｍａｃｒｏ Ｂｌｏｃｋ、Ｉｎｔｅｒ Ｍａｃｒｏ Ｂｌｏｃｋで符号化されるようにする。

映像バッファ３４は、所定のデータ量の映像データ４１又は圧縮データ４２の少なくとも一方を一時的に格納する。所定のデータ量は、構図情報パラメータ分析器３２の構図分析の対象となるデータ量に等しい長さに例示される。所定のデータ量の映像データ４１としての映像データ４４が蓄積された場合、直接、映像データ４４をエンコーダ３５へ出力する。所定のデータ量の圧縮データ４２としての圧縮データ４３が蓄積された場合、その圧縮データ４３をデコーダ３３経由でエンコーダ３５へ出力する。映像バッファ３４の時間（例示：所定のデータ量に対応）が長いほど、エンコーダ２で効率的に符号化できることが期待できる。

デコーダ３３は、圧縮データ４２に基づいて、映像データ４３を出力する。ただし、デコーダ３３は、図示しないが、画像データ符号化装置３０において、単独でも圧縮データを復号化して、映像データとして出力可能である。その動作は、通常のデコーダの動作と同様である。

エンコーダ３５は、内部で検出される動きベクトル、量子化パラメータ、符号化モード及びビットレートを用いずに、エンコーダパラメータ４９を用いて、映像データ４４の符号化を行い、圧縮データ４５を出力する。ただし、エンコーダ３５は、図示しないが、画像データ符号化装置３０において、単独でも映像データを符号化して、圧縮データとして出力可能である。その場合の動作は、通常のエンコーダの動作と同様である。

制御部３９は、複数のエンコーダからコーデック情報パラメータを取得する。コーデック情報パラメータは、エンコーダの性能を示すパラメータであり、処理速度やビットレートに例示される。そして、複数のエンコーダの能力に基づいて、一つをエンコーダ３１に、他方をエンコーダ３５に設定する。
例えば、高性能のエンコーダＡと、エンコーダＡよりも低性能なエンコーダＢがあった場合を考える。
映像データ４１−エンコーダ３１−映像データ４２−映像バッファ３４−映像データ４３−デコーダ３３−映像データ４４’−エンコーダ３５の第１の経路で圧縮データ４５を得る場合（映像データ４１は映像バッファ３４に格納しない）、最初のエンコーダ３１を高性能のエンコーダＡとすることが好ましい。この場合、圧縮データ４５の画質は、エンコーダ３１の能力で制限されてしまうからである。
一方、映像データ４１−映像バッファ３４−映像データ４４−エンコーダ３５の第２の経路で圧縮データ４５を得る場合（圧縮データ４２は捨てる）、エンコーダＡとエンコーダＢの能力差が極端に異ならない限り、最後のエンコーダ３５を高性能のエンコーダＡとすることが好ましい。この場合、圧縮データ４５の画質は、エンコーダ３５の能力で制限され、かつ、エンコードパラメータ４９は構図情報パラメータ分析器３２で最適化されているからである。

また、制御部３９は、設定により第１の経路及び第２の経路のいずれを選択する。その設定は変更可能である。
例えば、第１の経路を取る場合、エンコード３１でエンコードしたデータを映像バッファ３４に格納する。すなわち、第２の経路の場合に比較して、必要とする映像バッファ３４の容量が小さい。したがって、映像データ４１が大きい場合には、第１の経路を取ることが考えられる。
また、第２の経路を取る場合、エンコーダ３５に供給されるのは一度もエンコードされていない映像データ４４である。すなわち、第１の経路の場合と比較して、圧縮データ４５の映像が高画質になる。したがって、より高画質のデータが必要な場合には、第２の経路を取ることが考えられる。

制御部３９は、複数のエンコーダのうちのあるものがエンコーダ３１に、別のものがエンコーダ３５に予め設定されている場合、エンコーダ３１のビットレートを最高に設定する。この場合、圧縮データ４５の画質は、エンコーダ３１の能力で制限されてしまうからである。制御部３９は、エンコーダ３５のビットレートを圧縮データ４５を所望のデータサイズになるように設定する。

図１０は、図９におけるエンコーダ３１の構成を示すブロック図である。エンコーダ３１は、一般的なＭＰＥＧエンコーダであり、符号量制御部５１ａ、減算部５２ａ、ＤＣＴ部５３ａ、量子化部５４ａ、可変長符号化部５５ａ、バッファ５６ａ、逆量子化部５７ａ、逆ＤＣＴ部５８ａ、加算部５９ａ、フレームメモリ６０ａ、動き補償部６１ａ及び動きベクトル検出部６２ａを備える。

減算部５２ａは、映像データ４４から動き補償予測画像を減算し、予測誤差を算出する。ＤＣＴ部５３ａは、算出された予測画像を離散コサイン変換（ＤＣＴ）し、ＤＣＴ係数を算出する。量子化部５４ａは、ＤＣＴ係数を量子化する。その際、量子化パラメータ６４ａを符号量制御部５１ａへ出力する。可変長符号化部５５ａは、量子化されたＤＣＴ係数と動きベクトルとを可変長符号化する。バッファ５６ａは、１フレーム分の可変長符号化されたデータを一時的に格納し、圧縮データ４２として出力する。その際、バッファ残量６５ａを符号量制御部５１ａへ出力する。逆量子化部５７ａは、量子化されたＤＣＴ係数を逆量子化して、量子化前のＤＣＴ係数に戻す。逆ＤＣＴ部５８ａは、ＤＣＴ係数を逆離散コサイン変換（逆ＤＣＴ）し、予測誤差に戻す。加算部５９ａは、予測画素に動き補償予測画像を加えて、映像データを復元する。フレームメモリ６０ａは、１フレーム分の復元された映像データを一時的に格納する。動きベクトル検出部６２ａは、１フレーム分の復元された映像データと映像データ４１とに基づいて、動きベクトルを検出する。その際、動きベクトル６３ａを符号量制御部５１ａへ出力する。動き補償部６１ａは、１フレーム分の復元された映像データと動きベクトルとに基づいて、動き補償予測画像を生成する。

符号量制御部５１ａは、動きベクトル検出部６２ａの動きベクトル６３ａと、量子化部５４ａの量子化パラメータ６４ａと、バッファ５６ａのバッファ残量６５ａとに基づいて、ビットレートが設定値と等しくなるように量子化パラメータ６４ａ、及び動きベクトル６３ａの変更を制御する。このとき、符号量制御部５１ａは、所定の時間間隔で、動きベクトル６３ａ、量子化パラメータ６４ａ、及びビットレート６５ａを構図情報パラメータ分析器３２へ構図情報パラメータ４８として出力する。

図１１は、図９における構図情報パラメータ分析器３２である。構図情報パラメータ分析器３２は、パラメータ蓄積バッファ３２ａ、パラメータ解析部３２ｂ及びパラメータ生成器３２ｃを備える。
パラメータ蓄積バッファ３２ａは、エンコーダ３１から出力される構図情報パラメータ４８を蓄積する。この蓄積は、映像バッファ３４に蓄積されている時間以上の時間分、構図情報パラメータ４８を蓄積する。
パラメータ解析部３２ｂは、パラメータ蓄積バッファ３２ａに蓄積されている構図情報パラメータ４８に基づいて、符号化するフレームのパラメータを決定する。例えば、パラメータ解析部３２ｂは、符号化モード、量子化パラメータなどから、どのフレームにどのくらいの符号量を割り当てるかを決定する。その方法は、例えばパーソナルコンピュータの映像編集ソフトウエアなどに用いられる２パスエンコーダの技術のような従来の技術を用いることができる。
パラメータ生成器３２ｃは、パラメータ解析部３２ｂで得られた結果より、エンコーダ３５に適した形式にパラメータを変換してエンコードパラメータ４９としてエンコーダ３５へ出力する。

図１２は、図９におけるエンコーダ３５の構成を示すブロック図である。エンコーダ３５は、一般的なＭＰＥＧエンコーダであり、符号量制御部５１ｂ、減算部５２ｂ、ＤＣＴ部５３ｂ、量子化部５４ｂ、可変長符号化部５５ｂ、バッファ５６ｂ、逆量子化部５７ｂ、逆ＤＣＴ部５８ｂ、加算部５９ｂ、フレームメモリ６０ｂ、動き補償部６１ｂ及び動きベクトル検出部６２ｂを備える。これらは、符号量制御部５１ａ、減算部５２ａ、ＤＣＴ部５３ａ、量子化部５４ａ、可変長符号化部５５ａ、バッファ５６ａ、逆量子化部５７ａ、逆ＤＣＴ部５８ａ、加算部５９ａ、フレームメモリ６０ａ、動き補償部６１ａ及び動きベクトル検出部６２ａと同様である。

ただし、符号量制御部５１ｂは、所定の時間間隔で受け取ったエンコーダパラメータ４９（例示：動きベクトル、量子化パラメータ）に基づいて、量子化部５４ｂ及び動きベクトル検出部６２ａを制御する。すなわち、エンコーダパラメータ４９の量子化パラメータを量子化部５４ｂの量子化パラメータとし、エンコーダパラメータ４９の動きベクトルを動きベクトル検出部６２ａの動きベクトルとする。この場合、符号量制御部５１ｂは、動きベクトル６３ｂ、量子化パラメータ６４ｂ、及びビットレート６５ｂよりも、エンコーダパラメータ４９の値を優先する。

このように、一つ目のエンコーダ３１及び構図情報パラメータ分析器２３で入力映像データ４１の構図を分析して最適なパラメータを決定し、二つ目のエンコーダ３５で最適なパラメータを用いて実際に符号化する。これにより、一つのエンコーダを単独で用いる場合に比較して、より効率的により高画質の映像を得ることができる。

次に、本発明の画像データ符号化方法の第２の実施の形態の動作について図９〜図１３を参照して説明する。図１３は、本発明の画像データ符号化方法の第２の実施の形態の動作を示すフローチャートである。

図７、図８、図１３を参照して、エンコーダ３１は、映像データ４１の符号化を行い、圧縮データ４２を出力する。そのとき、エンコーダ３１の符号量制御部５１ａは、所定の時間間隔で、動きベクトル６３ａ、量子化パラメータ６４ａ、及びビットレート６５ａを構図情報パラメータ分析器３２へ構図情報パラメータ４８として出力する（ステップＳ２１）。図７、図９、図１３を参照して、構図情報パラメータ分析器３２のパラメータ蓄積バッファ３２ａは、エンコーダ３１から出力される構図情報パラメータ４８を蓄積する。パラメータ解析部３２ｂは、パラメータ蓄積バッファ３２ａに蓄積されている構図情報パラメータ４８に基づいて、映像データ４１の構図分析を行い、符号化するフレームのパラメータを決定する。パラメータ生成器３２ｃは、パラメータ解析部３２ｂで得られた結果より、エンコーダ３５に適した形式にパラメータを変換してエンコードパラメータ４９としてエンコーダ３５へ出力する（ステップＳ２２）。

この後のプロセス（ステップＳ２３）は、以下の３つのケースが考えられる。
（１）ケース１
映像バッファ３４は、非圧縮の映像データ４１を一時的に保存する。そして、所定のデータ量の映像データ４１が蓄積された後、映像データ４４としてエンコーダ３５へ出力する。エンコーダ３５は、最適なエンコードパラメータ４９で符号化し、圧縮データ４５として出力する。
（２）ケース２
映像バッファ３４は、エンコーダ３１で可逆符号化方式で符号化された圧縮データ４２をを一時的に保存する。そして、所定のデータ量の圧縮データ４２が蓄積された後、圧縮データ４３としてデコーダ３３へ出力する。デコーダ３３は、その可逆符号化方式で符号化された圧縮データ４３を復号化し、映像データ４４’としてエンコーダ３５へ出力する。エンコーダ３５は、最適なエンコードパラメータ４９で符号化し、圧縮データ４５として出力する。
（３）ケース３
映像バッファ３４は、エンコーダ３１で高ビットレートで符号化された圧縮データ４２をを一時的に保存する。そして、所定のデータ量の圧縮データ４２が蓄積された後、圧縮データ４３としてデコーダ３３へ出力する。デコーダ３３は、その高ビットレートで符号化された圧縮データ４３を復号化し、映像データ４４’としてエンコーダ３５へ出力する。エンコーダ３５は、最適なエンコードパラメータ４９で符号化し、圧縮データ４５として出力する。

本発明により、一つ目のエンコーダを映像データの構図分析に、二つ目のエンコーダを実際の符号化にそれぞれ用いることにより、一つのエンコーダで符号化する場合と比較して、より最適なパラメータで符号化することができる。それにより、より高画質の映像を得ることができる。これにより、ＨＤＤレコーダのような機器に搭載されているにもかかわらず、有効に利用されていない複数の符号化器及び複数の復号化器を有効に活用して、録画する画像をより高画質にすることが可能となる。

本発明では、有効に利用されていない複数の符号化器及び複数の復号化器について、構図情報パラメータ分析器３２及び映像バッファ３４を追加するだけで、有効に活用し高画質を得ることができる。すなわち、コストを低く抑えながら、録画する画像をより高画質にすることが可能となる。

（第３の実施の形態）
本発明の画像データ符号化装置及び画像データ符号化方法の第３の実施の形態について、添付図面を参照して説明する。

本発明の画像データ符号化装置の第３の実施の形態の構成について説明する。図１４は、本発明の画像データ符号化装置の第３の実施の形態の構成を示すブロック図である。画像データ符号化装置７０は、分割器７１、複数のデコーダ７２（７２−ｊ、ｊ＝１〜ｍ：ｎは２以上の自然数）、複数のエンコーダ７３（７３−ｊ、ｊ＝１〜ｍ）、結合器７４、コーデック情報パラメータ取得部７５、及び分割サイズ判定器７６を具備する。

分割器７１は、分割サイズ判定器７６から指定された分割サイズを参照して、第１圧縮データ８１を分割して複数の第１分割圧縮データ８２（８２−ｊ、ｊ＝１〜ｍ）を生成する。そして、複数の第１分割圧縮データ８２−１〜８２−ｍの各々を、複数のデコーダ７２−１〜７２−ｍのうちの対応するものへ出力する。

デコーダ７２−ｊは、対応する第１分割圧縮データ８２−ｊを復号化して、分割映像データ８３−ｊ（複数の分割映像データ８３（８３−ｊ、ｊ＝１〜ｍ）のうちの対応するもの）を生成する。そして、デコーダ７２−ｊは、対応するエンコーダ７３−ｊへ分割映像データ８３−ｊを出力する。ただし、デコーダ７２−ｊは、図示しないが、画像データ符号化装置７０において、単独でも圧縮データを復号化して、圧縮データとして出力可能である。その場合の動作は、通常のエンコーダの動作と同様である。

エンコーダ７３−ｊは、対応する分割映像データ８３−ｊを符号化して、第２分割圧縮データ８４−ｊ（複数の第２分割圧縮データ８４（８４−ｊ、ｊ＝１〜ｍ）のうちの対応するもの）を生成する。そして、エンコーダ７３−ｊは、第２分割圧縮データ８４−ｊを結合器７４へ出力する。ただし、エンコーダ７３−ｊは、図示しないが、画像データ符号化装置７０において、単独でも映像データを符号化して、圧縮データとして出力可能である。その場合の動作は、通常のエンコーダの動作と同様である。

結合器７４は、複数の第２分割圧縮データ８４−１〜８４−ｍに基づいて、複数の第２分割圧縮データ８４−１〜８４−ｍを合成して第２圧縮データ８５を出力する。

コーデック情報パラメータ取得器７５は、複数のデコーダ７２−１〜７２−ｍ及び複数のエンコーダ７３−１〜７３−ｍの性能を示す複数のパラメータを取得する。性能を示すパラメータとしては、処理速度やビットレートに例示される。

分割サイズ判定器７６は、性能を示す複数のパラメータに基づいて、分割器７１においてで第１圧縮データ８１を複数の第１分割圧縮データ８２−１〜８２−ｍに分割するときの分割サイズを決定する。分割サイズの算出は、例えば、デコーダ７２−ｊとエンコーダ７３−ｊの各組が行うデータ処理の処理速度の比による算出に例示される。従って、デコーダ７２−ｊとエンコーダ７３−ｊの各組ごとに異なるサイズの第１分割圧縮データ８２−ｊを処理する。分割サイズ判定器７６からの出力がない場合、分割器７１は第１分割圧縮データ８２−ｊのサイズを同じとする。

複数のデコーダ７２−１〜７２−ｍとそれと同数の複数のエンコーダ７３−１〜７３−ｍを用いてレート変換ダビングを行う。これにより、一組のデコーダとエンコーダ７３によりレート変換ダビングを行う場合に比較して、高速にレート変換ダビングを行うことができる。

図１５は、図１４における圧縮データの構成を示す概略図である。
圧縮データ８１は、ＰＥＳパケット８７で構成することができる。ＰＥＳパケット８７の先頭にはＰＥＳパケットヘッダ８８が付加されている。映像／音声データ８９は、ＰＥＳパケットヘッダ８７に続いている。ＰＥＳパケットヘッダ８８の先頭には、２４Ｂｉｔのスタートコード８８ａが付加されている。スタートコード８８ａによりパケットの開始位置が容易に分る仕組みとなっている。スタートコード８８ａは、映像（Ｖｉｄｅｏ）は０ｘ０００００１Ｅ０〜０ｘ０００００１ＥＦ（１６進）の１６種類のコードを割り当てることができる。

ペイロード部分の先頭（映像／音声データ８９の先頭）にもスタートコード８９ａを設けることができる。これらのＰＥＳパケットヘッダ８８の先頭や映像／音声データ８９の先頭において、圧縮データ８１を複数の第１分割圧縮データ８２−１〜８２−ｍに分割することが可能である。

次に、本発明の画像データ符号化方法の第３の実施の形態の動作について図１４及び図１６を参照して説明する。図１６は、本発明の画像データ符号化方法の第３の実施の形態の動作を示すフローチャートである。

コーデック情報パラメータ取得器７５は、複数のデコーダ７２−１〜７２−ｍ及び複数のエンコーダ７３−１〜７３−ｍの性能を示す複数のパラメータを取得する（ステップＳ４１）。分割サイズ判定器７６は、性能を示す複数のパラメータに基づいて、分割器７１においてで第１圧縮データ８１を複数の第１分割圧縮データ８２−１〜８２−ｍに分割するときの分割サイズを決定する（ステップＳ４２）。分割器７１は、分割サイズ判定器７６から指定された分割サイズを参照して、第１圧縮データ８１を分割して複数の第１分割圧縮データ８２−１〜８２−ｍを生成する。そして、複数の第１分割圧縮データ８２−１〜８２−ｍを、複数のデコーダ７２−１〜７２−ｍへ出力する（ステップＳ４３）。複数のデコーダ７２−１〜７２−ｍは、複数の第１分割圧縮データ８２−１〜８２−ｍを復号化して、複数の分割映像データ８３−１〜８３−ｍを生成する。そして、複数のエンコーダ７３−１〜７３−ｍへ複数の分割映像データ８３−１〜８３−ｍを出力する（ステップＳ４４）。複数のエンコーダ７３−１〜７３−ｍは、複数の分割映像データ８３−１〜８３−ｍを符号化して、第２分割圧縮データ８４−１〜８４−ｍを生成する。そして、第２分割圧縮データ８４−１〜８４−ｍを結合器７４へ出力する（ステップＳ４５）。結合器７４は、複数の第２分割圧縮データ８４−１〜８４−ｍを合成して第２圧縮データ８５を出力する（ステップＳ４６）。

従来手法では、レート変換は、一組のデコーダ７２／エンコーダ７３（コーデック）を用い、圧縮データを復号化し、復号化した映像をビットレートを変えて再符号化している。このため、ＨＤＤレコーダのようにＨ／Ｗで構成されていた場合は、圧縮データの時間分、レート変換に時間を要していた。
本発明では、圧縮データ８１を、デコーダ７２／エンコーダ７３（コーデック）の数分に分割し、それぞれをレート変換する。そのため、レート変換に要する時間を大幅に削減することができる。また、コーデックの性能に応じて、復号化／符号化処理量の割合を変えれば、より効率的なレート変換が可能である。処理用の割合を変える方法は、例えば、高速に処理できるコーデック、高画質なコーデックを優先し、多くのデータを処理させる方法などが考えられる。

本発明により、圧縮データを分割して複数のデコーダ７２／エンコーダ７３（コーデック）でレート変換を行うことで、一組のデコーダ／エンコーダ（コーデック）を用いる場合と比較して、レート変換に要する時間を大幅に削減することができる。これにより、ＨＤＤレコーダのような機器に搭載されているにもかかわらず、有効に利用されていない複数の符号化器及び複数の復号化器を有効に活用することが可能となる。

本発明では、有効に利用されていない複数の符号化器及び複数の復号化器について、分割器７１、結合器７４、コーデック情報パラメータ７５、及び分割サイズ判定器７６をを追加するだけで、コストを低く抑えながら有効に活用することができる。

本発明の画像データ符号化装置及び画像データ符号化方法は、ＨＤＤレコーダや、ＤＶＤレコーダのような複数のエンコーダ／デコーダが搭載された機器に適用することができる。

図１は、本発明の画像データ符号化装置の第１の実施の形態の符号化側の構成を示すブロック図である。 図２は、図１における映像分配器の構成を示すブロック図である。 図３は、図１における映像合成器の構成を示すブロック図である。 図４は、図３における圧縮データの構成を示す概念図である。 図５は、図３における分割圧縮データの構成を示す概念図である。 図６は、本発明の画像データ符号化装置の第１の実施の形態の復号化側の構成を示すブロック図である。 図７は、本発明の画像データ符号化方法の第１の実施の形態の動作を示すフローチャートである。 図８は、本発明の画像データ符号化方法の第１の実施の形態の動作を示すフローチャートである。 図９は、本発明の画像データ符号化装置の第２の実施の形態の構成を示すブロック図である。 図１０は、図９におけるエンコーダ３１の構成を示すブロック図である。 図１１は、図９における構図情報パラメータ分析器３２である。 図１２は、図９におけるエンコーダ３５の構成を示すブロック図である。 図１３は、本発明の画像データ符号化方法の第２の実施の形態の動作を示すフローチャートである。 図１４は、本発明の画像データ符号化装置の第２の実施の形態の構成を示すブロック図である。 図１５は、図１４における圧縮データの構成を示す概略図である。 図１６は、本発明の画像データ符号化方法の第３の実施の形態の動作を示すフローチャートである。

符号の説明

１ 映像バッファ
２ 映像分割器
３（−ｉ、ｉ＝１〜ｎ） 符号化器
４ 映像合成器
５ 映像分割器
６（−ｉ、ｉ＝１〜ｎ） 復号化器
７ 映像合成器
８ び映像バッファ
９ 制御部
１０、３０、７０ 画像データ符号化装置
１１ 映像データ
１２（−ｉ、ｉ＝１〜ｎ） 分割映像データ
１３（−ｉ、ｉ＝１〜ｎ） 分割圧縮データ
１４（−ｉ、ｉ＝１〜ｎ） ＰＥＳパケットデータ
１５ 圧縮データ
１６（−ｉ、ｉ＝１〜ｎ） 分割圧縮映像データ
１７（−ｉ、ｉ＝１〜ｎ） 復号化データ
１８ 映像データ
１９（−ｋ、ｉｋ＝１〜ｍ） ライン位置情報
２１ ライン位置判定器
２２ ライン分配器
２５（−ｉ、ｉ＝１〜ｎ） 分割位置判定器
２６ 圧縮データ合成器
２７ ＰＥＳパケット
２８ ＰＥＳパケットヘッダ
２９ 映像／音声データ
３１ エンコーダ
３２ 構図情報パラメータ分析器
３２ａ パラメータ蓄積バッファ
３２ｂ パラメータ解析部
３２ｃ パラメータ生成器
３３ デコーダ
３４ 映像バッファ
３５ エンコーダ
３９ 制御部
４１ 映像データ
４２ 圧縮データ
４３ 映像データ
４４ 映像データ
４５ 圧縮データ
４８ 構図情報パラメータ
４９ エンコーダパラメータ
５１ａ、５１ｂ 符号量制御部
５２ａ、５２ｂ 減算部
５３ａ、５３ｂ ＤＣＴ部
５４ａ、５４ｂ 量子化部
５５ａ、５５ｂ 可変長符号化部
５６ａ、５６ｂ バッファ
５７ａ、５７ｂ 逆量子化部
５８ａ、５８ｂ 逆ＤＣＴ部
５９ａ、５９ｂ 加算部
６０ａ、６０ｂ フレームメモリ
６１ａ、６１ｂ 動き補償部
６２ａ、６２ｂ 動きベクトル検出
６３ａ、６３ｂ 動きベクトル
６４ａ、６４ｂ 量子化パラメータ
６５ａ、６５ｂ ビットレート
７１ 分割器
７２（−ｊ、ｊ＝１〜ｍ） デコーダ
７３（−ｊ、ｊ＝１〜ｍ） エンコーダ
７４ 結合器
７５ コーデック情報パラメータ取得部
７６ 分割サイズ判定器
８１ 第１圧縮データ
８２（−ｊ、ｊ＝１〜ｍ） 第１分割圧縮データ
８３（−ｊ、ｊ＝１〜ｍ） 分割映像データ
８４（−ｊ、ｊ＝１〜ｍ） 第２分割圧縮データ
８５ 第２圧縮データ

Claims (5)

1. 予め設定された規則に基づく水平方向又は垂直方向のラインごとの分割位置で、入力された画像データを分割して複数の分割画像データを出力する画像分割器と、
   前記複数の分割画像データを符号化して複数の分割圧縮データを出力する複数の符号化器と、
   前記分割位置に基づいて、前記複数の分割圧縮データを合成して圧縮データを出力する圧縮画像合成器と、
   前記複数の符号化器の処理能力としての少なくともビットレートに応じて、前記入力された画像データの分割サイズを決定する制御部と
   を具備し、
   前記複数の符号化器の各々は、
   前記制御部によって決定された前記入力された画像データの分割サイズの分割画像データを符号化して、分割圧縮データとして出力する
   画像データ符号化装置。
2. 請求項１に記載の画像データ符号化装置において、
   前記画像分割器は、
   前記規則に基づいて、前記画像データの前記分割位置を示す複数の分割位置情報を出力する位置判定器と、
   前記複数の分割位置情報と前記制御部で決定された分割サイズとに基づいて、前記画像データを分割して前記複数の分割画像データを出力する分配器と
   を備え、
   前記複数の分割画像データの各々は、前記符号化器の前記ビットレートに応じて処理できるデータ量である
   画像データ符号化装置。
3. 請求項１又は２に記載の画像データ符号化装置において、
   前記複数の分割位置情報と前記制御部で決定された分割サイズとに基づいて、前記圧縮データを分割して複数の分割圧縮画像データを出力する圧縮画像分割器と、
   前記複数の分割圧縮画像データを復号化して複数の復号化データを出力する複数の復号化器と、
   前記複数の分割位置情報と前記制御部で決定された分割サイズとに基づいて、前記複数の復号化データを合成して復号化画像データを出力する画像合成器と
   を更に具備し、
   前記複数の復号化器の各々は、
   前記分割圧縮画像データを復号化して、復号化データとして出力する
   画像データ符号化装置。
4. （α）複数の符号化器の処理能力としての少なくともビットレートに応じて、入力された画像データの分割サイズを決定するステップと、
   （ａ）予め設定された規則に基づく水平方向又は垂直方向のラインごとの分割位置を、前記入力された画像データから複数の分割位置情報として検出するステップと、
   （ｂ）前記複数の分割位置情報と前記決定された分割サイズとに基づいて、前記画像データを分割して前記複数の分割画像データを出力するステップと、
   （ｃ）前記複数の符号化器で、前記複数の分割画像データを符号化して複数の分割圧縮データを出力するステップと、
   （ｄ）複数の分割位置情報に基づいて、前記複数の分割圧縮データを合成して圧縮データを出力するステップと、
   を具備し、
   前記複数の符号化器の各々は、
   前記決定された前記入力された画像データの分割サイズの分割画像データを符号化して、分割圧縮データとして出力し、
   前記複数の分割画像データの各々は、前記符号化器の前記ビットレートに応じて処理できるデータ量である
   画像データ符号化方法。
5. 請求項４に記載の画像データ符号化方法において、
   （ｅ）前記複数の分割位置情報と前記決定された分割サイズとに基づいて、前記圧縮データを分割して複数の分割圧縮画像データを出力するステップと、
   （ｆ）前記複数の分割圧縮画像データを復号化して複数の復号化データを出力するステップと、
   （ｇ）前記複数の分割位置情報と前記決定された分割サイズとに基づいて、前記複数の復号化データを合成して複合化画像データを出力するステップと
   を更に具備し、
   前記複数の復号化器の各々は、
   前記分割圧縮画像データを復号化して、復号化データとして出力する
   画像データ符号化方法。

Images