JP5232182B2 - 画面分割符号化装置およびそのプログラム、並びに、画面分割復号装置およびそのプログラム - Google Patents

Description

本発明は、動画像や静止画像の画面を分割して符号化および復号する画面分割符号化装置およびそのプログラム、並びに、画面分割復号装置およびそのプログラムに関する。

近年、ハイビジョン（登録商標）の解像度を超える、走査線が４０００本超のスーパーハイビジョンの動画像や、高解像度の静止画像を扱うカメラ、プロジェクタ等が開発されてきている。
このように、動画像や静止画像は高解像度化が進んでおり、高解像度画像を符号化／復号するには、多くの計算量やメモリ量が必要とされる。さらに、このような高解像度画像をリアルタイムで撮像、記録、表示等するには、高速な処理も要求される。そのため、符号化／復号装置は、高価で大規模なものになる傾向にある。
そこで、動画像や静止画像の１画面分をそのまま符号化／復号するのではなく、１画面の画像を複数の画像に分割し、その各々について符号化／復号する技術が開発されてきた。これによって、それぞれの符号化／復号処理の負荷を軽減でき、高速処理も可能となる。

しかし、このように画面を分割して符号化した場合、復号後の画像において、分割した境界領域で画質が劣化するという問題が生じる。この画質劣化の原因の１つは、分割領域をまたぐ領域間の不連続によるものである。

例えば、動画像を、動き補償を利用して符号化する場合、画面を分割して分割画像ごとに符号化すると、分割境界において、動きベクトルの向きが制約されてしまう。すなわち、動画像の一方の分割画像では、正しい動きベクトルがその分割画像内に存在するため精度よく動き補償ができるが、隣接する他方の分割画像では、正しい動きベクトルがその分割画像内に存在しないため精度よく動き補償ができない。このため、復号後の画像において、２つの分割画像間の画質に差が生じ、分割境界付近における画像の不連続が顕著となる。

また、例えば、静止画像の場合、画面を分割すると、高周波成分を多く含む複雑な分割画像や、平坦部分の多い単純な分割画像のように複雑さの異なる画像に分割される場合がある。このとき、同等の符号量で符号化すると、複雑な分割画像は、復号後の画質が大きく劣化するが、単純な分割画像の劣化は小さい。このため、復号後の画像において、２つの分割画像間の画質に差が生じ、分割境界付近における画像の不連続が顕著となる。

そこで、分割境界付近での画質劣化を低減させるため、画面を分割する際に、分割境界を中心として重複領域を設け、その重複領域を隣接する分割画像間で共有させる動画像符号化／復号装置が提案されている（特許文献１参照）。

この技術では、動画像符号化装置が、隣接する分割画像を符号化する際に、それぞれの重複領域を含めて符号化する。そして、動画像復号装置が、符号化データを復号し、画面を再構成して表示する際に、重複領域を共有する一方の分割画像について分割境界を越えた他方の分割画像に含まれる重複領域を表示しないようにする。また、他方の分割画像についても同様に、分割境界を越えた一方の分割画像に含まれる重複領域を表示しないようにする。このようにして、従来の動画像符号化／復号装置は、分割境界付近における画質劣化を抑制している。

特開平１０−２３４０４３号公報

前記したように、特許文献１に係る従来の動画像符号化／復号装置は、分割境界に分割画像間で重複領域を設けることで、分割境界付近での不連続による画質劣化を抑制する。
しかし、従来の動画像符号化／復号装置は、分割画像間に重複領域を設けることで、符号化対象の画素数を重複領域分増加させてしまう。そのため、従来の動画像符号化／復号装置は、符号化／復号を行う際の処理コスト、例えば、使用するメモリ量や処理に要する時間等を増加させてしまうという問題がある。

また、符号化対象の画素数が増加すると、既存の動画像符号化／復号装置で処理可能な画素数の上限を超えてしまい、既存の動画像符号化／復号装置を使用できなくなることがあるという問題がある。
なお、分割画像の画素数の増加を避けるため、分割画像を切り出す前に、予め原画像を縮小しておくことも考えられる。しかし、そのためには、画像全体を縮小する処理が追加され、処理コストが増加する。また、縮小により画像全体にわたり画質が低下するという問題も新たに発生する。

本発明は以上のような問題点に鑑みてなされたものである。本発明は動画像や静止画像の画面を、重複領域を設けて分割して符号化／復号するが、その場合でも、分割画像の符号化対象の画素数を増加させずに分割画像間の画質劣化を抑えることが可能な画面分割符号化装置およびそのプログラム、並びに、画面分割復号装置およびそのプログラムを提供することを課題とする。

本発明は前記課題を解決するために創案されたものである。まず、請求項１に記載の画面分割符号化装置は、画像を予め定めた大きさに画面分割して符号化する画面分割符号化装置であって、画面重複分割手段と、重複領域サンプリング手段と、符号化手段とを備える構成とした。

かかる構成において、画面分割符号化装置は、画面重複分割手段によって、画像を予め定めた大きさの画像に画面分割する際に、分割境界を挟んで予め定めた範囲をそれぞれ隣接する分割画像に重複して含むように画像を画面分割する。これによって、個々の分割画像には、分割境界を挟んで隣接する他の分割画像の領域の一部が部分的に含まれることになる。

そして、画面分割符号化装置は、重複領域サンプリング手段によって、画面重複分割手段で画面分割された分割画像の重複領域を、当該重複領域を含む他の分割画像と不連続となるようにサブサンプリングする。このようにして、画素数を減少させ、分割画像を予め定めた大きさに変換する。すなわち、重複領域サンプリング手段は、重複領域をサブサンプリングし、水平方向においては重複領域の幅を半分に、垂直方向においては重複領域の高さを半分にすることで、分割画像を、重複領域を持たないように画面を分割した際の大きさ（予め定めた大きさ）に変換する。
そして、画面分割符号化装置は、符号化手段によって、重複領域サンプリング手段で変換された複数の分割画像をそれぞれ符号化して符号化データを生成する。なお、個々の分割画像には、一部分隣接した分割画像の画像データが含まれているため、符号化手段は、隣接した分割画像の画質や動きを反映して符号化することになる。

また、請求項２に記載の画面分割符号化装置は、画像を予め定めた大きさに画面分割して符号化する画面分割符号化装置であって、前記画像を前記予め定めた大きさの画像に画面分割する際に、分割境界を挟んで予め定めた範囲をそれぞれ隣接する分割画像に重複して含むように前記画像を画面分割する画面重複分割手段と、この画面重複分割手段で画面分割された分割画像の重複領域をサブサンプリングして、前記分割画像を前記予め定めた大きさに変換する重複領域サンプリング手段と、この重複領域サンプリング手段で変換された複数の分割画像をそれぞれ符号化して符号化データを生成する符号化手段と、を備え、前記重複領域サンプリング手段が、１次元水平重複領域サンプリング手段と、１次元垂直重複領域サンプリング手段とを備えることを特徴とする。

かかる構成において、画面分割符号化装置は、重複領域サンプリング手段の１次元水平重複領域サンプリング手段によって、水平方向に隣接する分割画像間で重複する重複領域について、当該重複領域を水平方向にサブサンプリングする。これによって、水平方向に隣接する分割画像間で重複する重複領域が、水平方向に半分の画素数に変換される。また、水平方向に画素数が半減した重複領域の半分には、重複領域を持たずに分割した際の水平方向に隣接する分割画像の一部が含まれることになる。

また、画面分割符号化装置は、重複領域サンプリング手段の１次元垂直重複領域サンプリング手段によって、垂直方向に隣接する分割画像間で重複する重複領域について、当該重複領域を垂直方向にサブサンプリングする。これによって、垂直方向に隣接する分割画像間で重複する重複領域が、垂直方向に半分の画素数に変換される。また、垂直方向に画素数が半減した重複領域の半分には、重複領域を持たずに分割した際の垂直方向に隣接する分割画像の一部が含まれることになる。

このように、画面分割符号化装置は、１次元水平重複領域サンプリング手段と１次元垂直重複領域サンプリング手段とによって、隣接する分割画像の一部を含み、かつ、重複領域を含まないで分割した際の大きさと同じ大きさの分割画像を符号化対象の画像として生成することができる。

また、請求項３に記載の画面分割符号化装置は、画像を予め定めた大きさに画面分割して符号化する画面分割符号化装置であって、前記画像を前記予め定めた大きさの画像に画面分割する際に、分割境界を挟んで予め定めた範囲をそれぞれ隣接する分割画像に重複して含むように前記画像を画面分割する画面重複分割手段と、この画面重複分割手段で画面分割された分割画像の重複領域をサブサンプリングして、前記分割画像を前記予め定めた大きさに変換する重複領域サンプリング手段と、この重複領域サンプリング手段で変換された複数の分割画像をそれぞれ符号化して符号化データを生成する符号化手段と、を備え、前記重複領域サンプリング手段が、２次元重複領域サンプリング手段を備える構成とした。

かかる構成において、画面分割符号化装置は、重複領域サンプリング手段の２次元重複領域サンプリング手段によって、分割画像の重複領域を水平方向および垂直方向それぞれの方向にサンプル点を交互に設定してサブサンプリングする。これによって、分割画像の重複領域は、水平方向および垂直方向に画素数が半分になる。また、画素数が半減した重複領域には、重複領域を持たずに分割した際の隣接する分割画像の一部が含まれることになる。

このように、画面分割符号化装置は、２次元重複領域サンプリング手段によって、隣接する分割画像の一部を含み、かつ、重複領域を含まないで分割した際の大きさと同じ大きさの分割画像を符号化対象の画像として生成することができる。

さらに、請求項４に記載の画面分割符号化装置は、請求項１から請求項３のいずれか一項に記載の画面分割符号化装置において、前記重複領域サンプリング手段が、前記重複領域の各画素を、当該画素の周辺画素との間でフィルタリングを行った後、サブサンプリングを行う構成とした。

かかる構成において、画面分割符号化装置の重複領域サンプリング手段は、サブサンプリングを行う際に、当該サブサンプリングを行う画素と、当該画素の周辺画素とでフィルタリングを行った後にサンプリングを行う。これによって、重複領域サンプリング手段は、サンプリングによって抽出する画像に含まれる折り返し歪みを低減させることができる。

また、請求項５に記載の画面分割符号化プログラムは、画像を予め定めた大きさに画面分割して符号化するために、コンピュータを、画面重複分割手段、重複領域サンプリング手段、符号化手段として機能させる構成とした。

かかる構成において、画面分割符号化プログラムは、画面重複分割手段によって、画像を予め定めた大きさの画像に画面分割する際に、分割境界を挟んで予め定めた範囲をそれぞれ隣接する分割画像に重複して含むように画像を画面分割する。これによって、個々の分割画像には、分割境界を挟んで隣接する他の分割画像の領域の一部が部分的に含まれることになる。

そして、画面分割符号化プログラムは、重複領域サンプリング手段によって、画面重複分割手段で画面分割された分割画像の重複領域を、当該重複領域を含む他の分割画像と不連続となるようにサブサンプリングする。このようにして、画素数を減少させ、分割画像を、重複領域を持たないように画面を分割した際の大きさに変換する。
そして、画面分割符号化プログラムは、符号化手段によって、重複領域サンプリング手段で変換された複数の分割画像をそれぞれ符号化して符号化データを生成する。

さらに、請求項６に記載の画面分割復号装置は、画像を予め定めた大きさの画像に画面分割する際に、分割境界を挟んで予め定めた範囲をそれぞれ隣接する分割画像に重複して含むように前記画像を画面分割する画面重複分割手段と、この画面重複分割手段で画面分割された分割画像の重複領域をサブサンプリングして、前記分割画像を前記予め定めた大きさに変換する重複領域サンプリング手段と、この重複領域サンプリング手段で変換された複数の分割画像をそれぞれ符号化して符号化データを生成する符号化手段と、を備えた画面分割符号化装置で符号化された符号化データを復号する画面分割復号装置であって、復号手段と、重複領域拡張手段と、画面合成手段とを備えることを特徴とする。

かかる構成において、画面分割復号装置は、復号手段によって、符号化データをそれぞれの分割画像のデータに復号する。
そして、画面分割復号装置は、重複領域拡張手段によって、復号手段で復号されたそれぞれの分割画像において、画面分割符号化装置でサブサンプリングされた領域に、サブサンプリングの間隔でダミーデータを挿入する。これによって、各分割画像には、画面分割符号化装置でサブサンプリングされる前の重複領域の大きさが再現されることになる。なお、重複領域拡張手段で拡張された重複領域におけるダミーデータの実際の画素は、隣接する分割画像の重複領域に含まれている。

そこで、画面分割復号装置は、画面合成手段によって、重複領域拡張手段で拡張された重複領域におけるダミーデータを隣接する分割画像間で補完することで、分割画像を合成して画面を再構成する。
これによって、画面分割復号装置は、重複領域を持たないように画面を分割した際の大きさで分割画像を復号することができる。

また、請求項７に記載の画面分割復号プログラムは、画像を予め定めた大きさの画像に画面分割する際に、分割境界を挟んで予め定めた範囲をそれぞれ隣接する分割画像に重複して含むように前記画像を画面分割する画面重複分割手段と、この画面重複分割手段で画面分割された分割画像の重複領域をサブサンプリングして、前記分割画像を前記予め定めた大きさに変換する重複領域サンプリング手段と、この重複領域サンプリング手段で変換された複数の分割画像をそれぞれ符号化して符号化データを生成する符号化手段と、を備えた画面分割符号化装置で符号化された符号化データを復号するために、コンピュータを、復号手段、重複領域拡張手段、画面合成手段として機能させる構成とした。

かかる構成において、画面分割復号プログラムは、復号手段によって、符号化データをそれぞれの分割画像のデータに復号する。
そして、画面分割復号プログラムは、重複領域拡張手段によって、復号手段で復号されたそれぞれの分割画像において、画面分割符号化装置でサブサンプリングされた領域に、サブサンプリングの間隔でダミーデータを挿入する。これによって、各分割画像には、画面分割符号化装置でサブサンプリングされる前の重複領域の大きさが再現される。

そして、画面分割復号プログラムは、画面合成手段によって、重複領域拡張手段で拡張された重複領域におけるダミーデータを隣接する分割画像間で補完することで、分割画像を合成して画面を再構成する。
これによって、画面分割復号プログラムは、重複領域を持たないように画面を分割した際の大きさで分割画像を復号することができる。

本発明は、以下に示す優れた効果を奏するものである。
請求項１，５〜７に記載の発明によれば、隣接する分割画像の重複領域の一部を含んで符号化／復号を行うため、符号化データにおいて、隣接する分割画像の分割境界付近における画質や動きの変化を共有することができる。このため、分割境界付近における画像の不連続を軽減でき、画質の劣化が抑制できる。

また、請求項１，５〜７に記載の発明によれば、重複領域をサブサンプリングして、符号化対象となる画像の画素数を、重複領域を持たないように分割した分割画像と同じにすることができる。このため、処理対象の上限画素数が定められている既存の符号化／復号装置であっても、変更なしで利用することができる。

さらに、請求項１，５〜７に記載の発明によれば、重複領域のみをサブサンプリングするため、画像全体を縮小する手法と比べて処理コストを低減できる。また、画像全体にわたる画質の劣化を抑制することができる。

請求項２に記載の発明によれば、重複領域を水平方向と垂直方向とにそれぞれ個別にライン単位でサブサンプリングするだけの構成であるため、単純な構成でサンプリングを行うことができる。

請求項３に記載の発明によれば、重複領域を水平垂直交互にサンプリングする。このため、例えば、重複領域に水平１ラインや垂直１ラインの１ラインで構成された模様が存在する場合であっても、その１ラインの模様は、隣接する分割画像のいずれか一方のみの符号化対象となることがなく、隣接する分割画像の両方の符号化対象となる。これによって、本発明は、隣接する分割画像の分割境界付近における画質や動きの変化を精度よく捉え、分割境界付近における画像の不連続を軽減することができる。

請求項４に記載の発明によれば、重複領域をサンプリングする前にフィルタリングを行う。このため、サンプリングに伴う折り返し歪みを低減でき、精度よく画像を符号化できる。

本発明の第１（第２）実施形態に係る画面分割符号化装置および画面分割復号装置を含んだ画像伝送システムの構成を示すブロック図である。 本発明の第１実施形態に係る画面分割符号化装置の構成を示すブロック図である。 本発明の第１実施形態に係る画面分割復号装置の構成を示すブロック図である。 本発明の第１（第２）実施形態に係る画面分割符号化装置の画面重複分割手段における画面を分割する例を模式的に示す模式図である。 分割画像の重複領域を説明するための説明図である。 本発明の第１実施形態に係る画面分割符号化装置の重複領域サンプリング手段におけるサンプリングの例を模式的に示す模式図である。 本発明の第１（第２）実施形態に係る画面分割符号化装置の重複領域サンプリング手段におけるフィルタの構成例を示す図である。 本発明の第１（第２）実施形態に係る画面分割符号化装置の動作を示すフローチャートである。 本発明の第１（第２）実施形態に係る画面分割復号装置の動作を示すフローチャートである。 本発明の第２実施形態に係る画面分割符号化装置の構成を示すブロック図である。 本発明の第２実施形態に係る画面分割復号装置の構成を示すブロック図である。 本発明の第２実施形態に係る画面分割符号化装置の重複領域サンプリング手段におけるサンプリングの例を模式的に示す模式図である。

以下、本発明の実施形態について図面を参照して説明する。
［画像伝送システムの構成］
まず、図１を参照して、本発明の実施形態に係る画面分割符号化装置および画面分割復号装置を含んだ画像伝送システムの構成について説明する。
図１に示すように、画像伝送システムＳは、符号化側の画面分割符号化装置１と復号側の画面分割復号装置２とで構成される。

画面分割符号化装置１は、動画像Ａを構成する画面（フレーム画像）ごとに、当該画面を、重複領域を設けて分割し、それぞれの分割画像の重複領域をサブサンプリングした後にそれぞれの分割画像を符号化するものである。

画面分割復号装置２は、画面分割符号化装置１で符号化されたデータ（符号化データ；多重ビットストリームＤ）をそれぞれの分割画像ごとに復号し、符号化側でサブサンプリングした重複領域を再現し、重複領域を含んだ分割画像を合成することで動画像（再構成動画像Ｇ）を再構成するものである。

なお、本実施形態においては、符号化／復号対象の画像を動画像として説明するが、当該画像は、動画像に限られず静止画像であっても構わない。動画像は複数の静止画像の列であって、本実施形態においては、動画像を構成するフレーム画像（静止画像）を単位として動作するからである。
以下、本発明の実施形態に係る画面分割符号化装置および画面分割復号装置の構成および動作について詳細に説明を行う。

≪第１実施形態≫
［画面分割符号化装置の構成］
まず、図２を参照して、本発明の第１実施形態に係る画面分割符号化装置１の構成について説明する。ここでは、画面分割符号化装置１は、画面重複分割手段１０と、重複領域サンプリング手段１１と、符号化手段１２と、を備える。

画面重複分割手段１０は、符号化対象となる動画像Ａを入力とし、動画像Ａを構成する画面ごとに、分割境界を挟んで予め定めた範囲を重複領域として、それぞれ隣接する分割画像の一部を重複して含むように画面を分割するものである。
この画面重複分割手段１０が分割する画面の分割数は任意の数（ｎ個）とすることができる。例えば、画面を水平に３分割、垂直に３分割し、３×３個の分割画像に分割する。

また、分割境界を挟んだ重複領域の範囲についても任意の範囲とすることができる。ただし、隣接する分割画像の画質、動き等を抽出できる範囲が望ましい。例えば、後記する符号化手段１２における符号化方式でＭＰＥＧ（Moving Picture Experts Group）−２等を用いる場合、隣接する分割画像の動きベクトルを反映できるように、マクロブロック分（例えば、１６画素）の領域をそれぞれの分割画像で重複させることが考えられる。
このように重複領域を含んで分割された分割画像は、それぞれ分割画像のデータ列（分割画像列Ｂ；Ｂ_１〜Ｂ_ｎ）として重複領域サンプリング手段１１に出力される。

ここで、図４を参照（適宜図２参照）して、画面重複分割手段１０が行う画面分割の処理を具体的に説明する。図４は、動画像Ａを構成する１つの画面Ｒを分割する例を模式的に示している。

図４（ａ）に示すように、画面重複分割手段１０は、予め定めた分割数で定まる分割境界Ｌを基準に画面Ｒの分割を行うが、それぞれの分割画像（Ｒ_１〜Ｒ_９）には、隣接する分割画像との間で領域が一部重複するように、水平重複範囲Ｏ_Ｈおよび垂直重複範囲Ｏ_Ｖを含んで分割を行うこととする。例えば、水平重複範囲Ｏ_Ｈおよび垂直重複範囲Ｏ_Ｖは、分割境界Ｌを挟んでそれぞれマクロブロック分（マクロブロック２個分）の範囲とする。

すなわち、画面重複分割手段１０は、実際の分割境界Ｌで分割するのではなく、水平方向においては、水平重複範囲Ｏ_Ｈを含んだ水平分割範囲Ｃ_Ｈ、垂直方向においては、垂直重複範囲Ｏ_Ｖを含んだ垂直分割範囲Ｃ_Ｖの画像を分割画像として分割する。なお、画面Ｒ内において、隣接する分割画像が存在しない場合は、重複領域は存在しない。

このように、画面重複分割手段１０は、画面Ｒを、図４（ｂ）に示すように、分割境界Ｌで分割する範囲よりも隣接する分割画像の一部（図中、灰色部分）を多く含んだ範囲で分割する。例えば、分割画像Ｒ_１は、分割境界Ｌで分割する場合に比べ、図中右側には分割画像Ｒ_２の一部、図中下側には分割画像Ｒ_４の一部、図中右下には分割画像Ｒ_５の一部が重複していることになる。
図２に戻って、画面分割符号化装置１の構成について説明を続ける。

重複領域サンプリング手段１１は、画面重複分割手段１０で画面分割された分割画像の重複領域をサブサンプリングして、分割画像を予め定めた大きさに変換するものである。なお、ここで、予め定めた大きさとは、画面重複分割手段１０で画面を分割する際の分割数に応じた実際の画像の大きさである。すなわち、図４（ａ）に示した分割境界Ｌで区分される画像の大きさである。ここでは、重複領域サンプリング手段１１は、１次元水平重複領域サンプリング手段１１１と、１次元垂直重複領域サンプリング手段１１２と、を備えている。

１次元水平重複領域サンプリング手段１１１は、画面重複分割手段１０で画面分割された分割画像（分割画像列Ｂ；Ｂ_１〜Ｂ_ｎ）を入力とし、水平方向に隣接する分割画像間で重複する重複領域について、当該重複領域を水平方向にサブサンプリングするものである。なお、サブサンプリングとは、一定の規則でサンプリングを行うことをいう。

この１次元水平重複領域サンプリング手段１１１は、画面の水平方向に重複領域を整数で２分割することが可能な画素数単位で規則的にサンプリングする。例えば、１次元水平重複領域サンプリング手段１１１は、重複領域の水平方向の画素数が３２画素であれば、１，２，４画素等の画素数単位でサンプリングを行う。

このように、１次元水平重複領域サンプリング手段１１１は、水平方向に重複領域をサブサンプリングすることで、水平方向の画素数を減少させ、分割画像の画像幅を、分割境界Ｌ（図４（ａ）参照）で区分される画像の幅とすることができる。
また、１次元水平重複領域サンプリング手段１１１は、サブサンプリングした分割画像を、それぞれ分割画像のデータ列（分割画像列ｂ；ｂ_１〜ｂ_ｎ）として１次元垂直重複領域サンプリング手段１１２に出力する。

１次元垂直重複領域サンプリング手段１１２は、１次元水平重複領域サンプリング手段１１１で水平方向にサンプリングされた分割画像（分割画像列ｂ；ｂ_１〜ｂ_ｎ）を入力とし、垂直方向に隣接する分割画像間で重複する重複領域について、当該重複領域を垂直方向にサブサンプリングするものである。

この１次元垂直重複領域サンプリング手段１１２は、画面の垂直方向に重複領域を整数で２分割することが可能な画素数単位で規則的にサンプリングする。例えば、１次元垂直重複領域サンプリング手段１１２は、重複領域の垂直方向の画素数が３２画素であれば、１次元水平重複領域サンプリング手段１１１と同様、１，２，４画素等の画素数単位でサンプリングを行う。なお、このサンプリングの画素数は、１次元水平重複領域サンプリング手段１１１と、１次元垂直重複領域サンプリング手段１１２とで同じである必要はない。

このように、１次元垂直重複領域サンプリング手段１１２は、垂直方向に重複領域をサブサンプリングすることで、垂直方向の画素数を減少させ、分割画像の画像高を、分割境界Ｌ（図４（ａ）参照）で区分される画像の高さとすることができる。
また、１次元垂直重複領域サンプリング手段１１２は、サブサンプリングした分割画像を、それぞれ分割画像のデータ列（分割画像列Ｃ；Ｃ_１〜Ｃ_ｎ）として符号化手段１２に出力する。

ここで、図５および図６を参照（適宜図２参照）して、重複領域サンプリング手段１１が行うサンプリングの処理について具体的に説明する。なお、ここでは、一例として、図４で示した分割画像Ｒ_５について、図中右側に隣接する分割画像Ｒ_６との水平方向に重複する重複領域と、図中下側に隣接する分割画像Ｒ_８との垂直方向に重複する重複領域をサンプリングする例について説明する。

図６（ａ）の（ａ−１）は、分割画像Ｒ_５と分割画像Ｒ_６とが水平方向に隣接した部分である図５（ａ）の領域を部分的に示している。
この場合、１次元水平重複領域サンプリング手段１１１は、水平重複範囲Ｏ_Ｈの重複領域から、水平方向に予め定めた画素数（例えば、１，２画素等）単位でサブサンプリングする。これによって、水平重複範囲Ｏ_Ｈの重複領域から、分割画像Ｒ_５に含まれる画素と、分割画像Ｒ_６に含まれる画素とが、水平方向に列単位でサンプリングされる。そして、（ａ−２）に示すように、分割画像Ｒ_５は、分割画像Ｒ_６の画像を一部含んだ状態で、分割画像Ｒ_５と分割画像Ｒ_６との重複領域を含まない分割境界Ｌまで水平方向の画素数が減少することになる。

図６（ｂ）の（ｂ−１）は、分割画像Ｒ_５と分割画像Ｒ_８とが垂直方向に隣接した部分である図５（ｂ）の領域を部分的に示している。
この場合、１次元垂直重複領域サンプリング手段１１２は、垂直重複範囲Ｏ_Ｖの重複領域から、垂直方向に予め定めた画素数（例えば、１，２画素等）単位でサブサンプリングする。これによって、垂直重複範囲Ｏ_Ｖの重複領域から、分割画像Ｒ_５に含まれる画素と、分割画像Ｒ_８に含まれる画素とが、垂直方向に行単位でサンプリングされる。そして、（ｂ−２）に示すように、分割画像Ｒ_５は、分割画像Ｒ_８の画像を一部含んだ状態で、分割画像Ｒ_５と分割画像Ｒ_８との重複領域を含まない分割境界Ｌまで垂直方向の画素数が減少することになる。

図６（ｃ）の（ｃ−１）は、分割画像Ｒ_５，Ｒ_６，Ｒ_８，Ｒ_９が隣接した部分である図５（ｃ）の領域を部分的に示している。
この場合、分割画像Ｒ_８は、図６（ａ）と同様に、１次元水平重複領域サンプリング手段１１１によって、分割画像Ｒ_９を一部含んで水平方向にサブサンプリングされる。よって、１次元垂直重複領域サンプリング手段１１２によって、垂直重複範囲Ｏ_Ｖの重複領域を含んだ分割画像Ｒ_５を垂直方向にサブサンプリングすることで、図６（ｃ）の（ｃ−１）、（ｃ−２）に示すように、分割画像Ｒ_５は、分割画像Ｒ_６，Ｒ_８，Ｒ_９の一部を含んで、重複領域を含まない分割境界Ｌまで画素数が減少することになる。

このように、重複領域サンプリング手段１１は、重複領域をサブサンプリングすることで、重複領域を含んだ分割画像から、隣接する他の分割画像の一部画像を含んで、分割境界Ｌで区分される大きさの画像を生成することができる。

なお、重複領域サンプリング手段１１が行うサブサンプリングの手法を特定する情報（重複領域の範囲、サンプリングの間隔）は、予め記憶手段（図示せず）に記憶しておくこととしてもよいし、外部からキーボード等の入力装置（図示せず）を介して入力することとしてもよい。また、このサブサンプリングの手法を特定する情報は、復号側の画面分割復号装置２においても既知とする。なお、このサブサンプリングの手法を特定する情報（重複領域の範囲、サンプリングの間隔）は、後記する符号化手段１２によって、付加情報として、符号化ビットストリーム（多重ビットストリーム）に多重化して、画面分割復号装置２に通知することとしてもよい。
図２に戻って、画面分割符号化装置１の構成について説明を続ける。

符号化手段１２は、重複領域サンプリング手段１１で変換されたサンプリング後の複数の分割画像をそれぞれ符号化して多重化することで符号化データを生成するものである。ここでは、符号化手段１２は、符号化処理手段１２１と、ビットストリーム多重化手段１２２と、を備えている。

符号化処理手段１２１は、重複領域サンプリング手段１１で変換されたサンプリング後の複数の分割画像（分割画像列Ｃ；Ｃ_１〜Ｃ_ｎ）を入力とし、分割画像ごとに符号化するものである。この符号化処理手段１２１が行う符号化方式は、画像を符号化する符号化方式であれば特に限定するものではく、任意の符号化方式を用いることができる。例えば、符号化処理手段１２１は、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）等を用いることができる。
なお、この符号化方式は、復号側の画面分割復号装置２と対応するものであって、予め符号化側と復号側とで既知とする。

ここで、符号化処理手段１２１に入力される分割画像は、隣接する他の分割画像の一部がサブサンプリングされて含まれている。よって、符号化処理手段１２１が用いる符号化方式が、例えば、ＭＰＥＧ−２のような動き補償を利用する符号化方式である場合、分割画像を個別に符号化しても、隣接する他の分割画像を動きベクトルで参照することができる。

また、符号化対象が静止画像であった場合、それぞれの分割画像は、隣接する他の分割画像の一部がサブサンプリングされて含まれているため、分割画像の境界近傍は、それぞれの分割画像間で画質（複雑度、色等）の変化が少なくなり、分割画像の境界を目立たなくさせることができる。
この符号化処理手段１２１は、個々の分割画像を符号化したデータ（符号化ビットストリームｄ；ｄ_１〜ｄ_ｎ）を、ビットストリーム多重化手段１２２に出力する。

ビットストリーム多重化手段１２２は、符号化処理手段１２１から個々の分割画像を符号化したデータ（符号化ビットストリームｄ；ｄ_１〜ｄ_ｎ）を入力とし、多重化することで、１つの符号化データである多重ビットストリームＤを生成するものである。
このビットストリーム多重化手段１２２が行う多重化方式は、複数のビットストリームを１つのビットストリームに変換するものであれば、任意の多重化方式を用いることができる。例えば、多重化方式として、ＭＰＥＧ−２ＴＳ等を用いることができる。なお、この多重化方式は、復号側の画面分割復号装置２においても既知とする。

このビットストリーム多重化手段１２２で生成された多重ビットストリームＤは、伝送路を介して、画面分割復号装置２に出力される。なお、この伝送路は、符号化データを伝送する媒体であればよく、例えば、通信回線、放送波等である。

このように画面分割符号化装置１を構成することで、画面分割符号化装置１は、動画像Ａを画面ごとに重複領域を含んで分割し、その重複領域をサブサンプリングするため、分割画像単独で符号化する際に、隣接する他の分割画像の画質や動きを符号化に反映させることができる。これにより分割画像間で画質の変化（劣化）を抑制できる。

また、画面分割符号化装置１は、重複領域をサブサンプリングして、重複領域を持たない場合と同じ大きさの分割画像を符号化対象とするため、符号化手段１２として、処理可能な画素数の上限が分割画像の画素数であるような既存の符号化装置であっても、変更なしで利用することができる。
なお、画面分割符号化装置１は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、画面分割符号化装置１は、コンピュータを、前記した各手段として機能させる画面分割符号化プログラムによって動作する。

［画面分割復号装置の構成］
次に、図３を参照して、本発明の第１実施形態に係る画面分割復号装置２の構成について説明する。ここでは、画面分割復号装置２は、復号手段２０と、重複領域拡張手段２１と、画面合成手段２２と、を備えている。

復号手段２０は、画面分割符号化装置１で符号化されたデータ（多重ビットストリームＤ）を分割画像ごとに分離して復号するものである。ここでは、復号手段２０は、ビットストリーム分離手段２０１と、復号処理手段２０２と、を備えている。

ビットストリーム分離手段２０１は、伝送路を介して入力される、画面分割符号化装置１で符号化された多重ビットストリームＤを、分割画像ごとのビットストリーム（符号化ビットストリームｅ；ｅ_１〜ｅ_ｎ）に分離するものである。なお、このビットストリーム分離手段２０１が行うビットストリームの分離は、画面分割符号化装置１のビットストリーム多重化手段１２２が行う多重化方式に対応したものである。例えば、ビットストリーム多重化手段１２２が、ＭＰＥＧ−２ＴＳにより多重化を行う場合、ビットストリーム分離手段２０１は、ＭＰＥＧ−２ＴＳに準拠した形式でビットストリームの分離を行う。
このビットストリーム分離手段２０１は、分離した分割画像ごとのビットストリーム（符号化ビットストリームｅ；ｅ_１〜ｅ_ｎ）を、復号処理手段２０２に出力する。

復号処理手段２０２は、ビットストリーム分離手段２０１で分離された分割画像ごとのビットストリーム（符号化ビットストリームｅ；ｅ_１〜ｅ_ｎ）を入力とし、分割画像に復号するものである。この復号処理手段２０２が行う復号は、画面分割符号化装置１の符号化処理手段１２１が行う符号化方式に対応したものである。例えば、符号化処理手段１２１がＭＰＥＧ−２符号化方式によって分割画像を符号化する場合、復号処理手段２０２は、ＭＰＥＧ−２に準拠した形式で符号化ビットストリームを復号する。
この復号処理手段２０２は、復号した個々の分割画像のデータ列（分割画像列Ｅ；Ｅ_１〜Ｅ_ｎ）を重複領域拡張手段２１に出力する。

重複領域拡張手段２１は、復号手段２０で復号されたそれぞれの分割画像において、画面分割符号化装置１でサブサンプリングされた領域を、サブサンプリングの間隔でダミーデータを挿入して再配置することで、分割画像の重複領域を拡張するものである。ここでは、重複領域拡張手段２１は、１次元垂直重複領域拡張手段２１１と、１次元水平重複領域拡張手段２１２と、を備えている。

１次元垂直重複領域拡張手段２１１は、復号手段２０で復号された分割画像（分割画像列Ｅ；Ｅ_１〜Ｅ_ｎ）を入力とし、符号化側で垂直方向にサブサンプリングされた領域を垂直方向に拡張させるものである。すなわち、１次元垂直重複領域拡張手段２１１は、符号化側でサブサンプリングされた領域を、サブサンプリングした間隔で再配置することで、サブサンプリングされた領域を拡張した分割画像を生成する。

例えば、１次元垂直重複領域拡張手段２１１は、図６（ｂ）の（ｂ−２）に示した垂直方向にサブサンプリングされた分割画像Ｒ_５において、サンプリングされた領域をサブサンプリングした間隔で再配置し、符号化側でサンプリングにより間引かれた領域には任意の値（ダミーデータ；例えば、“０”）を挿入することで、垂直重複範囲Ｏ_Ｖの重複領域を拡張する。なお、この段階では、垂直重複範囲Ｏ_Ｖの重複領域には、分割画像Ｒ_８の画素値は含まれていないことになる。

この１次元垂直重複領域拡張手段２１１によって、分割画像を垂直方向に拡張することで、分割画像の垂直方向の画素数は、符号化側でサブサンプリングする前の分割画像の垂直方向の画素数と同じになる。
また、１次元垂直重複領域拡張手段２１１は、垂直方向に拡張した分割画像を、それぞれ分割画像のデータ列（分割画像列ｆ；ｆ_１〜ｆ_ｎ）として１次元水平重複領域拡張手段２１２に出力する。

１次元水平重複領域拡張手段２１２は、１次元垂直重複領域拡張手段２１１で垂直方向に拡張された分割画像（分割画像列ｆ；ｆ_１〜ｆ_ｎ）を入力とし、符号化側で水平方向にサブサンプリングされた領域を水平方向に拡張させるものである。すなわち、１次元水平重複領域拡張手段２１２は、１次元垂直重複領域拡張手段２１１と同様、符号化側でサブサンプリングされた領域を、サブサンプリングした間隔で再配置することで、サブサンプリングされた領域を拡張した分割画像を生成する。

例えば、１次元水平重複領域拡張手段２１２は、図６（ａ）の（ａ−２）に示した水平方向にサブサンプリングされた分割画像Ｒ_５において、サンプリングされた領域をサブサンプリングした間隔で再配置し、符号化側でサンプリングにより間引かれた領域には任意の値（ダミーデータ；例えば、“０”）を挿入することで、水平重複範囲Ｏ_Ｈの重複領域を拡張する。なお、この段階では、水平重複範囲Ｏ_Ｈの重複領域には、分割画像Ｒ_６の画素値は含まれていないことになる。

この１次元水平重複領域拡張手段２１２によって、分割画像を水平方向に拡張することで、分割画像の水平方向の画素数は、符号化側でサブサンプリングする前の分割画像の水平方向の画素数と同じになる。
また、１次元水平重複領域拡張手段２１２は、水平方向に拡張した分割画像を、それぞれ分割画像のデータ列（分割画像列Ｆ；Ｆ_１〜Ｆ_ｎ）として画面合成手段２２に出力する。

画面合成手段２２は、重複領域拡張手段２１で拡張された重複領域を含んだ分割画像を合成して画面を再構成するものである。
なお、重複領域拡張手段２１で拡張された分割画像の重複領域において、符号化側でサンプリングにより間引かれた領域には任意の値（例えば、“０”）が挿入されている。また、当該分割画像に隣接する他の分割画像の重複領域においても、符号化側でサンプリングにより間引かれた領域には任意の値（例えば、“０”）が挿入されている。しかし、隣接する分割画像の重複領域同士は、それぞれの画素を有意な画素で補完することで、重複領域を再現できる。

よって、画面合成手段２２は、分割画像を、図４（ａ）に示すように、分割境界Ｌごとに図示を省略したメモリ上に配置し、重複領域については、それぞれ隣接する分割画像の重複領域を相互に補完して生成し、メモリ上に配置する。これによって、画面合成手段２２は、画像を構成する画面（フレーム画像）を順次再構成し、再構成動画像Ｇとして出力する。

このように画面分割復号装置２を構成することで、画面分割復号装置２は、画面分割符号化装置１で符号化された動画像データ（多重ビットストリーム）を、復号することができる。
なお、画面分割復号装置２は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、画面分割復号装置２は、コンピュータを、前記した各手段として機能させる画面分割復号プログラムによって動作する。

［画面分割符号化装置の動作］
次に、図８を参照（構成については適宜図２参照）して、本発明の第１実施形態に係る画面分割符号化装置１の動作について説明する。
まず、画面分割符号化装置１は、画面重複分割手段１０によって、入力された符号化対象となる動画像Ａを構成する画面ごとに、予め定めた分割数で、分割境界を挟んで隣接する分割画像の一部領域が重複するように画面を分割する（図４参照；ステップＳ１）。

そして、画面分割符号化装置１は、重複領域サンプリング手段１１によって、ステップＳ１で画面分割された分割画像の重複領域をサブサンプリングして、分割画像を予め定めた大きさの画像（サンプリング後分割画像）に変換する（ステップＳ２）。すなわち、重複領域サンプリング手段１１は、重複領域を含んだ分割画像を、重複領域を含まないで分割した際の大きさに変換する。

具体的には、まず、画面分割符号化装置１は、重複領域サンプリング手段１１の１次元水平重複領域サンプリング手段１１１によって、ステップＳ１で画面分割された分割画像の水平方向の重複領域を、水平方向にサブサンプリングする。これによって、各分割画像の水平方向の画素数は、隣接する分割画像の一部を含みながら、重複領域を含まないで分割した際の水平方向の画素数に減少される（図６（ａ）参照）。

そして、画面分割符号化装置１は、重複領域サンプリング手段１１の１次元垂直重複領域サンプリング手段１１２によって、水平方向に重複領域がサブサンプリングされた分割画像の垂直方向の重複領域を、垂直方向にサブサンプリングする。これによって、各分割画像の垂直方向の画素数は、隣接する分割画像の一部を含みながら、重複領域を含まないで分割した際の垂直方向の画素数に減少される（図６（ｂ）参照）。

その後、画面分割符号化装置１は、符号化手段１２の符号化処理手段１２１によって、ステップＳ２で重複領域がサブサンプリングされた分割画像を、予め定めた符号化方式、例えば、ＭＰＥＧ−２等で符号化し、符号化ビットストリームｄを生成する（ステップＳ３）。これによって、個々の分割画像が個別に符号化されることになる。
そして、画面分割符号化装置１は、符号化手段１２のビットストリーム多重化手段１２２によって、ステップＳ３で生成された符号化ビットストリームｄを、分割画像の数だけ多重化し、多重ビットストリームＤを生成する（ステップＳ４）。

以上の動作によって、画面分割符号化装置１は、動画像Ａを構成する画面を分割して符号化することができる。また、画面分割符号化装置１は、隣接する他の分割画像の画質や動きを符号化に反映させることができ、分割画像間で画質の変化（劣化）を抑えることができる。

［画面分割復号装置の動作］
次に、図９を参照（構成については適宜図３参照）して、本発明の第１実施形態に係る画面分割復号装置２の動作について説明する。
まず、画面分割復号装置２は、復号手段２０のビットストリーム分離手段２０１によって、画面分割符号化装置１（図２参照）で符号化された多重ビットストリームＤを、分割画像ごとの符号化ビットストリームｅに分離する（ステップＳ１０）。

そして、画面分割復号装置２は、復号手段２０の復号処理手段２０２によって、ステップＳ１０で分離された分割画像ごとの符号化ビットストリームｅをそれぞれ復号する（ステップＳ１１）。これによって、図８のステップＳ２で生成したサンプリング後の分割画像が復号されることになる。

その後、画面分割復号装置２は、重複領域拡張手段２１によって、ステップＳ１１で復号されたそれぞれの分割画像において、画面分割符号化装置１でサブサンプリングされた領域を、サブサンプリングの間隔で再配置することで、分割画像の重複領域を拡張する（ステップＳ１２）。

具体的には、まず、画面分割復号装置２は、重複領域拡張手段２１の１次元垂直重複領域拡張手段２１１によって、符号化側で垂直方向にサブサンプリングされた重複領域を、サブサンプリングした間隔で再配置する。これによって、各分割画像は、垂直方向に重複領域を含むように拡張される。ただし、この重複領域のうち、拡張した画素には、実際の画像の画素は含まれておらず、１次元垂直重複領域拡張手段２１１は、当該画素に任意の値（例えば、“０”）を挿入する。

そして、画面分割復号装置２は、重複領域拡張手段２１の１次元水平重複領域拡張手段２１２によって、符号化側で水平方向にサブサンプリングされた重複領域を、サブサンプリングした間隔で再配置する。これによって、各分割画像は、水平方向に重複領域を含むように拡張される。ただし、この重複領域のうち、拡張した画素には、実際の画像の画素は含まれておらず、１次元水平重複領域拡張手段２１２は、当該画素に任意の値（例えば、“０”）を挿入する。

そして、画面分割復号装置２は、画面合成手段２２によって、ステップＳ１２で重複領域が拡張された分割画像を合成して画面を再構成する（ステップＳ１３）。すなわち、画面合成手段２２は、分割画像の重複領域を、隣接する分割画像の有意な画素で補完することで、重複領域を含んだ分割画像を１つの画面に合成する。

以上の動作によって、画面分割復号装置２は、画面分割符号化装置１で符号化された動画像データ（多重ビットストリーム）を、復号することができる。

以上、本発明の第１実施形態に係る画面分割符号化装置１および画面分割復号装置２の構成および動作について説明したが、第１実施形態に係る画面分割符号化装置１および画面分割復号装置２は、以下に示すように種々変形した実施形態とすることができる。

ここでは、画面分割符号化装置１の重複領域サンプリング手段１１が、水平方向のサブサンプリングを行った後、垂直方向のサブサンプリングを行ったが、先に垂直方向のサブサンプリングを行い、その後、水平方向のサブサンプリングを行っても同様の結果となる。よって、重複領域サンプリング手段１１は、１次元水平重複領域サンプリング手段１１１と、１次元垂直重複領域サンプリング手段１１２とを入れ替えて構成してもよい。

また、画面分割復号装置２の重複領域拡張手段２１においても、同様に、１次元垂直重複領域拡張手段２１１と、１次元水平重複領域拡張手段２１２とを入れ替えて構成してもよい。

また、ここでは、符号化手段１２が、ビットストリーム多重化手段１２２によって、符号化処理手段１２１で符号化された符号化ビットストリームを多重化して１つの多重ビットストリームとした。しかし、符号化ビットストリームを多重化せずに、時間をずらしてそれぞれの符号化ビットストリームを伝送してもよい。また、別々の伝送路を介して、それぞれの符号化ビットストリームを復号側に出力してもよい。この場合、画面分割符号化装置１から、ビットストリーム多重化手段１２２を省き、符号化処理手段１２１が、個々の符号化ビットストリームを出力する。また、この場合、画面分割復号装置２から、ビットストリーム分離手段２０１を省き、復号処理手段２０２が、個々の符号化ビットストリームを入力として受け取る。

また、ここでは、図２に示した重複領域サンプリング手段１１（１次元水平重複領域サンプリング手段１１１，１次元垂直重複領域サンプリング手段１１２）、符号化処理手段１２１や、図３に示した復号処理手段２０２、重複領域拡張手段２１（１次元垂直重複領域拡張手段２１１，１次元水平重複領域拡張手段２１２）を、それぞれ１つの手段として構成したが、これらは、それぞれ、分割画像の数だけ、多重化した構成とし、並列して動作させることとしてもよい。これによって、画面分割符号化装置１および画面分割復号装置２は、符号化／復号処理を高速に行える。

また、ここでは、重複領域サンプリング手段１１（１次元水平重複領域サンプリング手段１１１，１次元垂直重複領域サンプリング手段１１２）が、単純に画素値のサブサンプリングを行うものとしたが、重複領域サンプリング手段１１は、重複領域のサブサンプリングを行う際に、重複領域の任意の画素を、当該画素の周辺画素との間でフィルタリングを行い、フィルタリング後の画素値に対してサブサンプリングを行うこととしてもよい。

例えば、図７に示したフィルタによって、周辺画素を近傍８画素としたとき、任意の中心画素の重みを２／１０、近傍８画素の重みを１／１０として、画素値の加重和を算出し、その加重和を、サブサンプリングを行う際のサンプル値とする。

このように、近傍８画素の画素値が中心画素の画素値に加重され、平滑化されることで、符号化手段１２が符号化を行う際に、サンプリングされなかった画素の画素値が加味されて符号化されることになる。これによって、分割画像間の画質や動きが平滑化され、折り返し歪みが低減され、分割境界における画質劣化をさらに抑えることができる。なお、このフィルタは、加重和以外にも、任意の線形・非線形のフィルタを使用することができる。

また、このフィルタの情報は、画面分割復号装置２においても既知とし、重複領域拡張手段２１（１次元垂直重複領域拡張手段２１１，１次元水平重複領域拡張手段２１２）において、画面分割符号化装置１が行ったフィルタリングに対して逆フィルタリングを行うことで、元の画素値とする。また、このフィルタの情報は、付加情報として、画面分割符号化装置１から、画面分割復号装置２に通知する形態であっても構わない。

また、ここでは、画面合成手段２２の出力を再構成動画像として出力したが、さらに後段に、後処理を行う合成画像後処理手段（図示せず）を備える構成としてもよい。この後処理は、例えば、平滑化処理等である。

≪第２実施形態≫
［画面分割符号化装置の構成］
次に、図１０を参照して、本発明の第２実施形態に係る画面分割符号化装置１Ｂの構成について説明する。ここでは、画面分割符号化装置１Ｂは、画面重複分割手段１０と、重複領域サンプリング手段１１Ｂと、符号化手段１２と、を備えている。重複領域サンプリング手段１１Ｂ以外の構成については、図２で説明した画面分割符号化装置１と同一の構成であるため、同一の符号を付して説明を省略する。

重複領域サンプリング手段１１Ｂは、画面重複分割手段１０で画面分割された分割画像の重複領域をサブサンプリングして、分割画像を予め定めた大きさに変換するものである。この重複領域サンプリング手段１１Ｂは、図２で説明した画面分割符号化装置１の重複領域サンプリング手段１１における１次元水平重複領域サンプリング手段１１１と１次元垂直重複領域サンプリング手段１１２とを、２次元重複領域サンプリング手段１１３に替えて構成している。

２次元重複領域サンプリング手段１１３は、画面重複分割手段１０で画面分割された分割画像（分割画像列Ｂ；Ｂ_１〜Ｂ_ｎ）を入力とし、分割画像の重複領域を水平方向および垂直方向それぞれの方向にサンプル点を交互に設定してサブサンプリングするものである。すなわち、２次元重複領域サンプリング手段１１３は、すべての重複領域に対して、任意のブロック単位で２次元的にサブサンプリングを行う。

このブロックの横の画素数は、重複領域を水平方向に整数で２分割することが可能な画素数とし、ブロックの縦の画素数は、重複領域を垂直方向に整数で２分割することが可能な画素数とする。例えば、縦横ともに１画素の正方形ブロックや、縦１画素、横２画素の横長ブロック等を用いることができる。

このように、２次元重複領域サンプリング手段１１３は、水平方向および垂直方向に重複領域をサブサンプリングすることで、分割画像の画像幅、画像高を、分割境界Ｌ（図４（ａ）参照）で区分される画像幅、画像高とすることができる。
また、２次元重複領域サンプリング手段１１３は、サブサンプリングした分割画像を、それぞれ分割画像のデータ列（分割画像列Ｃ；Ｃ_１〜Ｃ_ｎ）として符号化手段１２に出力する。

ここで、図５および図１２を参照（適宜図１０参照）して、重複領域サンプリング手段１１Ｂ（２次元重複領域サンプリング手段１１３）が行うサンプリングの処理について具体的に説明する。なお、ここでは、一例として、図４で示した分割画像Ｒ_５について、図中右側に隣接する分割画像Ｒ_６との水平方向に重複する重複領域と、図中下側に隣接する分割画像Ｒ_８との垂直方向に重複する重複領域をサンプリングする例について説明する。

なお、２次元重複領域サンプリング手段１１３は、サンプリング対象の重複領域が、水平方向に隣接している分割画像間の重複領域か、垂直方向に隣接している分割画像間の重複領域かを区別することなく、すべての重複領域に対して、２次元的にサブサンプリングを行う。ここでは、図６と対比しやすいように、便宜上、隣接状態を個別に図示している。

図１２（ａ）の（ａ−１）は、分割画像Ｒ_５と分割画像Ｒ_６とが水平方向に隣接した部分である図５（ａ）の領域を部分的に示している。また、図１２（ｂ）の（ｂ−１）は、分割画像Ｒ_５と分割画像Ｒ_８とが垂直方向に隣接した部分である図５（ｂ）の領域を部分的に示している。また、図１２（ｃ）の（ｃ−１）は、分割画像Ｒ_５，Ｒ_６，Ｒ_８，Ｒ_９が隣接した部分である図５（ｃ）の領域を部分的に示している。

いずれの場合も、分割画像Ｒ_８は、２次元重複領域サンプリング手段１１３によって、水平重複範囲Ｏ_Ｈおよび垂直重複範囲Ｏ_Ｖで示される重複領域を、ブロック単位で２次元的にサブサンプリングされることで、図１２（ａ−２），（ｂ−２），（ｃ−２）に示すように、隣接する分割画像を一部含んだ状態で、分割境界Ｌまで水平方向および垂直方向の画素数が減少することになる。

このように、重複領域サンプリング手段１１Ｂは、重複領域をサブサンプリングすることで、重複領域を含んだ分割画像から、隣接する他の分割画像の一部画像を含んで、分割境界Ｌで区分される大きさの画像を生成することができる。なお、重複領域サンプリング手段１１Ｂが行うサブサンプリングの手法を特定する情報（重複領域の範囲、ブロックの形状・サイズ）は、復号側の画面分割復号装置２Ｂにおいて既知としてもよいし、付加情報として、画面分割復号装置２Ｂに通知することとしてもよい。

［画面分割復号装置の構成］
次に、図１１を参照して、本発明の第２実施形態に係る画面分割復号装置２Ｂの構成について説明する。ここでは、画面分割復号装置２Ｂは、復号手段２０と、重複領域拡張手段２１Ｂと、画面合成手段２２Ｂと、を備えている。復号手段２０は、図３で説明した画面分割復号装置２と同一の構成であるため、同一の符号を付して説明を省略する。

重複領域拡張手段２１Ｂは、復号手段２０で復号されたそれぞれの分割画像において、画面分割符号化装置１Ｂでサブサンプリングされた領域を、サブサンプリングの間隔でダミーデータを挿入して再配置することで、分割画像の重複領域を拡張するものである。この重複領域拡張手段２１Ｂは、図３で説明した画面分割復号装置２の重複領域拡張手段２１における１次元垂直重複領域拡張手段２１１と１次元水平重複領域拡張手段２１２とを、２次元重複領域拡張手段２１３に替えて構成している。

２次元重複領域拡張手段２１３は、復号手段２０で復号された分割画像（分割画像列Ｅ；Ｅ_１〜Ｅ_ｎ）を入力とし、符号化側で水平方向および垂直方向に２次元的にサブサンプリングされた領域を水平方向および垂直方向に拡張させるものである。すなわち、２次元重複領域拡張手段２１３は、符号化側でサブサンプリングされた領域を、サブサンプリングした間隔で再配置することで、サブサンプリングされた領域を拡張した分割画像を生成する。

例えば、２次元重複領域拡張手段２１３は、図１２（ａ−２），（ｂ−２），（ｃ−２）に示したサブサンプリングされた分割画像Ｒ_５において、サンプリングされた領域をサブサンプリングした間隔で再配置し、符号化側でサンプリングにより間引かれた領域には任意の値（例えば、“０”）を挿入することで、水平重複範囲Ｏ_Ｈおよび垂直重複範囲Ｏ_Ｖで特定される重複領域を拡張する。なお、この段階では、重複領域には、分割画像Ｒ_５以外の画素値は含まれていないことになる。

この２次元重複領域拡張手段２１３によって、分割画像を水平方向および垂直方向に拡張することで、分割画像の画素数は、符号化側でサブサンプリングする前の分割画像の画素数と同じになる。
また、２次元重複領域拡張手段２１３は、拡張した分割画像を、それぞれ分割画像のデータ列（分割画像列Ｆ；Ｆ_１〜Ｆ_ｎ）として画面合成手段２２Ｂに出力する。

画面合成手段２２Ｂは、重複領域拡張手段２１Ｂで拡張された重複領域を含んだ分割画像を合成して画面を再構成するものである。
なお、重複領域拡張手段２１Ｂで拡張された分割画像の重複領域において、符号化側でサンプリングにより間引かれた領域にはブロック単位で交互に任意の値（例えば、“０”）が挿入されている。また、当該分割画像に隣接する他の分割画像の重複領域においても、符号化側でサンプリングにより間引かれた領域にはブロック単位で交互に任意の値（例えば、“０”）が挿入されている。しかし、隣接する分割画像の重複領域同士は、それぞれの画素を有意な画素で補完することで、重複領域を再現できる。

以上、本発明の第２実施形態に係る画面分割符号化装置１Ｂおよび画面分割復号装置２Ｂの構成について説明したが、画面分割符号化装置１Ｂおよび画面分割復号装置２Ｂは、それぞれ、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、画面分割符号化装置１Ｂは、コンピュータを、前記した各手段として機能させる画面分割符号化プログラムによって動作し、画面分割復号装置２Ｂは、コンピュータを、前記した各手段として機能させる画面分割復号プログラムによって動作する。

また、画面分割符号化装置１Ｂおよび画面分割復号装置２Ｂの動作については、重複領域を１次元方向にサブサンプリングするか、２次元方向にサブサンプリングするかの違いのみであって、基本的に図８および図９で説明した画面分割符号化装置１および画面分割復号装置２の動作と同じであるため、説明を省略する。

また、画面分割符号化装置１Ｂは、画面分割符号化装置１の変形例と同様に、符号化ビットストリームを多重化せずに、時間をずらして伝送したり、別々の伝送路を介して、復号側に出力したりしてもよい。また、画面分割符号化装置１Ｂは、重複領域のサブサンプリングを行う際に、重複領域の任意の画素と、当該画素の周辺画素とでフィルタリングを行い、フィルタリング後の画素値に対してサブサンプリングを行うこととしてもよい。

１ 画面分割符号化装置
１０ 画面重複分割手段
１１ 重複領域サンプリング手段
１１１ １次元水平重複領域サンプリング手段
１１２ １次元垂直重複領域サンプリング手段
１１３ ２次元重複領域サンプリング手段
１２ 符号化手段
１２１ 符号化処理手段
１２２ ビットストリーム多重化手段
２ 画面分割復号装置
２０ 復号手段
２０１ ビットストリーム分離手段
２０２ 復号処理手段
２１ 重複領域拡張手段
２１１ １次元垂直重複領域拡張手段
２１２ １次元水平重複領域拡張手段
２１３ ２次元重複領域拡張手段
２２ 画面合成手段

Claims (7)

1. 画像を予め定めた大きさに画面分割して符号化する画面分割符号化装置であって、
   前記画像を前記予め定めた大きさの画像に画面分割する際に、分割境界を挟んで予め定めた範囲をそれぞれ隣接する分割画像に重複して含むように前記画像を画面分割する画面重複分割手段と、
   この画面重複分割手段で画面分割された分割画像の重複領域を、当該重複領域を含む他の分割画像と不連続となるようにサブサンプリングして、当該分割画像を前記予め定めた大きさに変換する重複領域サンプリング手段と、
   この重複領域サンプリング手段で変換された複数の分割画像をそれぞれ符号化して符号化データを生成する符号化手段と、
   を含むことを特徴とする画面分割符号化装置。
2. 画像を予め定めた大きさに画面分割して符号化する画面分割符号化装置であって、
   前記画像を前記予め定めた大きさの画像に画面分割する際に、分割境界を挟んで予め定めた範囲をそれぞれ隣接する分割画像に重複して含むように前記画像を画面分割する画面重複分割手段と、
   この画面重複分割手段で画面分割された分割画像の重複領域をサブサンプリングして、前記分割画像を前記予め定めた大きさに変換する重複領域サンプリング手段と、
   この重複領域サンプリング手段で変換された複数の分割画像をそれぞれ符号化して符号化データを生成する符号化手段と、を備え、
   前記重複領域サンプリング手段は、
   水平方向に隣接する前記分割画像間で重複する重複領域について、当該重複領域を水平方向にサブサンプリングする１次元水平重複領域サンプリング手段と、
   垂直方向に隣接する前記分割画像間で重複する重複領域について、当該重複領域を垂直方向にサブサンプリングする１次元垂直重複領域サンプリング手段と、
   を備えることを特徴とする画面分割符号化装置。
3. 画像を予め定めた大きさに画面分割して符号化する画面分割符号化装置であって、
   前記画像を前記予め定めた大きさの画像に画面分割する際に、分割境界を挟んで予め定めた範囲をそれぞれ隣接する分割画像に重複して含むように前記画像を画面分割する画面重複分割手段と、
   この画面重複分割手段で画面分割された分割画像の重複領域をサブサンプリングして、前記分割画像を前記予め定めた大きさに変換する重複領域サンプリング手段と、
   この重複領域サンプリング手段で変換された複数の分割画像をそれぞれ符号化して符号化データを生成する符号化手段と、を備え、
   前記重複領域サンプリング手段は、
   前記分割画像の重複領域を水平方向および垂直方向それぞれの方向にサンプル点を交互に設定してサブサンプリングする２次元重複領域サンプリング手段を備えることを特徴とする画面分割符号化装置。
4. 前記重複領域サンプリング手段は、前記重複領域の各画素を、当該画素の周辺画素との間でフィルタリングを行った後、サブサンプリングを行うことを特徴とする請求項１から請求項３のいずれか一項に記載の画面分割符号化装置。
5. 画像を予め定めた大きさに画面分割して符号化するために、コンピュータを、
   前記画像を前記予め定めた大きさの画像に画面分割する際に、分割境界を挟んで予め定めた範囲をそれぞれ隣接する分割画像に重複して含むように前記画像を画面分割する画面重複分割手段、
   この画面重複分割手段で画面分割された分割画像の重複領域を、当該重複領域を含む他の分割画像と不連続となるようにサブサンプリングして、当該分割画像を前記予め定めた大きさに変換する重複領域サンプリング手段、
   この重複領域サンプリング手段で変換された複数の分割画像をそれぞれ符号化して多重化することで符号化データを生成する符号化手段、
   として機能させるための画面分割符号化プログラム。
6. 画像を予め定めた大きさの画像に画面分割する際に、分割境界を挟んで予め定めた範囲をそれぞれ隣接する分割画像に重複して含むように前記画像を画面分割する画面重複分割手段と、この画面重複分割手段で画面分割された分割画像の重複領域をサブサンプリングして、前記分割画像を前記予め定めた大きさに変換する重複領域サンプリング手段と、この重複領域サンプリング手段で変換された複数の分割画像をそれぞれ符号化して符号化データを生成する符号化手段と、を備えた画面分割符号化装置で符号化された符号化データを復号する画面分割復号装置であって、
   前記符号化データをそれぞれの分割画像のデータに復号する復号手段と、
   この復号手段で復号されたそれぞれの分割画像において、前記画面分割符号化装置でサブサンプリングされた領域に、前記サブサンプリングの間隔でダミーデータを挿入することで、当該分割画像に対応した重複領域を拡張する重複領域拡張手段と、
   この重複領域拡張手段で拡張された重複領域におけるダミーデータを隣接する分割画像間で補完することで、前記分割画像を合成して画面を再構成する画面合成手段と、
   を備えることを特徴とする画面分割復号装置。
7. 画像を予め定めた大きさの画像に画面分割する際に、分割境界を挟んで予め定めた範囲をそれぞれ隣接する分割画像に重複して含むように前記画像を画面分割する画面重複分割手段と、この画面重複分割手段で画面分割された分割画像の重複領域をサブサンプリングして、前記分割画像を前記予め定めた大きさに変換する重複領域サンプリング手段と、この重複領域サンプリング手段で変換された複数の分割画像をそれぞれ符号化して符号化データを生成する符号化手段と、を備えた画面分割符号化装置で符号化された符号化データを復号するために、コンピュータを、
   前記符号化データをそれぞれの分割画像のデータに復号する復号手段、
   この復号手段で復号されたそれぞれの分割画像において、前記画面分割符号化装置でサブサンプリングされた領域に、前記サブサンプリングの間隔でダミーデータを挿入することで、当該分割画像に対応した重複領域を拡張する重複領域拡張手段、
   この重複領域拡張手段で拡張された重複領域におけるダミーデータを隣接する分割画像間で補完することで、前記分割画像を合成して画面を再構成する画面合成手段、
   として機能させるための画面分割復号プログラム。

Images