JP3895764B1 - 画像処理システム - Google Patents

Abstract

【課題】
処理対象となる画像データを、ＤＣＴ変換を用いて画像データの圧縮を行う画像形式に変換するに際して、その圧縮率を高めるための画像データを生成する画像処理システムを提供することを目的とする。
【解決手段】
処理対象となった元画像データを構成するフレームを所定数毎に一組として抽出するフレーム抽出部と、フレームにおける画像を、所定の大きさのブロックに分割する分割部と、一組としたフレームにおける、同じ位置にある各ブロックを一組として、それらのブロックの画像を組み合わせてマクロブロックの画像を生成するマクロブロック生成部と、マクロブロックの画像を埋め込むことにより出力画像データを生成する出力画像データ生成部と、を有しており、マクロブロック生成部は、一組としたブロックについて、対称性が高くなるように各ブロックの画像を組み合わせてマクロブロックを生成する、画像処理システムである。
【選択図】 図１

Description

本発明は、処理対象となる画像データを、ＤＣＴ変換（離散コサイン変換）を用いて画像データの圧縮を行う画像形式（画像フォーマット）に変換するに際して、その圧縮率を高めるための画像データ（出力画像データ）を生成する画像処理システムに関する。

静止画像データや動画像データ（本明細書ではこれらを総称して「画像データ」という。なお「画像データ」により表示される内容を「画像」という）はデータ量が多いので、従来よりそのデータ量を出来るだけ少なくするための圧縮方法を用いた画像形式が考えられている。そこで圧縮率の高い画像形式の一つとして、ＪＰＥＧやＭＰＥＧのようなＤＣＴ変換を用いた画像形式が存在し、広く利用されている。

例えばＪＰＥＧを例に取ってその圧縮方法を説明すると、まず画像データを８ピクセル×８ピクセルのブロックに分割し、そのブロック単位で、ＤＣＴ変換により周波数領域へ変換する。そして変換したデータに対して量子化により情報量を削減して、ハフマン符号によるエントロピー符号化を行うことで、圧縮が行われる。なおＪＰＥＧ形式の画像データを開く（展開する）場合にはその逆の処理が行われる。

このような方法を用いることによって、画像データのデータ量を減らすことが出来るので、有益である。しかしデータ量を減らすための試みは続けられており、例えば下記特許文献１や特許文献２に記載のような方法でデータ量の削減を行う発明がある。

特開平７−５０８３１号公報 特開昭６３−１４８７８９号公報

上述のような発明を用いることで、データ量を削減することは可能となる。しかしその処理はＤＣＴ変換などに依存しており、当該画像形式で定められた以上にデータ量の削減を望むことは難しい。

その一方で、処理能力が高くないコンピュータ端末や携帯端末（携帯電話機やＰＨＳ、ＰＤＡなど）で画像データの処理を行う場合には、データ量が少ない方がよい。特に動画像データのようにデータ量が多く、システム負荷も大きい場合には、その要望は強い。特に携帯端末で画像データの処理を行う場合には、その処理能力が高くないことから、データ量を減らすことが望まれている。しかし画像データを閲覧するユーザからすると、高画質な画像データが望まれている。現在の携帯端末で画像データの処理を行う場合には、１秒間あたりのフレーム数を減らしたり、画像データの大きさ（縦横の大きさ）を小さくしたりするなどで対応しているが、その場合、表示されるキャラクタなどが滑らかに動かない、画質が良くない、画面が小さいなどの問題があるが、この改善が待望されている。

一般的にデータ量を削減すると画質は劣化する（画質が悪くなる）ことが知られている。データ量を優先すると画質が劣化せざるを得ず、ユーザからの高画質な画像データに対する要望に応えることが難しくなるジレンマが存在し、その兼ね合いが重要となる。

そこで本願発明者は、ＤＣＴ変換の特性に着目することによって、処理対象となる画像データについてＤＣＴ変換の効率を上げる為の画像データを生成する画像処理システムを発明した。つまり、処理対象となった画像データに対して、直接、ＤＣＴ変換などを行うのではなく、一度、本願発明によって生成された画像データ（これを「出力画像データ」という）を生成した上で、その出力画像データにＤＣＴ変換等の通常の圧縮処理を行う。これによって、ＤＣＴ変換の効率を上げられるので、圧縮率を高められる。圧縮率を高められるので、より多くの情報を画像データに含めることが出来、高画質化にも繋がる。

このＤＣＴ変換の特性としては、シンメトリー（対称）な画像データが表示されるブロックについてはＤＣＴ変換の効率が著しく良いという点である。つまり処理対象となる画像データについて、直接ＤＣＴ変換などの一連の処理を行った上で圧縮処理を行うよりも、処理対象となる画像データについて、ＤＣＴ変換の効率を上げるために、当該画像データを対称または対称に近いブロックから構成される出力画像データに変換した上で、その出力画像データに対してＤＣＴ変換などの処理を行えば、圧縮率を高めることが出来るのである。

請求項１の発明は、ＤＣＴ変換の効率を向上させる出力画像データを生成する出力画像データ生成処理部を有する画像処理システムであって、前記出力画像データ生成処理部は、処理対象となった元画像データを構成するフレームを所定数毎に一組として抽出するフレーム抽出部と、前記フレームにおける画像を、所定の大きさのブロックに分割する分割部と、前記一組としたフレームにおける、同じ位置にある各ブロックを一組として、それらのブロックの画像を組み合わせてマクロブロックの画像を生成するマクロブロック生成部と、前記マクロブロックの画像を埋め込むことにより出力画像データを生成する出力画像データ生成部と、を有しており、前記マクロブロック生成部は、前記一組としたブロックについて、対称性が高くなるように各ブロックの画像を組み合わせて前記マクロブロックを生成する、画像処理システムである。

本発明により生成された出力画像データは、対称性が高い画像を含むように元画像データから加工されている。従って、ＤＣＴ変換を用いた画像形式、例えばＪＰＥＧ形式で出力画像データを圧縮すれば、元画像データをそのままＪＰＥＧ形式で圧縮するよりも高い圧縮率が得られる。これは特に元画像データがアニメーションのような場合に著しい効果が発揮される。アニメーションの場合には、例えば会話のシーンでは、キャラクタの口だけが動くフレームが連続する。そしてその口はフレームにおいてごく一部分にしか過ぎない。してみると、他の部分は同じような画像で構成されていることとなる。その為、出力画像データは、対称性の高い画像とすることが出来るので、ＪＰＥＧ圧縮の際のＤＣＴ変換の効率を著しく向上させることが出来、結果として圧縮率が向上される。

請求項２の発明において、前記マクロブロック生成部は、更に、前記一組とした各ブロックについて、二つのブロックごとのピーク信号対雑音比を算出し、算出したピーク信号対雑音比を用いて、最適なパターンの組み合わせを判定し、そのパターンの画像をマクロブロックの画像として生成する、画像処理システムである。

対称性の高いマクロブロックの画像を生成するためには本発明のように、一組とした各ブロックについて二つずつのブロックの画像の組み合わせを作り、その組み合わせにおいて、ピーク信号対雑音比を算出する。ピーク信号対雑音比は、二つの画像の類似性を判定する指標値であるので、これを持ち入れば、当該二つの画像が類似しているかどうか、判定できる。そして各組み合わせについてピーク信号対雑音比を算出することによって、一組とした各ブロックをどのように組み合わせればよいのか、判定できる。そしてそのパターンで組み合わせを行えばよい。

請求項３の発明において、前記マクロブロック生成部は、更に、前記一組とした各ブロックについて、予め定められた組み合わせのパターンに応じて、各ブロックの画像を組み合わせ、その中から対称性について最適な組み合わせのパターンの画像をマクロブロックの画像として生成する、画像処理システムである。

対称性の高いマクロブロックの画像を生成するためには本発明のように、予め定められた組み合わせのパターンについて、各々画像を組み合わせ、その中からもっとも良い画像の組み合わせを選択して、マクロブロックの画像として生成すればよい。

請求項４の発明において、前記出力画像データ生成部は、更に、前記生成したマクロブロックと、該マクロブロックのフレームの組の前のフレームの組における、同じ位置のマクロブロックとの類似性を判定し、非類似と判定した場合には前記生成したマクロブロックの画像を出力画像データとして埋め込む、画像処理システムである。

出力画像データを生成する際に、以前のフレームの組において同じようなマクロブロックがある場合には、その画像を使用すると、より出力画像データのデータ量を減らすことが出来る。

請求項５の発明において、前記類似性の判定は、各マクロブロックのピーク信号対雑音比を算出し、それが予め定められた閾値以上の場合には非類似であるとし、閾値未満の場合には類似であると判定する、画像処理システムである。

類似性の判定は本発明のような方法を用いると良い。

請求項６の発明は、ＤＣＴ変換の効率を向上させる出力画像データを生成する出力画像データ生成処理部を有する画像処理システムであって、前記出力画像データ生成処理部は、処理対象となった動画像データを構成するフレームについて四枚毎に一組として抽出するフレーム抽出部と、前記フレームにおける画像を、所定の大きさのブロックに分割する分割部と、前記一組とした四枚のフレームにおける、同じ位置にある各ブロックを一組とし、各一組とした四つのブロックについて、対称性の判定を行うための、予め定められた組み合わせのパターンに応じて、各ブロックの画像を組み合わせ、そのフレームレートのもっとも小さいパターンのブロックの組み合わせの画像を、所定の大きさのマクロブロックの画像として生成するマクロブロック生成部と、前記生成したマクロブロックで用いた組み合わせのパターンを識別する情報を、各マクロブロックごとに参照テーブルに格納する参照テーブル処理部と、前記生成したマクロブロックと、該マクロブロックのフレームの組の前のフレームの組における、同じ位置のマクロブロックとの類似性を判定し、非類似と判定した場合には前記生成したマクロブロックの画像を順に埋め込むことにより出力画像データを生成する出力画像データ生成部と、各マクロブロックについて、該マクロブロックのフレームの組の前のフレームの組の同じ位置のマクロブロックの画像を使用するか否かを示す情報を、各マクロブロックごとに存在テーブルに格納する存在テーブル処理部と、を有する画像処理システムである。

上述の発明は、本発明のように構成することも出来る。本発明により生成された出力画像データは、対称性が高い画像を含むように元画像データから加工されている。従って、ＤＣＴ変換を用いた画像形式、例えばＪＰＥＧ形式で出力画像データを圧縮すれば、元画像データをそのままＪＰＥＧ形式で圧縮するよりも高い圧縮率が得られる。これは特に元画像データがアニメーションのような場合に著しい効果が発揮される。アニメーションの場合には、例えば会話のシーンでは、キャラクタの口だけが動くフレームが連続する。そしてその口はフレームにおいてごく一部分にしか過ぎない。してみると、他の部分は同じような画像で構成されていることとなる。その為、出力画像データは、対称性の高い画像とすることが出来るので、ＪＰＥＧ圧縮の際のＤＣＴ変換の効率を著しく向上させることが出来、結果として圧縮率が向上される。

請求項７の発明において、前記組み合わせのパターンとして、四つのブロックをそのまま組み合わせるパターンと、四つのブロックのうちの二つのブロックについて、一つのブロックを基準として他の一つのブロックをそれに反転するように組み合わせ、四つのブロックのうちの他の二つのブロックはそのまま組み合わせるパターンと、四つのブロックを二つのブロックに組として分けて、各組の二つのブロックについて、一つのブロックを基準として他の一つのブロックをそれに反転するように組み合わせるパターンと、四つのブロックのうち、一つのブロックを基準として他のブロックがそれに反転するように組み合わせるパターンと、のうちいずれか一以上を含む、画像処理システムである。

四つのブロックを組み合わせるパターンとしては本発明のようなパターンがある。これらを用いることによって対称性の判定に用いると良い。

請求項８の発明は、ＤＣＴ変換の効率を向上させる出力画像データを生成する出力画像データ生成処理部を有する画像処理システムであって、前記出力画像データ生成処理部は、処理対象となった動画像データを構成するフレームについて四枚毎に一組として抽出するフレーム抽出部と、前記フレームにおける画像を、所定の大きさのブロックに分割する分割部と、前記一組とした四枚のフレームにおける、同じ位置にある各ブロックを一組とし、各一組とした四つのブロックについて、二つのブロックごとのピーク信号対雑音比を算出し、算出したピーク信号対雑音比を用いて、最適な組み合わせのパターンを判定し、そのパターンの画像をマクロブロックの画像として生成するマクロブロック生成部と、前記生成したマクロブロックで用いた組み合わせのパターンを識別する情報を、各マクロブロックごとに参照テーブルに格納する参照テーブル処理部と、前記生成したマクロブロックと、該マクロブロックのフレームの組の前のフレームの組における、同じ位置のマクロブロックとの類似性を判定し、非類似と判定した場合には前記生成したマクロブロックの画像を順に埋め込むことにより出力画像データを生成する出力画像データ生成部と、各マクロブロックについて、該マクロブロックのフレームの組の前のフレームの組の同じ位置のマクロブロックの画像を使用するか否かを示す情報を、各マクロブロックごとに存在テーブルに格納する存在テーブル処理部と、を有しており、前記マクロブロック生成部は、前記一組とした各ブロックについて、対称性が高くなるように該ブロックの画像を組み合わせて前記マクロブロックを生成する、画像処理システムである。

上述の発明は、本発明のように構成することも出来る。本発明により生成された出力画像データは、対称性が高い画像を含むように元画像データから加工されている。従って、ＤＣＴ変換を用いた画像形式、例えばＪＰＥＧ形式で出力画像データを圧縮すれば、元画像データをそのままＪＰＥＧ形式で圧縮するよりも高い圧縮率が得られる。これは特に元画像データがアニメーションのような場合に著しい効果が発揮される。アニメーションの場合には、例えば会話のシーンでは、キャラクタの口だけが動くフレームが連続する。そしてその口はフレームにおいてごく一部分にしか過ぎない。してみると、他の部分は同じような画像で構成されていることとなる。その為、出力画像データは、対称性の高い画像とすることが出来るので、ＪＰＥＧ圧縮の際のＤＣＴ変換の効率を著しく向上させることが出来、結果として圧縮率が向上される。

請求項９の発明において、前記マクロブロック生成部は、各二つのブロックの組み合わせで算出したピーク信号対雑音比について、いずれの組み合わせにおいてもピーク信号対雑音比が所定の条件を満たさない場合には、四つのブロックをそのまま組み合わせるパターンで組み合わせることを判定し、いずれの組み合わせにおいてもピーク信号対雑音比が所定の条件を満たす場合には、四つのブロックのうち、一つのブロックを基準として他のブロックがそれに反転するように組み合わせるパターンで組み合わせることを判定し、一つの組み合わせにおいてピーク信号対雑音比が所定の所定の条件を満たす場合には、四つのブロックのうちの二つのブロックについて、一つのブロックを基準として他の一つのブロックをそれに反転するように組み合わせ、四つのブロックのうちの他の二つのブロックはそのまま組み合わせるパターンで組み合わせることを判定し、二つ以上の組み合わせにおいてピーク信号対雑音比が所定の所定の条件を満たす場合には、条件を満たした二つのブロックの組み合わせのうち、それらにおいて各ブロックが重ならないような二つのブロックの組み合わせがあるか否かを判定し、それがある場合には、四つのブロックを二つのブロックに組として分けて、各組の二つのブロックについて、一つのブロックを基準として他の一つのブロックをそれに反転するように組み合わせるパターンで組み合わせることを判定し、前記条件を満たした二つのブロックの組み合わせのうち、それらにおいて各ブロックが重ならないような二つのブロックの組み合わせがあるか否かを判定し、それがない場合には、四つのブロックのうちの二つのブロックについて、一つのブロックを基準として他の一つのブロックをそれに反転するように組み合わせ、四つのブロックのうちの他の二つのブロックはそのまま組み合わせるパターンで組み合わせることを判定する、画像処理システムである。

マクロブロック判定処理については、本発明のように行うと良い。これによっても同様な効果を得ることが出来る。またこの場合、上述の発明と異なり、一組とした四つのブロックについて、各パターンで実際に組み合わせを行う必要がなく、二つずつのブロックのピーク信号対雑音比を算出して、比較するだけでよい。従って処理時間も少なくなるし、処理速度も速くなる。

請求項１０の発明は、請求項１乃至請求項９のいずれかに記載の画像処理システムにおいて生成された出力画像データに対して、ＤＣＴ変換を用いた画像形式により生成された新画像データを表示するための表示画像データ生成処理部を有する画像処理システムであって、前記表示画像データ生成処理部は、前記新画像データが前記画像形式の通常の展開方法により展開された展開画像データを、所定のマクロブロックの大きさに分割するマクロブロック分割部と、前記展開画像データについて分割した画像に基づいて、各フレームの組ごとに、マクロブロックの画像を含む中間画像データを生成する中間画像データ生成部と、各フレームの組の中間画像データを、所定のマクロブロックの大きさに分割し、分割されたマクロブロックの大きさの画像を、元のフレームの位置に戻すことにより、各組のフレームの画像を生成するフレーム画像生成部と、前記生成したフレームの画像を順番に並べることで表示画像データを生成する表示画像データ生成部と、を有する画像処理システムである。

上述の各発明において生成された出力画像データに基づいて、ＪＰＥＧ圧縮などで圧縮された新画像データが生成され、その新画像データが画像を見ようとするユーザのコンピュータ端末や携帯端末でダウンロードされる。ところがこの新画像データをＪＰＥＧ圧縮に対する通常の展開形式で展開したのみでは、見ることが出来ない。そこで本発明のような処理を行うことで、新画像データをユーザが見ることが出来る。

請求項１１の発明は、請求項６乃至請求項９に記載の画像処理システムにおいて生成された出力画像データに対して、ＤＣＴ変換を用いた画像形式により生成された新画像データを表示するための表示画像データ生成処理部を有する画像処理システムであって、前記表示画像データ生成処理部は、前記新画像データが前記画像形式の通常の展開方法により展開された展開画像データを、所定のマクロブロックの大きさに分割するマクロブロック分割部と、前記展開画像データについて分割した画像に基づいて、前記存在テーブルを参照することにより、以前のフレームの組の同じ位置のマクロブロックの画像を使用するか否かを判定して、使用していない場合には前記展開画像データにおいて分割した画像を順に、該マクロブロックの位置における画像とし、使用している場合には以前のフレームの組の同じ位置のマクロブロックの画像を、該マクロブロックの位置における画像とすることにより、中間画像データを生成する中間画像データ生成部と、各フレームの組の中間画像データを、所定のマクロブロックの大きさに分割し、前記参照テーブルを参照することにより、該マクロブロックの組み合わせのパターンを判定し、そのパターンに応じて該分割されたマクロブロックの大きさの画像を、元のフレームの位置に戻すことにより、各組のフレームの画像を生成するフレーム画像生成部と、前記生成したフレームの画像を順番に並べることで表示画像データを生成する表示画像データ生成部と、を有する画像処理システムである。

上述の発明は、本発明のように構成することも出来る。上述の各発明において生成された出力画像データに基づいて、ＪＰＥＧ圧縮などで圧縮された新画像データが生成され、その新画像データが画像を見ようとするユーザのコンピュータ端末や携帯端末でダウンロードされる。ところがこの新画像データをＪＰＥＧ圧縮に対する通常の展開形式で展開したのみでは、見ることが出来ない。そこで本発明のような処理を行うことで、新画像データをユーザが見ることが出来る。

本発明の画像処理システムを用いることによって、ＤＣＴ変換を用いる画像形式のデータ量の削減を実現することが可能となる。これによって、処理能力が高くないコンピュータ端末や携帯端末であっても、画像データの処理を容易に行うことが出来る。例えば携帯端末で従来よりも高画質の動画像データを再生することも可能となる。

更に、本願発明の他の特徴としては、ＤＣＴ変換を用いた画像形式、例えばＪＰＥＧ形式やＭＰＥＧ形式をサポートしている端末に本願発明を組み込むだけで圧縮率の高い画像データを利用することが出来ることになる点である。つまり全く新しい画像形式で圧縮率を高めた場合、コンピュータ端末や携帯端末がその画像形式をサポートしていないと使用することができない。そして画像形式の普及には極めて多大な労力が必要とされる。しかし本願発明では、従来より普及しているＤＣＴ変換を用いた画像形式で更に圧縮率を高めるための出力画像データを生成しているに過ぎないので、ほぼ全てのコンピュータ端末や携帯端末で、本願発明の機能をプラグインなどにより組み込めば、利用可能とすることができる。

本発明の画像処理システムでは、処理対象となる画像データに基づいて、ＤＣＴ変換の前に、本発明の処理を実行した出力画像データを生成する（これを「出力画像データ」という）。そしてその出力画像データに対して、通常のＤＣＴ変換などを行うことにより、圧縮率を向上させて、ＤＣＴ変換を用いる画像形式の画像データとすることが出来る。ＤＣＴ変換を用いた画像形式の一つとしてＪＰＥＧ形式やＭＰＥＧ形式があるが、それらに限定されない。本発明の概念図を図１に示す。

本発明の画像処理システムのシステム構成の概念図を図２に示す。図２（ａ）には処理対象となる画像データの圧縮処理を行うコンピュータ端末や携帯端末における概念図、図２（ｂ）には図２（ａ）で圧縮された画像データについて、コンピュータ端末や携帯端末で展開する（表示する）際の概念図を示す。

第１の端末１は、処理対象となった画像データを圧縮するコンピュータ端末や携帯端末であって、処理対象となった画像データに対して本願発明の処理を行うことで（出力画像データ生成処理）、出力画像データを生成する。そして生成された出力画像データに対して、ＤＣＴ変換を用いた通常の圧縮処理を行うことによって、圧縮率が向上した（即ち、データ量が少なくなった）ＤＣＴ変換を用いる画像形式の画像データを生成する。

第２の端末２は、第１の端末１で圧縮処理されたＤＣＴ変換を用いる画像形式の画像データについて、逆ＤＣＴ変換（ＩＤＣＴ変換）を用いた通常の展開処理を行い、その後、本願発明の展開処理（表示画像データ生成処理）を行うことによって、画像データの表示を行う。

なお第１の端末１、第２の端末２には本発明の処理を実行するためのＣＰＵなどの演算装置、メモリなどの記憶装置を備えており、本発明の各手段（各機能）が具現化されたプログラムやモジュールが演算装置に読み込まれて、その処理を実行する。また必要に応じて、記憶装置から処理に必要なデータを抽出して処理を実行し、場合によっては記憶装置にデータを記憶させながら処理を行う。

第１の端末１は元画像データ読込部３と出力画像データ生成処理部４と画像データ圧縮処理部５とを有しており、第２の端末２は新画像データ読込部６と画像データ展開処理部７と表示画像データ生成処理部８とを有する。

元画像データ読込部３は、処理対象となる画像データを第１の端末１に読み込む。

出力画像データ生成処理部４は、元画像データ読込部３で読み込んだ元画像データについて、所定の処理を行うことにより、対称または対称に近いブロックの組合せ（後述するブロックの組合せを「マクロブロック」という）を生成して、マクロブロックが埋め込まれた画像データ（出力画像データ）を生成する。

画像データ圧縮処理部５は、出力画像データ生成処理部４で生成した出力画像データについて、通常のＤＣＴ変換を用いた圧縮処理を行い、ＤＣＴ変換を用いた画像形式の画像データ（新画像データ）を生成する。例えば新画像データの画像形式がＪＰＥＧ形式の場合には、出力画像データについて、ＪＰＥＧ圧縮を行うことによって、ＪＰＥＧ形式の新画像データを生成する。

新画像データ読込部６は、第１の端末１の画像データ圧縮処理部５で生成した、ＤＣＴ変換を用いた画像形式の新画像データを第２の端末２に読み込む。

画像データ展開処理部７は、新画像データ読込部６で読み込んだ新画像データについて、逆ＤＣＴ変換などを用いた通常の展開処理を行う。例えば新画像形式がＪＰＥＧ形式の場合、新画像データ読込部６で読み込んだＪＰＥＧ形式の画像データを、第２の端末２で表示するための通常のＪＰＥＧ圧縮に対する展開処理を行う。

表示画像データ生成処理部８は、画像データ展開処理部７で展開した画像データについて、出力画像データ生成処理部４と逆の処理を行うことにより表示画像データを生成し、第２の端末２で表示画像データの表示を行う。

以上が第１の端末１、第２の端末２に備えられる主な構成であるが、上述のように本願発明の画像処理システムには出力画像データ生成処理部４、表示画像データ生成処理部８が該当する。また画像データの圧縮のみを行う場合には出力画像データ生成処理部４のみ、画像データの展開のみを行う場合には表示画像データ生成処理部８のみであっても良い。例えばあるサーバで圧縮された画像データを携帯端末でダウンロードして閲覧するような場合には、第１の端末１にはサーバが該当し、そのサーバの画像処理システムとして出力画像データ生成処理部４が本願発明として該当する。また第２の端末２には携帯端末が該当し、その携帯端末の画像処理システムとして表示画像データ生成処理部８が本願発明として該当する。

次に本願発明の画像処理システムを用いた元画像データの圧縮の処理プロセスの一例を図３のフローチャートを用いて説明する。以下の説明では、動画像データについて処理を行う場合を説明するが、動画像データは連続する複数の静止画像データと考えられるので、複数の静止画像データについて処理を行う場合であっても同様に実現できる。なお動画像データを構成する静止画像データを、フレームという。

まず処理対象となる動画像データを元画像データとして第１の端末１に読み込む（Ｓ１００）。この読み込んだ元画像データは、第１の端末１の記憶装置に記憶される。ここで読み込んだ動画像データは、複数の連続するフレームにより構成されている。そこで、出力画像データ生成処理部４は、この動画像データを構成する各フレームを、所定数毎に１組として記憶装置から抽出する（Ｓ１１０）。例えば動画像データを構成する四つのフレーム毎（好適には連続する四つのフレーム毎）に１組として抽出する。

なお第２の端末２が携帯端末などの場合には、Ｓ１１０の処理の前に、元画像データを小さい解像度にリサイズすることによって、表示される画面の大きさを調節する処理を設けても良い。また元画像データを構成するフレームのうち、フレームの一部を落とすことにより元画像データにおける処理対象となるフレーム数を減らしても良い。

１組とした各フレームについて、所定の大きさのブロックに分割する（Ｓ１２０）。例えば各フレームについて、１６ピクセル×１６ピクセルのブロックに分割する。これを模式的に図４に示す。図４では一つのフレームを複数のブロックに分割した場合であるが、動画像データを構成する各フレームについて、図４のように複数のブロックに分割されている。

このようにして一組とした各フレームについて、同じ位置にある各ブロックを一つの組のブロックとする。ここでは連続する四つのフレームの、同じ位置にあるブロックを一つの組として生成する（Ｓ１３０）。それを模式的に図５に示す。図５では、フレームＡ、Ｂ、Ｃ、Ｄが連続するフレームであって一組となっており、一組となった四つの各フレームで同じ位置にあるブロックＡ、Ｂ、Ｃ、Ｄを一つの組のブロックとしている。なおここでは四つのフレームの各ブロックを一つの組とした場合であるが、それに限定されず、４^ｎ毎にフレームを一つの組とすることも出来る。また連続するフレームを組とすることによって、処理効率を高めているが、連続しないフレーム同士、例えば一つ飛ばしでフレームを組としても良い。

以上のようにしてブロックの組とした後、各ブロックの組において、縦、横、同数ずつにしてブロックを組み合わせて、マクロブロックを生成するが、そのブロックの組合せ方としてもっとも良い組合せ方を決定する（Ｓ１４０）。このような一組としたブロックを、どのようなパターンで組み合わせたら良いのかを判定する処理を「マクロブロック判定処理」と呼ぶこととする。

後のＤＣＴ変換においては、その特性上、対称な部分がもっとも変換効率が良い。そうすると各フレームについて分割したブロックごとにそのままＤＣＴ変換を行うよりも、出来るだけ対称性が高くなるようなブロックの組合せに変更したマクロブロックを生成して、その生成されたマクロブロックが埋め込まれた出力画像データをＤＣＴ変換した方が、ＤＣＴ変換の効率が顕著に向上する。

連続する四つのフレームの同じ位置のブロックが組となっているので、この組において、例えば移動が見られない背景などの画像であれば、ブロック内の画像は同じであることが多い。また移動があっても少しの移動だけであって、大きな移動はないことが多い。そうすると、組となった四つのブロックを組み合わせることによって、対称性の高いマクロブロックを生成することが出来る。

例えば一つのブロックが１６ピクセル×１６ピクセルにより構成されている場合、この四つのブロックを縦に２つずつ、横に２つずつ組合せ、３２ピクセル×３２ピクセルのマクロブロックを生成する。そして各マクロブロックについて、図６に示す１１パターンの組合せを試し、いずれの組合せがもっとも良い組合せであるかを決定する。このマクロブロック判定処理では、後述するような１組としたブロックについて、１１パターンの全てを行い、その中でもっともフレームレートの小さいパターンをマクロブロックの組合せとして決定しているが、１１パターンの全てを行わなくても、いずれか２以上のパターンの組合せを行うことでも良い。

図６のパターン１は四つのブロックを組み合わせても対称またはほぼ対称となるブロックが作れないパターンであり、マクロブロックとして単純に四つのブロックを配置したものである。従ってこのブロックについては圧縮率は通常のＪＰＥＧ圧縮などと同じになる。

パターン２乃至パターン７は、四つのブロックのうち、２つのブロックで対称またはほぼ対称となるブロックの組合せを含むマクロブロックである。パターン２はブロックＡとブロックＢとが対称またはほぼ対称となるブロックの組合せで、パターン３はブロックＡとブロックＣとが対称またはほぼ対称となるブロックの組合せで、パターン４はブロックＡとブロックＤとが対称またはほぼ対称となるブロックの組合せで、パターン５はブロックＢとブロックＣとが対称またはほぼ対称となるブロックの組合せで、パターン６はブロックＢとブロックＤとが対称またはほぼ対称となるブロックの組合せで、パターン７はブロックＣとブロックＤとが対称またはほぼ対称となるブロックの組合せである。

パターン８乃至パターン１０は、四つのブロックのうち、２つずつ対称またはほぼ対称となるブロックの組合せを含むマクロブロックである。パターン８ではブロックＡとブロックＢ、ブロックＣとブロックＤの組合せが対称またはほぼ対称となり、パターン９ではブロックＡとブロックＣ、ブロックＢとブロックＤの組合せが対称またはほぼ対称となり、パターン１０ではブロックＡとブロックＤ、ブロックＢとブロックＣの組合せが対称またはほぼ対称となる。

パターン１１は、四つのブロック全てで対称またはほぼ対称となるブロックの組合せが出来るマクロブロックのパターンである。

組となった四つのブロックがどのような場合に、パターン１、パターン２乃至パターン７、パターン８乃至パターン１０、パターン１１に該当するのかを説明する。なおパターン２乃至パターン７、パターン８乃至パターン１０は、いずれも対称またはほぼ対称となるブロックが異なるだけなので、パターン４、パターン８をそれぞれ代表例として説明する

例えば組となった四つのブロックの画像データが図７に示すような場合、ブロックＡとブロックＤはほぼ同一であるが、ブロックＢとブロックＣは異なっている。そうするとブロックＡとブロックＤを組として、ブロックＤを垂直方向または水平方向のいずれかを軸として反転させることによって、ブロックＡとブロックＤで対称またはほぼ対称が構成できる。してみると、単純にブロックＡ，ブロックＤでＤＣＴ変換を行うよりも、ブロックＡとブロックＤを組として対称またはほぼ対称を生成した上でＤＣＴ変換を行った方が、その効率が良いことは明らかである。

つまり図７に示す四つのブロックについて、縦に２つ、横に２つ配置し、そのうち対称またはほぼ対称となり得るブロックを組み合わせるようにする。そしてほぼ同一であるブロックＡとブロックＤとが対称またはほぼ対称になるように、ブロックＤについては垂直方向または水平方向を軸としてブロックＡに対して反転させる。そうするとこの四つのブロックを用いて図８のようなマクロブロックが生成できる。つまりパターン２乃至パターン７の場合に該当する。単に四つのブロックを組み合わせるよりも、対称性の高いマクロブロックが出来る。

ここでブロックＤを、垂直方向または水平方向を軸としてブロックＡに対して反転して、ブロックＡの対称となるようにする処理とは、図１８に示すように、ブロックＤを構成するピクセルの順番を、ブロックＡを構成するピクセルの順番と逆にすることによって、当該軸を中心としてブロックＡに対して対称になるようにすることである。また、各ブロックをそのまま処理しても良いが、ブロックの大きさが上述のように１６ピクセル×１６ピクセルのような場合には、そのブロックを更に分割して、分割されたブロック（サブブロック）毎に対称性を生成しても良い。これはＪＰＥＧ圧縮の場合、画像データを８ピクセル×８ピクセルのブロックに分割した上でＤＣＴ変換を行うので、本願発明における１６ピクセル×１６ピクセルも同様に行うと良い。これを模式的に図１９乃至図２２に示す。

図１９はブロックＡ、ブロックＤを示したものであり、共に、縦横が０ピクセルから１５ピクセルまでの１６ピクセル×１６ピクセルである。これをブロックＡについて８ピクセル単位で分割したことを模式的に示すのが図２０である。ここで、ブロックＡと対称またはほぼ対称になるようにブロックＤを変形することとなる。なお図１９及び図２０におけるマトリックスの０から１５の数字はピクセルを示しており、図２０におけるＡ１、Ａ２、Ａ３、Ａ４は説明の便宜上、その各ピクセルにおいて表示される画像を示している。

まずサブブロックＡ１、Ａ２に対する対称またはほぼ対称なブロックＤの組合せ方を説明する。なおサブブロックＡ３、Ａ４に対するブロックＤの組合せ方はサブブロックＡ１、Ａ２の場合と同様に行える。

サブブロックＡ１、Ａ２は縦方向のピクセルが０ピクセルから７ピクセルまでで構成されているので、ブロックＤについても縦方向のピクセルが０ピクセルから７ピクセルまでで処理を行う。まずサブブロックＡ１について処理を行うと、サブブロックＡ１は横方向は０ピクセルから７ピクセルまでで構成されている。そうすると、サブブロックＡ１に対称となるようなブロックＤは、サブブロックＡ１の左側にブロックＤの３ピクセルから０ピクセルを配置し、サブブロックＡ１の右側にブロックＤの７ピクセルから４ピクセルを配置することとなる。同様に、サブブロックＡ２については横方向は８ピクセルから１５ピクセルで構成されているので、サブブロックＡ２に対称となるようなブロックＤは、サブブロックＡ２の左側にブロックＤの１１ピクセルから８ピクセルを配置し、サブブロックＡ２の右側にブロックＤの１５ピクセルから１２ピクセルを配置した状態となる。これを模式的に示すのが図２１である。

このようにサブブロックＡ１、Ａ２と同様の処理を、サブブロックＡ３、Ａ４についても行う。この場合にはサブブロックＡ３，Ａ４は縦方向のピクセルが８ピクセルから１５ピクセルまでで構成されているので、ブロックＤについても縦方向のピクセルが８ピクセルから１５ピクセルまでで処理を行う。このようにサブブロックＡ１、Ａ２、Ａ３、Ａ４について処理を行った状態、即ち、ブロックＡとブロックＤとを組み合わせて、ブロックＡとブロックＤとが対称またはほぼ対称な組合せを図２２（ａ）に示す。図２２（ａ）が図６のパターン４における「ＡＤ」に相当することとなる。また図２２（ｂ）に、パターン４の場合でブロックＡ乃至ブロックＤの組合せた、マクロブロックを模式的に示す。

図２２（ａ）について、ＤＣＴ変換が行われる場合には、図２３に示すように、太枠で囲われた８ピクセルのブロックごとに変換が行われる。そうすると、各々のブロックで対称またはほぼ対称な図形が構成できるので、ＤＣＴ変換の効率が高くなることが分かる。なお図１９乃至図２２では、図６の組合せのパターンが垂直方向を軸としてブロックを反転させて組み合わせる場合を説明しているので、垂直方向を軸としてブロックを反転させる場合を説明したが、図６の各パターンについて、９０度回転させれば水平方向を軸としてブロックを反転させて組み合わせることも出来る。この場合には図１９乃至図２２でも同様に９０度回転させて水平方向を軸としてブロックを反転させ、二つのブロックを組み合わせるように構成できる。

次に、組となった四つのブロックの画像データが図９に示すような場合、ブロックＡとブロックＣ、ブロックＢとブロックＤとがほぼ同一である。そうするとブロックＡとブロックＣ、ブロックＢとブロックＤを組として、それぞれ対称またはほぼ対称が構成できる。つまり図９に示す四つのブロックについて、縦に２つ、横に２つ配置し、そのうち対称またはほぼ対称となり得るブロックを組み合わせるようにする。そしてほぼ同一であるブロックＡとブロックＣ、ブロックＢとブロックＤとが対称またはほぼ対称になるように、ブロックＣ、ブロックＤを垂直方向または水平方向を軸として反転させる。そうするとこの四つのブロックを用いて図１０のようなマクロブロックが生成できる。つまりパターン８乃至パターン１０の場合に該当する。なお実際に二つのブロックを組み合わせる処理は、上述の図１９乃至図２２と同様な処理を二つのブロックの組合せにそれぞれ適用すれば良い。

更に組となった四つのブロックが図１１に示すような場合、ブロックＡ乃至ブロックＤはほぼ同一である。そうすると、ブロックＡを中心として、ブロックＢ乃至ブロックＤについてそれぞれ対称またはほぼ対称が構成できる。つまり、図１０に示す四つのブロックについて縦に２つ、横に２つ配置し、そのうち対称またはほぼ対称となりえるブロックを組み合わせるようにする。そしてほぼ同一であるブロックＡ乃至ブロックＤが対称またはほぼ対称になるように、ブロックＢは垂直方向を軸として反転させ、ブロックＣは水平方向を軸として反転させ、ブロックＤは垂直方向及び水平方向を軸として反転させる。そうするとこの四つのブロックを用いて図１２のようなマクロブロックが生成できる。つまりパターン１１の場合に該当する。

この場合の四つのブロックの組合せを模式的に図２４乃至図２８に示す。図２４はブロックＡ乃至ブロックＤを示したものであり、共に、縦横が０ピクセルから１５ピクセルまでの１６ピクセル×１６ピクセルである。これをブロックＡについて８ピクセル単位で分割したことを模式的に示すのが図２５である。ここで、ブロックＡと対称またはほぼ対称になるようなブロックＢ乃至ブロックＤを組み合わせてマクロブロックを生成することとなる。なお図２４及び図２５におけるマトリックスの０から１５の数字はピクセルを示しており、図２５におけるＡ１、Ａ２、Ａ３、Ａ４は説明の便宜上、その各ピクセルにおいて表示される画像を示している。

まずサブブロックＡ１に対する対称またはほぼ対称なブロックＢ乃至ブロックＤの組合せ方を説明する。なおサブブロックＡ２、Ａ３、Ａ４に対するブロックブロックＢ乃至ブロックＤの組合せ方はサブブロックＡ１の場合と同様に行える。

サブブロックＡ１は縦方向のピクセルが０ピクセルから７ピクセルまでで構成されているので、ブロックＢ乃至ブロックＤについても縦方向のピクセルが０ピクセルから７ピクセルまでで処理を行う。まずサブブロックＡ１について処理を行うと、サブブロックＡ１は横方向は０ピクセルから７ピクセルまでで構成されている。そうすると、サブブロックＡ１に対称となるような組合せを生成するためには、サブブロックＡ１を中心として、その左側にブロックＢの横方向のピクセルが３ピクセルから０ピクセルを配置し、サブブロックＡ１の右側にブロックＢの横方向のピクセルが７ピクセルから４ピクセルを配置する。またサブブロックＡ１の上側にブロックＣの横方向のピクセルが０ピクセルから７ピクセル、縦方向のピクセルが３ピクセルから０ピクセルまでを配置し、サブブロックＡ１の下側にブロックＣの横方向のピクセルが０ピクセルから７ピクセル、縦方向のピクセルが７ピクセルから４ピクセルまでを配置する。そして左側のブロックＢの上側にはブロックＤの横方向のピクセルが３ピクセルから０ピクセル、縦方向のピクセルが３ピクセルから０ピクセルを配置する。そして右側のブロックＢの上側にはブロックＤの横方向のピクセルが７ピクセルから４ピクセル、縦方向のピクセルが３ピクセルから０ピクセルまでを配置する。また左側のブロックＢの下側にはブロックＤの横方向のピクセルが３ピクセルから０ピクセル、縦方向のピクセルが７ピクセルから４ピクセルを配置する。更に右側のブロックＢの下側にはブロックＤの横方向のピクセルが７ピクセルから４ピクセル、縦方向のピクセルが７ピクセルから４ピクセルまでを配置する。これを模式的に示すのが図２６である。このようにサブブロックＡ１を中心として、その上下左右斜めに各ブロックの一部を配置する。

このようなサブブロックの組合せをＡ２乃至Ａ４についても同様に生成する。それを図２７に模式的に示す。図２７（ａ）がサブブロックＡ２について、図２７（ｂ）がサブブロックＡ３について、図２７（ｃ）がサブブロックＡ４について示している。

サブブロックＡ１乃至Ａ４の各組合せを一つに組合せたマクロブロックを図２８に示す。図２８が図６のパターン１１における「ＡＢＣＤ」に相当することとなる。

図２８について、ＤＣＴ変換が行われる場合には、図２９に示すように、太枠で囲われた８ピクセルのブロックごとに変換が行われる。そうすると、各々のブロックで対称な図形が構成できるので、ＤＣＴ変換の効率が高くなることが分かる。なお図２４乃至図２８では、サブブロックＡ１乃至Ａ４の左右にブロックＢ、上下にブロックＣ、ブロックＡの斜めにブロックＤを配置した場合を示したが、これはブロックＢを上下または斜め、ブロックＣを左右または斜め、ブロックＤを上下または左右に配置しても良い。

以上のように構成することで、パターン１１における四つのブロックの組合せが生成できる。

なお四つのブロックが図１３に示すような場合、いずれのブロックも異なるものである。してみると、これらで対称またはほぼ対称な組合せを作ることは出来ない。このような場合には図１３のような新たなブロックの組合せが生成できるつまりパターン１の場合に該当する。

なお組となった四つのブロックの組合せが１１パターンのうちのどれに当てはまるかは、１１パターンについて各々組合せを行い、その１１パターンのうち、もっともフレームレートの小さいパターンを当該組のパターンとして決定する。なおフレームレートとは、単位時間あたり何度画面が更新されるかを表す指標値である。

つまりＳ１３０で一組とした四つのブロックについて、パターン１乃至パターン１１の組合せを行い、そのうち最もフレームレートの小さい組合せを、最も良い組合せとして決定する。

この際に各マクロブロックについてどの組合せを行ったのかを示す情報を参照テーブルとして記憶しておく。例えばパターン１の場合には「１」、パターン６の場合には「６」を、各マクロブロック毎に記憶しておく。これを模式的に図１５に示す。図１５は一つのフレームの組合せ（四つのフレームからなる一つの組）において、どのマクロブロックでどのパターンの組合せが用いられたかを示すことを模式的に示すが、これが各フレームの各マクロブロック毎に記憶されている。

以上のように処理することによって、一組とした四つのフレームの各ブロックについて対称性の高くなるようなマクロブロックが生成できる。

また決定したマクロブロックについて、以前のフレームの組における、同じ位置のマクロブロックとその類似性を判定する（Ｓ１５０）。つまり２組以上、同じような画像が続いている場合には、以前生成したフレームの組のマクロブロックを利用すれば、一層、データ量の削減が図れる。そこでＳ１４０で決定したマクロブロックについて、以前のフレームの組における、同じ位置のマクロブロックと類似性を比較して（Ｓ１６０）、類似であればそのマクロブロックについては採用せず（データを捨て）（Ｓ１７０）、類似でなければそのマクロブロックを採用することとする（Ｓ１８０）。ここでマクロブロックの類似性は、ピーク信号対雑音比（ＰＳＮＲ値：Peak Signal-to-Noise Ratio）を各マクロブロックについて算出し、それが予め定められた閾値以上の場合には非類似であるとし、閾値未満の場合には類似であるとして判定する。

また一組としたフレームの各マクロブロックについて、以前のフレームの組における、同じ位置のマクロブロックを使用する場合はそれを示す情報（例えば「０」）、使用しない場合にはそれを示す情報（例えば「１」）を記憶しておく。このような存在テーブルを設けることによって、どのマクロブロックが新しいマクロブロックを使用し、どのマクロブロックが、以前のフレームの組における、同じ位置のマクロブロックを使用しているのか、を判定することが出来る。図１６は一つのフレームの組合せ（四つのフレームからなる一つの組）において、各マクロブロックで、新たに生成したマクロブロックを使用しているか（情報「１」）、以前のフレームの組における、同じ位置のマクロブロックを使用しているか、を示している（情報「０」）。

このように決定したマクロブロックについて、類似性の判定を行った結果、採用したマクロブロックについては、順番に出力画像データに埋め込んでいく（Ｓ１９０）。

このような処理を１組のフレームについて行うと、次の１組のフレームについて同様の処理を行い、最終的に元画像データを構成する全てのフレームを処理をするまで繰り返す（Ｓ２００）。

このようにして出力画像データ生成処理部４は、出力画像データを生成する。そして生成した出力画像データに対して、画像データ圧縮処理部５が通常の圧縮処理（ＤＣＴ変換を用いた圧縮処理）を行う（Ｓ２１０）。例えばＪＰＥＧ形式であれば、画像データ圧縮処理部５は、出力画像データ生成処理部４が生成した出力画像データに対してＪＰＥＧ圧縮を行う。これによって、ＪＰＥＧ圧縮された画像データ（新画像データ）を生成することが出来る。

次に上述の第１の端末１において生成された新画像データを、第２の端末２で表示する場合の処理プロセスを説明する。この概念図を図１７に示す。なお第２の端末２は、新画像データを第１の端末１は所定の画像データサーバからダウンロードするなどにより、そのデータを取得する。

取得した新画像データは、第２の端末２の新画像データ読込部６で読み込み、第２の端末２の記憶装置に記憶する。なお新画像データ読込部６は、新画像データのデータの全てを第２の端末２に読み込んだ後に、まとめて画像データ展開処理部７や表示画像データ生成処理部８における処理を実行しても良いし、画像データ展開処理部７や表示画像データ生成処理部８における処理と並行しながら、逐次、新画像データのデータを読み込むように構成しても良い。

このように第２の端末２の記憶装置に記憶した新画像データは、ＤＣＴ変換を用いた画像形式（上述であればＪＰＥＧ圧縮されたＪＰＥＧ画像データ）なので、画像データ展開処理部７は、記憶装置に読み込んだ新画像データを抽出して、抽出した新画像データに対して、通常の展開処理（逆ＤＣＴ変換を用いた展開処理など）を実行することで、新画像データを展開する。例えば新画像データがＪＰＥＧ形式のＪＰＥＧ画像データならば、ＪＰＥＧ圧縮の逆の処理、即ち、コンピュータ端末や携帯端末でＪＰＥＧ画像データを表示する際と同じ処理を実行する。

このようにして画像データ展開処理部７で展開された画像データ（これを「展開画像データ」という）は、出力画像データと同様の画像データとなる。従ってこのまま第２の端末２の表示装置で表示を行ったとしても、その画像データを第２の端末２のユーザが理解することは出来ない。そこで、画像データ展開処理部７で展開された展開画像データを、第２の端末２のユーザが理解できるような表示画像データ(即ち、元画像データと同じような画像）にする処理を、表示画像データ生成処理部８で行う。

まず存在テーブルには、１組とした各フレームについて、新たに生成したマクロブロックを使用しているか（情報「１」）、以前のフレームの組における、同じ位置のマクロブロックを使用しているか、（情報「０」）の情報が順番に記憶されている。そこで、この存在テーブルを参照することによって、順番に、４フレームを１組として１枚の画像とした場合の画像データ（中間画像データ）を生成する。

展開画像データについて、第１の端末１の出力画像データ生成処理部４で出力画像データとしたマクロブロックの大きさ、上述の例では、各フレームのブロックの大きさが１６ピクセル×１６ピクセルであり、それを縦に２つ、横に２つのブロックの組み合わせていることから、３２ピクセル×３２ピクセルの大きさの単位毎に分割する。そして分割した出力画像データについて、その分割したものを順に、存在テーブルで情報「１」が入っている位置の中間画像データの画像とする。例えば、存在テーブルのうち、１５番目に情報「１」が入っている位置については、上述の展開画像データを分割した画像のうち、１５番目の画像が当該位置の画像に相当し、５０番目に情報「１」が入っている位置については、上述の展開画像データを分割した画像のうち、５０番目の画像が当該位置の画像に相当する。

また存在テーブルで情報「０」が入っている位置の画像については、それ以前のフレームの組で使用された同じ位置の画像を使用する。従って、前の組から順に処理を行っている場合には、１つ前のフレームの組の同じ位置におけるマクロブロックの画像を、情報「０」が入っている位置のマクロブロックの画像とする。

例えば図１６の場合、１組とした四枚のフレームにおける、各マクロブロックで、新たに生成したマクロブロックの画像を使用するか、以前のフレームの組における、同じ位置のマクロブロックの画像を使用するか、を示しているが、この組の場合、左上に位置するマクロブロックの情報は「０」なので、当該組の一つ前のフレームの組の同じ位置におけるマクロブロックの画像を使用することが分かる。そこで、当該組の左上に位置するマクロブロックの画像としては、一つ前のフレームの組の左上に位置するマクロブロックの画像をコピーして、当該位置のマクロブロックの画像とする。

一方、そのマクロブロックの一つ右に位置するマクロブロックの画像としては、図１６の存在テーブルの情報では「１」が入っている。この情報「１」が、例えば存在テーブルの最初から数えて２５３番目であったとすると、当該情報「１」に対応する位置の画像としては、展開画像データを３２ピクセル×３２ピクセルの大きさで分割した際の、２５３番目の画像がこの位置の画像となる。

このような処理を行うことで、四つのフレームを１組とした場合の、各組で用いられる中間画像データが生成できる。この場合の中間画像データは、四つのフレームを１組とした場合に、四つのブロックが１組のマクロブロックとして表示されている画像である。従って、これを再生しただけでは、まだユーザが理解できる表示画像データとはならない。

そこで、この中間画像データにおける、四つのフレームを１組とした場合の同じ位置にあるマクロブロックの画像を、四つのフレームの本来の位置に戻す必要がある。

ここで参照テーブルには、１組とした四つのフレームの同じ位置のブロックについて、どのように組み合わせているかを示す情報（図１５に示すように、マクロブロックが図６の組合せのどのパターンを使用しているかを示す情報）が記憶されている。そこで、この中間画像データと、参照テーブルとを用いて、どのような組合せであるか、を判定し、それぞれ対応するフレームに戻す。

まず中間画像データを３２ピクセル×３２ピクセルの大きさ（マクロブロックの大きさ）で分割する。そして参照テーブルに格納されているパターンの情報に基づいて、その３２ピクセル×３２ピクセルのブロックを再分割して、各ブロックの元のフレームの位置に戻す。これは図１９乃至図２９の逆の配置を行えばよい。

例えば参照テーブルが図１５の場合、一番左上に位置するマクロブロックのパターンは、「１」である。そうすると、当該マクロブロックに対応する四つのブロックの組合せは、パターン１であることが判定できる。この場合には単に四つのブロックが組み合わさっているだけなので、３２ピクセル×３２ピクセルのブロックの組合せを、１６ピクセル×１６ピクセルのブロックに４分割し、左上のブロックはフレームＡ（組の四つのフレームのうちの最初のフレーム）、右上のブロックはフレームＢ（組の四つのフレームのうちの２番目のフレーム）、左下のブロックはフレームＣ（組の四つのフレームのうちの３番目のフレーム）、右下のブロックはフレームＤ（組の四つのフレームのうちの最後のフレーム）に戻す。

同様に、図１５の最上段の行の左から３番目に位置するマクロブロックのパターンは「３」である。そうすると、当該マクロブロックに対応する四つのブロックの組合せは、パターン３であることが分かる。この場合は３２ピクセル×３２ピクセルの大きさのうち、上半分のピクセルについてはブロックＡとブロックＣの組合せ、下半分はそれぞれ左側にブロックＢを、右側にブロックＤを配置したものである。従って、上半分については図１９乃至図２２の逆の処理を行うことで、ブロックＡとブロックＣを元のフレームＡ、フレームＣに戻し、ブロックＢとブロックＤについては下半分のピクセルのうち、横方向に１６ピクセル目で分割することで、左側をブロックＢのフレームＢ、右側をブロックＤのフレームＤとして戻す。

このように四つのフレームについて１組とした場合の、各フレームの画像（表示画像データ）を生成することが出来る。これによってこの表示画像データを連続的に再生することで、元画像データと同じような画像データを、第２の端末２の表示装置で表示でき、第２の端末２のユーザはそれを見ることが出来る。

上述の一連の画像処理システムのマクロブロック生成部における、マクロブロック判定処理、つまり一組とした四つのブロックをどのようなパターンで組み合わせたらよいのかを判定する処理については、上述のようにパターン１からパターン１１まで組み合わせた上で、もっともフレームレートの小さいパターンを当該組のパターンとして決定しても良いが、ほかの方法を用いることも出来る。ほかの方法を用いたマクロブロック判定処理について、説明する。このマクロブロック判定処理では、ＰＳＮＲ値（ピーク信号対雑音比）を用いる。

まず一組とした四つのブロック、ブロックＡ、ブロックＢ、ブロックＣ、ブロックＤについて、二つのブロックの組み合わせを各々作り、その組み合わせにおけるＰＳＮＲ値を各々算出する。つまり、ブロックＡとブロックＢ（組み合わせ１）、ブロックＡとブロックＣ（組み合わせ２）、ブロックＡとブロックＤ（組み合わせ３）、ブロックＢとブロックＣ（組み合わせ４）、ブロックＢとブロックＤ（組み合わせ５）、ブロックＣとブロックＤ（組み合わせ６）の組み合わせを作り、各々の組み合わせについて、ＰＳＮＲ値を算出する。そして各組み合わせのＰＳＮＲ値が所定の閾値未満（または所定の閾値以下（以下、同様））であるかを判定する。このマクロブロック判定処理を模式的に図３０に示す。

全ての組み合わせ（組み合わせ１から組み合わせ６）のＰＳＮＲ値が所定の閾値以上（または閾値より大きい（以下、同様））の場合には、パターン１を採用することを決定する。

また全ての組み合わせのＰＳＮＲ値が所定の閾値未満の場合には、パターン１１を採用することを決定する。

また一つの組み合わせのＰＳＮＲ値のみが所定の閾値未満であって、他の組み合わせのＰＳＮＲ値は所定の閾値以上の場合には、所定の閾値未満となった組み合わせで、パターン２からパターン７のうち、該当する組み合わせパターンを採用することを決定する。例えば組み合わせ３（ブロックＡとブロックＤ）のＰＳＮＲ値が所定の閾値以下であり、それ以外の組み合わせのＰＳＮＲ値が所定の閾値より大きい場合には、ブロックＡとブロックＤが類似していると考えられるので、パターン４を採用することを決定する。

また二つ以上の組み合わせ（但し全ての組み合わせは除く）のＰＳＮＲ値が所定の閾値未満であって、他の組み合わせのＰＳＮＲ値は所定の閾値以上の場合には、まず所定の閾値未満となった組み合わせにおいて、各組み合わせを構成するブロックが重ならないような二つの組み合わせがあるかを判定する。そしてその組み合わせがある場合には、その二つの組み合わせで、パターン８からパターン１０のうち、該当する組み合わせを採用することを決定する。例えば組み合わせ１（ブロックＡとブロックＢ）、組み合わせ３（ブロックＡとブロックＤ）、組み合わせ６（ブロックＣとブロックＤ）の三つの組み合わせのＰＳＮＲ値が所定の閾値未満となった場合には、組み合わせ１と組み合わせ６とで、各々ブロックが重ならないような組み合わせが二つ出来る。この場合には組み合わせ１と組み合わせ６で、パターン８を採用することを決定する。

また例えば組み合わせ１（ブロックＡとブロックＢ）、組み合わせ３（ブロックＡとブロックＤ）、組み合わせ４（ブロックＢとブロックＣ）、組み合わせ６（ブロックＣとブロックＤ）のＰＳＮＲ値が所定の閾値未満となった場合には、組み合わせ１と組み合わせ６、組み合わせ３と組み合わせ４で各々組み合わせが重ならないような組み合わせが出来る。この場合、パターン８、パターン１０のいずれかを採用することとなるが、この場合には、ＰＳＮＲ値が小さくなる方を採用する。例えば組み合わせ１と組み合わせ６の各々のＰＳＮＲ値を加算し、組み合わせ３と組み合わせ４の各々のＰＳＮＲ値を加算し、加算したＰＳＮＲ値を比較して、加算したＰＳＮＲ値が低くなった方の組み合わせを採用することを決定しても良いし、組み合わせ１、組み合わせ３、組み合わせ４、組み合わせ６のうち、もっとも低いＰＳＮＲ値を含む組み合わせを優先して、それを選択しても良い。例えば組み合わせ３がもっとも低いＰＳＮＲ値の場合には、組み合わせ３と組み合わせ４、つまりパターン１０を採用することを決定する。

更に、二つ以上の組み合わせのＰＳＮＲ値が所定の閾値未満であって、他の組み合わせのＰＳＮＲ値は所定の閾値以上の場合であって、所定の閾値未満となった組み合わせにおいて、各組み合わせを構成するブロックが重ならないような二つの組み合わせがあるかの判定の結果、それがない場合には、もっとも低いＰＳＮＲ値を含む組み合わせで、パターン２からパターン７のうち該当するパターンを採用することを決定する。例えば組み合わせ１（ブロックＡとブロックＢ）、組み合わせ２（ブロックＡとブロックＣ）、組み合わせ４（ブロックＢとブロックＣ）のＰＳＮＲ値が所定の閾値未満となった場合に、これらの組み合わせを構成するブロックが重ならないような二つの組み合わせを作ることは出来ない。その為、この三つの組み合わせのうち、もっともＰＳＮＲ値が小さくなる組み合わせを採用することを決定する。例えば組み合わせ２がもっともＰＳＮＲ値が小さい場合には、パターン３を採用することを決定する。

以上のように、一組とした四つのブロックの組み合わせの組み合わせパターンを決定するマクロブロック判定処理としても良い。これによって、従来のように１１パターンの組み合わせを行わなくても良くなり、処理時間の短縮に繋がる。

このような処理は、ＰＳＮＲ値は二つの画像の類似性の判定に用いることが出来るので、この値が所定閾値以下であればその二つの画像は類似していると考えられることに起因している。

本発明の画像処理システムを用いることによって、ＤＣＴ変換を用いる画像形式のデータ量の削減を実現する一方、画質の劣化が起こりにくい画像処理システムが可能となる。これによって、処理能力が高くないコンピュータ端末や携帯端末であっても、画像データの処理を容易に行うことが出来る。例えば携帯端末で従来よりも高画質の動画像データを再生することも可能となる。

更に、本願発明の他の特徴としては、ＤＣＴ変換を用いた画像形式、例えばＪＰＥＧ形式やＭＰＥＧ形式をサポートしている端末に本願発明を組み込むだけで圧縮率の高い画像データを利用することが出来ることになる点である。つまり全く新しい画像形式で圧縮率を高めた場合、コンピュータ端末や携帯端末がその画像形式をサポートしていないと使用することができない。そして画像形式の普及には極めて多大な労力が必要とされる。しかし本願発明では、従来より普及しているＤＣＴ変換を用いた画像形式で更に圧縮率を向上させているので、ほぼ全てのコンピュータ端末や携帯端末で、本願発明の機能をプラグインなどにより組み込めば、利用可能とすることができる。

本発明を用いて出力画像データを生成して、出力画像データに通常の圧縮処理して新画像データを生成することを示す概念図である。 本発明のシステム構成の一例を示す図である。 本発明の出力画像データを生成する処理の処理プロセスの一例を示すフローチャートである。 フレームをブロックに分割したことを模式的に示す図である。 四つのフレームを１組として、同じ位置にある四つのブロックを１組とすることを模式的に示す図である。 １組としたマクロブロックのパターンを模式的に示す図である。 パターン２乃至パターン７の場合を模式的に示す図である。 パターン２乃至パターン７の場合に四つのブロックを組合わせて生成されるマクロブロックを模式的に示す図である。 パターン８乃至パターン１０の場合を模式的に示す図である。 パターン８乃至パターン１０の場合に四つのブロックを組合わせて生成されるマクロブロックを模式的に示す図である。 パターン１１の場合を模式的に示す図である。 パターン１１の場合に四つのブロックを組合わせて生成されるマクロブロックを模式的に示す図である。 パターン１の場合を模式的に示す図である。 パターン１の場合に四つのブロックを組合わせて生成されるマクロブロックを模式的に示す図である。 参照テーブルを模式的に示す図である。 存在テーブルを模式的に示す図である。 本発明を用いて新画像データに通常の展開処理をして展開画像データを生成して、それに本発明の処理を行うことにより表示画像データを生成することを示す概念図である。 二つのブロックの組合せを模式的に示す図である。 ブロックＡ及びブロックＤを模式的に示す図である。 ブロックＡがサブブロックＡ１乃至Ａ４に分割された状態を模式的に示す図である。 サブブロックＡ１、Ａ２に、ブロックＤを対称またはほぼ対称になるように組み合わせた状態を模式的に示す図である。 サブブロックＡ１乃至Ａ４に、ブロックＤを対称またはほぼ対称になるように組み合わせた状態を模式的に示す図、及びパターン４の場合のマクロブロックを模式的に示す図である。 図２２（ａ）についてＤＣＴ変換が行われる場合に、分割される状態を模式的に示す図である。 ブロックＡ乃至ブロックＤを模式的に示す図である。 ブロックＡがサブブロックＡ１乃至Ａ４に分割された状態を模式的に示す図である。 サブブロックＡ１に、ブロックＢ乃至ブロックＤを対称またはほぼ対称になるように組み合わせた状態を模式的に示す図である。 サブブロックＡ２乃至Ａ４に、ブロックＢ乃至ブロックＤを対称またはほぼ対称になるように組み合わせた状態を模式的に示す図である。 パターン１１の場合のマクロブロックを模式的に示す図である。 図２８についてＤＣＴ変換が行われる場合に、分割される状態を模式的に示す図である。 マクロブロック判定処理のほかの方法を模式的に示す図である。

符号の説明

１：第１の端末
２：第２の端末
３：元画像データ読込部
４：出力画像データ生成処理部
５：画像データ圧縮処理部
６：新画像データ読込部
７：画像データ展開処理部
８：表示画像データ生成処理部

Claims (11)

1. ＤＣＴ変換の効率を向上させる出力画像データを生成する出力画像データ生成処理部を有する画像処理システムであって、
   前記出力画像データ生成処理部は、
   処理対象となった元画像データを構成するフレームを所定数毎に一組として抽出するフレーム抽出部と、
   前記フレームにおける画像を、所定の大きさのブロックに分割する分割部と、
   前記一組としたフレームにおける、同じ位置にある各ブロックを一組として、それらのブロックの画像を組み合わせてマクロブロックの画像を生成するマクロブロック生成部と、
   前記マクロブロックの画像を埋め込むことにより出力画像データを生成する出力画像データ生成部と、を有しており、
   前記マクロブロック生成部は、
   前記一組とした各ブロックについて、対称性が高くなるように該ブロックの画像を組み合わせて前記マクロブロックを生成する、
   ことを特徴とする画像処理システム。
2. 前記マクロブロック生成部は、更に、
   前記一組とした各ブロックについて、二つのブロックごとのピーク信号対雑音比を算出し、算出したピーク信号対雑音比を用いて、最適なパターンの組み合わせを判定し、そのパターンの画像をマクロブロックの画像として生成する、
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記マクロブロック生成部は、更に、
   前記一組とした各ブロックについて、予め定められた組み合わせのパターンに応じて、各ブロックの画像を組み合わせ、その中から対称性について最適な組み合わせのパターンの画像をマクロブロックの画像として生成する、
   ことを特徴とする請求項１に記載の画像処理システム。
4. 前記出力画像データ生成部は、更に、
   前記生成したマクロブロックと、該マクロブロックのフレームの組の前のフレームの組における、同じ位置のマクロブロックとの類似性を判定し、非類似と判定した場合には前記生成したマクロブロックの画像を出力画像データとして埋め込む、
   ことを特徴とする請求項１に記載の画像処理システム。
5. 前記類似性の判定は、各マクロブロックのピーク信号対雑音比を算出し、それが予め定められた閾値以上の場合には非類似であるとし、閾値未満の場合には類似であると判定する、
   ことを特徴とする請求項４に記載の画像処理システム。
6. ＤＣＴ変換の効率を向上させる出力画像データを生成する出力画像データ生成処理部を有する画像処理システムであって、
   前記出力画像データ生成処理部は、
   処理対象となった動画像データを構成するフレームについて四枚毎に一組として抽出するフレーム抽出部と、
   前記フレームにおける画像を、所定の大きさのブロックに分割する分割部と、
   前記一組とした四枚のフレームにおける、同じ位置にある各ブロックを一組とし、各一組とした四つのブロックについて、対称性の判定を行うための、予め定められた組み合わせのパターンに応じて、各ブロックの画像を組み合わせ、そのフレームレートのもっとも小さいパターンのブロックの組み合わせの画像を、所定の大きさのマクロブロックの画像として生成するマクロブロック生成部と、
   前記生成したマクロブロックで用いた組み合わせのパターンを識別する情報を、各マクロブロックごとに参照テーブルに格納する参照テーブル処理部と、
   前記生成したマクロブロックと、該マクロブロックのフレームの組の前のフレームの組における、同じ位置のマクロブロックとの類似性を判定し、非類似と判定した場合には前記生成したマクロブロックの画像を順に埋め込むことにより出力画像データを生成する出力画像データ生成部と、
   各マクロブロックについて、該マクロブロックのフレームの組の前のフレームの組の同じ位置のマクロブロックの画像を使用するか否かを示す情報を、各マクロブロックごとに存在テーブルに格納する存在テーブル処理部と、
   を有することを特徴とする画像処理システム。
7. 前記組み合わせのパターンとして、
   四つのブロックをそのまま組み合わせるパターンと、四つのブロックのうちの二つのブロックについて、一つのブロックを基準として他の一つのブロックをそれに反転するように組み合わせ、四つのブロックのうちの他の二つのブロックはそのまま組み合わせるパターンと、四つのブロックを二つのブロックに組として分けて、各組の二つのブロックについて、一つのブロックを基準として他の一つのブロックをそれに反転するように組み合わせるパターンと、四つのブロックのうち、一つのブロックを基準として他のブロックがそれに反転するように組み合わせるパターンと、のうちいずれか一以上を含む、
   ことを特徴とする請求項６に記載の画像処理システム。
8. ＤＣＴ変換の効率を向上させる出力画像データを生成する出力画像データ生成処理部を有する画像処理システムであって、
   前記出力画像データ生成処理部は、
   処理対象となった動画像データを構成するフレームについて四枚毎に一組として抽出するフレーム抽出部と、
   前記フレームにおける画像を、所定の大きさのブロックに分割する分割部と、
   前記一組とした四枚のフレームにおける、同じ位置にある各ブロックを一組とし、各一組とした四つのブロックについて、二つのブロックごとのピーク信号対雑音比を算出し、算出したピーク信号対雑音比を用いて、最適な組み合わせのパターンを判定し、そのパターンの画像をマクロブロックの画像として生成するマクロブロック生成部と、
   前記生成したマクロブロックで用いた組み合わせのパターンを識別する情報を、各マクロブロックごとに参照テーブルに格納する参照テーブル処理部と、
   前記生成したマクロブロックと、該マクロブロックのフレームの組の前のフレームの組における、同じ位置のマクロブロックとの類似性を判定し、非類似と判定した場合には前記生成したマクロブロックの画像を順に埋め込むことにより出力画像データを生成する出力画像データ生成部と、
   各マクロブロックについて、該マクロブロックのフレームの組の前のフレームの組の同じ位置のマクロブロックの画像を使用するか否かを示す情報を、各マクロブロックごとに存在テーブルに格納する存在テーブル処理部と、を有しており、
   前記マクロブロック生成部は、
   前記一組とした各ブロックについて、対称性が高くなるように該ブロックの画像を組み合わせて前記マクロブロックを生成する、
   ことを特徴とする画像処理システム。
9. 前記マクロブロック生成部は、
   各二つのブロックの組み合わせで算出したピーク信号対雑音比について、
   いずれの組み合わせにおいてもピーク信号対雑音比が所定の条件を満たさない場合には、四つのブロックをそのまま組み合わせるパターンで組み合わせることを判定し、
   いずれの組み合わせにおいてもピーク信号対雑音比が所定の条件を満たす場合には、四つのブロックのうち、一つのブロックを基準として他のブロックがそれに反転するように組み合わせるパターンで組み合わせることを判定し、
   一つの組み合わせにおいてピーク信号対雑音比が所定の所定の条件を満たす場合には、四つのブロックのうちの二つのブロックについて、一つのブロックを基準として他の一つのブロックをそれに反転するように組み合わせ、四つのブロックのうちの他の二つのブロックはそのまま組み合わせるパターンで組み合わせることを判定し、
   二つ以上の組み合わせにおいてピーク信号対雑音比が所定の所定の条件を満たす場合には、条件を満たした二つのブロックの組み合わせのうち、それらにおいて各ブロックが重ならないような二つのブロックの組み合わせがあるか否かを判定し、それがある場合には、四つのブロックを二つのブロックに組として分けて、各組の二つのブロックについて、一つのブロックを基準として他の一つのブロックをそれに反転するように組み合わせるパターンで組み合わせることを判定し、
   前記条件を満たした二つのブロックの組み合わせのうち、それらにおいて各ブロックが重ならないような二つのブロックの組み合わせがあるか否かを判定し、それがない場合には、四つのブロックのうちの二つのブロックについて、一つのブロックを基準として他の一つのブロックをそれに反転するように組み合わせ、四つのブロックのうちの他の二つのブロックはそのまま組み合わせるパターンで組み合わせることを判定する、
   ことを特徴とする請求項８に記載の画像処理システム。
10. 請求項１乃至請求項９のいずれかに記載の画像処理システムにおいて生成された出力画像データに対して、ＤＣＴ変換を用いた画像形式により生成された新画像データを表示するための表示画像データ生成処理部を有する画像処理システムであって、
    前記表示画像データ生成処理部は、
    前記新画像データが前記画像形式の通常の展開方法により展開された展開画像データを、所定のマクロブロックの大きさに分割するマクロブロック分割部と、
    前記展開画像データについて分割した画像に基づいて、各フレームの組ごとに、マクロブロックの画像を含む中間画像データを生成する中間画像データ生成部と、
    各フレームの組の中間画像データを、所定のマクロブロックの大きさに分割し、分割されたマクロブロックの大きさの画像を、元のフレームの位置に戻すことにより、各組のフレームの画像を生成するフレーム画像生成部と、
    前記生成したフレームの画像を順番に並べることで表示画像データを生成する表示画像データ生成部と、
    を有することを特徴とする画像処理システム。
11. 請求項６乃至請求項９に記載の画像処理システムにおいて生成された出力画像データに対して、ＤＣＴ変換を用いた画像形式により生成された新画像データを表示するための表示画像データ生成処理部を有する画像処理システムであって、
    前記表示画像データ生成処理部は、
    前記新画像データが前記画像形式の通常の展開方法により展開された展開画像データを、所定のマクロブロックの大きさに分割するマクロブロック分割部と、
    前記展開画像データについて分割した画像に基づいて、前記存在テーブルを参照することにより、以前のフレームの組の同じ位置のマクロブロックの画像を使用するか否かを判定して、使用していない場合には前記展開画像データにおいて分割した画像を順に、該マクロブロックの位置における画像とし、使用している場合には以前のフレームの組の同じ位置のマクロブロックの画像を、該マクロブロックの位置における画像とすることにより、中間画像データを生成する中間画像データ生成部と、
    各フレームの組の中間画像データを、所定のマクロブロックの大きさに分割し、前記参照テーブルを参照することにより、該マクロブロックの組み合わせのパターンを判定し、そのパターンに応じて該分割されたマクロブロックの大きさの画像を、元のフレームの位置に戻すことにより、各組のフレームの画像を生成するフレーム画像生成部と、
    前記生成したフレームの画像を順番に並べることで表示画像データを生成する表示画像データ生成部と、
    を有することを特徴とする画像処理システム。

Images