JP5621025B1 - 画像処理システム、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】画像の質を維持しつつ画像をアップスケールできる画像処理システム、画像処理方法、及び画像処理プログラムを提供する。【解決手段】画像処理システム１は、画像フレームを特徴に基づいて複数の部分領域に分離する分離部１２と、複数の部分領域を複数の細分化画素に分割する分割部１４と、複数の細分化画素を含む複数の部分領域を統合した統合フレームを生成する統合部１６と、統合フレームを分割して得られる複数の画素の一の画素と、複数の画素それぞれの空間周波数に基づいて選択された他の画素との画素値の差分を算出する差分算出部１８と、他の画素を差分に基づいて量子化する量子化部２０と、量子化部２０において量子化された他の画素を含んで構成される圧縮画像データを生成する圧縮データ生成部２２と、圧縮画像データを復号するデコード部２４とを備える。を備える。【選択図】図１

Description

本発明は、画像処理システム、画像処理方法、及び画像処理プログラムに関する。特に、本発明は、画像のアップスケール処理に適用可能な画像処理システム、画像処理方法、及び画像処理プログラムに関する。

従来、ブロック内の各画素の輝度とブロック代表値との差分値を求める差分算出回路と、ブロックの各画素に対応する差分値の分布パターンを特定する差分パターン分類回路と、ブロックを代表する差分代表値を計算する差分代表値算出回路とを備える画像圧縮装置及び画像復元装置が知られている（例えば、特許文献１参照。）。特許文献１に記載の画像圧縮装置及び画像復元装置によれば、ブロック代表値検出回路が出力するブロック代表値に加えて、差分値から計算されたブロックを代表する差分代表値と、差分値分布パターンという２つのパラメータを新たに画像圧縮データとして導入しているので、演算量を減少させることができ、ハードウェアの規模を縮小して処理時間を短縮することができる。

特開平８−２７５１５３号公報

しかしながら、特許文献１に記載されているような画像圧縮装置及び画像復元装置においては、ある程度の質の圧縮画像と復元画像とを得ることができるものの、例えばアップスケールした画像の階調間や輪郭のスムーズさ等の画像の質を維持することができない。

したがって、本発明の目的は、画像の質を維持しつつ画像をアップスケールできる画像処理システム、画像処理方法、及び画像処理プログラムを提供することにある。

本発明は、上記目的を達成するため、画像の画像処理に適用可能な画像処理システムにおいて、画像フレームを特徴に基づいて複数の部分領域に分離する分離部と、複数の部分領域を複数の細分化画素に分割する分割部と、複数の細分化画素を含む複数の部分領域を統合した統合フレームを生成する統合部と、統合フレームを分割して得られる複数の画素の一の画素としての基準画素を選択し、統合フレームを構成する複数の画素それぞれの空間周波数を算出し、予め定められた周波数以上の周波数成分である空間周波数を含む画素を除く複数の画素を他の複数の画素として選択し、基準画素から他の複数の画素との画素値の差分を算出する差分算出部と、他の複数の画素を差分に基づいて加減算を用いた演算処理により量子化する量子化部と、量子化部において量子化された他の複数の画素を含んで構成される圧縮画像データを生成する圧縮データ生成部と、圧縮画像データを復号するデコード部とを備える画像処理システムが提供される。

また、上記画像処理システムにおいて、特徴が、画素のＲ成分、Ｇ成分、及びＢ成分であり、分離部が、Ｒ成分、Ｇ成分、及びＢ成分別に画像フレームを複数の部分領域に分離してもよい。

また、上記画像処理システムにおいて、画像フレームが、複数の画像フレームを有して構成される動画像に含まれる一の画像フレームであってもよい。

また、上記画像処理システムにおいて、画像フレームに音声データが含まれる場合、音声データを予め定められた複数の周波数帯域ごとの部分音声データに分離する音声分離部と、複数の部分音声データごとに波形傾向を予測した予測音声データを生成する傾向予測部と、予測音声データで表される波形の位相を統合した統合音声データ高質化処理部とを更に備えることもできる。

また、本発明は、上記目的を達成するため、画像の画像処理に適用可能な画像処理方法において、画像フレームを特徴に基づいて複数の部分領域に分離する分離段階と、複数の部分領域を複数の細分化画素に分割する分割段階と、複数の細分化画素を含む複数の部分領域を統合した統合フレームを生成する統合段階と、統合フレームを分割して得られる複数の画素の一の画素としての基準画素を選択し、統合フレームを構成する複数の画素それぞれの空間周波数を算出し、予め定められた周波数以上の周波数成分である空間周波数を含む画素を除く複数の画素を他の複数の画素として選択し、基準画素から他の複数の画素との画素値の差分を算出する差分算出段階と、他の複数の画素を差分に基づいて加減算を用いた演算処理により量子化する量子化段階と、量子化段階において量子化された他の複数の画素を含んで構成される圧縮画像データを生成する圧縮データ生成段階と、圧縮画像データを復号するデコード段階とを備える画像処理方法が提供される。

また、本発明は、上記目的を達成するため、画像の画像処理に適用可能な画像処理システム用の画像処理プログラムであって、コンピュータに、画像フレームを特徴に基づいて複数の部分領域に分離する分離機能と、複数の部分領域を複数の細分化画素に分割する分割機能と、複数の細分化画素を含む複数の部分領域を統合した統合フレームを生成する統合機能と、統合フレームを分割して得られる複数の画素の一の画素としての基準画素を選択し、統合フレームを構成する複数の画素それぞれの空間周波数を算出し、予め定められた周波数以上の周波数成分である空間周波数を含む画素を除く複数の画素を他の複数の画素として選択し、基準画素から他の複数の画素との画素値の差分を算出する差分算出機能と、他の複数の画素を差分に基づいて加減算を用いた演算処理により量子化する量子化機能と、量子化機能において量子化された他の複数の画素を含んで構成される圧縮画像データを生成する圧縮データ生成機能と、圧縮画像データを復号するデコード機能とを実現させる画像処理プログラムが提供される。

本発明に係る画像処理システム、画像処理方法、及び画像処理プログラムによれば、画像の質を維持しつつ画像をアップスケールできる画像処理システム、画像処理方法、及び画像処理プログラムを提供できる。

本実施の形態に係る画像処理システムの機能構成ブロック図である。 本実施の形態に係る画像処理システムの模式的な処理のフロー図である。 本発明の実施の形態に係る画像処理システムの処理のフロー図である。 本発明の実施の形態に係る画像処理システムの音声データの処理のフロー図である。 本発明の実施の形態に係る画像処理システムのハードウェア構成図である。

［実施の形態］
（画像処理システム１の概要）
本実施の形態に係る画像処理システム１は、画像のアップスケール処理、及び／又は圧縮処理に適用可能な画像処理システムである。具体的に、画像処理システム１は、静止画像、及び／又は動画像を自在に高質化、可逆的圧縮、拡大、及び縮小等できると共に、音声デジタルデータを自在に高質化、及び可逆的圧縮等できるシステムである。例えば、画像処理システム１は、画像フレームを所定の特徴別に複数の部分領域に分離する。次に、画像処理システム１は、分離した複数の部分領域を更に細分化した後、細分化された状態の複数の部分領域を統合して統合フレームを生成する。そして、画像処理システム１は、統合フレームを構成する複数の画素のうち一の画素を基準の画素に設定して、一の画素の画素値と各画素の空間周波数に基づいて選択された他の画素の画素値との画素値の差分に基づいて統合フレームを圧縮する。

したがって、画像処理システム１は、元画像を細分化するので、元画像を大幅に拡大（例えば、元画像から面積比で１００倍程度拡大）したとしても、ブロックノイズ、偽色、ジャギー等の発生を排除して、画像の奥行き感、及び／又は質感を向上させた拡大画像を提供できる。また、画像処理システム１は、統合フレームの一の画素を基準の画素にし、他の画素と一の画素との画素値の差分に基づいて統合フレームを圧縮するので、実質的に可逆的に画像の圧縮及びデコードができる。

（画像処理システム１の詳細）
図１は、本実施の形態に係る画像処理システムの機能構成ブロックの一例を示す。また、図２は、本実施の形態に係る画像処理システムの模式的な処理の流れの一例を示す。

画像処理システム１は、画像フレームを含む画像データを取得する情報取得部１０と、画像フレームを複数の部分領域に分離する分離部１２と、複数の部分領域を複数の細分化画素に分割する分割部１４と、統合フレームを生成する統合部１６と、統合フレームの一の画素と他の画素との画素値の差分を算出する差分算出部１８と、差分に基づいて統合フレームの各画素を量子化する量子化部２０と、量子化された各画素を含む圧縮画像データを生成する圧縮データ生成部２２とを備える。

また、画像処理システム１は、圧縮画像データを複合するデコード部２４と、デコードされた圧縮画像データに画像処理を施す画像処理部２６と、画像処理が施されたデータを出力する出力部２８とを備える。更に、画像処理システム１は、音声データを複数の周波数帯域ごとの部分音声データに分離する音声分離部３０と、部分音声データの波形傾向を予測する傾向予測部３２と、予測された波形傾向に基づいて複数の部分音声データを統合する高質化処理部３４とを備える。

（情報取得部１０）
情報取得部１０は、外部から画像データ、及び／又は音声データを取得する。また、情報取得部１０は、画像データに音声データが含まれる場合、音声データと共に画像データを取得する。ここで、画像データは、静止画像データ、若しくは動画像データである。画像データは、ＲＡＷ画像等の未現像の画像データ、ＪＰＥＧやＭＰＥＧ等の完成状態の画像データのいずれであってもよい。そして、画像データは複数の画素を含んで構成される画像フレームを有する。例えば、静止画像データは、複数の画素を含む一の画像フレームを有して構成される。また、動画像データは、時系列に沿って連続して並ぶ複数の画像フレームを有して構成される。

情報取得部１０は、画像データを取得した場合、取得した画像データを構成する画像フレームを分離部１２に供給する。すなわち、情報取得部１０は、静止画像データを取得した場合、静止画像データを構成する一の画像フレームを分離部１２に供給する。また、情報取得部１０は、動画像データを取得した場合、動画像データを構成する複数の画像フレームに含まれる一の画像フレームを順次、分離部１２に供給する。更に、情報取得部１０は、音声データを取得した場合、取得した音声データを音声分離部３０に供給する。

（分離部１２）
分離部１２は、画像フレームの特徴に基づいて、画像フレームを複数の部分領域に分離する。ここで、特徴は、例えば、色調、階調、空間周波数等である。具体的に、分離部１２は、一の画像フレームを当該一の画像フレームに含まれる画素の特徴に基づいて複数の部分領域に分離する。一例として、分離部１２は、特徴が画素のＲ成分、Ｇ成分、及びＢ成分を示す場合、Ｒ成分、Ｇ成分、及びＢ成分別に画像フレームを分離して、複数の部分領域としての部分フレームを生成する。

例えば、図２に示すように、画像フレーム１００がＲ成分の画素、Ｇ成分の画素、及びＢ成分の画素を含んで構成されている場合、分離部１２は、Ｒ成分の画素を分離した部分領域としての部分フレーム１０２と、Ｇ成分の画素を分離した部分領域としての部分フレーム１０４と、Ｂ成分の画素を分離した部分領域としての部分フレーム１０６とに画像フレーム１００を分離する。分離部１２は、生成した複数の部分領域を示す情報を分割部１４に供給する。

（分割部１４）
分割部１４は、複数の部分領域のそれぞれを複数の細分化画素に分割する。すなわち、分割部１４は、一の部分領域としての部分フレームを予め定められた数の細分化画素に分割する。なお、部分領域を複数の細分化画素に分割する処理を、本実施の形態では「ピコピクセル化」と称する。そして、分割部１４は、アナログフィルム等の階調変化、及び色素出現ルール等に統計処理を適用して得られる結果に基づいて細分化画素を予測生成することができる。一例として、図２に示すように、分割部１４が分離部１２から受け取った部分フレーム１０２は、３×３画素を含んで構成されている。分割部１４は、部分フレーム１０２の画素を、例えば、９×９画素にピコピクセル化することで細分化された部分フレーム１０２ａを生成する。

そして、図２の例において分割部１４に供給される前の部分フレーム１０２は、Ｒ成分の画素（図２の例では、３つの画素１１０）を含む。そして、分割部１４が部分フレーム１０２を９×９画素の細分化画素に分割することで、Ｒ成分の３つの画素１１０は、Ｒ成分の複数の細分化画素１１０ａ（図２の例では、１７つの細分化画素１１０ａ）に分割される。ここで、分割部１４は、例えば、Ｒ成分の色素出現ルールを統計処理することで、９×９画素のいずれの細分化画素がＲ成分によって占められるのかを予測して、Ｒ成分の細分化画素１１０ａを生成する。

同様にして分割部１４は、部分フレーム１０４（Ｇ成分の画素１１２を含む）の画素をピコピクセル化した部分フレーム１０４ａ、及び部分フレーム１０６の画素（Ｂ成分の画素１１４を含む）をピコピクセル化した部分フレーム１０６ａを生成すると共に、Ｇ成分の細分化画素１１２ａとＢ成分の細分化画素１１４ａとを生成する。分割部１４は、生成した複数の細分化画素を含む複数の部分領域としての複数の部分フレームを統合部１６に供給する。

（統合部１６）
統合部１６は、分割部１４から受け取った複数の細分化画素を含む複数の部分領域のそれぞれを統合した統合フレームを生成する。統合部１６は、例えば、複数の部分領域としての複数の部分フレームを互いに重ね合わせることで統合フレームを生成する。一例として、統合部１６は、図２に示すように部分フレーム１０２ａと部分フレーム１０４ａと部分フレーム１０６ａとを重ね合わせることで、統合フレーム１１６を生成する。統合部１６は、生成した統合フレーム１１６を差分算出部１８に供給する。

（差分算出部１８）
差分算出部１８は、統合部１６から受け取った統合フレームを分割して得られる複数の画素の一の画素と、複数の画素それぞれの空間周波数に基づいて選択された他の画素との画素値の差分を算出する。具体的に、差分算出部１８は、統合フレーム１１６を構成する複数の画素から一の画素としての基準画素１１８を選択する。次に、差分算出部１８は、統合フレーム１１６を構成する複数の画素それぞれの空間周波数を算出する。差分算出部１８は、予め定められた周波数以上の周波数成分（以下、「高周波成分」と表す）を含む画素（図２の例では、画素１２０）を除く複数の画素を他の画素（図２の例では、複数の画素１２２）として選択する。そして、差分算出部１８は、基準画素１１８と複数の他の画素との画素値の差分をそれぞれ算出する。差分算出部１８は、算出した差分を示す情報を量子化部２０に供給する。

（量子化部２０）
量子化部２０は、差分算出部１８において選択された他の画素を、差分算出部１８が算出した差分に基づいて量子化する。すなわち、量子化部２０は、一の画素としての基準画素１１８、及び差分算出部１８において他の画素として選択されなかった画素については量子化しない。なお、量子化部２０は、処理の負荷を軽減することを目的として、加減算を主に用いた演算処理により量子化を実行できる。

一例として、差分算出部１８は、統合フレーム１１６を構成する複数の画素それぞれの空間周波数を統計処理することで所定の空間周波数、若しくは所定の周波数範囲の空間周波数の出現率を算出する。そして、差分算出部１８は、量子化部２０において量子化しない画素として複数の画素から一の画素を選択すると共に、出現率が予め定められた率以下の画素（例えば、高周波成分を有する画素）を選択する。一方、差分算出部１８は、出現率が予め定められた率を超える複数の画素（例えば、低周波成分を有する画素）を量子化する画素として選択する。

次に、差分算出部１８は、量子化する画素を示す情報、及び量子化しない画素を示す情報を、差分を示す情報と共に量子化部２０に供給する。そして、量子化部２０は、量子化を実行する。量子化部２０は、量子化した複数の画素を示す情報と、基準画素を示す情報、及び量子化しなかった画素を示す情報とを圧縮データ生成部２２に供給する。

（圧縮データ生成部２２）
圧縮データ生成部２２は、データサイズが圧縮された圧縮画像データを生成する。すなわち、圧縮データ生成部２２は、量子化部２０において量子化された他の画素を含んで構成される圧縮画像データを生成する。圧縮データ生成部２２は、生成した圧縮画像データをデコード部２４に供給する。

（デコード部２４）
デコード部２４は、圧縮画像データを復号する。ここで、圧縮データ生成部２２は、統合フレーム１１６を構成する一の画素と一部の画素とのデータを保持すると共に、他の画素を量子化した状態で圧縮画像データを生成しているので、デコード部２４が当該圧縮画像データをデコードしても、実質的に画質は劣化しない。したがって、本実施の形態に係る画像処理システム１は、画像データを実質的に可逆的に圧縮できる。デコード部２４はデコードした圧縮画像データを画像処理部２６に供給する。

（画像処理部２６）
画像処理部２６は、デコード部２４から受け取ったデコードされた圧縮画像データに画像処理を施す。画像処理は、例えば、各画素をスムーズに細かく連結させる処理、ノイズの発生を抑制する補正処理、コントラストを上げずに画像に含まれるオブジェクトの輪郭線をシャープにするリフォーカス処理、拡大処理（すなわち、アップスケール処理）、縮小処理、画像に含まれるオブジェクトの質感及び奥行き感を向上させるカラーマネジメント基準に基づいたトーンカーブ補正処理等である。画像処理部２６は、画像処理を施したデータを出力部２８に供給する。

（音声分離部３０）
音声分離部３０は、情報取得部１０から受け取った画像フレームに音声データが含まれる場合、及び情報取得部１０から音声データを受け取った場合、受け取った音声データを予め定められた複数の周波数帯域ごとの部分音声データに分離する。例えば、音声分離部３０は、第１の周波数帯域と、第１の周波数帯域より低い周波数を含む第２の周波数帯域と、第２の周波数帯域より低い周波数を含む第３の周波数帯域との３つの周波数帯域ごとに音声データを分離する。音声分離部３０は、分離した複数の部分音声データを傾向予測部３２に供給する。

（傾向予測部３２）
傾向予測部３２は、音声分離部３０から受け取った複数の部分音声データごとに波形傾向を予測して予測音声データを生成する。具体的に、傾向予測部３２は、部分音声データを所定の統計手法を用いて解析し、当該部分音声データにより表される音声の原音波形を予測することで予測音声データを生成する。これにより、傾向予測部３２は、音声データをデジタル化した時にカットされた音域を復元する。傾向予測部３２は、生成した予測音声データを高質化処理部３４に供給する。

（高質化処理部３４）
高質化処理部３４は、傾向予測部３２から受け取った予測音声データで表される波形の位相を調整して統合することで統合音声データを生成する。具体的に、高質化処理部３４は、複数の周波数帯域ごとに音波の伝搬速度が異なることに基づいて、ユーザーに統合音声データで表される音声が到達した場合に、ユーザーの聴覚に最適化になるように統合音声データを生成する。これにより、画像処理システム１は、音像定位の実現に資する音声を圧縮及び復元できる。高質化処理部３４は、生成した統合音声データを出力部２８に供給する。

（出力部２８）
出力部２８は、画像処理部２６から受け取ったデータを出力する。出力部２８は、当該データを所定のフォーマットで出力することができる。また、出力部２８は、高質化処理部３４から統合音声データを受け取った場合、統合音声データ若しくは統合音声データから生成される音声を出力する。ここで、出力部２８は、画像データ及び音声データを所定の記録媒体に出力すること、ユーザーに視認可能に出力すること、並びに所定の端末及び情報処理装置に出力することができる。また、出力部２８は、携帯電話網、インターネット等の通信網を介してデータを出力することもできる。

（画像処理方法の概要）
図３は、本発明の実施の形態に係る画像処理システムの処理の流れの一例を示す。

まず、情報取得部１０が画像データを取得すると共に当該画像データを構成する画像フレームを取得する（ステップ１０。以下、ステップを「Ｓ」と表す。）。情報取得部１０は、取得した画像フレームを分離部１２に供給する。分離部１２は、画像フレームを画素の特徴（例えば、Ｒ成分、Ｇ成分、Ｂ成分に関する情報）に基づいて複数の部分領域に分離する（Ｓ１５）。分離部１２は、生成した複数の部分領域を示す情報を分割部１４に供給する。

分割部１４は、一の部分領域としての部分フレームを予め定められた数の複数の細分化画素に分割する（Ｓ２０）。分割部１４は、生成した複数の細分化画素を含む複数の部分領域としての複数の部分フレームを統合部１６に供給する。統合部１６は、複数の細分化画素を含む複数の部分領域のそれぞれを重ね合わせて統合した統合フレームを生成する（Ｓ２５）。統合部１６は、統合フレームを差分算出部１８に供給する。差分算出部１８は、統合フレームを複数に分割して得られる複数の画素の一の画素と、複数の画素それぞれの空間周波数に基づいて選択された他の画素との画素値の差分を算出する（Ｓ３０）。差分算出部１８は、算出した差分を示す情報を量子化部２０に供給する。

量子化部２０は、差分算出部１８において選択された他の画素を、差分算出部１８が算出した差分に基づいて量子化する（Ｓ３５）。すなわち、量子化部２０は、一の画素と出現率の低い画素との情報をそのまま維持し、出現率の高い画素だけを量子化する。量子化部２０は、量子化した複数の画素を示す情報と、基準画素を示す情報、及び量子化しなかった画素を示す情報とを圧縮データ生成部２２に供給する。

圧縮データ生成部２２は、データサイズを可逆的に圧縮した圧縮画像データを生成する（Ｓ４０）。圧縮データ生成部２２は、圧縮画像データをデコード部２４に供給する。デコード部２４は、圧縮画像データを復号する（Ｓ４５）。デコード部２４はデコードした圧縮画像データを画像処理部２６に供給する。画像処理部２６は、デコード部２４から受け取ったデコードされた圧縮画像データに対し、画像処理を実行する（Ｓ５０）。画像処理部２６は、画像処理を施したデータを出力部２８に供給する。そして、出力部２８は、画像処理部２６から受け取ったデータを外部に出力する（Ｓ５５）。

図４は、本発明の実施の形態に係る画像処理システムの音声データの処理の流れの一例を示す。

情報取得部１０は、音声データを取得する（Ｓ６０）。なお、情報取得部１０は、音声データを単独で取得することも画像データに付随する音声データを取得することもできる。情報取得部１０は、取得した音声データを音声分離部３０に供給する。音声分離部３０は、受け取った音声データを予め定められた複数の周波数帯域ごとの部分音声データに分離する（Ｓ６５）。音声分離部３０は、分離した複数の部分音声データを傾向予測部３２に供給する。

傾向予測部３２は、音声分離部３０から受け取った複数の部分音声データのそれぞれについて波形傾向を予測して予測音声データを生成する（Ｓ７０）。傾向予測部３２は、生成した予測音声データを高質化処理部３４に供給する。高質化処理部３４は、傾向予測部３２から受け取った予測音声データで表される波形の位相を調整し、部分音声データを統合することで統合音声データを生成する（Ｓ７５）。高質化処理部３４は、統合音声データを出力部２８に供給する。出力部２８は、統合音声データを出力する（Ｓ８０）。

図５は、本発明の実施の形態に係る画像処理システムのハードウェア構成の一例を示す。

本実施の形態に係る画像処理システム１は、ＣＰＵ１５００と、グラフィックコントローラ１５２０と、ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ（ＲＯＭ）及び／又はフラッシュＲＯＭ等のメモリ１５３０と、データを記憶する記憶装置１５４０と、記録媒体からデータを読み込み及び／又は記録媒体にデータを書き込む読込み／書込み装置１５４５と、データを入力する入力装置１５６０と、外部の通信機器とデータを送受信する通信インターフェース１５５０と、ＣＰＵ１５００とグラフィックコントローラ１５２０とメモリ１５３０と記憶装置１５４０と読込み／書込み装置１５４５と入力装置１５６０と通信インターフェース１５５０とを互いに通信可能に接続するチップセット１５１０とを備える。

チップセット１５１０は、メモリ１５３０と、メモリ１５３０にアクセスして所定の処理を実行するＣＰＵ１５００と、外部の表示装置の表示を制御するグラフィックコントローラ１５２０とを相互に接続することにより、各構成要素間のデータの受渡しを実行する。ＣＰＵ１５００は、メモリ１５３０に格納されたプログラムに基づいて動作して、各構成要素を制御する。グラフィックコントローラ１５２０は、メモリ１５３０内に設けられたバッファ上に一時的に蓄えられた画像データに基づいて、画像を所定の表示装置に表示させる。

また、チップセット１５１０は、記憶装置１５４０と、読込み／書込み装置１５４５と、通信インターフェース１５５０とを接続する。記憶装置１５４０は、画像処理システム１のＣＰＵ１５００が使用するプログラムとデータとを格納する。記憶装置１５４０は、例えば、フラッシュメモリである。読込み／書込み装置１５４５は、プログラム及び／又はデータを記憶している記憶媒体からプログラム及び／又はデータを読み取って、読み取ったプログラム及び／又はデータを記憶装置１５４０に格納する。読込み／書込み装置１５４５は、例えば、通信インターフェース１５５０を介し、インターネット上のサーバーから所定のプログラムを取得して、取得したプログラムを記憶装置１５４０に格納する。

通信インターフェース１５５０は、通信ネットワークを介して外部の装置とデータの送受信を実行する。また、通信インターフェース１５５０は、通信ネットワークが不通の場合、通信ネットワークを介さずに外部の装置とデータの送受信を実行することもできる。そして、キーボード、タブレット、マウス等の入力装置１５６０は、所定のインターフェースを介してチップセット１５１０と接続する。

記憶装置１５４０に格納される画像処理システム１用の画像処理プログラムは、インターネット等の通信ネットワーク、又は磁気記録媒体、光学記録媒体等の記録媒体を介して記憶装置１５４０に提供される。そして、記憶装置１５４０に格納された画像処理システム１用のプログラムは、ＣＰＵ１５００により実行される。

本実施の形態に係る画像処理システム１により実行される画像処理プログラムは、ＣＰＵ１５００に働きかけて、画像処理システム１を、図１から図４にかけて説明した情報取得部１０、分離部１２、分割部１４、統合部１６、差分算出部１８、量子化部２０、圧縮データ生成部２２、デコード部２４、画像処理部２６、出力部２８、音声分離部３０、傾向予測部３２、及び高質化処理部３４として機能させる。

（実施の形態の効果）
本実施の形態に係る画像処理システム１は、画像データを画素の特徴に基づいて複数の部分フレームに分離し、各部分フレームを構成する複数の画素を更に細分化するので、アップスケール等の画像処理によって画像データから画像に関する情報が損なわれることを防止できる。これにより、画像処理システム１は、画像を高倍率に拡大した場合であっても、ジャギー、偽色、粒状感、及びノイズ等を抑制若しくは低減しつつ、自然なエッジ（すなわち、スムーズなエッジ）、階調感、立体感、及び質感のある拡大画像を生成することができる。

また、本実施の形態に係る画像処理システム１は、統合フレームから基準となる画素を選択すると共に画素の空間周波数に基づいて情報量を圧縮する画素を選択できるので、実質的に画質及び画像データの一部を損なわずに大幅な圧縮処理、デコード処理を実行できる。これにより、画像処理システム１は、情報量の大きな画像データの送受信時の通信時間の短縮、通信の負荷の抑制、及びストレージの容量削減に貢献できる。

また、本実施の形態に係る画像処理システム１は、画像データ及び音声データを可逆的に圧縮できるので、通信負荷、ストレージ負荷を低減させたクラウドサービス、通信負荷を低減させた状態で静止画像や動画像をスマートフォン等の携帯情報通信端末に供給するサービス、静止画や動画をパーソナルコンピューター等の端末において管理及び処理するサービス等、画像の質を高める処理や画像を拡大する処理によって画像の価値を高めるサービスに適用することもできる。

以上、本発明の実施の形態を説明したが、上記に記載した実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明した特徴の組合せのすべてが発明の課題を解決するための手段に必須であるとは限らない点に留意すべきである。更に、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品とのような複数の部分に分割されて適用されるようにすることもできる。

１ 画像処理システム
１０ 情報取得部
１２ 分離部
１４ 分割部
１６ 統合部
１８ 差分算出部
２０ 量子化部
２２ 圧縮データ生成部
２４ デコード部
２６ 画像処理部
２８ 出力部
３０ 音声分離部
３２ 傾向予測部
３４ 高質化処理部
１００ 画像フレーム
１０２、１０２ａ、１０４、１０４ａ、１０６、１０６ａ 部分フレーム
１１０、１１２、１１４ 画素
１１０ａ、１１２ａ、１１４ａ 細分化画素
１１６ 統合フレーム
１１８ 基準画素
１２０、１２２ 画素
１５００ ＣＰＵ
１５１０ チップセット
１５２０ グラフィックコントローラ
１５３０ メモリ
１５４０ 記憶装置
１５４５ 読込み／書込み装置
１５５０ 通信インターフェース
１５６０ 入力装置

Claims (6)

1. 画像の画像処理に適用可能な画像処理システムにおいて、
   画像フレームを特徴に基づいて複数の部分領域に分離する分離部と、
   前記複数の部分領域を複数の細分化画素に分割する分割部と、
   前記複数の細分化画素を含む前記複数の部分領域を統合した統合フレームを生成する統合部と、
   前記統合フレームを分割して得られる複数の画素の一の画素としての基準画素を選択し、前記統合フレームを構成する前記複数の画素それぞれの空間周波数を算出し、予め定められた周波数以上の周波数成分である空間周波数を含む画素を除く複数の画素を他の複数の画素として選択し、前記基準画素から他の複数の画素との画素値の差分を算出する差分算出部と、
   前記他の複数の画素を前記差分に基づいて加減算を用いた演算処理により量子化する量子化部と、
   前記量子化部において量子化された前記他の複数の画素を含んで構成される圧縮画像データを生成する圧縮データ生成部と、
   前記圧縮画像データを復号するデコード部と
   を備える画像処理システム。
2. 前記特徴が、画素のＲ成分、Ｇ成分、及びＢ成分であり、
   前記分離部が、前記Ｒ成分、前記Ｇ成分、及び前記Ｂ成分別に前記画像フレームを前記複数の部分領域に分離する請求項１に記載の画像処理システム。
3. 前記画像フレームが、複数の画像フレームを有して構成される動画像に含まれる一の画像フレームである請求項１又は２に記載の画像処理システム。
4. 前記画像フレームに音声データが含まれる場合、前記音声データを予め定められた複数の周波数帯域ごとの部分音声データに分離する音声分離部と、
   複数の部分音声データごとに波形傾向を予測した予測音声データを生成する傾向予測部と、
   前記予測音声データで表される波形の位相を統合した統合音声データ高質化処理部と
   を更に備える請求項１〜３のいずれか１項に記載の画像処理システム。
5. 画像の画像処理に適用可能な画像処理方法において、
   画像フレームを特徴に基づいて複数の部分領域に分離する分離段階と、
   前記複数の部分領域を複数の細分化画素に分割する分割段階と、
   前記複数の細分化画素を含む前記複数の部分領域を統合した統合フレームを生成する統合段階と、
   前記統合フレームを分割して得られる複数の画素の一の画素としての基準画素を選択し、前記統合フレームを構成する前記複数の画素それぞれの空間周波数を算出し、予め定められた周波数以上の周波数成分である空間周波数を含む画素を除く複数の画素を他の複数の画素として選択し、前記基準画素から他の複数の画素との画素値の差分を算出する差分算出段階と、
   前記他の複数の画素を前記差分に基づいて加減算を用いた演算処理により量子化する量子化段階と、
   前記量子化段階において量子化された前記他の複数の画素を含んで構成される圧縮画像データを生成する圧縮データ生成段階と、
   前記圧縮画像データを復号するデコード段階と
   を備える画像処理方法。
6. 画像の画像処理に適用可能な画像処理システム用の画像処理プログラムであって、
   コンピュータに、
   画像フレームを特徴に基づいて複数の部分領域に分離する分離機能と、
   前記複数の部分領域を複数の細分化画素に分割する分割機能と、
   前記複数の細分化画素を含む前記複数の部分領域を統合した統合フレームを生成する統合機能と、
   前記統合フレームを分割して得られる複数の画素の一の画素としての基準画素を選択し、前記統合フレームを構成する前記複数の画素それぞれの空間周波数を算出し、予め定められた周波数以上の周波数成分である空間周波数を含む画素を除く複数の画素を他の複数の画素として選択し、前記基準画素から他の複数の画素との画素値の差分を算出する差分算出機能と、
   前記他の複数の画素を前記差分に基づいて加減算を用いた演算処理により量子化する量子化機能と、
   前記量子化機能において量子化された前記他の複数の画素を含んで構成される圧縮画像データを生成する圧縮データ生成機能と、
   前記圧縮画像データを復号するデコード機能と
   を実現させる画像処理プログラム。

Images