JP4140362B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ビットマップ画像の処理に関し、例えば補間処理のように、出力画像の画素の値を入力画像の複数の参照画素から求める変換処理に関する。
【０００２】
【従来の技術】
近年、公衆回線を用いたファクシミリ通信に加え、公衆回線やＬＡＮなどのネットワークを用いた画像通信が盛んに行なわれている。画像データを送受する機器もファクシミリのほか、パーソナルコンピュータや複合ディジタル複写機、ネットワークプリンタなど、各種の機器が用いられている。また最近はこれらの機器のカラー化も進み、カラーＦＡＸやカラープリンタも主流になりつつある。
【０００３】
ネットワークを介して画像データをやりとりする場合、通常は入力した原稿画像のタイプを判別して、原稿に適した画像処理を画像全体に施して出力側の機器へ送信する。このように原稿画像全体を一括して扱った場合、原稿画像が文字のみ、あるいは写真のみといった１種類の属性の画像データだけで構成されるのであれば特に問題はない。しかし、文字と写真が混在しているような複数の属性の画像データから構成されている場合には不都合が生じる。例えば文字と写真が混在している画像データを圧縮しようとした場合、文字部分にも写真部分にも同様に圧縮処理を施すので、適用する圧縮手法によっては文字部あるいは写真部のいずれかの圧縮率が低下したり、あるいはいずれかの画質が劣化してしまう。
【０００４】
このような問題を解決するため、近年標準化されたＩＴＵ−Ｔ勧告Ｔ．４４に規定されるＭＲＣ（Ｍｉｘｅｄ Ｒａｓｔｅｒ Ｃｏｎｔｅｎｔ）では、文字・線画と写真等の連続階調の絵柄とが混在する画像データを、背景プレーン、前景プレーン、及びそれら両者のどちらを選択するかを示すマスクプレーン、の合計３層のプレーンに分離し、それぞれのプレーンを個別に圧縮符号化する方式を規定している。このＩＴＵ−Ｔ勧告Ｔ．４４に従うと、文字・線画部分と絵柄部分とを、それぞれ別のプレーンに分離し、各プレーンを、各々に含まれる画像データの特徴に適合する圧縮符号化方式で圧縮符号化することができる。例えば絵柄部分のプレーンはＩＴＵ−Ｔ勧告Ｔ．８１に示されたＪＰＥＧ方式のような非可逆圧縮方式で圧縮符号化し、文字・線画部分のプレーンはＩＴＵ−Ｔ勧告Ｔ．６に示されたＭＭＲ方式のような可逆圧縮方式で圧縮符号化するなどである（特許文献１〜４参照）。特許文献３，４ではプレーン分離の具体的な手法を提案している。
【０００５】
このように、文字・線画と絵柄とが混在する画像データをその局所的な特性に応じて３層の画像データプレーンに分離し、プレーン毎に圧縮符号化方式を選択的に切り替える技術は、ＪＰＥＧ方式単独で文字写真混在画像データを圧縮する場合に比して圧縮効率を稼ぎつつ圧縮画像品質を高く保つことができるという利点がある。
【０００６】
また、そのようにして分離した各プレーンの解像度を落とすことで、データ圧縮率を更に高めることも行われ、更に特許文献１、２には、プレーンごとに、そのプレーンの特性に応じた解像度変換を行う点が開示されている。
【０００７】
すなわち、これら従来技術では、図１６に示すように、（ａ）送信側では、まず送信対象のオリジナル画像１０００を、マスク１０１０、前景１０１２，背景１０１４の３つのプレーンに分離する。ここでオリジナル画像１０１０は、色つきの文字部分１００２と連続階調カラーの絵柄部分１００４を含んでいる。これから生成されるマスク１０１０は、文字部分１００２の領域を１，その他の領域を０とする２値画像である。また、前景１０１２は、該文字部分１００２の色パレットとして用いられるものであり、その文字部分１００２を内包する領域がその文字部分の１００２の色に設定された画像として生成される。なお前景１０１２では、色パレットの領域以外の画素は、受信側での画像再生の際に参照しない（ドント・ケア(don't care))ので、適当な画素値がセットされる。図示の例では、色パレットの領域として当該文字部分１００２の領域そのものが用いられている。背景１０１４は、絵柄部分１００４を保持するプレーンであり、背景１０１４中の文字部分１００２の画素は画像再生の際に参照しないので適当な値がセットされる。（ｂ）送信側は、これら３プレーンのうち前景１０１２及び背景１０１４を、最近傍法縮小や４点補間縮小、投影法縮小などの所定の縮小処理で低解像度化し、この結果できた縮小前景１０２２及び縮小背景１０２４と、解像度変換しないマスク１０１０をそれぞれ所定の圧縮方式で圧縮した上で受信側に送る。（ｃ）受信側では、それら各プレーンの圧縮データをそれぞれ対応する圧縮方式に従って伸長する。そして、縮小前景１０２２及び縮小背景１０２４はそれぞれ元の解像度になるまで拡大し、この結果できた前景１０３２と背景１０３４をマスク１０１０に従って合成することで、再生画像１０３０を生成している。
【０００８】
【特許文献１】
特開平１１−１２２４７９号公報
【特許文献２】
特開平１１−１５０６５４号公報
【特許文献３】
特開２０００−１０１３０２公報
【特許文献４】
特開２０００−１７５０５１公報
【０００９】
【発明が解決しようとする課題】
上述のようにＭＲＣの各プレーンの画像を低解像度に変換した上で伝送し、受信側で元の解像度に戻す方式を用いた場合、画像の特に前景や背景の輪郭近傍に濁りが生じてしまう場合があった。すなわち、送信時の縮小や受信時の拡大の際の補間処理では、文字部分や絵柄部分の輪郭部分の画素の値は、元画像（縮小前又は拡大前の画像）の文字部分や絵柄部分の画素だけでなく、その近傍のドント・ケア領域の画素も参照して計算されるため、元々の画素値とは異なる値となってしまう（具体的な補間手法については特許文献１の００２５〜００３０段落を参照）。特に、図１６のように前景１０１２の色パレット領域を文字部分１００２と全く同じ形状・サイズとして作成する処理系では、受信側で再生した前景１０３２の文字部分の輪郭近傍の画素は、その周囲のドント・ケア画素の値も反映した値となるため色が濁り、これを文字部分の形状を持つマスク１０１０でマスクしても、文字輪郭の色濁り部分が再生画像１０３０に現れる。文字・線画の場合、このような輪郭近傍の色濁りは、再生画像１０３０の見栄えを悪くする。特に細線部分を含む文字・線画の場合、細線部分が太線部分と異なった色になってしまい、一連の文字・線画が途中で分離したように見えるなどの問題が生じる。
【００１０】
この問題は、文字部分１００２より十分大きい領域を前景１０１２の色パレット領域として作成するシステムでは起こらないが、文字部分自体を切り出して前景１０１２を作成する方式は計算が容易（マスク１０１０を作成すれば、ほぼ即座に作成できる）なため、この方式を実装するシステムも少なくない。
【００１１】
以上、ＭＲＣの解像度変換による文字等の輪郭の色濁りの問題を説明したが、補間処理など、出力画像の画素の値を入力画像の複数の参照画素の値から計算する変換処理一般を行う場合にも、このような輪郭部分の色濁りの問題が生じる可能性がある。
【００１２】
【課題を解決するための手段】
本発明は、このような問題を解決するためになされたものであり、変換処理の際の輪郭部分の色濁りを防止又は低減できる画像処理装置を提供することを目的とする。
【００１３】
本発明に係る画像処理装置は、入力デジタル画像から出力デジタル画像を生成するために、入力デジタル画像の各画素が注目領域に属するか否かの情報を含む第１の領域分け情報を参照して、出力デジタル画像の出力画素ごとに、その出力画素が入力デジタル画像の所定の注目領域に対応するものであるか否かを判別する判別手段と、出力デジタル画像の出力画素の値を、その出力画素に対応する入力デジタル画像の１以上の参照画素の値から求める所定の計算処理により、入力デジタル画像から出力デジタル画像を生成する変換手段であって、前記出力画像のうち前記注目領域に対応する出力画素については、その出力画素に対応する参照画素のうち前記注目領域に属する参照画素の値が、その注目領域に属さない参照画素よりも強く出力画素の値に影響する計算処理を用いて、参照画素の値からその出力画素の値を算出する変換手段と、を備える。
【００１４】
この装置では、注目領域に対応する出力画素の値は、注目領域に属さない参照画素よりも注目領域に属する参照画素の方の影響をより強く受けた値となる。したがって、この装置では、対応する参照画素群の中に注目領域に属する画素と属さない画素とが混在するような出力画素の値を求める場合、出力画素の値は注目領域に属する参照画素の値に近くなるので、注目領域の輪郭部分の画素値の変換による変化を防止又は緩和できる。なお、例えばＭＲＣの前景プレーンを解像度変換する例を考えると、前景プレーンで意味ある値を持つ画素の集まりが「注目領域」に該当する。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。
【００１６】
図１は、本発明に係る画像伝送システムの一例を示す機能ブロック図である。このシステムは、ＩＴＵ−Ｔ勧告Ｔ．４４に規定されるＭＲＣ（Ｍｉｘｅｄ Ｒａｓｔｅｒ Ｃｏｎｔｅｎｔ）方式を用いたものである。
【００１７】
図１のシステムは、大きく分けて送信側装置１００と受信側装置１５０から構成される。送信側装置１００と受信側装置１５０とは、公衆回線やＬＡＮ（ローカルエリアネットワーク）などの通信回線を介し、所定のネットワークプロトコルに従って接続されている。送信側装置１００及び受信側装置１５０は、例えば、パーソナルコンピュータ、ファクシミリ装置、ディジタル複写機、デジタル複合機、ネットワークプリンタなど、画像データを送信したり、受信したりする機能を有する装置である。図１では、送信側装置１００については画像送信のための構成要素群を示し、受信側装置１５０についての画像受信のための構成要素群を示しているが、送信側装置１００及び受信側装置１５０は、図示した構成要素群以外にも各種の要素を含み得る。
【００１８】
まず送信側装置１００について説明する。送信側装置１００は、画像入力部１０２，マスク生成部１０４，前景背景分離部１０６，前景縮小部１０８，背景縮小部１１０，前景圧縮部１１２，背景圧縮部１１４，マスク圧縮部１１６，フォーマット部１１８，送信部１２０を備えている。
【００１９】
画像入力部１０２は、送信対象のビットマップ画像を入力する機能モジュールである。マスク生成部１０４は、入力されたビットマップ画像から、ＭＲＣのマスクプレーンを生成する機能モジュールである。生成されるマスク(Mask)プレーンは、例えばビットマップ画像内の文字・線画部分に該当する画素を値“１”とし、その他の部分に該当する画素を値“０”とする２値画像である。前景背景分離部１０６は、入力されたビットマップ画像から、マスク生成部１０４で生成されたマスクプレーンに基づき、ＭＲＣの前景(Foreground)プレーンと背景(Background)プレーンを生成する機能モジュールである。生成される前景プレーンは、元のビットマップ画像中の文字・線画部分に該当する画素が該ビットマップ画像中の当該画素自身の値を持ち、その他の部分の画素（ドント・ケア画素）が所定の画素値を持つカラー画像である。また生成される背景プレーンは、元のビットマップ画像における文字・線画部分以外の部分に該当する画素が該ビットマップ画像中の当該画素の値を持ち、他の部分（すなわち文字・線画部分）の画素（ドント・ケア画素）が所定の画素値を持つカラー画像である。マスクプレーンや前景プレーン、背景プレーンの生成処理自体は公知技術であり、特許文献１〜４にもいくつかの生成手法が開示されている。マスク生成部１０４、前景背景分離部１０６は、これら公知技術を用いてそれら各プレーンの画像を生成することができる。
【００２０】
このような層分離を用いた場合、受信側の層合成では、マスクプレーン１０４０の値“１”の画素については前景プレーン１０４２の画素値を採用し、マスクプレーン１０４０の値“０”の画素については背景プレーン１０４４の画素値を採用する）図５参照）。したがって、マスクプレーン１０４０の値“１”の画素は前景プレーン１０４２に属し、値“０”の画素は背景プレーン１０４４に属するととらえることができる。
【００２１】
前景縮小部１０８は前景プレーンの画像を縮小する機能モジュールであり、背景縮小部１１０は背景プレーンの画像を縮小する機能モジュールである。この縮小処理は、画像の解像度を低下させるためものである。前景縮小部１０８及び背景縮小部１１０でそれぞれ縮小された前景プレーン及び背景プレーンを、以下では縮小前景プレーン及び縮小背景プレーンとそれぞれ呼ぶこととする。本実施形態の前景縮小部１０８と背景縮小部１１０は、画像の縮小（すなわち低解像度化）の際に、マスク生成部１０４で生成されたマスクプレーンを参照する。この縮小処理の詳細については後で説明する。
【００２２】
前景圧縮部１１２は縮小前景プレーンの画像をデータ圧縮する機能モジュールである。この前景圧縮には、例えば２値画像や、カラー画像の非可逆圧縮に適したＪＢＩＧ(Joint Bi-level Image Coding Expert Group)などの符号化方式を用いることができる。また、背景圧縮部１１４は、縮小背景プレーンの画像をデータ圧縮する機能モジュールである。この背景圧縮には、連続調画像の圧縮に適したＪＰＥＧ（Joint Photographic Experts Group）などの符号化方式を用いることができる。マスク圧縮部１１６は、マスクプレーンの画像をデータ圧縮する機能モジュールである。このマスク圧縮には、２値画像の圧縮に適したＭＭＲ、JBIGなどの圧縮方式を用いることができる。これら前景圧縮、背景圧縮、及びマスク圧縮の処理自体は公知技術であり、上に例示した以外にも様々な従来技術を利用することができる。
【００２３】
フォーマット部１１８は、縮小前景プレーン、縮小背景プレーン及びマスクプレーンの各々の圧縮データを、ＭＲＣのフォーマットに従ってパッケージ化する機能モジュールである。送信部１２０は、フォーマット部１１８で作成されたＭＲＣデータを、受信側装置１５０に対して送信する。
【００２４】
次に受信側装置１５０について説明する。受信側装置１５０は、受信部１５２，フォーマット解凍部１５４，マスク伸長部１５６，マスク縮小部１５８，前景伸長部１６０，背景伸長部１６２，前景拡大部１６４，背景拡大部１６６，一層合成部１６８，画像出力部１７０を備える。
【００２５】
受信部１５２は、送信側装置１００から送信されたＭＲＣデータを受信する機能モジュールである。フォーマット解凍部１５４は、そのＭＲＣデータをマスクプレーン、前景プレーン及び背景プレーン（全て圧縮データ）に分解する。マスク伸長部１５６は、フォーマット解凍部１５４から与えられるマスクプレーンの圧縮データを、対応する符号化方式に従ってデータ伸長し、元のマスクプレーンを再生する。前景伸長部１６０及び背景伸長部１６２は、フォーマット解凍部１５４から与えられる圧縮された前景プレーン及び背景プレーンを、それぞれ対応する符号化方式に従ってデータ伸長する。このデータ伸長により、縮小前景プレーン及び縮小背景プレーンが得られる。
【００２６】
マスク縮小部１５８は、マスク伸長部１５６で求められたマスクプレーン（高解像度）を縮小し、低解像度の縮小マスクプレーンを作成する。この縮小マスクプレーンは、縮小前景プレーン用と、縮小背景プレーン用とにそれぞれ作成する。縮小前景プレーン用の縮小マスクプレーンは、元のマスクプレーンに対して前景縮小部１０８と同じ縮小処理を施すことにより作成する。これにより、縮小前景プレーンと同じ解像度で、文字・線画部分が値“１”となり、他の部分が“０”となる縮小前景プレーン用の縮小マスクが作成される。縮小背景プレーン用の縮小マスクプレーンは、元のマスクプレーンに対して背景縮小部１１０と同じ縮小処理を施すことにより（縮小前景プレーン用縮小マスクの作成手順と同様に）、作成する。
【００２７】
前景拡大部１６４は、前景伸長部１６０で得られた縮小前景プレーンを、縮小前の前景プレーンと同じ解像度になるまで拡大することにより、前景プレーンを再生する。ここで、前景拡大部１６４は、マスク縮小部１５８で作成された縮小前景プレーン用の縮小マスクプレーンを参照しつつ、この拡大処理を実行する。背景拡大部１６６は、背景伸長部１６２で得られた縮小背景プレーンを、縮小前の背景プレーンと同じ解像度になるまで拡大することにより、背景プレーンを再生する。ここで背景拡大部１６６は、マスク縮小部１５８で作成された縮小背景プレーン用の縮小マスクプレーンを参照しつつ、この拡大処理を実行する。なお、前景拡大部１６４及び背景拡大部１６６による拡大処理の詳細は、後で説明する。
【００２８】
一層合成部１６８は、各拡大部１６４及び１６６で求められた前景プレーン及び背景プレーンを、マスク伸長部１５６で求められたマスクプレーンを用いて合成することにより、元の画像を再生する。この合成では、マスクプレーン上で値が“１”の画素は前景プレーンの画素値を採用し、マスクプレーン上で値が“０”の画素は背景プレーンの画素値を採用することにより、画像を構成する。
【００２９】
画像出力部１７０は、このようにして再生された画像を、その画像を処理する所定の装置やアプリケーションソフトウエアに供給する。
【００３０】
以上、本実施形態のシステム構成の一例を説明した。次に、前景縮小部１０８，背景縮小部１１０，前景拡大部１６４，及び背景拡大部１６６で行われる、ビットマップ画像の縮小及び拡大処理について説明する。前述のように、この縮小及び拡大は解像度変換処理と言い換えることができる。解像度変換では、特許文献１の００２５〜００３０段落に例示されるように、画素値を補間により求めることが一般的である。図２は、解像度変換の考え方を説明するための図であり、入力画像２０００から、解像度変換処理によってより低解像度の出力画像２１００を生成する場合を示している。入力画像２０００内に整列した黒い丸印は、該画像２０００の個々の画素（入力画素２０１０と呼ぶ）の位置を示し、出力画像２１００内に整列した白抜きの丸印は、該画像２１００の画素（出力画素２１１０と呼ぶ）の位置を示している。出力画像２１００の方が同じ画像を入力画像２０００よりも少ない画素数で表現することになる。画素ピッチが固定の表示系では、このような低解像度化は画像縮小と等価である。この低解像度化で、出力画像２１００の各画素２１１０の値を求める場合、出力画像２１００を入力画像２０００に合わせて拡大することにより、各出力画素２１１０を入力画像２０００にマッピングする。これにより得られるマッピング結果２２００では、一般に出力画素２１１０は入力画素２０１０に重ならないので、出力画素２１００の値を周囲の入力画素２０１０の値から求めることとなり、この際に４点線形補間や投影法などの補間処理が用いられる。例えば４点線形補間の場合は、出力画素Ｔの値は、周囲の４つの入力画素Ｒ１〜Ｒ４の画素値から求められる。
【００３１】
図２では縮小（低解像度化）の場合を説明したが、拡大（高解像度化）の場合も同様に、出力画像（拡大結果）の各画素の位置を入力画像（拡大前）の座標系にマッピングし、そのマッピングした出力画素位置を基準に、利用する補間方式に応じた参照画素群が入力画像から選択されることになる。
【００３２】
図３は、前景縮小部１０８及び前景拡大部１６４で実行される補間処理の概略的な流れを示すフローチャートである。前景プレーンの縮小又は拡大処理では、補間処理で求めたい出力画像２１００を入力画像２０００の座標系にマッピングしたのち、図３の処理を実行する。
【００３３】
すなわち、まずマッピング結果から出力画素２１１０を１個取り出し（Ｓ１０）、この出力画素２１１０に対応する参照画素を入力画素２０１０群から特定する。参照画素の選び方は、補間方式による。例えば４点線形補間（バイリニア補間とも呼ばれる）の場合は、図２のマッピング結果２２００の領域２２５０に示したように注目する出力画素２１１０の周囲最近傍の４つ入力画素が参照画素に選択され、１６点補間の場合は、その４入力画素の１つ外側の１２個の入力画素も含んだ合計１６個が参照画素に選択される。そして、そのようにして特定した参照画素がそれぞれ前景又は背景のいずれに属するかをマスクプレーンに基づいて判定し、さらにその判定結果に基づき、参照画素すべてが前景に属するか、又は参照画素すべてが背景に属する、かのいずれかが満足されるか否かを判別する（Ｓ１２）。この判定結果が肯定（Ｙ）ならば、従来通りの通常の補間処理を実行する（Ｓ１４）。
【００３４】
ステップＳ１２の判定結果が否定（Ｎ）の場合、出力画素に対応する参照がその中に前景画素と背景画素が混在することになる。この場合、前景プレーンの縮小又は拡大を行う本プロセスでは、それら参照画素のうち前景に属する画素の値のみを用いて補間処理を行う（Ｓ１６）。
【００３５】
すなわち、図３の手順では、出力画素に対応する参照画素の中に１つでも前景プレーンの画素があれば、その出力画素が前景であるものとして取り扱い、それら参照画素のうち前景に属するもののみを用いて補間計算を行っている（逆に言えば背景に属するものは、補間計算の際に参照しない）。
【００３６】
このような補間処理（Ｓ１４又はＳ１６）により、注目する出力画素の値が決まる。以上のステップＳ１０〜Ｓ１６の処理を、マッピングした出力画素のすべてについて繰り返す（Ｓ１８）ことにより、出力画像（すなわち縮小結果又は拡大結果）が形成される。
【００３７】
図４は、背景縮小部１１０及び背景拡大部１６６で実行される補間処理の概略的な手順を示すフローチャートである。背景プレーンの縮小又は拡大処理では、補間処理で求めたい出力画像２１００を入力画像２０００の座標系にマッピングしたのち、図４の処理を実行する。
【００３８】
すなわち、まずマッピング結果から出力画素２１１０を１個取り出し（Ｓ２０）、この出力画素２１１０に対応する参照画素を入力画素２０１０群から特定する。参照画素の選び方は、補間方式による。そして、そのようにして特定した参照画素がそれぞれ前景又は背景のいずれに属するかをマスクプレーンに基づいて判定し、さらにその判定結果に基づき、参照画素すべてが前景に属するか、又は参照画素すべてが背景に属する、かのいずれかが満足されるか否かを判別する（Ｓ２２）。この判定結果が肯定（Ｙ）ならば、従来通りの通常の補間処理を実行する（Ｓ２４）。
【００３９】
ステップＳ２２の判定結果が否定（Ｎ）の場合、出力画素に対応する参照画素の中に前景画素と背景画素が混在することになる。この場合、背景プレーンの縮小又は拡大を行う本プロセスでは、それら参照画素のうち背景に属する画素の値のみを用いて補間処理を行う（Ｓ２６）。
【００４０】
すなわち、図４の手順では、出力画素に対応する参照画素の中に１つでも背景プレーンの画素があれば、その出力画素が背景であるものとして取り扱い、それら参照画素のうち背景に属するもののみを用いて補間計算を行っている（逆に言えば前景に属するものは、補間計算の際に参照しない）。
【００４１】
このような補間処理（Ｓ２４又はＳ２６）により、注目する出力画素の値が決まる。以上のステップＳ２０〜Ｓ２６の処理を、マッピングした出力画素のすべてについて繰り返す（Ｓ２８）ことにより、出力画像（すなわち縮小結果又は拡大結果）が形成される。
【００４２】
図５は、図１のシステム構成における処理の一例を、画像データの変遷により示した図である。以下、この図を参照して、この処理例について説明する。
【００４３】
（ａ）に示すように、送信側装置１００の画像入力部１０２から入力される処理対象の画像データ（オリジナル画像１０００）は、色つきの文字１００２及び１００６と連続調カラー画像１００４とを含んでいる。文字１００２と１００６とは異なる色であるが、図面では色が表現できないため同色で示した。また文字１００６はカラー画像１００４の上に重なっている。
【００４４】
このようなオリジナル画像１０００を、マスク生成部１０４及び前景背景分離部１０６によりＭＲＣの３層画像に分離すると、マスクプレーン１０４０，前景プレーン１０４２及び背景プレーン１０４４が生成される。
【００４５】
このうち前景プレーン１０４２の画像は、前景縮小部１０８により、例えば４点線形補間を用いて縮小（低解像度化）され、縮小前景プレーン１０５２となる。前景縮小部１０８は、この縮小の際、マスクプレーン１０４０を参照して補間処理を行う。
【００４６】
このマスクプレーン１０４０を参照した４点線形補間処理を図６を参照して説明する。
【００４７】
この補間処理では、マッピングされた出力画素Ｔに最も近い４つの入力画素を参照画素Ｒ１〜Ｒ４とし、まずそれら各参照画素が前景、背景のいずれに属するかをマスクプレーン１０４０に基づき判定する。参照画素の画素位置に対応するマスク１０４０の画素の値が“１”であれば、その参照画素は前景に属し、“０”であればその参照画素は背景に属する。
【００４８】
この判定の結果、（１）それら４つの参照画素Ｒ１〜Ｒ４がすべて前景であるか、又はすべて背景である場合は、出力画素Ｔの値は、それら４つの参照画素Ｒ１〜Ｒ４の値を周知の４点線形補間の計算式に代入することにより計算する。すなわち、この場合の補間演算は従来の４点線形補間と変わるところはない。
【００４９】
また、（２）参照画素Ｒ１〜Ｒ４のうち２つ又は３つの画素が前景の場合は、背景に属する１つ又は２つの参照画素の値を、出力画素Ｔに最も近い前景の参照画素の値に置換した上で、それら４つの参照画素の値を４点線形補間の計算式に代入することで、出力画素Ｔの値を求める。出力画素Ｔに最も近い前景の参照画素は、図示のように、参照画素Ｒ１〜Ｒ４を四隅とする矩形を、出力画素Ｔを通りその矩形の各辺に平行な直線で４分割した場合の各部分Ａ，Ｂ，Ｃ，Ｄのうち、前景の参照画素を含む最小面積の部分に対応する参照画素を選択する。図示の例では参照画素Ｒ１がこれに該当する。
【００５０】
そして、（３）参照画素Ｒ１〜Ｒ４のうち１つの画素のみが前景に属する場合は、その画素の値を残りの３つの背景参照画素に当てはめた上で、それら４つの参照画素の画素値を４点線形補間の計算式に代入し、出力画素Ｔの値を計算する。
【００５１】
このように、図６に示す方法では、出力画素Ｔに対応する参照画素群に前景の画素と背景の画素が混在している場合は、背景の画素の値を前景の画素の値に置き換えることで、前景の参照画素の値のみに基づいて出力画素Ｔの値を計算する。
【００５２】
図５の説明に戻り、オリジナル画像１０００から分離されてできた背景プレーン１０４４の画像は、背景縮小部１１０により、例えば投影法補間を用いて縮小（低解像度化）され、縮小背景プレーン１０５４となる。背景縮小部１１０は、この縮小の際、マスクプレーン１０４０を参照して補間処理を行う。
【００５３】
このマスクプレーン１０４０を参照した投影法補間処理を図７を参照して説明する。
【００５４】
投影法では、図７の（１）に示すように、投影法は画素を点ではなく面としてとらえ、入力画像にマッピングした出力画素Ｔが覆う入力画像の各参照画素Ｒ１〜Ｒ９の値を、その各々が覆われる部分の面積比率に応じて加重平均することにより、出力画素Ｔの値を計算する。投影法は、計算処理量が多いものの、高画質が得られる補間法として知られている。投影法自体は周知の手法なので、これ以上の詳細な説明は省略する。なお、図７の例は、出力画素Ｔが参照画素Ｒ１に比べて大きいため、同じ面積では出力画像の方が画素数が少なくなるので、縮小すなわち低解像度化に該当する。
【００５５】
背景縮小部１１０での補間処理では、出力画素Ｔに覆われる各参照画素がすべて前景であるか、すべて背景である場合は、それら各参照画素の値を投影法の計算式に代入することで出力画素Ｔの値を計算する。
【００５６】
一方、（２）に示すように出力画素Ｔに覆われる参照画素に前景の画素と背景の画素が混在する場合は、背景に属する参照画素のみで、投影法の計算を行うことで出力画素Ｔの値を求める。ここで、投影法計算における各画素の面積比率は、背景に属する各参照画素同士の間での比率を用いる。
【００５７】
このようにして作成された縮小前景プレーン１０５２及び縮小背景プレーン１０５４はそれぞれデータ圧縮され、同じく圧縮されたマスクプレーン１０４０と共に、伝送路を介して受信側装置１５０に送信される。
【００５８】
受信側装置１５０では、マスク縮小部１５８が、マスクプレーン１０４０を縮小して、縮小前景プレーン１０５２及び縮小背景プレーン１０５４の解像度に適合した縮小マスク１０５３及び１０５４をそれぞれ作成する。縮小マスク１０５３は、縮小前景プレーン１０５２を作成する場合と同様、マスクプレーン１０４０を参照した４点線形補間を用いて作成する。縮小マスク１０５５は、縮小背景プレーン１０５４を作成する場合と同様、マスクプレーン１０４０を参照した投影法補間を用いて作成する。
【００５９】
前景拡大部１６４は、縮小マスク１０５３を参照して４点線形補間を行うことにより、縮小前景プレーン１０５２を高解像度化し、前景プレーン１０６２を再生する。この処理では、まず、求めたい高解像度の前景プレーン１０６２の各画素（出力画素）を縮小前景プレーン１０５２の座標系にマッピングする。次に、出力画素ごとに、縮小前景プレーン１０５２から最近傍の４個の参照画素を求め、これら各参照画素が前景、背景のどちらであるかを、縮小マスク１０５３を参照して判定する。そして、前景プレーン１０４２の縮小の場合と同様、図６に示したように、出力画素Ｔに対応する縮小前景プレーン１０５２の参照画素すべてが前景又は背景の一方に属する場合は単に４点線形補間演算で出力画素Ｔの値を求め、参照画素に前景と背景の画素が混在する場合は、前景の参照画素の値を背景の参照画素に当てはめた上で４点線形補間演算を行い、出力画素Ｔの値を計算する。
【００６０】
背景拡大部１６６は、縮小マスク１０５５を参照して、１６点補間を行うことにより、縮小背景プレーン１０５４を高解像度化し、背景プレーン１０６４を再生する。この処理では、まず、求めたい高解像度の背景プレーン１０６４の各画素（出力画素）を縮小背景プレーン１０５４の座標系にマッピングする。次に、出力画素Ｔごとに、縮小背景プレーン１０５４からその画素Ｔの最近傍の１６個の参照画素を特定し、それら各参照画素が前景、背景の何れであるかを、縮小マスク１０５５を参照して判定する。そして、出力画素Ｔに対応する各参照画素すべてが前景又は背景の一方に属する場合は、単にそれら各参照画素の値を周知の１６点補間の計算式に代入することで出力画素Ｔの値を求める。一方、１６個の参照画素の中に前景と背景の画素が混在する場合は、前景の参照画素の値を背景の参照画素に当てはめた上で１６点線形補間の計算を行い、出力画素Ｔの値を計算する。
【００６１】
図８には、このマスク参照１６点補間において、参照画素に前景と背景の画素が混在する場合に、前景に属する参照画素に背景に属する参照画素の値を当てはめる方法を例示している。図において、ＦＧは前景に属する参照画素を、ＢＧは背景に属する参照画素を、Ｔはこれら参照画素に基づき値を求める出力画素を、それぞれ示している。（ａ）に示す方法は、４点線形補間と同様の考え方で、１６点の参照画素のうち、出力画素Ｔに最も近い前景の参照画素の値を、背景の参照画素に当てはめるという方法である。一方、（ｂ）に示す方法では、背景の参照画素に、出力画素Ｔを中心としてほぼ点対称の位置にある前景の参照画素の値を当てはめるというものである。（ｂ）の方法では、背景の参照画素の点対称位置の参照画素も背景の画素である可能性があるが、このような場合は、点対象位置の参照画素に最も近い前景の参照画素の値を当てはめるなどの処理を行えばよい。
【００６２】
このような拡大処理により、前景プレーン１０６２及び背景プレーン１０６４が再生されると、一層合成部１６８が、マスクプレーン１０４０の値が“１”である画素については前景プレーン１０６２の画素値を採用し、マスクプレーン１０４０の値が“０”の画素については背景プレーン１０６４の画素値を採用することで、オリジナル画像１０００に対応する再生画像１０７０を合成する。
【００６３】
以上、図１のシステムにおける画像伝送の流れを説明した。この画像伝送処理では、送信側での前景プレーン１０４２の低解像度化と、受信側での縮小前景プレーン１０５２の高解像度化の際、図６に示した処理により、前景と背景の境界部分にマッピングされた出力画素Ｔは、前景の参照画素のみの値を用いて計算されるので、前景すなわち文字・線画部分の画素値を持つことになる。従来の単純な補間方式では、前景と背景との境界部分は、文字・線画部分の色と前景プレーンのドントケア値との中間的な画素値になったのに対し、本実施形態の方式では前景の値を持つことになる。したがって、本実施形態によれば、前景の文字・線画部分の輪郭部分の色の濁りを防止できる。また、上述の処理では、前景と背景の境界に位置する出力画素は前景の画素値を持つことになるので、再生された前景プレーン１０６２では、前景の文字・線画部分の画素領域がオリジナル画像の前景プレーン１０４２よりも若干広がることになる。しかし、マスクプレーン１０４０は正しい文字・線画部分の形状情報を有しているので、このマスクプレーン１０４０で前景プレーン１０６２の文字・線画部分を切り出すことで、形状及び色が正しい文字・線画部分を持つ再生画像１０７０を得ることができる。
【００６４】
また同様に、本実施形態の画像伝送処理では、送信側での背景プレーン１０４４の低解像度化と、受信側での縮小背景プレーン１０５４の高解像度化の際、図７及び図８に示した処理により、前景と背景の境界部分にマッピングされた出力画素Ｔは、背景の参照画素のみの値を用いて計算され、背景部分すなわち「文字・線画以外の部分」の画素値を持つことになる。従来の単純な補間方式では、前景と背景との境界部分は、背景部分の画素値と背景プレーンのドントケア値との中間的な画素値になったのに対し、本実施形態の方式では背景の値を持つことになる。このように、本実施形態によれば、背景と前景の境界の色の濁りを防止できる。また、上述の処理では、前景と背景の境界に位置する出力画素は背景の画素値を持つことになるので、再生された背景プレーン１０６４では、背景部分の画素領域がオリジナル画像の背景プレーン１０４４の場合よりも若干広がることになる。しかし、マスクプレーン１０４０は背景部分の正しいの形状情報を有しているので、このマスクプレーン１０４０で背景プレーン１０６４の背景部分を切り出すことで、形状及び`色が正しい背景部分を持つ再生画像１０７０を得ることができる。
【００６５】
以上説明したように、図１に示したシステムによれば、ＭＲＣの前景及び背景を低解像度化して伝送することにより伝送データ量を削減する場合に、受信側で再生した画像において、文字・線画部分とその背景との境界近傍の色が元の画像の対応部分の色からずれてしまうのを防止することができる。
【００６６】
以上の説明では、前景プレーンの低解像度化及び高解像度化には４点線形補間を用い、背景プレーンの低解像度化には投影法補間、高解像度化には１６点補間を用いた。しかし、これはあくまで一例にすぎない。本発明の手法は、各プレーンをどのような補間手法により解像度変換を行う場合にも適用可能である。
【００６７】
また以上の説明では、受信側装置１５０の前景拡大部１６４は、出力画素Ｔに対応する参照画素群の中に前景の画素が１つでもあれば、その出力画素Ｔが前景に属すると判別し、背景の参照画素に対して前景の参照画素の値を当てはめて補間演算を行った。しかし、図１のシステムでは、受信側装置１５０は、送信側装置１００からマスクプレーン１０４０を取得しているので、このマスクプレーン１４０上で出力画素Ｔに対応する画素の値を調べることで、その出力画素Ｔが前景か背景かを判別することもできる。
【００６８】
さらにいえば、本発明の手法は、最近傍法(Nearest Neighbor method)など、補間演算を伴わない解像度変換にも適用可能である。すなわち、補間を行わない解像度変換では、解像度変換後の画素Ｔに対応する画素Ｒを解像度変換前の画像から１つ選び、その画素Ｒの値を画素Ｔの値に当てはめるが、このような変換処理でも、例えば次のようにして本発明を適用することができる。
【００６９】
最近傍法の場合、変換前の画像の画素のうち変換後の画素Ｔにもっとも近い画素Ｒを選ぶ。このような解像度変換に本発明の手法を適用するには、変換後の画像の画素Ｔに対応する変換前の画像の画素Ｒを選択する際、変換対象が前景プレーンであるか背景プレーンであるかに応じて、画素Ｒを選択する際の選択範囲を制御すればよい。すなわち、この処理では、変換後の画像の各画素を図２で説明したごとく変換前の画像にマッピングした上で、変換前の画像からその変換後の画像の画素Ｔに近い順に４つの画素を参照画素として抽出する。そして、前景プレーンを解像度変換する場合は、変換後の画素Ｔに対応するそれら４つの参照画素の中に１つでも前景の画素があれば、参照画素のうちの前景の画素の中から、最も近い画素を画素Ｒとして選択する。参照画素がすべて背景の画素であれば、通常通りもっとも近い参照画素を画素Ｒとして選択する。背景プレーンの場合も同様に、参照画素の中に背景に属するものがあれば、それら背景に属する参照画素の中から最も近い画素を画素Ｒとして選択する。
【００７０】
以上、最近傍法の場合を説明したが、他の方法を用いる場合でも、同様の考え方で処理可能である。例えば、変換後の画素Ｔに対して複数の参照画素を選択する選択規則を規定しておき、その選択規則に従って選択した参照画素の中に、変換の際に色濁りしてほしくない領域（前景プレーンの変換の場合は、その中の文字・線画部分）に属するものがあれば、その中から画素Ｒを選択するという手順をとればよい。
【００７１】
また、以上の説明では、受信側装置１５０でマスクプレーン１０４０を縮小前景プレーンや縮小背景プレーンの解像度に合わせて縮小したが、このマスク縮小処理を送信側装置１００で行い、この結果生成された縮小マスクのデータを画像の符号化データとともに受信側装置１５０に送信してもよい。
【００７２】
また、以上の説明では、受信側装置１５０は低解像度化していないマスクプレーン１０４０を送信側装置１００から受け取ってプレーン合成に用いたが、送信側装置１００から受信側装置１５０に対しある程度低解像度化したマスクプレーンを提供し、受信側装置１５０がその低解像度のマスクプレーンから元の解像度のマスクプレーンを再生するようなシステムにも、本発明は本発明の手法は適用可能である。
【００７３】
また、以上の説明では、解像度変換の際、出力画素Ｔに対応する参照画素群の中に前景の画素と背景の画素が混在する場合は、それら参照画素群のうち変換対象のプレーンにおいて意味を持つ画素の値のみを用いて補間演算を行った。しかしながら、これはあくまで一例である。この代わりに、参照画素に前景画素と背景画素が混在する場合、それら参照画素のうち変換対象のプレーンにおいて意味を持つ画素の値が、そのプレーンで意味を持たない画素（ドント・ケア画素）の値よりも大きい重み付けとなる補間演算を行う方式も可能である。図９はこの方式による前景プレーンの解像度変換処理の概略手順を示す図である。図９において、図３の手順と同じ処理を行うステップについては、同じ符号を付して説明を省略する。図９の手順では、ステップＳ１２で参照画素群に前景と背景の画素が混在すると判定した場合、前景の参照画素の値が背景の参照画素よりも強く出力画素値に反映される補間演算アルゴリズムを用いて、補間を行う。背景プレーンの解像度変換も、これと同様の考え方で行えばよい。このような方式でも、前景と背景の境界部分の出力画素Ｔは、前景プレーンの場合は前景の参照画素に近い値になり、背景プレーンの場合は背景の参照画素に近い値となるため、解像度変換時の色濁りが緩和される。このような補間演算としては、例えば、参照画素群に前景と背景の画素が混在しない場合に用いるのと同じ補間計算式に対し、変換対象のプレーンで意味のある参照画素の値には大きい重みを乗じて代入し、意味のない参照画素の値にはそれよりも小さい重みを乗じて代入する、という演算処理を用いることができる。また、別の方法として、参照画素群に前景と背景の画素が混在しない場合には従来と同様の補間計算式を用い、混在する場合には、変換対象プレーンで意味のある画素の値が意味のない画素の値よりも、出力画素Ｔの値に強く反映する別の補間計算式を用いる、という方法も可能である。
【００７４】
次に、ＭＲＣを用いない一般的な画像の圧縮伝送に本発明を適用したシステムの例を、図１０〜図１２を参照して説明する。
【００７５】
このシステムは、画像を低解像度化して伝送する場合において、その画像に含まれる所定の特徴部分の色濁りを防止するためのものである。特徴部分としては、例えば画像のエッジ（輪郭）部分や、画像に含まれる文字・線画部分などをあげることができる。
【００７６】
このシステムの送信側装置２００は、画像入力部２０２，画像特徴抽出部２０４，縮小処理部２０６，画像特徴圧縮部２０８，画像圧縮部２１０，フォーマット部２１２，送信部２１４を備える。この装置２００において、画像特徴抽出部２０４は、画像入力部２０２から入力されたオリジナルのビットマップ画像から、所定の特徴部分を抽出する。所定の特徴部分として画像のエッジ部分を抽出する場合、画像特徴抽出部２０４は、例えば公知のエッジ検出オペレータを用いることで、エッジに該当する画素を求める（オペレータを用いる方式以外の公知のエッジ検出処理を用いてももちろんよい）。これにより、オリジナル画像の各画素が、エッジ上の画素（エッジ画素と呼ぶ）か、それ以外の画素（非エッジ画素と呼ぶ）かを示す情報が得られる。この情報は、例えばエッジ画素は値“１”を持ち、非エッジ画素は値“０”を持つ２値画像として表すことができる。また、特徴部分として文字・線画部分を抽出する場合は、ＭＲＣのマスク作成と同様の手法を用いればよい。
【００７７】
縮小処理部２０６は、オリジナル画像を指定された解像度まで縮小する手段であり、この縮小処理の際、画像特徴抽出部２０４で求められた特徴部分の情報を参照して縮小結果の画素値を計算する。この計算処理については後で説明する。
【００７８】
画像特徴圧縮部２０８は、画像特徴抽出部２０４で抽出された特徴部分の情報を所定の方式でデータ圧縮する。画像圧縮部２１０は、縮小処理部２０６で縮小された画像を圧縮する。圧縮された特徴部分の情報と、圧縮された縮小画像とは、フォーマット部２１２によって所定の伝送フォーマットにまとめられ、送信部２１４から出力される。
【００７９】
受信側装置２５０は、受信部２５２、フォーマット解凍部２５４、特徴部分伸長部２５６、画像特徴縮小部２５８、画像伸長部２６０、拡大処理部２６２，及び画像出力部２６４を備える。受信部２５２により送信側装置２００から受信された伝送情報から、特徴部分の情報と画像の圧縮データをそれぞれ取り出す。特徴部分伸長部２５６は、その特徴部分の情報の圧縮データを伸長する。画像特徴縮小部２５８は、伸長処理により復元された特徴部分の情報を、縮小画像の解像度に適合するように低解像度化する。すなわち、特徴部分の情報は縮小前の元の画像の各画素が所定の特徴部分であるか否かを示す情報であったが、画像特徴縮小部２５８は、この情報から、縮小画像の各画素が所定の特徴部分に該当するか否かを示す情報を作成する。この低解像度化は、縮小処理部２０６と同様の処理で実現できる。画像伸長部２６０は、圧縮された縮小画像をデータ伸長する。拡大処理部２６２は、復元された縮小画像を元の画像の解像度まで拡大する。この拡大処理の際、拡大処理部２６２は、画像特徴縮小部２５８で低解像度化された特徴部分の情報を参照する。この拡大の計算処理については、後で説明する。画像出力部２６４は、このようにして元の解像度まで拡大された画像を出力する。
【００８０】
次に図１１を参照して、送信側装置２００の縮小処理部２０６、及び受信側装置２５０の拡大処理部２６２が実行する補間処理の手順を説明する。図１１の手順は、画像の特徴部分としてエッジ部分を採用した場合の例である。図１１の手順も図３と同様、縮小または拡大の結果である出力画像を、縮小又は拡大の前の入力画像にマッピングした後の手順を示している。
【００８１】
この手順では、マッピングした出力画像から出力画素を１つ取りだし（Ｓ３０）、入力画像中でその出力画素に最も距離が小さい画素（最近傍画素と呼ぶ）を特定し、その最近傍画素がエッジ画素であるかどうかを、特徴部分の情報を参照して判定する（Ｓ３２）。この判定で、最近傍画素がエッジ画素と判定された場合は、その出力画素に対応する入力画像の参照画素のうち、エッジ画素である参照画素の値のみを用いて補間演算を行うことで、その出力画素の値を求める（Ｓ３４）。また、ステップＳ３２の判定で最近傍画素が非エッジ画素であると判定された場合では、参照画素のうち非エッジ画素である参照画素の値のみを用いて補間演算を行うことで、その出力画素の値を求める（Ｓ３６）。
【００８２】
これらステップＳ３４及びＳ３６では、参照画素がすべてエッジ画素か、すべて非エッジ画素である場合は、それら参照画素の値をそのまま補間計算式に代入して従来通りの計算を行う。また、参照画素の中にエッジ画素と非エッジ画素が混在する場合は、出力画素に最近傍の参照画素がエッジ画素である場合は、その出力画素がエッジ画素であると見なし、エッジ画素である参照画素のみに基づいて補間を行い、最近傍の参照画素が非エッジ画素である場合は、非エッジの参照画素のみに基づいて補間を行う。エッジ、非エッジが混在する場合の補間処理は、図６〜図８に例示した手法などを用いればよい。
【００８３】
以上の処理において、ステップＳ３２の判定は、出力画素がエッジ画素なのか非エッジ画素なのかを判定する処理と考えることができる。そして、図１１の手順では、出力画素がエッジ画素なら、ステップＳ３４でエッジ画素である参照画素のみを用いて出力画素値を計算し、出力画素が非エッジ画素なら、非エッジ画素である参照画素のみを用いて出力画素値を計算する。
【００８４】
このようなステップＳ３０〜Ｓ３６の処理を全出力画素について繰り返すことにより、縮小又は拡大結果の画像を求めることができる。
【００８５】
図１１の手順は、出力画素に最も近い参照画素がエッジ画素か否かに応じて出力画素がエッジ部分に属するか否かを判定したが、これは一例にすぎない。図１２に、参照画素におけるエッジ画素と非エッジ画素の比率を考慮した別の手順の例を示す。図１２の手順は、出力画素の周囲最近傍の４つの入力画素を参照画素に用いる補間演算を行う場合の例である。
【００８６】
図１２の手順では、画素値演算対象の出力画素を１つ選択し（Ｓ４０）、その出力画素に対応する４つの参照画素各がエッジ画素か否かを、特徴部分の情報を参照して判定する。次に、それら４つの参照画素のうちエッジ画素が３以上か否かを判定する（Ｓ４２）。エッジ画素が３以上であれば、出力画素がエッジ部分に属すると判断し、エッジ画素に該当する参照画素のみの値を用いて補間演算を行うことで出力画素の画素値を計算する（Ｓ４４）。ステップＳ４２で参照画素のうちのエッジ画素が３未満と判定された場合、それら参照画素のうち非エッジ画素が３以上か否かを判定する（Ｓ４６）。この判定で参照画素のうちの３以上が非エッジ画素と判定された場合は、出力画素がエッジ部分に属さないと判断し、非エッジ画素の参照画素のみの値を用いて補間演算を行い、出力画素の画素値を計算する（Ｓ４８）。ステップＳ４６で参照画素のうち非エッジ画素が３未満と判定された場合、４つの参照画素のうち２つがエッジ画素で残りの２つが非エッジ画素である。この場合は、出力画素に最も近い参照画素がエッジ画素か非エッジ画素かを判定する（Ｓ５０）。そして、この判定で最も近い参照画素がエッジ画素であると判定された場合は、出力画素がエッジに属すると判断してステップＳ４４の補間処理を行う。また、ステップＳ５０で出力画素に最も近い参照画素が非エッジ画素と判定された場合は、出力画素がエッジに属さないと判断してステップS４８の補間処理を行う。以上のステップＳ４０〜Ｓ５０の処理をすべての出力画素に対して繰り返すことで（Ｓ５２）、画像の解像度変換が行われる。
【００８７】
図１１及び図１２では、画像の特徴部分としてエッジを用いた場合の処理手順を示したが、他の特徴部分（例えば文字・線画部分）を用いる場合も同様の手順でよい。
【００８８】
以上説明したように、図１０のシステム構成によれば、画像を縮小すなわち低解像度化する際に画像の特徴部分の情報を参照し、出力画素がその特徴部分に属するか否かを判定する。そして、特徴部分に属すると判定した場合は、その特徴部分に属する参照画素の値のみを用いて（すなわち特徴部分に属さない参照画素は用いずに）補間演算を行う。この処理によれば、補間の際、特徴部分に属する出力画素に対して、特徴部分に属さない参照画素の値が影響しない。したがって、解像度変換を行っても特徴部分の色を元の色に近い色に保つことができる。また、図１０のシステムでは、出力画素が特徴部分に属さないと判定した場合、参照画素のうち特徴部分に属さないもののみの値を用いて補間処理を行うので、画像の非特徴部分に特徴部分の色が影響することを防止できる。
【００８９】
以上では、出力画素が画像の特徴部分に属する場合には、同じく特徴部分に属する参照画素のみを用いて補間を行ったが、この代わりに、特徴部分に属する参照画素が、特徴部分に属さない参照画素よりも大きい重み付けとなる補間演算を行う方式も好適である。
【００９０】
以上、画像の解像度変換を伴う画像伝送システムに本発明を適用したシステム構成例を説明した。しかし、本発明の適用はこのような場合に限られず、変換後の画像の画素の値を、その画素に対応する変換前の画像の１以上の参照画素の値から計算する変換処理一般に適用可能である。
【００９１】
例えば図１３は、画像の幾何学的変換処理に本発明を適用した装置構成例を示している。幾何学的変換には、例えば画像の回転や平行移動、拡大、縮小、あるいはより一般的なアフィン変換などが含まれる。前述の解像度変換（縮小及び拡大）も幾何学的変換の一種である。このような幾何学的変換の場合も、前述の解像度変換の場合と同様、変換後の画像の画素（出力画素と呼ぶ）を、その変換に応じて変換前の画像にマッピングし、変換前の画像においてその出力画素の近傍にある参照画素群から、その出力画素の値を補間する。したがって、幾何学的変換処理に対しても、本発明の手法を適用することで、画像の特徴部分と非特徴部分の境界に位置する出力画素の色濁りを防止又は緩和できる。
【００９２】
図１３の画像処理装置３００の画像特徴抽出部３０４は、画像入力部３０２から入力されたビットマップ画像から、図１０の送信側装置２００の画像特徴抽出部２０４と同様にして、所定の特徴部分を抽出する。幾何学的変換部３０６は、そのビットマップ画像に対し、所定の幾何学変換を施す。この変換の際、幾何学的変換部３０６は、画像特徴抽出部３０４で生成された特徴部分の情報を参照することで出力画素がその特徴部分に属するか否かを判定し、特徴部分に属すると判定した場合は、入力画像においてその出力画素に対応する参照画素のうち、その特徴部分に属する参照画素の値のみを用いて補間演算を行う。また、非特徴部分に属する出力画素の値を、非特徴部分に属する参照画素のみから求めるようにすることも好適である。この補間処理の詳細は、図１０のシステムにおける縮小処理部２０６や拡大処理部２６２で行われる補間処理と同様でよい。この補間演算により、幾何学的変換後の画像が求められると、これが画像出力部３０８から出力される。
【００９３】
この図１３の装置でも、画像の特徴部分の画素の値は、その特徴部分に属する参照画素の値のみから求められるので、特徴部分の色が非特徴部分の色と混ざって濁ってしまうことを防止できる。
【００９４】
なお、幾何学的変換部３０６の処理の別の例としては、特徴部分に属する参照画素が、特徴部分に属さない参照画素よりも大きい重み付けとなる補間演算を行う方式があり、この方式でも特徴部分の色濁りを緩和できる。
【００９５】
図１４に示す画像処理装置２５０は、局所オペレータを用いた画像のフィルタ処理に対して本発明の手法を適用した装置構成である。局所オペレータを用いたフィルタ処理では、画像の注目画素に対して複数の参照画素（一般に注目画素の近傍の画素群）が規定され、それら参照画素の値をそのオペレータに代入することで注目画素の画素値を決定する。これは、これまで説明してきた補間演算と似ており、本発明の手法が適用可能である。フィルタ処理の好適な例としては、例えば平均値フィルタやメディアンフィルタなどによる平滑化処理が挙げられる。
【００９６】
図１４の画像処理装置３５０の画像特徴抽出部３５４は、画像入力部３５２から入力されたビットマップ画像から、図１０の送信側装置２００の画像特徴抽出部２０４と同様にして、所定の特徴部分を抽出する。フィルタ処理部３５６は、そのビットマップ画像に対し、所定のフィルタ処理を施す。このフィルタ処理の際、フィルタ処理部３５６は、画像特徴抽出部３５４で生成された特徴部分の情報を参照することで、出力画素がその特徴部分に属するか否かを判定し、特徴部分に属すると判定した場合は、入力画像においてその出力画素に対応する参照画素のうちその特徴部分に属する参照画素の値のみを用いてフィルタ演算を行う。この演算において、参照画素群の中に特徴部分の画素と非特徴部分の画素が混在する場合、出力画素が特徴部分の画素であれば、例えば、特徴部分に属する参照画素の値を、図６に示したのと同様の方法で非特徴部分に属する参照画素の値にコピーしたあと、これら各参照画素の値を当該フィルタ処理を表すオペレータに入力すればよい。また同様に、非特徴部分に属する出力画素の値を、非特徴部分に属する参照画素のみから求めるようにすることも好適である。フィルタ処理部３５６により処理された画像は、画像出力部３５８から出力される。
【００９７】
このように図１４の装置によれば、画像の特徴部分の画素は、対応する参照画素のうち特徴部分に属するもののみに基づき処理されるので、特徴部分の色濁りを防止できる。例えば文字・線画部分を含む画像を平滑化する場合、従来の一般的な平滑化処理では、文字・線画部分の輪郭の画素の値が背景の画素の値の影響を受けるため、輪郭のぼけを引き起こしていた。これに対し、図１４の装置では、文字・線画部分を特徴部分とすれば、その文字・線画部分の画素のフィルタ結果の値は、文字・線画以外の部分に属する参照画素の値の影響を受けないので、文字・線画部分のぼけを防止できる。
【００９８】
なお、フィルタ処理部３５６の処理の別の例として、特徴部分に属する参照画素が、特徴部分に属さない参照画素よりも大きい重み付けとなるフィルタ演算を行う方式があり、この方式でも特徴部分の輪郭の色濁りやぼけを緩和できる。
【００９９】
図１５は、ＪＰＥＧを用いた画像伝送システムに本発明の手法を適用したシステム構成例を示す。
【０１００】
周知のように、ＪＰＥＧ画像圧縮では、画像を輝度成分と色差成分に分離し、色の変化に鈍感な人間の視覚の特徴を利用して、輝度成分を色差成分よりも低い割合でサブサンプリングする。このサブサンプリングでは、例えば、隣接する２画素や２×２＝４画素で色差成分の値を平均化することで、色差成分のデータ量を１／２又は１／４に低減している。このサブサンプリングは、上述の実施例における低解像度化に近い処理といえる。図１５のシステムでは、この色差成分のサブサンプリングに本発明の手法を適用している。
【０１０１】
このシステムの送信側装置４００では、画像入力部４０２に入力されたビットマップ画像は、画像特徴抽出部４０４に供給される。画像特徴抽出部４０４は、この入力画像から、図１０のシステムにおける画像特徴抽出部２０４と同様の処理にて、所定の特徴部分を抽出し、その特徴部分を示す情報を生成する。また、入力されたビットマップ画像は、輝度データＬ*と２つの色差データａ*、ｂ*とに分離され、輝度データＬ*はＪＰＥＧ圧縮部４１０へ、色差データａ*、ｂ*は色差サブサンプリング部４０６及び４０８をそれぞれ介してＪＰＥＧ圧縮部４１０へ入力される。
【０１０２】
色差サブサンプリング部４０６及び４０８では、色差データａ*、ｂ*の画素の値を、あらかじめ設定されたサンプリングレートでサブサンプリングする。ここで各サブサンプリング部４０６及び４０８は、画像特徴抽出部４０４で求められた特徴部分の情報を参照し、例えば、平均化する隣接２画素又は隣接４画素の中に１つでも特徴部分に属する画素があれば、それら特徴部分の画素のみの平均値をそれら隣接画素群に対応するサブサンプリング結果とする。
【０１０３】
この処理では、平均化する隣接画素群に１つでも特徴部分の画素があれば、サブサンプリング結果の画素を特徴部分として取り扱っているが、これはあくまで一例である。このほかにも、例えば、平均化する隣接画素群の中での特徴部分の画素の割合に基づき、サブサンプリング結果の画素が特徴部分に属するか否かを判定することもできる。すなわち例えば、平均化対象の隣接画素のうち、半数以上が特徴部分に属する場合にはサブサンプリング結果の画素が特徴部分に属すると判定するなどである。
【０１０４】
また、サンプリング結果の画素が特徴部分に属すると判定した場合、上述の処理では平均化対象の画素のうち特徴部分の画素のみを平均したが、この代わりに、特徴部分の画素に非特徴部分よりも大きい重み付けを行って加重平均してもよい。
【０１０５】
ＪＰＥＧ圧縮部４１０は、このようにして生成された色差データａ*、ｂ*のサブサンプリング結果と、輝度データＬ*とをＪＰＥＧの圧縮アルゴリズムにしたがって圧縮する。このようにして圧縮されたＪＰＥＧファイルが、送信部４１２から受信側装置４５０へと送信される。
【０１０６】
このＪＰＥＧファイルは受信側装置４５０の受信部４５２で受信される。ＪＰＥＧ解凍部４５４は、そのＪＰＥＧファイルをデータ伸長し、色差データａ*、ｂ*及び輝度データＬ*に分離する。このうち、色差データａ*、ｂ*は、色差アップサンプリング部４５６及び４５８により、元の画像の解像度までアップサンプリングされる。画像出力部４６０は、このようにアップサンプリングされた色差データａ*、ｂ*と、輝度データＬ*とから、カラー画像を構成して出力する。
【０１０７】
このシステムによれば、色差成分のサブサンプリングの際に、特徴部分の色が特徴部分以外の色と混じって濁ってしまうことを防止できる。
【０１０８】
なお、このシステムにおいて、画像特徴抽出部４０４で抽出された画像の特徴部分の情報を送信部４１２によりＪＰＥＧファイルと対応づけて受信側装置４５０に送信することも好適である。この場合、受信側装置４５０では、アップサンプリング部４５６及び４５８がこの特徴部分の情報を参照してアップサンプリングを行うことで、アップサンプリング時の色濁りを低減できる。
【０１０９】
以上に説明した例は、いずれも画像を二分するものであった（文字・線画部分とそれ以外、又は特徴部分とそれ以外）。しかしながら、本発明は、画像を３以上の領域に分割する場合にも適用可能である。すなわち、３つ以上の領域に分割した場合でも、出力画素がどの領域に属するかを領域分けの情報から判別し、その出力画素が属する領域の参照画素がその領域以外の参照画素よりも強く影響する変換演算を用いて出力画素の値を計算することで、領域同士の境界部分の画素の色濁りを低減できる。
【０１１０】
以上に説明した送信側装置、受信側装置、及び画像処理装置は、例えば上記各機能モジュールの機能を示すプログラムをコンピュータに実行させることによって実現することができるし、１つのハードウエアロジック回路、または複数のハードウエアロジック回路の組み合わせにより実現することもできる。また、それら機能モジュールうちの一部をハードウエア回路で実現し、残りをソフトウエアにより実現する装置構成も考えられる。
【図面の簡単な説明】
【図１】 ＭＲＣを用いる画像伝送システムに本発明を適用したシステム構成の一例を示す図である。
【図２】 解像度変換を説明するための図である。
【図３】 前景縮小部及び前景拡大部で実行される補間処理の概略的な流れを示すフローチャートである。
【図４】 背景縮小部及び背景拡大部で実行される補間処理の概略的な流れを示すフローチャートである。
【図５】 図１のシステム構成における処理内容を、画像データの変遷により示した図である。
【図６】 マスクプレーンを参照する４点線形補間処理を説明するための図である。
【図７】 マスクプレーンを参照する投影法補間処理を説明するための図である。
【図８】 マスクプレーンを参照する１６点補間処理を説明するための図である。
【図９】 前景縮小部及び前景拡大部で実行される補間処理の別の例を示すフローチャートである。
【図１０】 ＭＲＣを用いない画像の圧縮伝送に本発明を適用したシステムの構成例を示す図である。
【図１１】 図１０のシステムの縮小処理部及び拡大処理部で行われる補間処理の概略的な流れを示すフローチャートである。
【図１２】 図１０のシステムの縮小処理部及び拡大処理部で行われる補間処理の別の例を示すフローチャートである。
【図１３】 本発明に係る画像処理装置の一例を示す図である。
【図１４】 本発明に係る画像処理装置の別の例を示す図である。
【図１５】 ＪＰＥＧ画像伝送システムに本発明を適用したシステム構成例を示す図である。
【図１６】 ＭＲＣを用いた画像伝送を説明するための図である。
【符号の説明】
１００ 送信側装置、１０２ 画像入力部、１０４ マスク生成部、１０６ 前景背景分離部、１０８ 前景縮小部、１１０ 背景縮小部、１１２ 前景圧縮部、１１４ 背景圧縮部、１１６ マスク圧縮部、１１８ フォーマット部、１２０ 送信部、１５０ 受信側装置、１５２ 受信部、１５４ フォーマット解凍部、１５６ マスク伸長部、１５８ マスク縮小部、１６０ 前景伸長部、１６２ 背景伸長部、１６４ 前景拡大部、１６６ 背景拡大部、１６８ 一層合成部、１７０ 画像出力部、１０００ オリジナル画像、１００２，１００６ 色つき文字、１００４ 連続調カラー画像、１０４０ マスクプレーン、１０４２ （縮小前の）前景プレーン、１０４４ （縮小後の）背景プレーン、１０５２ 縮小前景プレーン、１０５３，１０５５ 縮小マスク、１０５４ 縮小背景プレーン、１０６２ （再生した）前景プレーン、１０６４ （再生した）背景プレーン、１０７０ 再生画像。

Claims (2)

1. 入力デジタル画像からＭＲＣ（ミクスト・ラスター・コンテント）のマスク画像を生成するセグメンタと、
   セグメンタで生成されたマスク画像に基づき、入力デジタル画像からＭＲＣの前景画像及び背景画像を生成する前景背景生成手段と、
   前景画像を低解像度化して低解像度前景画像を生成する手段であって、低解像度前景画像の画素の値を求める際に参照する前景画像の各参照画素が前景画像において意味ある値を持つ画素か否かをマスク画像に基づき判定し、この判定の結果それら参照画素の中に前景画像において意味ある値を持つ画素とそうでない画素とが混在する場合には、前景画像において意味ある値を持つ参照画素の値がそうでない参照画素よりも、求めるべき低解像度前景画像の画素の値に対し強く影響する計算処理を用いて、それら参照画素の値からその低解像度前景画像の画素値を算出する前景低解像度化手段と、
   背景画像を低解像度化して、低解像度背景画像を生成する背景低解像度化手段と、
   マスク画像と低解像度前景画像と低解像度背景画像とをＭＲＣのファイルフォーマットに従ったファイルにまとめるフォーマット手段と、
   を備える画像処理装置。
2. ＭＲＣフォーマットのファイルから、マスク画像、低解像度前景画像、低解像度背景画像を取り出す手段と、
   低解像度前景画像を所定の解像度まで高解像度化して前景画像を生成する手段であって、前景画像の画素の値を求める際に参照する低解像度前景画像の各参照画素が低解像度前景画像において意味ある値を持つ画素か否かをマスク画像に基づき判定し、この判定の結果それら参照画素の中に低解像度前景画像において意味ある値を持つ画素とそうでない画素とが混在する場合には、低解像度前景画像において意味ある値を持つ参照画素の値がそうでない参照画素よりも、求めるべき前景画像の画素の値に対し強く影響する計算処理を用いて、それら参照画素の値からその前景画像の画素値を算出する前景高解像度化手段と、
   低解像度背景画像を前記所定の解像度まで高解像度化して背景画像を生成する背景高解像度化手段と、
   前景高解像度化手段で生成された前景画像と、背景高解像度化手段で生成された背景画像とを、マスク画像を参照して１層の画像に合成する画像合成手段と、
   を備える画像処理装置。

Images