JP5126531B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関するものである。

一般に画像を拡大して解像度を高くすると、画像の解像度と倍率の関係から、輪郭部分がぼけたり、曲線の輪郭がでこぼこする、あるいは、線幅や線の間隔が不揃いになる場合がある。特に画像中の文字については、このような影響を受けやすく、拡大された画像における文字の品質が著しく低下する。図１７は、文字画像を拡大する際の画像品質の説明図である。図１７（Ａ）は元となる文字画像を示し、この文字画像を拡大して得ようとする文字画像を図１７（Ｂ）に示している。しかし、文字の大きさや拡大前後の解像度の関係によっては、図１７（Ｃ）に図示の都合上点々で示すように、輪郭部分にぼけが生じてしまうことがある。あるいは図１７（Ｄ）に示すように、斜めの輪郭部分がでこぼこになり、また線幅や線の間隔が不揃いになってしまうことがある。

特許文献１には、文字画像の斜め線をスムージングすることによって、文字の解像度を向上させる手法が記載されている。また特許文献２には、エッジ方向に基づいて画像を拡大する手法が記載されている。さらに特許文献３には、画像輪郭の傾斜部のぎざぎざの要因になる段差部を判別し、ぎざぎざの要因の判別結果に基づいて画素置換（白黒反転）を行う手法が記載されている。これらの手法はいずれも、画像の局所的な滑らかさを仮定して拡大（解像度変換）処理を行うものである。従って、その仮定が正しいか否かは分からない。例えば、線が交差している部分や、分岐している部分において、斜め線などと誤って判断し、角部が再現されない場合も発生する。

画像を拡大する別の従来技術として、撮像位置がずれた複数の低解像度画像から、一枚の高解像画像を生成する手法がある。図１８は、従来の画像拡大方法の一例の説明図である。図１８（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は、それぞれ１／２画素ずれた低解像度画像の一例である。また図１８（Ｅ）は、図１８（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）に示した４つの低解像度画像から生成された高解像度画像の一例を示している。ここでは、図１８（Ａ）に示した低解像度画像の各画素をａ、図１８（Ｂ）に示した低解像度画像の各画素をｂ、図１８（Ｃ）に示した低解像度画像の各画素をｃ、図１８（Ｄ）に示した低解像度画像の各画素をｄとし、それぞれの低解像度画像の画素を図１８（Ｅ）に示すように並べたものである。

このような技術を用いる場合、撮像方向を変えた複数台の撮像装置を用いたり、あるいは撮像の際に用いる光学系をずらして複数回の撮像を行い、位置がずれた低解像度画像を取得する必要がある。

例えば非特許文献１には、映像中の複数の低解像度画像から、上述の手法により一枚の高解像画像を生成する手法が記載されている。本手法では、最初から高解像度画像を得るために撮像した映像を入力としている訳ではないため、低解像度画像と高解像度画像の画素位置をどのように合わせるかが問題となる。一般に、画像全体についての位置合わせを正確に行うことは難しい。その理由として、例えば膨大な演算量が必要となり、また動きが大きすぎる場合の位置合わせ方法や任意の画像に対する位置合わせ方法が確立されていないことなどが挙げられる。

特開平６−２２５１２２号公報 特開平６−３１１３５１号公報 特開平８−３１００５７号公報 Ｓ．Ｃ．Ｐａｒｋ，Ｍ，Ｋ，Ｐａｒｋ，Ｍ，Ｇ，Ｋａｎｇ，"Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ： Ａ ｔｅｃｈｎｉｃａｌ Ｏｖｅｒｖｉｅｗ"，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｇｉｎｅ，２００３．５，ｐｐ．２１−３６

本発明は、本発明の構成を有しない場合に比べて高速に、高品質の拡大した文字画像を得ることができる画像処理装置及び画像処理プログラムを提供することを目的とするものである。

本願請求項１に記載の発明は、カラー画像中から文字部分画像を切り出す切出手段と、前記切出手段で切り出されたカラーの前記文字部分画像を文字形状領域と背景領域とが分かるように二値化して二値文字画像を得る二値化手段と、前記二値化手段で得た前記二値文字画像のうち予め定めた類似度を有する前記二値文字画像を抽出する抽出手段と、前記抽出手段で抽出されたそれぞれの前記二値文字画像に対応する前記切出手段で切り出された前記文字部分画像から多値文字画像を得る多値文字画像取得手段と、前記多値文字画像取得手段で得た前記多値文字画像をそれぞれ拡大して位置合わせし重ね合わせることにより拡大文字画像を得る拡大手段と、前記拡大手段で得た前記拡大文字画像の濃淡をそれぞれの前記文字部分画像のカラーに応じた画素値に変換する逆変換手段を有し、前記多値文字画像取得手段は、前記抽出手段で抽出されたそれぞれの二値文字画像に対応する前記切出手段で切り出された文字部分画像のカラーの画素値を文字形状領域と背景領域の画素値の大小関係を統一した濃淡の多値に変換して多値文字画像を得るとともに前記多値文字画像の画素値が取る範囲を予め定めた範囲に正規化するものであることを特徴とする画像処理装置である。

本願請求項２に記載の発明は、請求項１に記載の画像処理装置の前記多値文字画像取得手段が、前記文字部分画像中の文字形状領域の画素及び文字の境界から予め定めた数の画素を除く背景の画素については、背景を表す予め定めた値に変換することを特徴とする画像処理装置である。

本願請求項３に記載の発明は、コンピュータに、請求項１または請求項２に記載の画像処理装置の機能を実行させることを特徴とする画像処理プログラムである。

本願請求項１に記載の発明によれば、本構成を有していない場合に比較して高速に、それぞれの文字部分画像の色や濃度によらずに、また濃度の関係や色の関係が反転した文字についても処理対象として、高品質の拡大した文字画像を得ることができるという効果がある。

本願請求項２に記載の発明によれば、請求項１に記載の発明の効果に加え、文字の背景部分による影響を抑えることができる。

本願請求項３に記載の発明によれば、請求項１または請求項２に記載の発明の効果を奏することができる。

図１は、本発明の実施の一形態を示す構成図である。図中、１は切出部、２は二値化部、３は抽出部、４は多値文字画像取得部、５は拡大部、６は逆変換部である。

切出部１は、受け取った入力画像中から文字部分画像を切り出す。対象とする入力画像は１つに限らず、複数の入力画像を処理対象としてもよい。文字の領域を特定する方法としては、例えば画像データを２値化し、連続する黒または白の画素塊を抽出する手法、あるいは、文字列と文字間隔を推定し、ひとつの文字領域を推定する手法など、公知の手法を適用すればよい。受け取った入力画像中から、特定された文字の領域を文字部分画像として切り出せばよい。切り出した文字部分画像は、二値化部２と多値文字画像取得部４に渡される。なお、文字部分画像では、文字の部分の画素とそれ以外の背景の部分の画素が存在する。文字の部分の画素で形成される領域を文字形状領域、それ以外の背景の部分の画素で形成される領域を背景領域と呼ぶことにする。

二値化部２は、切出部１で切り出した文字部分画像を二値化して二値文字画像を得る。この二値化処理では、例えば背景領域が０、文字形状領域が１などの取り決めに従って二値化し、文字の形状を表す二値文字画像を得ればよい。例えば切出部１が受け取った入力画像がカラー画像の場合には、画像中に色文字が存在する場合があり、この場合にも文字形状領域と背景領域とが分かるように二値化する。例えば切出部１が受け取った入力画像が二値画像の場合でも、白抜き文字などが存在する場合があり、この場合においても、文字形状領域と背景領域の値が他の文字と共通化されるように二値化する。なお、切出部１で二値化して文字部分画像の切出を行っている場合には、その際に切り出した文字画像を二値文字画像としてもよい。

抽出部３は、二値化部２で得た二値文字画像のうち、類似する文字に対応するものを抽出する。例えば、各々の文字部分画像同士のパターンマッチングを行い、予め定めた類似度を有する文字部分画像を抽出する方法や、一つの文字部分画像を一つのベクトルデータとして扱い、クラスタリングによって予め定めた距離の範囲内となるベクトルデータを抽出する方法など、公知の手法を用いて行えばよい。二値化部２で二値化しているため、カラー画像や多値画像を対象として抽出処理を行う場合に比べ高速に抽出処理が行われる。

多値文字画像取得部４は、抽出部３で抽出されたそれぞれの二値文字画像に対応する文字部分画像を切出部１から取得し、取得したそれぞれの文字部分画像から多値文字画像を得る。例えば切出部１が受け取った入力画像がカラー画像の場合には文字形状領域と背景領域の色値を濃淡の多値に変換する。あるいは、明度などに着目して濃淡の多値に変換し、処理を簡単化してもよい。変換の際には、変換後の値が予め定めた範囲となるように正規化するとよい。また、それぞれの多値文字画像における文字形状領域と背景領域の画素値の大小関係を統一し、例えば通常の文字と白抜き文字などを共通に扱えるようにする。さらに、文字部分画像中の文字形状領域の画素及び文字の境界から予め定めた数の画素を除いた、背景の画素については、背景を表す予め定めた値に変換する。これにより背景の画素値が文字形状領域に与える影響を低減する。なお、各文字部分画像に対してどのような変換を行って多値文字画像を得たかを示す情報、例えば文字形状領域、背景領域の色や濃度などの情報を、逆変換部６に伝える。

拡大部５は、多値文字画像取得部４で得たそれぞれの多値文字画像を、予め与えられた倍率で拡大して位置合わせし、重ね合わせることにより拡大文字画像を得る。それぞれの多値文字画像の拡大手法としては、例えば２次元線形補間法など、周知の手法を適用すればよい。また、位置合わせの方法としては、例えば拡大した多値文字画像中の文字の重心を算出し、その重心が合うように拡大した多値文字画像の位置を合わせればよい。あるいは、拡大した多値文字画像間の相関を算出し、相関が高くなるように位置を合わせてもよい。もちろん、他の手法を用いて位置合わせを行ってもよい。位置合わせは、拡大後の画素単位でもよいし、あるいは１画素以下の単位で行い、重ね合わせの際にズレ量に応じた重み付けを行ってもよい。重ね合わせは、位置合わせした複数の拡大した多値文字画像の画素値の平均を算出すればよい。得られた多値の拡大文字画像は、与えられた画像中に存在する複数の文字画像の平均的な拡大画像であり、そのまま出力してもよい。この例では、次の逆変換部６に拡大文字画像を渡す。

逆変換部６は、拡大部５から渡された拡大文字画像の濃淡を、その拡大文字画像を生成する際に使用したそれぞれの文字部分画像のカラーに応じた画素値に変換し、それぞれの多値文字画像（文字部分画像）に対応する拡大した文字部分画像を得る。この処理は、基本的には多値文字画像取得部４で行った変換の手法を逆に行えばよく、多値文字画像取得部４における変換の際の情報を多値文字画像取得部４から受け取るとよい。あるいは、それぞれの文字部分画像を参照して変換処理を行ってもよい。

なお、多値文字画像取得部４、拡大部５、逆変換部６の動作は、抽出部３で類似するとして抽出された二値文字画像ごとに行う。従って、それぞれの異なる文字について、文字ごとに、多値文字画像取得部４、拡大部５、逆変換部６の処理を行うことになる。なお、字体が異なる場合には別の文字として扱う。また、大きさが異なる文字については、予め決めた範囲より大きさが異なれば別の文字として扱うようにすればよい。あるいは、拡大処理の際に大きさを合わせて重ね合わせるように構成してもよい。この場合、元の文字を拡大した大きさまで、拡大文字画像を逆変換部６でさらに拡大または縮小する必要がある。

図２は、本発明の実施の一形態における動作の一例を示すフローチャートである。Ｓ５１において、切出部１が入力画像を受け取ると、その入力画像から文字部分画像を切り出す。Ｓ５２において、二値化部２は、切出部１で切り出した各文字部分画像を二値化して二値文字画像を得る。Ｓ５３において、抽出部３は、二値化部２で得た二値文字画像のうち、類似する文字に対応するものを抽出する。

Ｓ５４において、Ｓ５１で切り出した文字部分画像のうち、多値文字画像取得部４は、抽出部３で抽出されたそれぞれの二値文字画像に対応する文字部分画像を取得し、取得したそれぞれの文字部分画像を多値文字画像に変換する。

拡大部５は、まずＳ５５において、Ｓ５４で得た多値文字画像を、それぞれ、予め与えられた倍率で拡大する。Ｓ５６において、拡大した多値文字画像のそれぞれについて、この例では位置合わせのための重心を算出する。そしてＳ５７において、Ｓ５６で算出した重心が合うように、拡大した多値文字画像を位置合わせして重ね合わせ、例えば画素値の平均値を算出して拡大文字画像を得る。

Ｓ５８において、逆変換部６は、Ｓ５７で得た拡大文字画像をもとに、例えば各文字部分画像に対してＳ５４で多値文字画像取得部４が行った変換の逆変換などによって、それぞれの文字部分画像に対応する拡大された文字部分画像を得る。

この動作例では、位置合わせのためにＳ５６で重心を求めているが、位置合わせのための指標は重心に限られない。また、拡大文字画像を得る際の重ね合わせ処理として、画素値の平均を算出する例を示しているが、これに限らず、例えば１画素以下のズレ量をもとに図１８において説明した方法により拡大文字画像を得てもよい。

以下、上述の動作例について、具体例を用いながらさらに説明して行く。図３は、本発明の実施の一形態の動作の一例における二値文字画像を抽出するまでの動作の具体例の説明図である。図３（Ａ）は切出部１が受け取った入力画像の具体例を示している。この入力画像中には、３個の文字「２」と、２個の文字「Ｃ」が含まれている。なお、図示の都合上、色の違う文字については文字内部に斜線を施して示している。

切出部１は、図３（Ａ）に示した入力画像から、それぞれの文字部分画像を切り出す。切り出されたそれぞれの文字部分画像を図３（Ｂ）に示している。

二値化部２は、切出部１で切り出されたそれぞれの文字部分画像を二値化して二値文字画像を得る。図３（Ｂ）に示した文字部分画像を二値化した二値文字画像の例を図３（Ｃ）に示している。二値化により、色の成分は消失している。また、反転して白抜きとなっていた文字についても、値を他の文字と共通化している。なお、図３（Ｃ）においては、文字形状領域を黒く、背景領域を白く示している。例えば２値のうち、文字形状領域を１、背景領域を０に対応付ければよい。

抽出部３は、図３（Ｃ）に示す二値文字画像の中から、類似する文字の二値文字画像を抽出する。この例では、図３（Ｄ）に示すように、文字「２」に対応する３つの二値文字画像が抽出され、また、文字「Ｃ」に対応する２つの二値文字画像が抽出される。

図４は、本発明の実施の一形態の動作の一例における二値文字画像を抽出してから多値文字画像を取得するまでの動作の具体例の説明図である。図４（Ａ）には図３（Ｄ）に示した二値文字画像を示している。また、図４（Ｂ）には、図３（Ａ）に示した画像を再掲している。抽出部３から類似する文字について二値文字画像が抽出されると、多値文字画像取得部４は、それぞれの二値文字画像に対応する文字部分画像を多値文字画像に変換する。例えば、図４（Ａ）に示した各二値文字画像に対応する文字部分画像を図４（Ｃ）に示しており、それぞれの文字部分画像を多値文字画像に変換する。変換して取得した多値文字画像を図４（Ｄ）に示している。

文字部分画像から多値文字画像への変換処理についてさらに説明する。例えば背景が白で文字が黒であれば、多値文字画像の値の範囲の一方端を背景領域の値とし、他方端を文字形状領域の値とすれば、多値文字画像が得られる。カラーの文字においても濃淡の多値に変換することになる。

図５は、輝度値による多値化処理の一例の説明図である。図５（Ａ）に示す文字部分画像の例は、文字形状領域が青、背景領域が赤の場合を示している。カラーの文字の場合にも、簡易には輝度値（濃度値）に応じた値に変換すればよい。図５に示した例の場合には、図５（Ｂ）に示すように各画素の色を輝度軸に投影し、その際の輝度値あるいは輝度値を正規化した値を多値文字画像の画素値とすればよい。得られた多値文字画像を図５（Ｃ）に示している。

図６は、多値化処理の別の例の説明図である。図６（Ａ）に示した文字部分画像の例では、文字形状領域が赤、背景領域が青の場合を示している。一般には文字部分画像における画素値は、文字形状領域の色の群と背景領域の色の群とに分かれる。この２つの群を代表する色を求め、画素値空間において代表する色を結ぶ直線を仮想的な濃度軸とし、文字部分画像における各画素値を仮想的な濃度軸における値に変換する。図６（Ｃ）において、この仮想的な濃度軸を太線で示している。また、得られた多値文字画像を図５（Ｄ）に示している。

文字形状領域の色の群と背景領域の色の群に分ける際には、例えば抽出部３から渡される二値文字画像（図６（Ｂ））を参照して行えばよい。また、代表の色は、各群に属する色値の平均値を求めればよい。

図７は、多値化処理の別の例における多値文字画像への変換方法の一例の説明図である。図６（Ｃ）に示したように、文字形状領域と背景領域の２つの代表色を結ぶ直線を仮想的な濃度軸とするが、その一方の代表色からの仮想的な濃度軸における距離を値とすればよい。図７において、３次元画像空間ＸＹＺにおける２つの代表色をＤ１＝（Ｘｄ１，Ｙｄ１，Ｚｄ１），Ｄ２＝（Ｘｄ２，Ｙｄ２，Ｚｄ２）とし、文字部分画像中のある画素値をＭ（Ｘ，Ｙ，Ｚ）とする。この場合、代表色Ｄ１を原点に移動し、次に仮想的な濃度軸をＺ軸回りにθｚ回転し、Ｙ軸回りにθｙ回転すれば、仮想的な濃度軸はＸ軸となる。このことから、与えられた画素値Ｍについてもこのような変換を行って得られた画素値Ｍ’＝（Ｘ’，Ｙ’，Ｚ’）のＸ’の値が仮想的な濃度軸における値となる。すなわち、
Ｘ’＝ｃｏｓθｙ・ｃｏｓθｚ・（Ｘ−Ｘｄ１）
− ｃｏｓθｙ・ｓｉｎθｚ・（Ｙ−Ｙｄ１）
＋ ｓｉｎθｙ・（Ｚ−Ｚｄ１）
によって、変換された多値文字画像の画素値が得られる。

図８は、多値化処理のさらに別の例の説明図である。この例では、文字形状領域または背景領域のいずれかの代表色からの距離を濃淡の値とする例を示している。一方の代表色をＤ＝（Ｘｄ，Ｙｄ，Ｚｄ）とし、変換する文字部分画像中の画素値をＭ（Ｘ，Ｙ，Ｚ）とすると、変換後の多値文字画像の画素値Ｋは
Ｋ＝｛（Ｘ−Ｘｄ）² ＋（Ｙ−Ｙｄ）² ＋（Ｚ−Ｚｄ）² ｝^1/2
により求めればよい。

ここでは３つの変換方法を示したが、そのほかの方法を用いて文字部分画像から多値文字画像への変換を行ってもよいことは言うまでもない。

図９は、多値化処理による変換前後の具体例の説明図である。多値化処理の際には、多値文字画像の画素値の大小と、文字形状領域、背景領域の色との対応関係を統一しておくとよい。例えば図９（Ａ）に示したように文字形状領域が黒く背景領域が白い場合でも、図９（Ｂ）に示したように文字形状領域が白く背景領域が黒い場合でも、図９（Ｃ）に示す多値文字画像が得られるようにする。これにより、拡大部５で重ね合わせる際に反転された文字画像が打ち消す方向に作用せず、統一的に扱えるようになる。

例えば図５に示した方法であれば、文字形状領域の輝度値と背景領域の輝度値との関係に応じて多値文字画像の画素値の大小を切り替えればよい。例えば、背景領域の輝度値が文字形状領域の輝度値よりも大きい（明るい）場合には、輝度値が大きいほど多値文字画像の値が大きくなるように変換し、文字形状領域の輝度値が背景領域の輝度値よりも大きい（明るい）場合には、輝度値が小さいほど多値文字画像の値が大きくなるように変換すればよい。もちろん、逆の変換であってもかまわない。また、例えば図６，図７に示した方法であれば、図７に示したＤ１，Ｄ２と文字形状領域の代表色、背景領域の代表色との対応関係を統一しておけばよい。例えば、Ｄ１が文字形状領域の代表色、Ｄ２が背景領域の代表色となるように設定すればよい。もちろん、逆にＤ１が背景領域の代表色、Ｄ２が文字形状領域の代表色であってもかまわない。また図８に示した方法についても、代表色Ｄとして文字形状領域の代表色とするか、背景領域の代表色とするかを決めておけばよい。

また、上述のようにして得られた多値文字画像の値を、あらかじめ設定されている値の範囲に正規化するとよい。例えば１つの文字部分画像について上述の方法により算出された値の最大値と最小値を、多値文字画像の値の範囲の最大値と最小値になるように変換すればよい。あるいは、文字形状領域の代表色を多値文字画像の値の範囲における一方端の値とし、背景領域の代表色を多値文字画像の値の範囲における他方端の値として正規化し、多値文字画像の値の範囲を逸脱する値についてはいずれかの代表色に対応する値に集約するように変換するなど、他の変換方法を採用してもよい。変換の際には、線形に変換するほか、γ補正を行うなど、非線形の変換を行ってもよい。例えば文字形状領域と背景領域の色が近接していると、図９（Ｄ）に斜線で示しているように、算出された値の範囲が狭くなる場合がある。このような場合でも、正規化によって、図９（Ｅ）に示すように多値文字画像の値の範囲を活用した変換が行われることになる。

なお、多値文字画像に変換する前に、文字部分画像に対して背景処理を施しておくとよい。背景の画素値にばらつきがあると、拡大部５における拡大文字画像の生成に影響がある。そのため、背景処理によって背景の画素値を統一した画素値に置き換えておくとよい。この背景処理は、図９（Ｆ）に点線で示した、文字形状領域の画素及び文字の境界から予め定めた数の画素の範囲を除いて行うとよい。文字の境界から予め定めた数の範囲の背景領域の画素については、拡大部５により拡大文字画像を生成する際に、文字の境界部分の再現性に影響するため、値の統一を行わない方がよい。このほか、文字部分画像内に存在するノイズの除去処理をあらかじめ行っておくとよい。

また、上述の特に図６，図７で説明した方法で多値文字画像に変換する場合、算出した文字形状領域と背景領域の代表色の情報を逆変換部６に伝えるとよい。もちろん、他の方法においても代表色を算出して逆変換部６に伝えてもよい。

図１０は、本発明の実施の一形態の動作の一例における多値文字画像を取得してから拡大文字画像を得るまでの動作の具体例の説明図である。上述のようにして多値文字画像が得られたら、拡大部５において、拡大文字画像を得る処理を行う。図１０（Ａ）には図４（Ｄ）に示した多値文字画像を示している。ここでは各多値文字画像を、図１０（Ａ’）に示すように平行四辺形により示す。

まず、各多値文字画像を与えられた倍率で拡大する。この状態を図１０（Ｂ）に示している。そして、拡大した多値文字画像の位置合わせを行う。例えば文字の重心位置の画素を合わせたり、相関が高くなるように合わせたりすればよい。位置合わせした状態を図１０（Ｃ）に示している。なお位置合わせは、抽出部３で類似しているとされた二値文字画像に対応して得られている拡大した多値文字画像について行う。図１０（Ｃ）に示した例では、文字「２」に類似しているとされた二値文字画像に対応して得られている拡大した多値文字画像について位置合わせし、これとは別に、文字「Ｃ」に類似しているとされた二値文字画像に対応して得られている拡大した多値文字画像についての位置合わせを行う。

そして、位置合わせを行った拡大した多値文字画像について重ね合わせ処理を行う。例えば、位置合わせしたそれぞれの拡大した多値文字画像間で、位置が対応する画素値について平均値を算出し、拡大文字画像の画素値とすればよい。重ね合わせ処理を行った状態を図１０（Ｄ）に示しており、その文字「２」及び文字「Ｃ」の拡大文字画像の一例を図１０（Ｄ’）に示している。重ね合わせるもととなる文字部分画像は、類似している文字の画像であっても、受け取った入力画像中の別の部分を切り出しているため、位置合わせを行っても１画素以下のずれが生じていると考えられる。重ね合わせ処理によってずれが平均化され、特に文字の輪郭部分における拡大の際に生じたぎざぎざ感が軽減し、画質が向上する。

なお、それぞれの拡大した多値文字画像は位置合わせによってずれている場合があるため、重ね合わせるべき画素が減少してしまう場合がある。このような画素は背景であると考えられ、文字に影響することはないので、そのまま値を算出してもよいし、拡大文字画像から除外してもよい。また、抽出部３で類似しているとして抽出された二値文字画像が、１つである場合など、予め設定された数以下の場合には、例えば予め用意しておいた多値文字画像あるいは拡大した多値文字画像との重ね合わせ処理を行うとよい。あるいは、対応する多値文字画像を別途生成して重ね合わせ処理を行うように構成してもよい。

図１１は、本発明の実施の一形態の動作の一例における拡大文字画像を得てから拡大した文字部分画像を得るまでの動作の具体例の説明図である。拡大文字画像が得られたら、逆変換部６により、拡大文字画像をもとに各文字部分画像に対応する拡大した文字部分画像を得る。図１１（Ａ）には拡大部５で得られた拡大文字画像を示し、逆変換部６により得た拡大した文字部分画像を図１１（Ｂ）に示している。また、図１１（Ａ）に示した拡大文字画像を得る際に用いた多値文字画像に対応する文字部分画像を図１１（Ｃ）に示している。

切出部１で得た文字部分画像には、白黒の文字だけでなく、色文字や反転した文字なども含まれている。逆変換部６では、濃淡の多値で表現された拡大文字画像を、例えばカラーの拡大された文字部分画像に変換する。これにより、図１１（Ｃ）に示したそれぞれの文字部分画像は、図１１（Ｂ）に示したように拡大された文字部分画像に変換される。

この逆変換部６による変換処理は、多値文字画像取得部４で文字部分画像から多値文字画像を得る際に得た情報、例えば、文字形状領域及び背景領域の代表色の情報を利用して、多値文字画像の濃淡の画素値をカラーの画素値に変換すればよい。

図１２は、逆変換部における変換処理の一例の説明図である。ここでは、図６（Ａ）に示した文字部分画像に対応する拡大した文字部分画像を得る場合について示している。上述のように、図６（Ａ）に示した文字部分画像においては、文字形状領域が赤、背景領域が青であり、それぞれの領域の代表色を結ぶ直線を仮想的な濃度軸として多値文字画像を得た。逆変換部６は、この際の文字形状領域と背景領域の代表色の情報を多値文字画像取得部４から受け取り、２つの代表色を通る直線を仮想的な濃度軸とする（図１２（Ｂ））。そして、図１２（Ａ）に示した拡大文字画像の例における文字側の濃度を、文字部分画像から得た文字形状領域の代表色に、また背景側の濃度を、文字部分画像から得た背景領域の代表色に対応付け、拡大文字画像の各画素の濃度値を、仮想的な濃度軸上の色に変換してゆく。この例では文字側の濃度値を赤、背景側の濃度値を青とし、赤と青を通る色空間中の直線を濃度軸とし、この濃度軸上の色に拡大文字画像の各画素の濃度値を変換して行くことになる。これにより、図１２（Ｃ）に示すように、文字形状領域が赤、背景領域が青の拡大された文字部分画像が得られる。なお、図示の都合上、色の違いは斜線の違いにより示している。

多値文字画像取得部４から代表色の情報を受け取れない場合には、逆変換部６において文字部分画像から文字形状領域の代表色と背景領域の代表色を求め、上述のようにして拡大文字画像から拡大した文字部分画像に変換すればよい。

また、処理を簡単化するため、多値文字画像を２値化し、文字部分画像から得られた文字形状領域の代表色と背景領域の代表色を割り付けて、拡大した文字部分画像を得てもよい。

このようにして逆変換部６で得られる拡大した文字部分画像は、一般的な黒文字だけでなく、白抜き文字や、朱書き文字などのカラー文字についても高品質の拡大された文字部分画像を提供している。

図１３は、本発明の実施の一形態の第１の応用例を示す構成図である。図中、１１は文字画像配置部である。上述のようにして得られた拡大された文字部分画像は、例えば切出部１が受け取った入力画像を予め定めた倍率で拡大した画像中に貼り付けてゆくことにより、文字に関しては高画質に拡大した画像が得られる。利用者が画像を参照する場合、特に文字については高品質が要求される。そのため、本発明により生成した拡大した文字部分画像を使用することにより、高品質の文字が使用された拡大画像が得られる。

図１３に示した例では、文字画像配置部１１においてこのような貼り付け処理を行う。すなわち文字画像配置部１１は、切出部１が受け取った入力画像と、切出部１が切り出した文字部分画像の位置を受け取り、入力画像を拡大して拡大画像を得るとともに、文字部分画像の位置に対応する拡大後の位置を算出し、拡大画像の算出された位置に、逆変換部６で得られた拡大した文字部分画像を配置してゆく。これにより、拡大画像に高品質の文字部分画像が配置されることになる。

なお、入力画像の拡大方法には、公知の方法を用いればよい。また、入力画像の背景が白などの単色であれば、拡大処理を行わなくても、入力画像を予め定めた倍率で拡大した大きさの単色の画像を拡大画像として用意し、その拡大画像に拡大した文字部分画像を配置してゆけばよい。

図１４は、文字画像配置部の動作の具体例の説明図である。図１４（Ａ）には切出部１が受け取った入力画像を示しており、図１４（Ｂ）には、逆変換部６から出力された拡大された文字部分画像を示している。また、ここでは入力画像を拡大した大きさの拡大画像を図１４（Ｃ）に示している。入力画像を拡大した大きさの拡大画像に、図１４（Ｂ）に示したそれぞれの拡大された文字部分画像を配置してゆく。これによって、図１４（Ｃ）に示した拡大画像が得られる。得られた拡大画像では、本発明によって拡大された文字部分画像が配置されていることから、文字について高品質の画像となっている。

図１５は、本発明の実施の一形態の第２の応用例を示す構成図である。図中、１２は符号記憶部である。この応用例では、切出部１が受け取った入力画像を予め定めた倍率で拡大した画像を符号記憶部１２に記憶しておき、後で出力する構成例を示している。

符号記憶部１２は、拡大部５で得た拡大文字画像と、その拡大文字画像を生成する際に用いたそれぞれの文字部分画像の入力画像中の位置または入力画像を拡大した拡大画像中の位置と、それぞれの文字部分画像の文字形状領域および背景領域の代表色などの情報を符号として記憶しておく。拡大文字画像は複数の文字に共通して保持すればよく、また拡大文字画像は多値であり、拡大していても画像全体に比べて大きさは小さいため、符号量は少なくて済む。なお、入力画像中に文字以外の背景が含まれている場合、入力画像または拡大画像、あるいは入力画像または拡大画像から文字部分を除去して、圧縮して符号記憶部１２に記憶させておくとよい。この場合、文字部分は別途保存していることから、文字の高品質再現を考慮しなくてもよく、高圧縮率で圧縮してもかまわない。

拡大画像を出力する場合には、圧縮された入力画像または拡大画像が記憶されていれば復元し、記憶されていなければ入力画像を予め定めた倍率で拡大した大きさの拡大画像を用意し、上述の逆変換部６および図１３で示した文字画像配置部１１の処理を行って、高品質の拡大された文字部分画像を拡大画像に配置してゆけばよい。このようにして、符号化して記憶していた拡大画像が出力される。

なお、ここでは符号を符号記憶部１２に記憶させる例を示したが、この符号を伝送路を通じて伝送してもよい。符号を受信した他の装置では、上述の逆変換部６および文字画像配置部１１の処理を行って、高品質の拡大された文字部分画像を配置し、拡大画像を得るように構成すればよい。

図１６は、本発明の実施の一形態またはその応用例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、２１はプログラム、２２はコンピュータ、３１は光磁気ディスク、３２は光ディスク、３３は磁気ディスク、３４はメモリ、４１はＣＰＵ、４２は内部メモリ、４３は読取部、４４はハードディスク、４５はインタフェース、４６は通信部である。

上述の本発明の実施の一形態またはその応用例で説明した各部の機能の一部または全部を、コンピュータにより実行可能なプログラム２１によって実現してもよい。その場合、そのプログラム２１およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶させておけばよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部４３に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部４３にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク３１，光ディスク３２（ＣＤやＤＶＤなどを含む）、磁気ディスク３３，メモリ３４（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。

これらの記憶媒体にプログラム２１を格納しておき、例えばコンピュータ２２の読取部４３あるいはインタフェース４５にこれらの記憶媒体を装着することによって、コンピュータからプログラム２１を読み出し、内部メモリ４２またはハードディスク４４に記憶し、ＣＰＵ４１によってプログラム２１を実行することによって、上述の本発明の実施の一形態またはその応用例で説明した機能の一部又は全部が実現される。あるいは、通信路を介してプログラム２１をコンピュータ２２に転送し、コンピュータ２２では通信部４６でプログラム２１を受信して内部メモリ４２またはハードディスク４４に記憶し、ＣＰＵ４１によってプログラム２１を実行することによって実現してもよい。

コンピュータ２２には、このほかインタフェース４５を介して様々な装置と接続してもよい。例えば情報を表示する表示手段や利用者からの情報を受け付ける受付手段等も接続されていてもよい。また、例えば画像形成装置がインタフェース４５を介して接続され、拡大画像を形成して出力する構成でもよい。さらにインタフェース４５を介して画像読取装置が接続され、画像読取装置で読み取った画像を入力画像として使用するように構成してもよい。

本発明の実施の一形態を示す構成図である。 本発明の実施の一形態における動作の一例を示すフローチャートである。 本発明の実施の一形態の動作の一例における二値文字画像を抽出するまでの動作の具体例の説明図である。 本発明の実施の一形態の動作の一例における二値文字画像を抽出してから多値文字画像を取得するまでの動作の具体例の説明図である。 輝度値による多値化処理の一例の説明図である。 多値化処理の別の例の説明図である。 多値化処理の別の例における多値文字画像への変換方法の一例の説明図である。 多値化処理のさらに別の例の説明図である。 多値化処理による変換前後の具体例の説明図である。 本発明の実施の一形態の動作の一例における多値文字画像を取得してから拡大文字画像を得るまでの動作の具体例の説明図である。 本発明の実施の一形態の動作の一例における拡大文字画像を得てから拡大した文字部分画像を得るまでの動作の具体例の説明図である。 逆変換部における変換処理の一例の説明図である。 本発明の実施の一形態の第１の応用例を示す構成図である。 文字画像配置部の動作の具体例の説明図である。 本発明の実施の一形態の第２の応用例を示す構成図である。 本発明の実施の一形態またはその応用例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。 文字画像を拡大する際の画像品質の説明図である。 従来の画像拡大方法の一例の説明図である。

符号の説明

１…切出部、２…二値化部、３…抽出部、４…多値文字画像取得部、５…拡大部、６…逆変換部、１１…文字画像配置部、１２…符号記憶部、２１…プログラム、２２…コンピュータ、３１…光磁気ディスク、３２…光ディスク、３３…磁気ディスク、３４…メモリ、４１…ＣＰＵ、４２…内部メモリ、４３…読取部、４４…ハードディスク、４５…インタフェース、４６…通信部。

Claims (3)

1. カラー画像中から文字部分画像を切り出す切出手段と、前記切出手段で切り出されたカラーの前記文字部分画像を文字形状領域と背景領域とが分かるように二値化して二値文字画像を得る二値化手段と、前記二値化手段で得た前記二値文字画像のうち予め定めた類似度を有する前記二値文字画像を抽出する抽出手段と、前記抽出手段で抽出されたそれぞれの前記二値文字画像に対応する前記切出手段で切り出された前記文字部分画像から多値文字画像を得る多値文字画像取得手段と、前記多値文字画像取得手段で得た前記多値文字画像をそれぞれ拡大して位置合わせし重ね合わせることにより拡大文字画像を得る拡大手段と、前記拡大手段で得た前記拡大文字画像の濃淡をそれぞれの前記文字部分画像のカラーに応じた画素値に変換する逆変換手段を有し、前記多値文字画像取得手段は、前記抽出手段で抽出されたそれぞれの二値文字画像に対応する前記切出手段で切り出された文字部分画像のカラーの画素値を文字形状領域と背景領域の画素値の大小関係を統一した濃淡の多値に変換して多値文字画像を得るとともに前記多値文字画像の画素値が取る範囲を予め定めた範囲に正規化するものであることを特徴とする画像処理装置。
2. 前記多値文字画像取得手段は、前記文字部分画像中の文字形状領域の画素及び文字の境界から予め定めた数の画素を除く背景の画素については、背景を表す予め定めた値に変換することを特徴とする請求項１に記載の画像処理装置。
3. コンピュータに、請求項１または請求項２に記載の画像処理装置の機能を実行させることを特徴とする画像処理プログラム。

Images