JP4329564B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP4329564B2 JP4329564B2 JP2004043708A JP2004043708A JP4329564B2 JP 4329564 B2 JP4329564 B2 JP 4329564B2 JP 2004043708 A JP2004043708 A JP 2004043708A JP 2004043708 A JP2004043708 A JP 2004043708A JP 4329564 B2 JP4329564 B2 JP 4329564B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- color
- character
- basic
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
本発明は、画像データから文字部分と絵柄部分とを分離して所定処理を行う画像処理装置に関する。 The present invention relates to an image processing apparatus that separates a character part and a picture part from image data and performs predetermined processing.
ラスタ画像のデータ(以下、区別するべき場合を除いて単に「画像データ」と呼ぶ)には、文字(テキスト)部分や、自然画の部分(絵柄部分)など、互いに性状の異なる多くの画像要素が含まれ得る。こうした画像要素は、その性状の相違から、例えば圧縮処理において異なる方式での圧縮が適していたりするなど、画像要素ごとに異なる画像処理を行うことが好ましい場合が多い。 Raster image data (hereinafter simply referred to as “image data” unless otherwise distinguished) has many image elements with different properties such as character (text) parts and natural picture parts (design parts). Can be included. Due to the difference in properties of these image elements, it is often preferable to perform different image processing for each image element, for example, compression by a different method is suitable for compression processing.
そこで従来から、いわゆるT/I分離と呼ばれる画像処理が研究・開発されている。従来、T/I分離の方法としては、例えば処理対象画像をニ値化し、黒画素の連続する領域を画定し、当該画定した領域のサイズが予め定めたしきい値を下回る場合に当該領域に含まれる黒画素が文字を表すものと判定する方法等がある(特許文献1)。 Therefore, conventionally, image processing called T / I separation has been researched and developed. Conventionally, as a method of T / I separation, for example, an image to be processed is binarized, a continuous region of black pixels is defined, and when the size of the defined region is lower than a predetermined threshold value, the region is included. There is a method of determining that an included black pixel represents a character (Patent Document 1).
また、こうして文字部分として判定された領域については、当該領域に含まれる画素値に基づいてそれらの画素の代表的な色を決定し、各文字を構成する画素の値を当該代表的な色の値に設定することで圧縮率をさらに高めているものがある(特許文献2)。
ところが、文字部分として判定される領域全体について、一つの色を決定する上記方法では、例えば殆ど黒文字である中に、強調したい文字だけを赤色文字で表した場合に、全体を構成する画素の殆どが黒色であるために代表的な色が黒色と決定され、上記赤色文字までが黒色に設定されてしまう。 However, in the above method for determining one color for the entire area determined as the character portion, for example, when only the character to be emphasized is represented by a red character while it is almost a black character, most of the pixels constituting the entire region Is black, the representative color is determined to be black, and the red characters are set to black.
また、グラデーション文字など、1文字の中で複数の色が用いられている場合に、当該グラデーションが失われてしまうという問題点もある。 In addition, when a plurality of colors are used in one character such as a gradation character, the gradation is lost.
本発明は上記実情に鑑みて為されたもので、元の画像データにおける色の再現性を高めた画像処理装置を提供することをその目的の一つとする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an image processing apparatus with improved color reproducibility in original image data.
上記従来例の問題点を解決するための本発明は、画像処理装置であって、処理対象となった画像データの少なくとも一部から個々の文字と判断される画素塊を含む基本領域を画定する手段と、前記画定された基本領域ごとに当該基本領域に含まれる色数を判定する色数判定手段と、判定した色数が所定数N以下である基本領域を処理対象基本領域として選択する対象選択手段と、前記処理対象基本領域について、当該領域内の画素値に基づいて少なくとも1つの代表画素値を決定する代表値決定手段と、を含み、当該各処理対象基本領域ごとに決定された代表画素値を用いて、前記画像データのうち、当該処理対象基本領域内の画素値を限定色化することを特徴としている。 The present invention for solving the problems of the conventional example described above is an image processing apparatus, and defines a basic region including a pixel block that is determined as an individual character from at least a part of image data to be processed. Means for determining the number of colors included in the basic area for each of the defined basic areas, and an object for selecting a basic area whose determined number of colors is a predetermined number N or less as a processing target basic area Representative means determined for each of the processing target basic areas, including selection means and representative value determining means for determining at least one representative pixel value based on a pixel value in the processing target basic area A pixel value is used to limit the pixel values in the processing target basic region of the image data to a limited color.
このように、各基本領域について色数に基づいて処理対象とするか否かが定められるので、グラデーション文字などが限定色化されないように設定できる。 In this way, since it is determined whether or not each basic area is to be processed based on the number of colors, gradation characters and the like can be set not to be limited colors.
またここで前記基本領域の水平又は垂直方向の配列を含む行領域を画定する手段と、前記行領域ごとに、当該行領域に含まれ、同一の代表画素値が決定された処理対象基本領域を関連づけた色別行領域を生成する手段をさらに含み、各色別行領域ごとに、当該色別行領域内の画素値をN色以下に限定色化することで、前記画像データのうち、当該処理対象基本領域内の画素値を限定色化することとしてもよい。 Further, here, means for demarcating a row area including a horizontal or vertical arrangement of the basic areas, and for each row area, a target basic area included in the row area and having the same representative pixel value determined. Means for generating an associated color-specific row region, and for each color-specific row region, the pixel value in the color-specific row region is limited to N colors or less, whereby the processing of the image data is performed. The pixel values in the target basic area may be limited colors.
さらに、複数の前記基本領域を含む文字領域を画定する手段と、前記文字領域について、同一の代表画素値が決定された処理対象基本領域を関連づけた色別文字領域を生成する手段をさらに含み、各色別文字領域ごとに、当該色別文字領域内の画素値をN色以下に限定色化することで、前記画像データのうち、当該処理対象基本領域内の画素値を限定色化することとしてもよい。 Furthermore, it further includes means for demarcating a character area including a plurality of the basic areas, and means for generating a color-specific character area in which the processing target basic areas for which the same representative pixel values are determined are associated with the character areas, For each character region by color, by limiting the pixel values in the character region by color to N colors or less, the pixel values in the processing target basic region in the image data are limited to color. Also good.
これにより、色別に文字を含む領域が決定され、元の画像データにおける色の再現性を高めることができる。 Thereby, a region including characters is determined for each color, and the color reproducibility in the original image data can be improved.
さらに、本発明の一態様に係る画像処理方法は、処理対象となった画像データの少なくとも一部に対して、画素塊を特定し、個々の文字と判断される画素塊を含む基本領域を画定する工程と、前記画定された基本領域ごとに当該基本領域に含まれる色数を判定する色数判定工程と、判定した色数が所定数N以下である基本領域を処理対象基本領域として選択する対象選択工程と、前記処理対象基本領域について、当該領域内の画素値に基づいて少なくとも1つの代表画素値を決定する代表値決定工程と、を含み、当該各処理対象基本領域ごとに決定された代表画素値を用いて、前記画像データのうち、当該処理対象基本領域内の画素値を限定色化することを特徴としている。 Furthermore, in the image processing method according to one aspect of the present invention, a pixel block is specified for at least a part of image data to be processed, and a basic region including a pixel block determined to be an individual character is defined. A color number determination step for determining the number of colors included in the basic area for each of the defined basic areas, and a basic area whose determined color number is equal to or less than a predetermined number N is selected as a processing target basic area A target selection step and a representative value determination step for determining at least one representative pixel value based on a pixel value in the region for the processing target basic region, and determined for each processing target basic region Using the representative pixel value, the pixel value in the processing target basic region of the image data is limited color.
さらに、本発明の一態様に係るデータ構造は、処理対象となった画像データの少なくとも一部において特定された画素塊について、個々の文字と判断される複数の画素塊を含む領域を画定する情報と、前記領域を画定する情報の一つに関連づけられ、当該領域に含まれる画素のうち、その値が一つの代表値に関連づけられる画素ごとに、当該代表値と当該画素を再現する情報とを関連づけた情報を含む色別領域情報と、を含むことを特徴としている。 Further, the data structure according to one aspect of the present invention is information that defines a region including a plurality of pixel blocks that are determined as individual characters for a pixel block specified in at least a part of image data to be processed. And, for each pixel whose value is associated with one representative value among the pixels included in the region, the representative value and information for reproducing the pixel. And color-specific area information including associated information.
さらに、本発明の別の態様に係るプログラムは、コンピュータに、処理対象となった画像データの少なくとも一部に対して、画素塊を特定し、個々の文字と判断される画素塊を含む基本領域を画定する手順と、前記画定された基本領域ごとに当該基本領域に含まれる色数を判定する手順と、判定した色数が所定数N以下である基本領域を処理対象基本領域として選択する手順と、前記処理対象基本領域について、当該領域内の画素値に基づいて少なくとも1つの代表画素値を決定する手順と、を実行させ、当該各処理対象基本領域ごとに決定された代表画素値を用いて、前記画像データのうち、当該処理対象基本領域内の画素値を限定色化させることを特徴としている。 Furthermore, a program according to another aspect of the present invention provides a computer with a basic region that includes a pixel block that identifies a pixel block for at least a part of image data to be processed and is determined to be an individual character. A procedure for determining the number of colors included in the basic region for each of the defined basic regions, and a procedure for selecting a basic region whose determined number of colors is a predetermined number N or less as a processing target basic region And a procedure for determining at least one representative pixel value based on a pixel value in the region for the processing target basic region, and using the representative pixel value determined for each processing target basic region In the image data, pixel values in the processing target basic area are limited color.
本発明の実施の形態に係る画像処理装置は、図1に示すように、制御部11と記憶部12と画像入力部13と画像出力部14とを含んで構成されている。制御部11は、記憶部12に格納されているプログラムに従って動作しており、後に説明する各画像処理を遂行する。この画像処理の内容については、後に詳しく述べる。
As shown in FIG. 1, the image processing apparatus according to the embodiment of the present invention includes a
記憶部12は、制御部11によって実行されるプログラムを保持している。またこの記憶部12は、制御部11の処理の過程で生成される各種データ等を格納するワークメモリとしても動作する。具体的にこの記憶部12は、コンピュータ可読な記録媒体と当該記録媒体に対してデータを書き込み、又は当該記録媒体からデータを読み出す装置(例えばハードディスク装置やメモリ装置)として実装できる。
The
画像入力部13は、例えばスキャナであり、原稿を光学的に読み取って得られた画像データを制御部11に出力する。ここではこの画像入力部13が出力する画像データにおいて、各画素の値がRGB(赤、緑、青)の色空間で表現されているとする。画像出力部14は、制御部11から入力される指示に従って画像データを出力するもので、例えば画像形成部(プリンタ等)に出力し、又はネットワークを介して外部の装置に送信する等の処理を行うものである。
The
次に制御部11の処理の内容について説明する。本実施の形態の制御部11は、図2に機能的に示すように、画像入力部13から入力される画像データを処理対象として、この処理対象となった画像データに対して、所定前処理を行う前処理部21と、絵柄部分の候補となる部分(絵柄候補部分)を特定する絵柄候補部分特定処理部22と、文字線画を抽出する文字線画抽出処理部23と、レイアウト処理を遂行するレイアウト処理部24と、同一色領域分離部25と、穴埋処理部26と、圧縮処理部27とを含んで構成されている。
Next, the content of the process of the
以下、これら各部について具体的に説明する。 Hereinafter, each of these parts will be described in detail.
[1.前処理部]
この前処理部21では、画像入力部13から入力される画像データ(処理対象画像データ)の各画素の値をRGBからYCbCr(輝度と色差とからなる値)に変換する。具体的には、次の(1)式を用いて変換を行うことができる。なお、ここではRGBの各成分の値は0x00(「0x」は16進数であることを示す)から0xFFまでの値であるとしている。また、この前処理部21では、下地領域の輝度・彩度に基づいて各画素値を階調補正してもよい。尤も、この階調補正の処理は、必ずしも必要なものではない。
[1. Pre-processing section]
In the preprocessing unit 21, the value of each pixel of the image data (processing target image data) input from the
[2.絵柄候補領域特定処理部]
絵柄候補部分特定処理部22は、前処理部21が出力するYCbCr色空間で表現された画像データから絵柄の領域と推定される領域を、絵柄候補領域として特定する処理を行う。具体的に、絵柄候補部分特定処理部22の処理方法は、種々の方法があるので、以下そのうちの代表的な2つの方法の例について説明する。
[2. Design candidate area identification processing unit]
The pattern candidate portion
絵柄候補部分特定処理部22は、図3(a)に示すように、二値化処理部31と、連結画素抽出部32と、特徴量算出部33と、属性判定部34と、非絵柄領域処理部35と、背景領域塗潰部36と、絵柄候補領域作成部37とを含んで構成される。
As shown in FIG. 3A, the pattern candidate portion specifying
二値化処理部31は、前処理部21が出力するYCbCr色空間で表現された画像データを記憶部12にコピーして格納する。そして、当該コピーされた画像データ(絵柄領域特定画像データ)の各画素の値を参照しながら、当該画素値の輝度成分と、予め定めた二値化しきい値とを比較して、輝度成分が二値化しきい値以上の画素を黒画素(値「1」)、輝度成分が二値化しきい値未満の画素を白画素(値「0」)としていき、当該絵柄領域特定画像データを二値画像データに変換する。
The
連結画素抽出部32は、二値画像データ中から、黒画素が連結している領域(連結領域)を抽出する。この連結領域の抽出は、ラベリング処理として広く知られた処理を用いることができる。ラベリング処理を用いる場合、各連結領域には互いに異なるラベル識別子を付して、記憶部12に格納しておく。
The connected
特徴量算出部33は、連結画素抽出部32によって抽出された連結領域の各々について、その所定のスケール特徴量を演算する。ここでスケール特徴量には、連結領域に関係して定められる矩形の面積や、当該矩形内での黒画素の密度(矩形内の黒画素の数を矩形内の全画素の数で除したもの)などを含む。例えば特徴量算出部33は次のように処理を行う。すなわち特徴量算出部33は、各連結領域ごとの関係領域として、各連結領域に外接する矩形(外接矩形)を画定する。具体的に外接矩形は、連結領域に含まれる画素のうち、そのX座標が最小のもの(絵柄領域特定画像データ中で最も左にあるもの)の当該X座標をXminとし、同じくY座標が最小のもの(絵柄領域特定画像データ中で最も上にあるもの)の当該Y座標をYminとし、以下同様にX座標が最大のものと、Y座標が最大のものとにおける、X座標とY座標とのそれぞれをXmax、Ymaxとして、(Xmin,Ymin)から(Xmax,Ymax)までの線を対角線とする矩形を外接矩形と定める。そして当該外接矩形の面積Aを、(Xmax‐Xmin)×(Ymax‐Ymin)として演算する。なお、この面積Aは、当該外接矩形に含まれる全画素の数にも等しい。一方、特徴量算出部33は、当該外接矩形内の黒画素の数をカウントし、その数を上記全画素の数(すなわち面積Aの値)で除して密度Dを求める。
The feature
こうして特徴量算出部33は、各連結領域について、これら外接矩形の面積A(面積特徴量に相当する)と、黒画素密度D(密度特徴量に相当する)とを、当該連結領域のスケール特徴量として算出する。そして、各連結領域の識別子(例えばラベル識別子)とそのスケール特徴量とを関連づけて、記憶部12にスケール特徴量データベースとして格納しておく。
In this way, the feature
属性判定部34は、記憶部12に格納されたスケール特徴量データベースを参照しながら、各連結領域が絵柄候補領域であるか否かを判定する。具体的な例を挙げると、この属性判定部34は、文字であれば一定以上のサイズがあり、その内部の黒画素密度は比較的小さいはずであるとの前提に基づく処理を行う。つまり、一般的なドキュメントで利用されるフォントサイズの最小値(例えば6ポイント)に相当する面積(いわば最小面積)未満の領域(小領域)は、文字を含まない、絵柄の領域と判定できるので、こうした小領域を除去することで文字部分を特定できる。
The
また、文字は基本的に線からなるので、複雑な文字であっても領域内の画素のうち一定割合以上が黒画素となることはない。そこで、最小面積より大きい面積を有する矩形であっても、その内部で黒画素の数の占める割合(つまり黒画素密度)が比較的大きい場合に、絵柄であると判定できる。 In addition, since the characters are basically composed of lines, even a complex character will not be a black pixel in a certain proportion or more of the pixels in the region. Therefore, even if the rectangle has an area larger than the minimum area, it can be determined that the pattern is a pattern when the proportion of the number of black pixels in the rectangle (that is, the black pixel density) is relatively large.
さらに、本実施の形態では、例えば一般的なドキュメントで利用されるフォントサイズの最大値(例えば24ポイント)に相当する面積(いわば最大面積)以上の場合、文字は含まれないと基本的に判断できる。しかしながら、こうした領域は絵柄だけでなく線図(グラフなど)である場合もある。そこで、ここでも黒画素密度を利用して、最大面積より大きい面積を有する矩形のうち、黒画素密度が比較的大きい場合に限り、絵柄であると判定する。なぜならば、グラフなどの線図は、線を用いて構成されるので黒画素の密度は比較的低くなると推定されるからである。 Furthermore, in the present embodiment, for example, when the area is equal to or larger than the maximum font size (for example, 24 points) used in a general document (ie, the maximum area), it is basically determined that no character is included. it can. However, such a region may be a diagram (graph etc.) as well as a picture. Therefore, the black pixel density is also used here, and it is determined that the image has a pattern only when the black pixel density is relatively large among rectangles having an area larger than the maximum area. This is because a graph such as a graph is composed of lines, so that the density of black pixels is estimated to be relatively low.
つまり、本実施の形態では、各連結領域ごとに、その面積特徴量が予め定めた複数の等級のいずれに属するかを判断し、各等級について予め定められた密度しきい値のうち、当該面積特徴量が属する等級に係る密度しきい値と密度特徴量とを比較して、絵柄であるか否かを表す情報(本発明にいう分類情報)を生成する。 That is, in the present embodiment, for each connected region, it is determined which of the plurality of classes the area feature amount belongs to, and the area of the density threshold value that is predetermined for each class. The density threshold value related to the class to which the feature quantity belongs is compared with the density feature quantity to generate information (classification information referred to in the present invention) indicating whether or not the pattern is a pattern.
具体的に本実施の形態の属性判定部34は、上記最小面積を表す第1の面積しきい値α1と、最大面積を表す第2の面積しきい値α2(ただし、α1<α2)並びに、第1、第2の密度しきい値(ρ1,ρ2)を予め定めておき、これらのしきい値を用いて、次のように判定する。
Specifically, the
すなわち属性判定部34は、図4に示すように、スケール特徴量データベースに含まれる連結領域のうち、この処理で未だ選択されていない連結領域の一つを注目領域として選択する(S1)。そしてこの注目領域に関連づけられたスケール特徴量を読み出して、当該スケール特徴量に含まれる面積Aが、第1の面積しきい値α1未満となっているか否か(A<α1か否か)を調べる(S2)。ここで、A<α1であれば、注目領域を絵柄領域として判定し、注目領域の識別子(例えばラベル識別子)と、その判定結果(絵柄領域である旨を表す情報)とを関連づけて記憶部12に格納し(S3)、スケール特徴量データベース内にこの処理で未だ選択されていない連結領域があるか否かを調べて(S4)、未選択の連結領域があれば(Yesならば)、処理S1に戻って処理を続ける。また、処理S4において、未選択の連結領域がなければ(Noならば)、つまりすべての連結領域について判定を終了したならば、処理を終了する。
That is, as shown in FIG. 4, the
また、処理S2において、A<α1でなければ、続いて注目領域の面積Aが第2の面積しきい値α2を越えているか否か(A>α2であるか否か)を調べ(S5)、A>α2であれば、注目領域のスケール特徴量の一つである黒画素密度Dが、第1の密度しきい値ρ1未満であるか否か(D<ρ1か否か)を調べ(S6)、D<ρ1であれば、注目領域が非絵柄領域である判定して、注目領域の識別子(例えばラベル識別子)と、その判定結果(非絵柄領域である旨を表す情報)とを関連づけて記憶部12に格納し(S7)、処理S4に移行する(Y)。さらに処理S6において、D<ρ1でなければ、処理S3に移行(X)して(つまり絵柄領域と判定して)処理を続ける。 If it is determined in step S2 that A <α1 is not satisfied, whether or not the area A of the attention area exceeds the second area threshold value α2 (whether A> α2) is checked (S5). If A> α2, it is checked whether or not the black pixel density D, which is one of the scale feature quantities of the region of interest, is less than the first density threshold ρ1 (whether D <ρ1) ( S6) If D <ρ1, it is determined that the attention area is a non-picture area, and an identifier of the attention area (for example, a label identifier) is associated with the determination result (information indicating that it is a non-picture area). Are stored in the storage unit 12 (S7), and the process proceeds to S4 (Y). Furthermore, if D <ρ1 is not satisfied in process S6, the process proceeds to process S3 (X) (that is, it is determined as a picture area) and the process is continued.
また、処理S5において、A>α2でなければ、注目領域のスケール特徴量の一つである黒画素密度Dが、第2の密度しきい値ρ2未満であるか否か(D<ρ2か否か)を調べ(S8)、D<ρ2であれば、処理S7に移行(Z)して(つまり非絵柄領域と判定して)処理を続け、D<ρ2でなければ、処理S3に移行(X)して(つまり絵柄領域と判定して)処理を続ける。なお、第1,第2の密度しきい値ρ1,ρ2は、それぞれ実験によって線画等を抽出するのに適した値と、文字等を抽出するのに適した値とに定める。 In step S5, if A> α2, if not, the black pixel density D, which is one of the scale feature amounts of the region of interest, is less than the second density threshold value ρ2 (D <ρ2). (S8), if D <ρ2, the process proceeds to process S7 (Z) (that is, it is determined as a non-picture area), and the process continues. If D <ρ2, the process proceeds to process S3 ( X) (that is, it is determined as a picture area) and the processing is continued. The first and second density threshold values ρ1 and ρ2 are determined to be values suitable for extracting line drawings and the like by experiments and values suitable for extracting characters and the like.
また、面積特徴量又は面積しきい値の少なくとも一方を、処理対象となっている画像データの解像度に基づいて補正してもよい。例えば面積しきい値α1,α2が解像度r0で設定された値である場合において、処理対象となった画像データの解像度がrであったとき、第1の面積しきい値α1を(r/r0)×(r/r0)×α1に補正し、第2の面積しきい値α2を(r/r0)×(r/r0)×α2に補正する。 Further, at least one of the area feature amount or the area threshold value may be corrected based on the resolution of the image data to be processed. For example, when the area threshold values α1 and α2 are values set at the resolution r0, when the resolution of the image data to be processed is r, the first area threshold value α1 is set to (r / r0). ) × (r / r0) × α1, and the second area threshold value α2 is corrected to (r / r0) × (r / r0) × α2.
非絵柄領域処理部35は、属性判定部34によって生成されて記憶部12に格納されている、各連結領域ごとの判定結果を参照して、絵柄領域特定画像データのうち、非絵柄領域と判定された連結領域に含まれる黒画素を白画素に変換して、非絵柄領域と背景とが白画素となっている絵柄領域特定画像データを生成する。
The non-design
背景領域塗潰部36は、非絵柄領域と背景とが白画素となっている絵柄領域特定画像データに対して、絵柄部分の境界と連結している白画素を、所定の値(白、黒以外の任意の色)で塗りつぶす。ここでは、広く知られているような、閉じた領域(閉曲線で囲まれた内部又は外部)を塗つぶす処理を用いる。絵柄候補領域作成部37は、背景領域塗潰部36によって所定の値で塗潰されなかった画素の色を黒に設定する。この絵柄候補領域作成部37によって黒画素に設定された部分を絵柄候補領域として扱うことになる。
The background
この、小領域除去の方法による絵柄候補部分特定処理部22の動作について説明する。以下、図5(a)に示す画像データを処理対象とする場合を例として説明する。なお、図示の都合上、図5(a)においては、全体を線図で示しているが、図5(a)には、写真部分Pと、テキスト部分Tと、線図部分Gと、地図などの図版部分Mとが含まれているものとする。また、地図M内には、地図を構成する線分と一部重なり合う文字等が記述されている場合がある(X)。例えば道路名を示す文字などは、他の道路と重なり合って示されていることも多い。
The operation of the pattern candidate portion specifying
絵柄候補部分特定処理部22がこれを二値化処理して(図5(b))、連結画素を抽出し、各連結画素についての特徴量に基づき小領域除去の処理を行う。すると絵柄領域特定画像データは、図5(c)に示すように、テキスト部分(T)が除かれた状態となる。なお図5においては線図部分Gの黒画素密度が比較的高いので、当該線図部分Gは除去されずに残存した状態となっている。また、地図部分M内において線分と重なり合っている文字は、当該重なり合う線分と一体として連結画素として抽出されてしまう。このためこの連結画素を囲む矩形の面積が大きくなり、小領域として除去されず、残存することとなる(図5(c)のX)。
The pattern candidate portion specifying
絵柄候補部分特定処理部22は、背景となっている白画素部分Bを所定の色で塗潰し(図5(d))、さらにこの所定の色で塗潰された部分以外の部分を黒画素とする。ここで背景となっている部分を塗潰す方法としては、画像データの四隅(左上、右上、左下、右下の四隅)から線分によって仕切られない領域を塗潰す、一般的なペイント処理を利用する方法を採ることができる。そして絵柄候補部分特定処理部22は、上記所定の色部分を白画素に戻す。すると、図5(e)に示すように、絵柄候補となる部分が黒画素となり、それ以外の部分が白画素となっているような絵柄領域特定画像データが得られることとなる。
The pattern candidate portion specifying
また、絵柄候補部分特定処理部22は、非絵柄領域処理部35によって絵柄領域特定画像データのうち、非絵柄領域と判定された連結領域に含まれる黒画素を白画素に変換した後の絵柄領域特定画像データに対して、膨張収縮処理を行ってもよい。すなわち、図3(b)に示すように、絵柄候補部分特定処理部22による処理は機能的に、二値化処理部31と、連結画素抽出部32と、特徴量算出部33と、属性判定部34と、非絵柄領域処理部35と、膨張収縮部38と、背景領域塗潰部36と、絵柄候補領域作成部37とを含んで構成されてもよい。
In addition, the pattern candidate portion specifying
ここで膨張収縮部38は、非絵柄領域処理部35によって絵柄領域特定画像データのうち、非絵柄領域と判定された連結領域に含まれる黒画素を白画素に変換した後の絵柄領域特定画像データに含まれる画素を順次注目画素として選択する。
Here, the expansion /
そして膨張収縮部38は、注目画素の近傍(上下左右の画素からなる4近傍または、周辺8画素の8近傍)に黒画素が一つでもあれば、当該注目画素を黒画素とする処理(膨張処理)を行って、黒画素部分を膨張させて、次の注目画素を選択する。この選択順序は、上から下へとラインを走査し、ライン内は左から右へと走査する順序(いわゆるラスタスキャン順)とすればよい。
Then, the expansion /
膨張収縮部38は、すべての画素に対する膨張処理を完了すると、再び、各画素を順次注目画素として選択しながら収縮処理を開始する。収縮処理では、注目画素の近傍(4近傍または8近傍)に白画素が一つでもあれば、注目画素を白画素とする。そして、全画素について収縮処理が完了すると、膨張収縮部38の処理を終了する。
When the expansion /
この場合、背景領域塗潰部36は、膨張収縮部38によって処理された後の絵柄領域特定画像データに対して、絵柄部分の境界と連結している背景部分の白画素を、所定の値(白、黒以外の任意の色)で塗りつぶすことになる。
In this case, the background
このように膨張収縮処理を行うことによって、網点の領域が背景領域と区別されて絵柄領域として認識され易くなる。 By performing the expansion / contraction process in this manner, the halftone dot region is easily distinguished from the background region and recognized as a pattern region.
本実施の形態では、この絵柄領域候補を特定する処理において文字部分を絵柄と誤判定しても、後に行われるレイアウト処理によって文字部分がさらに抽出されるので、絵柄候補領域の抽出精度が比較的低くても構わない。 In this embodiment, even if the character part is erroneously determined as a pattern in the process of specifying the pattern area candidate, the character part is further extracted by the layout process performed later, so that the extraction accuracy of the pattern candidate area is relatively high. It can be low.
なお、ここまでの説明では、背景領域塗潰部36は、背景部分を所定の色で塗り潰すこととしているが、これに代えて次のようにしてもよい。すなわち、連結領域の抽出にラベリング処理を用いている場合に、当該抽出の際に得られた最大のラベルの値より大きい値(例えば最大のラベル値に1を加えた値)のラベル(背景特定ラベル)を背景部分の画素のラベルに置換えて設定していくこととしてもよい。この場合、絵柄候補領域作成部37は、当該背景特定ラベルが付されていない画素を黒画素に設定することで、図5(e)に示した絵柄領域特定画像データを生成してもよい。
In the description so far, the background
制御部11は、特定された絵柄候補領域の各々を規定する座標情報(以下、絵柄候補領域画定情報と呼ぶ)を記憶部12に格納する。
The
[3.文字線画抽出処理部]
文字線画抽出処理部23は、前処理部21が出力するYCbCr色空間で表現された画像データから文字線画部分を抽出する処理を行う。この処理は、例えば特許文献3に開示されている通りの処理を用いることができる。
[3. Character line drawing extraction processing unit]
The character / line drawing
そして文字線画抽出部処理部23は、個々の文字や、線画部分についてそれらを取囲む矩形(文字線画外接矩形)の座標情報を記憶部12に格納する。
The character / line drawing extraction
[4.レイアウト処理部]
レイアウト処理部24は、絵柄候補部分特定処理部22が生成した絵柄候補領域画定情報と、文字線画抽出処理部23が生成した文字線画外接矩形の座標情報とを記憶部12から読み出す。
[4. Layout processing section]
The
レイアウト処理部24は、この絵柄候補領域画定情報によって画定される絵柄候補領域と、文字線画外接矩形の座標情報で画定される文字線画の領域とのそれぞれに対して互いに異なる判定条件を用いてレイアウト解析を行う。
The
具体的に本実施の形態においては、記憶部12から読出した絵柄候補領域画定情報によって画定される絵柄候補領域においてレイアウト解析処理を行い、当該絵柄候補領域の中からさらに文字部分の抽出を試みる。そして、抽出された文字部分を除く部分を絵柄領域として画定し、後段の処理に供する。
Specifically, in the present embodiment, layout analysis processing is performed in the pattern candidate area defined by the pattern candidate area definition information read from the
ここでレイアウト解析処理の処理内容について説明する。レイアウト処理部24は図6に機能的に示すように、二値化処理部41と、連結画素抽出部42と、基本矩形画定部43と、第1セパレータ検出部44と、行矩形画定部45と、第2セパレータ検出部46と、文字領域画定部47と、ノイズ判定部48と、文字部分特定部49とを含んで構成される。
Here, processing contents of the layout analysis processing will be described. As functionally shown in FIG. 6, the
二値化処理部41は、前処理部21が出力するYCbCr色空間で表現された画像データ(元の画像データ)のうち、絵柄候補領域画定情報で画定される領域内の部分的な画像データ(絵柄候補部分データ)を処理対象として、この処理対象となった絵柄候補部分データを二値化して、二値化絵柄候補部分データを生成する。 The binarization processing unit 41 includes partial image data in an area defined by the pattern candidate area definition information among the image data (original image data) expressed in the YCbCr color space output from the preprocessing unit 21. Using (picture candidate part data) as a processing target, the pattern candidate part data that is the processing target is binarized to generate binarized picture candidate part data.
連結画素抽出部42は、二値化絵柄候補部分データに対してラベリング処理を行い、所定の条件(例えば黒画素である等の条件)を満足する画素値の画素が連続する部分からなる複数の画素群(連結画素群)を特定する。
The connected
基本矩形画定部43は、連結画素抽出部42が特定した連結画素群に関する矩形(例えば連結画素群に外接する矩形)を基本矩形として画定し、各連結画素群についての基本矩形の座標情報(当該矩形を画定するための座標情報)を生成する。そして、各基本矩形ごとに固有の識別子を発行し、当該識別子と基本矩形の座標情報とを関連づけて基本矩形データベースとして記憶部12に格納する。
The basic
第1セパレータ検出部44は、処理対象となっている絵柄候補部分データの左上端の画素を初期位置として、各画素を左から右へと1ライン走査し、一つ下のラインについて同様に(すなわちラスタスキャン順に)走査していき、上記ラベリング処理における所定の条件を満足しない画素値の画素(例えば白画素)が、予め定めた水平方向閾値より多く連続している場合に、当該連続画素部分を(水平方向の)第1セパレータとして検出し、当該第1セパレータを特定する情報(連続画素部分の左端画素の座標と右端画素の座標など、ここで座標は、元の画像データ上の座標であってもよいし、絵柄候補部分データ上のローカルな座標であってもよい)を生成して記憶部12に格納する。
The first
また、この第1セパレータ検出部44は、処理対象となっている絵柄候補部分データの左上端の画素を初期位置として、各画素をの画素を上から下へと1ライン走査し、一つ右のラインについて同様に走査していき、上記ラベリング処理における所定の条件を満足しない画素値の画素(例えば白画素)が、予め定めた垂直方向閾値より多く連続している場合に、当該連続画素部分を(垂直方向の)第1セパレータとして検出し、当該第1セパレータを特定する情報(連続画素部分の上端画素の座標と下端画素の座標など、ここで座標は、元の画像データ上の座標であってもよいし、絵柄候補部分データ上のローカルな座標であってもよい)を生成して記憶部12に格納する。
Further, the first
これらの処理において、水平方向閾値や垂直方向閾値は、ユーザが任意に定め得る。水平方向閾値は多段組のレイアウトにおいて各段を分かつための閾値であり、垂直方向閾値は2行以上の文字列を含む文書から、各行を分かつための閾値である。またユーザの設定によるだけでなく、水平方向閾値は基本矩形の幅の統計値(平均)などに基づく所定関数値として、また垂直方向閾値は基本矩形の高さの統計値(平均)などに基づく所定関数値としてそれぞれ定めてもよい。 In these processes, the horizontal direction threshold and the vertical direction threshold can be arbitrarily determined by the user. The horizontal threshold is a threshold for dividing each stage in a multi-column layout, and the vertical threshold is a threshold for separating each line from a document including two or more character strings. In addition to the user setting, the horizontal threshold is a predetermined function value based on the basic rectangle width statistical value (average), and the vertical threshold is based on the basic rectangular height statistical value (average). Each may be determined as a predetermined function value.
具体的に第1セパレータは、図7(a)に示すような状態で検出されることになる。なお、図7(a)では各第1セパレータが相互に隣接して検出された結果として、一つの第1セパレータ領域のように示されている。 Specifically, the first separator is detected in a state as shown in FIG. In FIG. 7A, as a result of detecting the first separators adjacent to each other, it is shown as one first separator region.
行矩形画定部45は、記憶部12に格納されている基本矩形の一つを注目基本矩形として選択する。そして、記憶部12に格納されている基本矩形であって、いままでに注目基本矩形として選択されていない基本矩形を処理対象基本矩形として順次選択しながら、次の処理を行う。
The row rectangle defining unit 45 selects one of the basic rectangles stored in the
すなわち、注目基本矩形の中心座標(座標情報が対角位置にある各頂点の座標を表している場合、その中点座標)から、処理対象基本矩形の中心座標へのベクトルを算出する。さらに行矩形画定部45は、ベクトルの大きさ(各成分の二乗和の平方根)から注目基本矩形と処理対象基本矩形との距離を算出する。そして、この算出した距離が予め定めた距離閾値以下となっている場合は、上記算出したベクトルが、検出された第1セパレータのいずれかと交差するか否かを調べる。この処理は2つの線分が交差するか否かを調べる処理として広く知られたものを用いることができる。ここで、上記算出したベクトルが、検出された第1セパレータのいずれとも交差しない場合、注目基本矩形の識別子に、当該処理対象基本矩形の識別子を関連づけて基本矩形関係データベースとして記憶部12に格納する。
That is, a vector is calculated from the center coordinates of the target basic rectangle (in the case where the coordinate information represents the coordinates of each vertex at the diagonal position, the center point coordinates thereof) to the center coordinates of the processing target basic rectangle. Further, the row rectangle defining unit 45 calculates the distance between the target basic rectangle and the processing target basic rectangle from the size of the vector (the square root of the sum of squares of each component). When the calculated distance is equal to or less than a predetermined distance threshold, it is checked whether the calculated vector intersects any of the detected first separators. For this process, a widely known process for checking whether or not two line segments intersect can be used. If the calculated vector does not intersect any of the detected first separators, the identifier of the target basic rectangle is associated with the identifier of the target basic rectangle and stored in the
行矩形画定部45は記憶部12に格納されている基本矩形について順次注目基本矩形として選択しながら上記処理を行う。そしてこの処理の結果として得られた基本矩形関係データベースを参照しながら連鎖的に互いに関連する一連の基本矩形群(複数あってもよい)を特定し、特定された基本矩形群に含まれる基本矩形に外接する矩形を行矩形として画定する(例えば図7(b))。
The row rectangle defining unit 45 performs the above processing while sequentially selecting the basic rectangles stored in the
例えば基本矩形関係データベース内において、識別子が「1」の基本矩形と識別子が「2」の基本矩形とが関連づけられ、また識別子が「2」の基本矩形と識別子が「3」の基本矩形とが関連づけられている場合、行矩形画定部45は、これらの結果を統合して識別子「1」と「2」と「3」との各基本矩形を一連の基本矩形群として特定する。そして基本矩形群に含まれる基本矩形のうち、その座標情報のx(水平方向)の値の最大値と最小値とを抽出し、同じようにy(垂直方向)の値の最大値と最小値とを抽出する。そして、抽出されたxの最小値とyの最小値とを組とした第一座標と、xの最大値とyの最大値とを組とした第二座標とを、それぞれ左上座標,右下座標とする行矩形を画定する。つまり、行矩形は、この2つの座標値を含む座標情報によって画定される。 For example, in the basic rectangle relation database, a basic rectangle with an identifier “1” is associated with a basic rectangle with an identifier “2”, and a basic rectangle with an identifier “2” and a basic rectangle with an identifier “3” are associated with each other. If they are associated, the row rectangle defining unit 45 integrates these results and specifies the basic rectangles having the identifiers “1”, “2”, and “3” as a series of basic rectangle groups. Then, from the basic rectangles included in the basic rectangle group, the maximum value and minimum value of the x (horizontal direction) value of the coordinate information are extracted, and similarly the maximum value and minimum value of the y (vertical direction) value are extracted. And extract. Then, a first coordinate that is a set of the extracted minimum value of x and a minimum value of y, and a second coordinate that is a set of the maximum value of x and the maximum value of y are respectively set as upper left coordinates and lower right coordinates. A line rectangle is defined as coordinates. That is, the row rectangle is defined by coordinate information including these two coordinate values.
行矩形画定部45は、こうして画定した各行矩形についてそれぞれ固有の識別子を発行し、各識別子とその行矩形の座標情報と当該行矩形に含まれる基本矩形群を特定する情報(各基本矩形の識別子のリストなど)とを関連づけて行矩形データベースとして記憶部12に格納する。
The row rectangle defining unit 45 issues a unique identifier for each row rectangle thus defined, and information for identifying each identifier, the coordinate information of the row rectangle, and the basic rectangle group included in the row rectangle (the identifier of each basic rectangle) Are stored in the
第2セパレータ検出部46は、処理対象となっている絵柄候補部分データの左上端の画素を初期位置として、各画素を左から右へと1ライン走査し、一つ下のラインについて同様に(すなわちラスタスキャン順に)走査していき、連結画素抽出部42でのラベリング処理における所定の条件を満足する画素値の画素(例えば黒画素)が、予め定めた水平方向閾値より多く連続している場合に、当該連続画素部分を(水平方向の)第2セパレータとして検出し、当該第2セパレータを特定する情報(連続画素部分の左端画素の座標と右端画素の座標など、ここで座標は、元の画像データ上の座標であってもよいし、絵柄候補部分データ上のローカルな座標であってもよい)を生成して記憶部12に格納する。
The second
また、この第2セパレータ検出部46は、処理対象となっている絵柄候補部分データの左上端の画素を初期位置として、各画素を上から下へと1ライン走査し、一つ右のラインについて同様に走査していき、連結画素抽出部42でのラベリング処理における所定の条件を満足する画素値の画素(例えば黒画素)が、予め定めた垂直方向閾値より多く連続している場合に、当該連続画素部分を(垂直方向の)第2セパレータとして検出し、当該第2セパレータを特定する情報(連続画素部分の上端画素の座標と下端画素の座標など、ここで座標は、元の画像データ上の座標であってもよいし、絵柄候補部分データ上のローカルな座標であってもよい)を生成して記憶部12に格納する。
The second
これらの処理において、水平方向閾値や垂直方向閾値は、ユーザが任意に定め得る。水平方向閾値は多段組のレイアウトにおいて各段を分かつための閾値であり、垂直方向閾値は2行以上の文字列を含む文書から、各行を分かつための閾値である。またユーザの設定によるだけでなく、水平方向閾値は基本矩形の幅の統計値(平均)などに基づく所定関数値として、また垂直方向閾値は基本矩形の高さの統計値(平均)などに基づく所定関数値としてそれぞれ定めてもよい。 In these processes, the horizontal direction threshold and the vertical direction threshold can be arbitrarily determined by the user. The horizontal threshold is a threshold for dividing each stage in a multi-column layout, and the vertical threshold is a threshold for separating each line from a document including two or more character strings. In addition to the user setting, the horizontal threshold is a predetermined function value based on the basic rectangle width statistical value (average), and the vertical threshold is based on the basic rectangular height statistical value (average). Each may be determined as a predetermined function value.
文字領域画定部47は、行矩形画定部45が画定した行矩形の一つを注目行矩形として選択する。そして文字領域画定部47は、記憶部12に格納されている行矩形であって、いままでに注目行矩形として選択されていない行矩形を処理対象行矩形として順次選択しながら、次の処理を行う。
The character
すなわち、注目行矩形の各頂点の座標と処理対象行矩形の対応する頂点の座標とを結ぶ線分、及び注目行矩形と処理対象行矩形の各辺とによって画定される多角形領域を生成し、この多角形領域と第2セパレータ(の領域)とが交差(領域同士が少なくとも一部で重なり合う)するか否かを調べる。この処理は2つの領域が交差するか否かを調べる処理として広く知られたものを用いることができる。 In other words, a line segment connecting the coordinates of each vertex of the target line rectangle and the coordinates of the corresponding vertex of the processing target line rectangle, and a polygonal area defined by each side of the target line rectangle and the processing target line rectangle are generated. Then, it is examined whether or not this polygonal region and the second separator (region) intersect (regions overlap at least partially). For this process, a widely known process for checking whether or not two regions intersect can be used.
ここで多角形領域と第2セパレータとが交差していない場合、注目行矩形の識別子と処理対象行矩形の識別子とを関連づけて行矩形関係データベースとして記憶部12に格納する。
Here, when the polygonal region and the second separator do not intersect, the identifier of the target row rectangle and the identifier of the processing target row rectangle are associated with each other and stored in the
文字領域画定部47は記憶部12に格納されている行矩形について順次注目行矩形として選択しながら上記処理を行う。そしてこの処理の結果として得られた行矩形関係データベースを参照しながら連鎖的に互いに関連する一連の行矩形群(複数あってもよい)を特定し、特定された行矩形群に含まれる行矩形に外接する矩形を文字領域として画定する。
The character
例えば行矩形関係データベース内において、識別子が「1」の行矩形と識別子が「2」の行矩形とが関連づけられ、また識別子が「2」の行矩形と識別子が「3」の行矩形とが関連づけられている場合、行矩形画定部45は、これらの結果を統合して識別子「1」と「2」と「3」との各行矩形を一連の行矩形群として特定する。そして行矩形群に含まれる行矩形のうち、その座標情報のx(水平方向)の値の最大値と最小値とを抽出し、同じようにy(垂直方向)の値の最大値と最小値とを抽出する。そして、抽出されたxの最小値とyの最小値とを組とした第一座標と、xの最大値とyの最大値とを組とした第二座標とを、それぞれ左上座標,右下座標とする文字領域の矩形を画定する。つまり、文字領域は、この2つの座標値を含む座標情報によって画定される。 For example, in the row rectangle relation database, the row rectangle having the identifier “1” is associated with the row rectangle having the identifier “2”, and the row rectangle having the identifier “2” is associated with the row rectangle having the identifier “3”. If they are associated, the row rectangle defining unit 45 integrates these results and identifies the row rectangles having the identifiers “1”, “2”, and “3” as a series of row rectangle groups. Then, from the row rectangles included in the row rectangle group, the maximum value and the minimum value of the x (horizontal direction) value of the coordinate information are extracted, and similarly the maximum value and the minimum value of the y (vertical direction) value are extracted. And extract. Then, a first coordinate that is a set of the extracted minimum value of x and a minimum value of y, and a second coordinate that is a set of the maximum value of x and the maximum value of y are respectively set as upper left coordinates and lower right coordinates. Define the rectangle of the character area as coordinates. That is, the character area is defined by coordinate information including these two coordinate values.
文字領域画定部47は、こうして画定した文字領域についてそれぞれ固有の識別子を発行し、各識別子とその文字領域の座標情報と当該文字領域に含まれる行矩形群を特定する情報(各行矩形の識別子のリストなど)とを関連づけて文字領域データベースとして記憶部12に格納する。
The character
ノイズ判定部48は、文字領域画定部47によって画定された文字領域のそれぞれについて文字が含まれているか否かを確認する、ノイズ判定処理を行う。ここでノイズ判定処理は、行矩形の数、又は各行矩形の性状を表す情報に基づいて、各行矩形に文字が含まれているか否かを判断する第1ノイズ判定処理と、行矩形に関係する基本矩形に関する情報に基づいて、当該行矩形に文字が含まれているか否かを判断する第2ノイズ処理とを含む。
The noise determination unit 48 performs noise determination processing for confirming whether or not a character is included in each of the character regions defined by the character
具体的にノイズ判定部48の処理は、図8に示すような処理として行われる。まずノイズ判定部48は記憶部12に格納された文字領域のうち、未だ注目文字領域として選択されていないものを注目文字領域として選択する(S11)。そして注目文字領域に含まれる行矩形の数を調べ、これが2以上か(すなわち、当該文字領域が複数行からなるか)否かを判断する(S12)。ここで、行矩形の数が2以上であれば(Yesならば)、注目文字領域に含まれる各行矩形の幅と高さ、並びにそれらの平均や標準偏差など、ばらつきを検定するための統計量を演算する(S13)。そして、これらの統計量に基づいて各行矩形の幅や高さのばらつきが所定のしきい値より大きいか否かを比較する(S14)。この比較は例えば標準偏差が、予め定めたしきい値を超えるか否かの比較とすることができる。そしてこの処理S14によって、ばらつきが大きいと判断される場合(Yesの場合)、注目文字領域には文字は含まれないと判断して、記憶部12の文字領域データベースから、注目文字領域を削除して(S15)、処理S18に移行する。これら処理S12からS15の処理が、第1ノイズ判定処理に相当する。すなわちここでは行矩形の性状を表す情報として各行矩形の幅や高さ、並びにそれらの統計量が用いられている。
Specifically, the processing of the noise determination unit 48 is performed as shown in FIG. First, the noise determination unit 48 selects a character region stored in the
一方、処理S14において、ばらつきが小さいと判断される場合(Noの場合)には、注目文字領域に含まれる各行矩形に対して行内判定処理(第2ノイズ判定処理)を行う(S16)。この処理S16の具体的内容については後述する。そしてこの処理S16においてノイズ(文字が含まれていない)と判定された行の数と注目文字領域に含まれる行矩形の数との比に基づいて、ノイズと判定された行の数が、注目文字領域に含まれる行矩形の数に比して所定比率以上となっているか否かを判断し(S17)、所定比率以上であるときに、注目文字領域には文字は含まれないと判断して、処理S15に移行する。 On the other hand, if it is determined in the process S14 that the variation is small (in the case of No), an in-line determination process (second noise determination process) is performed on each line rectangle included in the target character area (S16). The specific contents of this process S16 will be described later. Then, based on the ratio of the number of lines determined as noise (no character is included) in this process S16 and the number of line rectangles included in the target character area, the number of lines determined as noise is It is determined whether or not the predetermined ratio is greater than or equal to the number of line rectangles included in the character area (S17). When the ratio is equal to or greater than the predetermined ratio, it is determined that no character is included in the target character area. Then, the process proceeds to process S15.
また、処理S17において、所定比率未満である場合は、未だ注目文字領域となっていない文字領域が記憶部12の文字領域データベースにあるか否かを調べ(S18)、未選択の文字領域があれば、処理S11に戻って処理を続ける。さらに処理S18において、未選択の文字領域がないならば(すべての文字領域について処理を行ったならば)、ノイズ判定の処理を終了する。 In step S17, if the ratio is less than the predetermined ratio, it is checked whether or not there is a character area that is not yet a focused character area in the character area database of the storage unit 12 (S18), and there is an unselected character area. If so, the process returns to step S11 to continue the process. Furthermore, if there is no unselected character area in process S18 (if all the character areas have been processed), the noise determination process is terminated.
さらに処理S12において行矩形の数が1つであれば(Noならば)、処理S16に移行して処理を続ける。この場合、当該単一の行矩形について文字が含まれているか否かを判断し、文字が含まれていれば(この場合は処理S17の比率は「0」となる)、注目文字領域には文字が含まれると判断され、当該単一の行矩形内に文字が含まれていないならば(この場合は処理S17の比率は「1」となる)、注目文字領域には文字が含まれないと判断される。 Further, if the number of row rectangles is one in process S12 (if No), the process proceeds to process S16 to continue the process. In this case, it is determined whether or not a character is included in the single line rectangle, and if a character is included (in this case, the ratio of processing S17 is “0”), the target character region includes If it is determined that a character is included and no character is included in the single line rectangle (in this case, the ratio of processing S17 is “1”), the character region of interest does not include the character. It is judged.
ここで、処理S16における具体的処理(第2ノイズ判定処理)の内容について説明する。この処理ではノイズ判定部48は、図9に示すように、処理の対象となった各行矩形の一つを注目行矩形として選択し(S21)、記憶部12に格納されている行矩形データベースを参照して、当該注目行矩形に含まれる基本矩形の数をカウントする(S22)。そしてカウントの結果、基本矩形の数が「1」である場合と、「2」である場合と、「3」以上である場合とに分岐して(S23)、基本矩形の数が「1」である場合は、注目行矩形に含まれる基本矩形の識別子のリストを取得し、このリストに含まれる基本矩形の座標情報を記憶部12の基本矩形データベースから読出して、このリストに含まれる基本矩形の幅及び高さとその積(つまり面積)を演算する。そしてこの面積が予め定められた面積しきい値以下であるか否かを判断し(S25)、面積しきい値以下である場合は、注目行矩形には文字が含まれないと判断して、当該結果を記憶部12に格納する(S26)。そして未だ注目行矩形として選択されていない行矩形があるか否かを調べ(S27)、未選択の行矩形があれば、当該未選択の行矩形の一つを注目行矩形として選択するべく処理S21に戻って処理を続ける。一方、処理S27において未選択の行矩形がなければ、処理を終了して図8の処理に戻る。
Here, the content of the specific process (2nd noise determination process) in process S16 is demonstrated. In this processing, as shown in FIG. 9, the noise determination unit 48 selects one of the row rectangles to be processed as a target row rectangle (S21), and selects the row rectangle database stored in the
さらに処理S22におけるカウント値が「2」である場合、各基本矩形の面積を演算し、また、これらの基本矩形間の距離を演算する。基本矩形間の距離は、例えば基本矩形の中心同士の距離として演算できる。そして、距離が予め定めた距離しきい値より大きいか、または2つの基本矩形の面積の比が予め定めた面積比しきい値より大きいかを判断し(S31)、距離が予め定めた距離しきい値より大きいか、または2つの基本矩形の面積の比が予め定めた面積比しきい値より大きい場合は、処理S26に移行して(X)処理を続ける。 Further, when the count value in the process S22 is “2”, the area of each basic rectangle is calculated, and the distance between these basic rectangles is calculated. The distance between the basic rectangles can be calculated as the distance between the centers of the basic rectangles, for example. Then, it is determined whether the distance is larger than a predetermined distance threshold value or the ratio of the areas of the two basic rectangles is larger than a predetermined area ratio threshold value (S31), and the distance is set to a predetermined distance. If it is larger than the threshold value, or if the ratio of the areas of the two basic rectangles is larger than the predetermined area ratio threshold, the process proceeds to step S26 and (X) the process is continued.
さらに、処理S22におけるカウント値が「3」以上である場合には、カウント値(基本矩形の数)が所定最大数を超えているか否かを判断し(S32)、この所定最大数を超える場合は、注目行矩形には文字が含まれないと判断して処理S26に移行する(X)。これは、一行内に例えば100字を超える文字を含めることは通常あり得ないことなどに配慮したものであり、固定値として定めておいてもよいし、注目行矩形の幅に基づいて調整してもよい。また処理S32において基本矩形の数が所定最大数を超えていない場合は、さらに各基本矩形の面積を演算して、演算された面積の最大値が、所定最大面積値を超えているか否かを判断する(S34)。ここで所定最大面積値を超えていると判断される場合は、注目行矩形には文字が含まれないと判断して処理S26に移行する(X)。この最大面積値も、固定値として定めてもよいし、注目行矩形の幅や高さの少なくとも一方(例えばそれらのうち小さい方)に基づいて調整してもよい。 Furthermore, when the count value in process S22 is “3” or more, it is determined whether or not the count value (number of basic rectangles) exceeds a predetermined maximum number (S32). Determines that no character is included in the target line rectangle, and the process proceeds to step S26 (X). This is in consideration of the fact that it is usually impossible to include more than 100 characters in a line, and may be set as a fixed value or adjusted based on the width of the line of interest rectangle. May be. If the number of basic rectangles does not exceed the predetermined maximum number in step S32, the area of each basic rectangle is further calculated to determine whether the calculated maximum area value exceeds the predetermined maximum area value. Judgment is made (S34). If it is determined that the predetermined maximum area value is exceeded, it is determined that no character is included in the target line rectangle, and the process proceeds to step S26 (X). This maximum area value may also be determined as a fixed value, or may be adjusted based on at least one of the width and height of the target row rectangle (for example, the smaller of them).
さらに処理S34において所定最大面積値を超えていないと判断される場合、さらに2つの基本矩形の組み合せ(任意に取り出された少なくとも一つの組み合せ)について、各組み合せに係る2つの基本矩形の面積比が予め定めた面積比しきい値より大きいかを判断し(S35)、2つの基本矩形の面積の比が予め定めた面積比しきい値より大きい場合は、処理S26に移行して処理を続ける(X)。 Further, when it is determined in the process S34 that the predetermined maximum area value is not exceeded, the area ratio of the two basic rectangles related to each combination is further determined for two combinations of the basic rectangles (at least one combination arbitrarily extracted). It is determined whether it is larger than a predetermined area ratio threshold value (S35). If the ratio of the areas of the two basic rectangles is larger than the predetermined area ratio threshold value, the process proceeds to step S26 and the process continues ( X).
この処理S35において2つの基本矩形の面積の比が予め定めた面積比しきい値より大きくない場合は、注目行矩形内に文字が含まれると判断して、その判断結果を記憶部12に格納し、処理S27に移行する。
When the ratio of the areas of the two basic rectangles is not larger than the predetermined area ratio threshold value in this process S35, it is determined that the character is included in the target line rectangle, and the determination result is stored in the
なお、処理S25において、面積が面積しきい値を超える場合、並びに、処理S31において、距離が予め定めた距離しきい値以下であり、かつ2つの基本矩形の面積の比が予め定めた面積比しきい値以下である場合には、処理S32(または処理S34)以下に移行して処理を続けることとする。 In the process S25, when the area exceeds the area threshold value, and in the process S31, the distance is equal to or smaller than the predetermined distance threshold value, and the ratio of the areas of the two basic rectangles is a predetermined area ratio. If it is less than or equal to the threshold value, the process proceeds to the process S32 (or process S34) and the process is continued.
また、処理S35においては各組み合せについて処理を行っているが、処理負荷を軽減するためには、例えば各基本矩形の面積の平均値(平均面積)や、最小値(最小面積)・最大値(最大面積)を演算し、平均面積と最小面積、平均面積と最大面積との比、あるいは最小面積と最大面積との比と、上記面積比しきい値との比較を行ってもよい。 Further, in the processing S35, the processing is performed for each combination, but in order to reduce the processing load, for example, the average value (average area) of each basic rectangle, the minimum value (minimum area), the maximum value ( The maximum area) may be calculated, and the average area and the minimum area, the ratio of the average area and the maximum area, or the ratio of the minimum area and the maximum area may be compared with the area ratio threshold value.
このように、ノイズ判定部48は、各行矩形について、そこに含まれる基本矩形の性状(面積、面積比、距離など)に基づき、各行矩形に真に文字が含まれているか否かを再確認する。 As described above, the noise determination unit 48 reconfirms whether or not each row rectangle truly includes a character based on the properties (area, area ratio, distance, etc.) of the basic rectangle included in each row rectangle. To do.
なお、ノイズ判定部48の第1ノイズ判定処理は、ここで述べた例に限られない。例えばここでは行矩形の性状として各行矩形の幅や高さを用いていたが、これらとともに、またはこれらに代えて、行矩形の座標情報(の平均値や標準偏差などの統計量)を用いてもよい。これによると、文字領域内に含まれる行矩形の位置がばらついている場合などに、当該文字領域には文字が含まれていない(ノイズである)と判断して、記憶部12の文字領域データベースから、注目文字領域を削除することとなる。
The first noise determination process of the noise determination unit 48 is not limited to the example described here. For example, the width and height of each row rectangle is used here as the property of the row rectangle, but using the coordinate information of the row rectangle (statistics such as an average value and standard deviation) together with or instead of these, Also good. According to this, when the positions of the line rectangles included in the character area vary, it is determined that the character area does not include a character (noise), and the character area database in the
文字部分特定部49は、ノイズ判定部48の処理を経た文字領域データベースを記憶部12から読出して、当該文字領域データベースに含まれる文字領域(文字領域の座標情報そのもの)、または当該文字領域内の黒画素部分(文字領域の座標情報と、黒画素部分からなるビットマップ情報)を文字部分として特定し、当該文字部分を特定する情報(文字部分特定情報)を記憶部12に格納する。制御部11は、この時点で記憶部12に格納されている、基本矩形関係データベースや行矩形関係データベースを削除してもよい。
The character
このように、本実施の形態におけるレイアウト処理部24は、文字から行、行から領域へと段階的に文字領域を画定し、当該画定した文字領域内の行の状態に基づいて文字列が含まれているかを判断し、文字列が含まれていないと判断される場合には、さらに行内(文字単位)の状態に基づいて文字が含まれているかを判断することとしている。尤も、本実施の形態におけるレイアウト処理はこれに限られるものではなく、その他広く知られたレイアウト処理を用いても構わない。
As described above, the
本実施形態において特徴的なことの一つは、いわゆるT/I分離処理においてレイアウト解析を用いて文字部分を抽出することとしていることである。これによって絵柄候補領域に含まれる文字部分もレイアウト解析処理によって抽出されることとなり、文字部分の抽出精度を向上させることができる。 One characteristic of this embodiment is that a character portion is extracted using layout analysis in so-called T / I separation processing. As a result, the character portion included in the pattern candidate region is also extracted by the layout analysis process, and the accuracy of extracting the character portion can be improved.
一方、レイアウト処理部24は、文字線画として画定された部分(文字線画外接矩形)内についても、レイアウト解析処理を行う。そしてレイアウト処理部24は、当該レイアウト解析処理の結果として得られたレイアウト枠(少なくとも各文字に外接する矩形(基本矩形)を含む)を定め、これらレイアウト枠の情報(座標情報など)を記憶部12に格納する。
On the other hand, the
なお、文字線画外接矩形内においても、上記基本矩形を水平または垂直方向に関係づけて得られる行矩形を画定し、この行矩形の座標情報などを記憶部12に併せて格納してもよい。
Note that a line rectangle obtained by relating the basic rectangle in the horizontal or vertical direction may also be defined within the character line drawing circumscribed rectangle, and the coordinate information of the line rectangle may be stored in the
制御部11のレイアウト処理部24は、記憶部12に格納された文字部分特定情報と、文字線画外接矩形(またはそれに対するレイアウト処理結果としてのレイアウト枠)とを参照し、処理対象となった画像データ全体について、画像データ内で文字を含む矩形領域の座標情報を生成する。具体的にレイアウト処理部24は、文字部分特定情報の座標情報で画定される矩形と、文字線画外接矩形情報(またはそれに対するレイアウト処理結果としてのレイアウト枠)で画定される矩形とを結合して、文字線画領域を生成する。すなわち、本実施の形態では絵柄候補領域の画定と、文字線画領域の画定とを別々に行っているため、絵柄候補領域内にも文字線画領域として特定された領域が存在し得る。このためここでこれらの領域を結合して、重複領域を一つの文字線画領域とする。
The
そしてレイアウト処理部24は、結合後の各文字線画部分について固有の領域識別子(以下、ラベルデータと呼ぶ)を生成し、このラベルデータと、対応する文字線画領域を画定するための座標情報(頂点座標の情報等)とを関連づけて記憶部12に文字線画領域データベースとして格納する。
Then, the
[5.同一色領域分離部]
同一色領域分離部25は、記憶部12の文字線画領域データベースに格納されている文字線画領域の各々について、同一の色の文字線画部分のみからなる領域に分割する処理を行う。同一色領域分離部25は、レイアウト処理の過程で記憶部12に格納された基本矩形(絵柄候補領域と文字線画領域との双方から画定された矩形)の座標情報を読み出す。そして、処理対象となっている画像データ(元画像データ)のうち、この座標情報で画定される各基本矩形内に含まれる画素値のうち代表値(代表色)の候補を決定する。
[5. Same color area separation unit]
The same color
本実施の形態における同一色領域分離部25は、図10に示すように、色数判定部51と、第1代表色決定部52と、第2代表色決定部53と、限定色化部54とを含んで構成されている。
As shown in FIG. 10, the same color
色数判定部51は、記憶部12に格納された基本矩形(本発明の基本領域に相当する)の座標情報を参照し、それらを順次注目基本矩形として選択しながら、元画像データのうち注目基本矩形内の画素値に基づいて色数をカウントする。具体的にこの色数判定部51は、元画像データのうち注目基本矩形内の文字部分の画素値のヒストグラム(発生頻度)を生成し、このヒストグラムにおいて所定しきい値(例えば注目基本矩形内の文字部分の画素数の1/3など)を超える頻度で出現する画素値の数をカウントする。
The number-of-
第1代表色決定部52は、色数判定部51によってカウントされた色数が所定の整数N(例えばN=1)以下であるか否かを調べ、色数が所定数N以下である場合は、注目基本矩形を処理対象として、当該注目基本矩形の画素値に基づいて少なくとも一つの代表画素値を決定する。
The first representative
またこの第1代表色決定部52は、色数が所定数N以下でない場合は、注目基本矩形を処理対象としないこととなる。この場合、同一色領域分離部25は、当該注目基本矩形の部分を文字線画領域データベースから除去する処理を行って、当該注目基本矩形内の画素を絵柄として扱うこととしてもよい。
In addition, when the number of colors is not equal to or less than the predetermined number N, the first representative
なお、代表画素値の決定方法は、色数判定部51における色数判定の処理と同様に、元画像データのうち注目基本矩形内の文字部分の画素値のヒストグラム(発生頻度)を生成し、このヒストグラムにおいて所定しきい値(例えば注目基本矩形内の文字部分の画素数の1/3など)を超える頻度で出現する画素値を代表画素値として決定し、注目基本矩形を特定する情報(注目基本矩形に固有に発行された識別子)に関連づけて決定した代表画素値を代表画素値データベースとして記憶部12に格納する。
The representative pixel value determination method generates a histogram (occurrence frequency) of pixel values of the character part in the target basic rectangle in the original image data, as in the color number determination process in the color
このように、各基本矩形内の色数に基づいて処理対象とするか否かが定められるので、グラデーション文字などが限定色化されることがない。 Thus, since it is determined whether or not to be processed based on the number of colors in each basic rectangle, gradation characters and the like are not limited colors.
第2代表色決定部53は、記憶部12に格納されている行矩形データベースを参照して、各行矩形を順次、注目行矩形として選択する。そして注目行矩形に含まれる少なくとも一つの基本矩形の識別子を取り出し、取り出した各識別子に関連づけられた代表画素値を代表画素値データベースから読出す。
The second representative
以下、i番目の基本矩形についての代表画素値Pをa,b,cの3値で張られる色成分(a,b,cはL*a*b*やRGB等の色成分のどれであってもよい)を用いてPi(Pia,Pib,Pic)と表現する。また、元の画像データにおいて当該基本矩形内の画素値の各色成分の標準偏差σi(σia,σib,σic)を演算する。 Hereinafter, the color component (a, b, c is any color component such as L * a * b * or RGB) in which the representative pixel value P for the i-th basic rectangle is stretched by the three values a, b, c. May be expressed as Pi (Pia, Pib, Pic). Further, the standard deviation σi (σia, σib, σic) of each color component of the pixel value in the basic rectangle is calculated in the original image data.
第2代表色決定部53は、i番目の基本矩形とj(iとjとは互いに等しくないものとする)番目の基本矩形についてのこれらの値、Pi,σi,Pj,σjに基づいて色空間内に形成される2つの所定幾何形状を生成し、この2つの幾何形状が色空間上で交差しているか(重なり合う部分があるか)否かによってi番目の基本矩形についての代表画素値と、j番目の基本矩形についての代表画素値が同じ色であるか否かを判断する。この幾何形状の交差の有無が本発明の所定均一色条件に相当する。
The second representative
具体的には、幾何形状として直方体や楕円球を用いることができる。すなわち、直方体(Pia±α×σia,Pib±α×σib,Pic±α×σic)と、(Pja±α×σja,Pjb±α×σjb,Pjc±α×σjc)とが重なり合う場合に、i番目の基本矩形についての代表画素値と、j番目の基本矩形についての代表画素値が同じ色であると判断してもよい。また、Piを中心としてσiの各値を径とする楕円球と、Pjを中心としてσjの各値を径とする楕円球とが重なり合う場合に、i番目の基本矩形についての代表画素値と、j番目の基本矩形についての代表画素値が同じ色であると判断してもよい。 Specifically, a rectangular parallelepiped or an elliptic sphere can be used as the geometric shape. That is, when a rectangular parallelepiped (Pia ± α × σia, Pib ± α × σib, Pic ± α × σic) and (Pja ± α × σja, Pjb ± α × σjb, Pjc ± α × σjc) overlap, i It may be determined that the representative pixel value for the th basic rectangle and the representative pixel value for the j th basic rectangle are the same color. In addition, when an elliptical sphere having a diameter of each value of σi centered on Pi and an elliptical sphere having a diameter of each value of σj centered on Pj, a representative pixel value for the i-th basic rectangle, It may be determined that the representative pixel values for the jth basic rectangle are the same color.
さらに、標準偏差を演算する際に、色成分(a,b,c)に代えて、広く知られた主成分分析によって得られる3つの軸(a′,b′,c′)を各成分として、これらの軸方向の標準偏差を演算し、直方体(Pia′±α×σia′,Pib′±α×σib′,Pic′±α×σic′)と、(Pja′±α×σja′,Pjb′±α×σjb′,Pjc′±α×σjc′)とが重なり合う場合に、i番目の基本矩形についての代表画素値と、j番目の基本矩形についての代表画素値が同じ色であると判断してもよい。 Furthermore, when calculating the standard deviation, instead of the color components (a, b, c), three axes (a ′, b ′, c ′) obtained by widely known principal component analysis are used as the respective components. These standard deviations in the axial direction are calculated, and a rectangular parallelepiped (Pia ′ ± α × σia ′, Pib ′ ± α × σib ′, Pic ′ ± α × σic ′) and (Pja ′ ± α × σja ′, Pjb) ′ ± α × σjb ′, Pjc ′ ± α × σjc ′), the representative pixel value for the i-th basic rectangle and the representative pixel value for the j-th basic rectangle are determined to be the same color. May be.
これらにおいてαは、均一色との判定のされ易さを表すパラメータであり、例えば比較の対照となる基本矩形間の距離に応じて変化させてもよい(例えば隣接する基本矩形においてはαの値を大きくして、均一色と判定のされ易くするなど)し、予め定めた一定値としてもよい。 In these, α is a parameter indicating the ease of determination as a uniform color, and may be changed according to the distance between the basic rectangles to be compared, for example (for example, the value of α in the adjacent basic rectangles). Or the like to make it easy to determine that the color is uniform), or a predetermined constant value.
第2代表色決定部53は、注目行矩形内から取り出した2つの基本矩形の組み合せについて、上記処理によって互いに均一の色であると判断される基本矩形群を少なくとも一つ特定する。そして、特定した基本矩形群ごとに、それらの基本矩形群に含まれる画素を抽出して当該抽出した画素からなる色別行領域を生成する。これにより、行矩形内の画素であって、一つの代表値に関連づけられる画素ごとに、当該代表値と当該画素を再現する情報とを関連づけた情報を含む色別行領域情報が生成され、注目行矩形の識別子に関連づけて記憶部12に格納される。
The second representative
限定色化部54は、記憶部12に格納されている色別行領域情報ごとに、各色別行領域内の画素値をN色以下に限定色化して各画素値を設定する。
For each color-specific row area information stored in the
次に、図11を参照しながら、同一色領域分離部25の動作を説明する。ここでは具体的に図11(a)に示すような2行に配列された文字領域であって、各行の先頭にグラデーションがかけられた円が含まれ、文字の一部に赤色文字(破線で仮想的に囲んだ部分)が含まれるものとする。図11(a)では、各行について行矩形が画定されている状態が示されている。
Next, the operation of the same color
色数判定部51は、各文字についての色数を判定する。グラデーションがかけられた円については、複数色が含まれると判定され、他の文字部分については、黒又は赤色の一色と判定される。第1代表色決定部52は、グラデーションがかけられた円については処理対象から除外し、黒色文字については黒色の代表色を決定し、赤色文字については赤色の代表色を決定する。なお、この第1代表色決定部52の決定する代表色は、例えば同じ黒色と決定される色であっても、画素値自体は異なっていてもよい。
The color
第2代表色決定部53は、各行矩形内で、黒色と決定された文字についての基本矩形について、これらの基本矩形内の画素(黒画素)を含んでなる色別行矩形(図11(b)の(イ),(ハ))と、赤色と決定された文字についての基本矩形について、これらの基本矩形内の画素(赤画素)を含んでなる色別行矩形(図11(b)の(ロ),(ニ))を生成する。
In each row rectangle, the second representative
そして限定色化部54が、各色別行矩形について当該色別行矩形内の画素値に基づいてN色(第1代表色決定部52が用いる色数Nと同一の値)以下の限定色を定める。例えば黒画素を含んでなる色別行矩形については黒色に相当する一つの画素値を限定色として定め、赤画素を含んでなる色別行矩形については赤色に相当する一つの画素値を限定色として定める。また、各色別行矩形内の画素のうち限定色として定められる画素を黒色画素とし、それ以外の画素を白色画素として二値化しておく。これにより、画像データのうち、基本領域内の画素値が限定色化された状態となる。
Then, the
また、色別行矩形内の二値化画像をラスタスキャン順に走査しながら、この二値化画像に対してMMR(Modified Modified Read)などのランレングス圧縮を行って、文字線画圧縮データを生成する。そして同一色領域分離部25は、行矩形の識別子と、当該行矩形に含まれる画素によって得られた色別行矩形とを関連づけ、さらに各色別行矩形とそれについて定めた限定色の情報とを関連づけて、文字線画プレーンデータとして記憶部12に格納する。また、この限定色の情報は、画素値そのものではなく、各画素値を表す識別子の情報(以下、カラータグと呼ぶ)として保持してもよい。
In addition, while the binarized image in the color-specific row rectangle is scanned in the raster scan order, the binarized image is subjected to run-length compression such as MMR (Modified Modified Read) to generate character / line image compression data. . The same color
なお、基本矩形内の画素値がばらついている場合に配慮して、第1代表色決定部52は、平滑化処理を行ってから代表画素値を決定してもよい。ここで平滑化処理としては、各基本矩形内の各画素を順次注目画素として特定し、注目画素の値とそれに隣接する画素の値との平均値を注目画素の値とする処理などがある。
In consideration of the case where pixel values in the basic rectangle vary, the first representative
さらにこの平滑化処理の際に、基本矩形内で文字を構成する画素(例えば二値化処理により黒画素となる部分)のみを注目画素として選択してもよい。また平滑化の処理において、平均値を演算する際は当該文字を構成する画素の値のみを参照して平均値を演算することとしてもよい。これにより、文字以外の部分の画素値を参照することにより、文字の代表色が背景色に影響されることが防止される。 Furthermore, at the time of this smoothing process, only the pixels constituting the character in the basic rectangle (for example, the portion that becomes a black pixel by the binarization process) may be selected as the target pixel. In the smoothing process, when calculating the average value, the average value may be calculated with reference to only the values of the pixels constituting the character. This prevents the representative color of the character from being influenced by the background color by referring to the pixel value of the portion other than the character.
ここで平滑化処理してから決定した代表値について補正を行ってもよい。すなわち、本実施の形態の同一色領域分離部25は、決定した代表値の候補についてその輝度を補正して、補正後の値を代表値として決定する。ここで輝度の補正は、例えば図12に示すようなトーンカーブ(補正関数)を用いて補正することができる。この図12に示すトーンカーブは、入力値(補正前の代表値候補の輝度)が最小値MINから第1しきい値TH1までに対する出力値(補正後の値、つまり代表値として決定される値の輝度)が最小値MINであり、第2しきい値TH2(ただしTH2>TH1)から、最大値MAXまでに対する出力値が最大値MAXであるように設定されている。また、このトーンカーブは、入力値が最大値MAXと最小値MINとの間の中央の値MID(例えば最大値が「255」であり最小値が「0」であるときにはMIDは「128」となる)であるときに、これに対する出力値が略MIDとなるように設定されてもよい。
Here, the representative value determined after the smoothing process may be corrected. That is, the same color
つまり同一色領域分離部25は、代表値の候補(本実施の形態ではYCbCrで表されることとしている)の輝度成分(Y)について、図12のトーンカーブによる補正を行って、代表値の輝度(Y′)を決定し、このY′と、代表値の候補の色差成分Cb,Crとによって特定される値を代表値として決定する。
That is, the same color
なお、代表値候補がRGBなど、輝度成分を含まない色空間で表現されている場合は、L*a*b*や、YCbCrなど、輝度成分を含む色空間の値に変換してから上記処理を行うこととすればよい。 If the representative value candidate is expressed in a color space that does not include a luminance component, such as RGB, the above processing is performed after conversion to a value in a color space that includes a luminance component such as L * a * b * or YCbCr. Should be done.
さらに、ここでは輝度のみを補正したが、色差成分についても補正を行ってもよい。具体的に同一色領域分離部25は、代表値候補の各色差成分が所定の条件を満足しているときに、当該代表色候補値の輝度成分値に関する階調数を低減する補正を行い、当該補正後の値を代表値として決定してもよい。
Further, although only the luminance is corrected here, the color difference component may also be corrected. Specifically, the same color
具体的には、図13に示すように、L*a*bの色空間で表現された代表値候補の色差成分(a*、b*)が、それぞれ対応する色差成分の値域の中心値からの所定範囲内(図13のTHa,THbで画定される円の内部)にあるとの条件を満足している場合に、例えば256階調で表現された輝度成分Lを4階調または8階調など所定階調に低減する。この場合、色差成分の値を上記中心値に設定してもよい。ここで、各成分ごとの所定範囲THa,THbは、同じ値であってもよいし、異なる値であってもよい。 Specifically, as shown in FIG. 13, the color difference components (a *, b *) of the representative value candidates expressed in the color space of L * a * b are respectively calculated from the center values of the corresponding color difference component value ranges. Of the luminance component L expressed in 256 gradations, for example, in 4 gradations or 8th floor, when the condition of being within the predetermined range (inside the circle defined by THa and THb in FIG. 13) is satisfied. It is reduced to a predetermined gradation such as a tone. In this case, the value of the color difference component may be set to the center value. Here, the predetermined ranges THa and THb for each component may be the same value or different values.
この処理により、特に文字色がグレー(黒を含む)である場合に、その文字色の本来の色を再現した代表値が設定される。例えば文字色が黒であるときに色差成分と輝度成分とは本来「0」であるが、スキャナの特性や、元の画像データのエンコード形式(例えばJPEGなど)の特性によっては、色差成分が「0」でなくなってしまったり、輝度成分が「0」でなくなってしまう場合がある。そこでここで示した色差成分に関する処理を行うことで、代表値を本来の黒色とすることができるようになる。 By this processing, when the character color is gray (including black), a representative value that reproduces the original color of the character color is set. For example, when the character color is black, the color difference component and the luminance component are originally “0”. However, depending on the characteristics of the scanner and the encoding format of the original image data (for example, JPEG), the color difference component may be “ In some cases, the luminance component is not “0” or the luminance component is not “0”. Therefore, by performing the processing relating to the color difference component shown here, the representative value can be set to the original black color.
このように本実施の形態によれば、処理対象となった画像データ内に画定される注目画像領域としての基本矩形や行矩形内の画素値に基づいて当該注目画像領域の代表色候補を決定し、その輝度を補正して、代表色を決定することとしている。 As described above, according to the present embodiment, the representative color candidate of the target image area is determined based on the pixel values in the basic rectangle or the row rectangle as the target image area defined in the image data to be processed. Then, the luminance is corrected to determine the representative color.
なお、ここでは平滑化処理を行った後で、補正処理を行って代表値を決定しているが、この処理順序を逆にして各画素について上記補正処理を行った後で、各画素値の平滑化処理を行ってヒストグラムを演算し、代表値を決定してもよい。なお、ここでは文字の場合を説明したが、線画についても同様の処理が行われることとなる。 Here, after performing the smoothing process, the correction process is performed to determine the representative value. However, after performing the above correction process for each pixel by reversing the process order, A representative value may be determined by performing a smoothing process and calculating a histogram. Although the case of characters has been described here, the same processing is performed for line drawings.
こうした平滑化と補正の処理によって、本実施の形態においては、文字や線画を構成する画素値にばらつきがあっても、当該ばらつきの影響を軽減して、元の画像データの色と違和感のない代表色を決定することができる。 With this smoothing and correction process, in this embodiment, even if there is a variation in the pixel values that make up a character or line drawing, the influence of the variation is reduced and there is no sense of incongruity with the color of the original image data. A representative color can be determined.
さらに、ここまでの説明では行矩形ごと、かつ代表色ごとに限定色化処理を行っているが、色別行矩形ごとに定められた限定色について、さらに上記第2代表色決定部53におけるのと同様の処理によって互いに均一色と判断される限定色に関連づけられている色別行矩形内の画素を抽出し、当該抽出した画素を含み、文字線画部分を画定する矩形と同一サイズの矩形を、色別文字線画部分データとして生成して、これについてさらに限定色を定めてもよい。すなわち、第2代表色決定部53と限定色化部54との間に、第3代表色決定部を設け、行単位で決定した代表色を用いて、文字線画部分の矩形を単位として代表色を再決定するようにしても構わない。
Further, in the above description, the limited colorization process is performed for each row rectangle and for each representative color. However, the limited color determined for each row rectangle for each color is further processed in the second representative
また、色別行矩形を生成する代りに、第2代表色決定部53が直接、一つの文字線画部分に含まれる基本矩形であって、互いに均一色と判断される代表画素値に関連づけられている基本矩形内の画素を抽出し、当該抽出した画素を含み、文字線画部分を画定する矩形と同一サイズの矩形を、色別文字線画部分データとして生成して、これについて限定色を定めてもよい。
Further, instead of generating the line-by-color rectangle, the second representative
これら色別文字線画部分データを生成する場合は、当該色別文字線画部分データの元となった文字線画部分の識別子と、それぞれ限定色を特定する情報に関連づけられた色別文字線画部分データ(内部の画素値は二値化し、MMR符号化してもよい)とを、文字線画プレーンデータとして生成することになる。 When generating these color-specific character / line drawing part data, the character / line drawing part data (color-specific character / line drawing part data) associated with the identifier of the character / line drawing part that is the source of the color-specific character / line drawing part data and the information for specifying the limited color, respectively. The internal pixel value may be binarized and may be MMR encoded) as character / line drawing plane data.
[6.穴埋処理部]
穴埋処理部26は、元の画像データのうち、絵柄候補領域に相当する領域を抽出し、この領域内からレイアウト処理部24の処理で検出された文字の画素(文字を構成する画素)を除去して、絵柄部分画像データを生成する。
[6. Hole filling section]
The hole-filling
そして、この絵柄部分画像データの各画素をラスタスキャン順に走査し、走査により選択される注目画素が除去された画素でなければ、当該注目画素の画素値をそのままとするとともに、当該注目画素の画素値を直前画素値として記憶部12のワークメモリに記憶する。なお、既に他の画素値が直前画素値として記憶されている場合は、その記憶内容に上書きする。
Then, each pixel of the pattern partial image data is scanned in the raster scan order, and if the pixel of interest selected by the scanning is not removed, the pixel value of the pixel of interest remains as it is and the pixel of the pixel of interest The value is stored in the work memory of the
また、走査により選択される注目画素が除去された画素である場合、当該注目画素の画素値を、記憶している直前画素値に設定する。これにより除去された部分の画素値が、ラスタスキャン順に直前画素値と同一になり、多くの圧縮処理において圧縮効率を向上させることができるようになる。 If the pixel of interest selected by scanning is a removed pixel, the pixel value of the pixel of interest is set to the immediately preceding pixel value stored. As a result, the pixel value of the removed portion becomes the same as the previous pixel value in the raster scan order, and the compression efficiency can be improved in many compression processes.
そしてこの処理を行った後の絵柄部分画像データを絵柄プレーンデータとして記憶部12に格納する。
Then, the pattern partial image data after this processing is performed is stored in the
[7.圧縮処理部]
圧縮処理部27は、記憶部12に格納されている絵柄プレーンデータを、JPEG圧縮し、圧縮絵柄プレーンデータを生成する。また、この圧縮処理部27は、記憶部12に格納されている文字線画プレーンデータと、この圧縮絵柄プレーンデータとを連結して一連のデータを生成する。
[7. Compression processing unit]
The
具体的にこの一連のデータとしては、PDF(Portable Document Format)データとすることができる。すなわち、圧縮絵柄プレーンデータを伸長して生成したビットマップ(絵柄プレーンデータのビットマップ)を生成させる指示と、当該絵柄プレーンデータのビットマップ上に文字線画プレーンデータに含まれる各文字や線画を描画させる指示とを含むPDFデータとする。 Specifically, the series of data can be PDF (Portable Document Format) data. That is, an instruction to generate a bitmap generated by decompressing the compressed picture plane data (a bitmap of the picture plane data), and each character or line drawing included in the character / line drawing plane data is drawn on the bitmap of the picture plane data. PDF data including an instruction to be executed.
ここで文字線画プレーンデータに含まれる各文字や線画を描画させる指示は、文字線画圧縮データと、これに関連する代表色の情報と基本矩形等の座標情報との組を一つずつ読み出し、それぞれの組について、文字線画圧縮データを伸長して二値化画像を生成し、この二値化画像の黒画素の色を代表色に設定し、絵柄プレーンデータのビットマップ上において、上記基本矩形等の座標情報として設定された位置に透過合成する指示である。ここで透過合成とは、二値化画像のうち黒画素(代表色に設定された画素)以外の画素については上書きせず、代表色に設定された画素のみを上書きすることをいう。 Here, the instruction to draw each character or line drawing included in the character line drawing plane data is to read out the character line drawing compressed data, the representative color information related to this and the coordinate information such as the basic rectangle one by one, For the set of the above, the character line drawing compressed data is expanded to generate a binarized image, the color of the black pixel of the binarized image is set as the representative color, and the basic rectangle etc. on the bitmap of the picture plane data This is an instruction for transparent composition at the position set as the coordinate information. Here, “transparent composition” means that pixels other than black pixels (pixels set as representative colors) in the binarized image are not overwritten, but only pixels set as representative colors are overwritten.
圧縮処理部27は、この生成したPDFデータを記憶部12に格納し、または画像出力部14にこのPDFデータを出力して、外部の装置に送出させる。
The
[動作]
本実施の形態の画像処理装置は、上述の構成を有しているので、次のように動作する。ここでは図14(a)に示すような文字部分(T1,T2)と、写真部分(P)と、線画部分としての地図部分(M)とを含むドキュメントが画像入力部13から入力され、このドキュメントの画像データを処理対象とする場合を例として説明する。この図14(a)の例においては写真部分(P)内に文字部分の一部(T2)が重ね合わせられている。また地図部分(M)には、道路線図と文字とが入組んでいる。なお、ここでは便宜的に白黒で示しているが、実際には地図部分の道路線図と文字とは互いに異なる色で表され、写真はカラーで構わない。
[Operation]
Since the image processing apparatus according to the present embodiment has the above-described configuration, it operates as follows. Here, a document including a character part (T1, T2) as shown in FIG. 14A, a photograph part (P), and a map part (M) as a line drawing part is input from the
前処理部21は、この画像データの画素値を所定色空間(YCbCr)の値に変換する。絵柄候補部分特定処理部22は、この画像データ(元の画像データ)を二値化処理し、その小領域を除去して文字部分(T1)や線図(M)を除去した画像データを生成する(図14(b))。このとき、文字や道路線図のほとんどが除去されるが(部分的に残存しても構わない)、写真部分に重ね合わせられた文字は、そのまま絵柄候補部分として特定された状態となる。
The preprocessing unit 21 converts the pixel value of the image data into a value of a predetermined color space (YCbCr). The pattern candidate portion specifying
文字線画抽出処理部23は、元の画像データを二値化し、小領域部分を特定するなどの方法で文字線画部分を抽出する。この際において、元の画像データを複数の領域に分割し、分割して得られた各領域ごとに二値化のしきい値を適応的に定める方法(特許文献3に開示の方法など)によって二値化を行うことで、地図等着色された部分からも文字の抽出を可能としている(図14(c))。
The character / line drawing
レイアウト処理部24は、絵柄候補部分内でレイアウト解析処理を行い、絵柄候補部分内に残存する文字部分(T2)を抽出する。同一色領域分離部25は、文字線画抽出処理部23やレイアウト処理部24で抽出された文字部分や線図部分について、その代表色を定める。本実施の形態において特徴的なことの一つは、ここで文字部分の代表色が、個々の文字から段階的に、行矩形を経て文字部分全体へとレイアウト解析処理において得られた領域の包含関係に従って定められ、代表色別に矩形内の画素を再現する情報(ビットマップそのものや、ビットマップの圧縮結果など)が生成されることである。
The
すなわち、本実施の形態では、制御部11は、個々の文字と判断される複数の画素塊を含む領域(少なくとも文字部分(T1,T2)に相当する領域)を画定する情報がレイアウト解析処理によって生成され、当該生成された領域を画定する情報の一つに関連づけられ、当該領域に含まれる画素のうち、その値が一つの代表値に関連づけられる画素ごとに、当該代表値と当該画素を再現する情報とを関連づけた情報を含む色別領域情報とを含んでなるデータが文字線画プレーンデータとして生成される。またこの際に、所定数以上の複数の色からなる文字部分(例えばグラデーションが付された文字など)については限定色化処理が行われず、例えば文字部分からも排除されて、後に絵柄領域として扱われるように設定する。なお線画部分(M)については、その領域を画定する座標情報を別途生成してもよい。
In other words, in the present embodiment, the
穴埋処理部26は、絵柄候補部分から、それに内在していた文字部分(T2)を除去した画像データを生成する(図14(d))。なお、本来は文字部分T2の文字形状通りに白抜きとなるのであるが、図14(d)では図面を見やすくするため当該文字形状を含む矩形部分を白抜きにして図示している。また、図14(d)、(e)は絵柄画像部分のみを図示している。そして穴埋処理部26が当該除去された画素の値を、スキャンライン順で最近傍の画素値(除去されていない画素値)に設定して(図14(e))、絵柄プレーンデータを生成する。
The
圧縮処理部27は、絵柄プレーンデータについてJPEG圧縮を行い、文字線画プレーンデータと組み合せてPDFデータを生成し、これを画像出力部14に出力する。画像出力部14は、このPDFデータを外部の装置に出力する。
The
ここで圧縮処理部27は、絵柄プレーンデータについてJPEG圧縮の前に画像のサイズを縮小する処理(縮小処理)を行って圧縮率をより向上させることとしてもよい。
Here, the
11 制御部、12 記憶部、13 画像入力部、14 画像出力部、21 前処理部、22 絵柄候補部分特定処理部、23 文字線画抽出処理部、24 レイアウト処理部、25 同一色領域分離部、26 穴埋処理部、27 圧縮処理部、31,41 二値化処理部、32,42 連結画素抽出部、33 特徴量算出部、34 属性判定部、35 非絵柄領域処理部、36 背景領域塗潰部、37 絵柄候補領域作成部、38 膨張収縮部、43 基本矩形画定部、44 第1セパレータ検出部、45 行矩形画定部、46 第2セパレータ検出部、47 文字領域画定部、48 ノイズ判定部、49 文字部分特定部、51 色数判定部、52 第1代表色決定部、53 第2代表色決定部、54 限定色化部。
DESCRIPTION OF
Claims (4)
前記画定された基本領域ごとに当該基本領域に含まれる色数を判定する色数判定手段と、
判定した色数が所定数N以下である基本領域を処理対象基本領域として選択する対象選択手段と、
前記処理対象基本領域について、当該領域内の画素値に基づいて少なくとも1つの代表画素値を決定する代表値決定手段と、
前記基本領域の水平又は垂直方向の配列を含む行領域を画定する手段と、
前記行領域ごとに、当該行領域に含まれ、決定された代表画素値が互いに所定均一色条件を満足する処理対象基本領域について、当該処理対象基本領域内の画素を抽出して、当該抽出した画素からなる色別行領域を生成する手段と、
を含み、
各色別行領域ごとに、当該色別行領域内の画素値をN色以下に限定色化することで、前記画像データのうち、当該処理対象基本領域内の画素値を限定色化することを特徴とする画像処理装置。 Means for demarcating a basic region including a pixel block determined as an individual character from at least a part of image data to be processed;
Color number determination means for determining the number of colors included in the basic area for each defined basic area;
Object selection means for selecting a basic area whose number of determined colors is a predetermined number N or less as a processing target basic area;
Representative value determining means for determining at least one representative pixel value based on a pixel value in the processing target basic region;
Means for defining a row region comprising a horizontal or vertical array of said base regions;
For each of the row regions, for the processing target basic regions that are included in the row region and whose determined representative pixel values satisfy the predetermined uniform color condition, pixels in the processing target basic region are extracted and extracted. Means for generating a line-by-color area composed of pixels;
Including
For each color-specific row region, by limiting the pixel values in the color-specific row region to N colors or less, the pixel values in the processing target basic region of the image data are limited in color. A featured image processing apparatus.
前記画定された基本領域ごとに当該基本領域に含まれる色数を判定する色数判定手段と、 Color number determination means for determining the number of colors included in the basic area for each defined basic area;
判定した色数が所定数N以下である基本領域を処理対象基本領域として選択する対象選択手段と、 Object selection means for selecting a basic area whose number of determined colors is a predetermined number N or less as a processing target basic area;
前記処理対象基本領域について、当該領域内の画素値に基づいて少なくとも1つの代表画素値を決定する代表値決定手段と、 Representative value determining means for determining at least one representative pixel value based on a pixel value in the processing target basic region;
複数の前記基本領域を含む文字領域を画定する手段と、 Means for defining a character region including a plurality of the basic regions;
前記文字領域について、同一の代表画素値が決定された処理対象基本領域内の画素を抽出して、当該抽出した画素からなる色別文字領域を生成する手段をさらに含み、 The character area further includes means for extracting a pixel in the processing target basic area for which the same representative pixel value is determined, and generating a color-specific character area including the extracted pixel,
各色別文字領域ごとに、当該色別文字領域内の画素値をN色以下に限定色化することで、前記画像データのうち、当該処理対象基本領域内の画素値を限定色化することを特徴とする画像処理装置。 For each character region for each color, by limiting the pixel values in the character region for each color to N colors or less, the pixel values in the processing target basic region in the image data are limited in color. A featured image processing apparatus.
処理対象となった画像データの少なくとも一部から個々の文字と判断される画素塊を含む基本領域を画定する手段と、 Means for demarcating a basic region including a pixel block determined as an individual character from at least a part of image data to be processed;
前記画定された基本領域ごとに当該基本領域に含まれる色数を判定する色数判定手段と、 Color number determination means for determining the number of colors included in the basic area for each defined basic area;
判定した色数が所定数N以下である基本領域を処理対象基本領域として選択する対象選択手段と、 Object selection means for selecting a basic area whose number of determined colors is a predetermined number N or less as a processing target basic area;
前記処理対象基本領域について、当該領域内の画素値に基づいて少なくとも1つの代表画素値を決定する代表値決定手段と、 Representative value determining means for determining at least one representative pixel value based on a pixel value in the processing target basic region;
前記基本領域の水平又は垂直方向の配列を含む行領域を画定する手段と、 Means for defining a row region comprising a horizontal or vertical arrangement of said base regions;
前記行領域ごとに、当該行領域に含まれ、決定された代表画素値が互いに所定均一色条件を満足する処理対象基本領域について、当該処理対象基本領域内の画素を抽出して、当該抽出した画素からなる色別行領域を生成する手段と、 For each of the row regions, for the processing target basic regions that are included in the row region and whose determined representative pixel values satisfy the predetermined uniform color condition, pixels in the processing target basic region are extracted and extracted. Means for generating a line-by-color area composed of pixels;
として機能させ、 Function as
コンピュータに、各色別行領域ごとに、当該色別行領域内の画素値をN色以下に限定色化させることで、前記画像データのうち、当該処理対象基本領域内の画素値を限定色化させることを特徴とするプログラム。 For each color-specific row area, the computer limits the pixel values in the color-specific row area to N colors or less, thereby limiting the pixel values in the processing target basic area in the image data. A program characterized by letting
処理対象となった画像データの少なくとも一部から個々の文字と判断される画素塊を含む基本領域を画定する手段と、 Means for demarcating a basic region including a pixel block determined as an individual character from at least a part of image data to be processed;
前記画定された基本領域ごとに当該基本領域に含まれる色数を判定する色数判定手段と、 Color number determination means for determining the number of colors included in the basic area for each defined basic area;
判定した色数が所定数N以下である基本領域を処理対象基本領域として選択する対象選択手段と、 Object selection means for selecting a basic area whose number of determined colors is a predetermined number N or less as a processing target basic area;
前記処理対象基本領域について、当該領域内の画素値に基づいて少なくとも1つの代表画素値を決定する代表値決定手段と、 Representative value determining means for determining at least one representative pixel value based on a pixel value in the processing target basic region;
複数の前記基本領域を含む文字領域を画定する手段と、 Means for defining a character region including a plurality of the basic regions;
前記文字領域について、同一の代表画素値が決定された処理対象基本領域内の画素を抽出して、当該抽出した画素からなる色別文字領域を生成する手段と、 Means for extracting a pixel in the processing target basic area for which the same representative pixel value is determined for the character area, and generating a color-specific character area including the extracted pixels;
として機能させ、 Function as
コンピュータに、各色別文字領域ごとに、当該色別文字領域内の画素値をN色以下に限定色化させることで、前記画像データのうち、当該処理対象基本領域内の画素値を限定色化させることを特徴とするプログラム。 For each character region for each color, the computer limits the pixel values in the character region for each color to N colors or less, thereby limiting the pixel values in the processing target basic region in the image data. A program characterized by letting
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004043708A JP4329564B2 (en) | 2004-02-19 | 2004-02-19 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004043708A JP4329564B2 (en) | 2004-02-19 | 2004-02-19 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005236697A JP2005236697A (en) | 2005-09-02 |
JP4329564B2 true JP4329564B2 (en) | 2009-09-09 |
Family
ID=35019193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004043708A Expired - Fee Related JP4329564B2 (en) | 2004-02-19 | 2004-02-19 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4329564B2 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3715905B2 (en) * | 2001-06-26 | 2005-11-16 | キヤノン株式会社 | Image processing apparatus, image processing method, program, and storage medium |
JP3899872B2 (en) * | 2001-08-24 | 2007-03-28 | コニカミノルタビジネステクノロジーズ株式会社 | Image processing apparatus, image processing method, image processing program, and computer-readable recording medium recording the same |
-
2004
- 2004-02-19 JP JP2004043708A patent/JP4329564B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005236697A (en) | 2005-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10455117B2 (en) | Image processing apparatus, method, and storage medium | |
US8644602B2 (en) | Colour correcting foreground colours for visual quality improvement | |
US6865290B2 (en) | Method and apparatus for recognizing document image by use of color information | |
US8417029B2 (en) | Image processing apparatus and method, including fill-up processing | |
JP2005150855A (en) | Color image compression method and color image compression apparatus | |
JP3715905B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP5645612B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP4217969B2 (en) | Image processing apparatus and program | |
JP4396331B2 (en) | Image processing device | |
JP6370080B2 (en) | Image processing apparatus, image processing method, and program. | |
JP4035456B2 (en) | Image compression method and image compression apparatus | |
JP5151708B2 (en) | Image processing apparatus and image processing program | |
JP4370950B2 (en) | Image processing device | |
JP4259310B2 (en) | Image processing apparatus and program | |
US20230316697A1 (en) | Association method, association system, and non-transitory computer-readable storage medium | |
JP4182891B2 (en) | Image processing device | |
JP4507656B2 (en) | Image processing device | |
JP4193687B2 (en) | Image processing apparatus and program | |
JP4329564B2 (en) | Image processing device | |
JP4311183B2 (en) | Image processing apparatus and program | |
JP4182873B2 (en) | Image processing apparatus and program | |
JP4228905B2 (en) | Image processing apparatus and program | |
JP4631371B2 (en) | Image processing device | |
JP2005217983A (en) | Image processing device | |
JP2005190010A (en) | Image processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070119 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071112 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081028 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090526 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090608 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140626 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |