JP4059389B2 - 画像処理装置、画像処理プログラムおよび記憶媒体 - Google Patents
画像処理装置、画像処理プログラムおよび記憶媒体 Download PDFInfo
- Publication number
- JP4059389B2 JP4059389B2 JP2002280810A JP2002280810A JP4059389B2 JP 4059389 B2 JP4059389 B2 JP 4059389B2 JP 2002280810 A JP2002280810 A JP 2002280810A JP 2002280810 A JP2002280810 A JP 2002280810A JP 4059389 B2 JP4059389 B2 JP 4059389B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- color
- pixel
- character
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000605 extraction Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000009499 grossing Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理装置、画像処理プログラムおよび記憶媒体に関する。
【0002】
【従来の技術】
例えば、内容の伝達を目的とする印刷文書をスキャナ等の画像入力機器でスキャンして得られる画像(文書画像)を画像出力機器が取り扱う対象とする場合、文書画像の目的も内容の伝達であるため、出力された該文書画像における文章の読み易さを向上させることは、文書画像の出力に際して最重要課題である。
【0003】
しかしながら、カラースキャナ等のカラー画像入力機器を用いて印刷文書を入力することにより得られるデジタル画像をカラープリンタ等のカラー画像出力機器から印刷する場合に、該画像に対して何も画像処理を施さずにそのまま印刷すると、文字と下地の間のコントラストが低かったり、本来黒であるべき黒文字や白であるべき下地に色が付いたりすることによって、文章としての読み易さが低下することがある。
【0004】
これは、画像入力機器と画像出力機器との間で、色や階調の整合性がとれていないためである。画像入力機器や画像出力機器等の画像処理機器がスタンドアロンの場合、画像処理アルゴリズムやパラメータを機器の特性に合わせて設計することが多い。
【0005】
ここで、関連する技術としては、例えば、コピア等に実装され、黒文字に相当する画素を強調する処理(特許2558915号、特開2000−196871公報、特開2000−316097公報、特開2001−078036公報、特開2001−169133公報等)や、中間調領域を特定する処理(特許3158498号、特開2001−036748公報、特開2001−144962公報、特開平11−220631号公報等)に加えて、画素信号値のヒストグラムを基に階調補正する処理(特開2000−013616公報、特開2000−013625公報、特開2000−115538公報、特開2000−242777公報、特開2001−045303公報、特開2001−148785公報、特開2001−167260公報、特開2001−189862公報、特開2001−189863公報、特開2001−197312公報、特開2001−222711公報、特開平10−281470号公報等)を行なうようにした技術がある。このような技術では、画像処理のアルゴリズムやパラメータが、通常、入力機器の色特性、解像度、周波数特性に大きく依存する。
【0006】
【発明が解決しようとする課題】
ところで、近年のネットワーク環境の普及に伴い、画像機器を通して入力された画像がネットワークを介して遠隔地に送信され、受信者が該画像をPC上で編集・再利用・印刷・再送信するという状況が出現している。このようなネットワーク環境では、未知の画像機器を通して入力された画像に対して編集・再利用・印刷・再送信といった処理を行なうため、従来にはなかった新たな技術的課題が考えられる。
【0007】
つまり、ネットワーク環境下では、入出力機器の特性が多様であり、さらに、デジタル画像が遠隔地で入力・送信されてきたような場合には、入力機器が未知のことすらあるが、ある特定の機種に対して最適な画像処理系が、特性が異なる機種に対して効果を発揮するとは限らないため、画像入力機器で入力された画像を画像出力機器で出力する場合に、画像の識別の精度がばらつき、出力画像の品質が低下して、文章としての読み易さが低下してしまうことがある。
【0008】
この対策として、画像処理のアルゴリズムやパラメータを個々の画像処理機器毎に対応させることが考えられるが、画像処理のアルゴリズムやパラメータを多様な特性を持つ画像入力機器および画像出力機器のそれぞれに対応させることは現実的ではない。
【0009】
また、画像入力機器の特性が多様であるため、例えば、飽和度が規定の閾値以下の画素をモノクロと見なすような処理を行なう場合に、この画像処理において「規定の閾値」となるパラメータをハードコーディングするようなことは避けなければならない。
【0010】
加えて、画像入力機器の特性が多様であるため、画像入力機器によって画像識別の精度がばらつくことを想定し、文字領域や中間調領域の識別を行なう場合に誤識別が起こっても、出力画像中に目立つような欠陥(defect)を生じさせてはならない。
【0011】
このようなことから、多様な特性を持つ入出力機器で入力された個々の入力画像の文書画像の高画質再出力に対して簡単に適応できることが望まれる。ここで、「簡単に適応できる」とは、例えば、簡単なパラメータ設定をするだけで、多様、さらに、未知の特性をもつ画像機器から入力された画像に対して、満足の行く画質を有する画像を得ることができることである。
【0012】
本発明の目的は、多様な画像入力機器から入力された原画像に対して、出力画像の黒文字色を該原画像に適応させて規定のパラメータを用いることなく容易に補正することである。
【0013】
【課題を解決するための手段】
請求項1記載の発明の画像処理装置は、デジタル画像である原画像に対して、特徴量を計算する特徴量計算手段と、前記特徴量に基づいて、前記原画像から文字領域を抽出する文字領域抽出手段と、前記原画像を重なりのないブロックに分割するブロック分割手段と、前記ブロック毎に前記文字領域に属する画素をその色信号の輝度に応じて第1のクラスと第2のクラスとに分類するクラス分類手段と、前記文字領域に属する画素のクラス分類に基づいて前記原画像上の黒文字色を推定する黒文字色推定手段と、推定された黒文字色に基づいて黒文字の色調を補正する黒文字色調補正手段と、を具備し、前記特徴量計算手段は、各画素の周囲に設定したウィンドウ内での色信号の平均値および標準偏差を計算し、前記文字領域抽出手段は、前記ウィンドウ内での色信号の平均値および標準偏差によって設定される閾値に対する該ウィンドウ内での注目画素の色信号値に基づいて、この注目画素およびこの注目画素の周囲の画素を前記文字領域として抽出する。
【0014】
したがって、例えば、画像入力機器から入力されたデジタル画像である原画像を画像出力機器から出力する際には、原画像の特徴量から計算された値に基づき原画像上から推定される黒文字色に基づいて、規定のパラメータを用いることなく黒文字の色調を補正することができる。これによって、多様な画像入力機器から入力された原画像に対して、出力画像の黒文字色を該原画像に適応させて容易に補正することができる。また、原画像の特徴量から計算された値に基づき原画像上から黒文字色を推定することにより、例えば、ユーザがパラメータを設定する等の作業を行なうことなく出力画像の黒文字色を自動的に補正することができる。
【0016】
また、各画素の周囲に設定されたウィンドウ内での色信号の平均値および標準偏差によって設定される閾値に対する該ウィンドウ内での注目画素の色信号値に基づいてウィンドウ毎に文字領域が抽出されるため、黒文字色を正確に推定することができる。
【0017】
請求項2記載の発明の画像処理装置は、デジタル画像である原画像に対して、特徴量を計算する特徴量計算手段と、前記特徴量に基づいて、前記原画像から文字領域を抽出する文字領域抽出手段と、前記原画像を重なりのないブロックに分割するブロック分割手段と、前記ブロック毎に前記文字領域に属する画素をその色信号の輝度に応じて第1のクラスと第2のクラスとに分類するクラス分類手段と、前記文字領域に属する画素のクラス分類に基づいて前記原画像上の黒文字色を推定する黒文字色推定手段と、推定された黒文字色に基づいて黒文字の色調を補正する黒文字色調補正手段と、を具備し、前記特徴量計算手段は、各画素のエッジ量を計算し、前記文字領域抽出手段は、前記エッジ量が規定閾値以上の画素およびこの画素の周囲の画素を前記文字領域として抽出する。
【0018】
したがって、例えば、画像入力機器から入力されたデジタル画像である原画像を画像出力機器から出力する際には、原画像の特徴量から計算された値に基づき原画像上から推定される黒文字色に基づいて、規定のパラメータを用いることなく黒文字の色調を補正することができる。これによって、多様な画像入力機器から入力された原画像に対して、出力画像の黒文字色を該原画像に適応させて容易に補正することができる。また、原画像の特徴量から計算された値に基づき原画像上から黒文字色を推定することにより、例えば、ユーザがパラメータを設定する等の作業を行なうことなく出力画像の黒文字色を自動的に補正することができる。また、エッジ量が規定閾値以上の画素およびこの画素の周囲の画素が文字領域として抽出されるため、黒文字色を正確に推定することができる。
【0019】
請求項3記載の発明の画像処理装置は、デジタル画像である原画像に対して、特徴量を計算する特徴量計算手段と、前記特徴量に基づいて、前記原画像から文字領域を抽出する文字領域抽出手段と、前記原画像を重なりのないブロックに分割するブロック分割手段と、前記ブロック毎に前記文字領域に属する画素をその色信号の輝度に応じて第1のクラスと第2のクラスとに分類するクラス分類手段と、前記文字領域に属する画素のクラス分類に基づいて前記原画像上の黒文字色を推定する黒文字色推定手段と、推定された黒文字色に基づいて黒文字の色調を補正する黒文字色調補正手段と、を具備し、前記特徴量計算手段は、各画素のエッジ量と各画素の周囲に設定したウィンドウ内での色信号の平均値および標準偏差とを計算し、前記文字領域抽出手段は、前記エッジ量が前記規定閾値以上の画素およびこの画素の周囲の画素と、前記ウィンドウ内での色信号の平均値および標準偏差によって設定される閾値に対する該ウィンドウ内での注目画素の色信号値に基づいて、この注目画素およびこの注目画素の周囲の画素とを前記文字領域として抽出する。
【0020】
したがって、例えば、画像入力機器から入力されたデジタル画像である原画像を画像出力機器から出力する際には、原画像の特徴量から計算された値に基づき原画像上から推定される黒文字色に基づいて、規定のパラメータを用いることなく黒文字の色調を補正することができる。これによって、多様な画像入力機器から入力された原画像に対して、出力画像の黒文字色を該原画像に適応させて容易に補正することができる。また、原画像の特徴量から計算された値に基づき原画像上から黒文字色を推定することにより、例えば、ユーザがパラメータを設定する等の作業を行なうことなく出力画像の黒文字色を自動的に補正することができる。また、エッジ量が規定閾値以上の画素およびこの画素の周囲の画素が文字領域として抽出されるとともに、各画素の周囲に設定されたウィンドウ内での色信号の平均値および標準偏差によって設定される閾値に対する該ウィンドウ内での注目画素の色信号値に基づいてウィンドウ毎に文字領域が抽出されるため、黒文字色をより正確に推定することができる。
【0021】
請求項4記載の発明は、請求項1ないし3のいずれかに記載の画像処理装置において、前記クラス分類手段は、各画素の色信号から計算される輝度に基づいて輝度閾値を取得し、この輝度閾値よりも輝度が低い画素群を前記第1のクラスとし、前記輝度閾値よりも輝度が高い画素群を前記第2のクラスとして分類する。
【0022】
したがって、各画素の色信号から計算される輝度の閾値処理によりクラス分類することができる。
【0023】
請求項5記載の発明は、請求項4記載の画像処理装置において、前記黒文字色推定手段は、前記ブロック毎のクラス分類結果に基づいて、前記第2のクラスに属する画素数が最大になる前記ブロックにおける前記第1のクラスに属する画素群の平均色を黒文字色として推定する。
【0024】
したがって、ブロック毎のクラス分類結果に基づいて、第2のクラスに属する画素数が最大になるブロックにおける第1のクラスに属する画素群の平均色を黒文字色として推定することにより、黒文字色を正確に推定することができる。
【0025】
請求項6記載の発明は、請求項4記載の画像処理装置において、前記黒文字色推定手段は、前記ブロック毎のクラス分類結果に基づいて、前記第1のクラスに属する画素群の平均輝度と前記第2のクラスに属する画素群の平均輝度との差が最大になる前記ブロックにおける前記第1のクラスに属する画素群の平均色を黒文字色として推定する。
【0026】
したがって、第1のクラスに属する画素群の平均輝度と第2のクラスに属する画素群の平均輝度との差が最大になるブロックにおける第1のクラスに属する画素群の平均色を黒文字色として推定することにより、黒文字色を正確に推定することができる。
【0027】
請求項7記載の発明は、請求項4記載の画像処理装置において、前記黒文字色調補正手段は、前記ブロック毎のクラス分類結果に基づいて、前記第2のクラスに属する画素数が最大になる前記ブロックにおける前記第1のクラスに属する画素群の飽和度の平均値および標準偏差に基づき計算される飽和基準値に対する前記各ブロックで前記第1のクラスに属する画素の飽和度に応じて黒文字の色調を補正する。
【0028】
したがって、ブロック毎のクラス分類結果に基づいて、第2のクラスに属する画素数が最大になるブロックにおける第1のクラスに属する画素群の飽和度の平均値および標準偏差に基づき計算される飽和基準値に対する各ブロックで第1のクラスに属する画素の飽和度に応じて、原画像全体に亘る黒文字の色調の補正が一の飽和基準値に基づいて行われるため、黒文字の色調を画像全体に亘って安定化(均一化)することができる。
【0029】
請求項8記載の発明は、請求項4記載の画像処理装置において、前記黒文字色調補正手段は、前記ブロック毎のクラス分類結果に基づいて、前記第1のクラスに属する画素群の平均輝度と前記第2のクラスに属する画素群の平均輝度との差が最大になる前記ブロックにおける前記第1のクラスに属する画素群の飽和度の平均値および標準偏差に基づき計算される飽和基準値に対する前記各ブロックで前記第1のクラスに属する画素の飽和度に応じて黒文字の色調を補正する。
【0030】
したがって、ブロック毎のクラス分類結果に基づいて、第1のクラスに属する画素群の平均輝度と第2のクラスに属する画素群の平均輝度との差が最大になるブロックにおける第1のクラスに属する画素群の飽和度の平均値および標準偏差に基づき計算される飽和基準値に対する各ブロックで第1のクラスに属する画素の飽和度に応じて、原画像全体に亘る黒文字の色調の補正が一の飽和基準値に基づいて行われるため、黒文字の色調を画像全体に亘って安定化(均一化)することができる。
【0031】
請求項9記載の発明は、請求項1ないし8のいずれかに記載の画像処理装置において、前記原画像よりも解像度の低い低解像度画像を生成する低解像度画像生成手段を具備し、前記特徴量計算手段は、前記低解像度画像から特徴量を計算し、前記文字領域抽出手段は、前記低解像度画像から前記文字領域を抽出する。
【0032】
したがって、処理を簡易化することができる。
【0033】
請求項10記載の発明の画像処理プログラムは、コンピュータに解釈され、このコンピュータに、デジタル画像である原画像に対して、特徴量を計算する特徴量計算手段と、前記特徴量に基づいて、前記原画像から文字領域を抽出する文字領域抽出手段と、前記原画像を重なりのないブロックに分割するブロック分割手段と、前記ブロック毎に前記文字領域に属する画素をその色信号の輝度に応じて第1のクラスと第2のクラスとに分類するクラス分類手段と、前記文字領域に属する画素のクラス分類に基づいて前記原画像上の黒文字色を推定する黒文字色推定手段と、推定された黒文字色に基づいて黒文字の色調を補正する黒文字色調補正手段と、を実行させ、前記特徴量計算手段は、各画素の周囲に設定したウィンドウ内での色信号の平均値および標準偏差を計算し、前記文字領域抽出手段は、前記ウィンドウ内での色信号の平均値および標準偏差によって設定される閾値に対する該ウィンドウ内での注目画素の色信号値に基づいて、この注目画素およびこの注目画素の周囲の画素を前記文字領域として抽出する。
【0034】
したがって、例えば、画像入力機器から入力されたデジタル画像である原画像を画像出力機器から出力する際には、原画像の特徴量から計算された値に基づき原画像上から推定される黒文字色に基づいて、規定のパラメータを用いることなく黒文字の色調を補正することができる。これによって、多様な画像入力機器から入力された原画像に対して、出力画像の黒文字色を該原画像に適応させて容易に補正することができる。また、原画像の特徴量から計算された値に基づき原画像上から黒文字色を推定することにより、例えば、ユーザがパラメータを設定する等の作業を行なうことなく出力画像の黒文字色を自動的に補正することができる。
【0036】
また、各画素の周囲に設定されたウィンドウ内での色信号の平均値および標準偏差によって設定される閾値に対する該ウィンドウ内での注目画素の色信号値に基づいてウィンドウ毎に文字領域が抽出されるため、黒文字色を正確に推定することができる。
【0037】
請求項11記載の発明の画像処理プログラムは、コンピュータに解釈され、このコンピュータに、デジタル画像である原画像に対して、特徴量を計算する特徴量計算手段と、前記特徴量に基づいて、前記原画像から文字領域を抽出する文字領域抽出手段と、前記原画像を重なりのないブロックに分割するブロック分割手段と、前記ブロック毎に前記文字領域に属する画素をその色信号の輝度に応じて第1のクラスと第2のクラスとに分類するクラス分類手段と、前記文字領域に属する画素のクラス分類に基づいて前記原画像上の黒文字色を推定する黒文字色推定手段と、推定された黒文字色に基づいて黒文字の色調を補正する黒文字色調補正手段と、を実行させ、前記特徴量計算手段は、各画素のエッジ量を計算し、前記文字領域抽出手段は、前記エッジ量が規定閾値以上の画素およびこの画素の周囲の画素を前記文字領域として抽出する。
【0038】
したがって、例えば、画像入力機器から入力されたデジタル画像である原画像を画像出力機器から出力する際には、原画像の特徴量から計算された値に基づき原画像上から推定される黒文字色に基づいて、規定のパラメータを用いることなく黒文字の色調を補正することができる。これによって、多様な画像入力機器から入力された原画像に対して、出力画像の黒文字色を該原画像に適応させて容易に補正することができる。また、原画像の特徴量から計算された値に基づき原画像上から黒文字色を推定することにより、例えば、ユーザがパラメータを設定する等の作業を行なうことなく出力画像の黒文字色を自動的に補正することができる。また、エッジ量が規定閾値以上の画素およびこの画素の周囲の画素が文字領域として抽出されるため、黒文字色を正確に推定することができる。
【0039】
請求項12記載の発明の画像処理プログラムは、コンピュータに解釈され、このコンピュータに、デジタル画像である原画像に対して、特徴量を計算する特徴量計算手段と、前記特徴量に基づいて、前記原画像から文字領域を抽出する文字領域抽出手段と、前記原画像を重なりのないブロックに分割するブロック分割手段と、前記ブロック毎に前記文字領域に属する画素をその色信号の輝度に応じて第1のクラスと第2のクラスとに分類するクラス分類手段と、前記文字領域に属する画素のクラス分類に基づいて前記原画像上の黒文字色を推定する黒文字色推定手段と、推定された黒文字色に基づいて黒文字の色調を補正する黒文字色調補正手段と、を実行させ、前記特徴量計算手段は、各画素のエッジ量と各画素の周囲に設定したウィンドウ内での色信号の平均値および標準偏差とを計算し、前記文字領域抽出手段は、前記エッジ量が前記規定閾値以上の画素およびこの画素の周囲の画素と、前記ウィンドウ内での色信号の平均値および標準偏差によって設定される閾値に対する該ウィンドウ内での注目画素の色信号値に基づいて、この注目画素およびこの注目画素の周囲の画素とを前記文字領域として抽出する。
【0040】
したがって、例えば、画像入力機器から入力されたデジタル画像である原画像を画像出力機器から出力する際には、原画像の特徴量から計算された値に基づき原画像上から推定される黒文字色に基づいて、規定のパラメータを用いることなく黒文字の色調を補正することができる。これによって、多様な画像入力機器から入力された原画像に対して、出力画像の黒文字色を該原画像に適応させて容易に補正することができる。また、原画像の特徴量から計算された値に基づき原画像上から黒文字色を推定することにより、例えば、ユーザがパラメータを設定する等の作業を行なうことなく出力画像の黒文字色を自動的に補正することができる。また、エッジ量が規定閾値以上の画素およびこの画素の周囲の画素が文字領域として抽出されるとともに、各画素の周囲に設定されたウィンドウ内での色信号の平均値および標準偏差によって設定される閾値に対する該ウィンドウ内での注目画素の色信号値に基づいてウィンドウ毎に文字領域が抽出されるため、黒文字色をより正確に推定することができる。
【0041】
請求項13記載の発明は、請求項10ないし12のいずれかに記載の画像処理プログラムにおいて、前記クラス分類手段は、各画素の色信号から計算される輝度に基づいて輝度閾値を取得し、この輝度閾値よりも輝度が低い画素群を前記第1のクラスとし、前記輝度閾値よりも輝度が高い画素群を前記第2のクラスとして分類する。
【0042】
したがって、各画素の色信号から計算される輝度の閾値処理によりクラス分類することができる。
【0043】
請求項14記載の発明は、請求項13記載の画像処理プログラムにおいて、前記黒文字色推定手段は、前記ブロック毎のクラス分類結果に基づいて、前記第2のクラスに属する画素数が最大になる前記ブロックにおける前記第1のクラスに属する画素群の平均色を黒文字色として推定する。
【0044】
したがって、ブロック毎のクラス分類結果に基づいて、第2のクラスに属する画素数が最大になるブロックにおける第1のクラスに属する画素群の平均色を黒文字色として推定することにより、黒文字色を正確に推定することができる。
【0045】
請求項15記載の発明は、請求項13記載の画像処理プログラムにおいて、前記黒文字色推定手段は、前記ブロック毎のクラス分類結果に基づいて、前記第1のクラスに属する画素群の平均輝度と前記第2のクラスに属する画素群の平均輝度との差が最大になる前記ブロックにおける前記第1のクラスに属する画素群の平均色を黒文字色として推定する。
【0046】
したがって、第1のクラスに属する画素群の平均輝度と第2のクラスに属する画素群の平均輝度との差が最大になるブロックにおける第1のクラスに属する画素群の平均色を黒文字色として推定することにより、黒文字色を正確に推定することができる。
【0047】
請求項16記載の発明は、請求項13記載の画像処理プログラムにおいて、前記黒文字色調補正手段は、前記ブロック毎のクラス分類結果に基づいて、前記第2のクラスに属する画素数が最大になる前記ブロックにおける前記第1のクラスに属する画素群の飽和度の平均値および標準偏差に基づき計算される飽和基準値に対する前記各ブロックで前記第1のクラスに属する画素の飽和度に応じて黒文字の色調を補正する。
【0048】
したがって、ブロック毎のクラス分類結果に基づいて、第2のクラスに属する画素数が最大になるブロックにおける第1のクラスに属する画素群の飽和度の平均値および標準偏差に基づき計算される飽和基準値に対する各ブロックで第1のクラスに属する画素の飽和度に応じて、原画像全体に亘る黒文字の色調の補正が一の飽和基準値に基づいて行われるため、黒文字の色調を画像全体に亘って安定化(均一化)することができる。
【0049】
請求項17記載の発明は、請求項13記載の画像処理プログラムにおいて、前記黒文字色調補正手段は、前記ブロック毎のクラス分類結果に基づいて、前記第1のクラスに属する画素群の平均輝度と前記第2のクラスに属する画素群の平均輝度との差が最大になる前記ブロックにおける前記第1のクラスに属する画素群の飽和度の平均値および標準偏差に基づき計算される飽和基準値に対する前記各ブロックで前記第1のクラスに属する画素の飽和度に応じて黒文字の色調を補正する。
【0050】
したがって、ブロック毎のクラス分類結果に基づいて、第1のクラスに属する画素群の平均輝度と第2のクラスに属する画素群の平均輝度との差が最大になるブロックにおける第1のクラスに属する画素群の飽和度の平均値および標準偏差に基づき計算される飽和基準値に対する各ブロックで第1のクラスに属する画素の飽和度に応じて、原画像全体に亘る黒文字の色調の補正が一の飽和基準値に基づいて行われるため、黒文字の色調を画像全体に亘って安定化(均一化)することができる。
【0051】
請求項18記載の発明は、請求項10ないし17のいずれかに記載の画像処理プログラムにおいて、前記原画像よりも解像度の低い低解像度画像を生成する低解像度画像生成手段を具備し、前記特徴量計算手段は、前記解像度画像から特徴量を計算し、前記文字領域抽出手段は、前記解像度画像から前記文字領域を抽出する。
【0052】
したがって、処理を簡易化することができる。
【0053】
請求項19記載の発明の記憶媒体は、請求項10ないし18のいずれかに記載の画像処理プログラムを記憶し、機械読み取り可能である。
【0054】
したがって、請求項10ないし18のいずれかに記載の発明の作用を奏することが可能になる。
【0055】
【発明の実施の形態】
本発明の第1の実施の形態について図1ないし図8を参照して説明する。
【0056】
図1は、本実施の形態のシステム構築例を示す模式図である。図1に示すように、本実施の形態のシステムでは、サーバコンピュータ101にLAN等のネットワーク201を介して画像処理装置としてのパーソナルコンピュータ301が複数台接続されたサーバクライアントシステム11を想定している。
【0057】
このサーバクライアントシステム11は、スキャナやデジタルカメラ等の画像入力機器401、および、プリンタ等の画像出力機器501をネットワーク201上でシェアし得るように整えられた環境を備えている。ネットワーク201上には、マルチファンクションペリフェラル(以下、MFPとする)601が接続されている。サーバクライアントシステム11では、このMFP601が、画像入力機器401や画像出力機器501として機能するような環境として構築しても良い。
【0058】
サーバクライアントシステム11は、例えばイントラネット21を介して別のサーバクライアントシステム31とのデータ通信可能に構築され、インターネット通信網41を介して外部環境とデータ通信可能に構築されている。
【0059】
次に、パーソナルコンピュータ301のモジュール構成について図2を参照して説明する。図2は、本実施の形態におけるパーソナルコンピュータ301のモジュール構成図である。パーソナルコンピュータ301は、情報処理を行なうCPU302、情報を格納するROM303、および、RAM304等の一次記憶装置305、HDD306(ハードディスクドライブ)等の二次記憶装置307、情報を保管したり外部に情報を配布したり等外部から情報を入手するための可搬性を有するメディア308aに記憶された情報を読み取るリムーバブルディスク装置308、外部の他のコンピュータと通信により情報を伝達するためのネットワークインターフェイス309、処理経過や結果等を操作者に表示する表示装置310、操作者がパーソナルコンピュータ301に命令や情報等を入力するためのキーボード311、マウス等のポインティングディバイス312等から構成されている。
【0060】
なお、本実施の形態では、可搬性を有するメディア308aとしてCD−ROMを用いるものとし、CD−ROMに記憶された情報の読み取りが可能なCD−ROMドライブによってリムーバブルディスク装置308を実現するようにした。
【0061】
CPU302、一次記憶装置305、二次記憶装置307、リムーバブルディスク装置308、ネットワークインターフェイス309、表示装置310、キーボード311、ポインティングディバイス312等のパーソナルコンピュータ301が備える各部間でのデータの送受信は、バスコントローラ313によって調停され、パーソナルコンピュータ301が備える各部はバスコントローラ313によって調停されるデータ等に基づいて動作する。
【0062】
パーソナルコンピュータ301では、ユーザが電源を投入するとCPU302がROM303内のローダーというプログラムを起動させ、コンピュータのハードウェアとソフトウェアとを管理するプログラムをHDD306からRAM304に読み込み、読み込んだプログラムを起動させる。本実施の形態では、HDD306からRAM304に読み込まれて、コンピュータのハードウェアとソフトウェアとを管理するプログラムをオペレーティングシステムという。オペレーティングシステムは、ユーザの操作に応じてアプリケーションプログラム等を起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、例えば、Windows(登録商標)、UNIX(登録商標)等が知られている。なお、本実施の形態では、オペレーティングシステム上で実行される動作プログラムをアプリケーションプログラムとする。
【0063】
本実施の形態のパーソナルコンピュータ301は、アプリケーションプログラムとして、後述する画像処理を実行する画像処理プログラムをHDD306に記憶している。このため、本実施の形態では、HDD306によって画像処理プログラムを記憶する記憶媒体が実現される。
【0064】
なお、本実施の形態では、HDD306によって記憶媒体を実現したが、これに限るものではなく、HDD306等の二次記憶装置307にインストールされる画像処理プログラム等の各種動作プログラムは、例えば、CD−ROM等の光情報記録メディアやFD等の磁気メディア等からインストールすることも可能であり、CD−ROM等の光情報記録メディアやFD等の磁気メディア等の可搬性を有する各種メディアによっても、画像処理プログラムを記憶する記憶媒体を実現することが可能である。
【0065】
また、本実施の形態では、HDD306等の二次記憶装置307にインストールされた画像処理プログラムにしたがって後述する画像処理を実行するようにしたが、これに限るものではなく、例えば、ネットワークインターフェイス309を介して外部から二次記憶装置307にダウンロードした画像処理プログラムにしたがって後述する画像処理を実行するようにしても良い。
【0066】
次に、パーソナルコンピュータ301で実行される手段について図3ないし図8を参照して模式的に説明する。図3は、画像処理プログラムにしたがってパーソナルコンピュータ301によって実行される手段を模式的に示す機能ブロック図である。また、図4は、この機能ブロック図に含まれる各種の手段の実行手順を示すフローチャートである。
【0067】
パーソナルコンピュータ301は、オペレーティングシステム上で実行される画像処理プログラムを起動させ、この画像処理プログラムにしたがって、CPU302で各種の演算処理を実行することにより、パーソナルコンピュータ301が備える各部を集中的に制御する。画像処理プログラムの実行に際して、パーソナルコンピュータ301は、図3の機能ブロック図に示す各機能によって、図4のフローチャートに示す各種の手段を実行する。
【0068】
1.処理の概要
まず、処理の概要について説明する。文書画像には多くの文字が印刷されているが、一般的な通常の文書には、紙面の何も印刷されていない部分に黒い文字が直接印刷されている部分がある。このため、入力画像から黒文字がありそうな領域を抽出し、該入力画像を十分に小さいブロックに分割することで、内部に黒い文字が紙面に直接印刷されているようなあるブロックが存在すると仮定できる。このことから、画像処理の流れを規定できる。
【0069】
本実施の形態における画像処理プログラムは、図4のフローチャートに示すように、ネットワークインターフェイス309を介して、パーソナルコンピュータ301が原画像(I0)を受信していることを前提として実行される(ステップS1)。ここで、原画像(I0)は、デジタル化されたカラー画像とする。
【0070】
低解像度画像生成手段1001は、原画像(I0)から原画像(I0)よりも解像度の低い低解像度画像(I)を生成する(S2)。
【0071】
低解像度処理手段2000は、低解像度画像生成手段1001によって生成した低解像度画像(I)を、平滑化手段2001によって平滑化し(S3)、特徴量計算手段2002によって該低解像度画像(I)の各画素の周りに固定サイズのウィンドウを設定してR,G,Bの各チャンネルで信号の平均値μと標準偏差σを計算することで低解像度画像(I)の特徴量を計算する(S4)。
【0072】
文字領域抽出手段3001は、低解像度画像(I)に対して局所適応的閾値処理と膨張処理とを行なってカラー成分の局所適応的二値化を行なうことにより、文字領域C(図6参照)の抽出検出を行なう(S5)。
【0073】
黒文字色統計量推定手段4001は、入力された原画像(I0)を固定サイズの互いに重なりのないブロックに分割し(S6)、分割した各ブロックにおいて、文字領域Cに属する画素を2つの代表色に応じて第1のクラスと第2のクラスとの2クラスに分類する(S7)。ここに、ブロック分割手段およびクラス分類手段としての機能が実行される。文字領域Cに属する画素の輝度に基づいて、通常は、明るい色の方を文字領域の背景色に、暗い色の方を文字色に対応させる。
【0074】
また、黒文字色統計量推定手段4001は、分類した2つの代表色の輝度差が最大になるようなウィンドウを選択し、このウィンドウにおける2つの代表色を入力画像における下地の平均色および黒文字の平均色としてそれぞれ設定し、さらに、(1)式の演算により取得される飽和度(色飽和度、彩度)の統計量を計算することで、飽和度の平均値および標準偏差に基づいて黒文字色を推定する(S8)。ここでは、飽和度の平均値および標準偏差を飽和度の統計量とする。
【0075】
【数1】
【0076】
文字色補正手段5001は、飽和度の統計量から計算された飽和基準値に基づいて、各ウィンドウ内で黒文字画素と判定された画素をモノクロ化する(S9)。
【0077】
このようにして得られた補正画像をネットワークインターフェイス等を介して、パーソナルコンピュータから出力/送信する(S10)。
【0078】
2.処理の詳細
次に、パーソナルコンピュータ301よって実行される上述した各手段の詳細について説明する。ここでは、図5に示すような原画像(I0)を例として説明する。
【0079】
(1)低解像度画像の生成[低解像度画像生成手段1001]
低解像度画像生成手段1001は、計算量を減らすために、原画像(I0)を100dpi程度の低解像度画像(I)に変換する。まず、単純に、入力画像を重なりのないブロックBに分割し(図6参照)、各ブロックB内での信号の平均値を、低解像度画像(I)で対応する画素の信号として設定する。このとき、ブロックBの大きさ、すなわち、縮小率をrとすると、ブロックB内での信号の平均値は(2)式の演算により取得することができる。
【0080】
【数2】
【0081】
ここで、縮小率rは、常に自然数になるようにし、原画像(I0)の解像度が100で割り切れない場合、rは自然数に丸めた値にする。例えば、360dpiの場合、rは3となる。
【0082】
このように、原画像(I0)よりも解像度の低い低解像度画像(I)を用いることにより、画像処理における以降の計算量を減らすことができ、処理を簡易化することができる。
【0083】
(2)平滑化[平滑化手段2001]
平滑化手段2001は、ノイズ除去のため、低解像度画像(I)を線形フィルタで平滑化する。
【0084】
(3)特徴量の計算[特徴量計算手段2002]
特徴量計算手段2002は、低解像度画像(I)に対して、各画素の周りに固定サイズのウィンドウを設定して、R,G,Bの各チャンネルで信号の平均値μと標準偏差σとを計算する。
【0085】
(4)文字領域の抽出[文字領域抽出手段3001]
文字領域抽出手段3001は、低解像度画像(I)に対して、カラー成分の局所適応的二値化を行なうことにより、文字領域Cの抽出を行なう。文字領域Cの抽出に際しては、aとbとをパラメータとした閾値μ(a+bσ)と各画素の信号値との比較を行ない、信号値が閾値μ(a+bσ)よりも高いか低いかに基づいて文字領域Cを抽出する。例えば、紙面に黒文字が直接印刷された画像である場合、R,G,Bのすべてのチャンネルにおいてコントラストが強くなる傾向がある。このため、本実施の形態では、信号値が、すべてのチャンネルにおいて、閾値μ(a+bσ)よりも低い画素[i、j]を文字領域Cの要素として設定する((3)式参照)。
【0086】
【数3】
【0087】
また、文字領域抽出手段3001は、原画像(I0)と同じサイズで、文字領域(Cの要素)ではON値、それ以外ではOFF値を持つような2値画像を構成し(図6参照)、この2値画像において背景画素(OFF値の画素)が横方向に沿う横方向のランを構築する。ここで、あるランの長さが予め規定された閾値τよりも短ければ、その画素を一時的にONにする。このようにして、横方向に対して、背景画素のランのsmearingを行ない、同様にして、縦方向にも背景画素のランのsmearingを行なう。そして、横方向背景画素のランと縦方向の背景画素のランとのsmearingのANDをとり、両方のsmearingでON値になる画素だけを最終的なモノクロ前景画素(文字領域C)として設定する。これにより、例えば、図5に示すような原画像(I0)から、図6に示すように、文字領域Cを抽出した画像I’を得ることができる。
【0088】
(5)ブロック分割と文字領域のクラス分類[ブロック分割手段、クラス分類手段]
クラス分類手段(図示せず)は、原画像(I0)を互いに重なりのない十分に小さいブロックBに分割する(図6参照)。このとき、各ブロックBのサイズおよび形は、例えば、辺の長さrが20mm(200dpiで160画素、400dpiで320画素)相当の正方形などとすればよい。クラス分類手段は、分割した各ブロックB内において、文字領域Cに属する画素を輝度に応じて2つのクラスに分類する。
【0089】
分類に際しては、各画素の色信号から輝度を計算し、閾値処理する。閾値処理には、判別分析法、モーメント保持法、エントロピ法等の既知の方法を用いることができる。なお、判別分析法、モーメント保持法、エントロピ法等を用いた閾値処理については既知の技術であるため説明を省略する。クラス分類手段は、ブロックBiにおいて、暗い方の(輝度が低い)画素群を第1のクラスRi1として分類し、明るい方の(輝度が高い)画素群を第2のクラスRi2として分類する。通常は、明るい色の方を文字領域の背景色に対応させ、暗い色の方を文字色に対応させることから、ここでは、第1のクラスRi1が文字に対応し、Ri2が背景(紙面)に対応するものとする。このようにして、すべてのブロックBにおいて、文字領域Cに属する画素をRi1とRi2とに分類する。
【0090】
(6)黒文字色の推定[黒文字色統計量推定手段(黒文字色推定手段)4001]
黒文字色統計量推定手段4001は、黒文字領域Cに属する画素をRi1とRi2とに分類した全てのブロックから、第2のクラスRi2に属する画素数が最大になるブロックBをウィンドウWとして選択し、選択されたウィンドウWにおいて第1のクラスRi1に属する画素(画素群Rw1)の平均色を原画像の黒文字色として設定する。図7には、図5の入力画像に対して、ウィンドウWとして選ばれた領域と、その中での画素群Rw1,Rw2とが示されている。
【0091】
(7)黒文字のモノクロ化[文字色補正手段(黒文字色調補正手段)5001]
文字色補正手段5001は、まず、画素群Rw1において、飽和度の統計量(平均値、標準偏差)を計算する。ここでは、計算されたRw1での飽和度の平均値をsとし、標準偏差をσSとする。次に、各ウィンドウWiにおいて、第1のクラスRi1として暗い方に分類された(輝度が低い)画素群(黒文字に対応する画素群:Rw1)に属する画素のうち、飽和度が基準値(閾値)以下の画素をモノクロ化する。ここで、飽和度の基準値は、Rw1において計算しておいた飽和度の統計量(sおよびσs)から計算により取得する。具体的には、例えば、飽和度の基準値は、s+2・σsのように設定する。また、R,G,Bを全て同じ値(輝度(r+g+b)/3)に設定する。これにより、黒文字をモノクロ化することができ、図5に示すような入力画像(原画像(I0))を、図8に示すように、モノクロ化された画素Pが黒で示された画像I''とすることができる。
【0092】
ここに、ブロックB毎のクラス分類結果に基づいて、第2のクラスRi2に属する画素数が最大になるブロックBであるウィンドウWにおける第1のクラスRi1に属する画素群の平均色を黒文字色として推定することにより、黒文字色を正確に推定することができる。
【0093】
ところで、画像入力機器が特定できない環境では、識別処理の精度の保証ができないため、コピアで行われているように、黒文字に相当すると識別された画素を黒(R,G,Bすべての成分を0)に置換するような「強い」処理(例えば、特許3176341号)は望ましくなく、機種特定の上で高画質を達成するよりも、多様な機種に対して期待される画質を向上させることが重要である。
【0094】
本実施の形態では、飽和度の統計量から計算された飽和基準値に基づいて、各ブロックB内で黒文字画素と判定された画素をモノクロ化する「弱い」処理を起用することにより、黒文字色を原画像から適応的に計算でき、文字領域や中間調領域の識別を行なう場合に誤識別が起こっても、出力画像には目立つようなdefectを生じさせることなく、多様な機種に対して期待される画質を向上させることができる。
【0095】
また、本実施の形態によれば、原画像(I0)の特徴量から計算された値に基づき原画像(I0)上から推定される黒文字色に基づいて、規定のパラメータを一切用いることなく黒文字の色調を補正することができるので、スキャナ等の多様な画像入力機器401から入力された原画像(I0)に対して、出力画像の黒文字色を該原画像(I0)に適応させて容易に補正することができ、例えば、ユーザがパラメータを設定する等の作業を行なうことなく出力画像の黒文字色を自動的に補正することができる。
【0096】
これによって、スキャナ等の画像入力機器401から入力された印刷文書等のデジタル画像を、ネットワークを介して遠隔地に送信し、この画像を送信時には未知である画像出力機器501(MFP601を含んでも可)を介して受信者が受信してパーソナルコンピュータ301上で編集・再利用・印刷・再送信したり、プリンタ等の画像出力機器501から出力したりするという状況下でも、多様な特性を持つ入出力機器から入力された原画像(I0)に対して、黒文字色を自動的に調整でき、スキャナ等の多様な画像入力機器401から入力された原画像(I0)に対して、出力画像の黒文字色を該原画像(I0)に適応させて容易に補正することができる。
【0097】
次に、本発明の第2の実施の形態について説明する。なお、第1の実施の形態と同一部分は同一符号で示し、説明も省略する。以下、同様とする。
【0098】
特に図示しないが、本実施の形態は、図4のステップS4における特徴量計算と、図4のステップS5における文字領域抽出とを、エッジ量によって行なう点が、第1の実施の形態と異なる。
【0099】
ここで、紙面に直接印刷された黒文字の場合、R,G,Bのすべてのチャンネルにおいてコントラストが強くなる傾向がある。
【0100】
本実施の形態では、このことに注意し、注目画素でのエッジ量を、R,G,Bの各チャンネルで計算されたエッジ量の最小のものとすることで文字領域を抽出する。
【0101】
文字領域Cの抽出に際しては、まず、各画素におけるエッジ量を計算し、各画素で計算されたエッジ量が画像処理に先立って予め設定された規定閾値よりも高い画素を文字領域Cの要素に設定する。その後、第1の実施の形態と同様にランのsmearingを行なう。
【0102】
例えば、画素[i,j]におけるエッジ量は、3つのチャンネル(R,G,B)に対して別個に計算されたエッジ量の最大値を求めることにより取得することができる。つまり、画素[i,j]におけるエッジ量は、以下に示す(4)式によって表わすことができる。ここに、特徴量計算手段としての機能が実現される。
【0103】
【数4】
【0104】
ただし、S[I;i,j;k]は、解像度画像Iのkチャンネルでの画素[i,j]におけるエッジ強度である。
【0105】
このようにして計算されるエッジ量を閾値処理(thr)することにより、規定閾値以上のエッジ量を有する画素が特定されるので、規定閾値以上のエッジ量を有する画素およびこの画素の周囲の画素を文字領域Cとして抽出する。ここに、文字領域抽出手段としての機能が実現される。なお、規定閾値については、予め固定値を設定しても良いし、画像処理プログラムの実行に先立って外部から設定変更できるようにしても良い。
【0106】
本実施の形態によれば、黒文字色を正確に推定することができる。
【0107】
次に、本発明の第3の実施の形態について説明する。
【0108】
特に図示しないが、本実施の形態では、図4のステップS4における特徴量の計算と、図4のステップS5における文字領域Cの抽出とを、ウィンドウWの統計量の他に、エッジ量を用いて行なう。
【0109】
特徴量の計算に際しては、第1、第2の実施の形態と同様に、ウィンドウWの統計量とエッジ量とを計算する。ここに、特徴量計算手段としての機能が実現される。
【0110】
続く、文字領域Cの抽出に際しては、まず、すべてのチャンネルにおいて、信号値が、ウィンドウWの統計量から計算される閾値よりも低い、または、エッジ量が規定閾値よりも高いかを判断する。そして、すべてのチャンネルにおいて、信号値が、ウィンドウWの統計量から計算される閾値よりも低い、または、エッジ量が規定閾値よりも高いと判断した画素およびこの画素の周囲の画素を文字領域Cの要素に設定する。ここに、文字領域抽出手段としての機能が実現される。
【0111】
その後、第1の実施の形態と同様にランのsmearingを行なう。
【0112】
本実施の形態によれば、黒文字色を正確に推定することができる。
【0113】
次に、本発明の第4の実施の形態について説明する。
【0114】
特に図示しないが、本実施の形態では、図4のステップS2における原画像(I0)よりも解像度が低い低解像度画像(I)の生成を行なわず、特徴量の計算と文字領域の抽出とを原画像(I0)に対して実行する点が、第1、第2または第3の実施の形態とは異なる。
【0115】
次に、本発明の第5の実施の形態について説明する。本実施の形態は、図4のステップS8における黒文字色の推定方法が第1、第2、第3または第4の実施の形態とは異なる。
【0116】
(6)’黒文字色の推定
まず、すべてのブロックBにおいて黒文字領域Cに属する画素をRi1とRi2とに分類する。次に、2つの画素群Ri1とRi2との平均輝度の差が最大になるブロックBを選択し、該ブロックBをウィンドウWとして設定する。そして、設定したウィンドウWにおける画素群Rw1の平均色を原画像(I0)の黒文字色として設定する。
【0117】
加えて、本実施の形態では、黒文字色調の補正(階調補正)に用いる統計量を、該ウィンドウWで計算する。
【0118】
【発明の効果】
請求項1記載の発明の画像処理装置によれば、例えば、画像入力機器から入力されたデジタル画像である原画像を画像出力機器から出力する際には、原画像の特徴量から計算された値に基づき原画像上から推定される黒文字色に基づいて、規定のパラメータを用いることなく黒文字の色調を補正することができるので、多様な画像入力機器から入力された原画像に対して、出力画像の黒文字色を該原画像に適応させて容易に補正することができ、例えば、ユーザがパラメータを設定する等の作業を行なうことなく出力画像の黒文字色を自動的に補正することができる。また、各画素の周囲に設定されたウィンドウ内での色信号の平均値および標準偏差によって設定される閾値に対する該ウィンドウ内での注目画素の色信号値に基づいてウィンドウ毎に文字領域を抽出することにより、黒文字色を正確に推定することができる。
【0120】
請求項2記載の発明の画像処理装置によれば、例えば、画像入力機器から入力されたデジタル画像である原画像を画像出力機器から出力する際には、原画像の特徴量から計算された値に基づき原画像上から推定される黒文字色に基づいて、規定のパラメータを用いることなく黒文字の色調を補正することができるので、多様な画像入力機器から入力された原画像に対して、出力画像の黒文字色を該原画像に適応させて容易に補正することができ、例えば、ユーザがパラメータを設定する等の作業を行なうことなく出力画像の黒文字色を自動的に補正することができる。また、エッジ量が規定閾値以上の画素およびこの画素の周囲の画素を文字領域として抽出することにより、黒文字色を正確に推定することができる。
【0121】
請求項3記載の発明の画像処理装置によれば、例えば、画像入力機器から入力されたデジタル画像である原画像を画像出力機器から出力する際には、原画像の特徴量から計算された値に基づき原画像上から推定される黒文字色に基づいて、規定のパラメータを用いることなく黒文字の色調を補正することができるので、多様な画像入力機器から入力された原画像に対して、出力画像の黒文字色を該原画像に適応させて容易に補正することができ、例えば、ユーザがパラメータを設定する等の作業を行なうことなく出力画像の黒文字色を自動的に補正することができる。また、エッジ量が規定閾値以上の画素およびこの画素の周囲の画素を文字領域として抽出するとともに、各画素の周囲に設定されたウィンドウ内での色信号の平均値および標準偏差によって設定される閾値に対する該ウィンドウ内での注目画素の色信号値に基づいてウィンドウ毎に文字領域を抽出することにより、黒文字色をより正確に推定することができる。
【0122】
請求項4記載の発明によれば、請求項1ないし3のいずれかに記載の画像処理装置において、各画素の色信号から計算される輝度の閾値処理によりクラス分類することができる。
【0123】
請求項5記載の発明によれば、請求項4記載の画像処理装置において、ブロック毎のクラス分類結果に基づいて、第2のクラスに属する画素数が最大になるブロックにおける第1のクラスに属する画素群の平均色を黒文字色として推定することにより、黒文字色を正確に推定することができる。
【0124】
請求項6記載の発明によれば、請求項4記載の画像処理装置において、第1のクラスに属する画素群の平均輝度と第2のクラスに属する画素群の平均輝度との差が最大になるブロックにおける第1のクラスに属する画素群の平均色を黒文字色として推定することにより、黒文字色を正確に推定することができる。
【0125】
請求項7記載の発明によれば、請求項4記載の画像処理装置において、ブロック毎のクラス分類結果に基づいて、第2のクラスに属する画素数が最大になるブロックにおける第1のクラスに属する画素群の飽和度の平均値および標準偏差に基づき計算される飽和基準値に対する各ブロックで第1のクラスに属する画素の飽和度に応じて、原画像全体に亘る黒文字の色調の補正を一の飽和基準値に基づいて行なうことにより、黒文字の色調を画像全体に亘って安定化(均一化)することができる。
【0126】
請求項8記載の発明によれば、請求項4記載の画像処理装置において、ブロック毎のクラス分類結果に基づいて、第1のクラスに属する画素群の平均輝度と第2のクラスに属する画素群の平均輝度との差が最大になるブロックにおける第1のクラスに属する画素群の飽和度の平均値および標準偏差に基づき計算される飽和基準値に対する各ブロックで第1のクラスに属する画素の飽和度に応じて、原画像全体に亘る黒文字の色調の補正を一の飽和基準値に基づいて行なうことにより、黒文字の色調を画像全体に亘って安定化(均一化)することができる。
【0127】
請求項9記載の発明によれば、請求項1ないし8のいずれかに記載の画像処理装置において、処理を簡易化することができる。
【0128】
請求項10記載の発明の画像処理プログラムによれば、例えば、画像入力機器から入力されたデジタル画像である原画像を画像出力機器から出力する際には、コンピュータに対して、原画像の特徴量から計算された値に基づき原画像上から推定される黒文字色に基づいて、規定のパラメータを用いることなく黒文字の色調を補正させることができるので、多様な画像入力機器から入力された原画像に対して、出力画像の黒文字色を該原画像に適応させて容易に補正することができ、例えば、ユーザがパラメータを設定する等の作業を行なうことなく出力画像の黒文字色を自動的に補正することができる。また、各画素の周囲に設定されたウィンドウ内での色信号の平均値および標準偏差によって設定される閾値に対する該ウィンドウ内での注目画素の色信号値に基づいてウィンドウ毎に文字領域を抽出させることにより、黒文字色を正確に推定することができる。
【0130】
請求項11記載の発明の画像処理プログラムによれば、例えば、画像入力機器から入力されたデジタル画像である原画像を画像出力機器から出力する際には、コンピュータに対して、原画像の特徴量から計算された値に基づき原画像上から推定される黒文字色に基づいて、規定のパラメータを用いることなく黒文字の色調を補正させることができるので、多様な画像入力機器から入力された原画像に対して、出力画像の黒文字色を該原画像に適応させて容易に補正することができ、例えば、ユーザがパラメータを設定する等の作業を行なうことなく出力画像の黒文字色を自動的に補正することができる。また、エッジ量が規定閾値以上の画素およびこの画素の周囲の画素を文字領域として抽出させることにより、黒文字色を正確に推定することができる。
【0131】
請求項12記載の発明の画像処理プログラムによれば、例えば、画像入力機器から入力されたデジタル画像である原画像を画像出力機器から出力する際には、コンピュータに対して、原画像の特徴量から計算された値に基づき原画像上から推定される黒文字色に基づいて、規定のパラメータを用いることなく黒文字の色調を補正させることができるので、多様な画像入力機器から入力された原画像に対して、出力画像の黒文字色を該原画像に適応させて容易に補正することができ、例えば、ユーザがパラメータを設定する等の作業を行なうことなく出力画像の黒文字色を自動的に補正することができる。また、エッジ量が規定閾値以上の画素およびこの画素の周囲の画素を文字領域として抽出させるとともに、各画素の周囲に設定されたウィンドウ内での色信号の平均値および標準偏差によって設定される閾値に対する該ウィンドウ内での注目画素の色信号値に基づいてウィンドウ毎に文字領域を抽出させることにより、黒文字色をより正確に推定することができる。
【0132】
請求項13記載の発明によれば、請求項10ないし12のいずれかに記載の画像処理プログラムにおいて、各画素の色信号から計算される輝度の閾値処理によりクラス分類することができる。
【0133】
請求項14記載の発明によれば、請求項13記載の画像処理プログラムにおいて、ブロック毎のクラス分類結果に基づいて、第2のクラスに属する画素数が最大になるブロックにおける第1のクラスに属する画素群の平均色を黒文字色として推定することにより、黒文字色を正確に推定することができる。
【0134】
請求項15記載の発明によれば、請求項13記載の画像処理プログラムにおいて、第1のクラスに属する画素群の平均輝度と第2のクラスに属する画素群の平均輝度との差が最大になるブロックにおける第1のクラスに属する画素群の平均色を黒文字色として推定することにより、黒文字色を正確に推定することができる。
【0135】
請求項16記載の発明によれば、請求項13記載の画像処理プログラムにおいて、ブロック毎のクラス分類結果に基づいて、第2のクラスに属する画素数が最大になるブロックにおける第1のクラスに属する画素群の飽和度の平均値および標準偏差に基づき計算される飽和基準値に対する各ブロックで第1のクラスに属する画素の飽和度に応じて、原画像全体に亘る黒文字の色調の補正を一の飽和基準値に基づいて行なうことにより、黒文字の色調を画像全体に亘って安定化(均一化)することができる。
【0136】
請求項17記載の発明によれば、請求項13記載の画像処理プログラムにおいて、ブロック毎のクラス分類結果に基づいて、第1のクラスに属する画素群の平均輝度と第2のクラスに属する画素群の平均輝度との差が最大になるブロックにおける第1のクラスに属する画素群の飽和度の平均値および標準偏差に基づき計算される飽和基準値に対する各ブロックで第1のクラスに属する画素の飽和度に応じて、原画像全体に亘る黒文字の色調の補正を一の飽和基準値に基づいて行なうことにより、黒文字の色調を画像全体に亘って安定化(均一化)することができる。
【0137】
請求項18記載の発明によれば、請求項10ないし17のいずれかに記載の画像処理プログラムにおいて、処理を簡易化することができる。
【0138】
請求項19記載の発明の記憶媒体によれば、請求項10ないし18のいずれかに記載の発明の効果を奏することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態のシステム構築例を示す模式図である。
【図2】パーソナルコンピュータのモジュール構成図である。
【図3】画像処理プログラムにしたがってパーソナルコンピュータよって実行される手段を模式的に示す機能ブロック図である。
【図4】この機能ブロック図に含まれる各種の手段の実行手順を示すフローチャートである。
【図5】入力画像を例示する模式図である。
【図6】入力画像から抽出された文字領域およびブロック分割を示す模式図である。
【図7】ブロック分割した画像から選択されたウィンドウおよび該ウィンドウ内で分類された画素群を示す模式図である。
【図8】入力画像をモノクロ化した画像を示す模式図である。
【符号の説明】
301 画像処理装置
306 記憶媒体
1001 低解像度画像生成手段
2002 特徴量計算手段
3001 文字領域抽出手段
4001 黒文字色推定手段
5001 黒文字色調補正手段
Claims (19)
- デジタル画像である原画像に対して、特徴量を計算する特徴量計算手段と、
前記特徴量に基づいて、前記原画像から文字領域を抽出する文字領域抽出手段と、
前記原画像を重なりのないブロックに分割するブロック分割手段と、
前記ブロック毎に前記文字領域に属する画素をその色信号の輝度に応じて第1のクラスと第2のクラスとに分類するクラス分類手段と、
前記文字領域に属する画素のクラス分類に基づいて前記原画像上の黒文字色を推定する黒文字色推定手段と、
推定された黒文字色に基づいて黒文字の色調を補正する黒文字色調補正手段と、
を具備し、
前記特徴量計算手段は、各画素の周囲に設定したウィンドウ内での色信号の平均値および標準偏差を計算し、
前記文字領域抽出手段は、前記ウィンドウ内での色信号の平均値および標準偏差によって設定される閾値に対する該ウィンドウ内での注目画素の色信号値に基づいて、この注目画素およびこの注目画素の周囲の画素を前記文字領域として抽出する画像処理装置。 - デジタル画像である原画像に対して、特徴量を計算する特徴量計算手段と、
前記特徴量に基づいて、前記原画像から文字領域を抽出する文字領域抽出手段と、
前記原画像を重なりのないブロックに分割するブロック分割手段と、
前記ブロック毎に前記文字領域に属する画素をその色信号の輝度に応じて第1のクラスと第2のクラスとに分類するクラス分類手段と、
前記文字領域に属する画素のクラス分類に基づいて前記原画像上の黒文字色を推定する黒文字色推定手段と、
推定された黒文字色に基づいて黒文字の色調を補正する黒文字色調補正手段と、
を具備し、
前記特徴量計算手段は、各画素のエッジ量を計算し、
前記文字領域抽出手段は、前記エッジ量が規定閾値以上の画素およびこの画素の周囲の画素を前記文字領域として抽出する画像処理装置。 - デジタル画像である原画像に対して、特徴量を計算する特徴量計算手段と、
前記特徴量に基づいて、前記原画像から文字領域を抽出する文字領域抽出手段と、
前記原画像を重なりのないブロックに分割するブロック分割手段と、
前記ブロック毎に前記文字領域に属する画素をその色信号の輝度に応じて第1のクラスと第2のクラスとに分類するクラス分類手段と、
前記文字領域に属する画素のクラス分類に基づいて前記原画像上の黒文字色を推定する黒文字色推定手段と、
推定された黒文字色に基づいて黒文字の色調を補正する黒文字色調補正手段と、
を具備し、
前記特徴量計算手段は、各画素のエッジ量と各画素の周囲に設定したウィンドウ内での色信号の平均値および標準偏差とを計算し、
前記文字領域抽出手段は、前記エッジ量が前記規定閾値以上の画素およびこの画素の周囲の画素と、前記ウィンドウ内での色信号の平均値および標準偏差によって設定される閾値に対する該ウィンドウ内での注目画素の色信号値に基づいて、この注目画素およびこの注目画素の周囲の画素とを前記文字領域として抽出する画像処理装置。 - 前記クラス分類手段は、各画素の色信号から計算される輝度に基づいて輝度閾値を取得し、この輝度閾値よりも輝度が低い画素群を前記第1のクラスとし、前記輝度閾値よりも輝度が高い画素群を前記第2のクラスとして分類する請求項1ないし3のいずれかに記載の画像処理装置。
- 前記黒文字色推定手段は、前記ブロック毎のクラス分類結果に基づいて、前記第2のクラスに属する画素数が最大になる前記ブロックにおける前記第1のクラスに属する画素群の平均色を黒文字色として推定する請求項4記載の画像処理装置。
- 前記黒文字色推定手段は、前記ブロック毎のクラス分類結果に基づいて、前記第1のクラスに属する画素群の平均輝度と前記第2のクラスに属する画素群の平均輝度との差が最大になる前記ブロックにおける前記第1のクラスに属する画素群の平均色を黒文字色として推定する請求項4記載の画像処理装置。
- 前記黒文字色調補正手段は、前記ブロック毎のクラス分類結果に基づいて、前記第2のクラスに属する画素数が最大になる前記ブロックにおける前記第1のクラスに属する画素群の飽和度の平均値および標準偏差に基づき計算される飽和基準値に対する前記各ブロックで前記第1のクラスに属する画素の飽和度に応じて黒文字の色調を補正する請求項4記載の画像処理装置。
- 前記黒文字色調補正手段は、前記ブロック毎のクラス分類結果に基づいて、前記第1のクラスに属する画素群の平均輝度と前記第2のクラスに属する画素群の平均輝度との差が最大になる前記ブロックにおける前記第1のクラスに属する画素群の飽和度の平均値および標準偏差に基づき計算される飽和基準値に対する前記各ブロックで前記第1のクラスに属する画素の飽和度に応じて黒文字の色調を補正する請求項4記載の画像処理装置。
- 前記原画像よりも解像度の低い低解像度画像を生成する低解像度画像生成手段を具備し、
前記特徴量計算手段は、前記低解像度画像から特徴量を計算し、
前記文字領域抽出手段は、前記低解像度画像から前記文字領域を抽出する請求項1ないし8のいずれかに記載の画像処理装置。 - コンピュータに解釈され、このコンピュータに、
デジタル画像である原画像に対して、特徴量を計算する特徴量計算手段と、
前記特徴量に基づいて、前記原画像から文字領域を抽出する文字領域抽出手段と、
前記原画像を重なりのないブロックに分割するブロック分割手段と、
前記ブロック毎に前記文字領域に属する画素をその色信号の輝度に応じて第1のクラスと第2のクラスとに分類するクラス分類手段と、
前記文字領域に属する画素のクラス分類に基づいて前記原画像上の黒文字色を推定する黒文字色推定手段と、
推定された黒文字色に基づいて黒文字の色調を補正する黒文字色調補正手段と、を実行させ、
前記特徴量計算手段は、各画素の周囲に設定したウィンドウ内での色信号の平均値および標準偏差を計算し、
前記文字領域抽出手段は、前記ウィンドウ内での色信号の平均値および標準偏差によって設定される閾値に対する該ウィンドウ内での注目画素の色信号値に基づいて、この注目画素およびこの注目画素の周囲の画素を前記文字領域として抽出する画像処理プログラム。 - コンピュータに解釈され、このコンピュータに、
デジタル画像である原画像に対して、特徴量を計算する特徴量計算手段と、
前記特徴量に基づいて、前記原画像から文字領域を抽出する文字領域抽出手段と、
前記原画像を重なりのないブロックに分割するブロック分割手段と、
前記ブロック毎に前記文字領域に属する画素をその色信号の輝度に応じて第1のクラスと第2のクラスとに分類するクラス分類手段と、
前記文字領域に属する画素のクラス分類に基づいて前記原画像上の黒文字色を推定する黒文字色推定手段と、
推定された黒文字色に基づいて黒文字の色調を補正する黒文字色調補正手段と、を実行させ、
前記特徴量計算手段は、各画素のエッジ量を計算し、
前記文字領域抽出手段は、前記エッジ量が規定閾値以上の画素およびこの画素の周囲の画素を前記文字領域として抽出する画像処理プログラム。 - コンピュータに解釈され、このコンピュータに、
デジタル画像である原画像に対して、特徴量を計算する特徴量計算手段と、
前記特徴量に基づいて、前記原画像から文字領域を抽出する文字領域抽出手段と、
前記原画像を重なりのないブロックに分割するブロック分割手段と、
前記ブロック毎に前記文字領域に属する画素をその色信号の輝度に応じて第1のクラスと第2のクラスとに分類するクラス分類手段と、
前記文字領域に属する画素のクラス分類に基づいて前記原画像上の黒文字色を推定する黒文字色推定手段と、
推定された黒文字色に基づいて黒文字の色調を補正する黒文字色調補正手段と、を実行させ、
前記特徴量計算手段は、各画素のエッジ量と各画素の周囲に設定したウィンドウ内での色信号の平均値および標準偏差とを計算し、
前記文字領域抽出手段は、前記エッジ量が前記規定閾値以上の画素およびこの画素の周囲の画素と、前記ウィンドウ内での色信号の平均値および標準偏差によって設定される閾値に対する該ウィンドウ内での注目画素の色信号値に基づいて、この注目画素およびこの注目画素の周囲の画素とを前記文字領域として抽出する画像処理プログラム。 - 前記クラス分類手段は、各画素の色信号から計算される輝度に基づいて輝度閾値を取得し、この輝度閾値よりも輝度が低い画素群を前記第1のクラスとし、前記輝度閾値よりも輝度が高い画素群を前記第2のクラスとして分類する請求項10ないし12のいずれかに記載の画像処理プログラム。
- 前記黒文字色推定手段は、前記ブロック毎のクラス分類結果に基づいて、前記第2のクラスに属する画素数が最大になる前記ブロックにおける前記第1のクラスに属する画素群の平均色を黒文字色として推定する請求項13記載の画像処理プログラム。
- 前記黒文字色推定手段は、前記ブロック毎のクラス分類結果に基づいて、前記第1のクラスに属する画素群の平均輝度と前記第2のクラスに属する画素群の平均輝度との差が最大になる前記ブロックにおける前記第1のクラスに属する画素群の平均色を黒文字色として推定する請求項13記載の画像処理プログラム。
- 前記黒文字色調補正手段は、前記ブロック毎のクラス分類結果に基づいて、前記第2のクラスに属する画素数が最大になる前記ブロックにおける前記第1のクラスに属する画素群の飽和度の平均値および標準偏差に基づき計算される飽和基準値に対する前記各ブロックで前記第1のクラスに属する画素の飽和度に応じて黒文字の色調を補正する請求項13記載の画像処理プログラム。
- 前記黒文字色調補正手段は、前記ブロック毎のクラス分類結果に基づいて、前記第1のクラスに属する画素群の平均輝度と前記第2のクラスに属する画素群の平均輝度との差が最大になる前記ブロックにおける前記第1のクラスに属する画素群の飽和度の平均値および標準偏差に基づき計算される飽和基準値に対する前記各ブロックで前記第1のクラスに 属する画素の飽和度に応じて黒文字の色調を補正する請求項13記載の画像処理プログラム。
- 前記原画像よりも解像度の低い低解像度画像を生成する低解像度画像生成手段を具備し、
前記特徴量計算手段は、前記解像度画像から特徴量を計算し、
前記文字領域抽出手段は、前記解像度画像から前記文字領域を抽出する請求項10ないし17のいずれかに記載の画像処理プログラム。 - 請求項10ないし18のいずれかに記載の画像処理プログラムを記憶し、機械読み取り可能である記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002280810A JP4059389B2 (ja) | 2002-09-05 | 2002-09-26 | 画像処理装置、画像処理プログラムおよび記憶媒体 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002259679 | 2002-09-05 | ||
JP2002280810A JP4059389B2 (ja) | 2002-09-05 | 2002-09-26 | 画像処理装置、画像処理プログラムおよび記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004153298A JP2004153298A (ja) | 2004-05-27 |
JP4059389B2 true JP4059389B2 (ja) | 2008-03-12 |
Family
ID=32472967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002280810A Expired - Fee Related JP4059389B2 (ja) | 2002-09-05 | 2002-09-26 | 画像処理装置、画像処理プログラムおよび記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4059389B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7667876B2 (en) | 2004-03-03 | 2010-02-23 | Ricoh Company, Ltd. | Generating a normalized image from an original image |
JP4549227B2 (ja) * | 2005-04-28 | 2010-09-22 | シャープ株式会社 | 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体 |
JP4884305B2 (ja) * | 2007-06-06 | 2012-02-29 | シャープ株式会社 | 画像処理装置、画像形成装置、コンピュータプログラム、及び記録媒体 |
US8223395B2 (en) * | 2007-07-20 | 2012-07-17 | Sharp Laboratories Of America, Inc. | Methods and systems for refining text color in a digital image |
JP5974589B2 (ja) * | 2012-03-30 | 2016-08-23 | ブラザー工業株式会社 | 画像処理装置およびプログラム |
JP5971411B2 (ja) * | 2013-05-10 | 2016-08-17 | 株式会社島津製作所 | 画像処理装置 |
-
2002
- 2002-09-26 JP JP2002280810A patent/JP4059389B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004153298A (ja) | 2004-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4118749B2 (ja) | 画像処理装置、画像処理プログラムおよび記憶媒体 | |
JP4350778B2 (ja) | 画像処理装置、画像処理プログラムおよび記録媒体 | |
US7324247B2 (en) | Image processing apparatus, image processing program and storage medium storing the program | |
JP4498233B2 (ja) | 画像処理装置および画像処理方法 | |
JP5640685B2 (ja) | 画像出力検査システム、画像検査装置およびプログラム | |
US8237985B2 (en) | Softproofing via modeling print engine rendering characteristics | |
JP2007251518A (ja) | 画像処理装置、画像形成装置、プログラムおよび画像処理方法 | |
JP5146942B2 (ja) | スキャナによって獲得されるデジタル画像を変換する変換方法、装置、およびコンピュータプログラム | |
US20070242288A1 (en) | System for processing and classifying image data using halftone noise energy distribution | |
US8369614B2 (en) | Edge control in a digital color image via tone and size dependent dilation of pixels | |
JP4093413B2 (ja) | 画像処理装置、画像処理プログラム及び該プログラムを記録した記録媒体 | |
JP2009207145A (ja) | ディジタル画像の近無彩色の画素を分離するシステムおよび方法 | |
JP4059389B2 (ja) | 画像処理装置、画像処理プログラムおよび記憶媒体 | |
JP3689574B2 (ja) | 画像処理方法及び装置及び画像処理システム、及び記録媒体 | |
US7542170B2 (en) | Method for enhancing print quality of halftone images | |
JP4169674B2 (ja) | 画像処理装置、画像処理プログラムおよび記憶媒体 | |
JP6736299B2 (ja) | 印刷装置、印刷方法、および、プログラム | |
US7817303B2 (en) | Image processing and image forming with modification of a particular class of colors | |
JP2001222683A (ja) | 画像処理方法、画像処理装置、文字認識方法、文字認識装置及び記憶媒体 | |
JP2006155572A (ja) | 画像処理装置、画像形成装置、画像処理方法、及びコンピュータプログラム | |
JP2023030811A (ja) | 情報処理装置、抽出処理装置、画像処理システム、情報処理装置の制御方法、及びプログラム | |
JP2021077978A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2012231261A (ja) | 画像処理装置およびその制御方法 | |
US10872216B2 (en) | Image output device, image output method, and output image data production method | |
US20210281715A1 (en) | Adaptive autocolor detection based on media color |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041007 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050425 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050512 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20060922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070619 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070815 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071213 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101228 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101228 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111228 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111228 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121228 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131228 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |