JP6769045B2 - 画像処理装置、および、コンピュータプログラム - Google Patents

画像処理装置、および、コンピュータプログラム Download PDF

Info

Publication number
JP6769045B2
JP6769045B2 JP2016037554A JP2016037554A JP6769045B2 JP 6769045 B2 JP6769045 B2 JP 6769045B2 JP 2016037554 A JP2016037554 A JP 2016037554A JP 2016037554 A JP2016037554 A JP 2016037554A JP 6769045 B2 JP6769045 B2 JP 6769045B2
Authority
JP
Japan
Prior art keywords
character
image data
data
processed
partial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016037554A
Other languages
English (en)
Other versions
JP2017156852A (ja
Inventor
和英 澤田
和英 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2016037554A priority Critical patent/JP6769045B2/ja
Priority to US15/441,513 priority patent/US10592766B2/en
Publication of JP2017156852A publication Critical patent/JP2017156852A/ja
Application granted granted Critical
Publication of JP6769045B2 publication Critical patent/JP6769045B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393Enlarging or reducing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4092Edge or detail enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6072Colour correction or control adapting to different types of images, e.g. characters, graphs, black and white image portions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本明細書は、複数種類のデータで表現される複数個の文字領域を含む画像に対する画像処理に関する。
画像データは、文字を表す複数種類のデータを含む場合があることが知られている。例えば、特許文献1には、画像を表すデータ構造として、文字を表現するコード化データと、文字を表現するビットマップデータと、を含むハイブリッドデータ構造が開示されている。
特開2007−42126号公報
このような画像データを用いて出力される画像では、一の種類のデータで表現される文字のエッジの見栄えと、他の種類のデータで表現される文字のエッジの見栄えと、が異なる場合があった。このように、一つの画像にエッジの見栄えが異なる複数個の文字が含まれると、画像に違和感が生じる可能性があった。
本明細書は、文字を示す複数種類のデータを含む画像データを用いて表される画像に生じる違和感を低減する技術を開示する。
本明細書に開示された技術は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。
[適用例1]第1の文字と第2の文字とを含む対象画像を示す対象画像データであって、ビットマップ形式で前記第1の文字を含む画像を示す第1の部分画像データと、ベクトル形式で前記第2の文字を含む画像を示す第2の部分画像データと、を含む前記対象画像データを取得する取得部と、前記第1の部分画像データを解析して、前記第1の部分画像データによって示される画像において、前記第1の文字を特定する特定部と、前記対象画像データを用いて、前記第1の文字と前記第2の文字とを含む処理済画像を示す処理済画像データを生成する生成部であって、前記処理済画像データは、(A)前記第1の文字を含む画像を示す第1の処理済データであって、前記第1の部分画像データのエッジ強度よりも高いエッジ強度を有する文字に変換する第1の変換処理が実行された前記第1の処理済データと、(B)前記第2の文字を含む画像を示す第2の処理済データであって、前記第2の部分画像データのエッジ強度が変更されていない前記第2の処理済データと、を含む、前記生成部と、を備える画像処理装置。
ビットマップ形式で表現される第1の文字のエッジ強度は、ベクトル形式で表現される第2の文字のエッジ強度より低くなりがちである。上記構成によれば、処理済画像データは、第1の文字を示し、第1の文字データのエッジ強度よりも高いエッジ強度を有する文字に変換する第1の変換処理が実行された第1の処理済データと、第2の文字を示し、エッジ強度が変更されていない第2の処理済データと、を含む。この結果、処理済画像において、第1の文字と第2の文字とのエッジ強度が近づくので、第1の文字と第2の文字との見栄えの差を低減できる。この結果、処理済画像に生じる違和感を低減することができる。
[適用例2]第1の文字と第2の文字とを含む対象画像を示す対象画像データであって、第1の階調数のビットマップ形式で前記第1の文字を含む画像を示す第1の部分画像データと、前記第1の階調数より少ない第2の階調数のビットマップ形式で前記第2の文字を含む画像を示す第2の部分画像データと、を含む前記対象画像データを取得する取得部と、前記第1の部分画像データを解析して、前記第1の部分画像データによって示される画像において、少なくとも前記第1の文字を特定する特定部と、前記対象画像データを用いて、前記第1の文字と前記第2の文字とを含む処理済画像を示す処理済画像データを生成する生成部であって、前記処理済画像データは、(A)前記第1の文字を含む画像を示す第1の処理済データであって、前記第1の部分画像データのエッジ強度よりも高いエッジ強度を有する文字に変換する第1の変換処理が実行された前記第1の処理済データと、(B)前記第2の文字を含む画像を示す第2の処理済データであって、前記第2の部分画像データのエッジ強度が変更されていない、または、前記第2の部分画像データのエッジ強度よりも低いエッジ強度を有する文字に変換する第2の変換処理が実行された前記第2の処理済データと、を含む、前記生成部と、を備える画像処理装置。
第1の階調数で表現される第1の文字のエッジ強度は、第1の階調数より少ない第2の階調数で表現される第2の文字のエッジ強度より低くなりがちである。上記構成によれば、処理済画像データは、第1の文字を示し、第1の部分画像データのエッジ強度よりも高いエッジ強度を有する文字に変換する第1の変換処理が実行された第1の処理済データと、第2の文字を示し、エッジ強度が変更されていない、または、第2の部分画像データのエッジ強度よりも低いエッジ強度を有する文字に変換する第2の変換処理が実行された第2の処理済データと、を含む。この結果、処理済画像において、第1の文字と第2の文字とのエッジ強度が近づくので、第1の文字と第2の文字との見栄えの差を低減できる。この結果、処理済画像に生じる違和感を低減することができる。
[適用例3]
適用例1または2に記載の画像処理装置であって、
前記第1の変換処理は、前記第1の部分画像データに対して文字認識処理を実行することによって、前記第1の文字の文字コードを含む文字情報であって、前記第1の部分画像データに代えて前記第1の文字を表現する前記文字情報を生成する処理と、前記文字情報を用いて、前記第1の処理済データを生成する処理と、を含む、画像処理装置。
[適用例4]
適用例1〜3のいずれかに記載の画像処理装置であって、
前記第1の変換処理は、前記第1の部分画像データによって示される画像内において、前記第1の文字のエッジに沿う複数個の中間画素であって、前記第1の文字の色を示す値と、背景の色を示す値と、の間の階調を示す値を有する前記複数個の中間画素の個数を減少させる処理である、画像処理装置。
[適用例5]
適用例4に記載の画像処理装置であって、
前記生成部は、前記処理済画像のサイズに応じて、前記第1の部分画像データによって示される画像を拡大する拡大処理を実行し、
前記第1の変換処理は、前記拡大処理の拡大率が第1の拡大率である場合には、第1の幅分だけ前記複数個の中間画素の個数を減少させ、前記拡大処理の拡大率が前記第1の拡大率より大きな第2の拡大率である場合には、前記第1の幅より広い第2の幅分だけ前記複数個の中間画素の個数を減少させる処理である、画像処理装置。
[適用例6]
適用例1または2に記載の画像処理装置であって、
前記生成部は、
第1の場合には、前記第1の部分画像データに対して文字認識処理を実行することによって得られる前記第1の文字の文字コードを含む文字情報であって、前記第1の部分画像データに代えて前記第1の文字を表現する前記文字情報を生成する処理と、前記文字情報を用いて、前記第1の処理済データを生成する処理と、を含む前記第1の変換処理を実行し、
第2の場合には、前記第1の部分画像データによって示される画像内において、前記第1の文字のエッジに沿う複数個の中間画素であって、前記第1の文字の色を示す値と、背景の色を示す値と、の間の階調を示す値を有する前記複数個の中間画素の個数を減少させる前記第1の変換処理を実行する、画像処理装置。
[適用例7]
適用例6に記載の画像処理装置であって、
前記第1の場合は、前記第1の部分画像データに対して前記文字認識処理が実行された結果、文字認識の成功率が基準以上である場合であり、
前記第2の場合は、前記第1の部分画像データに対して前記文字認識処理が実行された結果、文字認識の成功率が前記基準未満である場合である、画像処理装置。
[適用例8]
適用例2に記載の画像処理装置であって、
前記第2の変換処理は、前記第2の部分画像データによって示される画像内において、前記第2の文字のエッジに沿う複数個の画素であって、前記第2の文字の色を示す値と、背景の色を示す値と、の間の階調を示す値を有する前記複数個の画素の個数を増加させる処理である、画像処理装置。
なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、印刷装置、印刷方法、表示装置、表示方法、これら装置の機能または上記方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。
実施例における画像処理装置としての計算機200と複合機100との構成を示すブロック図である。 印刷処理のフローチャートである。 第1実施例の対象画像OI(図3(A))と対象画像データID(図3(B))との一例を示す図である。 第1実施例のラスタライズ処理のフローチャートである。 第1実施例の文字変換処理のフローチャートである。 中間色領域除去処理の説明図である。 第2実施例の対象画像OIb(図7(A))と対象画像データIDb(図3(B))との一例を示す図である。 第2実施例のラスタライズ処理のフローチャートである。 第2実施例の文字変換処理Aのフローチャートである。 第2実施例の文字変換処理Bのフローチャートである。 文字変換処理Bの説明図である。
A.第1実施例:
A−1:画像処理装置の構成
次に、実施の形態を実施例に基づき説明する。図1は、実施例における画像処理装置としての計算機200と、複合機100と、の構成を示すブロック図である。
計算機200は、例えば、パーソナルコンピュータであり、計算機200のコントローラとしてのCPU210と、ハードディスクドライブなどの不揮発性記憶装置220と、RAMなどの揮発性記憶装置230と、マウスやキーボードなどの操作部260と、液晶ディスプレイなどの表示部270と、通信部280と、を備えている。計算機200は、通信部280を介して、複合機100などの外部装置と通信可能に接続される。
揮発性記憶装置230は、CPU210が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域231を提供する。不揮発性記憶装置220には、コンピュータプログラムCPが格納されている。コンピュータプログラムCPは、本実施例では、複合機100の後述するプリンタ部130を制御するためのプリンタドライバプログラムであり、サーバからダウンロードされる形態で提供される。これに代えて、コンピュータプログラムCPは、DVD−ROMなどに格納される形態で提供されてもよい。CPU210は、コンピュータプログラムCPを実行することにより、後述する印刷処理を実行する。
複合機100は、イメージセンサを用いて原稿を光学的に読み取ることによってスキャンデータを生成するスキャナ部120と、所定の方式(例えば、インクジェット、レーザー)によって用紙などの印刷媒体に画像を印刷するプリンタ部130と、スキャナ部120やプリンタ部130を制御するCPUとメモリとを含む制御部110と、を備えている。
A−2:印刷処理
図2は、印刷処理のフローチャートである。この印刷処理は、例えば、計算機200において、コンピュータプログラムCPが実行されて、プリンタドライバが起動されているときに、ユーザの開始指示に基づいて開始される。
S10では、CPU210は、印刷すべき対象画像を示す対象画像データを取得する。対象画像データは、例えば、不揮発性記憶装置220に格納された複数個の画像データの中から、ユーザの指定に基づいて選択された1個の画像データである。
図3は、第1実施例の対象画像OI(図3(A))と、対象画像データID(図3(B))と、の一例を示す図である。図3(A)の対象画像OIは、3個のオブジェクトOb1〜Ob3と、背景Bgと、を含んでいる。第1オブジェクトOb1は、写真Pcと、第1の文字Tx1と、を含む。第2オブジェクトOb2は、第2の文字Tx2を含む。第3オブジェクトOb3は、描画Drを含む。描画は、イラスト、表、線図、模様などを含む。
対象画像データIDは、例えば、ページ記述言語に従って、画像を記述するデータである。対象画像データIDは、例えば、PDF(Portable Document Format)形式やXPS(XML Paper Specification)形式に従う画像ファイルである。これに代えて、対象画像データIDは、文書作成アプリケーションなどのアプリケーションプログラムによって作成され、該アプリケーションに固有の形式で記述された画像ファイルであっても良い。
対象画像データIDは、複数種類のデータ形式のデータを含み得る。例えば、図3(B)の対象画像データIDは、第1オブジェクトOb1を示す第1オブジェクトデータOD1と、第2オブジェクトOb2を示す第2オブジェクトデータOD2と、第3オブジェクトOb3を示す第3オブジェクトデータOD3と、を含む。
第1オブジェクトデータOD1は、ビットマップ形式で、写真Pcと第1の文字Tx1とを含む画像(すなわち、図3(A)の第1オブジェクトOb1)を示すビットマップデータである。第1オブジェクトデータOD1は、第1オブジェクトOb1を示すJPEGデータと、対象画像OI内における、第1オブジェクトOb1の位置を示す座標情報と、を含んでいる。JPEGデータは、例えば、第1オブジェクトOb1を示すRGB画像データを、JPEG(Joint Photographic Experts Group)圧縮で圧縮して得られる。RGB画像データは、複数個の画素にて構成されるビットマップデータであり、画素ごとの色をRGB値で表すRGB画像データである。1個の画素のRGB値は、赤(R)と緑(G)と青(B)との3個の色成分の階調値(以下、成分値とも呼ぶ)を含んでいる。本実施例では、各成分値の階調数は、256階調である。
第2オブジェクトデータOD2は、ベクトル形式で、第2の文字Tx2を含む画像(すなわち、図3(A)の第2オブジェクトOb2)を示すベクトルデータである。第2オブジェクトデータOD2は、例えば、第2の文字Tx2を記述するコマンドを含む。このコマンドは、例えば、第2の文字Tx2を示す文字コードと、第2の文字Tx2のサイズを示すサイズ情報と、第2の文字Tx2のフォントを示すフォント情報と、対象画像OI内における第2の文字Tx2の位置を示す座標情報と、を含んでいる。
第3オブジェクトデータOD3は、ベクトル形式で、描画Drを含む画像(すなわち、図3(A)の第3オブジェクトOb3)を示すベクトルデータである。第3オブジェクトデータOD3は、描画Drを記述するコマンドを含む。このコマンドは、描画Drを構成する図形や線、および、それらの色や対象画像OI内の位置を定義する情報を含む。
S20では、CPU210は、対象画像データに対してラスタライズ処理を実行して、対象画像OIを示す処理済画像データを生成する。処理済画像データは、複数個の画素を含むビットマップデータであり、具体的には、RGB画像データである。ラスタライズ処理の詳細は、後述する。
S30では、CPU210は、処理済画像データに対して色変換処理を実行する。これによって、処理済画像データの各画素のRGB値は、印刷用の複数個の色材に対応する複数個の成分値を含む色値に変換される。本実施例では、RGB値は、C(シアン)、M(マゼンタ)、Y(イエロ)、K(ブラック)の4個の成分値を含むCMYK値に変換される。
S40では、CPU210は、色変換処理後の処理済画像データに対してハーフトーン処理を実行して、ドットの形成状態を画素ごと、かつ、色材ごとに表すドットデータを生成する。
S50では、CPU210は、ドットデータを用いて印刷ジョブを生成する。例えば、CPU210は、ドットデータを、プリンタ部130を用いて印刷を行う際に用いられる順番に並べ替える処理と、ドットデータにプリンタ制御コードやデータ識別コードを付加する処理と、を実行する。この結果、複合機100によって解釈可能な印刷ジョブが生成される。S60では、CPU210は、生成された印刷ジョブを、複合機100に出力する。複合機100のプリンタ部130は、計算機200から出力された印刷ジョブに基づいて画像を印刷する。
A−3:ラスタライズ処理
図2のS20のラスタライズ処理について説明する。図4は、第1実施例のラスタライズ処理のフローチャートである。S100では、CPU210は、対象画像データIDに含まれる複数個のオブジェクトデータOD1〜OD3の中から、処理対象の1個のオブジェクトデータを選択する。S105では、CPU210は、処理対象のオブジェクトデータが、ベクトルデータであるか否かを判断する。
処理対象のオブジェクトデータがベクトルデータである場合には(S105:YES)、S110にて、CPU210は、処理対象のオブジェクトデータに含まれるコマンドを解釈することによって、処理対象のオブジェクトデータをキャンバス上に展開する展開処理を実行する。キャンバスは、例えば、生成すべき処理済画像と同一サイズを有し、全ての画素の値が初期値を有するRGB画像である。したがって、展開処理によって生成される処理済みデータは、例えば、処理対象のオブジェクトデータが、第2の文字Tx2(第2オブジェクトOb2)を示す第2オブジェクトデータOD2である場合には、第2の文字Tx2を示すRGB画像データである。処理済みデータによって示される画像、例えば、第2の文字Tx2を含む画像は、例えば、背景の色を示す背景色値を有する背景画素と、文字の色を示す文字色値を有する文字画素と、の2種類の画素を含む。そして、当該画像は、背景色値と、文字色値と、の間の階調を示す値を有する中間画素を含まない。このために、当該画像によって示される第2の文字Tx2のエッジのエッジ強度は、比較的高い。
なお、処理対象のオブジェクトデータが、描画Dr(第3オブジェクトOb3)を示す第3オブジェクトデータOD3である場合には、描画Drを示すRGB画像データが、処理済みデータとして生成される。
処理対象のオブジェクトデータがベクトルデータでない場合、すなわち、処理対象のオブジェクトデータがビットマップデータである場合には(S105:YES)、S115にて、CPU210は、処理対象のオブジェクトデータをキャンバス上に展開する展開処理を実行する。例えば、処理対象のオブジェクトデータが、図3(A)の写真Pcと第1の文字Tx1とを含む第1オブジェクトOb1を示す第1オブジェクトデータOD1である場合には、第1オブジェクトデータOD1に含まれるJPEGデータが展開される。この結果、第1オブジェクトOb1を示すRGB画像データが生成される。なお、処理対象のオブジェクトデータが、圧縮されていないRGB画像データを含む場合には、キャンバス上にそのまま配置される。
S120では、CPU210は、S115にて生成済みのRGB画像データに対して、文字領域特定処理を実行する。文字領域特定処理は、RGB画像データによって示されるRGB画像内において、文字を含む1個以上の文字領域を特定する処理である。例えば、CPU210は、公知のエッジ検出フィルタをスキャンデータに適用して、RGB画像内のエッジを抽出して、エッジ量が基準より多い領域をオブジェクト領域として特定する。CPU210は、特定された1以上のオブジェクト領域のうち、文字としての特徴を有する領域を、文字領域として特定する。文字としての特徴は、例えば、色数が基準より少なく、かつ、背景色とは異なる色を有するオブジェクト画素の割合が基準より小さいことである。なお、文字領域特定処理は、例えば、様々な公知の手法を採用することができ、公知の手法は、例えば、特開2013−030090号公報、特開平5−225378号公報、特開2002−288589号公報に開示されている。
例えば、S115にて展開されたRGB画像データによって示される画像が、図3(A)の第1オブジェクトOb1である場合には、第1オブジェクトOb1内の第1の文字Tx1を含む文字領域TAが特定される。S115にて展開されたRGB画像データによって示される画像に文字が含まれない場合には、文字領域は特定されない。
S125では、CPU210は、文字領域特定処理によって特定された文字領域があるか否かを判断する。特定された文字領域がある場合には(S125:NO)、S130にて、CPU210は、展開されたRGB画像データに対して、文字変換処理を実行する。文字変換処理の詳細は、後述する。特定された文字領域がない場合には(S125:NO)、S130の処理はスキップされる。以上の説明から解るように、処理対象のオブジェクトデータが、第1の文字Tx1を含む第1オブジェクトOb1を示す第1オブジェクトデータOD1である場合には、処理済みデータは、RGB画像データに展開された後に、文字変換処理が実行されたデータである。
S140では、CPU210は、対象画像データIDに含まれる全てのオブジェクトデータを処理したか否かを判断する。未処理のオブジェクトデータがある場合には(S140:YES)、CPU210は、S100に戻って、次のオブジェクトデータを選択する。全てのオブジェクトデータを処理した場合には(S140:YES)、CPU210は、ラスタライズ処理を終了する。
ラスタライズ処理後の処理済画像データによって示される処理済画像は、図3(A)の対象画像OIと同様に、オブジェクトOb1〜Ob3を含む画像、すなわち、第1の文字Tx1と、第2の文字Tx2と、写真Pcと、描画Drと、を含む画像となる。ここで、処理済画像内の第1の文字Tx1は、上述したS130の文字変換処理によって、対象画像OI内の第1の文字Tx1のエッジ強度より高いエッジ強度を有する。
A−4:文字変換処理
図4のS130の文字変換処理について説明する。図5は、第1実施例の文字変換処理のフローチャートである。S205では、CPU210は、文字領域特定処理によって特定された文字領域(例えば、図3(A)の文字領域TA)内の画像に対して、文字認識処理を実行する。
文字認識処理は、公知のOCR(Optical Character Reader)技術を用いて、画像データを解析することによって、画像内の文字を示す文字情報を生成する処理である。生成される文字情報は、例えば、画像内の文字の識別情報である文字コードと、画像内の文字の位置を示す位置情報と、文字のサイズを示す情報と、文字のフォントを示す情報と、文字の色を示す情報と、を含む。
S210では、CPU210は、S130の文字認識処理の結果、文字認識の成功率は、基準以上であるか否かを判断する。文字認識処理では、文字領域に含まれる各文字について、文字認識が成功した場合には、その文字の情報が出力され、文字認識が失敗した場合には、失敗した旨を示す情報が出力される。CPU210は、文字領域に含まれる文字の総数に対する、文字認識が成功した文字の個数の割合Trを算出する。CPU210は、当該割合Trが、予め定められた基準(例えば、80%)以上であるか否かを判断する。
文字認識の成功率が、基準以上である場合には(S210:YES)、S215にて、CPU210は、文字領域内の文字を消去する。図3(A)の例では、文字領域TA内の第1の文字Tx1が、一旦、消去される。具体的には、CPU210は、文字領域の背景の色を示す背景色値を特定し、文字領域内の全ての画素の値を、背景色値に置換する。背景色値には、例えば、文字領域の複数個の画素の各成分の最頻値(Rbg、Gbg、Bbg)が用いられる。
S220では、CPU210は、生成済みの文字情報を用いて、文字領域内に、文字を、再度、生成する。具体的には、CPU210は、文字を構成する文字画素を、文字情報によって示されるサイズ、色、フォントを有する文字を形成するように、文字領域内に配置する。図3(A)の例では、文字領域TA内に、再度、第1の文字Tx1が生成される。
例えば、S220で、再度、文字が生成された後の文字領域内の画像は、例えば、背景色値を有する背景画素と、文字色値を有する文字画素と、の2種類の画素を含む。そして、当該画像は、背景色値と、文字色値と、の間の階調を示す値を有する中間画素を含まない。これに対して、S215にて、文字が消去される前の文字領域TA内の画像は、JPEGデータによって表される文字を含むので、背景画素と文字画素とに加えて、中間画素を含む。このために、このために、S215、S220の処理後の文字領域TA内の文字のエッジ強度は、S215、S220の処理前の文字領域TA内の文字のエッジ強度より高い。
文字認識の成功率が、基準未満である場合には(S210:NO)、S230にて、CPU210は、中間色領域除去処理を実行する。図6は、中間色領域除去処理の説明図である。図6(A)には、文字領域内の文字の例として、文字Txが図示されている。図6(B)には、図6(A)のラスタラインL1上の画素の値を示すグラフである。ラスタラインL1は、文字Txを横断する横方向(図6(A)のX方向)に沿ったラスタラインである。図6(B)には、1個の成分(例えば、R成分)について図示されているが、他の成分についてもほぼ同様のグラフとなる。ラスタラインL1上の画素は、背景色値Bvを有する背景画素と、文字色値Tvを有する文字画素と、背景色値Bvと文字色値Tvとの間の階調を示す値を有する中間画素と、を含む。図6(B)には、複数個の背景画素によって構成される背景色領域BCと、複数個の文字画素によって構成される文字色領域TCと、複数個の中間画素によって構成される中間色領域MCと、が図示されている。中間色領域MCは、背景色領域BCと文字色領域TCとの間に位置している。
第1実施例の中間色領域除去処理では、CPU210は、文字領域内の全てのラスタラインにおいて、複数個の中間画素のそれぞれを、背景画素に置換することによって、中間画素を除去する。この結果、図6(C)に示すように、例えば、処理後のラスタラインL1上において、中間色領域MCが除去される。図6(C)に示すように、中間画素が除去されることによって、文字と背景との間のエッジ近傍において、背景色値Bvから文字色値Tvへと変化する勾配が、処理前と比較して大きくなる。この結果、処理後の文字領域内の文字のエッジ強度が、処理前と比較して高くなる。
以上の説明から解るように、文字変換処理によって、処理済みの文字領域内の文字のエッジ強度は、処理前の文字領域内の文字のエッジ強度と比較して高くなる。文字変換処理は、第1オブジェクトデータOD1によって示される画像内の文字を、第1オブジェクトデータOD1のエッジ強度よりも高いエッジ強度を有する文字に変換する処理である、と言うことができる。
以上説明した第1実施例によれば、CPU210は、ビットマップ形式で第1の文字Tx1を表現する第1オブジェクトデータOD1と、ベクトル形式で第2の文字Tx2を表現する第2オブジェクトデータOD2と、を含む対象画像データIDを取得する(図2のS10)。CPU210は、ラスタライズ処理によって、第1の文字Tx1と第2の文字Tx2とを含む処理済画像を示す処理済画像データを生成する(図2のS20)。ラスタライズ処理では、CPU210は、第1オブジェクトデータOD1を解析して、オブジェクトデータOD1によって示される画像(例えば、第1オブジェクトOb1)において、第1の文字Tx1を特定する(図4のS120)。そして、CPU210は、以下の(A1)、(B1)の2つの処理済みデータを含む処理済画像データを生成する。
(A1)第1の文字Tx1を示す処理済みデータであって、図4のS130にて文字変換処理が実行された処理済みデータ。
(B1)第2の文字Tx2を示す処理済みデータであって、文字変換処理が実行されていない、すなわち、エッジ強度が変更されていない処理済みデータ。
ビットマップ形式で表現される第1の文字Tx1のエッジ強度は、ベクトル形式で表現される第2の文字Tx2のエッジ強度より低くなりがちである。これは、上述したように、ビットマップ形式で表現される文字画像は、文字画素と背景画素とに加えて、中間画素を含み得るためである。このために、仮に、対象画像データIDを、単純に、RGB画像データに展開すると、該RGB画像データによって示される画像では、第1の文字Tx1のエッジ強度が、第2の文字Tx2のエッジ強度より低くなる。このような画像は、例えば、第1の文字Tx1が、第2の文字Tx2よりもぼけているように見えるので、観察者に違和感を生じさせ得る。
第1実施例によれば、ラスタライズ処理によって生成される処理済画像データは、上記(A1)の処理済みデータと、(B1)の処理済みデータと、を含む。この結果、処理済画像において、第1の文字Tx1と第2の文字Tx2とのエッジ強度が近づくので、第1の文字Tx1と第2の文字Tx2との見栄えの差を低減できる。この結果、処理済画像に生じる違和感を低減することができる。ひいては、処理済画像データを用いて、印刷される画像に生じる違和感を低減することができる。
第1実施例において、図5の文字変換処理は、オブジェクトデータOD1に対して文字認識処理を実行することによって、第1の文字Tx1の文字コードを含む文字情報を生成する処理(S205)と、該文字情報を用いて、(A1)の処理済データを生成する処理(S220)と、を含む。文字情報は、オブジェクトデータOD1に代えて、第1の文字Tx1を表現する情報である、と言うことができる。この結果、処理済画像における第1の文字Tx1のエッジ強度を適切に高くすることができる。
さらに、図5の文字変換処理は、オブジェクトデータOD1によって示されるビットマップ画像(RGB画像)内において、第1の文字Tx1のエッジに沿う複数個の中間画素の個数を減少させる処理(S230の中間色領域除去処理)を含む。この結果、第1の文字Tx1のエッジに沿う中間画素の個数を減少させることによって、処理済画像における第1の文字Tx1のエッジ強度を適切に高くすることができる。
さらに、第1実施例では、オブジェクトデータOD1に対して文字認識処理が実行された結果、文字認識の成功率が基準以上である場合に(S210:YES)、文字認識処理(S205)を実行して得られる文字情報を用いて処理済データを生成する処理(S220)を含む文字変換処理が実行される。そして、文字認識の成功率が基準未満である場合に(S210:NO)、文字情報を用いることなく実行される中間色領域除去処理(S230)を含む文字変換処理が実行される。この結果、文字認識の成功率に基づいて、文字認識処理を利用する文字変換処理と、文字認識処理を利用しない文字変換処理と、を適切に使い分けることができる。したがって、処理済画像における第1の文字Tx1のエッジ強度をより適切に高くさせることができる。
ここで、エッジ強度は、文字画素と、背景画素と、の境界(エッジ)において、文字色値から背景色値に至る値の変化の勾配(変化率)が高いほど、高くなる。したがって、エッジ強度は、文字画素と、背景画素と、の境界において、中間画素が存在する中間色領域の幅が小さいほど、高くなる。また、エッジ強度は、文字と背景とのコントラストが高いほど高くなる。なお、エッジ強度は、公知のsobelフィルタを適用することで、算出することができる。
以上の説明から解るように、オブジェクトデータOD1は、第1の部分画像データの例であり、第2オブジェクトデータOD2は、第2の部分画像データの例である。また、(A1)の処理済みデータは、第1の処理済みデータの例であり、(B1)の処理済みデータは、第2の処理済みデータの例である。
B.第2実施例:
B−1.対象画像データ
図7は、第2実施例の対象画像OIb(図7(A))と、対象画像データIDb(図7(B))と、の一例を示す図である。図7(A)の対象画像OIbは、図3(A)の対象画像OIと同様に、文字Tx1、Tx2と、描画Drと、写真Pcと、背景Bgと、を含む。
図7(B)の対象画像データIDbは、いわゆる高圧縮PDFファイルである。図7(B)の対象画像データIDbは、背景画像BIを示す圧縮済の背景画像データBDと、第2の文字Tx2を示す圧縮済の文字二値データTDと、を含んでいる。対象画像データIDbは、さらに、第2の文字Tx2の色を示す文字色値と、背景画像BIにおける第2の文字Tx2の位置を示す座標情報と、を含んでいる。
対象画像データIDbは、例えば、対象画像OIbを示す元画像データを用いて、所定の計算機によって、以下のように生成される。元画像データは、例えば、原稿を光学的に読み取ることによって生成されるスキャンデータなどのRGB画像データである。RGB画像データの各画素の値の階調数は、例えば、256階調である。所定の計算機は、例えば、スキャンデータを生成するスキャナのCPUである。計算機は、元画像データを解析して、対象画像OIb内の文字領域を特定し、当該文字領域内の文字を構成する複数個の文字画素を特定する。計算機は、当該文字画素を示す文字二値データTDを生成する。計算機は、元画像データにおいて、特定された文字画素の値を背景色値に置換することによって、対象画像OIbから文字が消去された背景画像BIを示す背景画像データBDを生成する。計算機は、文字二値データTDを二値データの圧縮に適したFAXG3方式で圧縮し、背景画像データBDを多値データの圧縮に適したJPEG方式で圧縮する。計算機は、これらの圧縮済みのデータTD、BDを文字色値と座標情報とともに、PDFファイルに格納して、対象画像データIDbを生成する。背景画像データBD(RGB画像データ)、文字二値データTDは、いずれもビットマップ形式の画像データである。ただし、背景画像データBDは、例えば、256階調の画素の値を有し、文字二値データTDは、背景画像データBDより少ない2階調の画素の値を有する。
ここで、背景画像データBDによって示される背景画像BIは、背景Bgと、写真Pcと、描画Drと、第1の文字Tx1と、を含み、第2の文字Tx2を含んでいない。このように、第1の文字Tx1は、文字であるにも関わらずに、背景画像BIに含まれている。この理由は、例えば、上述した対象画像データIDbの生成過程において、対象画像OIb内の文字領域を特定する際に、第1の文字Tx1を含む文字領域の特定に失敗したからである。
第2実施例では、このように予め生成された対象画像データIDbが、図2のS10にて、印刷すべき画像を示す画像データとして取得される。
B−2.ラスタライズ処理
第2実施例では、ラスタライズ処理の内容が、第1実施例とは異なる。他の処理は、第1実施例と同様であるので、説明を省略する。
図8は、第2実施例のラスタライズ処理のフローチャートである。S300では、CPU210は、対象画像データIDbに含まれる背景画像データBDを、処理対象として選択する。S305では、CPU210は、圧縮済みの背景画像データBDを展開して、展開された背景画像データBD(RGB画像データ)を生成する。
S310では、CPU210は、展開された背景画像データBDに対して、図4のS120と同様の文字領域特定処理を実行する。背景画像データBDによって示される背景画像BIが、例えば、図3(A)の例のように、第1の文字Tx1を含む場合には、文字Tx1を含む文字領域TAが特定される。背景画像BIに文字が含まれない場合には、文字領域は特定されない。
S315では、CPU210は、文字領域特定処理によって特定された文字領域があるか否かを判断する。特定された文字領域がない場合には(S320:NO)、S325にて、CPU210は、拡大処理を実行する。この拡大処理は、背景画像データBDによって示される背景画像BIを、生成すべき処理済画像のサイズに応じて拡大する処理である。生成すべき処理済画像のサイズは、印刷すべき画像のサイズであり、印刷解像度に基づいて決定される。拡大処理の拡大率ERは、縦方向および横方向の画素数の増加率である。本実施例では、拡大処理の拡大率ERは、例えば、2倍(200%)である(ER=2)。この場合には、拡大処理によって、横方向の画素数が2倍となり、かつ、縦方向の画素数が、2倍となるように、拡大処理が実行される。
特定された文字領域がある場合には(S315:YES)、S320にて、CPU210は、展開された背景画像データBDに対して、文字変換処理Aを実行する。文字変換処理Aの詳細は、後述する。文字変換処理Aは、上述した拡大処理を含む。
以上説明したS300〜S325にて、背景画像BIを示す処理済みデータが生成される。
S330では、CPU210は、対象画像データIDbに含まれる1個の文字二値データTDを、処理対象として選択する。S335では、CPU210は、圧縮済みの文字二値データTDを展開して、展開された文字二値データTDを生成する。
S340では、CPU210は、展開された文字二値データTDによって示される文字、例えば、図7(A)の第2の文字Tx2を、S300〜S325にて生成済みの処理済みデータによって示される背景画像BI上に配置する。CPU210は、例えば、第2の文字Tx2を背景画像BIのサイズに応じて拡大する。CPU210は、拡大済みの第2の文字Tx2を、座標情報によって示される位置に、文字色値によって示される色で、背景画像BI上に配置する。背景画像BIは、RGB画像データで示されるから、第2の文字Tx2は、文字二値データからRGB画像データに変換されたうえで、背景画像BI上に配置される。
S345では、CPU210は、背景画像BI上に配置された第2の文字Tx2に対して文字変換処理Bを実行する。文字変換処理Bの詳細は、後述する。
S350では、CPU210は、対象画像データIDbに含まれる全ての文字二値データを処理したか否かを判断する。図7(B)の例では、対象画像データIDbに含まれる文字二値データは1個であるが、高圧縮PDFファイルである対象画像データは、複数個の文字二値データを含み得る。
未処理の文字二値データがある場合には(S350:NO)、CPU210は、S330に戻って、未処理の文字二値データを選択する。全ての文字二値データを処理した場合には(S350:YES)、ラスタライズ処理は終了される。以上のラスタライズ処理によって、対象画像データIDbを用いて、第1の文字Tx1と第2の文字Tx2とを含む処理済画像を示す処理済画像データが生成される。
B−3.文字変換処理A
図8のS320の文字変換処理Aについて説明する。図9は、第2実施例の文字変換処理Aのフローチャートである。
S405では、CPU210は、図8のS325と同様に、拡大率ERで、展開された背景画像データBDを拡大する拡大処理を実行する。
S410では、CPU210は、拡大処理の拡大率ERに応じて、補正パラメータAPを決定する。補正パラメータAPは、例えば、拡大率ERの逆数に決定される(AP=1/ER)。本実施例では、上述したように、拡大率ERは、2倍であるので、補正パラメータAPは、1/2に決定される。
S415では、CPU210は、拡大済みの背景画像BIにおいて、文字領域(例えば、図7(A)の文字領域TA)内の画像を解析して、中間色領域MCの幅Wmcを特定する。図6(A)、(B)を例として、具体的に説明する。CPU210は、文字領域TA内の文字Tx(図6(A))を横断するラスタラインL1上の複数個の画素を解析することによって、図6(B)に示す中間色領域MCの幅Wmcを特定する。
S420では、CPU210は、補正パラメータAPに基づいて、中間色領域MCの一部分を除去する。具体的には、CPU210は、中間色領域MCのうち、文字色領域TC側の補正パラメータAP分の幅だけ残して、背景色領域BC側の残りの部分を除去する。中間色領域MCの除去は、図5のS230の中間色領域除去処理と同様に、除去対象の部分を構成する複数個の中間画素のそれぞれを、背景画素に置換することによって行われる。図6(D)は、補正パラメータAPが、1/2である場合の例である。この場合には、図6(D)に示すように、図6(B)の中間色領域MCのうち、文字色領域TC側の1/2だけ残して、背景色領域BC側の1/2が除去される。なお、拡大率ERが3倍である場合には、補正パラメータAPが、1/3である。したがって、この場合には、図6(B)の中間色領域MCのうち、文字色領域TC側の1/3だけ残して、背景色領域BC側の2/3が除去される(図示省略)。
以上の説明から解るように、文字変換処理Aでは、CPU210は、拡大処理の拡大率ERが第1の拡大率(例えば、2倍)である場合には、第1の幅(例えば、1/2の幅)分だけ複数個の中間画素の個数を減少させる。そして、CPU210は、拡大処理の拡大率ERが第1の拡大率より大きな第2の拡大率(例えば、3倍)である場合には、第1の幅より広い第2の幅(例えば、2/3の幅)分だけ複数個の中間画素の個数を減少させる。
具体的には、文字変換処理Aでは、CPU210は、拡大処理の拡大率ERが、M倍(M>1)である場合には、中間色領域MCの{1−(1/M)}の幅分だけ複数個の中間画素の個数を減少させる。
この結果、拡大率ERに応じて、適切な幅分の複数個の画素の値が変更されるので、処理済画像において、例えば、文字領域TA内の第1の文字Tx1(図7(A))のエッジ強度を適切に高くすることができる。具体的には、拡大処理が実行されると、文字のエッジのぼけた部分、すなわち、中間色領域MCも拡大される。このために、拡大済みの画像では、文字のぼけが目立ち得る。文字変換処理Aでは、拡大処理の拡大率ERに応じて、中間画素の個数が減少されるので、拡大済みの画像の文字のぼけの程度が、拡大前の画像と同程度になるように、拡大済みの画像の文字のエッジ強度を高くすることができる。
以上の説明から解るように、文字変換処理Aは、背景画像BI内の文字を、背景画像データBDのエッジ強度よりも高いエッジ強度を有する文字に変換する処理である、と言うことができる。
B−4.文字変換処理B
図8のS345の文字変換処理Bについて説明する。図10は、第2実施例の文字変換処理Bのフローチャートである。
S505では、S510の平滑化処理で用いられる平滑化パラメータSPを決定する。平滑化パラメータSPには、例えば、平滑化フィルタのサイズP(Pは、3以上の奇数)が用いられる。平滑化フィルタは、例えば、注目画素を中心とする縦P個×横P個のサイズを有し、フィルタの範囲内の画素の平均値を注目画素の値とするフィルタである。本実施例では、平滑化パラメータSPは、予め定められた値に決定される。
S510では、CPU210は、背景画像BI上に配置された文字二値データに基づく文字、例えば、図7(A)の第2の文字Tx2に対して、平滑化処理を実行する。平滑化処理は、例えば、処理対象の文字を含む領域内の複数個の画素に対して、上述した平滑化フィルタを適用することによって実行される。平滑化フィルタのサイズは、平滑化パラメータSPに基づいて決定される。
平滑化処理によって、処理対象の文字のエッジに沿って、中間画素によって構成される中間色領域MCが付加される。図11は、文字変換処理Bの説明図である。図11(A)は、文字変換処理Bの平滑化処理の処理対象となる文字について、図6(B)と同様に、文字を横断するラスタライン上の画素の値を示すグラフである。文字変換処理Bの処理対象となる文字は、文字二値データに基づく文字である。したがって、図11(A)に示すように、処理前の文字は、文字画素によって構成される文字色領域TCと、背景画素によって構成される背景色領域BCと、を含み、中間画素によって構成される中間色領域MCを含まない。
図11(B)には、平滑化処理が実行された後の文字について、図11(A)と同じラスタライン上の画素の値を示すグラフである。図11(B)に示すように、平滑化処理によって、文字色領域TCと背景色領域BCとの間のエッジに、中間画素によって構成される中間色領域MCが付加される。文字変換処理Bは、処理対象の文字に沿って、複数個の中間画素を増加させる処理である、と言うことができる。
以上の説明から解るように、文字変換処理Bによれば、処理対象の文字、例えば、図7(A)の第2の文字Tx2のエッジに沿う中間画素の個数を増加させることによって、処理済画像における文字のエッジ強度を適切に低くすることができる。
本実施例の文字二値データTDは、スキャンデータを二値化して得られたデータである。スキャンデータによって示される画像内の文字のエッジには、一般的に、ぼけた領域、すなわち、中間画素で構成される領域が存在する。このために、文字二値データTDによって示される第2の文字Tx2のエッジは、スムーズではなく、がたつきを含んでいる。したがって、文字二値データTDによって示される第2の文字Tx2に、中間色領域MCを付加することによってエッジ強度を低くすると、文字のエッジのがたつきを目立たなくするとともに、元画像の文字に近づけることができる。この結果、文字の見栄えを向上することができる。
以上の説明から解るように、文字変換処理Bは、文字二値データTDによって示される文字を、文字二値データTDのエッジ強度よりも低いエッジ強度を有する文字に変換する処理である、と言うことができる。
以上説明した第2実施例によれば、CPU210は、256階調のビットマップ形式で第1の文字Tx1を含む背景画像BIを示す背景画像データBDと、2階調のビットマップ形式で第2の文字Tx2を含む画像を示す文字二値データTDと、を含む対象画像データIDbを取得する。CPU210は、図8のラスタライズ処理によって、第1の文字Tx1と第2の文字Tx2とを含む処理済画像を示す処理済画像データを生成する。ラスタライズ処理では、CPU210は、背景画像データBDを解析して、背景画像データBDによって示される背景画像BIにおいて、第1の文字Tx1を特定する(図8のS310)。そして、CPU210は、以下の(A2)、(B2)の2つの処理済みデータを含む処理済画像データを生成する。
(A2)第1の文字Tx1を示す処理済みデータであって、図8のS320にて文字変換処理Aが実行された処理済みデータ。
(B2)第2の文字Tx2を示す処理済みデータであって、図8のS345にて文字変換処理Bが実行された処理済みデータ。
256階調で表現される第1の文字Tx1のエッジ強度は、2階調で表現される第2の文字Tx2のエッジ強度より低くなりがちである。これは、256階調で表現される文字画像は、文字画素と背景画素とに加えて、中間画素を含み得るためである。このために、仮に、対象画像データIDbを、単純に、RGB画像データに展開すると、第1実施例と同様に、該RGB画像データによって示される画像では、第1の文字Tx1のエッジ強度が、第2の文字Tx2のエッジ強度より低くなる。このような画像は、例えば、第1の文字Tx1が、第2の文字Tx2よりもぼけているように見えるので、観察者に違和感を生じさせ得る。
第2実施例によれば、ラスタライズ処理によって生成される処理済画像データは、上記(A2)の処理済みデータと、(B2)の処理済みデータと、を含む。この結果、処理済画像において、第1の文字Tx1と第2の文字Tx2とのエッジ強度が近づくので、第1の文字Tx1と第2の文字Tx2との見栄えの差を低減できる。この結果、処理済画像に生じる違和感を低減することができる。ひいては、処理済画像データを用いて、印刷される画像に生じる違和感を低減することができる。
以上の説明から解るように、背景画像データBDは、第1の部分画像データの例であり、文字二値データTDは、第2の部分画像データの例である。また、(A2)の処理済みデータは、第1の処理済みデータの例であり、(B2)の処理済みデータは、第2の処理済みデータの例である。
C.変形例:
(1)上記第1実施例のオブジェクトデータOD1や第2実施例の背景画像データBDの階調数は、256階調に限られず、例えば、64階調や128階調であっても良い。一般的には、第1実施例のオブジェクトデータOD1や第2実施例の背景画像データBDの階調数は、3階調以上の階調数であれば良い。
(2)上記第1実施例の文字変換処理や第2実施例の文字変換処理Aに代えて、処理対象の画像内の文字のエッジ強度を高くする他の処理が実行されても良い。また、第2実施例の文字変換処理Bに代えて、処理対象の画像内の文字のエッジ強度を低くする他の処理が実行されても良い。エッジ強度を高くする他の処理としては、画像内のコントラストを高くする公知のコントラスト調整処理や、画像内のノイズを除去する公知のノイズ除去処理が採用され得る。また、エッジ強度を低くする他の処理としては、画像内のコントラストを低くする公知のコントラスト調整処理や、画像にノイズを付加するノイズ付加処理が採用され得る。
(3)上記第2実施例では、文字変換処理Aと文字変換処理Bとの両方を実行して、処理済み画像において、第1の文字Tx1と、第2の文字Tx2と、のエッジ強度を近づけている。これに代えて、文字変換処理Bを省略して、文字変換処理Aのみを実行することで、第1の文字Tx1と、第2の文字Tx2と、のエッジ強度を近づけても良い。換言すれば、(B2)の処理済みデータは、第2の文字Tx2を示す処理済みデータであって、文字二値データTDのエッジ強度が変更されていない処理済みデータであっても良い。なお、この場合には、例えば、文字変換処理Aに代えて、第1実施例の文字変換処理が実施されても良い。
(4)上記第1実施例の文字変換処理(図5)では、文字認識処理の成功率に基づいて、文字認識処理を利用する文字変換処理(S215、S220)と、文字認識処理を利用しない文字変換処理(S230)と、を使い分けている。これに代えて、例えば、ユーザの指示に基づいて、これらの2種類の文字変換処理を使い分けても良い。この場合には、例えば、CPU210は、図8のS205の後に、UI画面を表示して、ユーザに文字認識処理の結果を表示する。CPU210は、該UI画面を介して、2種類の文字変換処理のいずれを用いるかの指示をユーザから取得する。CPU210は、その後に、ユーザによって指示された文字変換処理を実行する。
(5)上記各実施例では、図2のS20にて生成された処理済画像データを用いて、印刷ジョブの生成・出力が行われ(S50、S60)、処理済画像の印刷が行われる。これに代えて、S20にて生成された処理済画像データを用いて、処理済画像の表示部270への表示が行われても良い。また、処理済画像データは、例えば、PDFファイルに格納されて、不揮発性記憶装置220に保存されても良い。
(6)図8の文字変換処理では、S205にて、文字認識処理を実行することによって、第1の文字Tx1の文字情報を取得している。例えば、対象画像データIDが、PDFファイルである場合には、第1の文字Tx1の文字情報が、予め付加されている場合がある。このような場合には、文字認識処理を省略して、予め付加された文字情報を取得しても良い。
(7)図10の文字変換処理Bでは、平滑化パラメータSPとして、平滑化フィルタのサイズPが用いられているが、これに代えて、平滑化フィルタの適用回数Nが用いられても良い。この場合には、S510の平滑化処理では、固定サイズの平滑化フィルタを、平滑化パラメータSPとしての適用回数N分だけ、処理対象の文字に対して適用する処理が実行される。
(8)図2の印刷処理を実行する画像処理装置としての計算機200は、パーソナルコンピュータとは異なる種類の装置、例えば、複合機100、デジタルカメラ、スキャナ、スマートフォンであってもよい。複合機100が図2の印刷処理を実行する場合には、処理済画像データを用いる印刷は、例えば、複合機100のプリンタ部130を用いて実行される。また、図2の印刷処理を実行する画像処理装置は、例えば、計算機200や複合機100から対象画像データを取得して画像処理を実行するサーバであっても良い。このようなサーバは、ネットワークを介して互いに通信可能な複数個の計算機であっても良い。この場合には、ネットワークを介して互いに通信可能な複数個の計算機の全体が、画像処理装置に対応する。
(9)上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図1の計算機200のCPU210が実行している処理の一部は、専用のハードウェア回路によって実現されてもよい。
以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。
100...複合機、110...制御部、120...スキャナ部、130...プリンタ部、200...計算機、210...CPU、220...不揮発性記憶装置、230...揮発性記憶装置、231...バッファ領域、260...操作部、270...表示部、280...通信部、CP...コンピュータプログラム

Claims (12)

  1. 第1の文字と第2の文字とを含む対象画像を示す対象画像データであって、ビットマップ形式で前記第1の文字を含む画像を示す第1の部分画像データと、ベクトル形式で前記第2の文字を含む画像を示す第2の部分画像データと、を含む複数個の部分画像データを含む前記対象画像データを取得する取得部と、
    前記複数個の部分画像データのそれぞれが前記ビットマップ形式のデータであるか前記ベクトル形式のデータであるかを判断する判断部と、
    前記複数個の部分画像データのうち、前記ビットマップ形式のデータであると判断される部分画像データに対して文字認識処理を含む第1処理を実行し、前記ベクトル形式のデータであると判断される部分画像データに対して前記文字認識処理を含まない第2処理を実行して、前記第1の文字と前記第2の文字とを含む処理済画像を示す処理済画像データを生成する生成部と、
    を備え、
    前記第1処理は、
    前記第1の部分画像データを解析して、前記第1の部分画像データによって示される画像内の文字領域を特定する特定処理と、
    前記文字領域に対する前記文字認識処理と、
    前記文字認識処理によって特定された前記第1の文字の文字コードを含む文字情報を用いて、前記第1の部分画像データの前記第1の文字のエッジ強度よりも高いエッジ強度を有する前記第1の文字を含む画像を示す第1の処理済データを生成する第1の変換処理と、
    を含み、
    前記第2処理は、前記第2の部分画像データの前記第2の文字のエッジ強度変更せずに、前記第2の文字を含む画像を示す第2の処理済データを生成する処理を含み、
    前記処理済画像データは、前記第1の処理済データと前記第2の処理済データとを含む、画像処理装置。
  2. 第1の文字と第2の文字とを含む対象画像を示す対象画像データであって、ビットマップ形式で前記第1の文字を含む画像を示す第1の部分画像データと、ベクトル形式で前記第2の文字を含む画像を示す第2の部分画像データと、を含む前記対象画像データを取得する取得部と、
    前記第1の部分画像データを解析して、前記第1の部分画像データによって示される画像において、前記第1の文字を特定する特定部と、
    前記対象画像データを用いて、前記第1の文字と前記第2の文字とを含む処理済画像を示す処理済画像データを生成する生成部であって、前記処理済画像データは、(A)前記第1の文字を含む画像を示す第1の処理済データであって、前記第1の部分画像データのエッジ強度よりも高いエッジ強度を有する文字に変換する第1の変換処理が実行された前記第1の処理済データと、(B)前記第2の文字を含む画像を示す第2の処理済データであって、前記第2の部分画像データのエッジ強度が変更されていない前記第2の処理済データと、を含む、前記生成部と、
    を備え
    前記第1の変換処理は、前記第1の部分画像データによって示される画像内において、前記第1の文字のエッジに沿う複数個の中間画素であって、前記第1の文字の色を示す値と、背景の色を示す値と、の間の階調を示す値を有する前記複数個の中間画素の個数を減少させる処理である、画像処理装置。
  3. 第1の文字と第2の文字とを含む対象画像を示す対象画像データであって、第1の階調数のビットマップ形式で前記第1の文字を含む画像を示す第1の部分画像データと、前記第1の階調数より少ない第2の階調数のビットマップ形式で前記第2の文字を含む画像を示す第2の部分画像データと、を含む前記対象画像データを取得する取得部と、
    前記第1の部分画像データを解析して、前記第1の部分画像データによって示される画像において、少なくとも前記第1の文字を特定する特定部と、
    前記対象画像データを用いて、前記第1の文字と前記第2の文字とを含む処理済画像を示す処理済画像データを生成する生成部であって、前記処理済画像データは、(A)前記第1の文字を含む画像を示す第1の処理済データであって、前記第1の部分画像データのエッジ強度よりも高いエッジ強度を有する文字に変換する第1の変換処理が実行された前記第1の処理済データと、(B)前記第2の文字を含む画像を示す第2の処理済データであって、前記第2の部分画像データのエッジ強度が変更されていない、または、前記第2の部分画像データのエッジ強度よりも低いエッジ強度を有する文字に変換する第2の変換処理が実行された前記第2の処理済データと、を含む、前記生成部と、
    を備える画像処理装置。
  4. 請求項に記載の画像処理装置であって、
    前記第1の変換処理は、前記第1の部分画像データに対して文字認識処理を実行することによって、前記第1の文字の文字コードを含む文字情報であって、前記第1の部分画像データに代えて前記第1の文字を表現する前記文字情報を生成する処理と、前記文字情報を用いて、前記第1の処理済データを生成する処理と、を含む、画像処理装置。
  5. 請求項3に記載の画像処理装置であって、
    前記第1の変換処理は、前記第1の部分画像データによって示される画像内において、前記第1の文字のエッジに沿う複数個の中間画素であって、前記第1の文字の色を示す値と、背景の色を示す値と、の間の階調を示す値を有する前記複数個の中間画素の個数を減少させる処理である、画像処理装置。
  6. 請求項2または5に記載の画像処理装置であって、
    前記生成部は、前記処理済画像のサイズに応じて、前記第1の部分画像データによって示される画像を拡大する拡大処理を実行し、
    前記第1の変換処理は、前記拡大処理の拡大率が第1の拡大率である場合には、第1の幅分だけ前記複数個の中間画素の個数を減少させ、前記拡大処理の拡大率が前記第1の拡大率より大きな第2の拡大率である場合には、前記第1の幅より広い第2の幅分だけ前記複数個の中間画素の個数を減少させる処理である、画像処理装置。
  7. 請求項に記載の画像処理装置であって、
    前記生成部は、
    第1の場合には、前記第1の部分画像データに対して文字認識処理を実行することによって得られる前記第1の文字の文字コードを含む文字情報であって、前記第1の部分画像データに代えて前記第1の文字を表現する前記文字情報を生成する処理と、前記文字情報を用いて、前記第1の処理済データを生成する処理と、を含む前記第1の変換処理を実行し、
    第2の場合には、前記第1の部分画像データによって示される画像内において、前記第1の文字のエッジに沿う複数個の中間画素であって、前記第1の文字の色を示す値と、背景の色を示す値と、の間の階調を示す値を有する前記複数個の中間画素の個数を減少させる前記第1の変換処理を実行する、画像処理装置。
  8. 請求項に記載の画像処理装置であって、
    前記第1の場合は、前記第1の部分画像データに対して前記文字認識処理が実行された結果、文字認識の成功率が基準以上である場合であり、
    前記第2の場合は、前記第1の部分画像データに対して前記文字認識処理が実行された結果、文字認識の成功率が前記基準未満である場合である、画像処理装置。
  9. 請求項に記載の画像処理装置であって、
    前記第2の変換処理は、前記第2の部分画像データによって示される画像内において、前記第2の文字のエッジに沿う複数個の画素であって、前記第2の文字の色を示す値と、背景の色を示す値と、の間の階調を示す値を有する前記複数個の画素の個数を増加させる処理である、画像処理装置。
  10. 第1の文字と第2の文字とを含む対象画像を示す対象画像データであって、ビットマップ形式で前記第1の文字を含む画像を示す第1の部分画像データと、ベクトル形式で前記第2の文字を含む画像を示す第2の部分画像データと、を含む複数個の部分画像データを含む前記対象画像データを取得する取得機能と、
    前記複数個の部分画像データのそれぞれが前記ビットマップ形式のデータであるか前記ベクトル形式のデータであるかを判断する判断機能と、
    前記複数個の部分画像データのうち、前記ビットマップ形式のデータであると判断される部分画像データに対して文字認識処理を含む第1処理を実行し、前記ベクトル形式のデータであると判断される部分画像データに対して前記文字認識処理を含まない第2処理を実行して、前記第1の文字と前記第2の文字とを含む処理済画像を示す処理済画像データを生成する生成機能と、
    をコンピュータに実現させ、
    前記第1処理は、
    前記第1の部分画像データを解析して、前記第1の部分画像データによって示される画像内の文字領域を特定する特定処理と、
    前記文字領域に対する前記文字認識処理と、
    前記文字認識処理によって特定された前記第1の文字の文字コードを含む文字情報を用いて、前記第1の部分画像データの前記第1の文字のエッジ強度よりも高いエッジ強度を有する前記第1の文字を含む画像を示す第1の処理済データを生成する第1の変換処理と、
    を含み、
    前記第2処理は、前記第2の部分画像データの前記第2の文字のエッジ強度変更せずに、前記第2の文字を含む画像を示す第2の処理済データを生成する処理を含み、
    前記処理済画像データは、前記第1の処理済データと前記第2の処理済データとを含む、コンピュータプログラム。
  11. 第1の文字と第2の文字とを含む対象画像を示す対象画像データであって、ビットマップ形式で前記第1の文字を含む画像を示す第1の部分画像データと、ベクトル形式で前記第2の文字を含む画像を示す第2の部分画像データと、を含む前記対象画像データを取得する取得機能と、
    前記第1の部分画像データを解析して、前記第1の部分画像データによって示される画像において、前記第1の文字を特定する特定機能と、
    前記対象画像データを用いて、前記第1の文字と前記第2の文字とを含む処理済画像を示す処理済画像データを生成する生成機能であって、前記処理済画像データは、(A)前記第1の文字を含む画像を示す第1の処理済データであって、前記第1の部分画像データのエッジ強度よりも高いエッジ強度を有する文字に変換する第1の変換処理が実行された前記第1の処理済データと、(B)前記第2の文字を含む画像を示す第2の処理済データであって、前記第2の部分画像データのエッジ強度が変更されていない前記第2の処理済データと、を含む、前記生成機能と、
    をコンピュータに実現させ
    前記第1の変換処理は、前記第1の部分画像データによって示される画像内において、前記第1の文字のエッジに沿う複数個の中間画素であって、前記第1の文字の色を示す値と、背景の色を示す値と、の間の階調を示す値を有する前記複数個の中間画素の個数を減少させる処理である、コンピュータプログラム。
  12. 第1の文字と第2の文字とを含む対象画像を示す対象画像データであって、第1の階調数のビットマップ形式で前記第1の文字を含む画像を示す第1の部分画像データと、前記第1の階調数より少ない第2の階調数のビットマップ形式で前記第2の文字を含む画像を示す第2の部分画像データと、を含む前記対象画像データを取得する取得機能と、
    前記第1の部分画像データを解析して、前記第1の部分画像データによって示される画像において、少なくとも前記第1の文字を特定する特定機能と、
    前記対象画像データを用いて、前記第1の文字と前記第2の文字とを含む処理済画像を示す処理済画像データを生成する生成機能であって、前記処理済画像データは、(A)前記第1の文字を含む画像を示す第1の処理済データであって、前記第1の部分画像データのエッジ強度よりも高いエッジ強度を有する文字に変換する第1の変換処理が実行された前記第1の処理済データと、(B)前記第2の文字を含む画像を示す第2の処理済データであって、前記第2の部分画像データのエッジ強度が変更されていない、または、前記第2の部分画像データのエッジ強度よりも低いエッジ強度を有する文字に変換する第2の変換処理が実行された前記第2の処理済データと、を含む、前記生成機能と、
    をコンピュータに実現させる、コンピュータプログラム。
JP2016037554A 2016-02-29 2016-02-29 画像処理装置、および、コンピュータプログラム Active JP6769045B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016037554A JP6769045B2 (ja) 2016-02-29 2016-02-29 画像処理装置、および、コンピュータプログラム
US15/441,513 US10592766B2 (en) 2016-02-29 2017-02-24 Image processing apparatus and medium storing program executable by image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016037554A JP6769045B2 (ja) 2016-02-29 2016-02-29 画像処理装置、および、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2017156852A JP2017156852A (ja) 2017-09-07
JP6769045B2 true JP6769045B2 (ja) 2020-10-14

Family

ID=59679697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016037554A Active JP6769045B2 (ja) 2016-02-29 2016-02-29 画像処理装置、および、コンピュータプログラム

Country Status (2)

Country Link
US (1) US10592766B2 (ja)
JP (1) JP6769045B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6769045B2 (ja) * 2016-02-29 2020-10-14 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
JP7248943B2 (ja) * 2018-09-28 2023-03-30 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
JP7248942B2 (ja) * 2018-09-28 2023-03-30 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
JP2021044687A (ja) * 2019-09-11 2021-03-18 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理方法
CN112165554B (zh) * 2020-08-10 2022-05-31 北京网梯科技发展有限公司 点读中自动启动省电模式的方法及装置
US12062246B2 (en) * 2021-09-30 2024-08-13 Konica Minolta Business Solutions U.S.A., Inc. Extracting text from an image

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05225378A (ja) 1991-06-03 1993-09-03 Fujitsu Ltd 文書画像の領域分割システム
US5359673A (en) * 1991-12-27 1994-10-25 Xerox Corporation Method and apparatus for converting bitmap image documents to editable coded data using a standard notation to record document recognition ambiguities
US5729637A (en) 1994-08-31 1998-03-17 Adobe Systems, Inc. Method and apparatus for producing a hybrid data structure for displaying a raster image
US5491439A (en) 1994-08-31 1996-02-13 International Business Machines Corporation Method and apparatus for reducing jitter in a phase locked loop circuit
US5625711A (en) * 1994-08-31 1997-04-29 Adobe Systems Incorporated Method and apparatus for producing a hybrid data structure for displaying a raster image
JPH10126548A (ja) * 1996-10-18 1998-05-15 Murata Mach Ltd ファクシミリ装置
JP2000201274A (ja) * 1998-10-27 2000-07-18 Canon Inc 画像処理装置および画像処理方法
EP0999522B1 (en) * 1998-11-06 2008-04-09 Canon Kabushiki Kaisha Image processing method, system and apparatus, and storage medium
JP3501031B2 (ja) * 1999-08-24 2004-02-23 日本電気株式会社 画像領域判定装置、画像領域判定方法及びそのプログラムを記憶した記憶媒体
JP4655335B2 (ja) * 2000-06-20 2011-03-23 コニカミノルタビジネステクノロジーズ株式会社 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体
JP4558232B2 (ja) 2001-03-26 2010-10-06 株式会社リコー 画像処理方法、画像処理装置および画像処理方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4165046B2 (ja) * 2001-08-24 2008-10-15 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体
JP4158374B2 (ja) * 2001-11-19 2008-10-01 ブラザー工業株式会社 画像形成装置およびプログラム
EP1555804A3 (en) * 2004-01-19 2006-08-16 Ricoh Company, Ltd. Image processing apparatus, image processing program and storage medium
JP3781050B1 (ja) 2005-02-22 2006-05-31 三菱電機株式会社 画像処理装置、画像処理方法、および画像表示装置
JP4683654B2 (ja) * 2006-07-07 2011-05-18 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP5258313B2 (ja) * 2008-01-31 2013-08-07 キヤノン株式会社 画像処理システム、画像処理方法、及びプログラム
JP5047051B2 (ja) * 2008-05-02 2012-10-10 キヤノン株式会社 画像処理装置及び画像符号化方法
US8503036B2 (en) * 2008-06-23 2013-08-06 Xerox Corporation System and method of improving image quality in digital image scanning and printing by reducing noise in output image data
JP5111268B2 (ja) * 2008-07-09 2013-01-09 キヤノン株式会社 画像処理装置、画像処理方法、そのプログラムおよび記憶媒体
US8335381B2 (en) * 2008-09-18 2012-12-18 Xerox Corporation Handwritten word spotter using synthesized typed queries
US8175388B1 (en) * 2009-01-30 2012-05-08 Adobe Systems Incorporated Recognizing text at multiple orientations
US20120131520A1 (en) * 2009-05-14 2012-05-24 Tang ding-yuan Gesture-based Text Identification and Selection in Images
KR101525064B1 (ko) * 2009-07-23 2015-06-03 삼성전자주식회사 토너 절약 방법, 토너 절약 시스템 및 화상형성장치
JP5187331B2 (ja) 2010-03-23 2013-04-24 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法、およびコンピュータプログラム
JP5776419B2 (ja) 2011-07-29 2015-09-09 ブラザー工業株式会社 画像処理装置、画像処理プラグラム
US9686440B2 (en) * 2015-01-12 2017-06-20 Intel Corporation Rendering high quality images via micro-segmentation, error diffusion, and edge enhancement
JP6769045B2 (ja) * 2016-02-29 2020-10-14 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
JP6708476B2 (ja) * 2016-05-27 2020-06-10 キヤノン株式会社 文書保存処理システム

Also Published As

Publication number Publication date
US10592766B2 (en) 2020-03-17
JP2017156852A (ja) 2017-09-07
US20170249527A1 (en) 2017-08-31

Similar Documents

Publication Publication Date Title
JP6769045B2 (ja) 画像処理装置、および、コンピュータプログラム
JP6781406B2 (ja) 画像処理装置、および、コンピュータプログラム
US10373030B2 (en) Image processing apparatus that executes halftone process on target image data including edge pixel
US9253368B2 (en) Image processing device setting binary value without using dither matrix when prescribed condition is satisfied
JP6233142B2 (ja) 画像処理装置、および、コンピュータプログラム
JP6397183B2 (ja) 画像処理装置及び方法とプログラム
US10872216B2 (en) Image output device, image output method, and output image data production method
US9716810B2 (en) Image processing apparatus configured to perform smoothing based on analysis of PDL data, and storage medium storing program therefor
US8441684B2 (en) Between-segment discontinuity reduction for text vectorization using dominant point classification
JP5020998B2 (ja) 画像処理装置、及び画像処理方法
JP6882043B2 (ja) 画像処理装置、プログラム及び画像処理方法
US10521707B2 (en) Printing apparatus for adjusting width of object and printing method
JP2007088912A (ja) 画像処理装置およびプログラム
JP5012871B2 (ja) 画像処理装置、画像形成装置、及び画像処理プログラム
JP3673675B2 (ja) 画像処理方法及び画像処理装置並びに記録媒体
US8830509B2 (en) Image processing apparatus, method, and medium for performing density adjustment
JP2016092672A (ja) 画像処理装置、および、コンピュータプログラム
JP4345609B2 (ja) 画像処理装置およびプログラム
JP6612167B2 (ja) ラスタライズ処理装置、ラスタライズ処理方法、およびプログラム
JP4455261B2 (ja) 画像処理方法、画像処理装置および画像形成システム
JP6428166B2 (ja) 画像処理装置、および、コンピュータプログラム
JP7187300B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6394247B2 (ja) 画像処理装置、および、コンピュータプログラム
JP2016200999A (ja) 印刷指示装置、印刷システム及びプログラム
JP6707903B2 (ja) 出力装置、および、コンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200907

R150 Certificate of patent or registration of utility model

Ref document number: 6769045

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150