JP7417192B2 - 画像処理システムおよび画像処理プログラム - Google Patents

画像処理システムおよび画像処理プログラム Download PDF

Info

Publication number
JP7417192B2
JP7417192B2 JP2020022093A JP2020022093A JP7417192B2 JP 7417192 B2 JP7417192 B2 JP 7417192B2 JP 2020022093 A JP2020022093 A JP 2020022093A JP 2020022093 A JP2020022093 A JP 2020022093A JP 7417192 B2 JP7417192 B2 JP 7417192B2
Authority
JP
Japan
Prior art keywords
image
tile
specific
handwritten
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020022093A
Other languages
English (en)
Other versions
JP2021128488A (ja
Inventor
篤志 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2020022093A priority Critical patent/JP7417192B2/ja
Priority to US17/172,253 priority patent/US11496644B2/en
Publication of JP2021128488A publication Critical patent/JP2021128488A/ja
Application granted granted Critical
Publication of JP7417192B2 publication Critical patent/JP7417192B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00039—Analysis, i.e. separating and studying components of a greater whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/226—Character recognition characterised by the type of writing of cursive writing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00037—Detecting, i.e. determining the occurrence of a predetermined state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/38—Circuits or arrangements for blanking or otherwise eliminating unwanted parts of pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40093—Modification of content of picture, e.g. retouching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Facsimiles In General (AREA)
  • Image Processing (AREA)

Description

本発明は、画像から手書きの部分を検出する画像処理システムおよび画像処理プログラムに関する。
従来、画像から手書きの部分を検出した後、検出した手書きの部分を除去した画像を生成する画像処理システムが知られている（例えば、特許文献１、２参照。）。
特開２００５－２７６１８８号公報 特開２０１９－０５７７７９号公報
しかしながら、従来の画像処理システムにおいては、画像から手書きの部分を高精度かつ高速に検出することができないという問題がある。
そこで、本発明は、画像から手書きの部分を高精度かつ高速に検出することができる画像処理システムおよび画像処理プログラムを提供することを目的とする。
本発明の画像処理システムは、手書きである確率を画像の画素毎に判定する畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークによる判定結果に基づいてセグメンテーション画像を生成するセグメンテーション画像生成部とを備え、前記畳み込みニューラルネットワークは、前記画像を特定のサイズに分割したタイル画像毎に前記タイル画像の情報を圧縮するエンコーダーと、前記エンコーダーによって圧縮された前記タイル画像の情報を復元するデコーダーと、前記タイル画像が特定の画像であるか否かを判定する特定画像判定部とを備え、前記セグメンテーション画像生成部は、前記タイル画像が前記特定の画像であると前記特定画像判定部によって判定された場合に、前記セグメンテーション画像のうち、このタイル画像に対応する部分の画像として、前記特定の画像を使用し、前記タイル画像が前記特定の画像ではないと前記特定画像判定部によって判定された場合に、前記セグメンテーション画像のうち、このタイル画像に対応する部分のデコーダーの出力画像を使用することを特徴とする。
この構成により、本発明の画像処理システムは、畳み込みニューラルネットワークを使用して画像から手書きの部分を検出するので、画像から手書きの部分を高精度に検出することができる。また、本発明の画像処理システムは、特定の画像に対してデコーダーの処理を省略するので、画像から手書きの部分を高速に検出することができる。
本発明の画像処理システムにおいて、前記特定画像判定部は、前記エンコーダーの出力に基づいて前記タイル画像が前記特定の画像であるか否かを判定しても良い。
この構成により、本発明の画像処理システムは、エンコーダーによってサイズが圧縮された画像に基づいて特定の画像であるか否かを判定するので、特定の画像であるか否かを判定する速度を向上することができ、その結果、画像から手書きの部分を検出する速度を向上することができる。
本発明の画像処理システムは、手書きの部分が除去された画像を生成する除去処理部と、手書きの部分が強調された画像を生成する強調処理部とを備え、前記除去処理部は、前記確率が第１の閾値以上である画素の画像を除去し、前記強調処理部は、前記確率が前記第１の閾値より小さい第２の閾値以上である画素の画像を強調しても良い。
この構成により、本発明の画像処理システムは、手書きの部分を除去する場合には、手書きの部分を強調する場合より大きい閾値で手書きの部分を検出するので、手書き以外の部分が手書きとして誤検出される可能性を低減することができ、その結果、手書き以外の部分が誤って除去される可能性を低減することができる。一方、本発明の画像処理システムは、手書きの部分を強調する場合には、手書きの部分を除去する場合より小さい閾値で手書きの部分を検出するので、手書きの部分が検出される可能性を向上することができ、その結果、手書きの部分が強調されない可能性を低減することができる。
本発明の画像処理プログラムは、手書きである確率を画像の画素毎に判定する畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークによる判定結果に基づいてセグメンテーション画像を生成するセグメンテーション画像生成部とをコンピューターに実現させ、前記畳み込みニューラルネットワークは、前記画像を特定のサイズに分割したタイル画像毎に前記タイル画像の情報を圧縮するエンコーダーと、前記エンコーダーによって圧縮された前記タイル画像の情報を復元するデコーダーと、前記タイル画像が特定の画像であるか否かを判定する特定画像判定部とを備え、前記セグメンテーション画像生成部は、前記タイル画像が前記特定の画像であると前記特定画像判定部によって判定された場合に、前記セグメンテーション画像のうち、このタイル画像に対応する部分の画像として、前記特定の画像を使用し、前記タイル画像が前記特定の画像ではないと前記特定画像判定部によって判定された場合に、前記セグメンテーション画像のうち、このタイル画像に対応する部分の画像として、前記デコーダーの出力画像を使用することを特徴とする。
この構成により、本発明の画像処理プログラムを実行するコンピューターは、畳み込みニューラルネットワークを使用して画像から手書きの部分を検出するので、画像から手書きの部分を高精度に検出することができる。また、本発明の画像処理プログラムを実行するコンピューターは、特定の画像に対してデコーダーの処理を省略するので、画像から手書きの部分を高速に検出することができる。
本発明の画像処理システムおよび画像処理プログラムは、画像から手書きの部分を高精度かつ高速に検出することができる。
本発明の一実施の形態に係る画像形成装置のブロック図である。 原稿の画像に対して手書きの部分が除去された画像を印刷する処理の実行が指示された場合の図１に示す画像形成装置の動作の流れを示す図である。 原稿の画像に対して手書きの部分が強調された画像を印刷する処理の実行が指示された場合の図１に示す画像形成装置の動作の流れを示す図である。 （ａ）図２または図３に示す入力画像の一例を示す図である。 （ｂ）図２に示す出力画像の一例を示す図である。 （ｃ）図３に示す出力画像の一例を示す図である。 図２または図３に示すセマンティックセグメンテーション部の動作の流れを示す図である。 図５に示すエンコーダーの動作の流れを示す図である。 図６に示す畳み込み層による畳み込み演算の一例を示す図である。 図６に示すプーリング層によるプーリング処理の一例を示す図である。 図５に示すデコーダー３１ｂの動作の流れを示す図である。
以下、本発明の実施の形態について、図面を用いて説明する。
まず、本発明の一実施の形態に係る画像処理システムとしての画像形成装置の構成について説明する。
図１は、本実施の形態に係る画像形成装置１０のブロック図である。
図１に示すように、画像形成装置１０は、種々の操作が入力される例えばボタンなどの操作デバイスである操作部１１と、種々の情報を表示する例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスである表示部１２と、用紙などの記録媒体に画像を印刷する印刷デバイスであるプリンター１３と、原稿から画像を読み取る読取デバイスであるスキャナー１４と、図示していない外部のファクシミリ装置と公衆電話回線などの通信回線経由でファックス通信を行うファックスデバイスであるファックス通信部１５と、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部１６と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部１７と、画像形成装置１０全体を制御する制御部１８とを備えているＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）である。
記憶部１７は、画像を処理するための画像処理プログラム１７ａを記憶している。画像処理プログラム１７ａは、例えば、画像形成装置１０の製造段階で画像形成装置１０にインストールされていても良いし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリーなどの外部の記憶媒体から画像形成装置１０に追加でインストールされても良いし、ネットワーク上から画像形成装置１０に追加でインストールされても良い。
記憶部１７は、手書きの部分を除去する除去処理のための閾値である第１の閾値１７ｂと、手書きの部分を強調する強調処理のための閾値である第２の閾値１７ｃとを記憶している。第２の閾値１７ｃは、第１の閾値１７ｂより小さい。
記憶部１７は、特定の画像としての白紙の画像のデータである白紙データ１７ｄを記憶している。白紙データ１７ｄによって示される画像は、手書きである確率（以下「手書き確率」という。）が全ての画素について０である。
制御部１８は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、制御部１８のＣＰＵの作業領域として用いられるメモリーとしてのＲＢＭ（Ｒａｎｄｏｍ Ｂｃｃｅｓｓ Ｍｅｍｏｒｙ）とを備えている。制御部１８のＣＰＵは、記憶部１７または制御部１８のＲＯＭに記憶されているプログラムを実行する。すなわち、画像形成装置１０は、コンピューターである。
制御部１８は、画像処理プログラム１７ａを実行することによって、スキャナー１４によって原稿を読み取ることによって原稿の画像（以下「入力画像」という。）を取得する入力画像取得部１８ａと、入力画像からセグメンテーション画像を生成するセマンティックセグメンテーション部１８ｂと、セグメンテーション画像を手書きの部分か否かによって２値化する２値化部１８ｃと、入力画像に対して手書きの部分が除去された出力画像を生成する除去処理部１８ｄと、入力画像に対して手書きの部分が強調された出力画像を生成する強調処理部１８ｅと、出力画像をプリンター１３によって印刷する画像印刷部１８ｆとを実現する。
次に、画像形成装置１０の動作について説明する。
まず、原稿の画像に対して手書きの部分が除去された画像を印刷する処理の実行が指示された場合の画像形成装置１０の動作について説明する。
図２は、原稿の画像に対して手書きの部分が除去された画像を印刷する処理の実行が指示された場合の画像形成装置１０の動作の流れを示す図である。
利用者は、スキャナー１４に原稿をセットした上で、原稿の画像に対して手書きの部分が除去された画像を印刷する処理の実行を操作部１１を介して指示することができる。
原稿の画像に対して手書きの部分が除去された画像を印刷する処理の実行が指示されると、図２に示すように、入力画像取得部１８ａは、スキャナー１４によって原稿を読み取ることによって入力画像２１を取得する。
次いで、セマンティックセグメンテーション部１８ｂは、入力画像２１からセグメンテーション画像２２を生成する。なお、セマンティックセグメンテーション部１８ｂは、入力画像２１の画素毎に手書き確率を判定し、判定した手書き確率をセグメンテーション画像２２の各画素に付与する。
次いで、２値化部１８ｃは、セグメンテーション画像２２を第１の閾値１７ｂで２値化することによって、２値化済みのセグメンテーション画像２３Ａを生成する。すなわち、２値化部１８ｃは、セグメンテーション画像２２の各画素のうち、手書き確率が第１の閾値１７ｂ以上である画素を、手書きの部分の画素とするとともに、手書き確率が第１の閾値１７ｂ未満である画素を、手書き以外の部分の画素とする。
次いで、除去処理部１８ｄは、入力画像２１に対して２値化済みのセグメンテーション画像２３Ａの手書きの部分を除去した出力画像２４Ａを生成する
最後に、画像印刷部１８ｆは、出力画像２４Ａをプリンター１３によって印刷する。
以上のようにして、画像形成装置１０は、原稿の画像に対して手書きの部分が除去された画像を印刷する。
次に、原稿の画像に対して手書きの部分が強調された画像を印刷する処理の実行が指示された場合の画像形成装置１０の動作について説明する。
図３は、原稿の画像に対して手書きの部分が強調された画像を印刷する処理の実行が指示された場合の画像形成装置１０の動作の流れを示す図である。
利用者は、スキャナー１４に原稿をセットした上で、原稿の画像に対して手書きの部分が強調された画像を印刷する処理の実行を操作部１１を介して指示することができる。
原稿の画像に対して手書きの部分が強調された画像を印刷する処理の実行が指示されると、図３に示すように、入力画像取得部１８ａは、スキャナー１４によって原稿を読み取ることによって入力画像２１を取得する。
次いで、セマンティックセグメンテーション部１８ｂは、入力画像２１からセグメンテーション画像２２を生成する。なお、セマンティックセグメンテーション部１８ｂは、手書き確率を入力画像２１の画素毎に判定し、判定した手書き確率をセグメンテーション画像２２の各画素に付与する。
次いで、２値化部１８ｃは、セグメンテーション画像２２を第２の閾値１７ｃで２値化することによって、２値化済みのセグメンテーション画像２３Ｂを生成する。すなわち、２値化部１８ｃは、セグメンテーション画像２２の各画素のうち、手書き確率が第２の閾値１７ｃ以上である画素を、手書きの部分の画素とするとともに、手書き確率が第２の閾値１７ｃ未満である画素を、手書き以外の部分の画素とする。
次いで、強調処理部１８ｅは、入力画像２１に対して２値化済みのセグメンテーション画像２３Ｂの手書きの部分を強調した出力画像２４Ｂを生成する
最後に、画像印刷部１８ｆは、出力画像２４Ｂをプリンター１３によって印刷する。
以上のようにして、画像形成装置１０は、原稿の画像に対して手書きの部分が強調された画像を印刷する。
図４（ａ）は、図２または図３に示す入力画像２１の一例を示す図である。図４（ｂ）は、図２に示す出力画像２４Ａの一例を示す図である。図４（ｃ）は、図３に示す出力画像２４Ｂの一例を示す図である。
画像形成装置１０は、図２に示す動作によって、図４（ａ）に示す入力画像２１に対して手書きの部分が除去された、図４（ｂ）に示す出力画像２４Ａを印刷することができる。
画像形成装置１０は、図３に示す動作によって、図４（ａ）に示す入力画像２１に対して手書きの部分が強調された、図４（ｃ）に示す出力画像２４Ｂを印刷することができる。
次に、セマンティックセグメンテーション部１８ｂの動作について詳細に説明する。
図５は、セマンティックセグメンテーション部１８ｂの動作の流れを示す図である。
図５に示すように、セマンティックセグメンテーション部１８ｂは、入力画像２１の画素毎の手書き確率を判定する畳み込みニューラルネットワーク（ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ））３１と、ＣＮＮ３１による判定結果に基づいてセグメンテーション画像２２を生成するセグメンテーション画像生成部３２とを備えている。
ＣＮＮ３１は、大きな画像に対して一度に処理を実行する場合、ＲＡＭの使用サイズが非常に大きくなる。したがって、ＣＮＮ３１は、ＲＡＭの使用サイズを抑えるために、入力画像２１に対して特定の小さなサイズのタイル単位の画像（以下「タイル画像」という。）毎に処理を実行する。ＣＮＮ３１は、画像の情報を圧縮するエンコーダー３１ａと、エンコーダー３１ａによって圧縮された画像の情報を復元するデコーダー３１ｂと、エンコーダー３１ａの出力に基づいてタイル画像が白紙の画像、すなわち、特定の画像であるか否かを判定する特定画像判定部としての白紙判定部３１ｃとを備えている。
白紙判定部３１ｃは、タイル画像が白紙の画像であると判定すると、エンコーダー３１ａの出力をデコーダー３１ｂに入力することなく、白紙データ１７ｄへのポインターをセグメンテーション画像生成部３２に通知する。一方、白紙判定部３１ｃは、タイル画像が白紙の画像ではないと判定すると、エンコーダー３１ａの出力をデコーダー３１ｂに入力する。
セグメンテーション画像生成部３２は、タイル画像に対して白紙データ１７ｄへのポインターが白紙判定部３１ｃから通知されると、セグメンテーション画像２２のうち、このタイル画像に対応する部分の画像として白紙データ１７ｄによって示される画像を使用する。一方、セグメンテーション画像生成部３２は、タイル画像に対してデコーダー３１ｂの出力画像を受けると、セグメンテーション画像２２のうち、このタイル画像に対応する部分の画像として、デコーダー３１ｂの出力画像を使用する。
図６は、エンコーダー３１ａの動作の流れを示す図である。
図６に示すように、エンコーダー３１ａは、畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）と、プーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）とを備えている。畳み込み層は、畳み込み演算が実行される層である。プーリング層は、プーリング処理が実行される層である。
図７は、図６に示す畳み込み層による畳み込み演算の一例を示す図である。
図７に示すように、畳み込み層は、例えば微分フィルターＦ１～Ｆ３などの複数のフィルターを画像データのＲＧＢの各データの全ての位置について畳み込んでエッジを抽出する。これにより、畳み込み層は、エッジ情報を含む特徴マップを表す畳み込みデータを生成することができる。
微分フィルターの重みは、学習によって調整または決定することができる。学習は、手書きの画像と、手書きではない印刷画像とを教師（訓練）データとして使用することによって、例えば誤差逆伝播法で教師あり機械学習として実現することができる。
図８は、図６に示すプーリング層によるプーリング処理の一例を示す図である。
図８に示すように、プーリング層は、特徴マップのサイズを縮小し、すなわち位置的な情報を破棄して、大局的な処理を可能とする。ただし、プーリング層は、デコーダー３１ｂで使用するために位置的な情報である位置情報を別途保存する。
このように、エンコーダー３１ａは、畳み込み層およびプーリング層で、局所的で低次な情報を合成して、より大局的で高次な情報を抽出することができる。すなわち、エンコーダー３１ａは、ピクセル情報からエッジ情報へ、エッジ情報から筆跡情報へと、画像データを順に変換していくことができる。
図９は、デコーダー３１ｂの動作の流れを示す図である。
図９に示すように、デコーダー３１ｂは、アンプーリング層と、畳み込み層と、出力層とを備えている。デコーダー３１ｂは、アンプーリング層および畳み込み層を使用して、手書き特徴量のアップサンプリングを実行し、画像データの各画素について手書き確率を特定する処理である。
アンプーリング層は、プーリング処理で保存した位置情報を使用して正確な分類マップを再現する。分類マップは、手書き特徴量を格納するマップである。畳み込み層は、手書き特徴量を有するピクセル情報に変換して、画像データの各画素について手書き特徴量を特定することができる。
出力層は、手書き特徴量を画素毎にソフトマックス関数で正規化し、手書き画像の分類確率である手書き確率を出力する。手書き確率は、０～１．０の数値によって表される。
これにより、デコーダー３１ｂは、画像領域分類データを生成することができる。画像領域分類データは、画像データの各画素について手書き確率でラベル付けしたデータである。
以上に説明したように、画像形成装置１０は、ＣＮＮ３１を使用して画像から手書きの部分を検出するので、画像から手書きの部分を高精度に検出することができる。また、画像形成装置１０は、白紙の画像に対してデコーダー３１ｂの処理を省略するので、画像から手書きの部分を高速に検出することができる。したがって、画像形成装置１０は、画像から手書きの部分を高精度かつ高速に検出することができる。
画像形成装置１０は、タイル画像単位で処理するようになっており、タイル画像のサイズが小さいほど、タイル画像が白紙の画像である可能性が向上するので、デコーダー３１ｂの処理を省略する確率を向上することができ、その結果、画像から手書きの部分を検出する速度を向上することができる。
画像形成装置１０は、エンコーダー３１ａによってサイズが圧縮された画像に基づいてタイル画像が白紙の画像であるか否かを判定するので、タイル画像が白紙の画像であるか否かを判定する速度を向上することができ、その結果、画像から手書きの部分を検出する速度を向上することができる。
画像形成装置１０は、手書きの部分を除去する場合には、手書きの部分を強調する場合より大きい第１の閾値１７ｂで手書きの部分を検出するので、手書き以外の部分が手書きとして誤検出される可能性を低減することができ、その結果、手書き以外の部分が誤って除去される可能性を低減することができる。
画像形成装置１０は、手書きの部分を強調する場合には、手書きの部分を除去する場合より小さい第２の閾値１７ｃで手書きの部分を検出するので、手書きの部分が検出される可能性を向上することができ、その結果、手書きの部分が強調されない可能性を低減することができる。
本発明の画像処理システムは、本実施の形態において、１台のＭＦＰによって構成されている。しかしながら、本発明の画像処理システムは、例えばコピー専用機など、ＭＦＰ以外の画像形成装置によって構成されても良いし、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）など、画像形成装置以外の画像処理システムでも良い。また、本発明の画像処理システムは、複数台の装置によって実現されても良い。
１０ 画像形成装置（画像処理システム、コンピューター）
１７ａ 画像処理プログラム
１７ｂ 第１の閾値
１７ｃ 第２の閾値
１７ｄ 白紙データ（特定の画像のデータ）
１８ｄ 除去処理部
１８ｅ 強調処理部
２２ セグメンテーション画像
３１ ＣＮＮ（畳み込みニューラルネットワーク）
３１ａ エンコーダー
３１ｂ デコーダー
３１ｃ 白紙判定部（特定画像判定部）
３２ セグメンテーション画像生成部

Claims (4)

  1. 手書きである確率を画像の画素毎に判定する畳み込みニューラルネットワークと、
    前記畳み込みニューラルネットワークによる判定結果に基づいてセグメンテーション画像を生成するセグメンテーション画像生成部と
    を備え、
    前記畳み込みニューラルネットワークは、
    前記画像を特定のサイズに分割したタイル画像毎に前記タイル画像の情報を圧縮するエンコーダーと、
    前記エンコーダーによって圧縮された前記タイル画像の情報を復元するデコーダーと、
    前記タイル画像が特定の画像であるか否かを判定する特定画像判定部と
    を備え、
    前記セグメンテーション画像生成部は、
    前記タイル画像が前記特定の画像であると前記特定画像判定部によって判定された場合に、前記セグメンテーション画像のうち、このタイル画像に対応する部分の画像として、前記特定の画像を使用し、
    前記タイル画像が前記特定の画像ではないと前記特定画像判定部によって判定された場合に、前記セグメンテーション画像のうち、このタイル画像に対応する部分の画像として、前記デコーダーの出力画像を使用することを特徴とする画像処理システム。
  2. 前記特定画像判定部は、前記エンコーダーの出力に基づいて前記タイル画像が前記特定の画像であるか否かを判定することを特徴とする請求項１に記載の画像処理システム。
  3. 手書きの部分が除去された画像を生成する除去処理部と、
    手書きの部分が強調された画像を生成する強調処理部と
    を備え、
    前記除去処理部は、前記確率が第１の閾値以上である画素の画像を除去し、
    前記強調処理部は、前記確率が前記第１の閾値より小さい第２の閾値以上である画素の画像を強調することを特徴とする請求項１または請求項２に記載の画像処理システム。
  4. 手書きである確率を画像の画素毎に判定する畳み込みニューラルネットワークと、
    前記畳み込みニューラルネットワークによる判定結果に基づいてセグメンテーション画像を生成するセグメンテーション画像生成部と
    をコンピューターに実現させ、
    前記畳み込みニューラルネットワークは、
    前記画像を特定のサイズに分割したタイル画像毎に前記タイル画像の情報を圧縮するエンコーダーと、
    前記エンコーダーによって圧縮された前記タイル画像の情報を復元するデコーダーと、
    前記タイル画像が特定の画像であるか否かを判定する特定画像判定部と
    を備え、
    前記セグメンテーション画像生成部は、
    前記タイル画像が前記特定の画像であると前記特定画像判定部によって判定された場合に、前記セグメンテーション画像のうち、このタイル画像に対応する部分の画像として、前記特定の画像を使用し、
    前記タイル画像が前記特定の画像ではないと前記特定画像判定部によって判定された場合に、前記セグメンテーション画像のうち、このタイル画像に対応する部分の画像として、前記デコーダーの出力画像を使用することを特徴とする画像処理プログラム。
JP2020022093A 2020-02-13 2020-02-13 画像処理システムおよび画像処理プログラム Active JP7417192B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020022093A JP7417192B2 (ja) 2020-02-13 2020-02-13 画像処理システムおよび画像処理プログラム
US17/172,253 US11496644B2 (en) 2020-02-13 2021-02-10 Image processing system and non-transitory computer-readable recording medium having stored thereon image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020022093A JP7417192B2 (ja) 2020-02-13 2020-02-13 画像処理システムおよび画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2021128488A JP2021128488A (ja) 2021-09-02
JP7417192B2 true JP7417192B2 (ja) 2024-01-18

Family

ID=77273143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020022093A Active JP7417192B2 (ja) 2020-02-13 2020-02-13 画像処理システムおよび画像処理プログラム

Country Status (2)

Country Link
US (1) US11496644B2 (ja)
JP (1) JP7417192B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7282314B2 (ja) * 2019-08-29 2023-05-29 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020017274A (ja) 2018-07-19 2020-01-30 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ ニューラルネットワークを使用するエンドツーエンド手書きテキスト認識のためのシステムおよび方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7120297B2 (en) * 2002-04-25 2006-10-10 Microsoft Corporation Segmented layered image system
JP2005276188A (ja) 2004-02-26 2005-10-06 Yokohama Tlo Co Ltd 手書き文字除去画像処理装置、及び手書き文字除去画像処理方法
JP6822359B2 (ja) 2017-09-20 2021-01-27 京セラドキュメントソリューションズ株式会社 画像形成装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020017274A (ja) 2018-07-19 2020-01-30 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ ニューラルネットワークを使用するエンドツーエンド手書きテキスト認識のためのシステムおよび方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Paloma G. S. Silva 等，Speeding-up the Handwritten Signature Segmentation Process through an Optimized Fully Convolutional Neural Network，2019 International Conference on Document Analysis and Recognition (ICDAR)，米国，IEEE，2019年09月25日，第1417-1423頁，https://ieeexplore.ieee.org/document/8977965
山本 祐美 等，ホワイトボードからの文字抽出手法の検討，情報処理学会 研究報告 数理モデル化と問題解決（ＭＰＳ） ２０１９－ＭＰＳ－１２６，日本，情報処理学会，2019年12月04日，第1-4頁

Also Published As

Publication number Publication date
US11496644B2 (en) 2022-11-08
US20210258447A1 (en) 2021-08-19
JP2021128488A (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
JP4745830B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
US8768052B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
CN114299528B (zh) 一种针对扫描文档的信息提取和结构化方法
US8391607B2 (en) Image processor and computer readable medium
JP4904175B2 (ja) 低解像度のグリフ・イメージから高忠実度のグリフ・プロトタイプを作成するための方法および装置
JP2007102545A (ja) 電子文書作成装置、電子文書作成方法及び電子文書作成プログラム
US9171218B2 (en) Image processing apparatus, image processing method, and computer readable medium that recognize overlapping elements in handwritten input
US9100518B2 (en) Information processing apparatus, information processing method, and computer-readable medium
JP7417192B2 (ja) 画像処理システムおよび画像処理プログラム
US9818028B2 (en) Information processing apparatus for obtaining a degree of similarity between elements
JP4565396B2 (ja) 画像処理装置および画像処理プログラム
US6983071B2 (en) Character segmentation device, character segmentation method used thereby, and program therefor
US20100134851A1 (en) Image processing apparatus, method for performing image processing and computer readable medium
JP6394579B2 (ja) 画像読取装置及び画像形成装置
US11288536B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP3726415B2 (ja) 画像処理方法及び装置
JP5262778B2 (ja) 画像処理装置及び画像処理プログラム
JP2015177265A (ja) 画像処理装置、画像処理システム、情報記憶方法およびプログラム
JP2007328652A (ja) 画像処理装置および画像処理プログラム
US20240062567A1 (en) Learning Image Generation Apparatus, Learning Image Generation Method, And Non-Transitory Computer-Readable Recording Medium
US11316995B2 (en) Bending detection device and image processing apparatus
JP2011070327A (ja) 画像属性判定装置、画像属性判定方法および画像属性判定プログラム
Devi et al. Offline handwritten writer independent Tamil character recognition
US8736912B2 (en) Image processing apparatus, image processing method and computer readable medium
WO2023062799A1 (ja) 情報処理システム、原稿種識別方法、モデル生成方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231219

R150 Certificate of patent or registration of utility model

Ref document number: 7417192

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150