JP6161484B2 - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

画像処理装置、画像処理方法及びコンピュータプログラム Download PDF

Info

Publication number
JP6161484B2
JP6161484B2 JP2013194488A JP2013194488A JP6161484B2 JP 6161484 B2 JP6161484 B2 JP 6161484B2 JP 2013194488 A JP2013194488 A JP 2013194488A JP 2013194488 A JP2013194488 A JP 2013194488A JP 6161484 B2 JP6161484 B2 JP 6161484B2
Authority
JP
Japan
Prior art keywords
document
image
character string
horizontal
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013194488A
Other languages
English (en)
Other versions
JP2015060448A (ja
Inventor
克仁 島▲崎▼
克仁 島▲崎▼
夕貴 松田
夕貴 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PFU Ltd
Original Assignee
PFU Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PFU Ltd filed Critical PFU Ltd
Priority to JP2013194488A priority Critical patent/JP6161484B2/ja
Priority to US14/178,641 priority patent/US9305236B2/en
Priority to CN201410168163.0A priority patent/CN104469071B/zh
Publication of JP2015060448A publication Critical patent/JP2015060448A/ja
Application granted granted Critical
Publication of JP6161484B2 publication Critical patent/JP6161484B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872Repositioning or masking
    • H04N1/3873Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/418Document matching, e.g. of document images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3877Image rotation
    • H04N1/3878Skew detection or correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40062Discrimination between different image types, e.g. two-tone, continuous tone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/48Picture signal generators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Facsimiles In General (AREA)
  • Character Input (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像処理装置、画像処理方法及びコンピュータプログラムに関し、特に、原稿の種類を判別する画像処理装置、画像処理方法及びコンピュータプログラムに関する。
一般に、スキャナ装置等の画像読取装置は、原稿を読み取って画像データとして記憶部に一旦記憶し、パーソナルコンピュータ等の情報処理装置へ送信する。一方、情報処理装置は、画像読取装置から受信した画像データに対してOCR(Optical Character Recognition)処理等を行って特定の情報を取得し、画像データを取得した情報と関連付けて管理する。このような情報処理装置では、画像データを、レシート、名刺、写真等の原稿の種類毎に管理することが望まれている。
原稿サイズに応じて起動されるべきアプリケーションを定義付けた設定情報を記憶し、設定情報に基づいて、読取られた画像の原稿サイズに対応するアプリケーションを判断して起動させる画像読取処理装置が開示されている(特許文献1を参照)。
また、読み取った画像データがカラー画像であるか白黒画像であるかを判定する画像処理装置が開示されている。この画像処理装置は、搬送される原稿の先端及び後端を検知したタイミングに基づいて原稿のサイズを特定するとともに、複数の定型用紙のサイズごとに、読み取った画像データがカラー画像であるか白黒画像であるかを判定する。そして、画像処理装置は、複数の判定結果の中から、特定した原稿のサイズと同様の定型用紙のサイズを用いて判定した判定結果を選択する(特許文献2を参照)。
特開2008−131254号公報 特開2010−273053号公報
原稿を読み取った画像データを使用する画像処理装置においては、原稿の種類を精度よく判定することが望まれている。
本発明の目的は、原稿の種類を精度よく判別することが可能な画像処理装置、画像処理方法及びそのような画像処理方法をコンピュータに実行させるコンピュータプログラムを提供することにある。
本発明に係る画像処理装置は、原稿を読み取って生成された入力画像を取得する入力画像取得部と、入力画像における文字列密度又は文字列分散を算出する文字列情報算出部と、文字列密度又は文字列分散に基づいて、原稿の種類を判別する原稿種類判別部と、を有する。
また、本発明に係る画像処理方法は、原稿を読み取って生成された入力画像を取得するステップと、入力画像における文字列密度又は文字列分散を算出するステップと、文字列密度又は文字列分散に基づいて、原稿の種類を判別するステップと、を含む。
また、本発明に係るコンピュータプログラムは、原稿を読み取って生成された入力画像を取得するステップと、入力画像における文字列密度又は文字列分散を算出するステップと、文字列密度又は文字列分散に基づいて、原稿の種類を判別するステップと、をコンピュータに実行させる。
本発明によれば、入力画像における文字列密度又は文字列分散に基づいて、原稿の種類を判別する。これにより、原稿の種類を精度よく判別することが可能な画像処理装置、画像処理方法及びそのような画像処理方法をコンピュータに実行させるコンピュータプログラムを提供することができる。
実施形態に従った画像処理システム1のハードウェア構成図である。 画像処理回路16の機能ブロック図である。 原稿種類判別処理の動作を示すフローチャートである。 原稿サイズについて説明するための模式図である。 原稿サイズ算出処理の動作の例を示すフローチャートである。 矩形の回転について説明するための模式図である。 文字方向判別処理の動作の例を示すフローチャートである。 文字方向判別処理について説明するための模式図である。 文字列情報算出処理の動作の例を示すフローチャートである。 文字列情報算出処理の動作の他の例を示すフローチャートである。 ラベリング処理について説明するための模式図である。 文字列情報算出処理の動作のさらに他の例を示すフローチャートである。 文字列分散の算出処理について説明するための模式図である。 文字列情報算出処理の動作のさらに他の例を示すフローチャートである。 他の画像処理システム2のハードウェア構成図である。
以下、本発明の一側面に係る画像処理装置、画像処理方法及びコンピュータプログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
図1は、実施形態に従った画像処理システム1のハードウェア構成図である。図1に示すように、画像処理システム1は、画像読取装置10と、情報処理装置20とを有する。画像読取装置10は、画像処理装置の一例であり、例えばイメージスキャナ、デジタルカメラ等であり、情報処理装置20は、例えば画像読取装置10に接続して用いられるパーソナルコンピュータ等である。
画像読取装置10は、画像入力装置11と、第1画像メモリ12と、第1インターフェース装置13と、第1記憶装置14と、第1CPU(Central Processing Unit)15と、画像処理回路16を有する。以下、画像読取装置10の各部について詳細に説明する。
画像入力装置11は、撮像対象物である原稿の表面及び裏面をそれぞれ撮像する二つの撮像センサを有する。各撮像センサは、1次元又は2次元に配列されたCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備える。各撮像センサは、さらに、撮像素子に撮像対象物の像を結像する光学系を備え、各撮像素子は、RGB各色に対応するアナログ値を出力する。そして、画像入力装置11は、撮像センサが出力した各アナログ値をデジタル値に変換して画素データを生成し、生成した各画素データから構成される画像データ(以下、RGB画像と称する)を生成する。このRGB画像は、各画素データが、例えばRGB各色毎に8bitで表される計24bitのRGB値からなるカラー画像データとなる。
そして、画像入力装置11は、RGB画像の各画素のRGB値を輝度値及び色差値(YUV値)に変換した画像(以下、入力画像と称する)を生成し、第1画像メモリ12に保存する。なお、YUV値は、例えば以下の式により算出することができる。
Y値= 0.30×R値+0.59×G値+0.11×B値 (1)
U値=−0.17×R値−0.33×G値+0.50×B値 (2)
V値= 0.50×R値−0.42×G値−0.08×B値 (3)
第1画像メモリ12は、不揮発性半導体メモリ、揮発性半導体メモリ、磁気ディスク等の記憶装置を有する。第1画像メモリ12は、画像入力装置11と接続され、画像入力装置11により生成された入力画像を保存するとともに、画像処理回路16と接続され、画像処理回路16により入力画像に対して画像処理がなされた各種の処理画像を保存する。
第1インターフェース装置13は、例えばUSB(Universal Serial Bus)等のシリアルバスに準じるインターフェース回路を有し、情報処理装置20と電気的に接続して画像データ及び各種の情報を送受信する。また、第1インターフェース装置13にフラッシュメモリ等を接続して第1画像メモリ12に保存されている画像データを保存するようにしてもよい。
第1記憶装置14は、RAM(Random Access Memory)、ROM(Read Only Memory)等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第1記憶装置14には、画像読取装置10の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて第1記憶装置14にインストールされてもよい。コンピュータ読み取り可能な可搬型記録媒体は、例えばCD−ROM(compact disk read only memory)、DVD−ROM(digital versatile disk read only memory)等である。
第1CPU15は、画像入力装置11、第1画像メモリ12、第1インターフェース装置13、第1記憶装置14、及び画像処理回路16と接続され、これらの各部を制御する。第1CPU15は、画像入力装置11の入力画像生成制御、第1画像メモリ12の制御、第1インターフェース装置13を介した情報処理装置20とのデータ送受信制御、第1記憶装置14の制御、画像処理回路16による画像処理の制御等を行う。
画像処理回路16は、第1画像メモリ12に接続され、原稿の種類を判別する原稿種類判別処理等を行う。この画像処理回路16は、第1CPU15に接続され、第1CPU15からの制御により予め第1記憶装置14に記憶されているプログラムに基づいて動作する。あるいは、画像処理回路16は、独立した集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。
情報処理装置20は、第2インターフェース装置21と、第2画像メモリ22と、表示装置23と、第2記憶装置24と、第2CPU25とを有する。以下、情報処理装置20の各部について詳細に説明する。
第2インターフェース装置21は、画像読取装置10の第1インターフェース装置13と同様のインターフェース回路を有し、情報処理装置20と画像読取装置10とを接続する。
第2画像メモリ22は、画像読取装置10の第1画像メモリ12と同様の記憶装置を有する。第2画像メモリ22には、第2インターフェース装置21を介して画像読取装置10から受信した画像データ及び各種の情報が保存される。
表示装置23は、液晶、有機EL(Electro-Luminescence)等から構成されるディスプレイ及びディスプレイに画像データを出力するインターフェース回路を有する。表示装置23は、第2画像メモリ22と接続されて第2画像メモリ22に保存されている画像データをディスプレイに表示する。
第2記憶装置24は、画像読取装置10の第1記憶装置14と同様のメモリ装置、固定ディスク装置、可搬用の記憶装置等を有する。第2記憶装置24には、情報処理装置20の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばCD−ROM、DVD−ROM等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて第2記憶装置24にインストールされてもよい。
第2CPU25は、第2インターフェース装置21、第2画像メモリ22、表示装置23及び第2記憶装置24と接続され、これらの各部を制御する。第2CPU25は、第2インターフェース装置21を介した画像読取装置10とのデータ送受信制御、第2画像メモリ22の制御、表示装置23の表示制御、第2記憶装置24の制御等を行う。
図2は、画像処理回路16の機能ブロック図である。図2に示すように画像処理回路16は、入力画像取得部161、原稿サイズ算出部162、印刷面判別部163、印刷色判別部164、二値化画像生成部165、ヒストグラム生成部166、文字方向判別部167及び文字列情報算出部168等を有する。さらに、画像処理回路16は、原稿種類判別部169及びデータ処理部170等を有する。
図3は、画像読取装置10による原稿種類判別処理の動作を示すフローチャートである。以下、図3に示したフローチャートを参照しつつ、原稿種類判別処理の動作を説明する。なお、以下に説明する動作のフローは、予め第1記憶装置14に記憶されているプログラムに基づき主に第1CPU15により画像読取装置10の各要素と協同して実行される。図3に示す例では、画像入力装置11は、原稿の種類として、レシート、名刺、写真及びPPC(Plain Paper Copier)用紙を判別する。
最初に、画像入力装置11は、撮像対象物(原稿)を読み取ってRGB画像及び入力画像を生成し、第1画像メモリ12に保存する。入力画像取得部161は、第1画像メモリ12からRGB画像及び入力画像を読み出して取得する(ステップS101)。
次に、原稿サイズ算出部162は、原稿サイズ算出処理を実施する(ステップS102)。原稿サイズ算出処理において、原稿サイズ算出部162は、入力画像に基づいて原稿のサイズを算出する。原稿サイズ算出処理の詳細については後述する。
次に、原稿種類判別部169は、原稿サイズがレシートのサイズ範囲と名刺のサイズ範囲に共通する範囲である第1サイズ範囲、又はレシートのサイズ範囲と写真のサイズ範囲に共通する範囲である第2サイズ範囲に含まれるか否かを判定する(ステップS103)。
図4は、原稿サイズについて説明するための模式図である。図4に示すグラフ400は、様々なレシート、名刺及び写真を読み取って生成された入力画像から算出したサイズをプロットしたグラフである。グラフ400の横軸は水平方向の長さ(mm)を示し、縦軸は垂直方向の長さ(mm)を示す。なお、レシートについての水平方向は幅方向(レシートが印字される時のレシートの搬送方向と直交する方向)とし、名刺及び写真についての水平方向は短手方向とする。
領域401〜403は、レシートを読み取って生成された入力画像から算出されたサイズのほとんどがプロットされている領域を示す。一般的なレシートは幅方向の長さが規定されている(例えば、45mm、58mm、80mm等)ため、領域401〜403は、水平方向が45mm、58mm、80mmであるラインに沿った領域となっている。
領域411は、名刺を読み取って生成された入力画像から算出されたサイズのほとんどがプロットされている領域を示す。名刺による領域411は、長手方向の長さが70mm〜110mmの範囲にあり、短手方向の長さが43mm〜60mmの範囲にある。
領域421〜423は、写真を読み取って生成された入力画像から算出されたサイズのほとんどがプロットされている領域を示す。一般的な写真のサイズはE判(83mm×117mm)、L判(89mm×127mm)、2L判(127mm×178mm)の何れかである。領域421はE判の写真に対応し、領域422はL判の写真に対応し、領域423は2L判の写真に対応している。
図4に示すように、レシートによる領域401及び402と名刺による領域411は領域431において重複し、レシートによる領域403と写真による領域421は領域432において重複している。したがって、入力画像に基づいて算出した原稿のサイズから、原稿がレシートであるか名刺であるか写真であるかを判別しようとすると、誤って判別する可能性がある。原稿サイズが、領域431のようにレシートのサイズ範囲と名刺のサイズ範囲に共通する範囲、又は領域432のようにレシートのサイズ範囲と写真のサイズ範囲に共通する範囲に含まれる場合、原稿サイズ以外の要素に基づいて原稿の種類を判別すべきである。
次に、原稿種類判別部169は、原稿サイズが第1サイズ範囲又は第2サイズ範囲に含まれない場合、原稿サイズにより、原稿の種類を判別し(ステップS104)、処理をステップS116に移行する。原稿種類判別部169は、原稿サイズが図4に示す各領域に対応する範囲に含まれる場合、その原稿はその領域に対応するレシート、名刺又は写真であると判別する。一方、原稿種類判別部169は、原稿サイズが各領域に対応する範囲の何れにも含まれない場合、その原稿はPPC用紙であると判別する。
一方、原稿サイズが第1サイズ範囲又は第2サイズ範囲に含まれる場合、印刷面判別部163は、原稿の表面及び裏面がそれぞれ印刷面であるかを判別する(ステップS105)。原稿種類判別部169は、原稿の表面及び裏面を撮像した入力画像の輝度値を所定の二値化閾値(例えば、128)で二値化する。原稿種類判別部169は、全画素数に対して、二値化した値が何れか一方の値を表す画素数の割合が所定割合(例えば、1%)以下である場合、その面は印刷面でないと判別する。
次に、印刷色判別部164は、印刷面判別部163が印刷面と判別した面が単色であるかカラーであるかを判別する(ステップS106)。印刷色判別部164は、RGB画像について、各R値を階級とし、各R値を示す画素数を度数とするヒストグラムを生成する。同様に、印刷色判別部164は、各G値を階級とし、各G値を示す画素数を度数とするヒストグラムと、各B値を階級とし、各B値を示す画素数を度数とするヒストグラムを生成する。印刷色判別部164は、生成した各ヒストグラムにおいて、度数が閾値Th1以上である階級が所定数以上あるか否かを判別する。印刷色判別部164は、度数が閾値Th1以上である階級が所定数以上ある場合、その面はカラーであると判別し、所定数以上ない場合、その面は単色であると判別する。
次に、印刷色判別部164は、原稿が単色印刷面を有するか否かを判別する(ステップS107)。印刷色判別部164は、印刷面判別部163が印刷面と判別した面の内の何れかが単色である場合、原稿が単色印刷面を有すると判別し、印刷面判別部163が印刷面と判別した面の内の何れも単色でない場合、原稿が単色印刷面を有さないと判別する。
一般的なレシートでは、商品名、金額等が単色で印刷され、その裏面には何も印刷されないか、又はお店の広告等を表す文字、写真、画像等が単色もしくはカラーで印刷される。一方、一般的な名刺では、両面又は片面に氏名、会社名、住所、電話番号等が単色又はカラーで印刷される。また、一般的な写真では、撮影画像がカラーで印刷され、その裏面には何も印刷されないか、又は撮影日時等が単色で印刷される。したがって、原稿が単色印刷面を有さない場合、その原稿は少なくともレシートでないと判別することができる。
次に、原稿が単色印刷面を有さない場合、原稿種類判別部169は、原稿がレシートではなく、名刺又は写真であると判別し、処理をステップS113へ移行する。
一方、原稿が単色印刷面を有する場合、文字方向判別部167は、文字方向判別処理を実施する(ステップS108)。文字方向判別処理において、文字方向判別部167は、入力画像に基づいて、原稿に印刷された文字が並んでいる文字方向を判別する。文字方向判別処理の詳細については後述する。
次に、原稿種類判別部169は、文字方向判別部167が判別した文字方向が水平方向であるか否かを判別する(ステップS109)。原稿種類判別部169は、原稿の長手方向のサイズと短手方向のサイズのうちの何れか一方が、一般的なレシートについて規定されている幅方向の長さと略一致する場合、略一致する方向を水平方向とし、他方を垂直方向とする。一方、原稿種類判別部169は、原稿の長手方向のサイズと短手方向のサイズの何れも、一般的なレシートについて規定されている幅方向の長さと略一致しない場合、原稿の短手方向を水平方向とし、長手方向を垂直方向とする。つまり、原稿がレシートである場合は幅方向が水平方向となり、レシートでない場合は短手方向が水平方向となる。
一般的なレシートでは、商品名、金額等の文字列は幅方向(水平方向)に配置される。一方、一般的な名刺では、氏名、会社名、住所、電話番号等の文字列は長手方向(垂直方向)に配置されるが、文字列が短手方向(水平方向)に配置される名刺も存在する。また、写真では、文字列が長手方向(垂直方向)に配置される場合も、短手方向(水平方向)に配置される場合もある。したがって、文字方向が水平方向でない場合、その原稿は、少なくともレシートでないと判別することができる。
次に、文字方向が水平方向でない場合、原稿種類判別部169は、原稿がレシートではなく、名刺又は写真であると判別し、処理をステップS113へ移行する。
一方、文字方向が水平方向である場合、文字列情報算出部168は、文字列情報算出処理を実施する(ステップS110)。文字列情報算出処理において、文字列情報算出部168は、入力画像における水平方向及び垂直方向の文字列密度を文字列情報として算出する。文字列密度は、入力画像全体に対して、文字列が分布している割合である。文字列情報算出処理の詳細については後述する。
次に、原稿種類判別部169は、文字列情報算出部168が算出した文字列密度が所定値V1より大きいか否かを判別する(ステップS111)。所定値V1は、事前の実験により、様々な種類のレシートについて算出された文字列密度の平均値と、文字が短手方向に印刷された様々な種類の名刺について算出された文字列密度の平均値との中央値に定められる(例えば、30%)。
文字列が短手方向に配置される名刺には空白部分が多い傾向にある。したがって、文字列が短手方向に配置される名刺では、名刺全体に対する文字が配置される領域の割合は、一般的なレシートについてのレシート全体に対する文字が配置される領域の割合より小さい可能性が高い。また、写真の裏面に撮影日時等の文字列が配置される場合、その文字列は写真の下端に配置され、裏面のほとんどは空白部分であることが一般的である。したがって、写真の裏面についての写真全体に対する文字が配置される領域の割合は、一般的なレシートについてのレシート全体に対する文字が配置される領域の割合より小さい可能性が高い。
なお、原稿種類判別部169は、水平方向の文字列密度及び垂直方向の文字列密度の少なくとも一方が所定値V1以下である場合、文字列密度が所定値V1以下であると判定する。一方、原稿種類判別部169は、水平方向の文字列密度及び垂直方向の文字列密度の両方が所定値V1より大きい場合、文字列密度が所定値V1より大きいと判定する。
次に、原稿種類判別部169は、文字列密度が所定値V1以下である場合、原稿の種類はレシートでないと判別し、処理をステップS113に移行する。
一方、原稿種類判別部169は、文字列密度が所定値V1より大きい場合、原稿はレシートであると判別し(ステップS112)、処理をステップS116に移行する。
ステップS113において、原稿種類判別部169は、原稿サイズ算出部162が算出した原稿サイズが第1サイズに含まれるか第2サイズに含まれるかを判定する。
次に、原稿種類判別部169は、原稿サイズが第1サイズに含まれる場合、原稿は名刺であると判別し(ステップS114)、原稿サイズが第2サイズに含まれる場合、原稿は写真であると判別し(ステップS115)、処理をステップS116に移行する。
ステップS116において、データ処理部170は、原稿種類判別部169が判別した原稿の種類に応じたデータ処理を実行し、一連のステップを終了する。
データ処理部170は、公知のOCR技術を利用して、画像データから特定の情報を取得する。原稿がレシートである場合、データ処理部170は、入力画像から「YYYY年MM月DD日」、「YYYY/MM/DD」等の書式で記載された文字列を抽出し、購入日時を示す情報を取得する。また、データ処理部170は、入力画像の上部に記載された文字列又はロゴタイプを抽出し、店名を示す情報を取得する。また、データ処理部170は、入力画像の下部に記載された「合計」、「Total」等の文字列の右側に位置する文字列を抽出し、金額を示す情報を取得する。また、データ処理部170は、入力画像の中央部分にリスト状に記載された文字列を抽出し、品目を示す情報を取得する。
一方、原稿が名刺である場合、データ処理部170は、入力画像の中央部分において他の文字列よりも大きい領域を有する文字列から氏名を示す情報を取得するとともに、入力画像からロゴタイプを抽出し、会社名を示す情報を取得する。また、データ処理部170は、入力画像に記載された「TEL」等の文字列又は電話を示すマーク等の右側に位置する数字列を抽出し、電話番号を示す情報を取得する。また、データ処理部170は、入力画像に記載された「Mail」等の文字列又は電子メールを示すマーク等の右側に位置する英数字列を抽出し、メールアドレスを示す情報を取得する。
一方、原稿が写真である場合、データ処理部170は、入力画像から「YYYY年MM月DD日」、「YYYY/MM/DD」等の書式の文字列を抽出し、撮影日時又は印刷日時を示す情報を取得する。
データ処理部170は、入力画像、原稿の種類及び取得した各情報を関連付けて第1画像メモリ12に記憶するとともに、第1インターフェース装置13を介して情報処理装置20に送信する。
なお、データ処理部170は、第1画像メモリ12において入力画像を記憶する領域を原稿の種類毎に変更してもよい。また、データ処理部170は、公知の画像処理技術を利用して、原稿の種類に応じた補正処理を実行してもよい。また、各原稿の種類(レシート、名刺又は写真)に対応する複数のアプリケーションプログラムをその原稿の種類と関連付けて第1記憶装置14に記憶しておき、データ処理部170は、原稿の種類に関連付けられたアプリケーションプログラムを実行してもよい。
上記したように、原稿種類判別部169は、原稿のサイズ、原稿が単色印刷面を有するか否か、文字方向、及び文字列密度に基づいて、原稿の種類を判別する。なお、原稿種類判別部169は、原稿のサイズ、原稿が単色印刷面を有するか否か、及び/又は、文字方向を用いずに、原稿の種類を判別してもよい。
例えば、ステップS102〜S104及びステップS113〜S115の処理を省略し、原稿種類判別部169は、原稿がレシートであるか否かのみを判別してもよい。その場合、さらにステップS106〜S107及び/又はS108〜S109の処理を省略し、原稿種類判別部169は、原稿がレシートであるか否かを判別してもよい。また、ステップS102〜S104及びステップS113〜S115の処理を実施しつつ、ステップS106〜S107及び/又はS108〜S109の処理を省略し、原稿種類判別部169は、原稿の種類を判別してもよい。
また、一般に、ユーザは同じ種類の原稿をまとめて画像読取装置10に読み取らせる可能性が高い。したがって、画像読取装置10が複数の原稿を連続して読み取る場合、原稿種類判別部169は、処理中の原稿の前後に読み取られた原稿の種類の判別結果を用いて、処理中の原稿の種類を判別してもよい。例えば、原稿種類判別部169は、原稿の種類を、直前に搬送された原稿の種類と同じであると判別する。または、原稿種類判別部169は、連続して読み取られた複数の原稿についてそれぞれ原稿の種類を判別し、連続して読み取られた全ての原稿の種類を、最も多く判別された原稿の種類であると判別してもよい。
または、画像読取装置10が複数の原稿を連続して読み取る場合、原稿種類判別部169は、処理中の原稿の前後に読み取られた原稿の種類の判別結果を用いて、処理中の原稿の種類の判別方法を変更してもよい。例えば、原稿種類判別部169は、直前に読み取られた原稿がレシートであると判別した場合、文字列密度と比較する所定値V1を低くして、処理中の原稿をレシートであると判別しやすくする。一方、原稿種類判別部169は、直前に搬送された原稿がレシートでないと判別した場合、文字列密度と比較する所定値V1を高くし、処理中の原稿をレシートでないと判別しやすくする。これらにより、原稿種類判別部169は、より高精度に原稿の種類を判別することができる。
図5は、原稿サイズ算出処理の動作の例を示すフローチャートである。図5に示す動作のフローは、図3に示すフローチャートのステップS102において実行される。
最初に、原稿サイズ算出部162は、入力画像の輝度値について水平方向及び垂直方向におけるエッジ画素を抽出する(ステップS201)。
原稿サイズ算出部162は、入力画像の各画素の水平方向の両隣の画素の輝度値の差の絶対値(以下、隣接差分値と称する)を算出し、隣接差分値が閾値Th2を越える場合、その画像上の画素を垂直エッジ画素とする。閾値Th2は、例えば、人が画像上の輝度の違いを目視により判別可能な輝度値の差(例えば15)に設定することができる。原稿サイズ算出部162は、垂直方向にも同様の処理を行い、水平エッジ画素を抽出する。
次に、原稿サイズ算出部162は、水平エッジ画素から生成されたエッジ画像(以下、水平エッジ画像と称する)及び垂直エッジ画素から生成されたエッジ画像(以下、垂直エッジ画像と称する)からそれぞれ複数の直線を検出する(ステップS202)。なお、水平エッジ画像からは水平方向に伸びる直線が検出され、垂直エッジ画像からは垂直方向に伸びる直線が検出される。原稿サイズ算出部162は、ハフ変換を用いて直線を検出する。なお、原稿サイズ算出部162は、最小二乗法を用いて直線を検出してもよい。
次に、原稿サイズ算出部162は、検出した直線からなる矩形を検出する(ステップS203)。原稿サイズ算出部162は、検出した複数の直線のうち二本ずつが略直交する四本の直線から構成される複数の矩形候補を抽出する。原稿サイズ算出部162は、まず水平方向の直線(以下、第1の水平線と称する)を一つ選択し、選択した直線と略平行(例えば±3°以内)かつ閾値Th3以上離れた水平方向の直線(以下、第2の水平線と称する)を抽出する。次に、原稿サイズ算出部162は、第1の水平線と略直交する(例えば90°に対して±3°以内)垂直方向の直線(以下、第1の垂直線と称する)を抽出する。次に、原稿サイズ算出部162は、第1の水平線と略直交し、かつ第1の垂直線と閾値Th4以上離れた垂直方向の直線(以下、第2の垂直線と称する)を抽出する。なお、閾値Th3及び閾値Th4は、画像読取装置10の読取りの対象となる原稿のサイズに応じて予め定められ、同じ値としてもよい。
原稿サイズ算出部162は、検出した全ての直線について、上記の条件を満たす第1の水平線、第2の水平線、第1の垂直線及び第2の垂直線の全ての組合せを抽出し、抽出した各組合せから構成される矩形を矩形候補として抽出する。原稿サイズ算出部162は、抽出した矩形候補について面積を算出し、最も面積が大きい矩形候補を矩形として検出する。
次に、原稿サイズ算出部162は、検出した矩形の四辺がそれぞれ入力画像の四辺と略平行になるようにその矩形を回転させる(ステップS204)。
図6は、矩形の回転について説明するための模式図である。図6に示す入力画像600において、第1の水平線601、第2の水平線602、第1の垂直線603及び第2の垂直線604からなる矩形605が検出されている。原稿サイズ算出部162は、二本の水平線のうち、入力画像600の上端部に近い側に位置する第1の水平線601と、入力画像900の上端部に平行な水平線606との間の角度607を算出する。同様に、原稿サイズ算出部162は、二本の垂直線のうち、入力画像600の上端部に近い側に位置する第2の垂直線604と、水平線606との間の角度608を算出する。原稿サイズ算出部162は、角度607が角度608以下である場合、第1の水平線601が水平線606と平行になるように(角度607が0°になるように)、矩形605を回転させる。一方、原稿サイズ算出部162は、角度607が角度608より大きい場合、第2の垂直線604が水平線606と平行になるように(角度608が0°になるように)、矩形605を回転させる。
次に、原稿サイズ算出部162は、検出した矩形の長手方向のドット数及び短手方向のドット数と、原稿を読み込んだ時の解像度(dpi;dots per inch)から原稿の長手方向のサイズと短手方向のサイズを算出する(ステップS205)。原稿サイズ算出部162は、各サイズを算出すると、一連のステップを終了する。
図7は、文字方向判別処理の動作の例を示すフローチャートである。図7に示す動作のフローは、図3に示すフローチャートのステップS108において実行される。
最初に、二値化画像生成部165は、入力画像を二値化した二値化画像を生成する(ステップS301)。二値化画像生成部165は、入力画像の輝度値について、二値化閾値を用いて二値化処理を行い、二値化閾値以上の画素を有効画素(黒色画素)に、二値化閾値未満の画素を無効画素(白色画素)に変換した二値化画像を生成する。二値化閾値は、予め定められた値(例えば128)にしてもよいし、入力画像の全画素の輝度値の平均値等にしてもよい。
次に、ヒストグラム生成部166は、二値化画像における有効画素のヒストグラムを生成する(ステップS302)。ヒストグラム生成部166は、二値化画像の水平方向又は垂直方向のラインを階級とし、水平方向又は垂直方向のラインにおける有効画素数を度数とするヒストグラムを生成する。ヒストグラム生成部166は、連続する所定数の水平方向のラインを一つの階級とし、その所定数の水平方向のラインにおける有効画素数を度数とする水平ヒストグラムを生成する。同様に、ヒストグラム生成部166は、連続する所定数の垂直方向のラインを一つの階級とし、その所定数の垂直方向のラインにおける有効画素数を度数とする垂直ヒストグラムを生成する。所定数は、例えば1であり、処理負荷を低減するために2以上の値としてもよい。
次に、文字方向判別部167は、ヒストグラム生成部166が生成したヒストグラムにおいて度数が閾値以上である階級が連続する連続領域のうち、階級の幅が所定範囲である連続領域を抽出する(ステップS303)。文字方向判別部167は、水平ヒストグラム及び垂直ヒストグラムのそれぞれについて、度数が閾値Th5以上である階級を抽出し、度数が閾値Th5以上である階級が連続する領域を第1連続領域として抽出する。この閾値Th5は、例えば1であり、一定のノイズを除去するために2以上の値としてもよい。文字方向判別部167は、抽出した第1連続領域から、階級の幅が文字の高さ又は幅として想定される範囲(例えば2mm〜6mm)に相当する範囲に含まれる領域を第2連続領域として抽出する。
次に、文字方向判別部167は、水平ヒストグラムについて抽出した第2連続領域の数と、垂直ヒストグラムについて抽出した第2連続領域の数とを算出する(ステップS304)。
次に、文字方向判別部167は、水平ヒストグラムについて抽出した第2連続領域の数と、垂直ヒストグラムについて抽出した第2連続領域の数から文字方向を判別する(ステップS305)。文字方向判別部167は、水平ヒストグラムについて抽出した第2連続領域の数が、垂直ヒストグラムについて抽出した第2連続領域の数以上である場合、文字方向が水平方向と判別する。一方、文字方向判別部167は、水平ヒストグラムについて抽出した第2連続領域の数が、垂直ヒストグラムについて抽出した第2連続領域の数未満である場合、文字方向が垂直方向と判別する。
図8は、文字方向判別処理について説明するための模式図である。図8の画像801はレシートについて生成された二値化画像の一例を示す。グラフ802は、画像801に示されるレシートの幅方向(水平方向)のラインにおける有効画素数を度数とする水平ヒストグラムを示す。グラフ803は、画像801に示されるレシートの幅方向と直交する方向(垂直方向)のラインにおける有効画素数を度数とする垂直ヒストグラムを示す。
また、領域804〜814は、水平ヒストグラムについて抽出された第1連続領域を示し、領域815〜818は、垂直ヒストグラムについて抽出された第1連続領域を示す。領域804〜814及び領域815〜816は、第2連続領域としても抽出されるが、領域817〜818は、所定範囲より長いため、第2連続領域として抽出されない。
図8に示すように、文字が水平方向に並んでいる場合、水平ヒストグラムについては「ABC」「レストラン」等の各行の文字列に対応して連続領域が抽出されるため、水平ヒストグラムについて抽出される連続領域の数は、文字が印刷されている行数となる。一方、垂直方向の各ラインには各行の文字が重複して存在するため、垂直ヒストグラムについて抽出される連続領域は少ない。図8に示す例では、水平ヒストグラムについて抽出される連続領域の数は11となり、垂直ヒストグラムについて抽出される連続領域の数は4となり、文字方向は水平方向であると判別される。
図9は、文字列情報算出処理の動作の例を示すフローチャートである。図9に示す動作のフローは、図3に示すフローチャートのステップS110において実行される。つまり、図9に示す動作のフローは、図7に示す動作のフローの後に実行され、文字列情報算出部168は、図7のステップS302で生成されたヒストグラムに基づいて文字列密度を算出する。
最初に、文字列情報算出部168は、ヒストグラム生成部166が生成したヒストグラムの全階級数と、度数が閾値Th6以上である階級数とを算出する(ステップS401)。この閾値Th6は、例えば1であり、一定のノイズを除去するために2以上の値としてもよい。文字列情報算出部168は、水平ヒストグラム及び垂直ヒストグラムのそれぞれについて、全階級数と、度数が閾値Th6以上である階級数とを算出する。
次に、文字列情報算出部168は、ヒストグラムの全階級数に対する、度数が閾値Th6以上である階級数の割合を文字列密度として算出し(ステップS402)、一連のステップを終了する。
以上詳述したように、図3、5、7及び9に示したフローチャートに従って動作することによって、画像読取装置10は、原稿サイズ、原稿が単色印刷面を有するか否か、文字方向及び文字列密度に基づいて、原稿の種類を精度良く判別することが可能となった。
図10は、文字列情報算出処理の動作の他の例を示すフローチャートである。
このフローチャートは、画像読取装置10において、前述した図9に示すフローチャートの代りに実行することが可能である。図10に示すフローチャートでは、文字列情報算出部168は、ラベリング処理を用いて文字列密度を算出する。
最初に、文字列情報算出部168は、二値化画像生成部165が生成した二値化画像について、各有効画素が他の有効画素と連結しているか否かを判定し、連結している有効画素を一つのグループとしてラベリングする(ステップS501)。文字列情報算出部168は、水平方向、垂直方向又は斜め方向(8近傍)に相互に隣接する有効画素を連結していると判定する。なお、文字列情報算出部168は、水平方向又は垂直方向のみ(4近傍)に相互に隣接する有効画素を連結していると判定してもよい。
次に、文字列情報算出部168は、各グループが他のグループに近接しているか否かを判定し、相互に近接しているグループを一つのブロックとして結合する(ステップS502)。文字列情報算出部168は、垂直方向において互いに重複し且つ水平方向において互いの端部が所定距離以内に位置するグループ、及び水平方向において互いに重複し且つ垂直方向において互いの端部が所定距離以内に位置するグループをブロックとして結合する。
次に、文字列情報算出部168は、各ブロックの面積を算出する(ステップS503)。文字列情報算出部168は、ブロックの外接矩形の面積(垂直方向の画素数×水平方向の画素数)をそのブロックの面積として算出する。
次に、文字列情報算出部168は、二値化画像内の全画素数に対する、全てのブロックの外接矩形の面積の総和の割合を文字列密度として算出し(ステップS504)、一連のステップを終了する。
図11は、ラベリング処理について説明するための模式図である。図11では、短手方向が水平方向であり、長手方向が垂直方向であるものとする。図11の画像1100は、二値化画像を示す。二値化画像1100において、各文字A〜Zがそれぞれ一つのグループとしてラベリングされる。文字Aのグループと文字Bのグループは、垂直方向において重複し且つ水平方向において文字Aのグループの右端と文字Bのグループの左端が所定距離以内に位置するため、結合される。同様に、文字Bのグループと文字Cのグループ、文字Cのグループと文字Dのグループ、文字Dのグループと文字Eのグループがそれぞれ結合され、文字A〜Eのグループが一つのブロック1101として結合される。同様に、文字F〜Kのグループが一つのブロック1102として結合され、文字L〜Rのグループが一つのブロック1103として結合され、文字S〜Zのグループが一つのブロック1104として結合される。一方、ブロック1101〜1104は、相互に垂直方向に所定距離より離れているので結合されない。
なお、文字列情報算出部168は、二値化画像の全画素数に対する、全てのグループの面積の総和、全てのグループの外接矩形の面積の総和、又は全ての有効画素の総和の割合を文字列密度として算出してもよい。
図3に示すステップS111において、原稿種類判別部169は、文字列密度が所定値V2より大きいか否かを判別する。所定値V2は、所定値V1と同様にして定められる。
また、原稿種類判別部169は、図9に示すフローチャートで算出されたヒストグラムに基づく第1の文字列密度と、図10に示すフローチャートで算出された第2の文字列密度の両方に基づいて、原稿の種類を判別してもよい。その場合、原稿種類判別部169は、第1の文字列密度が所定値V1以下である場合、又は、第2の文字列密度が所定値V2以下である場合、原稿はレシートでないと判別する。一方、原稿種類判別部169は、第1の文字列密度が所定値V1より大きく、且つ、第2の文字列密度が所定値V2より大きい場合、原稿はレシートであると判別する。これにより、文字列の水平方向の成分、垂直方向の成分、及び全体の分布に基づいて、原稿がレシートであるか否かをより精度よく判別することができる。
以上詳述したように、図3、5、7及び10に示したフローチャートに従って動作することによって、画像読取装置10は、原稿サイズ、原稿が単色印刷面を有するか否か、文字方向及び文字列密度に基づいて、原稿の種類を精度良く判別することが可能となった。
図12は、文字列情報算出処理の動作のさらに他の例を示すフローチャートである。
このフローチャートは、画像読取装置10において、前述した図9に示すフローチャートの代りに実行することが可能である。図12に示すフローチャートでは、文字列情報算出部168は、文字列情報として、入力画像における文字列分散を算出する。文字列分散は、入力画像において、文字列が散らばっている度合い(ばらつき度合い)である。
最初に、文字列情報算出部168は、ヒストグラム生成部166が生成したヒストグラムにおいて度数が閾値以上である第1連続領域を抽出する(ステップS601)。文字列情報算出部168は、図7のフローチャートのステップS303と同様にして、第1連続領域を抽出する。文字列情報算出部168は、文字方向が水平方向である場合、水平ヒストグラムから第1連続領域を抽出し、文字方向が垂直方向である場合、垂直ヒストグラムから第1連続領域を抽出する。
次に、文字列情報算出部168は、第1連続領域を抽出したヒストグラムにおいて、相互に隣接する第1連続領域の中心間の距離を算出する。また、文字列情報算出部168は、ヒストグラムの階級の最小値と最小値に最も近い第1連続領域の中心との間の距離を算出する。また、文字列情報算出部168は、ヒストグラムの階級の最大値と最大値に最も近い第1連続領域の中心との間の距離を算出する(ステップS602)。
文字方向が水平方向である場合、文字列情報算出部168は、各第1連続領域の垂直方向の中心を算出し、相互に隣接する第1連続領域の垂直方向の中心間の距離を算出する。また、文字列情報算出部168は、水平ヒストグラムの階級の最小値と最小値に最も近い第1連続領域の垂直方向の中心との間の距離を算出する。また、文字列情報算出部168は、水平ヒストグラムの階級の最大値と最大値に最も近い第1連続領域の垂直方向の中心との間の距離を算出する。
一方、文字方向が垂直方向である場合、文字列情報算出部168は、各第1連続領域の水平方向の中心を算出し、相互に隣接する第1連続領域の水平方向の中心間の距離を算出する。また、文字列情報算出部168は、垂直ヒストグラムの階級の最小値と最小値に最も近い第1連続領域の水平方向の中心との間の距離を算出する。また、文字列情報算出部168は、垂直ヒストグラムの階級の最大値と最大値に最も近い第1連続領域の水平方向の中心との間の距離を算出する。
次に、文字列情報算出部168は、算出した全ての距離の分散を文字列分散として算出し(ステップS603)、一連のステップを終了する。
図13は、文字列分散の算出処理について説明するための模式図である。図13の画像1301はレシートについて生成された二値化画像の一例を示す。グラフ1302は、画像1301についての水平ヒストグラムを示す。点線1321は水平ヒストグラムの階級の最小値を示し、点線1322は水平ヒストグラムの階級の最大値を示し、点線1321と点線1322の間の各点線は、各第1連続領域の垂直方向の中心を示す。距離1303は、水平ヒストグラムの階級の最小値と最小値に最も近い第1連続領域の垂直方向の中心との間の距離を示す。距離1304〜1313は、相互に隣接する第1連続領域の垂直方向の中心間の距離を示す。距離1314は、水平ヒストグラムの階級の最大値と最大値に最も近い第1連続領域の垂直方向の中心との間の距離を示す。
図13に示すように、一般的なレシートでは、文字列は紙全体にわたって配置される。一方、文字列が短手方向に配置される名刺では、文字列が下側に偏って配置される場合が多い。また、写真の裏面に撮影日時等の文字列が配置される場合、その文字列は写真の下端に配置されることが一般的である。したがって、文字列が短手方向に配置される名刺及び写真では、一般的なレシートと比較して、文字が配置される領域が何れかの側に偏っている可能性が高い。したがって、文字列分散に基づいて、原稿の種類を精度よく判別することができる。
図3に示すステップS111において、原稿種類判別部169は、文字列分散が所定値V3より大きいか否かを判別する。所定値V3は、所定値V1と同様にして定められる。このように、原稿種類判別部169は、文字列分散に基づいて原稿の種類を判別する。
また、原稿種類判別部169は、文字列密度と文字列分散の両方に基づいて、原稿の種類を判別してもよい。その場合、原稿種類判別部169は、文字列密度が所定値V1以下である場合、又は、文字列分散が所定値V3以下である場合、原稿はレシートでないと判別する。一方、原稿種類判別部169は、文字列密度が所定値V1より大きく、且つ、文字列分散が所定値V3より大きい場合、原稿はレシートであると判別する。これにより、原稿の種類をより精度よく判別することができる。
以上詳述したように、図3、5、7及び12に示したフローチャートに従って動作することによって、画像読取装置10は、原稿サイズ、原稿が単色印刷面を有するか否か、文字方向及び文字列分散に基づいて、原稿の種類を精度良く判別することが可能となった。
図14は、文字列情報算出処理の動作のさらに他の例を示すフローチャートである。
このフローチャートは、画像読取装置10において、前述した図12に示すフローチャートの代りに実行することが可能である。図14に示すフローチャートでは、文字列情報算出部168は、ラベリング処理を用いて文字列分散を算出する。なお、ステップS701〜S702の処理は、図10に示すステップS501〜S502の処理と同様であるため、説明を省略する。
ステップS703において、文字列情報算出部168は、各ブロックの中心間の距離、二値化画像の一端とその一端に最も近いブロックの中心との間の距離、及び二値化画像の他端とその他端に最も近いブロックの中心との間の距離を算出する。
文字方向が水平方向である場合、文字列情報算出部168は、各ブロックの垂直方向の中心を算出し、相互に隣接するブロックの垂直方向の中心間の距離を算出する。また、文字列情報算出部168は、二値化画像の上端と上端に最も近いブロックの垂直方向の中心との間の距離を算出する。また、文字列情報算出部168は、二値化画像の下端と下端に最も近いブロックの垂直方向の中心との間の距離を算出する。
一方、文字方向が垂直方向である場合、文字列情報算出部168は、各ブロックの水平方向の中心を算出し、相互に隣接するブロックの水平方向の中心間の距離を算出する。また、文字列情報算出部168は、二値化画像の左端と左端に最も近いブロックの水平方向の中心との間の距離を算出する。また、文字列情報算出部168は、二値化画像の右端と右端に最も近いブロックの水平方向の中心との間の距離を算出する。
次に、文字列情報算出部168は、算出した全ての距離の分散を文字列分散として算出し(ステップS704)、一連のステップを終了する。
なお、文字列情報算出部168は、全てのグループの重心間の距離の分散、全てのグループの外接矩形の中心間の距離の分散、又は全ての有効画素間の距離の分散を文字列密度として算出してもよい。また、文字列情報算出部168は、全てのブロックの中心位置の分散、全てのグループの重心位置の分散、全てのグループの外接矩形の中心位置の分散、又は全ての有効画素の位置の分散を文字列密度として算出してもよい。
以上詳述したように、図3、5、7及び14に示したフローチャートに従って動作することによって、画像読取装置10は、原稿サイズ、原稿が単色印刷面を有するか否か、文字方向及び文字列分散に基づいて、原稿の種類を精度良く判別することが可能となった。
図15は、他の画像処理システム2のハードウェア構成図である。図15に示す画像処理システム2と、図1に示す画像処理システム1との差異は、画像処理回路を備える装置が異なる点である。すなわち、画像処理システム2では、情報処理装置40が画像処理装置の一例であり、画像読取装置30ではなく、情報処理装置40が画像処理回路46を有する。この画像処理回路46は、図1に示した画像読取装置10の画像処理回路16と同様の機能を有する。
図15に示す画像処理システム2では、前述した図3のフローチャートに示す処理とほぼ同様の処理を実行することができる。以下、図3のフローチャートに示される処理についてどのように適応されるかを説明する。画像処理システム2では、図3のフローチャートに示される処理は、予め第2記憶装置44に記憶されているプログラムに基づき主に第2CPU45により情報処理装置40の各要素と協同して実行される。
ただし、図3のステップS101において、画像読取装置30の画像入力装置31がRGB画像及び入力画像を生成して第1画像メモリ32に保存し、第1CPU35が各画像を第1インターフェース装置33を介して情報処理装置40に送信する。一方、情報処理装置40の第2CPU45は、第2インターフェース装置41を介して画像読取装置30から各画像を受信すると、受信した各画像を第2画像メモリ42に保存する。情報処理装置40の画像処理回路46は、第2画像メモリ42から各画像を読み出して取得する(ステップS101)。
他の処理は、情報処理装置40の画像処理回路46によって実行される。これらの処理の動作は、画像処理システム1について説明した画像読取装置10の画像処理回路16によって実行される場合と同様である。
このように、情報処理装置40が画像処理回路46を備えて原稿種類判別処理を実行する場合も、画像読取装置が画像処理回路を備えて原稿種類判別処理を実行する場合と同様の効果を得ることができる。
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、画像読取装置と情報処理装置の機能分担は、図1及び図15に示す画像処理システムの例に限られず、画像処理回路内の各部を含めて画像読取装置及び情報処理装置の各部を画像読取装置と情報処理装置の何れに配置するかは適宜変更可能である。あるいは、画像読取装置と情報処理装置を一つの装置で構成してもよい。
また、画像処理システム1又は2において、画像読取装置と情報処理装置を、例えばインターネット、電話回線網(携帯端末回線網、一般電話回線網を含む)、イントラネット等のネットワークを介して接続してもよい。または、画像読取装置と情報処理装置を、無線LAN(Local Area Network)を介して接続してもよい。その場合、第1インターフェース装置及び第2インターフェース装置に、接続するネットワークの通信インターフェース回路を備える。また、クラウドコンピューティングの形態で画像処理のサービスを提供できるように、ネットワーク上に複数の情報処理装置を分散して配置し、各情報処理装置が協同して、原稿種類判別等の画像処理、画像データの保存等を分担するようにしてもよい。これにより、画像処理システムは、複数の画像読取装置が生成した入力画像について、効率よく原稿種類判別処理を実施できる。
10、30 画像読取装置
20、40 情報処理装置
161 入力画像取得部
162 原稿サイズ算出部
164 印刷色判別部
165 二値化画像生成部
166 ヒストグラム生成部
167 文字方向判別部
168 文字列情報算出部
169 原稿種類判別部

Claims (14)

  1. 原稿を読み取って生成された入力画像を取得する入力画像取得部と、
    前記入力画像を二値化した二値化画像を生成する二値化画像生成部と、
    前記二値化画像の水平方向又は垂直方向のライン毎に、水平方向又は垂直方向のライン上に位置する二値の内の一方の値を有する画素の数を計数し、前記一方の値を有する画素の数が閾値以上であるライン数に基づいて、前記入力画像における文字列密度を算出する文字列情報算出部と、
    前記文字列密度に基づいて、前記原稿の種類を判別する原稿種類判別部と、
    を有することを特徴とする画像処理装置。
  2. 記二値化画像における有効画素のヒストグラムを生成するヒストグラム生成部をさらに有し、
    前記文字列情報算出部は、前記ヒストグラムに基づいて前記文字列密度を算出する、請求項1に記載の画像処理装置。
  3. 前記ヒストグラム生成部は、前記二値化画像の水平方向又は垂直方向のラインを階級とし、水平方向又は垂直方向のラインにおける有効画素数を度数とするヒストグラムを生成し、
    前記文字列情報算出部は、前記ヒストグラムの全階級数に対する、度数が閾値以上である階級数の割合を前記文字列密度として算出する、請求項2に記載の画像処理装置。
  4. 原稿を読み取って生成された入力画像を取得する入力画像取得部と、
    前記入力画像を二値化した二値化画像を生成する二値化画像生成部と、
    前記二値化画像の水平方向又は垂直方向のライン毎に、水平方向又は垂直方向のライン上に位置する二値の内の一方の値を有する画素の数を計数し、前記一方の値を有する画素の数が閾値以上であるラインが連なる領域の中心の間の距離に基づいて、前記入力画像における文字列分散を算出する文字列情報算出部と、
    前記文字列分散に基づいて、前記原稿の種類を判別する原稿種類判別部と、
    を有することを特徴とする画像処理装置。
  5. 前記二値化画像における有効画素のヒストグラムを生成するヒストグラム生成部をさらに有し、
    前記文字列情報算出部は、前記ヒストグラムに基づいて前記文字列分散を算出する、請求項4に記載の画像処理装置。
  6. 前記ヒストグラム生成部は、前記二値化画像の水平方向又は垂直方向のラインを階級とし、水平方向又は垂直方向のラインにおける有効画素数を度数とするヒストグラムを生成し、
    前記文字列情報算出部は、前記ヒストグラムにおいて度数が閾値以上である階級が連続する連続領域を抽出し、前記ヒストグラムの階級の最小値と前記最小値に最も近い前記連続領域の中心との間の距離、前記ヒストグラムの階級の最大値と前記最大値に最も近い前記連続領域の中心との間の距離、並びに、相互に隣接する前記連続領域の中心間の距離の分散を、前記文字列分散として算出する、請求項に記載の画像処理装置。
  7. 前記原稿種類判別部は、前記原稿の種類として、少なくとも名刺、レシート及び写真を判別する、請求項1〜の何れか一項に記載の画像処理装置。
  8. 前記原稿のサイズを算出する原稿サイズ算出部をさらに有し、
    前記原稿種類判別部は、更に、前記原稿のサイズに基づいて、前記原稿の種類を判別する、請求項1〜の何れか一項に記載の画像処理装置。
  9. 前記原稿が単色印刷面を有するか否かを判別する印刷色判別部をさらに有し、
    前記原稿種類判別部は、更に、前記原稿が単色印刷面を有するか否かに基づいて、前記原稿の種類を判別する、請求項1〜の何れか一項に記載の画像処理装置。
  10. 前記原稿に印字された文字が並んでいる文字方向を判別する文字方向判別部をさらに有し、
    前記原稿種類判別部は、更に、前記文字方向に基づいて、前記原稿の種類を判別する、請求項1〜の何れか一項に記載の画像処理装置。
  11. 原稿を読み取って生成された入力画像を取得するステップと、
    前記入力画像を二値化した二値化画像を生成するステップと、
    前記二値化画像の水平方向又は垂直方向のライン毎に、水平方向又は垂直方向のライン上に位置する二値の内の一方の値を有する画素の数を計数し、前記一方の値を有する画素の数が閾値以上であるライン数に基づいて、前記入力画像における文字列密度を算出するステップと、
    前記文字列密度に基づいて、前記原稿の種類を判別するステップと、
    を含むことを特徴とする画像処理方法。
  12. 原稿を読み取って生成された入力画像を取得するステップと、
    前記入力画像を二値化した二値化画像を生成するステップと、
    前記二値化画像の水平方向又は垂直方向のライン毎に、水平方向又は垂直方向のライン上に位置する二値の内の一方の値を有する画素の数を計数し、前記一方の値を有する画素の数が閾値以上であるラインが連なる領域の中心の間の距離に基づいて、前記入力画像における文字列分散を算出するステップと、
    前記文字列分散に基づいて、前記原稿の種類を判別するステップと、
    を含むことを特徴とする画像処理方法。
  13. 原稿を読み取って生成された入力画像を取得するステップと、
    前記入力画像を二値化した二値化画像を生成するステップと、
    前記二値化画像の水平方向又は垂直方向のライン毎に、水平方向又は垂直方向のライン上に位置する二値の内の一方の値を有する画素の数を計数し、前記一方の値を有する画素の数が閾値以上であるライン数に基づいて、前記入力画像における文字列密度を算出するステップと、
    前記文字列密度に基づいて、前記原稿の種類を判別するステップと、
    をコンピュータに実行させることを特徴とするコンピュータプログラム。
  14. 原稿を読み取って生成された入力画像を取得するステップと、
    前記入力画像を二値化した二値化画像を生成するステップと、
    前記二値化画像の水平方向又は垂直方向のライン毎に、水平方向又は垂直方向のライン上に位置する二値の内の一方の値を有する画素の数を計数し、前記一方の値を有する画素の数が閾値以上であるラインが連なる領域の中心の間の距離に基づいて、前記入力画像における文字列分散を算出するステップと、
    前記文字列分散に基づいて、前記原稿の種類を判別するステップと、
    をコンピュータに実行させることを特徴とするコンピュータプログラム。
JP2013194488A 2013-09-19 2013-09-19 画像処理装置、画像処理方法及びコンピュータプログラム Active JP6161484B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013194488A JP6161484B2 (ja) 2013-09-19 2013-09-19 画像処理装置、画像処理方法及びコンピュータプログラム
US14/178,641 US9305236B2 (en) 2013-09-19 2014-02-12 Image processing apparatus, image processing method, and computer-readable, non-transitory medium
CN201410168163.0A CN104469071B (zh) 2013-09-19 2014-04-24 图像处理装置及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013194488A JP6161484B2 (ja) 2013-09-19 2013-09-19 画像処理装置、画像処理方法及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2015060448A JP2015060448A (ja) 2015-03-30
JP6161484B2 true JP6161484B2 (ja) 2017-07-12

Family

ID=52667744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013194488A Active JP6161484B2 (ja) 2013-09-19 2013-09-19 画像処理装置、画像処理方法及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US9305236B2 (ja)
JP (1) JP6161484B2 (ja)
CN (1) CN104469071B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11722615B2 (en) 2021-04-28 2023-08-08 Pfu Limited Image processing including adjusting image orientation

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528600A (zh) * 2015-10-30 2016-04-27 小米科技有限责任公司 区域识别方法及装置
CN105550633B (zh) * 2015-10-30 2018-12-11 小米科技有限责任公司 区域识别方法及装置
CN105528606B (zh) 2015-10-30 2019-08-06 小米科技有限责任公司 区域识别方法及装置
JP6623866B2 (ja) * 2016-03-15 2019-12-25 富士ゼロックス株式会社 情報処理装置
JP6515887B2 (ja) * 2016-07-27 2019-05-22 京セラドキュメントソリューションズ株式会社 画像形成装置及び画像形成プログラム
JP6918482B2 (ja) * 2016-12-16 2021-08-11 キヤノン株式会社 画像読取装置
JP6788801B2 (ja) * 2017-04-07 2020-11-25 カシオ計算機株式会社 画像確認装置、画像確認方法、及びプログラム
CN108304840B (zh) * 2017-08-31 2022-11-11 腾讯科技(深圳)有限公司 一种图像数据处理方法以及装置
JP7081179B2 (ja) * 2018-01-31 2022-06-07 セイコーエプソン株式会社 画像処理装置および画像処理プログラム
JP7255121B2 (ja) * 2018-02-08 2023-04-11 セイコーエプソン株式会社 レシート処理装置及びレポートの生産方法
CN110138992A (zh) * 2018-02-08 2019-08-16 精工爱普生株式会社 收据处理装置、程序的存储介质以及报告的制作方法
JP2020086847A (ja) 2018-11-22 2020-06-04 株式会社Pfu 画像処理装置、制御方法及び制御プログラム
CN109933756B (zh) * 2019-03-22 2022-04-15 腾讯科技(深圳)有限公司 基于ocr的图像转档方法、装置、设备及可读存储介质
JP2021047693A (ja) * 2019-09-19 2021-03-25 富士ゼロックス株式会社 情報処理装置及びプログラム
JP7457903B2 (ja) * 2020-03-24 2024-03-29 京セラドキュメントソリューションズ株式会社 画像処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04309191A (ja) * 1991-04-08 1992-10-30 Matsushita Electric Ind Co Ltd 領域属性識別装置
JP3050007B2 (ja) * 1993-08-26 2000-06-05 ミノルタ株式会社 画像読取装置およびこれを備えた画像形成装置
JPH0822507A (ja) * 1994-07-08 1996-01-23 Matsushita Electric Ind Co Ltd 文書認識装置
DE69525401T2 (de) * 1994-09-12 2002-11-21 Adobe Systems, Inc. Verfahren und Gerät zur Identifikation von Wörtern, die in einem portablen elektronischen Dokument beschrieben sind
JPH10275209A (ja) * 1995-11-09 1998-10-13 Pfu Ltd イメージデータ処理システムおよびイメージデータ処理方法
US6389162B2 (en) * 1996-02-15 2002-05-14 Canon Kabushiki Kaisha Image processing apparatus and method and medium
JP2001318941A (ja) * 2000-05-09 2001-11-16 Matsushita Electric Ind Co Ltd 情報処理装置および情報処理方法
JP3488678B2 (ja) * 2000-08-10 2004-01-19 シャープ株式会社 画像分類装置
CN1203657C (zh) * 2001-08-07 2005-05-25 佳能株式会社 图像处理方法和装置
JP2003337941A (ja) * 2002-05-20 2003-11-28 Matsushita Electric Ind Co Ltd 画像認識装置と画像認識方法とプログラム
JP4914185B2 (ja) * 2006-11-20 2012-04-11 株式会社Pfu 画像読取処理装置および画像読取処理方法
US8027539B2 (en) * 2008-01-11 2011-09-27 Sharp Laboratories Of America, Inc. Method and apparatus for determining an orientation of a document including Korean characters
CN101551859B (zh) * 2008-03-31 2012-01-04 夏普株式会社 图像辨别装置及图像检索装置
JP5247588B2 (ja) 2009-05-20 2013-07-24 キヤノン株式会社 画像処理装置、その制御方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11722615B2 (en) 2021-04-28 2023-08-08 Pfu Limited Image processing including adjusting image orientation

Also Published As

Publication number Publication date
JP2015060448A (ja) 2015-03-30
CN104469071A (zh) 2015-03-25
CN104469071B (zh) 2017-12-15
US20150077817A1 (en) 2015-03-19
US9305236B2 (en) 2016-04-05

Similar Documents

Publication Publication Date Title
JP6161484B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
US9754164B2 (en) Systems and methods for classifying objects in digital images captured using mobile devices
JP6099457B2 (ja) 画像処理装置、領域決定方法及びコンピュータプログラム
US8441537B2 (en) Portable terminal apparatus for capturing only one image, and captured image processing system for obtaining high resolution image data based on the captured only one image and outputting high resolution image
US10140510B2 (en) Machine print, hand print, and signature discrimination
JP5847210B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP6021665B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
EP2608104A1 (en) Image processing device, image processing method, and image processing program
US11881043B2 (en) Image processing system, image processing method, and program
JP2020086847A (ja) 画像処理装置、制御方法及び制御プログラム
EP3786844A1 (en) Image processing system, image processing method, and program
US9085191B2 (en) Background pattern image combining apparatus, background pattern image combining method, and computer-readable storage medium for computer program
JP2018042067A (ja) 画像処理システム、画像処理方法、情報処理装置
JP6249240B2 (ja) 画像処理装置
US11436733B2 (en) Image processing apparatus, image processing method and storage medium
US10757281B1 (en) Image reading apparatus for executing image processing based on a reliability level according to a number of conveyance mechanisms clamping a medium
US9659230B2 (en) Methods and systems for estimating skew angle of an image
JP2018067096A (ja) 文字認識装置及び文字認識方法
JP6540597B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP4205554B2 (ja) 帳票処理装置
US10623603B1 (en) Image processing apparatus, non-transitory computer readable recording medium that records an image processing program, and image processing method
US20240348736A1 (en) Image processing apparatus, control method, and non-transitory computer-executable medium
JP2009284190A (ja) 画像読み取り装置および画像読み取りシステム
JP7457903B2 (ja) 画像処理装置
US11948342B2 (en) Image processing apparatus, image processing method, and non-transitory storage medium for determining extraction target pixel

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170613

R150 Certificate of patent or registration of utility model

Ref document number: 6161484

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150