JP7006009B2 - 画像識別装置及び画像形成プログラム - Google Patents

画像識別装置及び画像形成プログラム Download PDF

Info

Publication number
JP7006009B2
JP7006009B2 JP2017156881A JP2017156881A JP7006009B2 JP 7006009 B2 JP7006009 B2 JP 7006009B2 JP 2017156881 A JP2017156881 A JP 2017156881A JP 2017156881 A JP2017156881 A JP 2017156881A JP 7006009 B2 JP7006009 B2 JP 7006009B2
Authority
JP
Japan
Prior art keywords
image
line
lines
divides
entire image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017156881A
Other languages
English (en)
Other versions
JP2019036121A (ja
Inventor
大祐 辰巳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2017156881A priority Critical patent/JP7006009B2/ja
Priority to US15/914,361 priority patent/US11003902B2/en
Priority to CN201810191252.5A priority patent/CN109409178B/zh
Publication of JP2019036121A publication Critical patent/JP2019036121A/ja
Application granted granted Critical
Publication of JP7006009B2 publication Critical patent/JP7006009B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text

Description

本発明は、画像識別装置及び画像形成プログラムに関する。
特許文献1には、原稿の画像またはその圧縮画像上の黒画素のランを抽出し、接しているランを統合して矩形を生成し、該生成された矩形の中で所定サイズ以上の矩形を表領域候補と判定し、該表領域候補の矩形について、その内部の一定以上の長さのランを罫線として抽出し、該抽出した罫線の個数により当該矩形を表領域であるか否か判定することを特徴とする表領域識別方法が開示されている。
特許文献2には、表中に内部表を有し、該内部表中に更に文字を有する文書の画像データから前記文字を読み取るための文書読取装置であって、前記画像データから前記表に対応する表領域を解析すると、該表領域に前記内部表に対応する内部表領域が有るか否かを解析し、前記内部表領域が有ると該内部表領域に前記文字に対応する文字領域が有るか否かを解析するレイアウト解析部と、前記解析して得た前記文字領域から文字を認識する認識部とを含むことを特徴とする文書読取装置が開示されている。
特許文献3には、入力画像から、画素の連結情報に基づいて部分パターンを抽出するパターン抽出手段と、該パターン抽出手段により抽出された部分パターンの中から実線または点線の直線を抽出する直線抽出手段と、前記直線抽出手段によって抽出された横方向の直線の中から、ある一定の長さ以上の直線を抽出して、該直線を横枠線の候補とする横枠線候補抽出手段と、前記横枠線候補抽出手段によって抽出された横枠線の候補の直線を、上部から順番に2本づつ取り出し、これら2本の直線の長さを比較することにより、横枠線の組となる2本の直線を決定する横枠決定手段と、該横枠決定手段によって横枠線の組となることが決定された2本の横線に、上下が共に達している縦方向の直線を縦枠線に決定する縦枠決定手段と、を備えることを特徴とする枠抽出装置が開示されている。
特許第2940936号公報 特許第3157414号公報 特許第3420864号公報
画像認識を行う際に、画像中の認識したい対象物に異なる対象物が繋がっている場合がある。このような場合としては、例えば、表領域の罫線に図面中の図枠が接している場合、図形に区切り線が重なっている場合等が考えられる。
本発明は、画像中の対象物を識別する際に、ある対象物の一部と繋がっていたとしても、目的の対象物を識別することができる画像識別装置及び画像形成プログラムを提供することを目的とする。
上記目的を達成するために、請求項1に記載の画像識別装置は、画像から線を抽出する抽出手段と、抽出した線のうち画像全体を区分する線を識別対象から除外する除外手段と、抽出した線のうち前記除外手段により除外されなかった線から、複数の線について線同士に繋がりがある場合に、互いに繋がりのある当該複数の線を1つの対象物として識別する識別手段と、を備え、前記除外手段は、前記画像全体を区分する線のうち、前記画像から抽出された表領域と重なる領域を除いた部分の線を除外する。
また、請求項2に記載の発明は、請求項1に記載の発明において、前記除外手段は、前記画像に含まれる、前記線の画素が連続した領域のうちの最大の領域を、前記画像全体を区分する線に対応する領域として除外する。
また、請求項に記載の発明は、請求項1又は2記載の発明において、前記除外手段は、前記抽出手段により抽出された線のうち、各々の線を内包する最小の矩形状の枠の大きさが最も大きい線を、前記画像全体を区分する線として除外する。
また、請求項に記載の発明は、請求項記載の発明において、前記除外手段は、前記抽出手段により抽出された線のうち、各々の線を内包する最小の矩形状の枠の大きさが最も大きく、かつ前記矩形状の枠の大きさが予め定めた第1閾値以上である線を、前記画像全体を区分する線として除外する。
また、請求項に記載の発明は、請求項記載の発明において、前記画像が、記録媒体に形成された画像を読み取った読取画像である場合に、前記予め定めた第1閾値は、前記記録媒体の大きさに基づく閾値である。
また、請求項に記載の発明は、請求項1又は2記載の発明において、前記除外手段は、前記抽出手段により抽出された線のうち、予め定めた第1方向の長さが最も長い線を、前記画像全体を区分する線として除外する。
また、請求項に記載の発明は、請求項記載の発明において、前記除外手段は、前記抽出手段により抽出された線のうち、予め定めた第1方向の長さが最も長く、かつ前記第1方向の長さが予め定めた第2閾値より長い線を、前記画像全体を区分する線として除外する。
また、請求項に記載の発明は、請求項記載の発明において、前記画像が、記録媒体に形成された画像を読み取った読取画像である場合に、前記予め定めた第2閾値は、前記記録媒体の大きさに基づく閾値である。
また、請求項に記載の発明は、請求項1~の何れか1項記載の発明において、前記除外手段は、前記抽出手段により抽出された線が、前記画像における予め定めた外周領域内にある場合に、前記画像全体を区分する線として除外する。
また、請求項10に記載の発明は、請求項記載の発明において、前記画像が、記録媒体に形成された画像を読み取った読取画像である場合に、前記予め定めた外周領域は、前記記録媒体の大きさに基づいて定められた外周領域である。
また、請求項11に記載の発明は、請求項1~10の何れか1項記載の発明において、前記識別手段は、予め定めた第1方向に並行な複数の線と、前記第1方向と交差する第2方向に並行な複数の線とが交わっている場合に、前記複数の線に囲まれた領域を表領域と識別する。
また、請求項12に記載の発明は、請求項1~11の何れか1項記載の発明において、前記線の画素が予め定めた第1方向に連続した複数の領域が、前記第1方向とは交差する第2方向に連続する場合に、前記複数の領域が前記第1方向において連続しているものとして、前記画像における前記画像全体を区分する線の座標値を算出する第1算出手段を更に備え、前記除外手段は、前記第1算出手段により算出された前記画像全体を区分する線の座標値を用いて前記画像全体を区分する線を除外する。
また、請求項13に記載の発明は、請求項12記載の発明において、前記第1算出手段は、前記複数の領域の前記第1方向の長さの和が予め定めた第3閾値以上である場合に、前記複数の領域が前記第1方向に連続しているものとして、前記画像における前記画像全体を区分する線の座標値を算出する。
また、請求項14に記載の発明は、請求項13記載の発明において、前記画像が、記録媒体に形成された画像を読み取った読取画像である場合に、前記予め定めた第3閾値は、前記記録媒体の大きさに基づく閾値である。
また、請求項15に記載の発明は、請求項1~14の何れか1項記載の発明において、前記画像において、前記線の画素が予め定めた第1方向に連続した領域の一部が途切れている場合に、前記連続した領域が前記途切れている領域を含んで前記第1方向に連続しているものとして、前記画像における前記画像全体を区分する線の座標値を算出する第2算出手段を更に備え、前記除外手段は、前記第2算出手段により算出された前記画像全体を区分する線の座標値を用いて前記画像全体を区分する線を除外する。
また、請求項16に記載の発明は、請求項15記載の発明において、前記第2算出手段は、前記連続した領域の前記第1方向の長さの和と、途切れている領域の前記第1方向の長さの和との比率が予め定めた条件を満たしている場合に、前記連続した領域が前記途切れている領域を含んで前記第1方向に連続しているものとして、前記画像における前記画像全体を区分する線の座標値を算出する。
一方、上記目的を達成するために、請求項17に記載の画像識別プログラムは、コンピュータを、請求項1~16の何れか1項記載の画像識別装置を構成する各手段として機能させるためのプログラムである。
請求項1、17に記載の発明によれば、画像中の対象物を識別する際に、ある対象物の一部と繋がっていたとしても、目的の対象物を識別することができる。
また、請求項1、17に記載の発明によれば、画像全体を区分する線のうちの表領域と重なる領域を考慮せずに、画像全体を区分する線を除外した場合と比較して、画像全体を区分する線と重なった表領域を精度良く識別することができる。
請求項2に記載の発明によれば、画像全体を区分する線を除外しない場合と比較して、画像全体を区分する線と重なった対象物を精度良く識別することができる。
請求項に記載の発明によれば、抽出手段に抽出された線のうち、当該線を内包する最小の矩形状の枠のサイズを考慮せずに画像全体を区分する線を識別する場合と比較して、画像全体を区分する線を簡単に識別することができる。
請求項に記載の発明によれば、抽出手段に抽出された線のうち、当該線を内容する最小の矩形状の枠のサイズが最も大きい線を必ず画像全体を区分する線とする場合と比較して、画像全体を区分する線の誤認識を抑制することができる。
請求項に記載の発明によれば、画像が、記録媒体に形成された画像を読み取った読取画像である場合に、用紙の大きさを考慮せずに画像全体を区分する線を識別する場合と比較して、目的の対象物を精度良く識別することができる。
請求項に記載の発明によれば、抽出手段に抽出された線のうち、予め定めた第1方向の長さを考慮せずに画像全体を区分する線を識別する場合と比較して、画像全体を区分する線が画像全体を囲んでいない場合であっても、当該画像全体を区分する線を識別することができる。
請求項に記載の発明によれば、抽出手段に抽出された線のうち、予め定めた第1方向の長さが最も長い線を必ず画像全体を区分する線とする場合と比較して、画像全体を区分する線の誤認識を抑制することができる。
請求項に記載の発明によれば、画像が、記録媒体に形成された画像を読み取った読取画像である場合に、用紙の大きさを考慮せずに画像全体を区分する線を識別する場合と比較して、目的の対象物を精度良く識別することができる。
請求項に記載の発明によれば、抽出手段に週出された線の位置を考慮せずに画像全体を区分する線を識別する場合と比較して、目的の対象物を精度良く識別することができる。
請求項10に記載の発明によれば、画像が、記録媒体に形成された画像を読み取った読取画像である場合に、用紙の大きさを考慮せずに画像全体を区分する線を識別する場合と比較して、目的の対象物を精度良く識別することができる。
請求項11に記載の発明によれば、画像全体を区分する線と重なった複数の線を考慮せずに表領域を認識する場合と比較して、表領域を簡単に認識することができる。
請求項12に記載の発明によれば、線の画素が予め定めた第1方向に連続した複数の領域が連続している場合にのみ当該複数の領域を1つの線とみなす場合と比較して、線を精度良く認識することができる。
請求項13に記載の発明によれば、線の画素が予め定めた第1方向に連続した複数の領域について、当該複数の領域の第1方向の長さを考慮せずに当該複数の領域を1つの線とみなす場合と比較して、線の誤認識を抑制することができる。
請求項14に記載の発明によれば、画像が、記録媒体に形成された画像を読み取った読取画像である場合に、用紙の大きさを考慮せずに画像全体を区分する線を識別する場合と比較して、目的の対象物を精度良く識別することができる。
請求項15に記載の発明によれば、線の画素が予め定めた第1方向に連続した複数の領域が連続している場合にのみ当該複数の領域を1つの線とみなす場合と比較して、線を精度良く認識することができる。
請求項16に記載の発明によれば、線の画素が予め定めた第1方向に連続した複数の領域の一部が途切れている際に、連続した領域の第1方向の長さと途切れている領域の第1方向の長さとの比率を考慮せずに当該複数の領域を1つの線とみなす場合と比較して、線の誤認識を抑制することができる。
実施形態に係る画像識別装置により識別される画像が形成された用紙の一例を示す正面図である。 実施形態に係る画像識別システムの構成を示すブロック図である。 第1実施形態に係る画像識別装置の機能を示すブロック図である。 実施形態に係る画像識別装置により識別される画像に含まれる、波打った線の補正方法の一例を示す模式図である。 実施形態に係る画像識別装置により識別される画像に含まれる、波打った線の補正方法の一例を示す模式図である。 実施形態に係る画像識別装置により識別される画像に含まれる、途切れた線の補正方法の一例を示す模式図である。 実施形態に係る画像識別装置により識別される画像に含まれる、途切れた線の補正方法の一例を示す模式図である。 実施形態に係る画像識別装置により識別される画像に含まれる、途切れた線の補正方法の一例を示す模式図である。 第1実施形態に係る画像識別装置により識別された画像の一例を示す正面図である。 第1実施形態に係る画像識別装置により識別された画像の別例を示す正面図である。 第1実施形態に係る画像識別処理のプログラムの流れを示すフローチャートである。 第2実施形態に係る画像識別装置の機能を示すブロック図である。 第2実施形態に係る画像識別装置による表の識別方法の一例を示す模式図である。 第2実施形態に係る画像識別装置による表の識別方法の別例を示す模式図である。 第2実施形態に係る画像識別装置により識別された、画像全体を区分する線、及び表の一例を示す正面図である。 第2実施形態に係る画像識別装置により識別された画像の一例を示す正面図である。 第2実施形態に係る画像識別処理のプログラムの流れを示すフローチャートである。
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
〔第1実施形態〕
まず、本実施形態に係る画像識別装置により識別される画像について説明する。図1は、本実施形態に係る画像形成装置により識別される画像が形成された記録媒体である用紙の一例を示す正面図である。
一例として図1に示すように、画像識別装置により識別される画像(例えば、設計図面)が描画された用紙Pには、画像全体を区分する線30が描画されている場合がある。ここでいう「画像全体を区分する線」は、画像全体を区分する外枠、図枠等であるが、図1に示すような矩形状の図枠とは限らず、表、図形等に接触して伸びている「長い線」、「角が丸まった四角形」、「円」、「楕円」、「三角形」、その他の「多角形」等であっても構わない。本実施形態では、画像全体を区分する線30が矩形状の図枠である場合について説明する。
また、本実施形態では、一例として図1に示すように、画像全体を区分する線30の内部に、文章が記述された文字領域32、表が表示された表領域34A、34B、34C、画像が表示された画像領域36等が配置されている場合について説明する。
これらの表領域34B、34Cは、一般的に、画像全体を区分する線30と接した状態で表示される。そのため、従来、用紙Pに描画されている画像を解析しようとした場合に、画像全体を区分する線30と、表領域34Bと、表領域34Cとが1つの表として扱われてしまう。すなわち、用紙Pに描画されている画像のうち、表領域34Bと表領域34Cとを除いた部分が1つの領域として扱われ、画像内の情報が正しく解析されない。
さらに、表領域34Bと表領域34Cとが1つの表として扱われるため、表領域34B及び表領域34Cも正しく解析されない。表領域34Bと表領域34Cとは各々別個の表であり、記載内容が異なることから、表領域34Bと表領域34Cとは各々別個の表として識別されるべきである。
そこで、本実施形態に係る画像識別装置は、画像データによって示される画像から線を抽出し、抽出した線のうち画像全体を区分する線を識別対象から除外し、抽出した線のうち除外されなかった線から、複数の線について線同士に繋がりがある場合に、互いに繋がりのある当該複数の線を1つの対象物として識別する。
次に、本実施形態に係る画像識別システムの構成、及び画像識別装置の機能について説明する。図2は、本実施形態に係る画像識別システム10の構成を示すブロック図である。また、図3は、本実施形態に係る画像識別装置12の機能を示すブロック図である。
図2に示すように、画像識別システム10は、画像識別装置12、及び、画像読取装置14を有している。なお、画像読取装置14は、所謂スキャナであり、用紙Pに描画された図面を読み取って、カラー画像データ又は白黒画像データを生成し、生成した画像データを画像識別装置12に出力する。また、図3に示すように、画像識別装置12は、抽出部20、算出部22、除外部24、及び、識別部26を有している。
なお、本実施形態に係る画像識別装置12は、装置全体の動作を司るCPU(Central Processing Unit)により制御されることにより実現される。すなわち、画像識別装置12は、上記CPU、各種プログラムや各種パラメータ等が予め記憶されたROM(Read Only Memory)、CPUによる各種プログラムの実行時のワークエリア等として用いられるRAM(Random Access Memory)、及びフラッシュメモリ等の不揮発性メモリを含む、上述した記憶部を備える。また、画像識別装置12は、外部装置と通信情報の送受信を行う通信回線I/F(Interface)部を備える。また、画像識別装置12は、画像識別装置12に対するユーザからの指示を受け付けると共に、ユーザに対して画像識別装置12の動作状況等に関する各種情報を通知する操作表示部を備える。なお、操作表示部は、例えば、プログラムの実行により操作指示の受け付けを実現する表示ボタンや各種情報が表示されるタッチパネル式のディスプレイ、及びテンキーやスタートボタン等のハードウェアキーを含む。
抽出部20は、抽出手段の一例であり、画像読取装置14から画像データを入力し、入力した画像データによって示される読取画像(以下、単に「画像」という。)を取得する。なお、本実施形態では、抽出部20は、画像読取装置14から画像データを入力する場合について説明するが、これに限らず、画像データを外部装置から通信回線I/Fを介して受信しても良い。
また、抽出部20は、取得した画像から、画像に含まれている複数の線を抽出する。なお、本実施形態では、錯綜を回避するために、白色の背景に黒色で図面が描画された用紙Pが白黒画像データとして読み取られた場合について説明する。
本実施形態では、抽出部20は、画像全体を区分する線30の色の画素(本実施形態では、黒画素)が連続している領域(以下、「対象物」という。)を線の候補として抽出した後に、抽出した対象物から線を選出することにより、画像から複数の線を抽出する。具体的には、抽出部20は、まず、画像に含まれる複数の対象物を抽出する。また、抽出部20は、抽出した対象物の各々の形状から、各々の対象物が線であるか否かを判定する。そして、抽出部20は、複数の対象物から、線であると判定された対象物を選出することにより、画像から複数の線を抽出する。
なお、本実施形態では、画像の辺に沿った予め定めた第1方向(例えば、X方向)、及び第1方向と交差する第2方向(例えば、Y方向)の少なくとも一方に、予め定めた閾値(例えば、5画素)以上の数の黒画素が連続している場合に、連続している黒画素の集合を対象物とする。
算出部22は、第1算出手段、第2算出手段、及び識別手段の一例であり、抽出部20により抽出された複数の線から、画像全体を区分する線30を選択し、画像全体を区分する線30の座標値を算出する。
ここで、画像全体を区分する線30が矩形状の図枠である場合には、画像全体を区分する線30は、用紙Pの外縁に沿って描画されている場合が多い。そのため、画像全体を区分する線30に対応する対象物は、他の対象物と比較し、連続している黒画素の連続数(長さ)が十分に多いことが想定される。本実施形態のように、画像全体を区分する線30が矩形状の図枠である場合には、画像全体を区分する線30は、X方向の長さが十分に長く、かつY方向の長さが十分に長い線であることが想定される。
そこで、本実施形態では、線であると判定された対象物のうちの最大の対象物を、画像全体を区分する線30として選出する。ここでいう最大の対象物とは、線であると判定された対象物を包含する最小の矩形領域が、最大となる対象物である。
すなわち、算出部22は、線であると判定された対象物の各々について、対象物を内包する最小の矩形状の枠を仮定し、仮定した枠の画像のX方向の長さとY方向の長さとを算出する。また、算出部は、線であると判定された対象物のうち、X方向の長さが最長となり、かつY方向の長さが最長となる対象物を選出する。そして、算出部22は、選出した対象物を、画像全体を区分する線30とみなし、画像全体を区分する線30の座標値を算出する。
本実施形態においては、画像全体を区分する線30が矩形状の図枠であることを考慮し、画像全体を区分する線30の座標値を、X方向の座標値の範囲と、Y方向の座標値の範囲とで表す。図1に示す例では、画像全体を区分する線30の座標値(x,y)は、正面視上側の線のX座標の範囲をx1≦x≦x4とし、Y座標の範囲をy1≦x≦y2とする。また、正面視下側の線のX座標の範囲をx1≦x≦x4とし、Y座標の範囲をy3≦y≦y4とする。また、正面視左側の線のX座標の範囲をx1≦x≦x2とし、Y座標の範囲をy1≦y≦y4とする。また、正面視右側の線のX座標の範囲をx3≦x≦x4とし、Y座標の範囲をy1≦y≦y4とする。
なお、x1は、画像全体を区分する線30の左側の線の左端のX方向の座標値であり、x2は、画像全体を区分する線30の左側の線の右端のX方向の座標値である。また、x3は、画像全体を区分する線30の右側の線の左端のX方向の座標値であり、x4は、画像全体を区分する線30の右側の線の右端のX方向の座標値である。また、y1は、画像全体を区分する線30の上側の線の上端のY方向の座標値であり、y2は、画像全体を区分する線30の上側の線の下端のY方向の座標値である。また、y3は、画像全体を区分する線30の下側の線の上端のY方向の座標値であり、y4は、画像全体を区分する線30の下側の線の下端のY方向の座標値である。
なお、本実施形態では、線であると判定された対象物のうち、X方向の長さが最長となり、かつY方向の長さが最長となる対象物が存在しない場合には、算出部22は、画像全体を区分する線30が存在しないものと判断する。画像全体を区分する線30が存在しない場合には、画像全体を区分する線30を除外部24により除外する必要がないため、算出部22は、画像全体を区分する線30の座標値を算出しなくても良い。
また、上述したように、画像全体を区分する線30が矩形状の図枠である場合には、画像全体を区分する線30は、用紙Pの外縁に沿って描画されている場合が多い。そのため、画像全体を区分する線30に対応する対象物は、用紙Pの外周領域に形成されている場合が多い。なお、ここでいう外周領域は、例えば、用紙PのX方向の両端側から、用紙PのX方向の長さの予め定めた閾値(例えば、用紙PのX方向の長さの30%)以内の範囲で、かつ、用紙PのY方向の両端側から、用紙PのY方向の長さの予め定めた閾値(例えば、用紙PのY方向の長さの30%)以内の範囲の領域である。
そこで、算出部22は、線であると判定された対象物のうち、X方向の長さが最長となり、かつY方向の長さが最長となり、かつ、X方向の長さが用紙PのX方向の長さに基づく閾値より大きく、かつ、Y方向の長さが用紙PのY方向の長さに基づく閾値より大きい対象物を、画像全体を区分する線30として選出しても良い。あるいは、線であると判定された対象物のうちの最大の対象物が予め定めた外周領域にある場合にのみ、画像全体を区分する線30として選出しても良い。
ここでいう用紙PのX方向の長さに基づく閾値とは、例えば、用紙PのX方向の長さに予め定めた割合(例えば、80%)を掛けた長さである。また、用紙PのY方向の長さに基づく閾値とは、用紙PのY方向の長さに予め定めた割合(例えば、80%)を掛けた長さである。また、これらの閾値を、用紙Pの大きさに基づく条件(第1閾値)ともいう。
ただし、これらの閾値は、画像全体を区分する線30が矩形状の図枠である場合の閾値の一例であり、画像全体を区分する線30の形状が丸型等の他の形状である場合には、この閾値は、各々の形状に適した閾値となる。
なお、算出部22は、線であると判定された対象物のうちの最大の対象物が、用紙Pのサイズに基づく条件を満たさない場合には、画像全体を区分する線30が存在しないものと判断すると良い。この場合にも、算出部22は、画像全体を区分する線30の座標値を算出しなくても良い。
ここで、抽出部20が画像から複数の線を抽出する際に、用紙Pでは線として描かれていても、読取画像においては線として読み取られない場合がある。そのような場合の一例について説明する。すなわち、画像読取装置14により画像が読み取られる用紙Pは、厚さ、サイズ等が様々である。特に、製造現場で用いられる図面のサイズは、4A0サイズ(A4サイズの64倍)を超える場合もある。例えば、用紙が薄くて大きい場合には、読み取り台に設置された用紙を読み取る際に、用紙のたわみ等の影響を受け、一例として図4Aに示すように、用紙Pに描画された画像に含まれる直線40が、直線40A、直線40B、及び直線40Cの3つの直線に分断され、波打った状態で読み取られる場合がある。
一例として図4Aに示すように、用紙PにX方向に延びた直線40が描かれている場合であっても、読込画像においては、直線40に対応する黒画素42がY方向に分断されてしまう場合がある。その場合には、抽出部20による上述した抽出方法では、直線40が、線であると判定された対象物40A、40B、40Cとして抽出されてしまう。その結果、直線40が、画像全体を区分する線30であっても、線であると判定された対象物40A、40B、40Cが上述した用紙Pの大きさに基づく条件を満たしていないために、画像全体を区分する線30であると認識されない場合がある。
そこで、算出部22は、予め定めた方向(例えば、X方向)に延びた予め定めた閾値(例えば、3画素)以上の長さをもつ複数の線40A、40B、40Cが、X方向において連続して、かつ、X方向と交差する方向(例えば、Y方向)に連続する場合、これらの複数の線を1つの線44とみなす。あるいは、予め定めた方向(例えば、X方向)に予め定めた閾値(例えば、3画素)以上の長さをもつ複数の線40A、40B、40Cが、X方向の一部の区間において重なって、かつ、X方向と交差する方向(例えば、Y方向)に連続する場合、これらの複数の線を1つの線44とみなす。
なお、ここでは、何れかの線の予め定めた方向(例えば、X方向)の範囲が、他の線の予め定めた方向(例えば、X方向)の範囲とX方向において隣接した状態である場合に、当該何れかの線と他の線とが連続しているという。しかし、「連続」の定義はこれに限らず、何れかの線の予め定めた方向(例えば、X方向)の範囲と、他の線の予め定めた方向(例えば、X方向)の範囲とのX方向における離間距離が予め定めた誤差範囲(例えば、2画素以下)である場合にも、当該何れかの線と他の線とが連続しているといっても良い。
そして、算出部22は、線44のX方向の長さが上述した用紙Pの大きさに基づく条件を満たしている場合に、抽出部20により抽出された線を、画像全体を区分する線30とみなし、画像全体を区分する線30の座標値を算出する。この際、線44のX方向の座標値の範囲は、線40A、40B、40Cの全てを包含する最小の矩形状の領域のX方向の座標値の範囲とし、線44のY方向の座標値は、線40A、40B、40Cの全てを包含する最小の矩形状の領域のY方向の座標値の範囲、もしくはその平均値等とすると良い。また、線44の太さは、線40A、40B、40Cの全てを包含する最小の矩形状の領域のX方向の座標値の範囲、もしくは線40A、40B、40Cの太さの平均値等とすると良い。
なお、一例として図4Bに示すように、X方向に閾値(例えば、3画素)以上の長さをもたない線46Aについては、1つの線44には含めないようにすると良い。
また、X方向に閾値(例えば、3画素)以上の長さをもち、線40CとX方向の一部の区間において重なっていても、他の線40A、40B、40CとはY方向に連続しない線46Bについては、1つの線44には含めないようにすると良い。
さらに、X方向に閾値(例えば、3画素)以上の長さをもつが、他の線40A、40B、40CとはX方向において連続しない線46Cについては、1つの線44には含めないようにすると良い。
ただし、X方向に延びた2つの線が、X方向において厳密には連続しておらず、かつX方向の一部の区間において重なっていなくても、当該2つの線のX方向における間隔が予め定めた誤差範囲(例えば、2画素)以内であれば、当該2つの線を1つの線とみなしても良い。
また、抽出部20が画像から複数の線を抽出する際に、用紙Pでは線として描かれていても、読取画像においては線として読み取られない場合の別例について示す。画像読取装置14により用紙Pに描画された画像を読み取る際に、読取条件、画像変換等によっては、用紙Pに描かれている線の一部が途切れてしまう場合がある。すなわち、用紙PにX方向に延びた直線50が描かれている場合であっても、一例として図5Aに示すように、読込画像においては、直線50の一部が途切れて、複数の直線50A、50Bに分かれてしまう場合がある。
本実施形態では、途切れた箇所52のX方向の長さ(白画素数)と、当該途切れた箇所52を挟む各々の線50A、50BのX方向の長さ(黒画素数)とを比較する。例えば、途切れた箇所52のX方向の長さと、当該途切れた箇所52を挟む線50A、50BのX方向の長さの和とが予め定めた条件(第3閾値)を満たしている場合、算出部22は、これらの線50A、50Bを1つの線54とみなし、画像全体を区分する線30の座標値を算出する。
ここでいう予め定めた条件としては、例えば、途切れた箇所52のX方向の長さが予め定めた閾値(例えば、用紙PのX方向の長さの1%)以下であり、かつ、途切れた箇所52のX方向の長さと線50A、50BのX方向の長さの和が、用紙PのX方向の長さに予め定めた割合(例えば、80%)以上であること等が挙げられる。ここでは、直線50上で途切れた箇所52が1箇所である場合について説明したが、これに限らず、直線50上で途切れた箇所52が複数箇所ある場合においても同様である。
なお、一例として図5Bに示すように、一部の直線50Aが、他部の直線50Bに比べて長い場合であっても、途切れた箇所52のX方向の長さと線50A、50BのX方向の長さの和とが上述した予め定めた条件を満たしている場合には、これらの線50A、50Bを1つの線54とみなし、画像全体を区分する線30の座標値を算出する。
しかし、一例として図5Cに示すように、直線50A、50BのX方向の長さの和が途切れた箇所52のX方向の長さと比べて短く、途切れた箇所52のX方向の長さと線50A、50BのX方向の長さの和とが上述した予め定めた条件を満たしていない場合には、これらの線50A、50Bを1つの線とはみなさず、別々の線62A、62Bとみなす。
除外部24は、除外手段の一例であり、画像全体を区分する線30を、算出部22により算出された座標値に基づいて、識別部26による画像の識別対象から除外する。この際、除外部24は、一例として図6Aに示すように、画像全体を区分する線30のみを除外しても良く、一例として図6Bに示すように、画像全体を区分する線30を含む画像全体を区分する線30の外側の領域64(図6Bにおいてドットで塗り潰された領域)を除外しても良い。
識別部26は、識別手段の一例であり、抽出部20により抽出された線のうち、除外部24に除外されなかった線から、複数の線について線同士に繋がりがある場合に、互いに繋がりのある当該複数の線を1つの対象物として識別する。
一例として図6A及び図6Bに示すように、文字領域32に対応する対象物38A、表領域34A、34B、34Cに各々対応する対象物38B、38C、38D、画像領域36に対応する対象物38Eの各々は、画像全体を区分する線30が削除された状態で識別される。すなわち、画像全体を区分する線30に接している表領域34B、34Cに対応する対象物38C、38Dは、画像全体を区分する線30と重なっている線が削除された状態で識別される。一方、画像全体を区分する線30に接していない文字領域34、表領域34A、画像領域36に対応する対象物38A、38B、38Eは、そのまま状態で識別される。
次に、本実施形態に係る画像識別装置12が、予め定めた実行指示が入力された場合に実行する画像識別処理の流れを、図7のフローチャートを参照して説明する。なお、本実施形態では、画像識別処理のプログラムは予め記憶部に記憶されているが、これに限らない。例えば、画像識別処理のプログラムが通信回線I/F部を介して外部装置から受信されて記憶部に記憶されても良い。また、CD-ROM等の記録媒体に記録された画像識別処理のプログラムがCD-ROMドライブ等で読み込まれることにより、画像識別処理が実行されるようにしてもよい。
ステップS101では、抽出部20が、画像読取装置14から画像データを入力することにより、画像データを取得する。
ステップS103では、抽出部20が、入力した画像データによって示される画像から、複数の線を抽出する。
ステップS105では、算出部22が、抽出された複数の線から、画像全体を区分する線30を選出し、選出した画像全体を区分する線30の座標値を算出する。
ステップS107では、除外部24が、算出された画像全体を区分する線30の座標値に基づいて、画像全体を区分する線30を画像の識別対象から除外する。
ステップS109では、識別部26が、抽出部20により抽出された線のうち、除外部24に除外されなかった線から、複数の線について線同士に繋がりがある場合に、互いに繋がりのある当該複数の線を1つの対象物として識別する。
ステップS111では、識別部26が、識別した対象物に関する情報を識別情報として記憶部に記憶させる。
ステップS113では、抽出部20が、次の画像データが存在するか否かを判定する。ステップS113で次の画像データが存在すると判定した場合(S113,Y)はステップS101に移行し、次の画像データについて、ステップS101乃至S113の処理を行う。また、次の画像データが存在しないと判定した場合(S113,N)は本画像識別処理のプログラムの実行を終了する。
このように、本実施形態では、画像から線を抽出し、抽出した線のうち画像全体を区分する線を識別対象から除外し、抽出した線のうち除外されなかった線から、複数の線について線同士に繋がりがある場合に、互いに繋がりのある当該複数の線を1つの対象物として識別する。
なお、本実施形態では、画像全体を区分する線30が矩形状の図枠であった場合について説明した。しかし、画像全体を区分する線30の形状が「長い線」であった場合には、算出部22は、線であると判定された対象物から、予め定めた方向(例えば、X方向又はY方向)の長さが最も長い対象物を選出する。
また、算出部22は、線であると判定された対象物から、X方向又はY方向の長さが最も長く、かつ、選出した線のX方向又はY方向の長さが、用紙PのX方向又はY方向の長さに基づく閾値(第2閾値)より長い対象物を、当該選択した線を、画像全体を区分する線30として選出しても良い。ここでいう用紙PのX方向又はY方向の長さに基づく閾値は、例えば、用紙PのX方向の長さ又はY方向の長さに予め定めた割合(例えば、80%)を掛けた長さである。
〔第2実施形態〕
次に、第2実施形態に係る画像識別装置について説明する。
上記第1実施形態では、画像全体を区分する線30の全体を除外する場合について説明した。一方、本第2実施形態では、画像全体を区分する線30のうち、表領域と重なる領域を除いた部分の線を除外する場合について説明する。
第2実施形態に係る画像識別装置の構成は、図8に示すように、算出部22を算出部22Aに置き換えたこと、及び除外部24を除外部24Aに置き換えたこと以外は上記第1実施形態に係る画像識別装置12と同じであるため、算出部22A及び除外部24A以外の各構成の説明を省略する。
算出部22Aは、第1実施形態の算出部22と同様の手法で、抽出部20により抽出された、線と判定された対象物から、画像全体を区分する線30を抽出し、画像全体を区分する線30の座標値を算出する。
また、算出部22Aは、抽出部20により抽出された、線と判定された対象物のうちの、画像全体を区分する線30以外の対象物から、表領域を選択し、表領域の座標値を算出する。
一例として図9Aに示すように、予め定めた方向(例えば、X方向)に並行して描画された複数の線70A、70B、70C、70Dと、X方向と交差する方向(例えば、Y方向)に並行して描画された複数の線72A、72B、72C、72Dとが交差しているとする。この場合に、算出部22Aは、これらの複数の線70A、70B、70C、70D及び複数の線72A、72B、72C、72Dを表罫線とみなし、表罫線で囲まれた矩形領域(図9Aでドットで示す領域)を表領域64として抽出し、表領域の座標値の範囲を算出する。
図9Aに示す例では、X方向に延びた線のうち、画像全体を区分する線30と接している線は線70A、70B、70C、70Dである。正面視上側から順に、線70AのY座標の範囲はy11≦y≦y12、線70BのY座標の範囲はy13≦y≦y14、線70CのY座標の範囲はy15≦y≦y16、線70DのY座標の範囲はy17≦y≦1y8となる。よって、画像全体を区分する線30のうちの、表領域64と重なっている領域のY座標の座標値はy11≦y≦y18となる。
なお、y11は、線70Aの上端のY方向の座標値であり、y12は、線70Aの下端のY方向の座標値である。また、y13は、線70Bの上端のY方向の座標値であり、y14は、線70Bの下端のY方向の座標値である。また、y15は、線70Cの上端のY方向の座標値であり、y16は、線70Cの下端のY方向の座標値である。また、y17は、線70Dの上端のY方向の座標値であり、y18は、線70Dの下端のY方向の座標値である。
また、図9Aに示す例では、Y方向に延びた線のうち、画像全体を区分する線30と接している線は線72A、72B、72C、72Dである。正面視左側から順に、X座標は、x11≦x≦x12、x13≦x≦x14、x15≦x≦x16、x17≦x≦x18となる。よって、画像全体を区分する線30のうちの、表領域64と重なっている領域のX座標の座標値はx11≦x≦x18となる。
なお、x11は、線72Aの左端のX方向の座標値であり、x12は、線72Aの右端のX方向の座標値である。また、x13は、線72Bの左端のX方向の座標値であり、x14は、線72Bの右端のX方向の座標値である。また、x15は、線72Cの左端のX方向の座標値であり、x16は、線72Cの右端のX方向の座標値である。また、x17は、線72Dの左端のX方向の座標値であり、x18は、線72Dの右端のX方向の座標値である。
そして、算出部22Aは、画像全体を区分する線30から、表領域と重なっている領域を分離し、画像全体を区分する線30のうち、表領域と重なっていない領域の座標値の範囲を算出する。
ただし、表領域が図9Aに示す表領域64のように矩形状でない場合がある。一例として図9Bに示すように、表領域64Aにおいては、X方向に延びた線に、画像全体を区分する線30と接している線70E、70F、70Gと、画像全体を区分する線30と接していない線70Hとが含まれる場合がある。算出部22Aは、X方向に延びた線のうち、画像全体を区分する線30と接している線70E、70F、70Gの座標値の範囲を算出する。
図9Bに示す例では、正面視上側から順に、線70EのY座標の範囲はy21≦y≦y22、線70FのY座標の範囲はy23≦y≦y24、線70GのY座標の範囲はy25≦y≦y26となる。よって、画像全体を区分する線30のうちの、表領域64Aと重なっている領域のY座標の座標値はy21≦y≦y26となる。
なお、y21は、線70Eの上端のY方向の座標値であり、y22は、線70Eの下端のY方向の座標値である。また、y23は、線70Fの上端のY方向の座標値であり、y24は、線70Fの下端のY方向の座標値である。また、y25は、線70Gの上端のY方向の座標値であり、y26は、線70Gの下端のY方向の座標値である。また、y27は、線70Hの上端のY方向の座標値であり、y28は、線70Hの下端のY方向の座標値である。
また、図9Bに示す例では、Y方向に延びた線のうち、画像全体を区分する線30と接している線は線72E、72F、72G、74Hである。正面視左側から順に、線72EのX座標の範囲はx21≦x≦x22、線72FのX座標の範囲はx23≦x≦x24、線72GのX座標の範囲はx25≦x≦x26、線72HのX座標の範囲はx27≦x≦x28となる。よって、画像全体を区分する線30のうちの、表領域64Aと重なっている領域のX座標の座標値はx21≦x≦x28となる。
なお、x21は、線72Eの左端のX方向の座標値であり、x22は、線72Eの右端のX方向の座標値である。また、x23は、線72Fの左端のX方向の座標値であり、x24は、線72Fの右端のX方向の座標値である。また、x25は、線72Gの左端のX方向の座標値であり、x26は、線72Fの右端のX方向の座標値である。また、x27は、線72Hの左端のX方向の座標値であり、x28は、線72Hの右端のX方向の座標値である。
除外部24Aは、画像全体を区分する線30のうち、表領域と重なっていない領域を、算出部22により算出された座標値に基づいて、識別部26による画像の識別対象から除外する。
一例として図10に示すように、除外部24Aは、画像全体を区分する線30のうち、表領域34Bに対応する対象物76Aと、表領域34Cに対応する対象物76Bに接している領域を分離する。また、除外部24Aは、画像全体を区分する線30のうち、対象物76A、76Bに接していない領域を、除外対象線74として生成する。
これにより、一例として図11に示すように、文字領域32に対応する対象物39A、表領域34A、34B、34Cに各々対応する対象物39B、39C、39D、画像領域36に対応する対象物39Eの各々は、そのままの状態で識別される。すなわち、表領域34B、34Cに対応する対象物39C、39Dは、画像において画像全体を区分する線30と重なっていたが、画像全体を区分する線30と重なっている線が削除されない状態で識別される。また、同様に、画像全体を区分する線30に接していない文字領域34、表領域34A、画像領域36に対応する対象物39A、39B、39Eは、そのまま状態で識別される。このように、表領域38C、38Dのように一部が欠けた状態で表の解析を行う場合と比較して、表領域39C、39Dのように全ての表罫線が残っている状態で表の解析を行う場合の方が正しい解析結果が得られ易くなる。
次に、本実施形態に係る画像識別装置12が、予め定めた実行指示が入力された場合に実行する画像識別処理の流れを、図12のフローチャートを参照して説明する。なお、本実施形態では、画像識別処理のプログラムは予め記憶部に記憶されているが、これに限らない。例えば、画像識別処理のプログラムが通信回線I/F部を介して外部装置から受信されて記憶部に記憶されても良い。また、CD-ROM等の記録媒体に記録された画像識別処理のプログラムがCD-ROMドライブ等で読み込まれることにより、画像識別処理が実行されるようにしてもよい。
ステップS201では、抽出部20が、画像読取装置14から画像データを入力することにより、画像データを取得する。
ステップS203では、抽出部20が、入力した画像データによって示される画像から、複数の線を抽出する。
ステップS205では、算出部22Aが、抽出された複数の線から、画像全体を区分する線30を選出し、画像全体を区分する線30の座標値を算出する。
ステップS207では、算出部22Aが、抽出された複数の線から、表領域を抽出する
ステップS209では、算出部22Aが、表領域の座標値を算出する。
ステップS211では、算出部22Aが、画像全体を区分する線30のうち、表領域とが重なっていない範囲の座標値を算出する。
ステップS213では、除外部24Aが、画像全体を区分する線30のうち、表領域とが重なっていない範囲の座標値に基づいて、画像全体を区分する線30のうち、表領域とが重なっていない範囲を画像の識別対象から除外する。
ステップS215では、識別部26が、抽出部20により抽出された線のうち、除外部24に除外されなかった線から、複数の線について線同士に繋がりがある場合に、互いに繋がりのある当該複数の線を1つの対象物として識別する。
ステップS217では、識別部26が、識別した対象物に関する情報を識別情報として記憶部に記憶させる。
ステップS219では、抽出部20が、次の画像データが存在するか否かを判定する。ステップS219で次の画像データが存在すると判定した場合(S219,Y)はステップS201に移行し、次の画像データについて、ステップS201乃至S219の処理を行う。また、次の画像データが存在しないと判定した場合(S219,N)は本画像識別処理のプログラムの実行を終了する。
このように、画像から線を抽出し、抽出された前記画像全体を区分する線のうち、画像に含まれる、黒画素が連続した領域のうちの最大の領域を、画像全体を区分する線に対応する領域とする。また、画像全体を区分する線のうち、表領域と重なっていない領域を除外し、抽出した線のうち除外されなかった線から、複数の線について線同士に繋がりがある場合に、互いに繋がりのある当該複数の線を1つの対象物として識別する。
本実施形態によると、図面等の画像を解析する際に、画像全体を区分する線30を除外することにより、図面構造の解析精度が向上する。また、表題が示された表領域、変更事項が示された表領域等が他の図面要素から分離され、図面構造の解析精度が向上する。また、表領域の表罫線と画像全体を区分する線30との共有箇所を除外しないことにより、表領域が精度良く抽出され、正しい表構造解析結果が得られる。
なお、本実施形態では、画像全体を区分する線30が矩形状の図枠であり、画像全体を区分する線30をX方向の座標値の範囲、及びY方向の座標値の範囲で表し、画像全体を区分する線30のうちの表領域と重なっていない領域を求める場合について説明した。しかし、画像全体を区分する線30の形状が「長い線」、「三角形」、「多角形」等であった場合にも、画像全体を区分する線30をX方向の座標値の範囲、及びY方向の座標値の範囲で表し、画像全体を区分する線30のうちの表領域と重なっていない領域を求めれば良い。
また、画像全体を区分する線30の形状が「円」、「楕円」等の図枠であった場合には、画像全体を区分する線30として選出された対象物に対して近似曲線を作成し、作成した近似曲線を表す数式を用いて、画像全体を区分する線30のうちの表領域と重なっていない領域を求めれば良い。
また、画像全体を区分する線30の形状が「角が丸まった四角形」等の図枠であった場合には、画像全体を区分する線30を直線部分と曲線部分とに分解した上で、画像全体を区分する線30のうちの表領域と重なっていない領域を求めれば良い。例えば、直線部分をX方向の座標値の範囲、及びY方向の座標値の範囲で表すと共に、曲線部分に対しては近似曲線を作成し、作成した近似曲線を表す数式を用いて、画像全体を区分する線30のうちの表領域と重なっていない領域を求めれば良い。
以上、画像全体を区分する線30が矩形状の図枠以外である場合について説明したが、何れの場合も、算出部22の処理として上述したように、連続した黒画素の集合体を取得し、その黒画素の集合体を包含する外接矩形領域が最大となる領域が画像全体を区分する線30であるとすれば良い。
また、上記各実施形態で説明した画像識別装置12の構成(図2、図3参照。)は一例である。すなわち、本発明の主旨を逸脱しない範囲内において不要な部分を削除したり、新たな部分を追加したりしてもよいことは言うまでもない。
また、上記各実施形態で説明した各種プログラムの処理の流れ(図7、図12参照。)も一例である。すなわち、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
10 画像識別システム
12 画像識別装置
14 画像読取装置
20 識別部
22、22A 算出部
24、24A 除外部
26 識別部

Claims (17)

  1. 画像から線を抽出する抽出手段と、
    抽出した線のうち画像全体を区分する線を識別対象から除外する除外手段と、
    抽出した線のうち前記除外手段により除外されなかった線から、複数の線について線同士に繋がりがある場合に、互いに繋がりのある当該複数の線を1つの対象物として識別する識別手段と、
    を備え
    前記除外手段は、前記画像全体を区分する線のうち、前記画像から抽出された表領域と重なる領域を除いた部分の線を除外する
    画像識別装置。
  2. 前記除外手段は、前記画像に含まれる、前記線の画素が連続した領域のうちの最大の領域を、前記画像全体を区分する線に対応する領域として除外する
    請求項1記載の画像識別装置。
  3. 前記除外手段は、前記抽出手段により抽出された線のうち、各々の線を内包する最小の矩形状の枠の大きさが最も大きい線を、前記画像全体を区分する線として除外する
    請求項1又は2記載の画像識別装置。
  4. 前記除外手段は、前記抽出手段により抽出された線のうち、各々の線を内包する最小の矩形状の枠の大きさが最も大きく、かつ前記矩形状の枠の大きさが予め定めた第1閾値以上である線を、前記画像全体を区分する線として除外する
    請求項記載の画像識別装置。
  5. 前記画像が、記録媒体に形成された画像を読み取った読取画像である場合に、前記予め定めた第1閾値は、前記記録媒体の大きさに基づく閾値である
    請求項記載の画像識別装置。
  6. 前記除外手段は、前記抽出手段により抽出された線のうち、予め定めた第1方向の長さが最も長い線を、前記画像全体を区分する線として除外する
    請求項1又は2記載の画像識別装置。
  7. 前記除外手段は、前記抽出手段により抽出された線のうち、予め定めた第1方向の長さが最も長く、かつ前記第1方向の長さが予め定めた第2閾値より長い線を、前記画像全体を区分する線として除外する
    請求項記載の画像識別装置。
  8. 前記画像が、記録媒体に形成された画像を読み取った読取画像である場合に、前記予め定めた第2閾値は、前記記録媒体の大きさに基づく閾値である
    請求項記載の画像識別装置。
  9. 前記除外手段は、前記抽出手段により抽出された線が、前記画像における予め定めた外周領域内にある場合に、前記画像全体を区分する線として除外する
    請求項1~の何れか1項記載の画像識別装置。
  10. 前記画像が、記録媒体に形成された画像を読み取った読取画像である場合に、前記予め定めた外周領域は、前記記録媒体の大きさに基づいて定められた外周領域である
    請求項記載の画像識別装置。
  11. 前記識別手段は、予め定めた第1方向に並行な複数の線と、前記第1方向と交差する第2方向に並行な複数の線とが交わっている場合に、前記複数の線に囲まれた領域を表領域と識別する
    請求項1~10の何れか1項記載の画像識別装置。
  12. 前記線の画素が予め定めた第1方向に連続した複数の領域が、前記第1方向とは交差する第2方向に連続する場合に、前記複数の領域が前記第1方向において連続しているものとして、前記画像における前記画像全体を区分する線の座標値を算出する第1算出手段を更に備え、
    前記除外手段は、前記第1算出手段により算出された前記画像全体を区分する線の座標値を用いて前記画像全体を区分する線を除外する
    請求項1~11の何れか1項記載の画像識別装置。
  13. 前記第1算出手段は、前記複数の領域の前記第1方向の長さの和が予め定めた第3閾値以上である場合に、前記複数の領域が前記第1方向に連続しているものとして、前記画像における前記画像全体を区分する線の座標値を算出する
    請求項12記載の画像識別装置。
  14. 前記画像が、記録媒体に形成された画像を読み取った読取画像である場合に、前記予め定めた第3閾値は、前記記録媒体の大きさに基づく閾値である
    請求項13記載の画像識別装置。
  15. 前記画像において、前記線の画素が予め定めた第1方向に連続した領域の一部が途切れている場合に、前記連続した領域が前記途切れている領域を含んで前記第1方向に連続しているものとして、前記画像における前記画像全体を区分する線の座標値を算出する第2算出手段を更に備え、
    前記除外手段は、前記第2算出手段により算出された前記画像全体を区分する線の座標値を用いて前記画像全体を区分する線を除外する
    請求項1~14の何れか1項記載の画像識別装置。
  16. 前記第2算出手段は、前記連続した領域の前記第1方向の長さの和と、途切れている領域の前記第1方向の長さの和との比率が予め定めた条件を満たしている場合に、前記連続した領域が前記途切れている領域を含んで前記第1方向に連続しているものとして、前記画像における前記画像全体を区分する線の座標値を算出する
    請求項15記載の画像識別装置。
  17. コンピュータを、請求項1~16の何れか1項記載の画像識別装置の各手段として機能させるためのプログラム。
JP2017156881A 2017-08-15 2017-08-15 画像識別装置及び画像形成プログラム Active JP7006009B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017156881A JP7006009B2 (ja) 2017-08-15 2017-08-15 画像識別装置及び画像形成プログラム
US15/914,361 US11003902B2 (en) 2017-08-15 2018-03-07 Image identification apparatus and non-transitory computer readable medium
CN201810191252.5A CN109409178B (zh) 2017-08-15 2018-03-08 图像识别设备和图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017156881A JP7006009B2 (ja) 2017-08-15 2017-08-15 画像識別装置及び画像形成プログラム

Publications (2)

Publication Number Publication Date
JP2019036121A JP2019036121A (ja) 2019-03-07
JP7006009B2 true JP7006009B2 (ja) 2022-01-24

Family

ID=65360540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017156881A Active JP7006009B2 (ja) 2017-08-15 2017-08-15 画像識別装置及び画像形成プログラム

Country Status (3)

Country Link
US (1) US11003902B2 (ja)
JP (1) JP7006009B2 (ja)
CN (1) CN109409178B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7006009B2 (ja) * 2017-08-15 2022-01-24 富士フイルムビジネスイノベーション株式会社 画像識別装置及び画像形成プログラム
US20230260308A1 (en) * 2022-02-16 2023-08-17 Vastec, Inc. System and method for improved ocr efficacy through image segmentation

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02103683A (ja) * 1988-10-12 1990-04-16 Fujitsu Ltd 枠線抽出方式
JP2940936B2 (ja) 1989-06-06 1999-08-25 株式会社リコー 表領域識別方法
JP3157414B2 (ja) 1995-03-29 2001-04-16 沖電気工業株式会社 文書読取装置
JP3420864B2 (ja) 1995-08-09 2003-06-30 富士通株式会社 枠抽出装置及び矩形抽出装置
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
JP4835459B2 (ja) * 2007-02-16 2011-12-14 富士通株式会社 表認識プログラム、表認識方法および表認識装置
US9305235B1 (en) * 2007-12-21 2016-04-05 Cognex Corporation System and method for identifying and locating instances of a shape under large variations in linear degrees of freedom and/or stroke widths
US8634644B2 (en) * 2009-08-25 2014-01-21 Fuji Xerox Co., Ltd. System and method for identifying pictures in documents
US8977005B2 (en) * 2010-09-17 2015-03-10 Nec Corporation Carried item region extraction device, carried item region extraction method, and computer readable medium
JP5693418B2 (ja) * 2011-08-29 2015-04-01 株式会社Pfu 画像処理装置、画像処理方法、画像処理プログラム及び画像処理システム
JP5822664B2 (ja) * 2011-11-11 2015-11-24 株式会社Pfu 画像処理装置、直線検出方法及びコンピュータプログラム
JP5951367B2 (ja) * 2012-01-17 2016-07-13 シャープ株式会社 撮像装置、撮像画像処理システム、プログラムおよび記録媒体
JP6021557B2 (ja) * 2012-09-28 2016-11-09 株式会社Pfu 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JP5957357B2 (ja) * 2012-10-15 2016-07-27 株式会社日立ハイテクノロジーズ パターン検査・計測装置及びプログラム
KR102279026B1 (ko) * 2014-11-07 2021-07-19 삼성전자주식회사 적어도 하나의 객체를 포함하는 영상에서 객체를 추출하여 보정한 영상을 제공하는 장치 및 방법
JP7006009B2 (ja) * 2017-08-15 2022-01-24 富士フイルムビジネスイノベーション株式会社 画像識別装置及び画像形成プログラム

Also Published As

Publication number Publication date
CN109409178A (zh) 2019-03-01
US20190057253A1 (en) 2019-02-21
CN109409178B (zh) 2023-11-28
JP2019036121A (ja) 2019-03-07
US11003902B2 (en) 2021-05-11

Similar Documents

Publication Publication Date Title
JP5884560B2 (ja) 文字認識のための画像処理方法、およびこの方法を用いた文字認識装置およびプログラム
JP6900164B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP4821869B2 (ja) 文字認識装置、画像読取装置、およびプログラム
JP7006009B2 (ja) 画像識別装置及び画像形成プログラム
JP2009087087A (ja) ナンバープレート情報処理装置及びナンバープレート情報処理方法
JP6117164B2 (ja) 画像読取装置及び方法、並びに読取領域表示装置及び方法、並びにプログラム
JP5906788B2 (ja) 文字切り出し方法、およびこの方法を用いた文字認識装置およびプログラム
KR20170140313A (ko) 화상 판독 장치 및 화상 판독 방법 및 화상 판독 프로그램
JP5322517B2 (ja) 画像処理装置および方法
JP5171421B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP2008097589A (ja) 文字切り出し装置、方法およびプログラム
JP7039882B2 (ja) 画像解析装置及び画像解析プログラム
JP3615333B2 (ja) 罫線消去装置
JP4420295B2 (ja) 画像読取装置
JP6030917B2 (ja) 文字切出装置及び文字切出方法並びに文字認識装置
JP2010011450A (ja) 画像形成装置及び画像処理方法
JP5761353B2 (ja) 隆線方向抽出装置、隆線方向抽出方法、隆線方向抽出プログラム
KR20130081193A (ko) 화상 처리 장치 및 방법, 지정 마크 추정 장치 및 방법, 및 기억 매체
JP2009277001A (ja) 画像処理装置
JP7425288B2 (ja) 情報処理装置、情報処理方法、プログラム
JP4020202B2 (ja) 縞状パターン抽出システムおよび縞状パターン抽出方法
JP6693184B2 (ja) 画像処理装置、および画像処理方法
JP2013157968A (ja) 画像処理装置
JP7292984B2 (ja) 行分割装置および方法、ならびにプログラム
JP4159071B2 (ja) 画像処理方法,画像処理装置および該処理方法を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211220

R150 Certificate of patent or registration of utility model

Ref document number: 7006009

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150