JP6481957B2 - 画像処理装置およびプログラム - Google Patents

画像処理装置およびプログラム Download PDF

Info

Publication number
JP6481957B2
JP6481957B2 JP2014167567A JP2014167567A JP6481957B2 JP 6481957 B2 JP6481957 B2 JP 6481957B2 JP 2014167567 A JP2014167567 A JP 2014167567A JP 2014167567 A JP2014167567 A JP 2014167567A JP 6481957 B2 JP6481957 B2 JP 6481957B2
Authority
JP
Japan
Prior art keywords
page
document data
pages
image
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014167567A
Other languages
English (en)
Other versions
JP2016045564A (ja
Inventor
深雪 飯塚
深雪 飯塚
森 太郎
太郎 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2014167567A priority Critical patent/JP6481957B2/ja
Priority to US14/640,677 priority patent/US9348541B2/en
Priority to CN201510157778.8A priority patent/CN106161829B/zh
Publication of JP2016045564A publication Critical patent/JP2016045564A/ja
Application granted granted Critical
Publication of JP6481957B2 publication Critical patent/JP6481957B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203Improving or facilitating administration, e.g. print management
    • G06F3/1204Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • G06F3/1253Configuration of print job parameters, e.g. using UI at the client
    • G06F3/1256User feedback, e.g. print preview, test print, proofing, pre-flight checks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/418Document matching, e.g. of document images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Facsimiles In General (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、画像処理装置およびプログラムに関する。
特許文献1には、基準画像を設定し、検査対象物と基準画像との一致度を求め、一致度の高い部分領域を基準として座標変換を行うことで、検査対象物の画像の位置を補正するようにした画像処理装置が開示されている。
特許文献2には、印鑑の中心点を決定し、回転を自動で行うことで、登録された印鑑の印影と、捺印された印鑑の印影との照合を自動的に行う印鑑照合装置が開示されている。
特開平7−168941号公報 特開平7−282256号公報
先行技術においては、単一データ間で類似度を算出し照合を行うことが知られている。
ところで、複数のデータ間において類似度を算出し、対応するデータの組を特定する場合に、複数データにおける全ての組に対し類似度を算出する必要があったため、その算出に負担がかかっていた。
本発明では、複数データ間においての全てのデータの組に対し類似度を算出する場合に比べ、類似度の算出にかかる負荷を減らすことを目的としている。
[画像処理装置] 請求項1に係る本発明は、(i)複数の第1の書類データと複数の第2の書類データとの間で、前記第1と第2の書類データの頁数および各頁の書類データ中の位置に基づいて、前記第1の書類データの各頁と前記第2の書類データの各頁間が対応する確率である組成立確率を第1の類似度として算出し、(ii)前記第1の類似度の値が高いものから予め設定された数の頁の組を第2の類似度を算出する頁の組として抽出し、前記第1と第2の書類データの画像に基づいて、前記抽出した頁の組に対して第2の類似度を算出し、(iii)前記第2の類似度に基づいて、前記第1の書類データの頁と対応する前記第2の書類データの頁を特定する特定手段を含む画像処理装置である
請求項2に係る本発明は、前記特定手段は、前記第1の書類データの各頁の画像と前記第2の書類データの各頁の画像において各位置における第2の類似度をそれぞれ算出し、前記第2の類似度に基づいて前記組の位置合わせを行うことを特徴とする請求項1に記載の画像処理装置である。
請求項3に係る本発明は、前記特定手段は、前記第2の書類データの頁と対応すると特定された前記第1の書類データの頁を除いた前記第1の書類データの未対応の各頁と、前記第1の書類データの頁と対応すると特定された前記第2の書類データの頁を除いた前記第2の書類データの未対応の各頁との間で再度第2の類似度をそれぞれ算出し、前記第1の書類データの未対応の頁と前記第2の書類データの未対応の頁間で対応する頁の組を順次特定する請求項1または2に記載の画像処理装置である。
請求項4に係る本発明は、前記第1および第2の書類データの頁順序に応じて前記第1および第2の書類データを頁ごとに表示させ、前記第1および第2の書類データの対応する頁同士を線で接続し、前記第1の書類データの頁と対応する前記第2の書類データの頁が前記特定手段によって特定されなかった場合に、前記第1の書類データの頁と対応する前記第2の書類データの頁がないことを示す情報を、前記表示された第2の書類データ中に表示させるように制御する表示制御手段とを有する請求項1に記載の画像処理装置である。
請求項5に係る本発明は、縦方向において前記第1および第2の書類データの頁の上端を頁順序に応じて表示させ、横方向において頁順序に関係することなく前記第1および第2の書類データの頁を表示させ、前記第1および第2の書類データの対応する頁同士を線で接続する表示制御手段を有する請求項1記載の画像処理装置である。
請求項6に係る本発明は、前記第1の書類データの各頁に対応する画像群と、前記第2の書類データの各頁に対応する画像群を表示する表示手段上で頁の組が選択された場合、選択された当該頁の組に対応する各頁の詳細画像を表示させるよう制御する表示制御手段を有する請求項1記載の画像処理装置である。
請求項7に係る本発明は、前記第1の書類データの各頁に対応する画像群と、前記第2の書類データの各頁に対応する画像群上で、差分検出を部分的に行う領域を表示させるよう制御する表示制御手段を有する請求項1記載の画像処理装置である。
[プログラム]
請求項8に係る本発明は、(i)複数の第1の書類データと複数の第2の書類データとの間で、前記第1と第2の書類データの頁数および各頁の書類データ中の位置に基づいて、前記第1の書類データの各頁と前記第2の書類データの各頁間が対応する確率である組成立確率を第1の類似度として算出するステップと、(ii)前記第1の類似度の値が高いものから予め設定された数の頁の組を第2の類似度を算出する頁の組として抽出し、前記第1と第2の書類データの画像に基づいて、前記抽出した頁の組に対して第2の類似度を算出するステップと、(iii)前記第2の類似度に基づいて、前記第1の書類データの頁と対応する前記第2の書類データの頁を特定するステップとをコンピュータに実行させるためのプログラムである
請求項1に係る本発明によれば、複数データ間においての全てのデータの組に対し類似度を算出する場合に比べ、類似度の算出にかかる負荷を減らす画像処理装置を提供することができる。
請求項2に係る本発明によれば、各頁を拡大縮小又は回転していても容易に類似度の算出を行うことのできる画像処理装置を提供することができる。
請求項3に係る本発明によれば、差分検出を行う頁の組を順次特定することができる画像処理装置を提供することができる。
請求項4に係る本発明によれば、対応する頁が特定されなかった頁を直感的に把握することができる画像処理装置を提供することができる。
請求項5に係る本発明によれば、特定された組の頁同士が対応していることを表示しない場合と比較して、対応している頁の組を容易に把握することができる画像処理装置を提供することができる。
請求項6に係る本発明によれば、差分検出を行う頁の組を選択するだけで、差分検出を行う頁の詳細画像を確認することができる画像処理装置を提供することができる。
請求項7に係る本発明によれば、表示された詳細画像上において差分検出を行う領域を指定することができる画像処理装置を提供することができる。
請求項8に係る本発明によれば、複数データ間においての全てのデータの組に対し類似度を算出する場合に比べ、類似度の算出にかかる負荷を減らすプログラムを提供することができる。
本発明の一実施形態の画像形成システムのシステム構成を示す図である。 本発明の一実施形態における端末装置20のハードウェア構成を示すブロック図である。 本発明の一実施形態における端末装置20の機能構成を示すブロック図である。 本発明の一実施形態の画像形成システムにおいて差分画像データの生成を行う際の全体動作を説明するためのフローチャートである。 図4のフローチャートにおけるステップS102で説明した差分検出対象組の特定処理の詳細を説明するためのフローチャートである。 差分検出を行わない検出除外領域の指定を行う際の画面例示す図である。 使用者がマニュアル操作によりどの頁の差分検出を行うかを指定した場合の表示画面の一例を示す図である。 組成立確率を計算するための条件を説明するための図である。 組成立確率を計算するための計算式の一例を示す図である。 図9に示した計算式に基づいて組成立確率を計算した場合の算出結果の一例を示す図である。 サイズが同じ画像が異なるサイズの用紙に印刷されている一例を説明するための図である。 2つの図面データの相関係数の算出際に行われる位置合わせを説明するための図である。 旧図面データと新図面データの各頁間で対応する頁の組が特定された結果を表示部32に表示した場合の一例を示す図である。 旧図面データと新図面データの各頁間で対応する頁の組が特定された結果を表示部32に表示した場合の他の例を示す図である。 サムネイル画像を選択すると選択された図面の詳細画像が表示されるような表示画面の一例を示す図である。 1つの頁内で差分検出を行いたい領域指定を行う様子を説明するための表示画面例を示す図である。 差分検出を行う領域指定を行う際に、指定する領域の4隅からの距離が表示されるようにした表示例を示す図である。 差分検出を行う頁と行わない頁とを2列にして配置した場合の表示例を示す図である。
以下、図面を参照して、本発明を実施するための形態を説明する。但し、以下に示す各実施形態は、本発明の技術思想を具体化するための画像処理装置及びプログラムを例示するものであって、本発明をこれらに特定することを意図するものではなく、特許請求の範囲に含まれるその他の実施形態のものにも均しく適応し得るものである。
図1は本発明の一実施形態の画像形成システムの構成を示すブロック図である。
本発明の一実施形態に係る画像処理プログラムを用いた画像形成システムは、図1に示されるように、ネットワーク30により相互に接続された画像形成装置10及び端末装置20により構成される。端末装置20は、印刷データを生成して、ネットワーク30経由にて生成した印刷データを画像形成装置10に対して送信する。画像形成装置10は、端末装置20から送信された印刷データを受け付けて、印刷データに応じた画像を用紙上に出力する。なお、画像形成装置10は、印刷(プリント)機能、スキャン機能、複写(コピー)機能、ファクシミリ機能等の複数の機能を有するいわゆる複合機と呼ばれる装置である。
そして、画像形成装置10は、差分画像生成装置40をオプション機能として追加可能な構造となっている。差分画像生成装置40は、例えば新旧図面データのような比較対象の2つの画像データを入力して、この2つの新旧図面データの差分を検出し、検出された差分を1つの画像データで表示等出力する機能を備えている。例えば、差分画像生成装置40は、旧図面では存在したが新図面では削除された箇所は赤で表示し、旧図面では存在しなかったが新図面では追加された箇所を青で表示することにより、1つの画像データ内で新旧図面データ上の差分を表示するようにしている。また、この差分の表示では、差分が検出された領域を矩形の枠で囲み、使用者に差分が検出された箇所を提示するようなことも行われている。
なお、差分画像生成装置40は、比較する2つの図面データをまずは2値画像データに変換して、対応する画素を順次比較することにより、2つの図面データの差分を検出する。
また、比較する2つの図面が紙の場合には、まず画像形成装置10のスキャナで画像の読み取りを行って画像データへと変換し、この画像データを差分画像生成装置40に入力して差分検出を行うようにする。
そして、画像形成装置10は、差分画像生成装置40において生成された差分画像データに基づいて生成された画像を印刷用紙等に印刷することにより出力する。
次に、本実施形態の画像形成システムにおける端末装置20のハードウェア構成を図2に示す。
なお、以下の説明では比較対象の書類が図面の場合を用いて説明するが、文書等の図面以外の書類同士の差分検出を行う場合には本発明を同様に適用可能である。
端末装置20は、図2に示されるように、CPU21、メモリ22、ハードディスクドライブ(HDD)等の記憶装置23、画像形成装置10や差分画像生成装置40との間でデータの送信及び受信を行う通信インタフェース(IF)24を有する。これらの構成要素は、制御バス25を介して互いに接続されている。
CPU21は、メモリ22または記憶装置23に格納された制御プログラムに基づいて所定の処理を実行して、端末装置20の動作を制御する。
なお、本実施形態では、CPU21は、メモリ22または記憶装置23内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをCD−ROM等の記憶媒体に格納してCPU21に提供することも可能である。
図3は、上記の制御プログラムが実行されることにより実現される端末装置20の機能構成を示すブロック図である。
本実施形態の端末装置20は、図3に示されるように、制御部31と、表示部32と、通信部33と、対応頁特定部34と、領域指定受付部35とを備えている。
対応頁特定部34は、差分検出対象の2つの図面データ(第1の図面データ、第2の図面データ)のいずれかが複数頁(頁)ある場合に、差分検出対象の2つの図面データ間で対応する頁の組を特定する。
差分検出を行う対象の図面が複数頁ある場合、差分検出を行う前の事前処理として、どの頁同士の差分検出を行うかを予め特定しておく必要がある。そのため、対応頁特定部34は、差分検出を行う前の事前処理において、差分検出を行う頁の組を特定する。
具体的には、対応頁特定部34は、差分検出対象の2つの図面データの各頁の画像間の相関係数(第2の類似度)をそれぞれ算出し、算出された相関係数が最大であり、かつ予め設定された閾値を超えている図面データの頁の組を対応する頁の組として特定する。
なお、画像は単なるイメージに限定されるのではなく、テキストや写真であっても良い。さらに、算出した相関係数が最大もしくは予め設定された閾値を超えている図面データの頁の組を対応する頁の組として特定しても良い。
そして、対応頁特定部34は、1組の対応する頁の組を特定すると、差分検出対象の2つの図面データの各頁のうち、他方の図面データの頁と対応すると特定された頁を除いた未対応の各頁間で再度相関係数をそれぞれ算出して、差分検出対象の2つの図面データの未対応の頁間で対応する頁の組を順次特定する。
その際に、対応頁特定部34は、差分検出対象の2つの図面データの頁数および各頁の図面データ中の頁順序に基づいて、2つの図面データの各頁間で対応する確率である組成立確率を算出し、算出された組成立確率(第1の類似度)の値が高いものから予め設定された数分、例えばn個分の頁の組についてのみ相関係数計算を行って対応する頁の組を特定する。
表示部32は、比較対象の2つの図面データの各頁に対応するサムネイル画像(縮小画像)等の画像からなる画像群を表示する。
制御部31は、各図面データの頁順序に応じて図面データを頁ごとに表示させ、対応頁特定部34により特定された組の頁同士をそれぞれ直線により接続し、図面データの頁が特定部34によって特定されなかった場合に、対応する図面データの頁がないことを示す情報を表示するよう表示部32を制御する。具体的には、制御部31は、対応する頁が特定されなかった頁を、頁の組同士に対して孤立させて表示する、他の頁とは色を変えて表示する、異なる列に表示する等により表示部32に表示させる。
また、制御部31は、対応頁特定部34により特定された図面データの頁の上端を頁順序に応じて表示させ、横方向において頁順序に関係することなく前記第1および第2の書類データの頁を表示させ、図面データの対応する頁同士を線で接続する表示を行うよう表示部32を制御しても良い。
さらに、制御部31は、表示部32上である頁の組が選択された場合、選択されたその頁の組の各頁の詳細画像を表示するよう表示部32を制御しても良い。
領域指定受付部35は、表示部32において表示された詳細画像上で、差分検出を部分的に行うための領域の指定を受け付ける。
通信手段33は、画像形成装置10や差分画像生成装置40への画像データ等の送信や、画像形成装置10によってスキャンした画像データの受信等を行う。
次に、本実施形態の画像形成システムにおいて差分画像データの生成を行う際の動作を図面を参照して詳細に説明する。
先ず、本実施形態の画像形成システムにおいて差分画像データの生成を行う際の全体動作を図4のフローチャートを参照して説明する。また、この図4のフローチャートにおける差分検出対象組の特定の処理の詳細を図5のフローチャートを参照して説明する。
本実施形態の画像形成システムでは、差分検出処理を行う際に、端末装置20において差分検出のための事前処理が行われる。図4のフローチャートにおける検出外領域の指定(ステップS101)および差分検出対象組の特定(ステップS102)の2つの処理がこの事前処理に該当する。
まず、端末装置20では、差分検出対象の2つの図面データにおいて、差分検出を行わない領域として検出除外領域(検出対象外領域)の指定を行う(ステップS101)。この検出除外領域の指定を行う際の画面例を図6に示す。図6に示した画面例では、検出除外領域61を旧図面と新図面上で指定する場合が示されている。
そして、次に、端末装置20の対応頁特定部34により、差分検出を行う頁の組である差分検出対象組の特定が行われる(ステップS102)。なお、この差分検出対象組の特定処理の詳細については後述する。
そして、差分検出を行う頁が特定された差分検出対象の2つの図面データは、通信部33を介して差分画像生成装置40へと送信され差分検出処理が行われる(ステップS103)。
そして、ステップS103において行われた差分検出処理の結果は、差分画像データとして通信部33を介して端末装置20に送信されてきて表示部32に表示される(ステップS104)。
最後に、この差分画像データは通信部33を介して画像形成装置10へ送信され印刷用紙上に差分画像として印刷される(ステップS105)。
次に、上記のステップS102で説明した差分検出対象組の特定処理の詳細を図5のフローチャートを参照して説明する。
上記でも説明したように差分検出を行おうとする図面が複数頁ある場合、差分検出を行う前の事前処理として、どの頁同士の差分検出を行うかを予め特定しておく必要がある。そのため、本実施形態の対応頁特定部34は、どの頁同士の差分検出を行うかを使用者(ユーザ)が指定することなく、指定差分検出を行う頁の組を自動的に特定することができるようになっている。
なお、本実施形態の端末装置20では、どの頁同士の差分検出を行うかを使用者(ユーザ)が直接指定することも可能となっており、使用者がマニュアル操作によりどの頁の差分検出を行うかを指定した場合の表示画面の一例を図7に示す。
図7に示した表示画面例では、旧図面の各頁と新図面の各頁との間で、ユーザがサムネイル画像を参照して対応する頁を指定することにより、対応する頁の組の各頁同士が直線で接続されているのが分かる。
このように使用者が対応する頁を特定して差分検出を行う組を設定するためには、使用者はサムネイル画像を参照して1頁毎にどの頁に対応するかを指定していかなければならない。
そこで、本実施形態の端末装置20における対応頁特定部34では、差分検出対象の新図面データと旧図面データの間で、その頁同士が対応しており差分検出を行うべきであるかを使用者の操作を必要とすることなく自動的に特定する。
まず、対応頁特定部34は、差分検出対象の2つの図面データの頁数および各頁の図面データ中の位置に基づいて、2つの図面データの各頁間が対応する確率である組成立確率を算出する(ステップS201)。
例えば、図8に示すように、旧図面の頁数がn頁、新図面の頁数がm頁であり、旧図面のa番目の頁と、新図面のb番目の頁とが最初の組になる確率は、図9の式(1)により算出される。
なお、この式(1)では、各頁が使用される確率はどの頁も同じであり、使用される頁の数は0〜n頁の一様分布であると仮定し、頁順序の入れ替わりはないものとしている。また、後述する処理において組となる頁の組が確定した場合には、旧図面、新図面における残頁に対して同様の計算が行われる。
例えば旧図面が10頁、新図面が20頁の場合に、上記の計算式に基づいて組成立確率を計算した場合の算出結果は、図10に示すようになる。
次に、対応頁特定部34は、算出された組成立確率の値が高いものから予め設定された数分(n個分)、例えば10個分の頁の組を抽出する(ステップS202)。
なお、本実施形態では抽出する頁の組の個数を組成立確率が大きい上位10個としているが、使用者によって抽出する個数を変更できるようしてもよい。抽出する個数が多ければ特定する組の正確さは上がる分、処理速度は遅くなり、これに対し、抽出する個数が少なければ特定する組の正確さは下がる分、処理速度は速くなる。そのため、使用者に正確さと処理速度を設定させることにより、抽出する個数を決定しても良い。さらに、組数と組成立確立のグラフを表示し、それを元に使用者が抽出する個数を設定しても良い。さらに、組成立確率の値が予め設定された値以上の組を抽出しても良い。
そして、対応頁特定部34は、抽出された10個(n個)の頁の組みについて、相関係数(類似度)をそれぞれ算出する(ステップS203)。
具体的には、対応頁特定部34は、2値画像データである2つの図面データの各画素を逐次比較して、その比較結果を累積して行くことにより相関係数を算出する。例えば、全ての画素が一致する場合には1.0、全ての画素が異なる場合には−1.0となるような値を相関係数として算出する。つまり、この場合の相関係数は−1.0〜1.0の範囲のいずれかとなる値である。
さらに差分検出を行う前の事前処理として、差分検出を行う頁の組において位置合わせを行う必要がある。そこで、本実施形態では相関関数の算出の際に、2つの図面データ中の各位置における相関関数を算出することにより、対応関係のある組を特定するとともに、対応関係にある組における位置合わせも行う。
具体的には、サイズが同じ画像が同じサイズの用紙に印刷されているような図面原稿間の差分検出を行う場合、本実施形態においては、対応ページ頁特定部34は、図12(A)に示すような左上の角合わせを行い、0度、90度、180度、270度の回転処理を行って相関係数の算出を行う。なお位置合わせは、図12(A)(B)に示すように左下、右上、右下の角合わせや、図12(B)に示すような中心合わせであっても良い。
さらに、図11に示すようにサイズが同じ画像が異なるサイズの用紙に印刷されているような図面原稿間の差分検出を行う場合、本実施形態においては、対応頁特定部34は、図12(A)に示すような左上、左下、右上、右下の角合わせと、図12(B)に示すような中心合わせの合計5通りの位置合わせを行う。そして、各位置毎に、0度、90度、180度、270度の回転処理を行って相関係数の算出を行う。
つまり、対応頁特定部34は、5通りの位置合わせ(左上、左下、右上、右下、中央)×4通りの回転処理(0度、90度、180度、270度)の組に対して相関係数を算出する。
また、対応頁特定部34は、2つの図面データを等倍のまま相関係数を算出するだけでなく、サイズが小さい方の図面データをサイズが大きい図面データへと合わせるような拡大処理や、逆に大きい方の図面データを小さい方の図面データに合わせるような縮小処理を行って相関係数を算出する。
そして、対応頁特定部34は、ステップS203において算出された相関係数が最大であり、かつ予め設定された閾値(例えば、0.5)を超えている図面データの頁の組を対応する頁の組として特定する(ステップS204)。ここで、対応頁特定部34は、全ての頁の組について算出された相関係数が設定された閾値を超えなかった場合、ステップS202によって抽出された頁の組の中には対応する頁の組が存在しないと判定を行う。
なお、本実施例では類似度を算出する組の抽出、抽出した組の類似度の算出、算出した類似度に基づいた対応する組の特定、特定した組の位置合わせを対応特定部34が行う例を記したが、各処理を別々の異なる手段が行っても良い。
そして、対応頁特定部34は、ステップS204で対応する頁の組が特定されると、対応する頁が特定された頁及びその頁より前の頁を全て対象から外し、対応を特定する必要のある頁が残っているかの判定を行う(ステップS205)。そして、対応頁特定部34は、まだ検索対象の頁が残っている場合はステップS201まで戻り、検索対象の頁が無い場合は頁の組の特定処理を終了する。
このようにして旧図面データと新図面データの各頁間で対応する頁の組が特定された結果を表示部32に表示した場合の一例を図13に示す。
この図13に示した表示例では、旧図面データと新図面データの頁順序に応じて、旧図面データと新図面データを頁ごとに表示させ、旧図面データと新図面データの対応する頁同士を線で接続されている。そして、図13を参照すると、対応する頁が特定されなかった頁については線が接続されず対応する頁が存在していないのが分かる。
また、無駄な領域を省いて多くの頁の組を同時に表示させたい場合には、図14に示すように縦方向において旧図面データと新図面データの頁の上端を頁順序に応じて表示させ、横方向において頁順序に関係することなく旧図面データと新図面データの頁を表示させ、旧図面データと新図面データの書類データの対応する頁同士を線で接続するような表示方法を用いるようにしても良い。
さらに、図15に示すように、対応する頁の組の確認画面と、各頁内容の詳細確認画面とを組み合わせて、サムネイル画像を選択すると選択された図面の詳細画像が表示されるような表示方法を用いるようにしても良い。この図15に示すような表示方法では、新旧図面のうちの一方のサムネイル画像を選択すると、選択された側において詳細画像が表示されるだけでなく、他方の画面には選択されたサムネイル画像の頁に対応する頁の詳細画像が表示されることにより、組毎に表示切り替えが行われることになる。例えば、図15では、旧図面の1つのサムネイル画像71が選択されることにより、新旧両方の図面のそれぞれの頁の詳細画像が表示される様子が示されている。
そして、この図15に示すように組毎の詳細画像を表示した場合、図16に示すように1つの頁内で差分検出を行いたい領域の指定81〜83を領域指定受付部35により受け付けるようにしても良い。このような領域指定は、1つの図面内で差分検出を行いたい対象オブジェクトの位置が異なる場合に有効である。このような領域指定が行われた場合、差分画像生成装置40では、指定された領域毎に差分検出が行われることになる。
なお、このような領域指定を行う際に、図17に示すように、領域を移動するのに合わせて指定する領域の4隅からの距離が表示されるようにしても良い。
なお、図13〜図15に示したサムネイル画像の表示画面では、新旧図面の各頁において、頁順序をドラッグ&ドロップにより並べ替えることができるようにしても良い。このような並び替えを行う際に、組(対)になっている図面の組については組になっている組の頁毎に移動させるようにする。
このようにすることにより、複数頁の図面をスキャナにより読み取る際に頁順序が間違いにより入れ替わってしまったような場合でも、図面データを直接編集することなく端末装置20のソフトウェア上で頁順序を入れ替えて差分検出を実行することができる。
また、図18に示すように、差分検出を行う頁と行わない頁とを2列にして配置して、それぞれを区別し易くしても良い。このような表示方法では、差分検出を行わない頁をドラッグ&ドロップにより差分検出を行う頁に移動させて差分検出を行う頁の列に追加するようにしても良い。
なお、本実施形態では、2つの図面データの類似度の算出に相関係数を用いる場合について説明したが、本発明はこれに限定されるものではなく、SSD(Sum of Squared Difference)、ハフ変換等の他の演算方法により画像の特徴量を算出して類似度として用いる場合でも同様に適用することができるものである。
なお、本発明のプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
10 画像形成装置
21 CPU
22 メモリ
23 記憶装置
24 通信インタフェース(IF)
25 制御バス
20 端末装置
30 ネットワーク
31 制御部
32 表示部
33 通信部
34 対応頁特定部
35 領域指定受付部
40 差分画像形成装置
61 検出除外領域
71 サムネイル画像
81〜83 領域指定

Claims (8)

  1. (i)複数の第1の書類データと複数の第2の書類データとの間で、前記第1と第2の書類データの頁数および各頁の書類データ中の位置に基づいて、前記第1の書類データの各頁と前記第2の書類データの各頁間が対応する確率である組成立確率を第1の類似度として算出し、
    (ii)前記第1の類似度の値が高いものから予め設定された数の頁の組を第2の類似度を算出する頁の組として抽出し、前記第1と第2の書類データの画像に基づいて、前記抽出した頁の組に対して第2の類似度を算出し、
    (iii)前記第2の類似度に基づいて、前記第1の書類データの頁と対応する前記第2の書類データの頁を特定する特定手段
    を含む画像処理装置
  2. 前記特定手段は、前記第1の書類データの各頁の画像と前記第2の書類データの各頁の画像において各位置における第2の類似度をそれぞれ算出し、前記第2の類似度に基づいて前記組の位置合わせを行うことを特徴とする、
    請求項1に記載の画像処理装置。
  3. 前記特定手段は、前記第2の書類データの頁と対応すると特定された前記第1の書類データの頁を除いた前記第1の書類データの未対応の各頁と、前記第1の書類データの頁と対応すると特定された前記第2の書類データの頁を除いた前記第2の書類データの未対応の各頁との間で再度第2の類似度をそれぞれ算出し、前記第1の書類データの未対応の頁と前記第2の書類データの未対応の頁間で対応する頁の組を順次特定する請求項1または2記載の画像処理装置。
  4. 前記第1および第2の書類データの頁順序に応じて前記第1および第2の書類データを頁ごとに表示させ、前記第1および第2の書類データの対応する頁同士を線で接続し、
    前記第1の書類データの頁と対応する前記第2の書類データの頁が前記特定手段によって特定されなかった場合に、前記第1の書類データの頁と対応する前記第2の書類データの頁がないことを示す情報を、前記表示された第2の書類データ中に表示させるように制御する表示制御手段とを
    有する請求項1に記載の画像処理装置。
  5. 縦方向において前記第1および第2の書類データの頁の上端を頁順序に応じて表示させ、横方向において頁順序に関係することなく前記第1および第2の書類データの頁を表示させ、前記第1および第2の書類データの対応する頁同士を線で接続する表示制御手段を、
    有する請求項1に記載の画像処理装置。
  6. 前記第1の書類データの各頁に対応する画像群と、前記第2の書類データの各頁に対応する画像群を表示する表示手段上で頁の組が選択された場合、選択された当該頁の組に対応する各頁の詳細画像を表示させるよう制御する表示制御手段を、
    有する請求項1に記載の画像処理装置。
  7. 前記第1の書類データの各頁に対応する画像群と、前記第2の書類データの各頁に対応する画像群上で、差分検出を部分的に行う領域を表示させるよう制御する表示制御手段を、
    有する請求項1に記載の画像処理装置。
  8. (i)複数の第1の書類データと複数の第2の書類データとの間で、前記第1と第2の書類データの頁数および各頁の書類データ中の位置に基づいて、前記第1の書類データの各頁と前記第2の書類データの各頁間が対応する確率である組成立確率を第1の類似度として算出するステップと
    (ii)前記第1の類似度の値が高いものから予め設定された数の頁の組を第2の類似度を算出する頁の組として抽出し、前記第1と第2の書類データの画像に基づいて、前記抽出した頁の組に対して第2の類似度を算出するステップと
    (iii)前記第2の類似度に基づいて、前記第1の書類データの頁と対応する前記第2の書類データの頁を特定するステップと、
    をコンピュータに実行させるためのプログラム
JP2014167567A 2014-08-20 2014-08-20 画像処理装置およびプログラム Expired - Fee Related JP6481957B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014167567A JP6481957B2 (ja) 2014-08-20 2014-08-20 画像処理装置およびプログラム
US14/640,677 US9348541B2 (en) 2014-08-20 2015-03-06 Image processing apparatus and method, and non-transitory computer readable medium
CN201510157778.8A CN106161829B (zh) 2014-08-20 2015-04-03 图像处理设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014167567A JP6481957B2 (ja) 2014-08-20 2014-08-20 画像処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2016045564A JP2016045564A (ja) 2016-04-04
JP6481957B2 true JP6481957B2 (ja) 2019-03-13

Family

ID=55348359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014167567A Expired - Fee Related JP6481957B2 (ja) 2014-08-20 2014-08-20 画像処理装置およびプログラム

Country Status (3)

Country Link
US (1) US9348541B2 (ja)
JP (1) JP6481957B2 (ja)
CN (1) CN106161829B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6849387B2 (ja) * 2016-10-24 2021-03-24 キヤノン株式会社 画像処理装置、画像処理システム、画像処理装置の制御方法、及びプログラム
JP6834351B2 (ja) * 2016-10-28 2021-02-24 コニカミノルタ株式会社 画像形成装置、画像形成システム及びプログラム
CN113602020B (zh) * 2021-09-30 2021-12-14 北京辰光融信技术有限公司 一种打印方法、系统及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3627249B2 (ja) 1993-12-15 2005-03-09 松下電工株式会社 画像処理装置
JPH07282256A (ja) 1994-04-06 1995-10-27 Sanyo Electric Co Ltd 印鑑照合装置および2物体画像の角度位置合わせ装置
JP2004178108A (ja) * 2002-11-25 2004-06-24 Canon Inc 帳票認識装置
JP4350414B2 (ja) * 2003-04-30 2009-10-21 キヤノン株式会社 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム
JP4154308B2 (ja) * 2003-10-06 2008-09-24 キヤノン株式会社 帳票認識装置、帳票認識方法、プログラムおよび記憶媒体
US7506255B1 (en) * 2004-02-17 2009-03-17 Microsoft Corporation Display of text in a multi-lingual environment
JP4918776B2 (ja) * 2005-10-24 2012-04-18 富士通株式会社 電子文書比較プログラム、電子文書比較装置および電子文書比較方法
JP4100637B2 (ja) * 2005-12-08 2008-06-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 翻訳のための装置、方法、プログラム及び翻訳支援サービス提供方法
JP4977452B2 (ja) * 2006-01-24 2012-07-18 株式会社リコー 情報管理装置、情報管理方法、情報管理プログラム、記録媒体及び情報管理システム
JP2007257308A (ja) * 2006-03-23 2007-10-04 Canon Inc 文書管理装置、文書管理システム、及びその制御方法、プログラム、記憶媒体
JP4793320B2 (ja) * 2007-05-17 2011-10-12 ソニー株式会社 情報処理装置および方法
US9355293B2 (en) * 2008-12-22 2016-05-31 Canon Kabushiki Kaisha Code detection and decoding system
WO2011035271A1 (en) * 2009-09-18 2011-03-24 Innovative Exams, Llc Apparatus and system for and method of registration, admission and testing of a candidate
RU2420791C1 (ru) * 2009-10-01 2011-06-10 ЗАО "Лаборатория Касперского" Метод отнесения ранее неизвестного файла к коллекции файлов в зависимости от степени схожести
US9031493B2 (en) * 2011-11-18 2015-05-12 Google Inc. Custom narration of electronic books
JP5983083B2 (ja) * 2012-06-22 2016-08-31 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US20150193492A1 (en) * 2012-11-08 2015-07-09 Google Inc. Editing sub-section of an electronic document via notification message
US9465828B2 (en) * 2013-01-22 2016-10-11 Salesforce.Com, Inc. Computer implemented methods and apparatus for identifying similar labels using collaborative filtering
US9244919B2 (en) * 2013-02-19 2016-01-26 Google Inc. Organizing books by series
US9135720B2 (en) * 2013-03-27 2015-09-15 Stmicroelectronics Asia Pacific Pte. Ltd. Content-based aspect ratio detection
US20150193392A1 (en) * 2013-04-17 2015-07-09 Google Inc. User Interface for Quickly Checking Agenda and Creating New Events

Also Published As

Publication number Publication date
US20160054954A1 (en) 2016-02-25
JP2016045564A (ja) 2016-04-04
US9348541B2 (en) 2016-05-24
CN106161829B (zh) 2018-12-28
CN106161829A (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
JP5480462B2 (ja) 文書処理プログラム、文書処理装置及び文書処理システム
JP7192321B2 (ja) 情報処理装置及び情報処理プログラム
US20150254869A1 (en) Image processing apparatus, image processing method, and storage medium
JP6481957B2 (ja) 画像処理装置およびプログラム
US10643097B2 (en) Image processing apparatuses and non-transitory computer readable medium
US20180152594A1 (en) Image processing apparatus and non-transitory computer readable medium
US20180343354A1 (en) Document size detecting apparatus, non-transitory computer readable storage medium, and image processing system
JP6191500B2 (ja) 画像処理装置、画像処理システム及び画像処理プログラム
JP4780184B2 (ja) 画像処理装置及び画像処理プログラム
JP5365440B2 (ja) 画像処理装置及び画像処理プログラム
JP5262778B2 (ja) 画像処理装置及び画像処理プログラム
CN112444205A (zh) 检测设备和检测方法
JP4840388B2 (ja) 画像処理装置及び画像処理プログラム
JP4793429B2 (ja) 画像処理装置及び画像処理プログラム
US10250777B2 (en) Image processing apparatus and non-transitory computer readable medium for image difference confirmation
JP5733452B1 (ja) 情報処理装置及び情報処理プログラム
JP2004280691A (ja) 文書ファイリング装置
JP2011065311A (ja) 画像処理装置及び画像処理プログラム
JP6606885B2 (ja) 画像処理装置及び画像処理プログラム
US20150103362A1 (en) Image processing apparatus
JP6798309B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6252091B2 (ja) 画像処理装置及び画像処理プログラム
US20130236101A1 (en) Information processing apparatus, non-transitory computer readable medium, and information processing method
JP6244805B2 (ja) 画像処理装置及び画像処理プログラム
JP5664427B2 (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190121

R150 Certificate of patent or registration of utility model

Ref document number: 6481957

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190203

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees