TWI725465B - 影像處理系統、影像處理方法及程式產品 - Google Patents

影像處理系統、影像處理方法及程式產品 Download PDF

Info

Publication number
TWI725465B
TWI725465B TW108123411A TW108123411A TWI725465B TW I725465 B TWI725465 B TW I725465B TW 108123411 A TW108123411 A TW 108123411A TW 108123411 A TW108123411 A TW 108123411A TW I725465 B TWI725465 B TW I725465B
Authority
TW
Taiwan
Prior art keywords
image
shaping
document
characteristic
captured
Prior art date
Application number
TW108123411A
Other languages
English (en)
Other versions
TW202013239A (zh
Inventor
蔡永男
Original Assignee
日商樂天股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商樂天股份有限公司 filed Critical 日商樂天股份有限公司
Publication of TW202013239A publication Critical patent/TW202013239A/zh
Application granted granted Critical
Publication of TWI725465B publication Critical patent/TWI725465B/zh

Links

Images

Classifications

    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1448—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on markings or identifiers characterising the document or the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1463—Orientation detection or correction, e.g. rotation of multiples of 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18143—Extracting features based on salient regional features, e.g. scale invariant feature transform [SIFT] keypoints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/418—Document matching, e.g. of document images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G06V30/1607—Correcting image deformation, e.g. trapezoidal deformation caused by perspective

Abstract

本發明係將影像處理高速化。影像處理系統(S)之取得機構(101)取得藉由影像讀取裝置(20)或攝影裝置(16)捕獲之包含定型部分與非定型部分之文件之捕獲影像。第1整形機構(102)基於樣本影像中之文件之特徵、與捕獲影像中之文件之特徵，對捕獲影像進行整形而取得第1整形影像。檢測機構(103)自第1整形影像檢測定型部分之特徵部分。第2整形機構(104)以藉由檢測機構(103)檢測出之特徵部分之位置關係符合指定之位置關係之方式，對第1整形影像進行整形而取得第2整形影像。

Description

影像處理系統、影像處理方法及程式產品
本發明係關於一種影像處理系統、影像處理方法及程式產品。
先前，已知有解析藉由掃描機或相機等捕獲之文件之捕獲影像之技術。例如，專利文獻1中記載有一種裝置，其預先於文件內之特定位置印刷基準標識作為特徵部分，並相對於捕獲影像於傾斜方向搜索基準標識。該裝置中，基於檢測出之基準標識之位置，以校正捕獲影像中之文件之扭曲之方式整形後執行光學文字辨識。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2001-014427號公報
[發明所欲解決之問題]
然而，由於文件之失真方式或扭曲方式因捕獲影像而異，故如專利文獻1之技術，即便於捕獲影像內之斜向搜索特徵部分，有時亦無法順利地檢測特徵部分。於該情形時，必須一面改變方向，一面重複搜索特徵部分，因此導致影像處理上耗費時間。
本發明係鑒於上述問題而完成者，其目的在於提供一種可使影像處理高速化之影像處理系統、影像處理方法及程式產品。 [解決問題之技術手段]
為解決上述問題，本發明之影像處理系統之特徵在於包含：取得機構，其取得藉由影像讀取裝置或攝影裝置捕獲之包含定型部分與非定型部分之文件的捕獲影像；第1整形機構，其基於樣本影像中之上述文件之特徵、與上述捕獲影像中之上述文件之特徵，對上述捕獲影像進行整形而取得第1整形影像；檢測機構，其自上述第1整形影像檢測上述定型部分之特徵部分；及第2整形機構，其以由上述檢測機構檢測出之特徵部分之位置關係符合指定之位置關係之方式，對上述第1整形影像進行整形而取得第2整形影像。
本發明之影像處理方法之特徵在於包含：取得步驟，其取得藉由影像讀取裝置或攝影裝置捕獲之包含定型部分與非定型部分之文件的捕獲影像；第1整形步驟，其基於樣本影像中之上述文件之特徵、與上述捕獲影像中之上述文件之特徵，對上述捕獲影像進行整形而取得第1整形影像；檢測步驟，其自上述第1整形影像檢測上述定型部分之特徵部分；及第2整形步驟，其以由上述檢測步驟檢測出之特徵部分之位置關係符合指定之位置關係之方式，對上述第1整形影像進行整形而取得第2整形影像。
本發明之程式產品使電腦作為以下機構發揮功能：取得機構，其取得藉由影像讀取裝置或攝影裝置捕獲之包含定型部分與非定型部分之文件的捕獲影像；第1整形機構，其基於樣本影像中之上述文件之特徵、與上述捕獲影像中之上述文件之特徵，對上述捕獲影像進行整形而取得第1整形影像；檢測機構，其自上述第1整形影像檢測上述定型部分之特徵部分；及第2整形機構，其以由上述檢測機構檢測出之特徵部分之位置關係符合指定之位置關係之方式，對上述第1整形影像進行整形而取得第2整形影像。
本發明之一態樣中特徵在於，上述第1整形機構基於自上述樣本影像擷取出之上述文件之特徵點群、與自上述捕獲影像擷取出之上述文件之特徵點群，取得上述第1整形影像。
本發明之一態樣中特徵在於，上述第1整形機構基於上述樣本影像中之指定區域內之上述文件之特徵、與上述捕獲影像中之與上述指定區域對應之區域內之上述文件之特徵，取得上述第1整形影像。
本發明之一態樣中特徵在於，上述指定區域為上述樣本影像中出現上述定型部分之區域。
本發明之一態樣中特徵在於，上述檢測機構基於以上述樣本影像中之上述特徵部分為模板影像之模板匹配，自上述第1整形影像檢測上述特徵部分。
本發明之一態樣中特徵在於，上述檢測機構自上述第1整形影像中包含指定位置之區域之中，檢測上述特徵部分。
本發明之一態樣中特徵在於，上述檢測機構檢測複數個特徵部分，上述第2整形機構以上述複數個特徵部分各者之位置關係符合與該特徵部分對應之指定之位置關係之方式，對上述第1整形影像進行整形而取得第2整形影像。
本發明之一態樣中特徵在於，上述複數個特徵部分各者配置於上述文件之端部附近。
本發明之一態樣中特徵在於，上述特徵部分為上述定型部分中之文字或記號。
本發明之一態樣中特徵在於，上述影像處理系統進而包含對上述第2整形影像執行光學文字辨識的執行機構。 [發明之效果]
根據本發明，可使影像處理高速化。
[1.實施形態1] 以下，說明與本發明相關之影像處理系統之實施形態之例。
[1-1.影像處理系統之整體構成] 圖1係表示影像處理系統之整體構成之圖。如圖1所示，影像處理系統S包含使用者終端10、影像讀取裝置20及伺服器30。使用者終端10與伺服器30可分別與網際網路等網路連接。再者，圖1中，將使用者終端10、影像讀取裝置20及伺服器30分別各示出1台，但其等亦可為各有複數台。又，影像讀取裝置20可連接於網路。
使用者終端10為供使用者操作之電腦，例如行動電話機(包含智慧型手機)、行動資訊終端(包含平板型電腦)、或個人電腦等。如圖1所示，使用者終端10包含控制部11、記憶部12、通信部13、操作部14、顯示部15及攝影裝置16。
控制部11包含例如至少1個微處理器。控制部11根據記憶於記憶部12之程式或資料執行處理。記憶部12包含主記憶部及輔助記憶部。例如，主記憶部為RAM(Random Access Memory，隨機存取記憶體)等揮發性記憶體，輔助記憶部為硬碟或快閃記憶體等非揮發性記憶體。通信部13為有線通信或無線通信用之通信介面，且經由網路進行資料通信。
操作部14為輸入器件，包含例如觸控面板或滑鼠等指向器件或鍵盤等。操作部14將操作內容傳遞至控制部11。顯示部15為例如液晶顯示部或有機EL(Electro Luminescence，電致發光)顯示部等。攝像裝置16包含至少1個相機，且包含例如CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)影像感測器或CCD(Charge Coupled Device，電荷耦合器件)影像感測器等。攝影裝置16拍攝靜態影像或動態影像並產生影像資料。再者，本實施形態中，說明攝像裝置16包含於使用者終端10之情形，但攝影裝置16亦可位於使用者終端10之外部。
影像讀取裝置20為讀取影像之裝置，例如為掃描器。影像讀取裝置20包含例如CMOS影像感測器或CCD影像感測器等。影像讀取裝置20讀取形成有影像之媒體(例如用紙、膜、塑膠等)並產生影像資料。再者，本實施形態中，說明影像讀取裝置20包含於使用者終端10之外部之情形，但影像讀取裝置20亦可位於使用者終端10之內部。
伺服器30為伺服器電腦。伺服器30包含控制部31、記憶部32及通信部33。控制部31、記憶部32及通信部33之硬體構成可分別與控制部11、記憶部12及通信部13同樣，此處省略說明。
再者，作為記憶於記憶部12、32者說明之程式及資料可經由網路自其他之電腦供給。又，使用者終端10、影像讀取裝置20及伺服器30之硬體構成不限定於上述之例，而可應用各種硬體。可包含例如讀取電腦能讀取之資訊記憶媒體之讀取部(例如光碟驅動器或記憶卡插槽)或用以與外部機器輸入輸出資料之輸入輸出部(例如USB(Universal Serial Bus，通用串列匯流排)端口)。例如，記憶於資訊記憶媒體之程式或資料可經由讀取部或輸入輸出部供給。
[1-2.影像處理系統之概要] 本實施形態中，使用者為了在網際網路上開設銀行帳戶或簽訂保險契約等，而以攝影裝置16或影像讀取裝置20捕獲本人確認書，並將捕獲影像上傳至伺服器30。伺服器30對捕獲影像執行光學文字辨識，擷取印刷於本人確認書上之姓名、住址及出生年月日等文字。
本人確認書只要為可確認使用者之文檔即可，例如駕駛執照、保險證、居民卡或護照等文檔。本實施形態中，作為本人確認書之一例說明駕駛執照。再者，駕駛執照因國家或地域而存在各種格式，但為方便說明，列舉虛構格式之駕駛執照為例。
圖2係表示捕獲駕駛執照之狀態。如圖2所示，例如，使用者利用使用者終端10之攝影裝置16，拍攝放置於桌上之駕駛執照。由於攝影裝置16之位置或朝向可自由改變，故未必限定於自正面(正上方)拍攝駕駛執照。因此，多數情況下捕獲影像中之駕駛執照發生失真或扭曲。再者，本實施形態中，捕獲影像之解像度擔保為可實現光學文字辨識之程度，攝影裝置16之焦點亦對準駕駛執照。
圖3係表示捕獲影像之一例之圖。如圖3所示，當捕獲影像I1中之駕駛執照發生失真或扭曲時，即便執行光學文字辨識亦難以擷取文字。於該方面，由於未對駕駛執照印刷用以校正文件之失真與扭曲之專用標識，故無法利用此種標識校正失真或扭曲。
例如，亦考慮以印刷於駕駛執照之「DRIVER LICENSE(駕駛執照)」等定型部分之一部分文字來替代使用，但由於此種定型部分並非作為用以校正文件之失真與扭曲之專用標識而印刷，故因與難以進行光學文字辨識相同之理由而難以精度較佳地檢測。又，即便有幸可檢測，亦存在於相同之文件中包含有相同文字之情況，而亦存在誤檢測之可能性。
因此，本實施形態之影像處理系統S中，大致修正捕獲影像I1中之駕駛執照之失真或扭曲後，檢測駕駛執照內之定型部分而精細地修正失真或扭曲，藉此產生例如易於進行光學文字辨識之狀態之影像。以下，說明影像處理系統S之細節。
[1-3.影像處理系統中實現之功能] 圖4係表示影像處理系統S中實現之功能之一例之功能方塊圖。如圖4所示，說明影像處理系統S中實現資料記憶部100、取得部101、第1整形部102、檢測部103、第2整形部104、及執行部105之情形。
[1-3-1.資料記憶部] 資料記憶部100以記憶部32為主而實現。資料記憶部100記憶用以執行影像處理所需之資料。此處之影像處理只要為基於影像之處理即可，意指包含例如影像之加工或光學文字辨識等各種處理。本實施形態中，作為資料記憶部100記憶之資料之一例，說明與文件之樣本影像相關之樣本影像資料庫。
文件為形成有影像之媒體，有時亦被稱為文檔。若換作其他說法，則為藉由攝像裝置16或影像讀取裝置20捕獲為影像之對象物。文件具有特定之格式，且佈局預先確定。即，文件係預先明瞭在何處描繪了何物。文件之種類可為任意，可為例如本人確認書、身分證、向公共機關提交之提議書、商品或服務之申請書、或考試之解答用紙。本實施形態中，作為文件之一例說明駕駛執照。因此，本實施形態中記載為駕駛執照之部位可替換讀作文件。文件包含定型部分與非定型部分。
定型部分係內容固定之部分，且係內容與其他之文件共用之部分。若換作其他說法，則定型部分係不拘於文件而內容不變之部分，且係不拘於使用者而內容不變之部分。例如，定型部分為文件中之格式部分，描繪有特定之文字、記號、圖形、框線、插圖或影像之部分。定型部分亦可稱為包含文件固有資訊之部分。
若為圖3之駕駛執照，則｢DRIVER LICENSE｣之標題為定型部分之一例。又，｢NAME(姓名)｣､｢BIRTH DAY(出生日期)｣､｢ADDRESS(住址)｣､｢DATE(發證日期)｣､｢EXPIRES(有效日期)｣及｢NUMBER(編號)｣等項目名稱為定型部分之一例。又，｢JAPAN(日本)｣之國家名稱為定型部分之一例。又，｢Tokyo Metropolitan Public Safety Commission(東京都公共安全委員會)｣之機關名稱為定型部分之一例。再者，定型部分不限定於如上所述之文字，圖3之駕駛執照中之表示日本國旗之影像亦為定型部分之一例。又，包圍上述項目名稱等之框線亦為定型部分之一例。
非定型部分係內容不固定之部分，且係內容與其他之文件不共用之部分。若換作其他說法，則非定型部分係內容依文件而改變之部分，且係內容依使用者而改變之部分。例如，非定型部分為文件中之格式部分以外之部分，印刷有個人資訊、使用者之識別資訊、提議內容、申請內容、或考試之答案等資訊之部分。非定型部分亦可稱為包含使用者固有資訊之部分。
若為圖3之駕駛執照，則「YAMADA TARO(山田太郎)」之姓名為非定型部分之一例。又，「June 23, 1980(1980年6月23日)」之出生年月日為非定型部分之一例。又，「1-2-3 ABCCity Tokyo(東京ABC市1-2-3)」之住址為非定型部分之一例。又，「July 25, 2015(2015年7月25日)」之發證日期為非定型部分之一例。又，「July 25, 2020(2020年7月25日)」之有效日期為非定型部分之一例。又，「1234 5678 9012」之執照編號為非定型部分之一例。再者，非定型部分不限定於如上所述之文字，圖3之駕駛執照中之使用者之面部照片亦為非定型部分之一例。此外，若表示使用者ID或身體特徵之資訊包含於駕駛執照，則此種資訊亦為非定型部分之一例。
樣本影像為完全或幾乎不存在文件之失真與扭曲之影像。若換作其他之說法，則樣本影像為自正面方向或大致正面方向捕獲文件之狀態之影像。正面方向為與文件之表面所成之角度垂直之方向，亦可稱為正對。大致正面方向為該角度可視作垂直之程度之方向，例如，該角度為80°以上之方向。樣本影像之格式與捕獲影像之格式相同。因此，樣本影像之定型部分與捕獲影像之定型部分相同，樣本影像之非定型部分與捕獲影像之非定型部分不同。再者，樣本影像可不包含非定型部分。即，樣本影像可僅為格式部分。
失真為影像中之文件之形狀變化。若換作其他之說法，失真為實際文件之形狀與影像內之文件之形狀之差異。完全不失真意指形狀不變化(無形狀差異)，幾乎未失真意指可視作形狀不變化之程度。例如，若係輪廓為四邊形(包含圓角四邊形)之文件，則影像內之輪廓變為梯形即相當於發生失真。例如，上底之長度與下底之長度幾乎無異(例如差未達5%)相當於幾乎未失真，若換作其他之說法，則對邊所成之角度未達特定角度(例如未達5°)即相當於幾乎未失真。
扭曲為影像中之文件之旋轉(朝向)。若換作其他之說法，扭曲為自正對之狀態偏移何種程度。完全未扭曲意指正對之狀態，幾乎未扭曲意指可視作未扭曲之程度。例如，若為橫長之四邊形之文件，則長邊方向自水平方向(例如，影像座標系統之X軸方向)偏移，短邊方向自垂直方向(例如，影像座標系統之Y軸方向)偏移即相當於發生扭曲。又，例如，若為縱長之四邊形之文件，則長邊方向自垂直方向偏移，短邊方向自水平方向偏移即相當於發生扭曲。例如，該等各方向所成之角度為大致0°(例如角度未達5°)即相當於幾乎未扭曲。
圖5係表示樣本影像之一例。如圖5所示，樣本影像I2為保證圓角四邊形之駕駛執照之形狀而完全或幾乎未失真之狀態。又，為駕駛執照之朝向未偏移而完全或幾乎未扭曲之狀態。因此，樣本影像I2之文字可以說是未失真或扭曲而適於光學文字辨識之狀態。例如，樣本影像由影像管理系統S之管理者預先準備。例如，管理者以影像讀取裝置或攝影裝置捕獲文件並產生樣本影像，並登錄於資料記憶部100。
圖6係表示樣本影像資料庫之資料儲存例之圖。如圖6所示，例如，於樣本影像資料庫儲存有樣本影像I2之檔案名稱、文件之種類、樣本影像I2之特徵點群資訊、模板影像所示之特徵部分名、檔案名稱、位置。
再者，樣本影像I2只要依所要捕獲之文件之種類準備即可，例如，如駕駛執照之樣本影像、居民卡之樣本影像、護照之樣本影像等準備即可。又，由於該等文件之格式因國家或地域而異，故亦可依國家或地域準備樣本影像I2。
特徵點群資訊為與自樣本影像I2擷取出之特徵點群相關之資訊。特徵點群為複數個特徵點之集合。特徵點為表示被攝體之特徵部分之點，例如為表示形狀之特徵與色彩之特徵之至少一者的點。
擷取特徵點群之運算法本身可提供各種運算法，例如可利用以OpenCV安裝SIFT、SURF或A-KAZE等運算法。例如，特徵點群資訊包含各特徵點之位置座標與各特徵點之特徵量。特徵量為自上述運算法輸出之數值，且為將物體之局部形狀或色彩之特徵數值化而成者。
圖7係表示儲存於樣本影像資料庫之模板影像之一例之圖。如圖7所示，模板影像T1～T4為表示樣本影像I2中定型部分處之特徵部分之影像。再者，於以下，於無須特別區分模板影像T1~T4時，簡單記載為模板影像T。
模板影像T可為僅1張，亦可準備複數張。模板影像T只要準備稍後敍述之影像處理中要使用之特徵部分之數量即可。模板影像T可為表示任意之特徵部分之影像，本實施形態中，為提高影像處理之精度，利用位於駕駛執照之四個角附近之特徵部分。
例如，模板影像T1表示駕駛執照之「DRIVER LICENSE」之標題中之「DR」之文字。模板影像T1表示駕駛執照左上附近之特徵部分。又，例如，模板影像T2表示駕駛執照中之日本國旗。模板影像T2表示駕駛執照右上附近之特徵部分。又，例如，模板影像T3表示駕駛執照之「JAPAN」之國名中之「JA」之文字。模板影像T3表示駕駛執照左下附近之特徵部分。又，例如，模板影像T4表示駕駛執照之「Tokyo Metropolitan Public Safety Commission(東京都公共安全委員會)」之發證機關名稱末尾之「on」之文字。模板影像T4表示駕駛執照右下附近之特徵部分。
[1-3-2.取得部] 取得部101以控制部31為主而實現。取得部101取得藉由影像讀取裝置20或攝影裝置16捕獲之包含定型部分與非定型部分之文件之捕獲影像I1。再者，「取得影像」為取得影像之資料。於該方面，本實施形態中記載為「取得影像」之其他部位亦同樣。作為影像之資料，可應用各種檔案格式，可為例如JPEG(Joint Photographic experts Group，聯合影像專家組)、GIF(Graphics Interchange Format，影像交換格式)、BMP(Bitmap，點陣圖)、或PNG(Portable Network Graphic，可攜式網路影像)等格式。
例如，取得部101可經由網路自使用者終端10取得捕獲影像I1，亦可自影像讀取裝置20取得捕獲影像I1。又，例如，捕獲影像I1可記憶於資料記憶部100，於該情形時，取得部101自資料記憶部100取得捕獲影像I1。又，例如，捕獲影像I1可記憶於位於伺服器30外部之資料庫伺服器，於該情形時，取得部101自該資料庫伺服器取得捕獲影像I1。
[1-3-3.第1整形部] 第1整形部102以控制部31為主而實現。第1整形部102基於樣本影像I2中之文件之特徵與捕獲影像I1中之文件之特徵，對捕獲影像I1進行整形，取得第1整形影像。
文件之特徵為文件之捕獲方式，例如為失真、扭曲、尺寸、或位置。此處，特別利用影像中之文件之形狀或朝向之特徵。整形為調整影像中之文件之形狀。若換作其他之說法，則整形亦可稱為影像之變形或加工。影像之整形方法本身可應用各種方法，可利用例如仿射轉換、線性轉換、投影轉換、旋轉、放大、縮小或移動，亦可利用該等之組合。
例如，第1整形部102基於樣本影像I2中之文件之整體特徵與捕獲影像I1中之文件之整體特徵而非考慮影像之局部特徵(僅一部分特徵)對捕獲影像I1進行整形。例如，第1整形部102以接近樣本影像I2中之文件之特徵之方式對捕獲影像I1進行整形。若換作其他之說法，例如，第1整形部102以接近樣本影像I2中之文件之形狀與朝向之方式對捕獲影像I1進行整形。
圖8及圖9係表示將捕獲影像I1整形後之狀態之圖。如圖8及圖9所示，例如，第1整形部102基於自樣本影像I2擷取出之文件之特徵點群P2與自捕獲影像I1擷取出之文件之特徵點群P1取得第1整形影像I3。
再者，此處，說明樣本影像I2之特徵點群整體之情形時標註P2之符號，說明各個特徵點之情形時標註P2-m(m為自然數)之符號。同樣地，說明捕獲影像I1之特徵點群整體之情形時標註P1之符號，說明各個特徵點之情形時標註P1-n(n為自然數)之符號。又，無須特別參照圖式時，有時亦省略特徵點之符號。
例如，第1整形部102自樣本影像資料庫取得樣本影像I2之特徵點群資訊。又，例如，第1整形部102自捕獲影像I1擷取特徵點群P1而取得特徵點群資訊。特徵點群P1之擷取及特徵點群資訊之取得只要利用上述之運算法進行即可。例如，第1整形部102基於樣本影像I2之特徵點群資訊與捕獲影像I1之特徵點群資訊進行特徵點群P1、P2之匹配。
匹配係將樣本影像I2之特徵點群P2與捕獲影像I1之特徵點群P1建立關聯之處理。匹配可利用上述之特徵點擷取之運算法，可利用例如以OpenCV安裝之運算法。例如，第1整形部102基於樣本影像I2之特徵點群資訊所示之各特徵點P2-m之特徵量與捕獲影像I1之特徵點群資訊所示之各特徵點P1-n之特徵量，進行特徵點群之匹配。匹配時，只要將特徵量相似之特徵點彼此建立關聯即可。再者，特徵量相似為特徵量之值相似，特徵量之差較小(例如，差為最小)。
圖8之例中，第1整形部102基於捕獲影像I1之特徵點群資訊，特定出具有與樣本影像I2之特徵點P2-1之特徵量接近之特徵量的特徵點P1-1，將特徵點P2-1與特徵點P1-1進行匹配。同樣地，第1整形部102基於捕獲影像I1之特徵點群資訊，特定出具有與樣本影像I2之特徵點P2-2之特徵量接近之特徵量的特徵點P1-2，將特徵點P2-2與特徵點P1-2進行匹配。
對於其他之特徵點亦執行同樣之處理，將特徵點P2-3～P2-7與特徵點P1-3～P1-7進行匹配。再者，圖8中為簡化起見，而較少地記載特徵點，但實際上可擷取數十～數千左右或其以上之特徵點，且對各個特徵點進行匹配。
例如，第1整形部102基於特徵點群之匹配結果而計算轉換矩陣。轉換矩陣以捕獲影像I1之各特徵點之位置接近樣本影像I2中之匹配對象之特徵點位置之方式進行計算。轉換矩陣之取得方法本身可應用各種方法，例如仿射轉換、線性轉換或投影轉換中之轉換矩陣之計算式。第1整形部102基於轉換矩陣，對捕獲影像I1進行轉換而取得第1整形影像I3。如圖9所示，第1整形影像I3為與樣本影像I2中之文件大致相似之狀態。
再者，特徵點群可自影像整體擷取，亦可僅自一部分區域擷取。例如，第1整形部102可基於樣本影像I2中之特定區域內之文件之特徵、與捕獲影像I1中之與特定區域對應之區域內之文件之特徵，取得第1整形影像I3。
特定區域只要為預先確定之一部分區域即可，例如，可為樣本影像I2中出現定型部分之區域。例如，第1整形部102可基於樣本影像I2中出現定型部分之區域內之特徵點群、與捕獲影像I1中出現定型部分之區域內之特徵點群，取得第1整形影像I3。
再者，此處舉出使用特徵點群之情形為例，但第1整形部102只要基於可成為影像之特徵之資訊對捕獲影像I1進行整形即可，亦可利用特徵點群以外之資訊。
例如，第1整形部102可基於自樣本影像I2擷取出之輪廓線、與自捕獲影像I1擷取出之輪廓線，對捕獲影像I1進行整形。輪廓線只要藉由索貝爾濾波器(Sobel filter)等之邊緣檢測處理取得即可。第1整形部102亦可以接近自樣本影像I2擷取之輪廓線之方式對捕獲影像I1進行整形。例如，第1整形部102可以本實施形態之駕駛執照中之包圍「NAME」或「BIRTH DAY」等之框線之形狀大致符合之方式對捕獲影像I1進行整形。此時，即便無法檢測出框線整體而僅檢測出一部分，只要使該檢測出之一部分框線之形狀大致符合即可。
又，例如，第1整形部102可對捕獲影像I1執行背景分離處理，對出現文件之前景部分加以特定，且以前景部分之形狀接近樣本影像I2中之文件之形狀之方式，對樣本影像I2進行整形。此時，即便前景部分之特定精度不太高，只要大致符合捕獲影像I1中之文件之失真或扭曲即可。
[1-3-4.檢測部] 檢測部103以控制部31為主而實現。檢測部103自第1整形影像I3檢測定型部分之特徵部分。
特徵部分為對影像進行整形時成為基準之部分，亦可稱為地標。例如，特徵部分可為定型部分中之文字或記號，亦可為描繪於定型部分之框線、插圖、或影像等。又，例如，特徵部分中，於其附近不存在同樣之特徵之部分的特徵部分可僅為1個，亦可為複數個。本實施形態中，說明特徵部分有複數個，且複數個特徵部分之各者配置於文件之端部附近之情形，但特徵部分亦可配置於中央附近，又可配置於中央與端部之中間處所。
特徵部分存在於文件中之指定位置。指定位置為文件中出現特徵部分之位置。由於文件之格式既定，故文件中之特徵部分之位置為已知之位置。例如，指定位置為樣本影像I2中出現特徵部分之位置。本實施形態中，由於準備了表示特徵部分之模板影像T，故自樣本影像I2切取模板影像T之位置即為指定位置。
例如，檢測部103利用物體檢測運算法，自第1整形影像I3檢測特徵部分。作為物體檢測運算法，可應用各種運算法，例如，可利用模板匹配，亦可利用特徵點之配置圖案或輪廓線之朝向等。本實施形態中，由於準備了樣本影像I2中之特徵部分之模板影像T，故檢測部103檢測與模板影像T相似之部分。
圖10係表示模板匹配之一例之圖。如圖10所示，檢測部103基於以樣本影像I2中之特徵部分為模板影像T之模板匹配，自第1整形影像I3檢測特徵部分。圖10之例中，檢測部103於第1整形影像I3內掃描與模板影像T4相同大小之窗口W，且基於框內之各像素之像素值與模板影像T4之各像素之像素值而檢測特徵部分。例如，檢測部103基於該等像素值之差計算相似度，判定於相似度為閾值以上之框內存在特徵部分。
例如，可自第1整形影像I3整體中搜索特徵部分，但本實施形態中，檢測部103可自第1整形影像I3中包含指定位置之區域中檢測特徵部分。該區域可為任意之形狀及尺寸，圖10之例中，成為包含出現模板影像T4所示之｢on｣之文字之樣本影像I2內之位置的區域A1。由於模板影像T4示出駕駛執照之右下附近之特徵部分，故區域A1亦成為右下附近之區域。
本實施形態中，由於存在複數個特徵部分，故檢測部103檢測複數個特徵部分。例如，其他之模板影像T亦被執行同樣之處理，檢測部103自包含出現模板影像T1所示之｢DR｣之文字之樣本影像I2內之位置的區域(左上附近之區域)中搜索該文字。又，例如，檢測部103自包含出現模板影像T2所示之國旗之樣本影像I2內之位置的區域(右上附近之區域)中搜索該國旗。又，例如，自包含出現模板影像T3所示之｢JA｣之文字之樣本影像I2內之位置的區域(左下附近之區域)中搜索該文字。
[1-3-5.第2整形部] 第2整形部104以控制部31為主而實現。第2整形部104以由檢測部103檢測出之特徵部分之位置關係符合特定之位置關係之方式對第1整形影像I3進行整形而取得第2整形影像。例如，第2整形部104基於樣本影像I2中之特徵部分之位置與第1整形影像I3中之特徵部分之位置，對第1整形影像I3進行整形。
圖11及圖12係表示第2整形部104之處理內容之圖。如圖11所示，例如，第2整形部104以第1整形影像I3中之特徵部分之位置Q3接近樣本影像I2中之特徵部分之位置Q2之方式對第1整形部I3進行整形。
再者，此處，說明樣本影像I2之特徵部分整體之位置之情形時標註Q2之符號，說明各個特徵部分之位置之情形時標註Q2-k(k為自然數)之符號。同樣地，說明第1整形影像I3之特徵部分整體之位置之情形時標註Q3之符號，說明各個特徵部分之位置之情形時標註Q3-l(l為自然數)之符號。又，無須特別參照圖式時，有時亦省略各位置之符號。
本實施形態中，由於存在複數個特徵部分，故第2整形部104以複數個特徵部分各者之位置Q3對準該特定部分所對應之特定位置Q2之方式，對第1整形影像I3進行整形而取得第2整形影像I4。例如，第2整形部104基於樣本影像I2中之特徵部分之位置Q2與第1整形影像I3中之特徵部分之位置Q3計算轉換矩陣。
轉換矩陣以第1整形影像I3中之特徵部分之位置Q3接近樣本影像I2中之特徵部分之位置Q2之方式計算。轉換矩陣之取得方法本身可應用各種方法，例如可利用仿射轉換、線性轉換、或投影轉換中之轉換矩陣之計算式。如圖11所示，以連接第1整形影像I3中之各特徵部分之四邊形(由Q3-1～Q3-4包圍而成之四邊形)形狀接近連接樣本影像I2中之各特徵部分之四邊形(由Q2-1～Q2-4包圍而成之四邊形)形狀的方式，計算轉換矩陣。
第2整形部104基於轉換矩陣，對捕獲影像I1進行轉換而取得第2整形影像I4。如圖12所示，第2整形影像I4之駕駛執照之細微之失真與扭曲得以修正，成為與樣本影像I2之駕駛執照大致相同之形狀及朝向。即，連接第2整形影像I4之各特徵部分之四邊形(由Q4-1～Q4-4包圍而成之四邊形)形狀與連接樣本影像I2中之各特徵部分之四邊形(由Q2-1～Q2-4包圍而成之四邊形)相同或大致相同。第2整形影像I4成為易於進行光學文字辨識之狀態之影像。
[1-3-6.執行部] 執行部105以控制部31為主而實現。執行部105對第2整形影像I4執行光學文字辨識。光學文字辨識之運算法本身可應用各種運算法，例如，可為利用圖案匹配之運算法，亦可為利用構造解析之運算法。
圖13係表示藉由光學文字辨識擷取之文字之一例之圖。如圖13所示，執行部105藉由光學文字辨識自第2整形影像I4取得文字。再者，可使第2整形影像I4之整體成為光學文字辨識之對象，亦可使第2整形影像I4之一部分成為光學文字辨識之對象。於一部分之情形時，可為僅非定型部分，亦可為僅非定型部分中之一部分。
執行部105藉由對第2整形影像I4執行光學文字辨識，擷取出現於駕駛執照之非定型部分之資訊，並記錄於資料記憶部100。圖13之例中，執行部105擷取出現於駕駛執照之使用者之姓名、出生年月日、住址、發證日、有效日、及執照編號等資訊，並記錄於資料記憶部100。
再者，執行部105擷取之資訊只要為對應於文件之資訊即可，例如，若文件為居民卡，則可擷取使用者之姓名、出生年月日、住址、籍貫、及性別等資訊。又，例如，若文件為護照，則可擷取使用者之姓名、出生年月日、住址、及護照編號等資訊。又，例如，執行部105擷取之資訊不限定於使用者之個人資訊，亦可為例如向公共機關提交之提議內容、商品或服務之申請內容、或寫在答案用紙上之答案之內容等資訊。
[1-4.本實施形態中執行之處理] 圖14係表示影像處理系統S中執行之處理之一例的流程圖。圖14所示之處理係藉由控制部11根據記憶於記憶部12之程式動作，控制部31根據記憶於記憶部32之程式動作而執行。下文說明之處理為藉由圖4所示之功能區塊執行之處理之一例。
如圖14所示，首先，使用者終端10中，控制部11自攝影裝置16或影像讀取裝置20取得捕獲影像I1(S1)。例如，使用者操作操作部14以攝影裝置16拍攝駕駛執照，或操作影像讀取裝置20使其讀取駕駛執照。S1中，控制部11取得攝影裝置16或影像讀取裝置20產生之影像資料。再者，捕獲影像I1可預先記憶於記憶部12或外部之資訊記憶媒體。
控制部11基於操作部14之檢測信號，取得表示本人確認書之種類之種類資訊(S2)。本實施形態中，由於不瞭解使用者要上傳哪種本人確認書，故讓使用者選擇本人確認書之種類。S2中，例如，將表示本人確認書之種類之清單顯示於顯示部15，使用者自該清單中選擇要上傳之本人確認書。該清單中，可選擇例如駕駛執照、居民卡、或護照等種類。
控制部11對伺服器30發送S1中取得之捕獲影像I1與S2中取得之種類資訊(S3)。
伺服器30中，接收到捕獲影像I1與種類資訊時，控制部31取得捕獲影像I1之特徵點群資訊(S4)。S4中，控制部31基於特徵點之擷取運算法，自捕獲影像I1擷取特徵點群，並產生特徵點群資訊。
控制部31自樣本影像資料庫取得樣本影像I2之特徵點群資訊(S5)。S5中，控制部31參照樣本影像資料庫中對應於S4接收到之種類資訊所示之種類之記錄，取得儲存於該記錄之特徵點群資訊。
控制部31基於樣本影像I2之特徵點群資訊與捕獲影像I1之特徵點群資訊，匹配特徵點群(S6)。S6中，控制部31基於特徵點之匹配運算法，進行樣本影像I2之各特徵點與捕獲影像I1之各特徵點之對應建立。
控制部31基於S6中之匹配結果，對捕獲影像I1進行整形而取得第1整形影像I3(S7)。S7中，控制部31計算如上所述之轉換矩陣，並基於該轉換矩陣對捕獲影像I1進行整形。整形後之影像成為第1整形影像I3。
控制部31自樣本影像資料庫取得模板影像T(S8)。S8中，控制部31參照樣本影像資料庫中對應於S4中接收到之種類資訊所示之種類之記錄，取得儲存於該記錄之模板影像T。
控制部31基於S8中取得之模板影像T，對第1整形影像I3執行模板匹配(S9)。S9中，控制部31自第1整形影像I3中搜索與模板影像T相似之區域。此處，由於準備了複數個模板影像T，故控制部31就每個模板影像T搜索相似之區域。
控制部31基於S9中之匹配結果，對第1整形影像I3進行整形，而取得第2整形影像I4(S10)。S10中，控制部31計算如上所述之轉換矩陣，並基於該轉換矩陣，對第1整形影像I3進行整形。整形後之影像成為第2整形影像I4。
控制部31對S10中取得之第2整形影像I4執行光學文字辨識(S11)。S11中，控制部31自第2整形影像I4擷取文字。
控制部31將S11中擷取出之文字記錄於記憶部32(S12)，本處理結束。藉由S12之處理，根據使用者上傳之本人確認書，擷取使用者之姓名、住址、及出生年月日等資訊，並記錄於記憶部32。
根據以上說明之影像處理系統S，以去除文件之粗略之失真與扭曲之方式對捕獲影像進行整形後，基於特徵部分，以去除文件之細微之失真與扭曲之方式進行整形，藉此可省去自捕獲影像中多次搜索特徵部分等工夫，可使影像處理高速化。
又，基於自樣本影像擷取之文件之特徵點群、與自捕獲影像擷取之文件之特徵點群，取得第1整形影像I3，藉由存在多種擷取運算法，且利用能更快擷取之特徵點群，可使影像處理更高速化。又，可藉由利用詳細地表示影像中之文件之特徵之特徵點群，提高影像處理之精度，有效地去除文件之失真與扭曲。
又，基於樣本影像中之特定區域內之文件之特徵與捕獲影像中之對應於特定區域之區域內之文件的特徵，取得第1整形影像I3，藉由縮小擷取特徵之區域，可使影像處理更高速化。
又，基於樣本影像中出現定型部分之區域內之文件之特徵、與捕獲影像中出現定型部分之區域內之文件之特徵，取得第1整形影像I3，藉由縮小擷取特徵之區域，可使影像處理更高速化。又，藉由利用該等區域內之文件之特徵，自特徵之擷取對象去除進行整形方面可靠性較低之區域，藉此，可提高影像處理之精度，可有效地去除文件之失真與扭曲。又，可藉由組合第1整形部102與第2整形部104之具有不同特徵之複數種整形機構，而有效地去除文件之失真與扭曲。例如，即便第2整形部104之第二段之整形僅可修正線性失真，亦可利用第1整形部102於第一段之整形中修正非線性失真，因此可藉由組合複數種整形機構，而補充第二段之修正。
又，藉由存在多種擷取運算法，且利用精度較高之模板匹配檢測特徵部分，可使影像處理更高速化且有效地提高影像處理之精度。
又，藉由自包含已知位置之區域內搜索特徵部分而非自第1整形影像I3之所有區域搜索特徵部分，縮小搜索特徵部分之區域，可使影像處理更高速化。
又，藉由利用複數個特徵部分而非僅利用1個特徵部分，可提高影像處理之精度，可有效地去除文件之失真與扭曲。
又，藉由利用配置於文件之端部附近之特徵部分，可提高影像處理之精度，可有效地去除文件之失真與扭曲。
又，藉由將文件之定型部分中之文字或記號用作特徵部分，無須於文件印刷特別之標識。
又，可藉由對第2整形影像I4執行光學文字辨識而自文件精度良好地擷取文字。
[2.實施形態2] 其次，說明影像處理系統S之另一實施形態。即便欲如實施形態1般利用特徵部分進行整形，但因文件之捕獲方法，有時受光反射或被其他之物體或陰影遮擋，導致特徵部分未被清晰地拍攝至捕獲影像I1上，而無法順利地進行整形。
圖15係表示捕獲影像I1之一例之圖。圖15之捕獲影像I1中，印刷於駕駛執照之左下之「JAPAN」之文字之一部分受光反射，而未完整地拍攝到「J」與「A」之文字，且「P」之文字亦拍得不清晰。由於該等3個文字中之「J」與「A」為模板影像T3所示之特徵部分，故無法檢測4個特徵部分中之1個，導致影像處理之精度降低。
因此，實施形態2之影像處理系統S中，於未將特徵部分清晰地拍攝至捕獲影像I1上之情形時，藉由自捕獲影像I1中搜索替代之特徵部分，而提高影像處理之精度。以下，說明實施形態2之影像處理系統S之細節。再者，實施形態2中，關於與實施形態1同樣之內容係省略說明。
[2-1.影像處理系統中實現之功能] 圖16係表示影像處理系統S中實現之功能之一例之功能方塊圖。如圖16所示，說明影像處理系統S中實現資料記憶部200、取得部201、第1檢測部202、搜索部203、第2檢測部204、整形部205及執行部206的情形。
[2-1-1.資料記憶部] 資料記憶部200與實施形態1中說明之資料記憶部100同樣。
[2-1-2.取得部] 取得部201與實施形態1中說明之取得部101同樣。
[2-1-3.第1檢測部] 第1檢測部202以控制部31為主而實現。第1檢測部202可與實施形態1之檢測部103同樣，基於捕獲影像I1檢測定型部分之特徵部分。特徵部分之涵義如實施形態1中所說明。實施形態2中，將存在特徵部分之特定位置記載為第1位置。即，第1位置意指文件中之特定部分之位置，而非攝影影像I1中出現特定部分之位置。第1位置為應存在特徵部分之位置，例如為樣本影像I2中出現特定部分之位置。實施形態1中記載為特定位置之部位可替換讀作實施形態2之第1位置。
與實施形態1同樣，特徵部分可僅為1個，但此處說明特徵部分為複數個之情形。因此，檢測部103檢測複數個特徵部分。複數個特徵部分之各者存在於自身所對應之第1位置。又，與實施形態1同樣，說明第1檢測部202自第1整形影像I3檢測特徵部分之情形，但實施形態2中，亦可省略實施形態1之第1整形部102之處理，且第1檢測部102可自捕獲影像I1檢測特徵部分。此外，例如，實施形態2中，可藉由操作者之操作手動對捕獲影像I1進行整形而取得第1整形影像I3，且第1檢測部202可自該手動整形後之第1整形影像I3檢測特徵部分。
[2-1-4.搜索部] 搜索部203以控制部31為主而實現。搜索部203於未檢測出特徵部分之情形時，基於捕獲影像I1搜索替代定型部分之特徵部分。
替代之特徵部分為用於取代未檢測出之特徵部分的特徵部分。特徵部分之涵義如實施形態1中所說明。替代之特徵部分可具有與未檢測出之特徵部分同樣之特徵，該等特徵亦可不特別相似。例如，於未檢測出「JA」之文字之特徵部分之情形時，可將形狀或尺寸相似之文字設為替代之特徵部分，亦可將形狀或尺寸不特別相似之文字設為替代之特徵部分。
替代之特徵部分為存在於文件之第2位置之特徵部分。第2位置只要為與第1位置不同之位置即可，可為基於第1位置決定之位置，亦可為與第1位置無特別關係之位置。本實施形態中，第2位置為第1位置附近之位置，且為距第1位置特定距離以內(例如，5厘米以內)之位置。若換作其他之說法，第2位置為包含第1位置之區域內之位置。再者，第2位置為文件中之替代之特定部分之位置，而非攝影影像I1中出現替代之特定部分之位置。第2位置為應存在替代之特徵部分之位置，例如為樣本影像I2中出現替代之特定部分之位置。
圖17係表示搜索替代之特徵部分之狀態之圖。如圖17所示，例如，搜索部203利用基於捕獲影像I1之直方圖H，搜索替代之特徵部分。直方圖H為表示每個像素值之頻度之統計資訊，例如，以將縱軸設為頻度，將橫軸設為像素值之曲線圖顯示。例如，搜索部203就每個像素值，計數特定區域內出現該像素值之像素數，並產生直方圖H。
搜索部203判定直方圖H之分佈是否表示特定之分佈，於表示特定之分佈之情形時，將產生直方圖H之區域決定為特徵部分。特定之分佈為表示作為影像具有特徵性之分佈，例如，可基於定型部分之直方圖而定。又，例如，僅背景色(例如白色)之區域不會成為特徵部分的特定之分佈可為表示非背景色之顏色(前景色)之像素值(例如黑色)之頻度表現出閾值以上之情況。
例如，替代之特徵部分可自影像整體搜索，但搜索部203亦可自基於第1位置確定之區域A2內搜索替代之特徵部分。基於第1位置確定之區域為包含第1位置之區域，且為距第1位置特定距離以內(例如5厘米以內)之區域A2。圖17之例中，由於未檢測出「JA」之特徵部分，故自包含該特徵部分之第1位置(即，駕駛執照之左下附近之位置)之區域A2中搜索替代之特徵部分。
本實施形態中，由於準備了複數個特徵部分，故搜索部203於至少1個特徵部分未被檢測出之情形時，搜索替代之特徵部分。再者，搜索部203可於未檢測出之特徵部分之數量為特定個數(例如2個)以上之情形時，搜索替代之特徵部分，於未檢測出之特徵部分之數量未達特定個數之情形時，不搜索替代之特徵部分。此外，例如，搜索部203亦可為只要存在1個未檢測出之特徵部分便搜索替代之特徵部分，若無未檢測出之特徵部分之數量則不搜索替代之特徵部分。
[2-1-5.第2檢測部] 第2檢測部204以控制部31為主而實現。第2檢測部204自樣本影像I2檢測替代之特徵部分。特徵部分之檢測方法本身可與實施形態1中說明之方法同樣，可應用各種物體檢測運算法。第2檢測部204自樣本影像I2中檢測與由搜索部203搜索出之替代之特徵部分相似之區域。
圖18係表示自樣本影像I2檢測替代之特徵部分之狀態之圖。如圖18所示，例如，第2檢測部204基於以由搜索部203搜索出之替代之特徵部分為模板影像T5之模板匹配，自樣本影像I2檢測替代之特徵部分。圖18之例中，由於將「NUMBER」項目名稱中之「N」及其附近之線作為替代之特徵部分搜索出來，故第2檢測部204檢測與該替代之特徵部分相似之區域。
再者，模板匹配之處理之細節如實施形態1中所說明，第2檢測部204於樣本影像I2內掃描與模板影像T5相同大小之窗口W，並基於框內之各像素之像素值與模板影像T5之各像素之像素值檢測替代之特徵部分。例如，第2檢測部204基於該等像素值之差計算相似度，判定於相似度為閾值以上之框內存在特徵部分。
例如，可自樣本影像I2整體中搜索特徵部分，但本實施形態中，第2檢測部204可自樣本影像I2中包含第1整形影像I3中搜索出替代之特徵部分之位置之區域A3之中，檢測替代之特徵部分。該區域A3可為任意之形狀及尺寸，圖18之例中，成為包含出現模板影像T5所示之｢N｣及其附近之線之位置的區域A3。由於模板影像T5表示於駕駛執照之左下附近搜索出之替代之特徵部分，故區域A3亦成為左下附近之區域。
[2-1-6.整形部] 整形部205以控制部31為主而實現。整形部205於檢測出特徵部分之情形時，以該特徵部分之位置對準特定之第1位置之方式，取得捕獲影像I1之整形影像。整形部205可執行與實施形態1之第1整形部102及第2整形部104同樣之處理。
圖19及圖20係表示實施形態2中取得整形影像之狀態之圖。如圖19所示，例如，整形部205以第1整形影像I3中之特徵部分之位置Q3接近樣本影像I2中之特徵部分之位置Q2之方式，對第1整形影像I3進行整形。
實施形態2中，與實施形態1同樣，由於存在複數個特徵部分，故整形部205以複數個特徵部分各者之位置Q3對準與該特徵部分對應之第1位置Q2之方式取得第2整形影像I4。例如，整形部205基於樣本影像I2中之特徵部分之第1位置Q2與第1整形影像I3中之特徵部分之位置Q3計算轉換矩陣。
轉換矩陣以第1整形影像I3中之特徵部分之位置Q3接近樣本影像I2中之特徵部分之位置Q2之方式計算。轉換矩陣之取得方法本身如實施形態1中說明者。如圖19所示，以連接第1整形影像I3中之各特徵部分與替代之特徵部分之四邊形(由Q3-1、Q3-2、Q3-4、Q3-5包圍而成之四邊形)之形狀接近連接樣本影像I2中之各特徵部分與替代之特徵部分之四邊形(由Q2-1、Q2-2、Q2-4、Q2-5包圍而成之四邊形)的方式，計算轉換矩陣。
整形部205基於轉換矩陣，對第1整形影像I3進行轉換而取得第2整形影像I4。如圖20所示，第2整形影像I4之駕駛執照之細微之失真與扭曲得以修正，成為與樣本影像I2之駕駛執照大致相同之形狀及朝向。即，連接第2整形影像I4之各特徵部分之四邊形(由Q4-1、Q4-2、Q4-4、Q4-5包圍而成之四邊形)形狀與連接樣本影像I2中之各特徵部分之四邊形(由Q2-1、Q2-2、Q2-4、Q2-5包圍而成之四邊形)相同或大致相同。第2整形影像I4成為易於進行光學文字辨識之狀態之影像。
再者，實施形態2中，與實施形態1同樣，已說明整形部205將第1整形影像I3進行整形而取得第2整形影像I4之情形，但可省略實施形態1之第1整形部102之處理，且整形部205對捕獲影像I1進行整形而取得整形影像。此外，例如，實施形態2中，可藉由操作者之操作手動對捕獲影像I1進行整形而取得第1整形影像I3，且整形部205可對該經手動整形之第1整形影像I3進行整形而取得第2整形影像I4。
如上所述，整形部205於未檢測出特徵部分之情形時，可以替代之特徵部分之位置對準特定之第2位置之方式取得整形影像。如上述所說明，不同之點僅在於取代未檢測出之特徵部分而使用替代之特徵部分，且整形方法如實施形態1所說明。
又，如上所述，整形部205於未檢測出特徵部分之情形時，可將樣本影像I2中之替代之特徵部分之位置作為第2位置取得，而取得整形影像。如上述所說明，不同之點僅在於使用替代之特徵部分，整形方法自身如實施形態1中所說明。又，例如，整形部205於至少1個特徵部分未被檢測出之情形時，可基於替代之特徵部分，取得整形影像。
[2-1-7.執行部] 執行部206以控制部31為主而實現。執行部206對整形影像執行光學文字辨識。執行部206之處理之細節與實施形態1中說明之執行部105同樣，光學文字辨識之運算法使用如實施形態1中說明之運算法即可。
圖21係表示藉由光學文字辨識擷取出之文字之一例之圖。如圖21所示，執行部206藉由對第2整形影像I4執行光學文字辨識而擷取出現於駕駛執照之非定型部分之資訊，且記錄於資料記憶部200。圖21之例中，執行部206擷取出現於駕駛執照之使用者之姓名、出生年月日、住址、發證日、有效日及執照編號等資訊，且記錄於資料記憶部200。再者，針對執行部105只要為與文件對應之資訊即可之點，亦與實施形態1相同。
[2-2.實施形態2中執行之處理] 圖22及圖23係表示影像處理系統S中執行之處理之一例之流程圖。圖22及圖23所示之處理係藉由控制部11根據記憶於記憶部12之程式進行動作、且控制部31根據記憶於記憶部32之程式進行動作而執行。下文說明之處理為藉由圖16所示之功能區塊執行之處理之一例。
如圖22所示，S21～S29之處理與實施形態1之S1～S9同樣。再者，如上所述，可省略S24～S27之處理，自捕獲影像I1而非第1整形影像I3檢測特徵部分。
於S29中執行模板匹配時，控制部31判定是否存在未被檢測出之特徵部分(S30)。S30中，控制部31就S28中取得之所有模板影像T，判定是否發現到類似度為閾值以上之區域。
於無未被檢測出之特徵部分之情形時(S30；N)，移行至S31之處理。S31之處理與實施形態1之S10同樣。於該情形時，由於所有之特徵部分皆被檢測出而無須搜索替代之特徵部分，故不執行S32～S35之處理。
另一方面，於存在未被檢測出之特徵部分之情形時(S30；Y)，移至圖23，控制部11基於未被檢測出之特徵部分之第1位置，設定要搜索替代之特徵部分之搜索區域(S32)。S32中，控制部11將包含未被檢測出之特徵部分之座標之區域A3設定為搜索區域。再者，搜索區域之尺寸及形狀為預先確定者。
控制部11就S32中設定之搜索區域內之每個小區域產生直方圖H，且搜索替代之特徵部分(S33)。S33中，控制部11判定就每個小區域產生之直方圖H是否表示特定之特徵。再者，小區域之尺寸及形狀為預先確定者。
控制部11自樣本影像I2檢測S33中搜索出之替代之特徵部分(S34)。S34中，控制部11將替代之特徵部分作為模板影像T，並執行模板匹配。
控制部11基於S29中特定出之特徵部分、S33中搜索出之替代之特徵部分、及S34中檢測出之替代之特徵部分，取得第2整形影像I4(S35)。S35中，控制部31計算如上所述之轉換矩陣，且基於該轉換矩陣對第1整形影像I3進行整形。整形後之影像成為第2整形影像I4。後續之S36～S37之處理與實施形態1之S11～S12同樣。
根據實施形態2之影像處理系統S，於特徵部分未被檢測出之情形時搜索替代之特徵部分，且取代未被檢測出之特徵部分而使用替代特徵部分，故即便特徵部分未被檢測出，亦可提高影像處理之精度。
又，自樣本影像I2檢測替代之特徵部分，且以符合樣本影像I2中之替代之特徵部分之位置之方式進行整形，藉此可提高影像處理之精度，可有效地去除失真與扭曲。
又，藉由使用基於捕獲影像I1之直方圖H搜索替代之特徵部分，可將更具特徵性之部分設為替代之特徵部分，可提高影像處理之精度。
又，藉由自基於存在特徵部分之第1位置而確定之區域內搜索替代之特徵部分，而縮小替代之特等部分之搜索區域，故可使影像處理高速化。
又，藉由使用複數個特徵部分而非僅使用1個特徵部分，可提高影像處理之精度，可有效地去除文件之失真與扭曲。
又，藉由將文件之定型部分中之文字或記號用作特徵部分，而無須於文件上印刷特別之標識。
又，藉由對第2整形影像I4執行光學文字辨識，可自文件精度良好地擷取文字。
[2-3.實施形態2之變化例] (1)例如，如實施形態2，基於由第1整形影像I3之特徵部分及替代之特徵部分之位置Q3包圍而成之四邊形、與由樣本影像I2之特徵部分及替代之特徵部分之位置Q4包圍而成之四邊形對第1整形影像I3進行整形之情形時，該等四邊形之面積較寬者之整形之精度變高。因此，於可能用作替代之特徵部分之部分存在複數個之情形時，可利用如四邊形變大之替代之特徵部分。
本變化例之搜索部203於僅檢測出複數個特徵部分中之一部分之情形時，可就未被檢測出之每個特徵部分，基於與檢測出之一部分特徵部分之位置關係，搜索替代之特徵部分。此處之位置關係為相對於檢測出之一部分特徵部分之相對位置。
例如，如實施形態2中所說明，於複數個特徵部分為3個以上之情形時，搜索部203可就未被檢測出之每個特徵部分，搜索替代之特徵部分之候補，並基於由該候補與檢測出之一部分特徵部分包圍之區域之尺寸，決定替代之特徵部分。替代之特徵部分之候補之搜索方法可與實施形態2中說明之替代之特徵部分之搜索方法相同，例如利用直方圖H而進行。
此處之區域為藉由連接替代之特徵部分之候補之位置、與檢測出之特徵部分之位置而形成之區域。區域之尺寸為區域之大小，例如，可為面積，亦可為區域內之像素數。此外，例如，可將區域之外切矩形之縱寬與橫寬之合計值設為區域之尺寸，亦可將外切矩形之面積設為區域之尺寸。
圖24係說明實施形態2之變化例(1)中之處理之說明圖。圖24之例中，與實施形態2中說明之例同樣，模板影像T1、T2、T4所示之特徵部分(左上、右上、右下之特徵部分)被檢測出，模板影像T3所示之特徵部分(左下之特徵部分)未被檢測出。
搜索部203搜索替代之特徵部分，結果，替代之特徵部分之候補存在3個。圖24中，以Q3-5～Q3-7之符號表示該等3個候補位置。由於該等3個候補中與檢測出之特徵部分之位置Q3-1、Q3-2、Q3-4包圍之區域之尺寸最大者為位置Q3-5，故可將該部分用作替代之特徵部分。
例如，搜索部203就替代之特徵部分之每個候補，計算與檢測出之一部分特徵部分間包圍之區域之尺寸，並將尺寸最大之候補決定為替代之特徵部分。若換作其他之說法，則搜索部203於發現複數個候補之情形時，將與檢測出之一部分特徵部分間包圍之區域之尺寸最大者決定為影像處理中利用之替代之特徵部分。即，搜索部203以成為尺寸最大之組合之方式決定特徵部分與替代之特徵部分之組合。再者，搜索部203可於發現尺寸變為閾值以上之候補之時點而非發現尺寸最大之候補之時點結束搜索。
又，例如，搜索部203可基於檢測出之一部分特徵部分與替代之特徵部分之候補的距離而非區域尺寸來搜索替代之特徵部分。此處之距離可為例如上述區域之外周，亦可為檢測出之一部分特徵部分之位置與替代之特徵部分之候補之位置之距離的合計值。例如，搜索部203於發現複數個候補之情形時，可將與檢測出之一部分特徵部分之距離變為最大者決定為影像處理中利用之替代之特徵部分。若換作其他之說法，則搜索部203以成為距離最大之組合之方式決定特徵部分與替代之特徵部分之組合。
根據變化例(1)，基於與檢測出之一部分特徵部分之位置關係，搜索替代之特徵部分，藉由利用適於影像處理之替代之特徵部分，可提高影像處理之精度，可有效地去除失真與扭曲。
又，於基於區域之尺寸決定替代之特徵部分之情形時，發現最適合用於去除失真與扭曲之替代之特徵部分之概率提高，因此可更提高影像處理之精度，更有效地去除失真與扭曲。
(2)又，例如，變化例(1)中，列舉1個特徵部分未被檢測出之情形為例，但於2個以上之特徵部分未被檢測出之情形時亦同樣，搜索部203可基於與檢測出之特徵部分之位置關係，搜索替代之特徵部分。於該情形時，搜索複數個替代之特徵部分，但亦可搜索如四邊形變大之組合之替代之特徵部分。
本變化例之搜索部203於未檢測出複數個特徵部分之情形時，可就未檢測出之每個特徵部分，基於與其他之替代之特徵部分之位置關係，搜索替代之特徵部分。此處之位置關係為相對於其他之替代之特徵部分之相對位置。
例如，複數個特徵部分為3個以上之情形時，搜索部203就未檢測出之每個特徵部分，搜索替代之特徵部分之候補，並基於由未檢測出之複數個特徵部分之各者之候補包圍之區域之尺寸，決定替代之特徵部分。候補之搜索方法如變化例(1)所說明。
此處之區域於檢測出至少1個特徵部分之情形時，為藉由連接複數個候補各者之位置與該檢測出之特徵部分之位置而形成之區域。另一方面，於特徵部分1個都未被檢測出之情形時，為藉由連接複數個候補各者之位置而形成之區域。區域之尺寸之涵義如變化例(1)所說明。
圖25係實施形態2之變化例(2)中之處理之說明圖。圖24之例中，模板影像T2、T4所示之特徵部分(右上、右下之特徵部分)被檢測出，模板影像T1、T3所示之特徵部分(左上、左下之特徵部分)未被檢測出。
搜索部203搜索替代之特徵部分，結果，模板影像T1所示之左上之替代之特徵部分之候補存在2個。圖24中，以Q3-8、Q3-9之符號表示該等2個候補位置。又，搜索部203搜索替代之特徵部分，結果，模板影像T3所示之左下之替代之特徵部分之候補存在3個。圖24中，以Q3-10～Q3-12之符號表示該等3個候補位置。由於該等中與檢測出之特徵部分之位置Q3-2、Q3-4包圍之區域之尺寸最大者為位置Q3-8、Q3-10之組合，故可將該組合用作替代之特徵部分。
例如，搜索部203基於由其他之替代之特徵部分包圍之區域之尺寸，搜索替代之特徵部分。例如，搜索部203於發現複數個候補之情形時，將與其他之候補間包圍之區域之尺寸最大者決定為影像處理中利用之替代之特徵部分。若換作其他之說法，則搜索部203以成為尺寸最大之組合之方式決定替代之特徵部分之組合。再者，搜索部203可於發現尺寸變為閾值以上之候補之時點而非發現尺寸為最大之候補之時點結束搜索。
又，例如，搜索部203可基於與其他之替代之特徵部分之距離而非區域尺寸來搜索替代之特徵部分。此處之距離可為例如上述區域之外周，亦可為各候補間之距離之合計值。例如，搜索部203於發現複數個候補之情形時，可將與其他之替代之特徵部分之候補之距離變為最大者決定為影像處理中利用之替代之特徵部分。若換作其他之說法，則搜索部203以成為距離最大之組合之方式決定替代之特徵部分之組合。
根據變化例(2)，基於與其他之替代之特徵部分之位置關係，搜索替代之特徵部分，藉由利用更適於影像處理之替代之特徵部分，而可提高影像處理之精度，且有效地去除失真與扭曲。
又，於基於區域之尺寸決定替代之特徵部分之情形時，發現最適合用於去除失真與扭曲之替代之特徵部分之概率提高，因此可更提高影像處理之精度，可更有效地去除失真與扭曲。
(3)又，例如，實施形態2中，自第1整形影像I3中動態地搜索替代之特徵部分，但亦可預先決定將定型部分中之哪個部分用作替代之特徵部分。於該情形時，資料記憶部200可預先記憶表示替代之特徵部分之資料。例如，可將替代之特徵部分即第2位置亦儲存於該資料。搜索部203搜索預先確定之替代之特徵部分。於該情形時，可就1個特徵部分確定複數個替代之特徵部分。於該情形時，越處於端部者優先度越高，可按照優先度自高到低之順序，判定可否檢測替代之特徵部分。
若列舉圖7之模板影像為例，則於模板影像T1所示之左上之特徵部分即「DR」未被檢測出之情形時，作為替代之特徵部分，可定為位於其右之「IV」文字或位於其下之「NA」文字。又，於模板影像T2所示之右上之特徵部分即日本國旗未被檢測出之情形時，作為替代之特徵部分，可定為位於其左之「SE」之文字。
又，於模板影像T3所示之左下之特徵部分即「JA」未被檢測出之情形時，作為替代之特徵部分，可定為位於其右之「PA」文字或位於其上之「NU」文字。又，於模板影像T4所示之右下之特徵部分即「on」未被檢測出之情形時，作為替代之特徵部分，可定為位於其左之「si」文字或位於左上之「an」文字。
本變化例中，例如，搜索部203自第1整形影像I3中，搜索預先確定之替代之特徵部分。該搜索方法可與特徵部分之檢測方法同樣，例如只要利用物體檢測運算法即可。例如，可與特徵部分同樣，預先準備表示替代之特徵部分之模板影像，搜索部203對第1整形影像I3執行基於模板影像之模板匹配。
本變化例中，由於替代之特徵部分之位置預先已知，故本變化例中，可省略第2檢測部204。與實施形態1-2中說明之樣本影像資料庫同樣，替代之特徵部分之位置(第2位置)只要預先記憶於資料記憶部200即可。整形部205基於樣本影像I1中之特徵部分及替代之特徵部分之位置、與第1整形影像I3中之特徵部分及替代之特徵部分之位置，對第1整形影像I3進行整形即可。該處理之細節如實施形態2中所說明。
根據變化例(3)，藉由預先確定而非動態地決定替代之特徵部分，故可將搜索替代之特徵部分之處理簡化，而使影像處理高速化。例如，由於可藉由預先確定替代之特徵部分，而如實施形態2，省略計算直方圖之處理，或省略自樣本影像I2特定出第2位置之處理，故可使影像處理更高速化。
[3.其他之變化例] 再者，本發明並非限定於以上說明之實施形態者。於不脫離本發明主旨之範圍內，可適當變更。
例如，實施形態1-2中，已說明對第2整形影像I4執行光學文字辨識之情形，但對整形後之影像之處理不限定於光學文字辨識。例如，實施形態1之執行部105可不對第2整形影像I4特別實施影像處理，而將其記錄於資料記憶部100，同樣地，實施形態2之執行部206可不對第2整形影像I4特別實施影像處理，而將第2整形影像I4記錄於資料記憶部200。如此，可為了僅去除失真與扭曲而非特別地進行光學文字辨識而利用本發明之處理。此外，例如，實施形態1之執行部105可自第2整形影像I4擷取面部照片，同樣地，實施形態2之執行部206可自第2整形影像I4擷取面部照片。面部照片之區域只要基於樣本影像I2預先確定即可。
又，例如，實施形態1-2中，已說明伺服器30中執行主要之處理之情形，但作為伺服器30中執行者說明之處理亦可於使用者終端10中執行。例如，實施形態1中，可以使用者終端10實現取得部101、第1整形部102、檢測部103、第2整形部104及執行部105。於該情形時，該等各功能可以控制部11為主而實現，使用者終端10可自伺服器30取得樣本影像資料庫之內容。又，例如，取得部101、第1整形部102、檢測部103、第2整形部104、及執行部105之各者可由使用者終端10與伺服器30分擔。
又，例如，實施形態2中，可以使用者終端10實現取得部201、第1整形部202、搜索部203、第2整形部204、整形部205及執行部206。於該情形時，該等各功能可以控制部11為主而實現，使用者終端10可自伺服器30取得樣本影像資料庫之內容。又，例如，取得部201、第1整形部202、搜索部203、第2檢測部204、整形部205、及執行部206之各者可由使用者終端10與伺服器30分擔。
10:使用者終端 11:控制部 12:記憶部 13:通信部 14:操作部 15:顯示部 16:攝影裝置 20:影像讀取裝置 30:伺服器 31:控制部 32:記憶部 33:通信部 100:資料記憶部 101:取得部 102:第1整形部 103:檢測部 104:第2整形部 105:執行部 200:資料記憶部 201:取得部 202:第1檢測部 204:第2檢測部 203:搜索部 205:整形部 206:執行部 A1:區域 A2:區域 A3:區域 H:直方圖 I1:捕獲影像 I2:樣本影像 I3:第1整形影像 I4:第2整形影像 P1-1～P1-7:特徵點 P2-1～P2-7:特徵點 Q2-1～Q2-5:位置 Q3-1～Q3-11:位置 Q4-1～Q4-5:位置 S:影像處理系統 S1～S12:步驟 S21～S37:步驟 T1 ～T5:模板影像 W:窗口
圖1係表示影像處理系統之整體構成之圖。 圖2係表示捕獲駕駛執照之狀態之圖。 圖3係表示捕獲影像之一例之圖。 圖4係表示影像處理系統中實現之功能之一例之功能方塊圖。 圖5係表示樣本影像之一例之圖。 圖6係表示樣本影像資料庫之資料儲存例之圖。 圖7係表示儲存於樣本影像資料庫之模板影像之一例的圖。 圖8係表示將捕獲影像整形後之狀態之圖。 圖9係表示將捕獲影像整形後之狀態之圖。 圖10係表示模板匹配之一例之圖。 圖11係表示第2整形部之處理內容之圖。 圖12係表示第2整形部之處理內容之圖。 圖13係表示藉由光學文字辨識擷取之文字之一例的圖。 圖14係表示影像處理系統中執行之處理之一例的流程圖。 圖15係表示捕獲影像之一例之圖。 圖16係表示影像處理系統中實現之功能之一例的功能方塊圖。 圖17係表示搜索替代之特徵部分之狀態之圖。 圖18係表示自樣本影像檢測替代之特徵部分之狀態之圖。 圖19係表示實施形態2中取得整形影像之狀態之圖。 圖20係表示實施形態2中取得整形影像之狀態之圖。 圖21係表示藉由光學文字辨識擷取之文字之一例的圖。 圖22係表示影像處理系統中執行之處理之一例的流程圖。 圖23係表示影像處理系統中執行之處理之一例的流程圖。 圖24係實施形態2之變化例(1)中之處理之說明圖。 圖25係實施形態2之變化例(2)中之處理之說明圖。
100:資料記憶部
101:取得部
102:第1整形部
103:檢測部
104:第2整形部
105:執行部

Claims (12)

  1. 一種影像處理系統，其特徵在於包含： 取得機構，其取得藉由影像讀取裝置或攝影裝置捕獲之包含定型部分與非定型部分之文件的捕獲影像； 第1整形機構，其基於樣本影像中之上述文件之特徵、與上述捕獲影像中之上述文件之特徵，對上述捕獲影像進行整形而取得第1整形影像； 檢測機構，其自上述第1整形影像檢測上述定型部分之特徵部分；及 第2整形機構，其以由上述檢測機構檢測出之特徵部分之位置關係符合指定之位置關係之方式，對上述第1整形影像進行整形而取得第2整形影像。
  2. 如請求項1之影像處理系統，其中 上述第1整形機構基於自上述樣本影像擷取出之上述文件之特徵點群、與自上述捕獲影像擷取出之上述文件之特徵點群，取得上述第1整形影像。
  3. 如請求項1或2之影像處理系統，其中 上述第1整形機構基於上述樣本影像中之指定區域內之上述文件之特徵、與上述捕獲影像中之與上述指定區域對應之區域內之上述文件之特徵，取得上述第1整形影像。
  4. 如請求項3之影像處理系統，其中 上述指定區域為上述樣本影像中出現上述定型部分之區域。
  5. 如請求項1或2之影像處理系統，其中 上述檢測機構基於以上述樣本影像中之上述特徵部分為模板影像之模板匹配，自上述第1整形影像檢測上述特徵部分。
  6. 如請求項1或2之影像處理系統，其中 上述檢測機構自上述第1整形影像中包含指定位置之區域之中，檢測上述特徵部分。
  7. 如請求項1或2之影像處理系統，其中 上述檢測機構檢測複數個特徵部分， 上述第2整形機構以上述複數個特徵部分各者之位置關係符合與該特徵部分對應之指定之位置關係之方式，對上述第1整形影像進行整形而取得第2整形影像。
  8. 如請求項7之影像處理系統，其中 上述複數個特徵部分各者配置於上述文件之端部附近。
  9. 如請求項1或2之影像處理系統，其中 上述特徵部分為上述定型部分中之文字或記號。
  10. 如請求項1或2之影像處理系統，其中 上述影像處理系統進而包含對上述第2整形影像執行光學文字辨識的執行機構。
  11. 一種影像處理方法，其特徵在於包含： 取得步驟，其取得藉由影像讀取裝置或攝影裝置捕獲之包含定型部分與非定型部分之文件的捕獲影像； 第1整形步驟，其基於樣本影像中之上述文件之特徵、與上述捕獲影像中之上述文件之特徵，對上述捕獲影像進行整形而取得第1整形影像； 檢測步驟，其自上述第1整形影像檢測上述定型部分之特徵部分；及 第2整形步驟，其以由上述檢測步驟檢測出之特徵部分之位置關係符合指定之位置關係之方式，對上述第1整形影像進行整形而取得第2整形影像。
  12. 一種程式產品，其用以使電腦作為以下機構發揮功能： 取得機構，其取得藉由影像讀取裝置或攝影裝置捕獲之包含定型部分與非定型部分之文件的捕獲影像； 第1整形機構，其基於樣本影像中之上述文件之特徵、與上述捕獲影像中之上述文件之特徵，對上述捕獲影像進行整形而取得第1整形影像； 檢測機構，其自上述第1整形影像檢測上述定型部分之特徵部分；及 第2整形機構，其以由上述檢測機構檢測出之特徵部分之位置關係符合指定之位置關係之方式，對上述第1整形影像進行整形而取得第2整形影像。
TW108123411A 2018-07-06 2019-07-03 影像處理系統、影像處理方法及程式產品 TWI725465B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/025719 WO2020008628A1 (ja) 2018-07-06 2018-07-06 画像処理システム、画像処理方法、及びプログラム
WOPCT/JP2018/025719 2018-07-06

Publications (2)

Publication Number Publication Date
TW202013239A TW202013239A (zh) 2020-04-01
TWI725465B true TWI725465B (zh) 2021-04-21

Family

ID=67909564

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108123411A TWI725465B (zh) 2018-07-06 2019-07-03 影像處理系統、影像處理方法及程式產品

Country Status (5)

Country Link
US (1) US20210209393A1 (zh)
EP (1) EP3786844A4 (zh)
JP (1) JP6574920B1 (zh)
TW (1) TWI725465B (zh)
WO (1) WO2020008628A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7478628B2 (ja) 2020-09-08 2024-05-07 株式会社Pfu 画像処理装置、制御方法及び制御プログラム
JP7019007B1 (ja) * 2020-09-28 2022-02-14 楽天グループ株式会社 照合システム、照合方法及びプログラム
WO2023007631A1 (ja) * 2021-07-28 2023-02-02 楽天グループ株式会社 画像処理システム、画像処理方法、及びプログラム
WO2023007632A1 (ja) 2021-07-28 2023-02-02 楽天グループ株式会社 画像処理システム、画像処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679638A (zh) * 2013-12-25 2014-03-26 广州广电运通金融电子股份有限公司 残缺或变形的四边形图像的校正方法
US20150281519A1 (en) * 2014-03-31 2015-10-01 Brother Kogyo Kabushiki Kaisha Image processing apparatus configured to execute correction on scanned image
CN106295638A (zh) * 2016-07-29 2017-01-04 北京小米移动软件有限公司 证件图像倾斜校正方法和装置
TW201801603A (zh) * 2016-06-16 2018-01-01 Ｄｅ＆Ｔ股份有限公司 加工位置校正裝置及其方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4329226B2 (ja) 1999-04-26 2009-09-09 沖電気工業株式会社 基準マーク検出方法、基準マーク検出装置及び光学式文字読取装置
JP2001229341A (ja) * 2000-02-14 2001-08-24 Mitsubishi Electric Corp 文字認識装置及び文字認識方法
JP4919028B2 (ja) * 2006-03-03 2012-04-18 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
US20080025555A1 (en) * 2006-07-31 2008-01-31 Canadian Bank Note Company, Limited Method and apparatus for comparing document features using pattern recognition
JP4958497B2 (ja) * 2006-08-07 2012-06-20 キヤノン株式会社 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体
US9672510B2 (en) * 2008-01-18 2017-06-06 Mitek Systems, Inc. Systems and methods for automatic image capture and processing of documents on a mobile device
JP4926116B2 (ja) * 2008-04-16 2012-05-09 株式会社日立ハイテクノロジーズ 画像検査装置
JP4772894B2 (ja) * 2009-08-03 2011-09-14 シャープ株式会社 画像出力装置、携帯端末装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP5568277B2 (ja) * 2009-10-22 2014-08-06 株式会社日立ハイテクノロジーズ パターンマッチング方法、及びパターンマッチング装置
JP2012098984A (ja) * 2010-11-04 2012-05-24 Nomura Research Institute Ltd 帳票データ補正方法および帳票データ補正プログラム
JP2013080326A (ja) * 2011-10-03 2013-05-02 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9977978B2 (en) * 2011-11-14 2018-05-22 San Diego State University Research Foundation Image station matching, preprocessing, spatial registration and change detection with multi-temporal remotely-sensed imagery
JP5951367B2 (ja) * 2012-01-17 2016-07-13 シャープ株式会社 撮像装置、撮像画像処理システム、プログラムおよび記録媒体
US10127636B2 (en) * 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
JP6187323B2 (ja) * 2014-03-05 2017-08-30 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP6264965B2 (ja) * 2014-03-14 2018-01-24 オムロン株式会社 画像処理装置、画像処理方法、画像処理プログラム
RU2651144C2 (ru) * 2014-03-31 2018-04-18 Общество с ограниченной ответственностью "Аби Девелопмент" Ввод данных с изображений документов с фиксированной структурой
CN105095900B (zh) * 2014-05-04 2020-12-08 斑马智行网络(香港)有限公司 一种提取标准卡片中特定信息的方法和装置
JP6371662B2 (ja) * 2014-10-07 2018-08-08 富士通フロンテック株式会社 文字認識支援装置、文字認識支援プログラム及び文字認識支援方法
US10007825B2 (en) * 2014-12-29 2018-06-26 Automotive Research & Testing Center Positioning system using triangulation positioning based on three pixel positions, a focal length and the two-dimensional coordinates
US10169882B1 (en) * 2015-09-11 2019-01-01 WinguMD, Inc. Object size detection with mobile device captured photo
JP6348093B2 (ja) * 2015-11-06 2018-06-27 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法
US10417489B2 (en) * 2015-11-19 2019-09-17 Captricity, Inc. Aligning grid lines of a table in an image of a filled-out paper form with grid lines of a reference table in an image of a template of the filled-out paper form
EP3722746A1 (en) * 2015-12-18 2020-10-14 Sony Corporation Image processing apparatus and method, data, and recording medium
US10096132B2 (en) * 2016-01-27 2018-10-09 Samsung Electronics Co., Ltd. Method and apparatus for positioning feature point
TWI667530B (zh) * 2017-09-28 2019-08-01 日商紐富來科技股份有限公司 Inspection method and inspection device
KR102466998B1 (ko) * 2018-02-09 2022-11-14 삼성전자주식회사 영상 융합 방법 및 장치
JP6574921B1 (ja) * 2018-07-06 2019-09-11 楽天株式会社 画像処理システム、画像処理方法、及びプログラム
JP7019007B1 (ja) * 2020-09-28 2022-02-14 楽天グループ株式会社 照合システム、照合方法及びプログラム
JP7225194B2 (ja) * 2020-12-28 2023-02-20 楽天グループ株式会社 画像フレーム抽出装置、画像フレーム抽出方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679638A (zh) * 2013-12-25 2014-03-26 广州广电运通金融电子股份有限公司 残缺或变形的四边形图像的校正方法
US20150281519A1 (en) * 2014-03-31 2015-10-01 Brother Kogyo Kabushiki Kaisha Image processing apparatus configured to execute correction on scanned image
TW201801603A (zh) * 2016-06-16 2018-01-01 Ｄｅ＆Ｔ股份有限公司 加工位置校正裝置及其方法
CN106295638A (zh) * 2016-07-29 2017-01-04 北京小米移动软件有限公司 证件图像倾斜校正方法和装置

Also Published As

Publication number Publication date
US20210209393A1 (en) 2021-07-08
JPWO2020008628A1 (ja) 2020-07-16
EP3786844A4 (en) 2021-05-05
JP6574920B1 (ja) 2019-09-11
EP3786844A1 (en) 2021-03-03
WO2020008628A1 (ja) 2020-01-09
TW202013239A (zh) 2020-04-01

Similar Documents

Publication Publication Date Title
TWI725465B (zh) 影像處理系統、影像處理方法及程式產品
TWI751426B (zh) 影像處理系統、影像處理方法及程式產品
Erol et al. HOTPAPER: multimedia interaction with paper using mobile phones
JP6569532B2 (ja) 管理システム、リスト作成装置、リスト作成方法、管理方法及び管理用プログラム
JP2011130439A (ja) 画像比較および文書認証のための画像位置合わせの方法
JP6344389B2 (ja) 光学文字認識装置
Bukhari et al. The IUPR dataset of camera-captured document images
JP2007081458A (ja) 画像処理装置および画像処理装置の制御方法
TWI820433B (zh) 對照系統、對照方法及資訊記錄媒體
US8605297B2 (en) Method of scanning to a field that covers a delimited area of a document repeatedly
US9818028B2 (en) Information processing apparatus for obtaining a degree of similarity between elements
JP4859061B2 (ja) 画像の補正方法、補正プログラムおよび画像歪み補正装置
JP2021060629A (ja) 設問生成装置、設問生成方法、設問生成装置用プログラム、および、書類管理システム
JP5998090B2 (ja) 画像照合装置、画像照合方法、画像照合プログラム
JP4798296B1 (ja) 帳票
Amerini et al. Copy-move forgery detection from printed images
JP2019032645A (ja) 書類管理装置、書類管理方法、および、書類管理装置用のプログラム
TW202203087A (zh) 契約簽名鑑別方法及其裝置
JP4309881B2 (ja) 身分証認識装置及び身分証認識方法
JP2020113240A (ja) ファイル生成装置、ファイル生成方法、ファイル生成装置用プログラム、および、ファイル生成システム
JP7137171B1 (ja) 画像処理システム、画像処理方法、及びプログラム
JP7212207B1 (ja) 画像処理システム、画像処理方法、及びプログラム
JP2018067096A (ja) 文字認識装置及び文字認識方法
TWI612480B (zh) 文字影像辨識系統及操作文字影像辨識系統的方法
Basu et al. Automatic perspective rectification of documents photographed with a camera