TWI855370B - 基於街景圖像識別的商戶真實性驗證系統、方法、電腦可讀媒體及電腦設備 - Google Patents
基於街景圖像識別的商戶真實性驗證系統、方法、電腦可讀媒體及電腦設備 Download PDFInfo
- Publication number
- TWI855370B TWI855370B TW111132773A TW111132773A TWI855370B TW I855370 B TWI855370 B TW I855370B TW 111132773 A TW111132773 A TW 111132773A TW 111132773 A TW111132773 A TW 111132773A TW I855370 B TWI855370 B TW I855370B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- merchant
- street view
- view image
- matching
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000012795 verification Methods 0.000 title claims abstract description 73
- 238000013519 translation Methods 0.000 claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims description 77
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Abstract
本發明涉及商戶真實性驗證系統及其方法。該系統包括：街景漫遊模組，計算用於平移圖像採集點的座標位置平移比例尺以及基於平移比例尺計算圖像採集點的座標位置，與街景圖像系統進行交互以根據圖像採集點的座標位置獲得對應的街景圖像；圖像比對模組，將獲得的商戶門頭圖像與街景漫遊模組獲得的街景圖像進行匹配以計算商戶圖像相似度；以及文字識別模組，用於從街景漫遊模組獲得的街景圖像中識別出商戶名稱；文本比對模組，用於識別出的商戶名稱與從商戶資訊平臺獲取的商戶名稱進行匹配以計算商戶名稱相似度，判斷是否達到規定閾值，在判斷商戶名稱相似度達到規定閾值的情況下，則商戶真實性驗證成功。根據本發明，能夠提高商戶驗證的準確率。
Description
本發明涉及電腦技術，具體地涉及一種基於街景圖像識別的商戶真實性驗證系統及基於街景圖像識別的商戶真實性驗證方法。
為了獲取真實商戶資訊，目前是通過建設統一的商戶資訊平臺，並實現接入商戶的資訊規整，但在具體構建過程中存在以下問題：在商戶進行註冊的商戶資訊平臺上存在商戶資訊和經營資訊混用，資訊上送過程中的漏報、錯報等情況。而且，由於商戶搬遷、倒閉等經營狀況改變的情況發生，商戶資訊和實際可能存在差異；商戶入網時上傳的商戶門頭照片可能被PS或偽造的情況；以及商戶上傳的商戶門頭照與其登記的具體位置不一致，
有可能根本不在同一區域。
因此，考慮到以上問題，迫切需要有效的商戶驗真手段來進行商戶資料清洗。而為了驗證商戶的真實性，在現有技術中已有的方法是，例如由人工地推檢查的驗證方式、結合搜尋引擎和自然語言處理技術的驗證方式。
其中，人工地推檢查的驗證方式進行商戶驗真準確率雖然最高，但驗真效率低，驗證成本極高。
另一方面，結合搜尋引擎和自然語言處理技術進行商戶驗真，當輸入某一地址或經緯度進行商戶名稱搜索時，會返回該位置周邊的多個商戶的商戶名稱，這種情況下，也會存在一定的問題，例如：同一區域同名商戶無法進行區分，且在商戶位址填寫錯誤的情況下，商戶資訊無法進行驗證。
鑒於上述問題，本發明旨在提供一種無需人工參與並且能夠提高準確率的商戶真實性驗證系統及基於街景圖像識別的商戶真實性驗證方法。
本發明一方面的商戶真實性驗證方法，其特徵在於，該方法基於商戶資訊平臺提供的商戶位置、商戶名稱以及商戶門頭圖像與街景圖像系統提供的街景圖像對於商戶的真實性進行驗證，該
方法包括以下步驟：基於給定的基準圖像計算平移比例尺，其中，所述平移比例尺用於平移圖像採集點的座標位置；基於從商戶資訊平臺獲取的商戶位置資訊從街景圖像系統獲得對應於該商戶位置資訊的第一街景圖像，將從商戶資訊平臺獲取的商戶門頭圖像與所述第一街景圖像進行特徵點匹配並且按照所述平移比例尺將所述第一街景圖像沿道路方向平移以獲得圖像採集點的座標位置；根據所述圖像採集點的座標位置從街景圖像系統中獲取對應於該圖像採集點的座標位置的第二街景圖像；從所述第二街景圖像中截取部分圖像以獲得第三街景圖像；將從商戶資訊平臺獲得的商戶門頭圖像與所述第三街景圖像進行特徵點匹配以計算商戶圖像相似度，判斷所述商戶圖像相似度是否達到規定閾值，在判斷商戶圖像相似度達到規定閾值的情況下繼續下述步驟；以及從所述第三街景圖像中識別出商戶名稱並與從商戶資訊平臺獲取的商戶名稱進行匹配以計算商戶名稱相似度，判斷所述商戶名稱相似度是否達到規定閾值，在判斷商戶名稱相似度達到規定閾值的情況下，則商戶真實性驗證成功。
可選地，所述基於給定的基準圖像計算平移比例尺包括：給定兩幅基準圖像I1和基準圖像I2，其中，基準圖像I1和基準圖像I2中包含校準點A；以及基準圖像I1的拍攝座標位置為(x1，y1)，基準圖像I2的拍攝座標位置為(x2，y2)，其中，x2>x1，校準點A在所述基準圖像I1和所述基準圖像I2中的水準座標分別為p1和p2，則平移比例
尺為
。
可選地，在基於給定的基準圖像計算平移比例尺之前進一步包括：根據從商戶資訊平臺獲取的商戶位置資訊，得到對應於該商戶位置資訊的圖像採集點的搜索範圍。
可選地，在將所述第一街景圖像沿道路方向平移以獲得圖像採集點的座標位置之前，進一步判斷該圖像採集點的座標位置是否在所述圖像採集點的搜索範圍內，若判斷為在所述圖像採集點的搜索範圍內則繼續後續步驟，否則停止後續步驟。
可選地，所述得到對應於該商戶位置資訊的圖像採集點的搜索範圍包括：根據從商戶資訊平臺獲取的商戶位置資訊從商戶資訊平臺獲取該商戶位置資訊對應的經緯度範圍以及商戶列表C{(cxi，
cyi)}，則所述搜索範圍表示為：(min(cxi)，min(cyi))至(max(cxi)，max(cyi))之間。
可選地，將從商戶資訊平臺獲取的商戶門頭圖像與所述第一街景圖像進行特徵點匹配並且按照所述平移比例尺將所述第一街景圖像沿道路方向平移以獲得圖像採集點的座標位置，包括：所述第一街景圖像的拍攝位置為(sx，sy)；通過規定特徵匹配演算法獲取所述商戶門頭圖像和所述第一街景圖像中的匹配特徵點集合P={p1，p2，...，pn}，其中pi為匹配特徵點的橫坐標；若匹配特徵點集合P中特徵點數n大於閾值m，則計算所述商戶門頭圖像的中心位置f與匹配特徵點集合P中各差值的均值L，若n小於閾值m，則L設置為最小移動距離l；以及圖像採集點的座標位置為N，N為(sx+Lkcos(t)，sy+kLsin(t))，其中，k為所述平移比例尺，t為街道方向與經度線的夾角，夾角t用下式表示：t=argtan((mean(cxi)-min(cxi))/(mean(cyi)-
min(cyi)))。
可選地，所述規定特徵匹配演算法包括以下的任意一種：SIFT演算法、SURF演算法、SIFT演算法、ORB演算法、FAST演算法、Harri演算法。
可選地，從所述第二街景圖像中截取部分圖像以獲得第三街景圖像包括：通過規定特徵匹配演算法獲取所述商戶門頭圖像和所述第二街景圖像中的匹配特徵點集合Q={(qx1，qy1)，(qx2，qy2)，...，(qxn，qyn)}，其中(qxi，qyi)為匹配特徵點的橫縱坐標；以及從所述第二街景圖像中採用以下方式截取部分圖像以獲得所述第三街景圖像：以使得所述第三街景圖像的左上和右下座標為{(min(qxi)-a,min(qyi)-a),(max(qxi)+a,max(qyi)+a)}，其中，a為圖元距離，取值範圍為10~100。
可選地，所述規定特徵匹配演算法包括以下的任意一種：SIFT演算法、SURF演算法、SIFT演算法、ORB演算法、FAST演算法、Harri演算法。
可選地，所述計算商戶圖像相似度採用以下任意一種匹配方式：基於圖像灰度的匹配方式、基於特徵的匹配方式、基於模型的匹配方式以及基於變換域的匹配方式。
可選地，所述計算商戶名稱相似度採用以下任意一種比對方式：基於字串的文本相似度計算方式、基於語料庫的文本相似度計算方式、以及基於世界知識的文本相似度計算方式。
本發明一方面的商戶真實性驗證系統，其特徵在於，該系統基於商戶資訊平臺提供的商戶位置、商戶名稱以及商戶門頭圖像與街景圖像系統提供的街景圖像對於商戶的真實性進行驗證，該系統包括：街景漫遊模組，從商戶資訊平臺獲得商戶位置、商戶名稱以及商戶門頭圖像，計算用於平移圖像採集點的座標位置平移比例尺以及基於所述平移比例尺計算移動街景圖像而獲得的圖像採集點的座標位置，與街景圖像系統進行交互以根據圖像採集點的座標位置獲得對應的街景圖像；圖像比對模組，將從商戶資訊平臺獲得的商戶門頭圖像與所述街景漫遊模組獲得的街景圖像進行匹配以計算商戶圖像相似度，並判斷所述商戶圖像相似度是否達到規定閾值；以及
文字識別模組，用於從所述街景漫遊模組獲得的街景圖像中識別出商戶名稱；文本比對模組，用於將所述文字識別模組識別出的商戶名稱與從商戶資訊平臺獲取的商戶名稱進行匹配以計算商戶名稱相似度，判斷所述商戶名稱相似度是否達到規定閾值，在判斷商戶名稱相似度達到規定閾值的情況下，則商戶真實性驗證成功。
可選地，所述街景漫遊模組從商戶資訊平臺獲取商戶位置、商戶名稱以及商戶門頭圖像，基於給定的基準圖像計算平移比例尺，基於從商戶資訊平臺獲取的商戶位置資訊從街景圖像系統獲得對應於該商戶位置資訊的第一街景圖像，基於從商戶資訊平臺獲取的商戶門頭圖像與所述第一街景圖像的特徵點匹配和所述平移比例尺，將所述第一街景圖像沿道路方向平移以獲得圖像採集點的座標位置，根據所述圖像採集點的座標位置從街景圖像系統中獲取對應於該圖像採集點的座標位置的第二街景圖像，從所述第二街景圖像中截取部分圖像以獲得第三街景圖像，所述圖像比對模組將從商戶資訊平臺獲得的商戶門頭圖像與所述街景漫遊模組獲得的第三街景圖像進行匹配以計算商戶圖像相似度，所述文字識別模組從所述第三街景圖像中識別出商戶名稱。
可選地，所述基於給定的基準圖像計算平移比例尺包括：給定兩幅基準圖像I1和基準圖像I2，基準圖像I1和基準圖像I2中包含校準點A，基準圖像I1的拍攝座標位置為(x1，y1)，基準圖像I2的拍攝座標位置為(x2，y2)，其中，x2>x1，校準點A在所述基準圖像I1和所述基準圖像I2中的水準座標分別為p1和p2，
則平移比例尺為
。
可選地，所述街景漫遊模組進一步根據從商戶資訊平臺獲取的商戶位置資訊得到對應於該商戶位置資訊的圖像採集點的搜索範圍。
可選地，對於將所述第一街景圖像沿道路方向平移以獲得圖像採集點的座標位置之前，所述街景漫遊模組進一步判斷該圖像採集點的座標位置是否在所述圖像採集點的搜索範圍內，若判斷為在所述圖像採集點的搜索範圍內則繼續後續步驟，否則停止後續步驟。
可選地，所述得到對應於該商戶位置資訊的圖像採集點的搜索範圍包括：根據從商戶資訊平臺獲取的商戶位置資訊從商戶資訊平臺獲取該商戶位置資訊對應的經緯度範圍以及商戶列表C{(cxi，cyi)}，
則所述搜索範圍表示為：(min(cxi)，min(cyi))至(max(cxi)，max(cyi))之間。
可選地，基於從商戶資訊平臺獲取的商戶門頭圖像與所述第一街景圖像的特徵點匹配和所述平移比例尺，將所述第一街景圖像沿道路方向平移以獲得圖像採集點的座標位置，包括：所述第一街景圖像的拍攝位置為(sx，sy)；通過規定特徵匹配演算法獲取所述商戶門頭圖像和所述第一街景圖像中的匹配特徵點集合P={p1，p2，...，pn}，其中pi為匹配特徵點的橫坐標；若匹配特徵點集合P中特徵點數n大於閾值m，則計算所述商戶門頭圖像的中心位置f與匹配特徵點集合P中各差值的均值L，若n小於閾值m，則L設置為最小移動距離l；以及圖像採集點的座標位置為N，N為(sx+Lkcos(t)，sy+kLsin(t))，其中，k為所述平移比例尺，t為街道方向與經度線的夾角，夾角t用下式表示：t=argtan((mean(cxi)-min(cxi))/(mean(cyi)-min(cyi)))。
可選地，所述規定特徵匹配演算法包括以下的任意一
種：SIFT演算法、SURF演算法、SIFT演算法、ORB演算法、FAST演算法、Harri演算法。
可選地，從所述第二街景圖像中截取部分圖像以獲得第三街景圖像包括：通過規定特徵匹配演算法獲取所述商戶門頭圖像和所述第二街景圖像中的匹配特徵點集合Q={(qx1，qy1)，(qx2，qy2)，...，(qxn，qyn)}，其中(qxi，qyi)為匹配特徵點的橫縱坐標；以及從所述第二街景圖像中採用以下方式截取部分圖像以獲得所述第三街景圖像：以使得所述第三街景圖像的左上和右下座標為{(min(qxi)-a,min(qyi)-a),(max(qxi)+a,max(qyi)+a)}，其中，a為圖元距離，取值範圍為10~100。
可選地，所述規定特徵匹配演算法包括以下的任意一種：SIFT演算法、SURF演算法、SIFT演算法、ORB演算法、FAST演算法、Harri演算法。
可選地，所述圖像比對模組採用以下任意一種匹配方式：
基於圖像灰度的匹配方式、基於特徵的匹配方式、基於模型的匹配方式以及基於變換域的匹配方式。
可選地，所述文本比對模組採用以下任意一種比對方式：基於字串的文本相似度計算方式、基於語料庫的文本相似度計算方式以及基於世界知識的文本相似度計算方式。
本發明一方面的電腦可讀媒體，其上儲存有電腦程式，其特徵在於，該電腦程式被處理器執行時實現所述的商戶真實性驗證方法。
本發明一方面的電腦設備，包括儲存模組、處理器以及儲存在儲存模組上並可在處理器上運行的電腦程式，其特徵在於，所述處理器執行所述電腦程式時實現所述的商戶真實性驗證方法。
本發明的電腦可讀媒體，其上儲存有電腦程式，其特徵在於，該電腦程式被處理器執行時實現所述的商戶真實性驗證方法。
本發明的電腦設備，包括儲存模組、處理器以及儲存在儲存模組上並可在處理器上運行的電腦程式，其特徵在於，所述處理器執行所述電腦程式時實現所述的商戶真實性驗證方法。
如上所述，在本發明的商戶真實性驗證系統及基於街
景圖像識別的商戶真實性驗證方法中，由於目前百度等公司的街景圖像資料庫已經相對完善，無需自建街景資料庫，通過街景圖像的漫遊搜索、結合圖像比對技術的使用使得商戶驗真準確率大大提高，且無需人工參與，節省人力成本。
100:商戶真實性驗證系統
110:街景漫遊模組
120:圖像比對模組
130:文字識別模組
140:文本比對模組
200:商戶資訊平臺
300:街景圖像系統
S1~S14:步驟
圖1是表示本發明的商戶真實性驗證系統的結構方塊圖；圖2是表示本發明的商戶真實性驗證方法的流程示意圖；及圖3是表示採用SIFT特徵匹配演算法的示意圖。
下面介紹的是本發明的多個實施例中的一些，旨在提供對本發明的基本瞭解。並不旨在確認本發明的關鍵或決定性的要素或限定所要保護的範圍。
出於簡潔和說明性目的，本文主要參考其示範實施例來描述本發明的原理。但是，本領域技術人員將容易地認識到，相同的原理可等效地應用於所有類型的商戶真實性驗證系統及基於街景圖像識別的商戶真實性驗證方法並且可以在其中實施這些相同的原理，以及任何此類變化不背離本專利申請的真實精神和範圍。
而且，在下文描述中，參考了附圖，這些附圖圖示特定
的示範實施例。在不背離本發明的精神和範圍的前提下可以對這些實施例進行電、機械、邏輯和結構上的更改。此外，雖然本發明的特徵是結合若干實施/實施例的僅其中之一來公開的，但是如針對任何給定或可識別的功能可能是期望和/或有利的，可以將此特徵與其他實施/實施例的一個或多個其他特徵進行組合。因此，下文描述不應視為在限制意義上的，並且本發明的範圍由所附請求項及其等效物來定義。
諸如“具備”和“包括”之類的用語表示除了具有在說明書和請求項書中有直接和明確表述的單元(模組)和步驟以外，本發明的技術方案也不排除具有未被直接或明確表述的其它單元(模組)和步驟的情形。
圖1是表示本發明的商戶真實性驗證系統的結構方塊圖。
如圖1所示，本發明的商戶真實性驗證系統100是基於商戶資訊平臺200提供的商戶位置、商戶名稱以及商戶門頭圖像和街景圖像系統300提供的街景圖像而對於商戶的真實性進行驗證。
本發明的商戶真實性驗證系統100包括：街景漫遊模組110，與街景圖像系統300進行交互，計算道路座標範圍，計算平移比例尺，沿道路方向移動資料獲取點，獲取街景圖像資料；
圖像比對模組120，通過特徵點進行匹配並計算圖像的相似度；文字識別模組130，識別街景圖像中對應商戶的商戶名稱；文本比對模組140，將文字識別模組識別的商戶名稱與商戶填寫的商戶名稱進行匹配並計算商戶名稱的相似度。
這裡，商戶資訊平臺200能夠提供商戶位置、商戶名稱以及商戶門頭圖像等的資訊。街景圖像系統300能夠基於街景漫遊模組110提供的座標位置提供對應位置的街景圖像，街景圖像系統300可以利用現有技術實現，例如目前百度地圖、高德地圖等公司的街景圖像資料庫已經相對完善，而無需另行自建街景資料庫。
作為一個示例，可以設置為先由圖像比對模組120得到的圖像的相似度達到規定閾值以上再由文本比對模組140計算商戶名稱的相似度，並且在文本比對模組140計算商戶名稱的相似度達到規定閾值的情況下判斷為商戶真實性驗證成功。
圖2是表示本發明的商戶真實性驗證方法的流程示意圖。
如圖2所示，本發明的商戶真實性驗證方法主要包括以下步驟：
步驟S1：街景漫遊模組110根據從商戶資訊平臺獲取
的商戶位置以及商戶名稱並確定搜索範圍，其中，商戶資訊平臺能夠提供商戶上傳的商戶名稱、商戶位置、商戶門頭圖像等資訊；
步驟S2：街景漫遊模組110基於給定的基準圖像計算平移比例尺；
步驟S3：街景漫遊模組110根據商戶上傳到商戶資訊平臺的商戶門頭圖像F和街景圖像S基於所述平移比例尺採用規定的特徵匹配演算法獲得街景漫遊的資料獲取點(起點)的座標位置；
步驟S4：根據資料獲取點(起點)的座標位置從街景圖像系統200中獲取對應的街景圖像S1；
步驟S5：根據規定的特徵匹配演算法獲取商戶門頭圖像F和街景圖像S1中的匹配點的座標位置，對匹配點的座標位置進行規定計算得到計算後的座標位置，根據計算後的座標位置獲得經過截取的街景圖像S2；
步驟S6：圖像比對模組120對於使用者上傳的商戶門頭圖像F和街景圖像S2進行特徵點的匹配並計算商戶圖像相似度；
步驟S7：圖像比對模組120判斷商戶圖像相似度是否達到規定閾值，若達到規定閾值則繼續步驟S8，否則跳至步驟S13；
步驟S8：文字識別模組130從街景圖像S2中識別出的商戶名稱；
步驟S9：文本比對模組140將由文字識別模組130識別
出的商戶名稱與商戶上傳的商戶名稱進行匹配並計算商戶名稱相似度；
步驟S10：文本比對模組140判斷商戶名稱相似度是否達到規定閾值，若達到規定閾值則繼續步驟S11，若未達到規定閾值則跳至步驟S13；
步驟S11：商戶驗證成功；
步驟S12：搜索結束，返回搜索和驗證結果。
步驟S13：街景漫遊模組110獲取下一資料獲取點；
步驟S14：街景漫遊模組110判斷獲取的下一資料獲取點是否超出所述搜索範圍，若沒有超出所述搜索範圍則返回步驟S4，若超出所述搜索範圍則跳至步驟S12。
以下，對於本發明的基於街景圖像識別的商戶真實性驗證系統和商戶真實性驗證方法的一個具體實施方式進行說明。
首先，對於街景漫遊模組110如何獲取搜索範圍進行說明。
街景漫遊模組110從商戶資訊平臺獲取的商戶位置以及商戶名稱，商戶資訊平臺的商戶位置以及商戶名稱是商戶登記時商戶上傳的資訊。街景漫遊模組110根據該商戶登記的位置資訊，獲得該位置資訊對應的經緯度範圍(例如，可以選擇該商戶臨近1公里範圍內)及商戶列表C{(cxi，cyi)}。
由此，則獲得搜索範圍為：(min(cxi)，min(cyi))至(max(cxi)，max(cyi))之間。
這樣，街道與緯度線的夾角t用下式表示：t=argtan((mean(cxi)-min(cxi))/(mean(cyi)-min(cyi)))。
接著，對於街景漫遊模組110計算街景圖像的平移比例尺的具體過程進行說明。
為了通過圖像文字識別技術識別街景中商戶門頭文字內容，需要通過平移圖像採集點的經緯度座標來盡可能獲得正面的商戶門頭圖像。
在實際的街景圖像中，由於街道寬度、拍攝距離的差異較大，因此針對每一條街道需要計算平移比例尺及圖像中圖元移動距離和實際移動距離的比例尺。
給定兩幅基準圖像I1和I2，基準圖像I1和I2中包含校準點A，基準圖像I1的拍攝位置為(x1，y1)，基準圖像I2的拍攝位置為(x2，y2)，其中，x2>x1，A在兩幅圖像中的水準座標分別
為p1和p2，則平移比例尺為
。
其中，作為上述的兩幅基準圖像I1和I2，採用在街景圖像中隨機選取的兩幅包含共有區域的圖像，並且兩幅圖像的拍攝位置的距離是已知的。
其次，對於街景漫遊模組110如何獲取下一個候選資料獲取點的具體步驟進行說明。
街景漫遊模組110通過以下步驟獲取下一個候選資料獲取點：(1)從商戶資訊平臺獲得商戶門頭圖像F和街景圖像S，街景圖像S的拍攝位置為(sx，sy)，該街景圖像S的拍攝位置為(sx，sy)可以從街景圖像系統300中獲得；(2)通過SIFT特徵匹配演算法獲取商戶門頭圖像F和街景圖像S中的匹配特徵點集合P={p1，p2，...，pn}，其中pi為匹配特徵點的橫坐標；(3)若P中特徵點數n大於閾值m，則計算F中心位置f與P中各差值的均值L，若n小於閾值m，則L設置為最小移動距離l；以及(4)下一候選採集點位置為N，其位置為(sx+Lkcos(t)，sy+kLsin(t))，其中k為平移比例尺，t為街道方向與經度線的夾角。
圖3是表示採用SIFT特徵匹配演算法的示意圖。在圖3中，左側為商戶門頭圖像F，右側為街景圖像S。
SIFT特徵匹配演算法是一種尺度不變特徵轉換，它用來檢測圖像的局部性特徵，在空間尺度中尋找極值點，提取這點的
位置、尺度、旋轉不變數。這些關鍵點是一些十分突出，不會因光照和噪音等因素而變化的點，如角點、邊緣點、暗區的亮點及亮區的暗點等，所以與影像的大小和旋轉無關，對光線、雜訊、視角改變的容忍度也很高。
SIFT從理論上說是一種相似不變數，即對圖像尺度變化和旋轉是不變數。然而，由於構造SIFT特徵時，在很多細節上進行了特殊處理，使得SIFT對圖像的複雜變形和光照變化具有了較強的適應性，同時運算速度比較快，定位精度比較高。如：在多尺度空間採用DOG運算元檢測關鍵點，相比傳統的基於LOG運算元的檢測方法，運算速度大大加快；關鍵點的精確定位不僅提高了精度，而且大大提高了關鍵點的穩定性。
在本實施方式中例舉了SIFT特徵匹配演算法，這僅僅是一個示例，除此以外還能夠採用其他圖像特徵匹配演算法。例如，SURF(Speeded Up Robust Feature，加速穩健特徵)演算法、SIFT(尺度不變特徵轉換，ScaleInvariant Feature Transform)演算法、ORB(ORiented Brief)演算法、FAST(加速分割測試獲得特徵，Features from Accelerated Segment Test)演算法、Harris(角點)演算法等等。
以下描述街景漫遊模組110如何對於候選採集點的圖像進行裁剪。
街景漫遊模組110通過以下步驟實現候選採集點圖像的裁剪：(1)給定商戶上傳的商戶門頭圖像F；(2)將資料獲取位置平移至候選採集點位置N，重新從街景圖像系統200獲取街景圖像S1；(3)通過SIFT特徵匹配演算法獲取商戶門頭圖像F和街景圖像S1中的匹配特徵點集合Q={(qx1，qy1)，(qx2，qy2)，...，(qxn，qyn)}，其中(qxi，qyi)為匹配特徵點的橫縱坐標；以及(4)在街圖像S1中截取部分圖像，獲得街景圖像S2，其左上和右下座標為{(min(qxi)-a,min(qyi)-a),(max(qxi)+a,max(qyi)+a)}，其中，a為圖元距離，取值範圍為10~100。另外，從街圖像S1中截取街景圖像S2的目的在於，濾除關鍵特徵點以外的多餘圖像，防止大圖和小圖進行相似度匹配的情況出現，由此能夠提高圖像匹配的精準度。
圖像比對模組120對於使用者上傳的商戶門頭圖像F和街景圖像S2進行特徵點的匹配並計算商戶圖像相似度。這裡，圖像比對模組120採用的圖像相似度的計算方法例如可以採用現有的計算視覺中常用的匹配方法，如基於圖像灰度的匹配方法、基於特徵的匹配方法、基於模型的匹配方法以及基於變換域的匹配方法。作
為一個示例具體可參考：https：//wenku.baidu.com/view/019ec260657d27284b73f242336c1eb91a37330f？fr=xueshu20001
文本比對模組140將由文字識別模組130識別出的商戶名稱與商戶上傳的商戶名稱進行匹配並計算商戶名稱相似度。這裡，文本比對模組140採用的商戶名稱相似度的計算方法例如可以採用現有的文本相似度計算方法，如基於字串的方法(String-Based)、基於語料庫的方法(Corpus-Based)以及基於世界知識的方法(Knowledge-Based)。作為一個示例具體可參考：https：//blog.csdn.net/gamer_gyt/article/details/102916791
如上所述，在本發明的商戶真實性驗證系統及基於街景圖像識別的商戶真實性驗證方法中，由於目前百度地圖、高德地圖等公司的街景圖像資料庫已經相對完善，無需自建街景資料庫，通過街景圖像的漫遊搜索、結合圖像比對技術的使用使得商戶驗真準確率大大提高，且無需人工參與，節省人力成本。
以上例子主要說明了本發明的商戶真實性驗證系統及基於街景圖像識別的商戶真實性驗證方法。儘管只對其中一些本發明的具體實施方式進行了描述，但是本領域普通技術人員應當瞭解，本發明可以在不偏離其主旨與範圍內以許多其他的形式實施。
因此，所展示的例子與實施方式被視為示意性的而非限制性的，在不脫離如所附各請求項所定義的本發明精神及範圍的情況下，本發明可能涵蓋各種的修改與替換。
100:商戶真實性驗證系統
110:街景漫遊模組
120:圖像比對模組
130:文字識別模組
140:文本比對模組
200:商戶資訊平臺
300:街景圖像系統
Claims (25)
- 一種商戶真實性驗證方法，其特徵在於，該方法基於商戶資訊平臺提供的商戶位置、商戶名稱以及商戶門頭圖像與街景圖像系統提供的街景圖像對於商戶的真實性進行驗證，該方法包括以下步驟：基於給定的基準圖像計算平移比例尺，其中，所述平移比例尺用於平移圖像採集點的座標位置；基於從商戶資訊平臺獲取的商戶位置資訊從街景圖像系統獲得對應於該商戶位置資訊的第一街景圖像，將從商戶資訊平臺獲取的商戶門頭圖像與所述第一街景圖像進行特徵點匹配並且按照所述平移比例尺將所述第一街景圖像沿道路方向平移以獲得圖像採集點的座標位置；根據所述圖像採集點的座標位置從街景圖像系統中獲取對應於該圖像採集點的座標位置的第二街景圖像；從所述第二街景圖像中截取部分圖像以獲得第三街景圖像；將從商戶資訊平臺獲得的商戶門頭圖像與所述第三街景圖像進行特徵點匹配以計算商戶圖像相似度，判斷所述商戶圖像相似度是否達到規定閾值，在判斷商戶圖像相似度達到規定閾值的情況下繼續下述步驟；以及從所述第三街景圖像中識別出商戶名稱並與從商戶資訊平臺獲取的商戶名稱進行匹配以計算商戶名稱相似度，判斷所述商戶名稱相似度是否達到規定閾值，在判斷商戶 名稱相似度達到規定閾值的情況下，則商戶真實性驗證成功。
- 如請求項1所述的商戶真實性驗證方法，其特徵在於，所述基於給定的基準圖像計算平移比例尺包括：給定兩幅基準圖像I1和基準圖像I2，其中，基準圖像I1和基準圖像I2中包含校準點A；以及基準圖像I1的拍攝座標位置為(x1，y1)，基準圖像I2的拍攝座標位置為(x2，y2)，其中，x2>x1，校準點A在所述基準圖像I1和所述基準圖像I2中的水準座標分別為p1和p2，則平移比例尺為
- 如請求項2所述的商戶真實性驗證方法，其特徵在於，在基於給定的基準圖像計算平移比例尺之前進一步包括：根據從商戶資訊平臺獲取的商戶位置資訊，得到對應於該商戶位置資訊的圖像採集點的搜索範圍。
- 如請求項3所述的商戶真實性驗證方法，其特徵在於，在將所述第一街景圖像沿道路方向平移以獲得圖像採集點的座標位置之前，進一步判斷該圖像採集點的座標位置是否在所述圖像採集點的搜索範圍內，若判斷為在所述圖像採集點的搜索範圍內則繼續後續步驟，否則停止後續步驟。
- 如請求項4所述的商戶真實性驗證方法，其特徵在於，所述得到對應於該商戶位置資訊的圖像採集點的搜索範圍包括：根據從商戶資訊平臺獲取的商戶位置資訊從商戶資訊平臺獲取該商戶位置資訊對應的經緯度範圍以及商戶列表C{(cxi，cyi)}，則所述搜索範圍表示為：(min(cxi)，min(cyi))至(max(cxi)，max(cyi))之間。
- 如請求項5所述的商戶真實性驗證方法，其特徵在於，將從商戶資訊平臺獲取的商戶門頭圖像與所述第一街景圖像進行特徵點匹配並且按照所述平移比例尺將所述第一街景圖像沿道路方向平移以獲得圖像採集點的座標位置，包括：所述第一街景圖像的拍攝位置為(sx，sy)；通過規定特徵匹配演算法獲取所述商戶門頭圖像和所述第一街景圖像中的匹配特徵點集合P={p1，p2，...，pn}，其中pi為匹配特徵點的橫坐標；若匹配特徵點集合P中特徵點數n大於閾值m，則計算所述商戶門頭圖像的中心位置f與匹配特徵點集合P中各差值的均值L，若n小於閾值m，則L設置為最小移動距離l；以及圖像採集點的座標位置為N，N為(sx+Lkcos(t)，sy+kLsin(t))，其中，k為所述平移比例尺，t為街道方向與經度線的夾角，夾角t用下式表示： t=argtan((mean(cxi)-min(cxi))/(mean(cyi)-min(cyi)))。
- 如請求項6所述的商戶真實性驗證方法，其特徵在於，所述規定特徵匹配演算法包括以下的任意一種：SIFT演算法、SURF演算法、SIFT演算法、ORB演算法、FAST演算法、Harri演算法。
- 如請求項6所述的商戶真實性驗證方法，其特徵在於，從所述第二街景圖像中截取部分圖像以獲得第三街景圖像包括：通過規定特徵匹配演算法獲取所述商戶門頭圖像和所述第二街景圖像中的匹配特徵點集合Q={(qx1，qy1)，(qx2，qy2)，...，(qxn，qyn)}，其中(qxi，qyi)為匹配特徵點的橫縱坐標；以及從所述第二街景圖像中採用以下方式截取部分圖像以獲得所述第三街景圖像：以使得所述第三街景圖像的左上和右下座標為：{(min(qxi)-a,min(qyi)-a),(max(qxi)+a,max(qyi)+a)}，其中，a為圖元距離，取值範圍為10~100。
- 如請求項8所述的商戶真實性驗證方法，其特徵在於，所述規定特徵匹配演算法包括以下的任意一種：SIFT演算法、SURF演算法、SIFT演算法、ORB演算法、FAST演算法、Harri演算法。
- 如請求項1所述的商戶真實性驗證方法，其特徵在於，所述計算商戶圖像相似度採用以下任意一種匹配方式：基於圖像灰度的匹配方式、基於特徵的匹配方式、基於模型的匹配方式以及基於變換域的匹配方式。
- 如請求項1所述的商戶真實性驗證方法，其特徵在於，所述計算商戶名稱相似度採用以下任意一種比對方式：基於字串的文本相似度計算方式、基於語料庫的文本相似度計算方式、以及基於世界知識的文本相似度計算方式。
- 一種商戶真實性驗證系統，其特徵在於，該系統基於商戶資訊平臺提供的商戶位置、商戶名稱以及商戶門頭圖像與街景圖像系統提供的街景圖像對於商戶的真實性進行驗證，該系統包括：街景漫遊模組，從商戶資訊平臺獲得商戶位置、商戶名稱以及商戶門頭圖像，計算用於平移圖像採集點的座標位置平移比例尺以及基於所述平移比例尺計算移動街景圖像而獲得的圖像採集點的座標位置，與街景圖像系統進行交互以根據圖像採集點的座標位置獲得對應的街景圖像；圖像比對模組，將從商戶資訊平臺獲得的商戶門頭圖像與所述街景漫遊模組獲得的街景圖像進行匹配以計算商戶圖像相似度，並判斷所述商戶圖像相似度是否達到規定閾值；以及 文字識別模組，用於從所述街景漫遊模組獲得的街景圖像中識別出商戶名稱；文本比對模組，用於將所述文字識別模組識別出的商戶名稱與從商戶資訊平臺獲取的商戶名稱進行匹配以計算商戶名稱相似度，判斷所述商戶名稱相似度是否達到規定閾值，在判斷商戶名稱相似度達到規定閾值的情況下，則商戶真實性驗證成功。
- 如請求項12所述的商戶真實性驗證系統，其特徵在於，所述街景漫遊模組從商戶資訊平臺獲取商戶位置、商戶名稱以及商戶門頭圖像，基於給定的基準圖像計算平移比例尺，基於從商戶資訊平臺獲取的商戶位置資訊從街景圖像系統獲得對應於該商戶位置資訊的第一街景圖像，基於從商戶資訊平臺獲取的商戶門頭圖像與所述第一街景圖像的特徵點匹配和所述平移比例尺，將所述第一街景圖像沿道路方向平移以獲得圖像採集點的座標位置，根據所述圖像採集點的座標位置從街景圖像系統中獲取對應於該圖像採集點的座標位置的第二街景圖像，從所述第二街景圖像中截取部分圖像以獲得第三街景圖像；所述圖像比對模組將從商戶資訊平臺獲得的商戶門頭圖像與所述街景漫遊模組獲得的第三街景圖像進行匹配以計算商戶圖像相似度；所述文字識別模組從所述第三街景圖像中識別出商戶名稱。
- 如請求項13所述的商戶真實性驗證系統，其特徵在於，所述基於給定的基準圖像計算平移比例尺包括：給定兩幅基準圖像I1和基準圖像I2，基準圖像I1和基準圖像I2中包含校準點A，基準圖像I1的拍攝座標位置為(x1，y1)，基準圖像I2的拍攝座標位置為(x2，y2)，其中，x2>x1，校準點A在所述基準圖像I1和所述基準圖像I2中的水準座標分別為p1和p2，則平移比例尺為
- 如請求項14所述的商戶真實性驗證系統，其特徵在於，所述街景漫遊模組進一步根據從商戶資訊平臺獲取的商戶位置資訊得到對應於該商戶位置資訊的圖像採集點的搜索範圍。
- 如請求項15所述的商戶真實性驗證系統，其特徵在於，對於將所述第一街景圖像沿道路方向平移以獲得圖像採集點的座標位置之前，所述街景漫遊模組進一步判斷該圖像採集點的座標位置是否在所述圖像採集點的搜索範圍內，若判斷為在所述圖像採集點的搜索範圍內則繼續後續步驟，否則停止後續步驟。
- 如請求項16所述的商戶真實性驗證系統，其特徵在於，所述得到對應於該商戶位置資訊的圖像採集點的搜索範圍包括：根據從商戶資訊平臺獲取的商戶位置資訊從商戶資訊平臺獲取該商戶位置資訊對應的經緯度範圍以及商戶列表C{(cxi，cyi)}，則所述搜索範圍表示為： (min(cxi)，min(cyi))至(max(cxi)，max(cyi))之間。
- 如請求項17所述的商戶真實性驗證系統，其特徵在於，基於從商戶資訊平臺獲取的商戶門頭圖像與所述第一街景圖像的特徵點匹配和所述平移比例尺，將所述第一街景圖像沿道路方向平移以獲得圖像採集點的座標位置，包括：所述第一街景圖像的拍攝位置為(sx，sy)；通過規定特徵匹配演算法獲取所述商戶門頭圖像和所述第一街景圖像中的匹配特徵點集合P={p1，p2，...，pn}，其中pi為匹配特徵點的橫坐標；若匹配特徵點集合P中特徵點數n大於閾值m，則計算所述商戶門頭圖像的中心位置f與匹配特徵點集合P中各差值的均值L，若n小於閾值m，則L設置為最小移動距離l；以及圖像採集點的座標位置為N，N為(sx+Lkcos(t)，sy+kLsin(t))，其中，k為所述平移比例尺，t為街道方向與經度線的夾角，夾角t用下式表示：t=argtan((mean(cxi)-min(cxi))/(mean(cyi)-min(cyi)))。
- 如請求項18所述的商戶真實性驗證系統，其特徵在於，所述規定特徵匹配演算法包括以下的任意一種：SIFT演算法、SURF演算法、SIFT演算法、ORB演算法、FAST演算法、Harri演算法。
- 如請求項18所述的商戶真實性驗證系統，其特徵在於，從所述第二街景圖像中截取部分圖像以獲得第三街景圖像包括：通過規定特徵匹配演算法獲取所述商戶門頭圖像和所述第二街景圖像中的匹配特徵點集合Q={(qx1，qy1)，(qx2，qy2)，...，(qxn，qyn)}，其中(qxi，qyi)為匹配特徵點的橫縱坐標；以及從所述第二街景圖像中採用以下方式截取部分圖像以獲得所述第三街景圖像：以使得所述第三街景圖像的左上和右下座標為{(min(qxi)-a,min(qyi)-a),(max(qxi)+a,max(qyi)+a)}，其中，a為圖元距離，取值範圍為10~100。
- 如請求項20所述的商戶真實性驗證系統，其特徵在於，所述規定特徵匹配演算法包括以下的任意一種：SIFT演算法、SURF演算法、SIFT演算法、ORB演算法、FAST演算法、Harri演算法。
- 如請求項12所述的商戶真實性驗證系統，其特徵在於，所述圖像比對模組採用以下任意一種匹配方式：基於圖像灰度的匹配方式、基於特徵的匹配方式、基於模型的匹配方式以及基於變換域的匹配方式。
- 如請求項12所述的商戶真實性驗證系統，其特徵在於，所述文本比對模組採用以下任意一種比對方式： 基於字串的文本相似度計算方式、基於語料庫的文本相似度計算方式以及基於世界知識的文本相似度計算方式。
- 一種電腦可讀媒體，其上儲存有電腦程式，其特徵在於，該電腦程式被處理器執行時實現請求項1~11任意一項所述的商戶真實性驗證方法。
- 一種電腦設備，包括儲存模組、處理器以及儲存在儲存模組上並可在處理器上運行的電腦程式，其特徵在於，所述處理器執行所述電腦程式時實現請求項1~11任意一項所述的商戶真實性驗證方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210148355.X | 2022-02-17 | ||
| CN202210148355.XA CN115019075A (zh) | 2022-02-17 | 2022-02-17 | 基于街景图像识别的商户真实性验证系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202334879A TW202334879A (zh) | 2023-09-01 |
| TWI855370B true TWI855370B (zh) | 2024-09-11 |
Family
ID=
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210158020A1 (en) | 2019-11-27 | 2021-05-27 | National Central University | Training data generation method for human facial recognition and data generation apparatus |
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210158020A1 (en) | 2019-11-27 | 2021-05-27 | National Central University | Training data generation method for human facial recognition and data generation apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101856120B1 (ko) | 이미지로부터 상가 발견 | |
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
| Drost et al. | 3d object detection and localization using multimodal point pair features | |
| JP5522408B2 (ja) | パターン認識装置 | |
| CN108288012B (zh) | 一种基于手机实现的艺术品备案验证方法及其系统 | |
| CN111914775B (zh) | 活体检测方法、装置、电子设备及存储介质 | |
| CN111027481A (zh) | 基于人体关键点检测的行为分析方法及装置 | |
| CN109583329A (zh) | 基于道路语义路标筛选的回环检测方法 | |
| Zhang et al. | Topological spatial verification for instance search | |
| CN114494373A (zh) | 基于目标检测与图像配准的轨道高精度对齐方法及系统 | |
| Ye et al. | Fast and Robust Optical-to-SAR Remote Sensing Image Registration Using Region Aware Phase Descriptor | |
| JP5004082B2 (ja) | 文書画像検索方法、文書画像登録方法、そのプログラムおよび装置 | |
| Kroepfl et al. | Efficiently locating photographs in many panoramas | |
| TWI855370B (zh) | 基於街景圖像識別的商戶真實性驗證系統、方法、電腦可讀媒體及電腦設備 | |
| Jain et al. | Number plate detection using drone surveillance | |
| Tsai et al. | Mobile visual search using image and text features | |
| CN105074729B (zh) | 用于光度边缘描述的方法、系统和介质 | |
| CN107330436B (zh) | 一种基于尺度判据的全景图像sift优化方法 | |
| CN116363655A (zh) | 一种财务票据识别方法及系统 | |
| WO2023155401A1 (zh) | 基于街景图像识别的商户真实性验证系统及方法 | |
| Bal et al. | Image‐based locating and guiding for unmanned aerial vehicles using scale invariant feature transform, speeded‐up robust features, and oriented fast and rotated brief algorithms | |
| CN114821500A (zh) | 基于点云的多源特征融合的重定位方法及装置 | |
| CN114022906A (zh) | 基于多层次特征与注意力机制的行人再识别方法 | |
| Deren et al. | Automatic change detection of geo-spatial data from imagery | |
| CN110781841A (zh) | 基于slam空间不变信息的闭环检测方法和装置 |