TWI658730B - 圖像焦距檢測方法及其裝置 - Google Patents

圖像焦距檢測方法及其裝置 Download PDF

Info

Publication number
TWI658730B
TWI658730B TW106132589A TW106132589A TWI658730B TW I658730 B TWI658730 B TW I658730B TW 106132589 A TW106132589 A TW 106132589A TW 106132589 A TW106132589 A TW 106132589A TW I658730 B TWI658730 B TW I658730B
Authority
TW
Taiwan
Prior art keywords
area
image
target
picture
network
Prior art date
Application number
TW106132589A
Other languages
English (en)
Other versions
TW201841491A (zh
Inventor
王健宗
肖京
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of TW201841491A publication Critical patent/TW201841491A/zh
Application granted granted Critical
Publication of TWI658730B publication Critical patent/TWI658730B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本發明公開了一種圖像焦距檢測方法，該方法包括：獲取已拍攝的待檢測圖片，通過預置的圖像檢測模型確定該待檢測圖片中目標圖像所在的目標區域；計算該目標區域在該待檢測圖片中所占的面積比例；根據該面積比例確定拍攝該待檢測圖片的焦距是否符合拍攝要求。本發明還公開了一種圖像焦距檢測裝置。本發明實現了自動篩選拍攝過程中焦距不符合要求的圖片，降低了篩選拍攝過程中焦距不符合要求的圖片的難度。

Description

圖像焦距檢測方法及其裝置
本發明關於圖像技術領域，尤其關於一種圖像焦距檢測方法及其裝置。
在一些對圖片細節要求比較高的業務場景中，圖片的拍攝距離直接影響圖片的使用價值。拍攝距離過遠的圖片由於無法提供需要的細節訊息，不僅浪費存儲空間而且還會消耗寶貴的計算資源。因此，在存儲和處理業務圖片之前，進行篩選掉拍攝距離較遠的圖片就顯得很有必要，但使用人工篩選拍攝距離較遠的圖片比較消耗人力與物力，而且隨著圖片資料規模的擴大，篩選的難度會越來越大。
本發明的主要目的在於提供一種圖像焦距檢測方法及其裝置，旨在解決現有的篩選拍攝過程中焦距不符合要求的圖片難度大的技術問題。
為實現上述目的，本發明提供的一種圖像焦距檢測方法，該圖像焦距檢測方法包括：獲取已拍攝的待檢測圖片，通過預置的圖像檢測模型確定該待檢測圖片中目標圖像所在的目標區域；計算該目標區域在該待檢測圖片中所占的面積比例；根據該面積比例確定拍攝該待檢測圖片的焦距是否符合拍攝要求。
較佳地，該獲取已拍攝的待檢測圖片，通過預置的圖像檢測模型確定該待檢測圖片中目標圖像所在的目標區域的步驟包括：獲取已拍攝的該待檢測圖片，將該待檢測圖片載入該圖像檢測模型的區域生成網路中，以確定該目標圖像在該待檢測圖片中的候選區域，其中，該區域生成網路是卷積神經網路；以及將該候選區域載入該圖像檢測模型的目標檢測網路中，以確定該候選區域中的該目標圖像所在的目標區域。
較佳地，該將該候選區域載入該圖像檢測模型的目標檢測網路中，以確定該候選區域中的該目標圖像所在的目標區域的步驟之前，還包括：獲取該圖像檢測模型中與該目標圖像對應的參考區域；以及計算該候選區域和該參考區域中該目標圖像所在位置的誤差，根據該誤差，通過網路優化函數優化該區域生成網路。
較佳地，該根據該面積比例確定拍攝該待檢測圖片的焦距是否符合拍攝要求的步驟包括：判斷該面積比例是否小於預設閾值；若該面積比例小於該預設閾值，則確定拍攝該待檢測圖片的焦距不符合拍攝要求；若該面積比例大於或者等於該預設閾值，則確定拍攝該待檢測圖片的焦距符合拍攝要求。
較佳地，該獲取已拍攝的待檢測圖片，通過預置的圖像檢測模型確定該待檢測圖片中目標圖像所在的目標區域的步驟之前，還包括：獲取與該圖像檢測模型所能檢測的目標圖像對應的預設資料；根據該預設資料調整該圖像檢測模型的區域生成網路，得到調整後的該區域生成網路；通過調整後的該區域生成網路生成目標區域訓練資料；根據該目標區域訓練資料優化該圖像檢測模型的目標檢測網路；確定該區域生成網路和該目標檢測網路共享的特徵提取層，固定該特徵提取層。
此外，為實現上述目的，本發明還提供一種圖像焦距檢測裝置，該圖像焦距檢測裝置包括：第一確定模組，用於獲取已拍攝的待檢測圖片，通過預置的圖像檢測模型確定該待檢測圖片中目標圖像所在的目標區域；計算模組，用於計算該目標區域在該待檢測圖片中所占的面積比例；第二確定模組，用於根據該面積比例確定拍攝該待檢測圖片的焦距是否符合拍攝要求。
較佳地，該第一確定模組還用於獲取已拍攝的該待檢測圖片，將該待檢測圖片載入該圖像檢測模型的區域生成網路中，以確定該目標圖像在該待檢測圖片中的候選區域，其中，該區域生成網路是卷積神經網路；將該候選區域載入該圖像檢測模型的目標檢測網路中，以確定該候選區域中的該目標圖像所在的目標區域。
較佳地，該第一確定模組包括：獲取單元，用於獲取該圖像檢測模型中與該目標圖像對應的參考區域；優化單元，用於計算該候選區域和該參考區域中該目標圖像所在位置的誤差，根據該誤差，通過網路優化函數優化該區域生成網路。
較佳地，該第二確定模組包括：判斷單元，用於判斷該面積比例是否小於預設閾值；確定單元，用於若該面積比例小於該預設閾值，則確定拍攝該待檢測圖片的焦距不符合拍攝要求；若該面積比例大於或者等於該預設閾值，則確定拍攝該待檢測圖片的焦距符合拍攝要求。
較佳地，該圖像焦距檢測裝置還包括：獲取模組，用於獲取與該圖像檢測模型所能檢測的目標圖像對應的預設資料；調整模組，用於根據該預設資料調整該圖像檢測模型的區域生成網路，得到調整後的該區域生成網路；生成模組，用於通過調整後的該區域生成網路生成目標區域訓練資料；優化模組，用於根據該目標區域訓練資料優化該圖像檢測模型的目標檢測網路；第三確定模組，用於確定該區域生成網路和該目標檢測網路共享的特徵提取層，固定該特徵提取層。
本發明通過預置的圖像檢測模型確定所獲取的待檢測圖片中目標圖像所在的目標區域，計算該目標區域在該待檢測圖片中所占的面積比例，根據該面積比例確定拍攝該待檢測圖片的焦距是否符合拍攝要求。實現了自動篩選拍攝過程中焦距不符合要求的圖片，降低了篩選拍攝過程中焦距不符合要求的圖片的難度。
應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。
本發明提供一種圖像焦距檢測方法。
參照圖1，圖1為本發明圖像焦距檢測方法較佳實施例的流程示意圖。
在本實施例中，該圖像焦距檢測方法包括：
步驟S10，獲取已拍攝的待檢測圖片，通過預置的圖像檢測模型確定該待檢測圖片中目標圖像所在的目標區域。
當獲取到已拍攝的待檢測圖片，需要確定拍攝該待檢測圖片的焦距是否滿足用戶要求時，獲取預先設置好與該待檢測圖片對應的圖像檢測模型，通過該檢測模型確定該待檢測圖片中目標圖像所在的目標區域。需要說明的是，該目標圖像是該待檢測圖片中所要顯示的主要物品，如當該待檢測圖片所要顯示的是一輛車，則該待檢測圖片中的車就是該目標圖像。該圖像檢測模型是預先設置好的，該圖像檢測模型可檢測一個目標圖像，也可以檢測多個目標圖像。如該圖像檢測模型可設置為只檢測車的圖像，或者設置為檢測車和人的圖像等。
進一步地，在設置該圖像檢測模型過程中，先收集該圖像檢測模型所要檢測的目標圖像所對應的圖片集合，其中，該圖片集合中包含了多張同一目標圖像的圖片，如有10張含有汽車的圖片。對該圖片集合中的目標圖像進行標註，得到該圖片集合的標註訊息，將每張圖片的標註訊息以列表的形式存儲在同一個文件夾中。在該文件夾中，每一條記錄對應著一張圖片的標記訊息。需要說明的是，該文件夾的第一列是該圖片集合中每張圖片完整的存儲路徑；第二列為每張圖片中目標圖像的個數，如一張圖片中可能有一輛車或者多輛車；第二列後面的列表示該圖片集合中每張圖片中目標圖像標註的區域，即該目標圖像在該圖片中的坐標，如用左上角的坐標topLeft_x和topLeft_y，以及右下角坐標 bottomRight_x和 bottomRight_y表示。可以理解的是，若某張圖片中的目標圖像的個數大於1，那麼該張圖片對應著多個左上角坐標和多個右下角坐標。如果該文件夾中第二列的數目大於或者等於1，那麼該列表的第二列之後至少會存在4列數目，且該第二列後面的列的數目一定是4的倍數。
該圖像檢測模型包括兩部分，第一部分為區域生成網路，用於生成該待檢測圖片中目標圖像所在的候選區域，該候選區域為在該待檢測圖片中，該目標圖像可能存在的矩形區域；第二部分是目標檢測網路，用於在該候選區域中確定該目標圖像所在的目標區域。需要說明的是，該區域生成網路是一個深度全卷積神經網路。該卷積神經網路是一種前饋神經網路，它的人工神經元可以響應一部分覆蓋範圍內的周圍單元，對於大型圖像處理有出色表現。該卷積神經網路的基本結構包括兩層，其一為特徵提取層，每個神經元的輸入與前一層的局部接受域相連，並提取該局部的特徵，一旦該局部特徵被提取後，它與其它特徵間的位置關係也隨之確定下來；其二是特徵映射層，網路的每個計算層由多個特徵映射組成，每個特徵映射是一個平面，平面上所有神經元的權值相等。
進一步地，該圖像焦距檢測方法還包括：
步驟a，獲取與該圖像檢測模型所能檢測的目標圖像對應的預設資料。
步驟b，根據該預設資料調整該圖像檢測模型的區域生成網路，得到調整後的該區域生成網路。
在使用該圖像檢測模型之前，要先訓練該圖像檢測模型中的區域生成網路，即優化該圖像檢測模型。首先對該圖像檢測模型中區域生成網路進行訓練，具體過程為：在該區域生成網路中輸入與該圖像檢測模型所檢測的目標圖像對應的圖片，即獲取與該圖像檢測模型所能檢測的目標圖像對應的預設資料。可以理解的是，預設資料是與該目標圖像對應的圖片。在得到與該目標圖像對應的圖片後，根據與該目標圖像對應的圖片測試該區域生成網路，得到測試結果，根據該測試結果調整該區域生成網路，得到調整後的該區域生成網路。在本實施例中，為了減小訓練該區域生成網路的時間，可先對該區域生成網路初始化。
步驟c，通過調整後的該區域生成網路生成目標區域訓練資料。
步驟d，根據該目標區域訓練資料優化該圖像檢測模型的目標檢測網路。
步驟e，確定該區域生成網路和該目標檢測網路共享的特徵提取層，固定該特徵提取層。
當得到調整後的該區域生成網路之後，通過輸入該區域生成網路中的圖片在調整後的該區域生成網路中生成目標區域訓練資料，根據該目標區域訓練資料測試該圖像檢測模型的目標檢測網路，得到測試結果，根據該測試結構優化該目標檢測網路。當優化該目標檢測網路之後，獲取優化後的該目標檢測網路的特徵提取層，通過該目標檢測網路的特徵提取層初始化該區域生成網路的特徵提取層，固定該區域生成網路的特徵提取層。當固定住該區域生成網路的特徵提取層時，將該區域生成網路的特徵提取層複製到該目標檢測網路中，以固定該目標檢測網路和該區域生成網路共享的特徵提取層。可以理解的是，該區域生成網路和該目標檢測網路共享特徵提取層，即共享多層卷積層。在訓練該區域生成網路和該目標檢測網路過程中，對該區域生成網路和該目標檢測網路交替優化。
步驟S20，計算該目標區域在該待檢測圖片中所占的面積比例。
當確定該待檢測圖片中的目標圖像所在的目標區域後，計算該目標區域的面積和該待檢測圖片的面積，將該目標區域的面積除以該待檢測圖片的面積，得到該目標區域在該待檢測圖片中所占的面積比例。
步驟S30，根據該面積比例確定拍攝該待檢測圖片的焦距是否符合拍攝要求。
當確定該目標區域在該待檢測圖片中所占的面積比例後，根據該面積比例確定拍攝該待檢測圖片的焦距是否符合拍攝要求。
進一步地，步驟S30包括： 步驟f，判斷該面積比例是否小於預設閾值； 步驟g，若該面積比例小於該預設閾值，則確定拍攝該待檢測圖片的焦距不符合拍攝要求；及 步驟h，若該面積比例大於或者等於該預設閾值，則確定拍攝該待檢測圖片的焦距符合拍攝要求。
根據該面積比例確定拍攝該待檢測圖片的焦距是否符合拍攝要求的具體過程為：判斷該面積比例是否小於預設閾值，其中，該預設閾值為根據具體需要而設置，如可設置為0.05、0.08、或者0.10等。當該面積比例小於該預設閾值時，確定拍攝該待檢測圖片的焦距不符合拍攝求；當該面積比例大於或者等於該預設閾值時，確定拍攝該待檢測圖片的焦距符合拍攝要求。進一步地，當確定拍攝該待檢測圖片的焦距不符合拍攝求時，輸出提示訊息，提示用戶拍攝該待檢測圖片的距離過遠，需要重新拍攝該待檢測圖片；當確定拍攝該待檢測圖片的焦距符合拍攝要求時，輸出提示訊息，提示用戶所拍攝的該待檢測圖片符合拍攝要求，並存儲該待檢測圖片。
本實施例通過預置的圖像檢測模型確定所獲取的待檢測圖片中目標圖像所在的目標區域，計算該目標區域在該待檢測圖片中所占的面積比例，根據該面積比例確定拍攝該待檢測圖片的焦距是否符合拍攝要求。實現了自動篩選拍攝過程中焦距不符合要求的圖片，降低了篩選拍攝過程中焦距不符合要求的圖片的難度。
進一步地，基於本發明圖像焦距檢測方法的較佳實施例提出本發明的另一實施例，參照圖2，在本實施例中，該步驟S10包括： 步驟S11，獲取已拍攝的該待檢測圖片，將該待檢測圖片載入該圖像檢測模型的區域生成網路中，以確定該目標圖像在該待檢測圖片中的候選區域，其中，該區域生成網路是卷積神經網路；及 步驟S12，將該候選區域載入該圖像檢測模型的目標檢測網路中，以確定該候選區域中的該目標圖像所在的目標區域。
當獲取到已拍攝的該待檢測圖片時，將該待檢測圖片載入該圖像檢測模型的區域生成網路中，通過該區域生成網路確定該待檢測圖片中的候選區域。將該候選區域載入該圖像檢測模型的目標檢測網路中，以確定該候選區域中的該目標圖像所在的目標區域。在本實施例中，該待檢測圖片中的候選區域有一個或者多個，且每個候選區域中可能存在該目標圖像。進一步地，該候選區域的形狀為矩形，該區域生成網路是卷積神經網路。為了提高確定該目標圖像所在的目標區域的速度，該區域生成網路和該目標檢測網路共享特徵提取層。
確定該目標圖像所在的目標區域的具體過程為：在該區域生成網路的最後一個卷積層中輸出的特徵映射上設置一個輸入維度為n x n的小卷積網路。需要說明的是，該卷積網路的維度n x n小於該區域生成網路的最後一個卷積層的維度N x N（該n和N為正整數），即將該區域生成網路的最後一個卷積層所覆蓋的區域映射到一個更低維度的特徵映射層上。該特徵映射層與兩個平行的完全連接層連接。在本實施例中，這兩個完全連接層分別稱為cls層和reg層。該cls層用於確定該候選區域中含有目標圖像的可能性，即含有該候選區域中含有目標圖像的機率，該reg層用於確定該候選區域中該目標圖像所在的位置，以確定該目標圖像的尺寸和位移。如當該小卷積網路維度設定為3x3時，該區域生成網路是一個尺度為3x3的卷積核，輸出為256的卷積網路層，該卷積網路層後面連接兩個完全卷積層cls層和reg層。該3x3的卷積核在每個位置上會以3種縮放和3種寬高模式共計9種模式生成該候選區域，以確定載入該目標檢測網路中的候選區域中目標圖像的尺寸和位移具有強健性。
進一步地，該步驟S12之前，還包括： 步驟i，獲取該圖像檢測模型中與該目標圖像對應的參考區域；及 步驟j，計算該候選區域和該參考區域中該目標圖像所在位置的誤差，根據該誤差，通過網路優化函數優化該區域生成網路。
在確定該候選區域後，獲取該圖像檢測模型中與該目標圖像對應的參考區域，該參考區域由該圖像檢測模型中所存儲的標註訊息確定。確定該候選區域中目標圖像所在的位置的左上角坐標和右下角坐標，以及確定該參考區域中目標圖像所在位置的左上角坐標和右下角坐標。根據該候選區域中目標圖像所在的位置的左上角坐標和右下角坐標確定該目標圖像在該候選區域中的範圍，記為第一範圍；根據該參考區域中目標圖像所在位置的左上角坐標和右下角坐標確定該目標圖像在該參考區域中的範圍，記為第二範圍。計算該第一範圍和該第二範圍之間的交集，以及計算該第一範圍和該第二範圍之間的並集，將該交集除以該並集，得到該候選區域和該參考區域中該目標圖像所在位置之間的誤差。將該誤差與預設誤差進行對比，判斷該誤差是否大於預設誤差。當該誤差大於或者等於該預設誤差時，表示該候選區域含有該目標圖像；當該誤差小於該預設誤差時，表示該候選區域不含有該目標圖像。其中，該預設誤差可根據具體需要而設置，在本實施例中，該預設誤差設置為0.7。
當得到該誤差後，根據該誤差，通過網路優化函數優化該區域生成網路，具體是優化該區域生成網路中的神經元。該網路優化函數L為：
其中，是多個候選區域所組成的候選區域集合的索引，是第個候選區域中存在目標圖像的機率。表示該候選區域是否含有該目標圖像，取值為0或者1，當取值為1時，表示該候選區域含有該目標圖像，當取值為0時，表示該候選區域不含有該目標圖像，由該誤差決定。是該區域生成網路預測的該目標圖像在該候選區域中的坐標，形式上是一個4維向量。是輸入該候選區域中目標圖像的數量，在本實施例中，=256，是該候選區域做3種縮放和3種寬高比變換後得到的新候選區域的數量，在本實施例中，=256*9。λ被設置為 10，以平衡確定該候選區域和該目標區域的重要程度。可以理解的是，在其它實施例中，該、和λ可根據需要設置為其它值。
本實施例通過將該待檢測圖片載入該圖像檢測模型的區域生成網路和目標檢測網路中，得到該待檢測網路中目標圖像所在的目標區域，從而根據該目標區域實現自動判斷拍攝該待檢測圖片的焦距是否滿足拍攝要求。
本發明進一步提供一種圖像焦距檢測裝置100。
參照圖3，圖3為本發明圖像焦距檢測裝置100較佳實施例的功能模組示意圖。
需要強調的是，對本領域的技術人員來說，圖3所示模組圖僅僅是一個較佳實施例的示例圖，本領域的技術人員圍繞圖3所示的圖像焦距檢測裝置100的模組，可輕易進行新的模組的補充；各模組的名稱是自定義名稱，僅用於輔助理解該圖像焦距檢測裝置100的各個程序功能塊，不用於限定本發明的技術方案，本發明技術方案的核心是，各自定義名稱的模組所要達成的功能。
在本實施例中，該圖像焦距檢測裝置100包括：
第一確定模組10，用於獲取已拍攝的待檢測圖片，通過預置的圖像檢測模型確定該待檢測圖片中目標圖像所在的目標區域。
當獲取到已拍攝的待檢測圖片，需要確定拍攝該待檢測圖片的焦距是否滿足用戶要求時，獲取預先設置好與該待檢測圖片對應的圖像檢測模型，通過該檢測模型確定該待檢測圖片中目標圖像所在的目標區域。需要說明的是，該目標圖像是該待檢測圖片中所要顯示的主要物品，如當該待檢測圖片所要顯示的是一輛車，則該待檢測圖片中的車就是該目標圖像。該圖像檢測模型是預先設置好的，該圖像檢測模型可檢測一個目標圖像，也可以檢測多個目標圖像。如該圖像檢測模型可設置為只檢測車的圖像，或者設置為檢測車和人的圖像等。
進一步地，在設置該圖像檢測模型過程中，先收集該圖像檢測模型所要檢測的目標圖像所對應的圖片集合，其中，該圖片集合中包含了多張同一目標圖像的圖片，如有10張含有汽車的圖片。對該圖片集合中的目標圖像進行標註，得到該圖片集合的標註訊息，將每張圖片的標註訊息以列表的形式存儲在同一個文件夾中。在該文件夾中，每一條記錄對應著一張圖片的標記訊息。需要說明的是，該文件夾的第一列是該圖片集合中每張圖片完整的存儲路徑；第二列為每張圖片中目標圖像的個數，如一張圖片中可能有一輛車或者多輛車；第二列後面的列表示該圖片集合中每張圖片中目標圖像標註的區域，即該目標圖像在該圖片中的坐標，如用左上角的坐標topLeft_x和topLeft_y，以及右下角坐標 bottomRight_x和 bottomRight_y表示。可以理解的是，若某張圖片中的目標圖像的個數大於1，那麼該張圖片對應著多個左上角坐標和多個右下角坐標。如果該文件夾中第二列的數目大於或者等於1，那麼該列表的第二列之後至少會存在4列數目，且該第二列後面的列的數目一定是4的倍數。
該圖像檢測模型包括兩部分，第一部分為區域生成網路，用於生成該待檢測圖片中目標圖像所在的候選區域，該候選區域為在該待檢測圖片中，該目標圖像可能存在的矩形區域；第二部分是目標檢測網路，用於在該候選區域中確定該目標圖像所在的目標區域。需要說明的是，該區域生成網路是一個深度全卷積神經網路。該卷積神經網路是一種前饋神經網路，它的人工神經元可以響應一部分覆蓋範圍內的周圍單元，對於大型圖像處理有出色表現。該卷積神經網路的基本結構包括兩層，其一為特徵提取層，每個神經元的輸入與前一層的局部接受域相連，並提取該局部的特徵，一旦該局部特徵被提取後，它與其它特徵間的位置關係也隨之確定下來；其二是特徵映射層，網路的每個計算層由多個特徵映射組成，每個特徵映射是一個平面，平面上所有神經元的權值相等。
進一步地，該圖像焦距檢測裝置100還包括：
一獲取模組，用於獲取與該圖像檢測模型所能檢測的目標圖像對應的預設資料；
一調整模組，用於根據該預設資料調整該圖像檢測模型的區域生成網路，得到調整後的該區域生成網路；
在使用該圖像檢測模型之前，要先訓練該圖像檢測模型中的區域生成網路，即優化該圖像檢測模型。首先對該圖像檢測模型中區域生成網路進行訓練，具體過程為：在該區域生成網路中輸入與該圖像檢測模型所檢測的目標圖像對應的圖片，即獲取與該圖像檢測模型所能檢測的目標圖像對應的預設資料。可以理解的是，預設資料是與該目標圖像對應的圖片。在得到與該目標圖像對應的圖片後，根據與該目標圖像對應的圖片測試該區域生成網路，得到測試結果，根據該測試結果調整該區域生成網路，得到調整後的該區域生成網路。在本實施例中，為了減小訓練該區域生成網路的時間，可先對該區域生成網路初始化。
一生成模組，用於通過調整後的該區域生成網路生成目標區域訓練資料；
一優化模組，用於根據該目標區域訓練資料優化該圖像檢測模型的目標檢測網路；
一第三確定模組，用於確定該區域生成網路和該目標檢測網路共享的特徵提取層，固定該特徵提取層。
當得到調整後的該區域生成網路之後，通過輸入該區域生成網路中的圖片在調整後的該區域生成網路中生成目標區域訓練資料，根據該目標區域訓練資料測試該圖像檢測模型的目標檢測網路，得到測試結果，根據該測試結構優化該目標檢測網路。當優化該目標檢測網路之後，獲取優化後的該目標檢測網路的特徵提取層，通過該目標檢測網路的特徵提取層初始化該區域生成網路的特徵提取層，固定該區域生成網路的特徵提取層。當固定住該區域生成網路的特徵提取層時，將該區域生成網路的特徵提取層複製到該目標檢測網路中，以固定該目標檢測網路和該區域生成網路共享的特徵提取層。可以理解的是，該區域生成網路和該目標檢測網路共享特徵提取層，即共享多層卷積層。在訓練該區域生成網路和該目標檢測網路過程中，對該區域生成網路和該目標檢測網路交替優化。
一計算模組20，用於計算該目標區域在該待檢測圖片中所占的面積比例。
當確定該待檢測圖片中的目標圖像所在的目標區域後，計算該目標區域的面積和該待檢測圖片的面積，將該目標區域的面積除以該待檢測圖片的面積，得到該目標區域在該待檢測圖片中所占的面積比例。
一第二確定模組30，用於根據該面積比例確定拍攝該待檢測圖片的焦距是否符合拍攝要求。
當確定該目標區域在該待檢測圖片中所占的面積比例後，根據該面積比例確定拍攝該待檢測圖片的焦距是否符合拍攝要求。
進一步地，該第二確定模組30包括： 一判斷單元，用於判斷該面積比例是否小於預設閾值；以及 一確定單元，用於若該面積比例小於該預設閾值，則確定拍攝該待檢測圖片的焦距不符合拍攝要求；若該面積比例大於或者等於該預設閾值，則確定拍攝該待檢測圖片的焦距符合拍攝要求。
根據該面積比例確定拍攝該待檢測圖片的焦距是否符合拍攝要求的具體過程為：判斷該面積比例是否小於預設閾值，其中，該預設閾值為根據具體需要而設置，如可設置為0.05、0.08、或者0.10等。當該面積比例小於該預設閾值時，確定拍攝該待檢測圖片的焦距不符合拍攝求；當該面積比例大於或者等於該預設閾值時，確定拍攝該待檢測圖片的焦距符合拍攝要求。進一步地，當確定拍攝該待檢測圖片的焦距不符合拍攝求時，輸出提示訊息，提示用戶拍攝該待檢測圖片的距離過遠，需要重新拍攝該待檢測圖片；當確定拍攝該待檢測圖片的焦距符合拍攝要求時，輸出提示訊息，提示用戶所拍攝的該待檢測圖片符合拍攝要求，並存儲該待檢測圖片。
本實施例通過預置的圖像檢測模型確定所獲取的待檢測圖片中目標圖像所在的目標區域，計算該目標區域在該待檢測圖片中所占的面積比例，根據該面積比例確定拍攝該待檢測圖片的焦距是否符合拍攝要求。實現了自動篩選拍攝過程中焦距不符合要求的圖片，降低了篩選拍攝過程中焦距不符合要求的圖片的難度。
進一步地，基於本發明圖像焦距檢測裝置100的較佳實施例提出本發明的另一實施例，在本實施例中，該第一確定模組10還用於獲取已拍攝的該待檢測圖片，將該待檢測圖片載入該圖像檢測模型的區域生成網路中，以確定該目標圖像在該待檢測圖片中的候選區域，其中，該區域生成網路是卷積神經網路；將該候選區域載入該圖像檢測模型的目標檢測網路中，以確定該候選區域中的該目標圖像所在的目標區域。
當獲取到已拍攝的該待檢測圖片時，將該待檢測圖片載入該圖像檢測模型的區域生成網路中，通過該區域生成網路確定該待檢測圖片中的候選區域。將該候選區域載入該圖像檢測模型的目標檢測網路中，以確定該候選區域中的該目標圖像所在的目標區域。在本實施例中，該待檢測圖片中的候選區域有一個或者多個，且每個候選區域中可能存在該目標圖像。進一步地，該候選區域的形狀為矩形，該區域生成網路是卷積神經網路。為了提高確定該目標圖像所在的目標區域的速度，該區域生成網路和該目標檢測網路共享特徵提取層。
確定該目標圖像所在的目標區域的具體過程為：在該區域生成網路的最後一個卷積層中輸出的特徵映射上設置一個輸入維度為n x n的小卷積網路。需要說明的是，該卷積網路的維度n x n小於該區域生成網路的最後一個卷積層的維度N x N（該n和N為正整數），即將該區域生成網路的最後一個卷積層所覆蓋的區域映射到一個更低維度的特徵映射層上。該特徵映射層與兩個平行的完全連接層連接。在本實施例中，這兩個完全連接層分別稱為cls層和reg層。該cls層用於確定該候選區域中含有目標圖像的可能性，即含有該候選區域中含有目標圖像的機率，該reg層用於確定該候選區域中該目標圖像所在的位置，以確定該目標圖像的尺寸和位移。如當該小卷積網路維度設定為3x3時，該區域生成網路是一個尺度為3x3的卷積核，輸出為256的卷積網路層，該卷積網路層後面連接兩個完全卷積層cls層和reg層。該3x3的卷積核在每個位置上會以3種縮放和3種寬高模式共計9種模式生成該候選區域，以確定載入該目標檢測網路中的候選區域中目標圖像的尺寸和位移具有強健性。
進一步地，該第一確定模組10包括： 一獲取單元，用於獲取該圖像檢測模型中與該目標圖像對應的參考區域；以及 一優化單元，用於計算該候選區域和該參考區域中該目標圖像所在位置的誤差，根據該誤差，通過網路優化函數優化該區域生成網路。
在確定該候選區域後，獲取該圖像檢測模型中與該目標圖像對應的參考區域，該參考區域由該圖像檢測模型中所存儲的標註訊息確定。確定該候選區域中目標圖像所在的位置的左上角坐標和右下角坐標，以及確定該參考區域中目標圖像所在位置的左上角坐標和右下角坐標。根據該候選區域中目標圖像所在的位置的左上角坐標和右下角坐標確定該目標圖像在該候選區域中的範圍，記為第一範圍；根據該參考區域中目標圖像所在位置的左上角坐標和右下角坐標確定該目標圖像在該參考區域中的範圍，記為第二範圍。計算該第一範圍和該第二範圍之間的交集，以及計算該第一範圍和該第二範圍之間的並集，將該交集除以該並集，得到該候選區域和該參考區域中該目標圖像所在位置之間的誤差。將該誤差與預設誤差進行對比，判斷該誤差是否大於預設誤差。當該誤差大於或者等於該預設誤差時，表示該候選區域含有該目標圖像；當該誤差小於該預設誤差時，表示該候選區域不含有該目標圖像。其中，該預設誤差可根據具體需要而設置，在本實施例中，該預設誤差設置為0.7。
當得到該誤差後，根據該誤差，通過網路優化函數優化該區域生成網路，具體是優化該區域生成網路中的神經元。該網路優化函數L為：
其中，是多個候選區域所組成的候選區域集合的索引，是第個候選區域中存在目標圖像的機率。表示該候選區域是否含有該目標圖像，取值為0或者1，當取值為1時，表示該候選區域含有該目標圖像，當取值為0時，表示該候選區域不含有該目標圖像，由該誤差決定。是該區域生成網路預測的該目標圖像在該候選區域中的坐標，形式上是一個4維向量。是輸入該候選區域中目標圖像的數量，在本實施例中，=256，是該候選區域做3種縮放和3種寬高比變換後得到的新候選區域的數量，在本實施例中，=256*9。λ被設置為 10，以平衡確定該候選區域和該目標區域的重要程度。可以理解的是，在其它實施例中，該、和λ可根據需要設置為其它值。
本實施例通過將該待檢測圖片載入該圖像檢測模型的區域生成網路和目標檢測網路中，得到該待檢測網路中目標圖像所在的目標區域，從而根據該目標區域實現自動判斷拍攝該待檢測圖片的焦距是否滿足拍攝要求。
需要說明的是，在本文中，術語“包括”、“包含”或者其任何其它變化意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者系統不僅包括那些要素，而且還包括沒有明確列出的其它要素，或者是還包括為這種過程、方法、物品或者系統所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，並不排除在包括該要素的過程、方法、物品或者系統中還存在另外的相同要素。
上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。
通過以上的實施方式的描述，本領域的技術人員可以清楚地瞭解到上述實施例方法可借助軟體加必需的通用硬體平臺的方式來實現，當然也可以通過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個存儲媒介（如ROM/RAM、磁碟、光碟）中，包括若干指令用以使得一台終端設備（可以是手機、電腦、伺服器、或者網路設備等）執行本發明各個實施例該的方法。
以上僅為本發明的較佳實施例，並非因此限制本發明的專利範圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發明的專利保護範圍內。
100‧‧‧圖像焦距檢測裝置
10‧‧‧第一確定模組
20‧‧‧計算模組
30‧‧‧第二確定模組
圖1為本發明圖像焦距檢測方法的較佳實施例的流程示意圖。 圖2為本發明實施例中獲取已拍攝的待檢測圖片，通過預置的圖像檢測模型確定該待檢測圖片中目標圖像所在的目標區域的一種流程示意圖。 圖3為本發明圖像焦距檢測裝置的較佳實施例的功能模組示意圖。 本發明目的的實現、功能特點及優點將結合實施例，參照附圖做進一步說明。

Claims (6)

  1. 一種圖像焦距檢測方法，包括：獲取已拍攝的待檢測圖片，通過預置的圖像檢測模型確定該待檢測圖片中目標圖像所在的目標區域，包括下列步驟：獲取已拍攝的該待檢測圖片，將該待檢測圖片載入該圖像檢測模型的區域生成網路中，以確定該目標圖像在該待檢測圖片中的候選區域，其中，該區域生成網路是卷積神經網路；獲取該圖像檢測模型中與該目標圖像對應的參考區域；計算該候選區域和該參考區域中該目標圖像所在位置的誤差，根據該誤差，通過網路優化函數優化該區域生成網路，其中該誤差之計算包含下列步驟：根據該候選區域中該目標圖像所在位置的左上角坐標和右下角坐標確定該目標圖像在該候選區域中的範圍，記為一第一範圍；根據該參考區域中該目標圖像所在位置的左上角坐標和右下角坐標確定該目標圖像在該參考區域中的範圍，記為一第二範圍；計算該第一範圍和該第二範圍之間的交集，以及計算該第一範圍和該第二範圍之間的並集；以及將該交集除以該並集，得到該候選區域和該參考區域中該目標圖像所在位置之間的誤差；以及將該候選區域載入該圖像檢測模型的目標檢測網路中，以確定該候選區域中的該目標圖像所在的目標區域；計算該目標區域在該待檢測圖片中所占的面積比例；以及根據該面積比例確定拍攝該待檢測圖片的焦距是否符合拍攝要求。
  2. 如請求項1所述的圖像焦距檢測方法，其中該根據該面積比例確定拍攝該待檢測圖片的焦距是否符合拍攝要求的步驟包括：判斷該面積比例是否小於預設閾值：若該面積比例小於該預設閾值，則確定拍攝該待檢測圖片的焦距不符合拍攝要求；以及若該面積比例大於或者等於該預設閾值，則確定拍攝該待檢測圖片的焦距符合拍攝要求。
  3. 如請求項1至2中任一項所述的圖像焦距檢測方法，其中該獲取已拍攝的待檢測圖片，通過預置的圖像檢測模型確定該待檢測圖片中目標圖像所在的目標區域的步驟之前，還包括：獲取與該圖像檢測模型所能檢測的目標圖像對應的預設資料；根據該預設資料調整該圖像檢測模型的區域生成網路，得到調整後的該區域生成網路；通過調整後的該區域生成網路生成目標區域訓練資料；根據該目標區域訓練資料優化該圖像檢測模型的目標檢測網路；以及確定該區域生成網路和該目標檢測網路共享的特徵提取層，固定該特徵提取層。
  4. 一種圖像焦距檢測裝置，包括：一第一確定模組，用於獲取已拍攝的待檢測圖片，通過預置的圖像檢測模型確定該待檢測圖片中目標圖像所在的目標區域，該第一確定模組還用於將該待檢測圖片載入該圖像檢測模型的區域生成網路中，以確定該目標圖像在該待檢測圖片中的候選區域，其中，該區域生成網路是卷積神經網路；將該候選區域載入該圖像檢測模型的目標檢測網路中，以確定該候選區域中的該目標圖像所在的目標區域，該第一確定模組包括：一獲取單元，用於獲取該圖像檢測模型中與該目標圖像對應的參考區域；以及一優化單元，用於計算該候選區域和該參考區域中該目標圖像所在位置的誤差，其係根據該候選區域中該目標圖像所在位置的左上角坐標和右下角坐標確定該目標圖像在該候選區域中的範圍，記為一第一範圍，再根據該參考區域中該目標圖像所在位置的左上角坐標和右下角坐標確定該目標圖像在該參考區域中的範圍，記為一第二範圍，接著計算該第一範圍和該第二範圍之間的交集，及計算該第一範圍和該第二範圍之間的並集，再將該交集除以該並集，得到該候選區域和該參考區域中該目標圖像所在位置之間的誤差，根據該誤差，通過網路優化函數優化該區域生成網路；一計算模組，用於計算該目標區域在該待檢測圖片中所占的面積比例；以及一第二確定模組，用於根據該面積比例確定拍攝該待檢測圖片的焦距是否符合拍攝要求。
  5. 如請求項4所述的圖像焦距檢測裝置，其中該第二確定模組包括：一判斷單元，用於判斷該面積比例是否小於預設閾值；以及一確定單元，用於若該面積比例小於該預設閾值，則確定拍攝該待檢測圖片的焦距不符合拍攝要求；若該面積比例大於或者等於該預設閾值，則確定拍攝該待檢測圖片的焦距符合拍攝要求。
  6. 如請求項4至5中任一項所述的圖像焦距檢測裝置，其中該圖像焦距檢測裝置還包括：一獲取模組，用於獲取與該圖像檢測模型所能檢測的目標圖像對應的預設資料；一調整模組，用於根據該預設資料調整該圖像檢測模型的區域生成網路，得到調整後的該區域生成網路；一生成模組，用於通過調整後的該區域生成網路生成目標區域訓練資料；一優化模組，用於根據該目標區域訓練資料優化該圖像檢測模型的目標檢測網路；以及一第三確定模組，用於確定該區域生成網路和該目標檢測網路共享的特徵提取層，固定該特徵提取層。
TW106132589A 2016-12-28 2017-09-22 圖像焦距檢測方法及其裝置 TWI658730B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201611240404.3 2016-12-28
CN201611240404.3A CN106686308B (zh) 2016-12-28 2016-12-28 图像焦距检测方法和装置

Publications (2)

Publication Number Publication Date
TW201841491A TW201841491A (zh) 2018-11-16
TWI658730B true TWI658730B (zh) 2019-05-01

Family

ID=58873212

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106132589A TWI658730B (zh) 2016-12-28 2017-09-22 圖像焦距檢測方法及其裝置

Country Status (3)

Country Link
CN (1) CN106686308B (zh)
TW (1) TWI658730B (zh)
WO (1) WO2018120460A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108848301A (zh) * 2018-05-23 2018-11-20 阿里巴巴集团控股有限公司 一种票据拍摄交互方法、装置、处理设备及客户端
WO2020087383A1 (zh) * 2018-10-31 2020-05-07 深圳市大疆创新科技有限公司 一种基于图像识别的控制方法、装置及控制设备
CN110267041B (zh) 2019-06-28 2021-11-09 Oppo广东移动通信有限公司 图像编码方法、装置、电子设备和计算机可读存储介质
CN110276767B (zh) 2019-06-28 2021-08-31 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110248096B (zh) 2019-06-28 2021-03-12 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN110456829B (zh) * 2019-08-07 2022-12-13 深圳市维海德技术股份有限公司 定位跟踪方法、装置及计算机可读存储介质
CN110660090B (zh) 2019-09-29 2022-10-25 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN110796041B (zh) 2019-10-16 2023-08-18 Oppo广东移动通信有限公司 主体识别方法和装置、电子设备、计算机可读存储介质
CN110989344A (zh) * 2019-11-27 2020-04-10 云南电网有限责任公司电力科学研究院 一种巡检机器人预置参数自动调整方法及系统
CN111626995B (zh) * 2020-05-19 2024-03-01 上海艾豚科技有限公司 一种针对工件的智能嵌件检测方法和装置
CN113096077B (zh) * 2021-03-25 2024-05-03 深圳力维智联技术有限公司 异常比例检测方法、装置、设备及计算机可读存储介质
TWI774418B (zh) * 2021-06-11 2022-08-11 大陸商廣州立景創新科技有限公司 相機模組、對焦調整系統及對焦方法
CN113242387B (zh) * 2021-06-11 2022-05-03 广州立景创新科技有限公司 相机模块、对焦调整系统及对焦方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020947A (zh) * 2011-09-23 2013-04-03 阿里巴巴集团控股有限公司 一种图像的质量分析方法及装置
CN103024165A (zh) * 2012-12-04 2013-04-03 华为终端有限公司 一种自动设置拍摄模式的方法和装置
CN106250931A (zh) * 2016-08-03 2016-12-21 武汉大学 一种基于随机卷积神经网络的高分辨率图像场景分类方法
CN106255978A (zh) * 2014-04-29 2016-12-21 微软技术许可有限责任公司 面部表情跟踪

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100064533A (ko) * 2008-12-05 2010-06-15 삼성전자주식회사 카메라를 이용한 문자 크기 자동 조절 장치 및 방법
EP2842077A4 (en) * 2012-04-26 2016-04-20 Univ Columbia SYSTEMS, METHODS AND MEDIA FOR INTERACTIVE REFOCUSING OF PICTURES
CN103810696B (zh) * 2012-11-15 2017-03-22 浙江大华技术股份有限公司 一种目标对象图像检测方法及装置
CN105096350B (zh) * 2014-05-21 2019-01-11 腾讯科技（深圳）有限公司 图像检测方法及装置
CN105654451A (zh) * 2014-11-10 2016-06-08 中兴通讯股份有限公司 一种图像的处理方法和装置
CN105894458A (zh) * 2015-12-08 2016-08-24 乐视移动智能信息技术（北京）有限公司 一种具有人脸的图像处理方法和装置
CN105915791B (zh) * 2016-05-03 2019-02-05 Oppo广东移动通信有限公司 电子装置控制方法及装置、电子装置
CN106156749A (zh) * 2016-07-25 2016-11-23 福建星网锐捷安防科技有限公司 基于选择性搜索的人脸检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020947A (zh) * 2011-09-23 2013-04-03 阿里巴巴集团控股有限公司 一种图像的质量分析方法及装置
CN103024165A (zh) * 2012-12-04 2013-04-03 华为终端有限公司 一种自动设置拍摄模式的方法和装置
CN106255978A (zh) * 2014-04-29 2016-12-21 微软技术许可有限责任公司 面部表情跟踪
CN106250931A (zh) * 2016-08-03 2016-12-21 武汉大学 一种基于随机卷积神经网络的高分辨率图像场景分类方法

Also Published As

Publication number Publication date
CN106686308A (zh) 2017-05-17
CN106686308B (zh) 2018-02-16
WO2018120460A1 (zh) 2018-07-05
TW201841491A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
TWI658730B (zh) 圖像焦距檢測方法及其裝置
CN110516665A (zh) 识别图像叠加文字区域的神经网络模型构建方法与系统
US20090092277A1 (en) Geo-Relevance for Images
JP7105383B2 (ja) 画像処理方法、装置、記憶媒体及び電子機器
JP2003344021A (ja) 画像中の人の顔の寸法を計算する方法及び顔を検出する方法
WO2022105608A1 (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN111144215B (zh) 图像处理方法、装置、电子设备及存储介质
CN110705532B (zh) 一种识别翻拍图像的方法、装置及设备
CN107133951B (zh) 图像篡改检测方法及装置
CN113255685B (zh) 一种图像处理方法、装置、计算机设备以及存储介质
CN110223320B (zh) 物体检测跟踪方法和检测跟踪装置
CN111027551B (zh) 图像处理方法、设备和介质
CN113281780A (zh) 对图像数据进行标注的方法、装置及电子设备
CN112580581A (zh) 目标检测方法、装置及电子设备
Liu et al. Robust and accurate mobile visual localization and its applications
WO2021098346A1 (zh) 人体朝向检测方法、装置、电子设备和计算机存储介质
US11012613B2 (en) Flat surface detection in photographs
CN114663714A (zh) 图像分类、地物分类方法和装置
CN113989376A (zh) 室内深度信息的获取方法、装置和可读存储介质
CN113191401A (zh) 基于视觉显著性共享的用于三维模型识别的方法及装置
CN113240050A (zh) 一种特征融合权重可调的金属打印熔池检测方法
CN109064393B (zh) 人脸特效处理方法及装置
CN113192085A (zh) 三维器官图像分割方法、装置及计算机设备
CN113420844B (zh) 物体缺陷检测方法、装置、电子设备和存储介质
CN113160414B (zh) 货物余量自动识别方法、装置、电子设备以及计算机可读介质