TWI784754B - 電子裝置以及物件偵測方法 - Google Patents

電子裝置以及物件偵測方法 Download PDF

Info

Publication number
TWI784754B
TWI784754B TW110138434A TW110138434A TWI784754B TW I784754 B TWI784754 B TW I784754B TW 110138434 A TW110138434 A TW 110138434A TW 110138434 A TW110138434 A TW 110138434A TW I784754 B TWI784754 B TW I784754B
Authority
TW
Taiwan
Prior art keywords
image
parameter
processor
coordinates
parameters
Prior art date
Application number
TW110138434A
Other languages
English (en)
Other versions
TW202242802A (zh
Inventor
准雄 胡
韓學新
Original Assignee
威盛電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 威盛電子股份有限公司 filed Critical 威盛電子股份有限公司
Priority to CN202111600306.7A priority Critical patent/CN114255271A/zh
Priority to US17/686,623 priority patent/US12118743B2/en
Publication of TW202242802A publication Critical patent/TW202242802A/zh
Application granted granted Critical
Publication of TWI784754B publication Critical patent/TWI784754B/zh

Links

Images

Landscapes

  • Geophysics And Detection Of Objects (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Processing (AREA)

Abstract

本發明提出一種電子裝置以及物件偵測方法。電子裝置包括儲存裝置以及處理器。儲存裝置儲存估計模組。處理器耦接儲存裝置,並且用以執行估計模組。處理器取得由影像感測器提供的感測影像,並且處理器將感測影像輸入估計模組,以使估計模組輸出多個估計參數。處理器根據多個估計參數計算感測影像中的物件影像的二維影像中心座標,並且處理器根據二維影像中心座標以及多個估計參數中的偏移參數計算對應於物件影像的三維立體物件中心座標。

Description

電子裝置以及物件偵測方法
本發明是有關於一種影像分析技術,且特別是有關於一種電子裝置以及物件偵測方法。
對於現有的影像物件偵測技術,如要對影像中的物件進行正確的位置判斷,則影像中的物件必須為完整物件影像,以使處理器可正確透過完整物件影像的物件範圍來進行分析,以判斷正確的物件中心。換言之,若影像中的物件為截斷影像(truncated image),則處理器將無法正確地判斷物件中心,而取得錯誤的位置資訊。對此,例如在行車距離感測的相關應用中,若行車影像中的車輛影像為截斷影像,則使用者所駕駛的車輛將無法判斷此車輛影像的正確位置,而可能導致後續的例如車輛自動警示、車輛距離偵測或車輛自動駕駛等功能發生錯誤判斷。這個問題在只利用單一的單眼攝影機(monocular camera)的行車距離感測的相關應用中尤其需要解決。
有鑑於此,本發明提供一種電子裝置以及物件偵測方法,可對於感測影像中的物件影像進行正確的位置判斷。
本發明的電子裝置包括儲存裝置以及處理器。儲存裝置儲存估計模組。處理器耦接儲存裝置,並且用以執行估計模組。處理器取得由影像感測器提供的感測影像。處理器將感測影像輸入估計模組,以使估計模組輸出多個估計參數。處理器根據多個估計參數計算感測影像中的物件影像的二維影像中心座標。處理器根據二維影像中心座標以及多個估計參數中的偏移參數計算對應於物件影像的三維立體中心座標。
本發明的物件偵測方法包括以下步驟:執行估計模組;取得由影像感測器提供的感測影像;將感測影像輸入估計模組,以使估計模組輸出多個估計參數;根據多個估計參數計算感測影像中的物件影像的二維影像中心座標;以及根據二維影像中心座標以及多個估計參數中的偏移參數計算對應於物件影像的三維立體中心座標。
基於上述,本發明的電子裝置以及物件偵測方法,可判斷對應於感測影像中的物件影像的物件的三維立體中心座標,以使可正確地判斷物件的位置。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
為了使本發明之內容可以被更容易明瞭,以下特舉實施例做為本揭示確實能夠據以實施的範例。另外,凡可能之處,在圖式及實施方式中使用相同標號的元件/構件/步驟,係代表相同或類似部件。
現有物件偵測方法普遍無法正確地判斷截斷物件影像中的物件位置資訊。圖5是使用現有物件偵測方法的單眼攝影機的感測影像結果的示意圖,其中感測影像500包含物件501的截斷影像。現有物件偵測方法判斷出的矩形標記502標示出物件501在感測影像500中的影像範圍,而503是矩形標記502的中心;現有物件偵測方法判斷出的立方體標記504標示出物件501在三維空間中的範圍,而505是立方體標記504在三維空間中的中心。由圖5可以看出,現有物件偵測方法所判斷出的物件501在三維空間中的範圍(即立方體標記504)明顯與物件501的真實位置有差距。有些應用中會通過使用多個攝影機取得全景(panoramic)影像以避免出現截斷影像,但這些做法會提高成本與影像系統的複雜度。本發明旨在不提高成本與影像系統複雜度的前提下,改善只利用單一的單眼攝影機的物件偵測方法對於截斷影像的物件位置資訊的準確度。
圖1是本發明的一實施例的電子裝置的示意圖。參考圖1,電子裝置100包括處理器110以及儲存裝置120。處理器110耦接儲存裝置120以及外部的影像感測器200。儲存裝置120用以儲存估計模組121。在本實施例中,電子裝置100可例如是整合在車輛的嵌入式設備,並且影像感測器200可例如是設置在車輛上的車用攝影機,以用於拍攝車輛前方或周圍車況的影像。處理器110可例如透過分析由影像感測器200提供的即時影像,以偵測車輛附近的其他車輛物件的位置,來提供例如車輛自動警示或車輛自動駕駛等功能的相關資料運算使用。然而,本發明的電子裝置的實施態樣並不限於此。在一實施例中,電子裝置100也可以是設置在其他可移動設備上或靜態設備上,並且透過影像感測器200感測周圍影像,而使處理器110可透過分析由影像感測器200提供的即時影像來進行周圍的物件偵測操作。
在本實施例中,估計模組121可為物件偵測神經網路(Neural Network,NN)模組,並且可例如是使用關鍵點估計網路(Keypoint estimation network),其中關鍵點估計網路還可例如是採用CenterNet演算法或ExtermeNet演算法來實現之。關鍵點估計網路可以將影像中的物件偵測為影像中的關鍵點,並將物件的其他性質(例如物件大小或位置等)當成是該關鍵點的回歸問題(regression problem)來進行估計。然而,本發明的估計模組121並不限於上述說明。在本發明的另一些實施例中,估計模組121也可採用其他神經網路模型或其他類似的可估計影像中的多個關鍵點的演算法來實現之。
在本實施例中,處理器110可例如是中央處理器(Central Processing Unit,CPU)、微處理器(Microprocessor Control Unit,MCU)或現場可程式閘陣列(Field Programmable Gate Array,FPGA)等諸如此類的處理電路或控制電路,並且本發明並不限於此。在本實施例中,儲存裝置120可例如是記憶體(Memory),並且用以儲存估計模組121、由影像感測器200所提供的影像資料以及相關軟體程式或演算法,以供處理器110存取並執行之。影像感測器200可為CMOS影像感測器(CMOS Image Sensor,CIS)或感光耦合元件(Charge Coupled Device,CCD)的攝影機。
圖2是本發明的一實施例的參考影像的示意圖。參考圖1以及圖2。在本實施例中,估計模組121可預先使用多組參考影像以及對應於多組參考影像的多組參考估計參數來訓練,並且多組參考影像的每一個包括至少一個參考物件影像,每一參考物件對應一組參考估計參數。每一組參考影像可包括由一參考影像收集系統(例如是具有多個外部攝影機的影像收集車輛)的多個不同的影像感測器來分別取得的多個參考影像所組成,例如由前(主)攝影機與側(輔助)攝影機分別取得的多個參考影像所組成,如此一來在前(主)攝影機的影像中為截斷影像的物件可以在側(輔助)攝影機的影像中取得物件被截斷的其他影像部分,以得到物件的完整影像以訓練估計模組121。每一參考物件對應的參考估計參數可由多個不同的感測器來收集之,例如包含距離感測器,以對每一參考物件標註(annotate)對應的參考估計參數。在本實施例中,用於訓練估計模組121的每一組參考影像與參考估計參數可例如是NuScenes數據集或是KITTI數據集,但本發明並不限於此。
如圖2所示,圖2的參考影像210以及參考影像220可為一組參考影像。參考影像210以及參考影像220可分別由兩個不同的影像感測器來分別取得。在本實施例中,參考影像210可例如由前(主)攝影機取得,並且參考影像220可例如由側(輔助)攝影機取得。並且,參考影像210以及參考影像220可對應於一組參考估計參數,並且一組參考估計參數例如包括如以下表1的多個估計參數。
參考估計參數 數值範圍
x_Left 0~影像(圖框)寬度
y_Top 0~影像(圖框)高度
x_Right 0~影像(圖框)寬度
y_Bottom 0~影像(圖框)高度
Figure 02_image001
>0
Figure 02_image003
>0
Figure 02_image005
>0
Loc_Z >0
Rot_Y
Figure 02_image007
Figure 02_image009
Figure 02_image011
Figure 02_image013
Figure 02_image011
表1
參考上述表1,一組參考估計參數中包括對應於如圖2所示的矩形標記202的第一邊界座標x_Left、第二邊界座標y_Top、第三邊界座標x_Right以及第四邊界座標y_Bottom。矩形標記202用於定義前(主)攝影機所取得的參考影像210中的部分的參考物件影像201的影像範圍,並且第一邊界座標x_Left、第二邊界座標y_Top、第三邊界座標x_Right以及第四邊界座標y_Bottom可用於決定矩形標記202的中心點203的二維影像中心座標
Figure 02_image015
。第一邊界座標x_Left可用於描述矩形標記202的左側邊界的位置。第二邊界座標y_Top可用於描述矩形標記202的上側邊界的位置。第三邊界座標x_Right可用於描述矩形標記202的右側邊界的位置。第四邊界座標y_Bottom可用於描述矩形標記202的下側邊界的位置。另外,第一邊界座標x_Left、第二邊界座標y_Top、第三邊界座標x_Right以及第四邊界座標y_Bottom的單位可為像素(pixel)數目。
參考上述表1,一組參考估計參數中還包括對應於如圖2所示的參考影像210以及參考影像220中的立方體標記204的高度參數
Figure 02_image001
、寬度參數
Figure 02_image003
、長度參數
Figure 02_image005
、相機座標位置參數以及旋轉參數Rot_Y。立方體標記204用於定義參考物件影像201在三維空間中所對應的立體物件範圍,並且高度參數
Figure 02_image001
、寬度參數
Figure 02_image003
、長度參數
Figure 02_image005
、相機座標位置參數以及旋轉參數Rot_Y用於決定立方體標記204的中心點205在影像平面中的投影的三維立體中心座標
Figure 02_image017
。高度參數
Figure 02_image001
可用於描述立方體標記204的高度。寬度參數
Figure 02_image003
可用於描述立方體標記204的寬度。長度參數
Figure 02_image005
可用於描述立方體標記204的長度。旋轉參數Rot_Y可用於描述立方體標記204在中心點205繞前(主)攝影機的相機座標Y軸旋轉的角度,即立方體標記204長軸方向在相機座標X-Z平面上與X軸之夾角。另外,高度參數
Figure 02_image001
、寬度參數
Figure 02_image003
以及長度參數
Figure 02_image005
的單位可為公尺(meter)。
參考上述表1,相機座標位置參數可包括參數Loc_Z。相機座標位置參數Loc_Z可用於描述參考物件影像201在三維空間中所對應的立體物件與前(主)攝影機的之間的相機座標Z軸上的空間距離,亦即參考物件影像201在三維空間中所對應的立體物件的深度。另外,相機座標位置參數Loc_Z的單位可為公尺(meter)。在其他實施例中,相機座標位置參數還可包括參數Loc_X以及Loc_Y以用於描述參考物件影像201在三維空間中所對應的立體物件在相機座標X軸與Y軸上的空間位置。
參考上述表1,偏移參數可包括在對應於參考感測影像210的影像平面上的水平方向的第一偏移參數
Figure 02_image009
以及垂直方向的第二偏移參數
Figure 02_image013
。偏移參數的第一偏移參數
Figure 02_image009
以及第二偏移參數
Figure 02_image013
可根據三維立體中心座標
Figure 02_image017
以及二維影像中心座標
Figure 02_image015
來決定。偏移參數的第一偏移參數
Figure 02_image009
以及第二偏移參數
Figure 02_image013
可用於描述在參考影像210的影像平面中的矩形標記202的中心點203的二維影像中心座標
Figure 02_image015
與立方體標記204的中心點205的三維立體中心座標
Figure 02_image017
之間的座標距離。另外,偏移參數的第一偏移參數
Figure 02_image009
以及第二偏移參數
Figure 02_image013
的單位可為像素數目。
當用於訓練估計模組121的參考影像與參考估計參數(例如NuScenes數據集或KITTI數據集)並未標註對應的偏移參數時,可針對各參考物件由其三維立體中心座標
Figure 02_image017
以及二維影像中心座標
Figure 02_image015
來算出其偏移參數並對各參考物件進行標註。詳細而言,二維影像中心座標
Figure 02_image015
可由以下公式(1)的計算所獲得。根據公式(2)的前(主)攝影機的相機校正矩陣(Camera calibration matrix)P,立方體標記204的中心點205在相機座標(camera coordinates)空間中的座標
Figure 02_image019
可由以下公式(3)至公式(5)的計算所獲得。立方體標記204經由旋轉參數Rot_Y後的長度、寬度、高度尺寸C可由以下公式(6)來描述之。立方體標記204在三維的相機座標空間中的八個頂點座標可由以下公式(7)來描述之。立方體標記204的八個頂點在二維的影像平面上的投影座標可由以下公式(9)來描述之,其中公式(9)可基於公式(7)以及公式(8)的計算而產生。立方體標記204的中心點205在影像平面中的投影的三維立體中心座標
Figure 02_image017
可由以下公式(10)的計算而獲得。最後,偏移參數
Figure 02_image021
可由以下公式(11)的計算而獲得。
Figure 02_image023
……(1)
Figure 02_image025
……(2)
Figure 02_image027
……(3)
Figure 02_image029
……(4)
Figure 02_image031
……(5)
Figure 02_image033
……(6)
Figure 02_image035
……(7)
Figure 02_image037
……(8)
Figure 02_image039
……(9)
Figure 02_image041
……(10)
Figure 02_image043
……(11)
另外,在一實施例中,若偏移參數的第一參數
Figure 02_image009
以及第二參數
Figure 02_image013
在參考估計參數中已標註(例如預先透過其他感測器取得),則上述公式(1)-(11)的計算可不需要進行。在其他實施例中,估計參數還可以包含其他參數,例如物件類型、物件截斷狀態、物件遮蔽(occlusion)狀態等。
在本實施例中,估計模組121還使用L1損失函數(L1 loss function)來訓練之,其中可例如透過以下公式(12)的L1損失函數來訓練神經網路模型以使其能回歸得出偏移參數
Figure 02_image021
。在公式(12)中,N代表影像中的關鍵點的數量。
Figure 02_image045
代表物件k的偏移參數
Figure 02_image021
的預測結果。
Figure 02_image047
代表物件k的真實偏移參數。因此,估計模組121經由上述公式(12)的損失函數進行模型訓練後,估計模組121可實現準確的偏移參數的回歸估計功能。然而,本發明的估計模組121並不限於上述L1損失函數(L1 loss function)的訓練方式,估計模組121也可利用其他損失函數來訓練之,例如均方誤差(Mean Squared Error,MSE)損失函數或均方根對數誤差(Mean Squared Logarithmic Error,MSLE)損失函數。表1中的其他的估計參數如物件位置或物件大小相關的參數等也可用類似方法訓練估計模組121以回歸得出該些估計參數,在此不贅述。
Figure 02_image049
……(12)
上述的估計模組121的訓練過程中包含了在前(主)攝影機的影像中所有出現的物件及其在空間中的位置與大小,不論該些物件為截斷影像與否,而且在前(主)攝影機的影像中為截斷影像的物件可以在側(輔助)攝影機的影像中取得物件被截斷的其他影像部分以訓練估計模組121辨識截斷影像。因此,通過以上訓練的估計模組121可以更準確地針對影像中的截斷物件進行辨識與定位,以便後續能夠只根據單一的單眼攝影機影像(而非多個攝影機影像)即可正確判斷出截斷物件在三維空間中的範圍,而不會出現前述圖5中的誤差。如此一來,估計模組121經訓練完成後,只要例如將單一的單眼攝影機所感測的影像輸入至估計模組121,估計模組121即可輸出如同上述表1的多個偵測估計參數。處理器110可根據估計模組121輸出的多個偵測估計參數來計算二維影像中心座標
Figure 02_image015
,並且可根據二維影像中心座標
Figure 02_image015
以及估計模組121輸出的偏移參數
Figure 02_image021
來進一步計算出三維立體中心座標
Figure 02_image017
圖3是本發明的一實施例的物件偵測方法的流程圖。圖4是本發明的一實施例的感測影像的示意圖。參考圖1、圖3以及圖4,電子裝置100可執行以下步驟S310~S350來實現物件偵測功能,並且圖4示出影像感測器200(例如是一單眼攝影機)的感測影像410以及在感測影像410範圍之外的(即影像感測器200未拍攝到的)真實世界示意圖420以輔助說明。感測影像410可包括物件影像401,並且物件影像401為車輛影像。值得注意的是,物件影像401在感測影像410中為截斷影像。在步驟S310,處理器110可執行估計模組121。在步驟S320,處理器110可取得由影像感測器200提供的感測影像410。在本實施例中,電子裝置100在實際物件偵測應用中僅需透過單一的影像感測器200來進行物件偵測。在步驟S330,處理器110可將感測影像410輸入估計模組121,以使估計模組121輸出多個關鍵點以及對應的多組偵測估計參數,其中各關鍵點分別對應於從感測影像410中偵測出的各個物件。圖4僅示出一個物件影像401作為說明,但本領域人員可理解感測影像410中也可能偵測出多個物件(例如多個車輛)的物件影像。
在本實施例中,對應的偵測估計參數可包括如上述表1的多個估計參數。詳細而言,處理器110後續可對物件影像401定義矩形標記402,並且多個估計參數包括對應於矩形標記402的第一邊界座標、第二邊界座標、第三邊界座標以及第四邊界座標。第一邊界座標可用於描述矩形標記402的左側邊界的位置。第二邊界座標可用於描述矩形標記402的上側邊界的位置。第三邊界座標可用於描述矩形標記402的右側邊界的位置。第四邊界座標可用於描述矩形標記402的下側邊界的位置。在本實施例中,處理器110後續可對物件影像401定義立方體標記404,並且多個估計參數還包括對應於立方體標記404的高度參數、寬度參數、長度參數、相機座標位置參數以及旋轉參數。如圖4所示,矩形標記402是物件影像401在感測影像410中的影像範圍,而立方體標記404是物件影像401的物件在三維空間中的範圍,可以有部分位於感測影像410範圍之外。
在步驟S340,處理器110可根據多個估計參數計算感測影像410中的物件影像401的二維影像中心座標
Figure 02_image015
。在本實施例中,處理器110可根據第一邊界座標、第二邊界座標、第三邊界座標以及第四邊界座標計算矩形標記402的中心點403的二維影像中心座標
Figure 02_image015
在步驟S350,處理器110可根據二維影像中心座標
Figure 02_image015
以及偏移參數
Figure 02_image021
計算對應於物件影像401的立體物件中心的三維立體中心座標
Figure 02_image017
(即立方體標記404的中心點405在影像平面上的投影)。在本實施例中,處理器110可將二維影像中心座標
Figure 02_image015
以及偏移參數
Figure 02_image021
相加,以取得三維立體中心座標
Figure 02_image017
。在一實施例中,處理器110更可根據立方體標記404的中心點405的三維立體中心座標
Figure 02_image017
以及估計模組121輸出的對應的高度參數、寬度參數、長度參數、相機座標位置參數以及旋轉參數來計算對應於物件影像401的立方體標記404的各頂點座標,其計算方法可由上述公式(1)-(11)的計算過程反推,在此不贅述。
值得注意的是,由於物件影像401在感測影像410中為截斷影像,因此偏移參數的第一參數以及第二參數的至少中之一非為0。換言之,因為矩形標記402僅標示出物件影像401在感測影像410中的影像範圍,而立方體標記404則是標示出物件影像401的物件在三維空間中的完整範圍,可能會有部分位於感測影像410之外,故矩形標記402的中心點403與立方體標記404的中心點405不會重疊,如圖4所示,立方體標記404的中心點405甚至可能在感測影像410的影像範圍之外。反之,當物件影像為完整影像時,偏移參數的第一參數以及第二參數一般皆為0。另外,在其他實施例中,立方體標記404的中心點405也可能在感測影像410的影像範圍之內或之外,而不限於圖4所示。矩形標記402的中心點403與立方體標記404的中心點405之間的距離(即偏移參數
Figure 02_image021
的量值)受物件影像401的截斷程度影響。矩形標記402的中心點403與立方體標記404的中心點405之間的距離與物件影像401的截斷程度可為正相關。如此一來,電子裝置100可取得實際物件在感測影像410的影像平面中正確的真實位置,以使後續的例如車輛自動警示、車輛距離偵測或車輛自動駕駛等功能可利用正確的物件距離偵測結果來有效執行之。
從另一角度而言,當車輛執行車輛自動警示、車輛距離偵測或車輛自動駕駛等功能時,處理器110無須等待影像感測器200取得具有完整車體影像的感測影像才可執行正確的距離及/或位置判斷,而可針對截斷車體影像立即進行正確的距離及/或位置判斷。因此,本發明的電子裝置以及物件偵測方法還可具有可提升物件偵測效率與縮短反應時間的效果。
另外,關於本實施例的多個估計參數以及相關參數運算,可參考上述圖2實施例所述的多個估計參數以及相關參數運算來對應推得及類推適用,而可獲致足夠的教示、建議以及實施方式,因此在此不多加贅述。
綜上所述,本發明的電子裝置以及物件偵測方法可對感測影像中的截斷物件影像提供實際物件在感測影像的影像平面中的真實位置資訊的具有高可靠度的估計結果。本發明通過在估計模組的訓練過程中包含多個攝影機的影像中所有出現的物件及其在空間中的位置與大小,而且在一攝影機的影像中為截斷影像的物件可以在另一攝影機的影像中取得物件被截斷的其他影像部分以訓練估計模組辨識截斷影像,因此可以更準確地針對影像中的截斷物件進行辨識與定位,以便能夠只根據單一的單眼攝影機影像即可正確判斷出截斷物件在三維空間中的範圍。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:電子裝置 110:處理器 120:儲存裝置 121:估計模組 200:影像感測器 210、220:參考影像 201:參考物件影像 202、402、502:矩形標記 203、205、403、405、503、505:中心點 204、404、504:立方體標記 410、500:感測影像 420:感測影像之外的真實世界示意圖 401、501:物件影像 S310~S350:步驟
圖1是本發明的一實施例的電子裝置的示意圖。 圖2是本發明的一實施例的參考影像的示意圖。 圖3是本發明的一實施例的物件偵測方法的流程圖。 圖4是本發明的一實施例的感測影像的示意圖。 圖5是使用現有物件偵測方法的感測影像結果的示意圖。
S310~S350:步驟

Claims (20)

  1. 一種電子裝置,包括:一儲存裝置,儲存一估計模組;以及一處理器,耦接該儲存裝置,並且用以執行該估計模組,其中該處理器取得由一影像感測器提供的一感測影像,並且該處理器將該感測影像輸入該估計模組,以使該估計模組輸出多個估計參數,其中該處理器根據該些估計參數計算該感測影像中的一物件影像的一二維影像中心座標,並且該處理器根據該二維影像中心座標以及該些估計參數中的一偏移參數計算對應於該物件影像的一三維立體中心座標。
  2. 如請求項1所述的電子裝置,其中該偏移參數包括在對應於該感測影像的一影像平面上一水平方向的一第一參數以及一垂直方向的一第二參數。
  3. 如請求項2所述的電子裝置,其中當該物件影像為一完整影像時,該第一參數以及該第二參數為0,其中當該物件影像為一截斷影像時,該第一參數以及該第二參數的至少其中之一非為0。
  4. 如請求項1所述的電子裝置,其中該處理器對該物件影像定義一矩形標記,並且該些估計參數包括對應於該矩形標記的一第一邊界座標、一第二邊界座標、一第三邊界座標以及一第四邊界座標, 其中該處理器根據該第一邊界座標、該第二邊界座標、該第三邊界座標以及該第四邊界座標計算該二維影像中心座標。
  5. 如請求項1所述的電子裝置,其中該處理器對該物件影像定義一立方體標記,並且該些估計參數包括對應於該立方體標記的一高度參數、一寬度參數、一長度參數、一相機座標位置參數以及一旋轉參數,其中該處理器根據該高度參數、該寬度參數、該長度參數、該相機座標位置參數、該旋轉參數以及該三維立體中心座標來計算該立方體標記的頂點座標。
  6. 如請求項1所述的電子裝置,其中對應於該物件影像的該三維立體中心座標在該物件影像之內或之外。
  7. 如請求項1所述的電子裝置,其中該處理器將該二維影像中心座標以及該偏移參數相加,以取得該三維立體中心座標。
  8. 如請求項1所述的電子裝置,其中該影像感測器為單一的單眼攝影機。
  9. 如請求項8所述的電子裝置,其中該估計模組經由多個攝影機所取得的多組參考影像以及對應於該多組參考影像的多組參考估計參數來訓練,並且該多組參考影像的每一個至少包括一參考物件的影像,其中每一參考物件對應一組該參考估計參數。
  10. 如請求項9所述的電子裝置,其中用於訓練該估計模組的該參考估計參數中的該偏移參數由該參考估計參數中的其他估計參數計算得出。
  11. 一種物件偵測方法,包括:透過一處理器執行一估計模組;透過該處理器取得由一影像感測器提供的一感測影像;透過該處理器將該感測影像輸入該估計模組,以使該估計模組輸出多個估計參數;透過該處理器根據該些估計參數計算該感測影像中的一物件影像的一二維影像中心座標;以及透過該處理器根據該二維影像中心座標以及該些估計參數中的一偏移參數計算對應於該物件影像的一三維立體中心座標。
  12. 如請求項11所述的物件偵測方法,其中該偏移參數包括在對應於該感測影像的一影像平面上一水平方向的一第一參數以及一垂直方向的一第二參數。
  13. 如請求項12所述的物件偵測方法,其中當該物件影像為一完整影像時,該第一參數以及該第二參數為0,其中當該物件影像為一截斷影像時,該第一參數以及該第二參數的至少其中之一非為0。
  14. 如請求項11所述的物件偵測方法,其中計算該影像中心座標的步驟包括:透過該處理器對該物件影像定義一矩形標記,其中該些估計參數包括對應於該矩形標記的一第一邊界座標、一第二邊界座標、一第三邊界座標以及一第四邊界座標;以及透過該處理器根據該第一邊界座標、該第二邊界座標、該第 三邊界座標以及該第四邊界座標計算該二維影像中心座標。
  15. 如請求項11所述的物件偵測方法,更包括:透過該處理器對該物件影像定義一立方體標記,其中該些估計參數包括對應於該立方體標記的一高度參數、一寬度參數、一長度參數、一相機座標位置參數以及一旋轉參數;以及透過該處理器根據該高度參數、該寬度參數、該長度參數、該相機座標位置參數、該旋轉參數以及該三維立體中心座標來計算該立方體標記的頂點座標。
  16. 如請求項11所述的物件偵測方法,其中對應於該物件影像的該三維立體中心座標在該物件影像之內或之外。
  17. 如請求項11所述的物件偵測方法,其中計算該物件中心座標的步驟包括:透過該處理器將該二維影像中心座標以及該偏移參數相加,以取得該三維立體中心座標。
  18. 如請求項11所述的物件偵測方法,其中該影像感測器為單一的單眼攝影機。
  19. 如請求項18所述的物件偵測方法,還包括:經由多個攝影機所取得的多組參考影像以及對應於該多組參考影像的多組參考估計參數來訓練該估計模組,其中該多組參考影像的每一個至少包括一參考物件的影像,其中每一參考物件對應一組該參考估計參數。
  20. 如請求項19所述的物件偵測方法,其中訓練該估計模組的步驟包括:透過該處理器由該參考估計參數中的其他估計參數計算得出該參考估計參數中的該偏移參數。
TW110138434A 2021-04-16 2021-10-15 電子裝置以及物件偵測方法 TWI784754B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111600306.7A CN114255271A (zh) 2021-04-16 2021-12-24 电子装置以及物件侦测方法
US17/686,623 US12118743B2 (en) 2021-04-16 2022-03-04 Electronic apparatus and object detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163175582P 2021-04-16 2021-04-16
US63/175,582 2021-04-16

Publications (2)

Publication Number Publication Date
TW202242802A TW202242802A (zh) 2022-11-01
TWI784754B true TWI784754B (zh) 2022-11-21

Family

ID=85793325

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110138434A TWI784754B (zh) 2021-04-16 2021-10-15 電子裝置以及物件偵測方法

Country Status (1)

Country Link
TW (1) TWI784754B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI466071B (zh) * 2012-03-02 2014-12-21
US20170103258A1 (en) * 2015-10-10 2017-04-13 Beijing Kuangshi Technology Co., Ltd. Object detection method and object detection apparatus
TWI605795B (zh) * 2014-08-19 2017-11-21 鈦隼生物科技股份有限公司 判定手術部位中探針位置之方法與系統
TWI624170B (zh) * 2016-10-19 2018-05-11 財團法人工業技術研究院 影像掃描系統及其方法
TW201931304A (zh) * 2018-01-10 2019-08-01 華晶科技股份有限公司 利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置
US20200111250A1 (en) * 2018-07-03 2020-04-09 Shanghai Yiwo Information Technology Co. LTD Method for reconstructing three-dimensional space scene based on photographing
TW202020734A (zh) * 2018-11-29 2020-06-01 財團法人工業技術研究院 載具、載具定位系統及載具定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI466071B (zh) * 2012-03-02 2014-12-21
TWI605795B (zh) * 2014-08-19 2017-11-21 鈦隼生物科技股份有限公司 判定手術部位中探針位置之方法與系統
US20170103258A1 (en) * 2015-10-10 2017-04-13 Beijing Kuangshi Technology Co., Ltd. Object detection method and object detection apparatus
TWI624170B (zh) * 2016-10-19 2018-05-11 財團法人工業技術研究院 影像掃描系統及其方法
TW201931304A (zh) * 2018-01-10 2019-08-01 華晶科技股份有限公司 利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置
US20200111250A1 (en) * 2018-07-03 2020-04-09 Shanghai Yiwo Information Technology Co. LTD Method for reconstructing three-dimensional space scene based on photographing
TW202020734A (zh) * 2018-11-29 2020-06-01 財團法人工業技術研究院 載具、載具定位系統及載具定位方法

Also Published As

Publication number Publication date
TW202242802A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
US9519968B2 (en) Calibrating visual sensors using homography operators
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
TWI554976B (zh) 監控系統及其影像處理方法
WO2021004416A1 (zh) 一种基于视觉信标建立信标地图的方法、装置
JP4341564B2 (ja) 対象物判定装置
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
CN111996883B (zh) 一种检测公路路面宽度的方法
CN109918977A (zh) 确定空闲车位的方法、装置及设备
CN109479082A (zh) 图象处理方法及装置
CN109961092B (zh) 一种基于视差锚点的双目视觉立体匹配方法及系统
CN113610927B (zh) 一种avm摄像头参数标定方法、装置及电子设备
JP5228614B2 (ja) パラメータ計算装置、パラメータ計算システムおよびプログラム
CN115690469A (zh) 一种双目图像匹配方法、装置、设备和存储介质
CN115862124A (zh) 视线估计方法、装置、可读存储介质及电子设备
TWI784754B (zh) 電子裝置以及物件偵測方法
CN109902695B (zh) 一种面向像对直线特征匹配的线特征矫正与提纯方法
TWI658431B (zh) 影像處理方法、影像處理裝置及電腦可讀取記錄媒體
JPWO2020153264A1 (ja) 校正方法および校正装置
CN115239789B (zh) 用于确定液体体积的方法及装置、存储介质、终端
CN116379936A (zh) 一种基于双目相机的智能识别距离测算方法及装置
CN115546314A (zh) 传感器外参校准方法和装置、设备及存储介质
JP6906177B2 (ja) 交点検出装置、カメラ校正システム、交点検出方法、カメラ校正方法、プログラムおよび記録媒体
US12118743B2 (en) Electronic apparatus and object detection method
CN114612882A (zh) 障碍物检测方法、图像检测模型的训练方法及装置