TWI735930B

TWI735930B - 全景停車輔助系統、全景停車輔助方法及其裝置

Info

Publication number: TWI735930B
Application number: TW108128490A
Authority: TW
Inventors: 曾威順
Original assignee: 曾威順
Priority date: 2019-08-12
Filing date: 2019-08-12
Publication date: 2021-08-11
Also published as: TW202106543A

Abstract

全景停車輔助系統、全景停車輔助方法及其裝置。此方法利用影像擷取裝置拍攝在不同時間點車輛周圍一方向的多個影像。接著，擷取車輛的多個車體信號，並根據車體信號計算出車體轉角。之後，根據車體轉角擷取各影像的部分區域以分別產生多個輔助影像。最後映射並結合輔助影像以產生車輛周圍且視角為車輛之上方往下方觀看的合成影像。

Description

全景停車輔助系統、全景停車輔助方法及其裝置

本發明是有關於一種影像處理系統、方法和裝置，且特別是有關於一種全景停車輔助系統、全景停車輔助方法及其裝置。

現今的360度全景停車輔助系統利用車輛外部的多個攝影機分別拍攝車身四周多個方向的影像（包含地面及景物），並經過影像視角的轉換及拼接，最終形成車輛四周無縫隙的全景俯視圖。並且在顯示全景俯視圖的同時，也可以顯示任何一個方向的拍攝影像。藉由全景俯視圖及車輛後方的拍攝影像，可輔助駕駛確認障礙物的位置，而可安全且準確地將車輛停放至停車位中。然而，配備360度全景停車輔助系統需在車輛另外設置多個攝影機，因此需要較高的設置成本。

有鑑於此，本發明提供一種全景停車輔助系統、全景停車輔助方法及其裝置，藉由擷取並記錄單個攝影機不同時間點的影像，並繪製視角為車輛上方往下方觀看的影像，藉此可輔助駕駛了解車輛與周圍地面及景物的關係。

本發明的全景停車輔助方法，適用於配置於車輛上的電子裝置。此電子裝置耦接配置於車輛上的影像擷取裝置。此方法利用影像擷取裝置拍攝在不同時間點車輛周圍一方向的多個影像。接著，擷取車輛的多個車體信號，並根據車體信號計算出車體轉角。之後，根據車體轉角擷取各影像的部分區域以分別產生多個輔助影像。最後，映射並結合輔助影像以產生車輛周圍且視角為車輛之上方往下方觀看的合成影像。

在本發明的一實施例中，上述的車體信號包括方向盤轉角及輪胎轉角其中之一或其組合，並且上述根據車體信號計算出車體轉角的步驟包括：根據方向盤轉角或輪胎轉角計算車體轉角。

在本發明的一實施例中，上述的根據車體信號計算出車體轉角的步驟更包括：對影像進行影像辨識以根據辨識結果計算出影像轉角，並且根據影像轉角及車體信號決定車體轉角。

在本發明的一實施例中，上述的對影像進行影像辨識以根據辨識結果計算出影像轉角的步驟更包括：辨識影像中第一影像及第二影像中的興趣物件以根據興趣物件在第二影像中相對於第一影像的變化計算出影像轉角。

在本發明的一實施例中，上述的根據車體轉角擷取各影像的部分區域以分別產生輔助影像的步驟包括：根據車體轉角擷取影像中對應車輛的行進方向並且屬於地面側的區域作為輔助影像。

在本發明的一實施例中，上述的映射並結合輔助影像以產生車輛周圍且視角為由車輛之上方往下方觀看的合成影像的步驟包括：利用預設座標係映射各輔助影像為俯視視角的映射影像，並且拼接映射影像以獲得車輛周圍且視角為由車輛之上方往下方觀看的合成影像。

在本發明的一實施例中，上述的合成影像更新拼接的頻率根據車體的速度決定。

在本發明的一實施例中，上述的車體信號包括車輛的車輛檔位、車速、方向盤轉角及輪胎轉角其中之一或其組合，並且此方法更包括：根據車體信號估測合成影像相對於車輛的移動方向與移動速度，並且根據移動方向與移動速度在顯示器上顯示合成影像。

本發明的全景停車輔助系統，包括影像擷取裝置、顯示器以及全景停車輔助裝置。影像擷取裝置及顯示器配置於車輛上。全景停車輔助裝置耦接影像擷取裝置及顯示器，該全景停車輔助裝置經配置以利用影像擷取裝置拍攝在不同時間點車輛周圍一方向的多個影像。接著，全景停車輔助裝置擷取車輛的多個車體信號，並根據車體信號計算出車體轉角。之後，全景停車輔助裝置根據車體轉角擷取各影像的部分區域以分別產生多個輔助影像。最後，全景停車輔助裝置映射並結合輔助影像以產生車輛周圍且視角為車輛之上方往下方觀看的合成影像。

本發明的全景停車輔助裝置包括連接裝置、儲存裝置以及處理器。連接裝置耦接配置於車輛上的影像擷取裝置及顯示器。儲存裝置，儲存一或多個指令。而處理器耦接連接裝置及儲存裝置，且處理器經配置以執行所述指令以：利用影像擷取裝置拍攝在不同時間點車輛周圍一方向的多個影像。接著，處理器擷取車輛的多個車體信號，並根據車體信號計算出車體轉角。之後，處理器根據車體轉角擷取各影像的部分區域以分別產生多個輔助影像。最後，處理器映射並結合輔助影像以產生車輛周圍且視角為車輛之上方往下方觀看的合成影像。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明係擷取並記錄單個攝影機不同時間點的影像，並繪製視角為車輛上方往下方觀看的俯視影像。其中，本發明記錄在不同時間點擷取的車輛單一方向影像，並根據車體轉角擷取該影像的部分區域，最後將擷取的區域映射並結合產生視角為車輛之上方往下方觀看的合成影像。藉此，可輔助駕駛了解車輛與周圍地面及景物的關係。

圖1是依照本發明實施例所繪示的全景停車輔助系統的方塊圖。請參照圖1，全景停車輔助系統100至少包括影像擷取裝置101、顯示器102及全景停車輔助裝置103。

影像擷取裝置101可以是任何有感光耦合元件（charge coupled device，CCD）鏡頭、互補性氧化金屬半導體（complementary metal oxide semiconductor transistors，CMOS）鏡頭或紅外線鏡頭（infrared lens）的相機，但本發明不限於此。影像擷取裝置101配置於車輛上，例如是配置在車輛的車頭、車身或車尾其中一處，而可拍攝車輛行經路段周遭景物的影像。

顯示器102可以是液晶顯示器（liquid crystal display，LCD）、電漿顯示（plasma display）、真空螢光顯示器（vacuum fluorescent display）、發光二極體顯示器（light emitting diode display）、場發射器顯示器（field emission display，FED）及/或其他類型適合的顯示器，或者是具有前述顯示器的電子裝置，但本發明不限於此。在本實施例中，顯示器102配置於車輛上。

本實施例的全景停車輔助裝置103例如是車用電腦，或是具備運算功能的手機、平板電腦或個人電腦或其他裝置，其中至少包括連接裝置1031、處理器1032及儲存裝置1033，其功能分述如下。

連接裝置1031例如是通用序列匯流排（Universal Serial Bus，USB）、RS232、藍芽、無線相容認證（Wireless fidelity，Wi-Fi）等有線或無線的傳輸介面。全景停車輔助裝置103透過連接裝置1031耦接配置於車輛上的影像擷取裝置101及顯示器102，從而接收影像擷取裝置101所拍攝的影像，並將所拍攝的影像及/或經本發明提供全景停車輔助方法處理過的影像傳送至顯示器102供顯示器102顯示。

處理器1032例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合，其係與連接裝置1031及儲存裝置1033耦接，並執行儲存於儲存裝置1033中的一或多個指令。

儲存裝置1033可以是固定或可移動的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk）或其他類似裝置的一或多個組合，且儲存裝置1033儲存可由處理器1032執行的模組，包括一或多個指令。

在另一實施例中，也可以將全景停車輔助裝置103包括的各項裝置整合為一系統晶片（System on Chip，SOC）。

在本實施例中，儲存在儲存裝置1033中例如是包括一或多個指令的電腦程式，而可由處理器1032載入，據以執行本實施例的全景停車輔助方法。以下即舉實施例說明此方法的詳細步驟。

圖2是依照本發明實施例所繪示的全景停車輔助方法的流程圖。請同時參照圖1及圖2，本實施例的方法適用於上述圖1的全景停車輔助系統100，以下即搭配圖1中全景停車輔助系統100的各項裝置，說明本實施例全景停車輔助方法的詳細步驟。

首先，處理器1032利用影像擷取裝置拍攝在不同時間點車輛周圍一方向的多個影像（步驟S202）。詳細而言，影像擷取裝置101可以設置在車輛的車頭、車身或車尾其中一處。本領域技術人員可視實際需要，將影像擷取裝置設置在車輛適當的位置，以拍攝同時包括地面及景物的影像。圖3是依照本發明實施例所繪示的拍攝車輛周圍影像的範例。請參照圖3，本實施例是在車輛30的車尾配置影像擷取裝置32。其中，影像擷取裝置32用以在車輛30移動時不斷拍攝車輛30後方在不同時間點的多個影像，拍攝到的影像例如是影像32a。

需說明的是，在上述實施例中，配置在車輛上的影像擷取裝置32例如是使用具有魚眼鏡頭的相機，其具有接近180度的視角，而可拍攝涵蓋範圍較廣的影像。由於使用魚眼鏡頭拍攝的影像會產生變形（例如影像32a所示的圓形扭曲），故本發明實施例可額外由處理器1032對拍攝到的影像進行魚眼校正。

接著，處理器1032擷取車輛的多個車體信號，並根據所述車體信號計算出車體轉角（步驟S204）。其中，車體信號例如是包括方向盤轉角及輪胎轉角其中之一或其組合，並且處理器1032根據方向盤轉角及/或輪胎轉角計算車體轉角。具體而言，方向盤轉角及輪胎轉角係對應至車輛車體的轉向角度，而可表示車輛行進時向左或向右轉的角度。在本實施例中，處理器1032例如是利用轉角感測器偵測車輛的方向盤轉角，並以偵測到的方向盤轉角作為車體轉角。在另一實施例中，處理器1032例如是依據方向盤轉角查詢方向盤轉角與輪胎轉角的對應表，找出方向盤轉角所對應的輪胎轉角以計算出車體轉角。在又一實施例中，也可以是利用車輪轉角感測器直接測得輪胎轉角，並以測量到的輪胎轉角作為車體轉角，本發明不在此限制計算車體轉角的方法。

在另一實施例中，由於車輛不一定會提供方向盤轉角及輪胎轉角的相關數值，因此可以透過辨識影像擷取裝置擷取到的影像同時判斷車體轉角。舉例來說，處理器1032可以對影像擷取裝置101擷取到的影像進行影像辨識以根據辨識結果計算出影像轉角，並且根據影像轉角決定車體轉角。在另一實施例中，也可以同時根據影像轉角及車體信號來決定車體轉角。

詳細而言，處理器1032例如會辨識擷取到的影像中第一影像及第二影像中的興趣物件以根據興趣物件在第二影像中相對於第一影像的變化計算出影像轉角。其中，影像轉角可對應至車輛行進時向左或向右轉的角度。舉例而言，處理器1032可以利用影像辨識方法，例如利用特徵點檢測法等方法，計算興趣物件的各像素點在第二影像中相對於第一影像的移動及旋轉量以計算出影像轉角。

接著，處理器1032根據車體轉角擷取各影像的部分區域以分別產生多個輔助影像（步驟S206）。在本實施例中，處理器1032可以根據車體轉角擷取影像中對應車輛的行進方向並且屬於地面側的區域作為輔助影像。需先說明的是，由於一般相機在錄製影像的時候，實際錄製到的畫面會比最終呈現在顯示螢幕的畫面範圍還大，若擷取所有影像中的地面區域來進行後續拼貼處理會造成處理器的負擔。因此透過擷取影像中的部分區域，可大幅減少處理器計算的負擔。

詳言之，由前步驟計算出的車體轉角可以知道車輛移動前往或即將移動前往的方向為何，而車輛移動的方向通常代表駕駛會關注的區域（例如停車位或道路）。因此處理器1032會根據車體轉角決定擷取各影像中的哪些區域的影像。舉例而言，若車輛往右後方行駛，處理器1032會計算出對應往右後方行駛的車體轉角，此時，處理器1032可以根據計算出的車體轉角擷取例如是影像中右下方（對應於車輛的右後方）的部分區域作為輔助影像。另一方面，若車輛轉向左後方則擷取影像左下方的部分區域，若車輛向後直行則擷取影像中下方的部分區域。在另一實施例中，如果硬體效能允許，處理器1032也可以直接擷取所有地面側的區域作為輔助影像。

最後，處理器1032映射並結合輔助影像以產生車輛周圍且視角為車輛之上方往下方觀看的合成影像（步驟S208）。具體而言，處理器1032利用預設座標係映射（map）各輔助影像為俯視視角（top view）的映射影像，並且拼接映射影像以獲得車輛周圍且視角為由車輛之上方往下方觀看的合成影像。其中，合成影像更新拼接的頻率根據車體的速度決定。

關於上述的預設座標係，可經由一連串的事先測試與分析而決定，並將其保存於儲存裝置1033之中。具體而言，研發人員可利用配置在車輛上的相機分別拍攝包括參考物件（例如是繪製地面上的定位格線或圖案）在內的第一影像，並使用配置於參考物件上方的另一獨立相機拍攝包括相同參考物件在內的真實俯視視野的第二影像。然後，處理器103會擷取第一影像中參考物件的多個像素的位置做為目標位置，並擷取第二影像中相同參考物件的多個對應像素的位置做為來源位置，據以解出視野轉換矩陣中的多個轉換係數。在一實施例中，可以預先根據上述視野轉換矩陣建立配置在車輛上的相機擷取的影像畫素映射至各俯視視角影像畫素之一預設座標係的對應表，再由查表的方式進行轉換。

圖4是依照本發明實施例所繪示的映射並拼接影像的範例。圖5是依照本發明實施例所繪示的映射並拼接影像的範例。本實施例是以車輛倒車時的情景為例。請同時參照圖1、圖4及圖5，其中影像擷取裝置101設置在車輛後方，並拍攝車輛後方的多個影像，例如是本實施例圖4中的影像42及圖5中的影像52，並且影像52為影像42下一時點的影像。接著，處理器103根據車體信號計算出車體轉角，並根據計算出的車體轉角分別擷取影像42及影像52中的部分區域產生輔助影像。由於本實施例的車輛是向後直行，因此處理器103擷取影像42中下方的地面區域作為輔助影像，接著，處理器103將擷取到的輔助影像利用預設座標係映射為俯視視角的映射影像422，並根據預設座標係中影像42的像素點與俯視視角影像的座標對應關係，將映射影像442拼接產生由車輛之上方往下方觀看的合成影像44。其中，區域444為尚未取得可拼接的影像的區域。

在相鄰的影像擷取時間點，也就是圖5中的影像52被影像擷取裝置101擷取的時間點，處理器103擷取影像52中下方的地面區域作為輔助影像，接著，處理器103將擷取到的輔助影像利用預設座標係映射為俯視視角的映射影像542，並根據預設座標係中影像52的像素點與俯視視角影像的座標對應關係以及車輛移動的距離，將映射影像542與映射影像442拼接起來，產生由車輛之上方往下方觀看的合成影像54。其中，區域544為尚未取得可拼接的影像的區域。在另一實施例中，為了避免拼接影像不連續，據此，本發明實施例還可以藉由比對相鄰映射影像中的對應特徵，據以拼接各映射影像，使其在拼接相鄰的各映射影像後，接縫位置的影像為連續。

透過擷取多個時間點的影像，處理器103可依據上述全景停車輔助方法擷取並記錄車輛行經區域的影像，並且沿路拼接各影像產生俯視視角的合成影像。在另一實施例中，處理器103還可以將拼接好的合成影像傳送至顯示器102，並根據車體信號控制顯示器102顯示合成影像。具體而言，車體信號包括車輛的車輛檔位、車速、方向盤轉角及輪胎轉角其中之一或其組合，處理器103根據車體信號估測合成影像相對於車輛的移動方向與移動速度，並且根據移動方向與移動速度在顯示器102上顯示合成影像。

詳言之，在本實施例中，提供給使用者的全景停車輔助畫面例如是將車輛圖案及合成影像同時顯示，車輛圖案的位置為固定顯示在特定位置，而合成影像顯示在車輛圖案的下方（可參考圖5的合成影像54的畫面呈現方式），並且透過移動（例如旋轉、平移）合成影像的位置來顯示車輛在對應於目前實際空間的合成影像中的位置。

關於上述根據車體信號估測合成影像相對於車輛的移動方向與移動速度的方法，處理器103可取得車輛檔位的信號決定合成影像係相對於車輛向前或向後移動，取得方向盤轉角及/或輪胎轉角的信號決定合成影像相對於車輛的旋轉方向，並可取得車速的信號決定合成影像相對於車輛的移動速度。在另一實施例中，處理器103還可以利用影像辨識方法取得車速及影像轉角，據以決定合成影像相對於車輛的移動速度及旋轉方向，例如利用相對模糊（Relative blurriness）、基於區塊匹配（Block-based matching）或光流（Optical flow）等方法，計算興趣物件的各像素點在第二影像中相對於第一影像的移動量以計算出車速。在另一實施例中，處理器103可綜合上述多個信號及影像辨識結果決定合成影像相對於車輛的移動方向與移動速度，其中移動方向包括向前或向後移動方向以及旋轉方向。而取得相對移動方向與移動速度後，處理器103根據此相對移動方向與移動速度在顯示器102上顯示車輛圖案及合成影像。

需說明的是，在擷取與記錄影像擷取裝置擷取到的影像及記錄車體信號時，可分別記載擷取各項資料時的對應的時間戳記，而可在上述利用車體信號擷取影像的部分區域或者移動拼接好的合成影像等步驟時，根據時間戳記來取得對應的資料。例如，利用與影像具有相同時間戳記的車體信號來擷取影像的部分區域。

綜上所述，本發明的全景停車輔助系統、全景停車輔助方法及其裝置藉由擷取並記錄單個攝影機不同時間點的影像以繪製視角為車輛上方往下方觀看的俯視影像。其中，本發明記錄在不同時間點擷取的車輛單一方向影像，並根據車體轉角擷取該影像的部分區域，最後將擷取的區域映射並結合產生視角為車輛之上方往下方觀看的合成影像。藉此，可透過合成好的俯視影像輔助駕駛了解車輛與周圍地面及景物的關係。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:全景停車輔助系統 101:影像擷取裝置 102:顯示器 103:全景停車輔助裝置 1031:連接裝置 1032:處理器 1033:儲存裝置 30:車輛 32:影像擷取裝置 32a、42、52:影像 44、54:合成影像 442、542:映射影像 444、544:區域 S202~S208:步驟

圖1是依照本發明實施例所繪示的全景停車輔助系統的方塊圖。圖2是依照本發明實施例所繪示的全景停車輔助方法的流程圖。圖3是依照本發明實施例所繪示的拍攝車輛周圍影像的範例。圖4及圖5是依照本發明實施例所繪示的映射並拼接影像的範例。

S202~S208:步驟

Claims

一種全景停車輔助方法，適用於配置於車輛上的電子裝置，該電子裝置耦接配置於該車輛上的影像擷取裝置，該方法包括下列步驟：利用該影像擷取裝置拍攝在不同時間點該車輛周圍一方向的多個影像；擷取該車輛的多個車體信號，並根據所述車體信號計算出車體轉角，其中根據所述車體信號計算出該車體轉角的步驟包括：對所述影像進行影像辨識以根據辨識結果計算出影像轉角，並根據該影像轉角決定該車體轉角；根據該車體轉角擷取各所述影像的部分區域以分別產生多個輔助影像；以及利用預設座標係映射各所述輔助影像為俯視視角的映射影像，並拼接所述映射影像以產生該車輛周圍且視角為該車輛之上方往下方觀看的合成影像。
如申請專利範圍第1項所述的全景停車輔助方法，其中所述車體信號包括方向盤轉角及輪胎轉角其中之一或其組合，其中根據所述車體信號計算出該車體轉角的步驟包括：根據該方向盤轉角或該輪胎轉角計算該車體轉角。
如申請專利範圍第1項所述的全景停車輔助方法，其中對所述影像進行影像辨識以根據該辨識結果計算出該影像轉角的步驟更包括：辨識所述影像中第一影像及第二影像中的興趣物件以根據該興趣物件在該第二影像中相對於該第一影像的變化計算出該影像轉角。
如申請專利範圍第1項所述的全景停車輔助方法，其中根據該車體轉角擷取各所述影像的部分區域以分別產生所述輔助影像的步驟包括：根據該車體轉角擷取所述影像中對應該車輛的行進方向並且屬於地面側的區域作為所述輔助影像。
如申請專利範圍第1項所述的全景停車輔助方法，其中該合成影像更新拼接的頻率根據該車體的速度決定。
如申請專利範圍第1項所述的全景停車輔助方法，其中所述車體信號包括該車輛的車輛檔位、車速、方向盤轉角及輪胎轉角其中之一或其組合，該方法更包括：根據所述車體信號估測該合成影像相對於該車輛的移動方向與移動速度，並且根據該移動方向與該移動速度在顯示器上顯示該合成影像。
一種全景停車輔助系統，包括：影像擷取裝置，配置於車輛上；顯示器，配置於該車輛上；以及全景停車輔助裝置，耦接該影像擷取裝置及該顯示器，該全景停車輔助裝置經配置以：利用該影像擷取裝置拍攝在不同時間點該車輛周圍一方向的多個影像；擷取該車輛的多個車體信號，並根據所述車體信號計算出車體轉角，其中該全景停車輔助裝置對所述影像進行影像辨識以根據辨識結果計算出影像轉角，並根據該影像轉角決定該車體轉角；根據該車體轉角擷取各所述影像的部分區域以分別產生多個輔助影像；以及利用預設座標係映射各所述輔助影像為俯視視角的映射影像，並拼接所述映射影像以產生該車輛周圍且視角為該車輛之上方往下方觀看的合成影像。
一種全景停車輔助裝置，包括：連接裝置，耦接配置於車輛上的影像擷取裝置及顯示器；儲存裝置，儲存一或多個指令；以及處理器，耦接該連接裝置及該儲存裝置，該處理器經配置以執行所述指令以：利用該影像擷取裝置拍攝在不同時間點該車輛周圍一方向的多個影像；擷取該車輛的多個車體信號，並根據所述車體信號計算出車體轉角，其中該處理器對所述影像進行影像辨識以根據辨識結果計算出影像轉角，並根據該影像轉角決定該車體轉角；根據該車體轉角擷取各所述影像的部分區域以分別產生多個輔助影像；以及利用預設座標係映射各所述輔助影像為俯視視角的映射影像，並拼接所述映射影像以產生該車輛周圍且視角為該車輛之上方往下方觀看的合成影像。