TWI531494B

TWI531494B - 調整後視鏡的方法及使用該方法的電子裝置

Info

Publication number: TWI531494B
Application number: TW102121760A
Authority: TW
Inventors: 楊岱璋; 周宏隆; 張文彥; 吳嘉彧
Original assignee: 聚晶半導體股份有限公司
Priority date: 2013-06-19
Filing date: 2013-06-19
Publication date: 2016-05-01
Also published as: TW201500240A

Description

調整後視鏡的方法及使用該方法的電子裝置

本發明是有關於一種調整後視鏡的方法，且特別是有關於一種基於使用者位置來調整後視鏡的方法及使用該方法的電子裝置。

對於現今的各種車輛結構來說，後視鏡系統是一種不可或缺的安全性裝置。一般來說，後視鏡是一面平光鏡或者凸面鏡，用於給駕駛員在倒車及轉向時容易看到車尾及車側的周圍環境，以減少交通意外。為了讓駕駛員能夠清楚的觀察到車輛周遭的狀況，對於各式各樣不同的車輛來說，其各自的後視鏡系統也分別具有不同數量的後視鏡，而其中各個後視鏡也將以不同的角度/位置設置在車輛四周或內部。舉例來說，相較於一般小客車，大貨車可能具有較多面後視鏡，且以各種特定的角度或位置設置於大貨車上，讓大貨車的駕駛員可避免視野死角而取得更好的視野角度。

另一方面，駕駛員可透過手動或自動調整按鈕將後視鏡調整到適合自己的角度，因而更清楚的掌握行車時的周遭狀況。然而，在某駕駛員針對自身特定的姿勢與位置調整好後視鏡之後，往往容易因為某些情況而需要再次調整後視鏡的角度。像是若該駕駛員在行使車輛途中曾經變換過姿勢，或駕駛座椅曾經被調整過，該駕駛員都可能需要再次調整後視鏡來獲取最佳的行車視野。再者，若車輛曾經由另一駕駛員操作，則該駕駛員也需要再次調整後視鏡。規格較好的車輛，會內建幾組記憶鍵，將不同駕駛員所設定的後視鏡角度記憶下來。但不管是在記憶鍵有人數限制的情況下，或是同一駕駛員的姿勢或位置改變的情況下，後視鏡的角度都需要重新調整。如此一來，將造成駕駛員的不便與行車上的危險。

有鑑於此，本發明提出一種調整後視鏡的方法與電子裝置，藉由使用者的三維位置來自動調整後視鏡的角度，以提高駕駛員行駛車輛的方便性與安全性。

本發明提供一種調整後視鏡的方法，此調整後視鏡的方法用於一車上。其中此車配置有多個影像擷取單元與至少一後視鏡，此調整後視鏡的方法包括下列步驟。透過影像擷取單元取得使用者的多張影像，其中每一影像屬於一視角，並且這些視角彼此不相同。根據這些影像取得使用者的三維位置。根據此三維位置調整至少一後視鏡的角度。

在本發明的一實施例中，上述根據這些影像取得使用者的三維位置的步驟包括：在每一影像上偵測使用者的眼睛。根據每一影像中眼睛的位置取得使用者的三維位置。

在本發明的一實施例中，上述調整後視鏡的方法更包括：追蹤使用者的眼睛以產生追蹤誤差。若追蹤誤差大於臨界值，則持續偵測使用者的眼睛。若追蹤誤差小於等於臨界值，執行所述取得使用者的三維位置的步驟。

在本發明的一實施例中，上述根據影像取得使用者的三維位置的步驟更包括：在每一影像上偵測使用者的臉部特徵。其中臉部特徵不同於眼睛，並且使用者的三維位置是根據每一影像中眼睛的位置與臉部特徵的位置所取得。

在本發明的一實施例中，上述根據影像取得使用者的三維位置的步驟更包括：根據每一影像中眼睛的位置與臉部特徵的位置建立臉部網路模型，其中使用者的三維位置是根據臉部網路模型所取得。

以另外一個角度來說，本發明一實施例提出一種電子裝置，適用於一車上。此電子裝置耦接多個影像擷取單元與至少一後視鏡，此電子裝置包括記憶體與處理器。記憶體儲存有多個指令。處理器耦接至記憶體，用以執行這些指令以執行多個步驟：透過影像擷取單元取得使用者的多張影像，其中每一影像屬於一視角，並且這些視角彼此不相同。根據影像取得使用者的三維位置。根據三維位置調整至少一後視鏡的角度。

基於上述，本發明實施例所提出的調整後視鏡的方法與電子裝置，可以利用多個影像擷取單元所擷取的多張影像而取的使用者位於車輛內的三維位置，並依據此三維位置自動的調整後視鏡的角度。據此，針對不同的駕駛在不同的情況下，車輛的後視鏡將適應性的調整到讓駕駛可以取得最佳視野的角度。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

10‧‧‧後視鏡調整系統

100‧‧‧電子裝置

110‧‧‧記憶體

120‧‧‧處理器

200、620_1~620_3‧‧‧後視鏡

300_1、300_2、300_N、630_1~630_3‧‧‧影像擷取單元

50‧‧‧物體

X_3D、X₁、X₂、X₃、X_R、X_L‧‧‧位置點

600‧‧‧車輛

640‧‧‧使用者

S201~S205、S301~S306、S401~S406‧‧‧步驟

60、70‧‧‧資料庫

ImgL_1~ImgL_s、ImgR_1~ImgR_t、ImgL、ImgR‧‧‧影像

Eye2d_R、Eye2d_L‧‧‧二維座標資訊

P、Q‧‧‧連線

O_L、O_R、e_L、e_R‧‧‧位置點

圖1是依照本發明一實施例所繪示之後視鏡調整系統的示意圖。

圖2是根據一實施例繪示一種調整後視鏡的方法的流程圖。

圖3是根據一實施例繪示一種取得使用者眼部的二維位置的流程圖。

圖4是根據一實施例繪示一種調整後視鏡的方法的流程圖。

圖5繪示一種取得三維位置的示意圖。

圖6是根據一實施例繪示一種應用情景的示意圖。

圖1是依照本發明一實施例所繪示之後視鏡調整系統的示意圖。請參照圖1，後視鏡調整系統10包括電子裝置100、至少一後視鏡200以及多個影像擷取單元300_1~300_N。後視鏡調整系統10適用於一車輛上，其中後視鏡200固設在車輛內部或車輛外部，以便駕駛員可以觀察到車輛的周遭環境。一般來說，後視鏡200可以是一面設置於車內前方的車內後視鏡，也可以是設置於車輛兩側的車外後視鏡，在此不設限。影像擷取單元300_1~300_N例如是具有電荷耦合元件(Charge Coupled Device，CCD)或互補式金氧半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件的影像感測器，用以擷取使用者的影像。影像擷取單元300_1~300_N的數量及配置可以針對實際的需求而變更，在此不設限，也就是說N為大於2的整數。

電子裝置100至少包括一處理器120與一記憶體110。電子裝置100可以被實作為電腦、車用電腦或其他車用電子裝置，本發明並不侷限於此等實作態樣。處理器120可以例如是中央處理單元(Central Processing Unit，CPU)、微處理器(Microprocessor)、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他具備運算能力的硬體裝置。記憶體110例如是隨機存取記憶體(random access memory)、快閃記憶體(Flash)或其他的記憶體，用以儲存資料與多個指令，而處理器120耦接記憶體110並用以執行這些指令。

圖2是依照本發明一實施例所繪示的一調整後視鏡的方法的流程圖。請同時參照圖1與圖2，在本實施例中，調整後視鏡的方法例如可利用圖1中的電子裝置100來執行。以下搭配後視鏡調整系統10中的各項元件來說明本實施例之調整後視鏡的方法的步驟。

首先，在步驟S201中，處理器120透過影像擷取單元 300_1~300_N取得使用者的多張影像，其中每一影像屬於一視角，並且這些視角彼此不相同。詳細來說，在本實施例中，影像擷取單元300_1~300_N設置於車輛內部之拍攝的到駕駛員的不同位置上。由於各個影像擷取單元300_1~300_N的位置不同，因此各影像擷取單元300_1~300_N針對使用者所拍攝出來的影像的視角也不同。簡單來說，一個影像擷取單元會對應到一特定視角。

在步驟S203中，處理器120根據這些影像取得使用者的三維位置。進一步來說，對於N個影像擷取單元300_1~300_N來說，處理器120可以取得N張不同視角的二維影像。如此一來，處理器120可以利用這些不同視角的二維影像來計算出使用者於車內空間的三維位置。接著，在步驟S205中，處理器120根據使用者的三維位置調整至少一後視鏡200的角度。具體來說，處理器120可以根據這些影像計算出使用者眼部於車內空間的三維位置，並根據使用者眼部的位置資訊來調整後視鏡200。如此一來，後視鏡200將可以根據使用者的身高或駕駛姿勢等因素來適應的調整後視鏡的鏡面角度，讓正在駕駛的使用者可以透過後視鏡200 取得較佳的視野角度。以下將進一步說明如何利用影像擷取單元300_1~300_N其中之一所擷取的多張影像，來估測出一特定視角所對應的二維影像中使用者眼部的二維位置。

圖3是根據一實施例繪示一種取得使用者眼部的二維位置的流程圖。在本實施例中，假設影像擷取單元300_1~300_N其中之一會擷取t張影像ImgR_1~ImgR_t，其中t為大於1的整數。請參照圖3，在步驟S301中，處理器120利用臉部偵測技術取得影像ImgR_1~ImgR_t畫面中的臉部區域。在本實施例中例如是先擷取哈爾(Haar)特徵值，再使用層疊(Cascade)架構的機器學習演算法來執行臉部偵測。更具體來說，資料庫60中包括了不同亮度、不同人種、不同性別、或不同年齡的人臉影像。處理器120會利用儲存於資料庫60的資料來執行學習的步驟以產生一個模型(model)。例如，處理器120會使用適應性增強(adaboost)的演算法來建立模型。然而，處理器120也可以使用支持向量機(support vector machine)或是類神經網路來建立此模型，本發明並不在此限。接下來，處理器120會根據此模型來偵測影像ImgR_1~ImgR_t中的臉部區域，並可獲得其臉部的位置。然而，上述偵測方法並非用以限定本發明，熟知本領域技藝者當可視其實際需要，選用不同的臉部偵測方法。

接著，在步驟S302中，處理器120利用使用者於每一影像ImgR_1~ImgR_t上的臉部區域影像來進行眼部偵測(eye detection)，以在每一影像ImgR_1~ImgR_t上偵測使用者的眼睛。簡單來說，在尋找到人臉的位置之後，可進一步利用人臉影像來尋找眼部影像以取得眼睛的位置。例如，資料庫70包括了不同角度與亮度下的眼部影像。處理器120可以利用儲存資料庫70的資料來訓練另一個用於眼睛偵測的模型，並用此模型來做眼部影像偵測，進而偵測出使用者的眼部影像。

之後，在步驟S303中，處理器120將判斷是否偵測到眼部影像。若步驟S303判斷為否，回到步驟S302，處理器120將持續偵測使用者的眼睛。若步驟S303判斷為是，在步驟S304中，處理器120將執行眼部追蹤，以追蹤使用者的眼睛而產生追蹤誤差。在步驟S305中，處理器120判斷追蹤誤差是否小於等於臨界值。簡單來說，若要利用多張影像ImgR_1~ImgR_t來取得眼部的二維位置，眼部追蹤可以增加眼部偵測的可靠度。

若追蹤誤差大於一臨界值，回到步驟S302，處理器120將持續偵測使用者的眼睛。若追蹤誤差小於等於臨界值，接續步驟S306，處理器120就可以直接取得眼部二維位置資訊Eye2d_R。需特別說明的是，在部份實施例中，處理器120更可以在每一影像ImgR_1~ImgR_t上偵測使用者的臉部特徵，其中此臉部特徵(例如為嘴角、鼻子、或眉毛等)不同於使用者的眼睛。基此，在步驟S306中，處理器120可根據每一影像ImgR_1~ImgR_t中眼睛的位置與臉部特徵的位置建立臉部網路模型，據以取得更精確的眼部二維位置資訊Eye2d_R。

然而，在另一實施例中，步驟S306可以被省略。也就是說，處理器120可以根據步驟S305中追蹤眼睛的結果來取得眼部二維位置Eye2d_R。

由此可知，處理器120在取得各影像擷取單元300_1~300_N所對應的個視角上的眼部的二維位置、臉部特徵或臉部網路模型後，處理器120可根據各影像擷取單元300_1~300_N所對應的眼睛的位置來取得使用者的三維位置。另外，使用者的三維位置也可同時基於眼睛的位置與臉部特徵的位置所取得，更可以是根據臉部網路模型所取得。以下將進一步說明如何利用多個影像擷取單元所擷取的影像，來取得使用者的三維位置。

圖4是根據一實施例繪示一種調整後視鏡的流程圖。請同時參照圖1與圖4，在本實施例中，將以後視鏡調整系統10僅具有兩個影像擷取單元300_1與300_2的情況來作說明(N=2)，但本發明不限於此。其中，影像擷取單元300_1用以擷取多張影像ImgR_1~ImgR_t，影像擷取單元300_2用以擷取多張影像ImgL_1~ImgL_s，而t與s為大於1的整數。進一步來說，影像擷取單元300_1與300_2可分別設置於車輛內使用者的右前方與左前方，因此而擷取到具有相異視角的兩組影像ImgR_1~ImgR_t與ImgL_1~ImgL_s。

前述實施例已經說明如何利用單一影像擷取單元擷取的多張影像來執行眼部定位，而取得眼部於某一視角上的二維位置，在此不贅述。簡單來說，在步驟S401中，處理器120利用影像擷取單元300_1所擷取的影像ImgR_1~ImgR_t進行眼部定位，而取得使用者的眼部對應於一視角上的二維座標資訊Eye2d_R。另一方面，在步驟S402中，處理器120利用影像擷取單元300_2所擷取的影像ImgL_1~ImgL_s進行眼部定位，而取得使用者的眼部對應於另一視角上的二維座標資訊Eye2d_L。

之後，在步驟S403與S404中，處理單元120分別執行影像擷取單元校正。具體來說，校正的目的在於計算影像擷取單元本身的焦距及座標參數，而此步驟通常也在架設影像擷取單元時及完成校正。接著，處理單元120基於二維座標資訊Eye2d_R與Eye2d_L以及影像擷取單元300_1與300_2的參數來執行三維位置估測，即時的計算出深度資訊而取得使用者眼部的三維位置。最後，在步驟S406中，處理器120根據使用者眼部的三維位置調整後視鏡200的角度，讓後視鏡可以調整至適合使用者的角度。以下將進一步說明如何利用具有不同視角的影像來取得物體於空間中的三維位置。

圖5繪示一種取得三維位置的示意圖。請參照圖5，影像ImgL屬於左視角影像，而ImgR屬於右視角影像，而位置點X_3D是物體50的真實三維位置，例如在本發明中物體50即為使用者的眼部。位置點O_L為一個影像擷取單元的原點座標，而位置點O_L與影像ImgL之間的距離便是此影像擷取單元的焦距。位置點O_R為另一個影像擷取單元的原點座標，而位置點O_R與影像ImgR之間的距離便是此另一個影像擷取單元的焦距。位置點O_L與位置點O_R之間的連線被稱為極線(epipolar line)，其會與影像ImgL相交於座標e_L，並與影像ImgR相交於座標e_R。當利用具有左視角的影像擷取單元來擷取影像ImgL時，而物體50將投影於影像ImgL中的二維的位置點X_L上。因此，若只基於左視角影像ImgL來估測與計算，物體50於空間中的三維位置有可能被估測為位置點X₁、X₂或X₃。同樣的，若只基於右視角影像ImgR中物體50的二維位置來估測與計算，也無法確切的計算出物體50於空間中的真實位置。然而，如圖5所示，若同時利用右視角影像ImgR與左視角影像ImgL，物體50會投影在影像ImgR上位置點e_R與位置點X_R所延伸出的直線上。因此，可以根據位置點X_R與位置點X_L來計算出位置點X_3D(即為物體50的真實三維位置)。例如，可以依照一個基本矩陣(fundamental matrix)來計算三維位置。然而，本領域有通常知識者應可理解如何利用此基本矩陣，在此便不再贅述。

圖6是根據一實施例繪示一種應用情景的示意圖。請參照圖6，此實施例中，如同一般常見的車輛，車內後視鏡620_1設置車輛600內部前方，而車外後視鏡620_2與車外後視鏡620_3設置於車輛600外部的兩側。另一方面，影像擷取單元630_1與影像擷取單元630_2可分別設置在駕駛座前方，像是車內後視鏡620_1的下方。另外，本實施例之車輛600具有一電子裝置(未繪示)，用以執行本發明之調整後視鏡的方法。

影像擷取單元630_1與影像擷取單元630_2對使用者640擷取多張影像後，電子裝置經過影像的分析與計算可以取得使用者640三維位置。具體來說，電子裝置對影像擷取單元630_1所擷取的影像進行眼部定位的步驟，而取得影像擷取單元630_1所對應的視角上使用者640的眼部的二維位置資訊。另外，電子裝置也對影像擷取單元630_2所擷取的影像進行眼部定位的步驟，而取得影像擷取單元630_2所對應的視角上使用者640的眼部的二維位置資訊。

接著，電子裝置可以利用影像擷取單元630_1與影像擷取單元630_2的位置資訊與焦距等參數，以及使用者640的眼部於各視角上的二維位置資訊，精確的估測使用者眼部在車輛600內的三維位置。基此，電子裝置可利用使用者眼部的三維位置座標來調整後視鏡620_1、620_2與620_3的角度。舉例來說，電子裝置可以根據使用者眼部的三維位置座標與車內後視鏡620_1的位置座標之間的連線P，來作為調整後視鏡620_1的角度的依據。同樣的，電子裝置可利用使用者眼部的三維位置座標與車外後視鏡620_2、620_3的位置座標之間的連線Q，來作為調整後視鏡620_2、620_3的依據。或者，電子裝置可藉由連線P、Q與水平方向的夾角或垂直方向的夾角，來調整後視鏡620_1的角度。然而，本發明並不限制如何調整後視鏡620_1、620_2與620_3的角度。

綜上所述，本發明實施例所提出之調整後視鏡的方法與電子裝置，可藉由多個影像擷取單元所擷取的多張影像來定位出使用者的三維位置，而使用者的三維位置將用以作為調整後視鏡的角度的依據。此外，本發明可除了利用使用者的眼部特徵，更可以利用使用者其他臉部特徵，進而提高估測使用者三維位置的準確度。如此一來，車輛的後視鏡可適應性的針對各駕駛員進行自動調整，讓駕駛員可以取得最佳的視野，提高駕駛員行駛車輛的方便性與安全性。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S201~S205‧‧‧調整後視鏡的方法的步驟

Claims

一種調整後視鏡的方法，用於一車上，其中該車配置有多個影像擷取單元與至少一後視鏡，該調整後視鏡的方法包括：透過該些影像擷取單元取得一使用者的多張影像，其中每一該些影像屬於一視角，並且該些視角彼此不相同；根據該些影像取得該使用者的一三維位置，其中根據該些影像取得該使用者的該三維位置的步驟包括：在每一該些影像上偵測該使用者的眼睛；以及根據每一該些影像中該眼睛的位置取得該使用者的該三維位置；根據該三維位置調整該至少一後視鏡的一角度；追蹤該使用者的該眼睛以產生一追蹤誤差；若該追蹤誤差大於一臨界值，則持續偵測該使用者的該眼睛；以及若該追蹤誤差小於等於該臨界值，執行所述取得該使用者的該三維位置的步驟。
如申請專利範圍第1項所述的調整後視鏡的方法，其中根據該些影像取得該使用者的該三維位置的步驟更包括：在每一該些影像上偵測該使用者的一臉部特徵，其中該臉部特徵不同於該眼睛，並且該使用者的該三維位置是根據每一該些影像中該眼睛的位置與該臉部特徵的位置所取得。
如申請專利範圍第2項所述的調整後視鏡的方法，其中根據該些影像取得該使用者的該三維位置的步驟更包括：根據每一該些影像中該眼睛的位置與該臉部特徵的位置建立一臉部網路模型，其中該使用者的該三維位置是根據該臉部網路模型所取得。
一種電子裝置，適用於一車上，耦接多個影像擷取單元與至少一後視鏡，該電子裝置包括：一記憶體，儲存有多個指令；以及一處理器，耦接至該記憶體，用以執行該些指令以執行多個步驟：透過該些影像擷取單元取得一使用者的多張影像，其中每一該些影像屬於一視角，並且該些視角彼此不相同；根據該些影像取得該使用者的一三維位置，其中根據該些影像取得該使用者的該三維位置的步驟包括：在每一該些影像上偵測該使用者的眼睛；以及根據每一該些影像中該眼睛的位置取得該使用者的該三維位置；根據該三維位置調整該至少一後視鏡的一角度；追蹤該使用者的該眼睛以產生一追蹤誤差；若該追蹤誤差大於一臨界值，則持續偵測該使用者的該眼睛；以及若該追蹤誤差小於等於該臨界值，執行所述取得該使用者的該三維位置的步驟。
如申請專利範圍第4項所述的電子裝置，其中根據該些影像取得該使用者的該三維位置的步驟更包括：在每一該些影像上偵測該使用者的一臉部特徵，其中該臉部特徵不同於該眼睛，並且該使用者的該三維位置是根據每一該些影像中該眼睛的位置與該臉部特徵的位置所取得。
如申請專利範圍第5項所述的電子裝置，其中根據該些影像取得該使用者的該三維位置的步驟更包括：根據每一該些影像中該眼睛的位置與該臉部特徵的位置建立一臉部網路模型，其中該使用者的該三維位置是根據該臉部網路模型所取得。