TWI542892B - 影像系統 - Google Patents

Description

影像系統

本揭露係關於一種影像系統。

TOF(time of flight)相機是一種應用TOF原理(time of flight principle)來產生距離資料(distance data)的相機系統。一種簡單的TOF相機是使用光脈波(light pulses)。在很短的時間內開啟照明，產生光脈波以照射場景(scene)。物件反射光，相機的透鏡聚集光，並在感測平面上成像。因距離之緣故，進入光(incoming light)會延遲。相機具有光電二極體(photo diode)。光電二極體將進入光轉換成電流。在類比計時(analog timing)感測器中，快速開關(fast switches)連接光電二極體，以將電流導引至記憶單元。在數位計時(digital timing)感測器中，以數十億赫(several gigahertz)運作之計數器連接各光電二極體。當感測到光時，計數器則停止計數。

在一類比計時感測器中，光電二極體連接兩開關和兩記憶單元。開關是被與光脈波相同長度之脈衝所控制，其中兩該開關之一者之控制信號延遲相同的脈衝長度。隨延遲的不同，不同比例之光脈衝產生之電流會分別儲存在兩記憶單元。讀取兩記憶單元儲存的信號，即可計算物件距離。

由於TOF相機產生之光脈波是照射整個場景，光可能經過不同路徑後達到物件，而容易造成量測距離大於實際距離之情形發生。

本發明之一實施範例揭露一影像系統。影像系統可包含一光源、一影像感測裝置，以及一計算裝置。光源可照亮一物件，物件包含至少一部位。影像感測裝置可產生一圖像。圖像可包含物件產生之一影像。影像可包含至少一部分，其中該至少一部分對應物件之該至少一部位。計算裝置可計算代表影像之該至少一部分之亮度值。計算裝置可根據該亮度值和該至少一部分之一尺寸計算物件之該至少一部位與該影像感測裝置之至少一距離。

本發明之另一實施範例揭示一種影像系統。影像系統可包含一光源、一影像感測裝置，以及一計算裝置。光源可照亮一物件。物件可包含一第一部位和一第二部位。第一部位和第二部位可相連。第一部位和第二部位之反射率可不同。影像感測裝置可產生一圖像。圖像可包含物件產生之一影像，而影像可包含一第一部分和一第二部分，其中物件之第一部位對應第一部份，物件之第二部位對應第二部分。計算裝置可根據代表第一部分之一亮度值和代表第二部分之一亮度值計算第二部位之一反射率。

本揭露之另一實施範例揭示一種影像系統。影像系統可包含一光源、一影像感測裝置，以及一計算裝置。光源可照亮一物件。影像感測裝置可依序產生一第一圖像和一第二圖像，其中第一圖像和第二圖像可分別包含物件產生之一影像。計算裝置可根據第一圖像之影像計算物件相距影像感測裝置之一距離。計算裝置可獲取代表第一圖像之影像之一第一亮度值和在第二圖像之影像上對應第一亮度值之一第二亮度值。計算裝置可根據第一亮度值、第二亮度值和距離計算物件從產生第一圖像至產生第二圖像之間所移動之一移動距離。

本揭露之另一實施範例揭示一種影像系統。影像 系統可包含一光源、一影像感測裝置，以及一計算裝置。光源可照亮一物件。影像感測裝置可產生複數個圖像。各圖像包含物件產生之一影像。各影像包含複數個部分，其中該些部分對應物件之該些部位。計算裝置根據該些影像之該些部分之位置及亮度值之變化，產生對應於該些部位之相對運動之輸出訊號。

1‧‧‧影像系統

2‧‧‧物件

3‧‧‧圖像

4‧‧‧圖像

8‧‧‧圖像

11‧‧‧光源

12‧‧‧影像感測裝置

13‧‧‧計算裝置

14‧‧‧影像感測裝置

21‧‧‧臉部

22‧‧‧手部位

23‧‧‧手部位

24‧‧‧身體部位

31‧‧‧影像

41‧‧‧影像

71‧‧‧開啟階段

72‧‧‧擷取階段

73‧‧‧擷取階段

81‧‧‧影像

91‧‧‧處理器

92‧‧‧記憶體

93‧‧‧輸出入裝置

101‧‧‧微控制器

102‧‧‧像素陣列

103‧‧‧直流/直流轉換器

121‧‧‧自動曝光控制裝置

122‧‧‧曝光/增益暫存器

311‧‧‧臉部分

312‧‧‧手部分

313‧‧‧手部分

314‧‧‧身體部分

A、A'‧‧‧反射率

d₁、d₂‧‧‧尺寸

l₁、l₂、l₃、l₄、l₅‧‧‧距離

S1101~S1108‧‧‧流程步驟

圖1顯示本發明一實施例之影像系統拍攝一物件之示意圖；圖2顯示本發明一實施例之圖像之示意圖；圖3顯示本發明一實施例之物件之部位與影像感測裝置間之距離之示意圖；圖4顯示本發明一實施例之物件之三維影像之示意圖；圖5顯示本發明另一實施例之物件與影像感測裝置之示意圖；圖6顯示本發明另一實施例之圖像之示意圖；圖7顯示本發明一實施例之光源開啟和影像擷取之時序圖；圖8顯示本發明一實施例之可見光圖像之示意圖；圖9顯示本發明一實施例之計算裝置之功能方塊圖；圖10顯示本發明一實施例之部分影像系統之功能方塊圖；圖11顯示本發明一實施例之一種偵測姿勢方法之流程圖；以及圖12顯示本發明一實施例之自動曝光機制之方塊示意圖。

本發明一些實施例之影像系統可偵測一物件之一部位之亮度和計算該部位和該影像系統之影像感測裝置之間之距離，和利用該亮度和該距離計算另一部位與影像感測裝置之間之距離、另一部位之反射率、兩部位間之相對位置或物件在不同時間之移動距離。在一些實施例中，該部位和影像感測裝置間之距離可從該部位至該影像感測裝置量測。在一些實施例中，該部位和影像感測裝置之間之距離可從鄰近該部位之任何地方至該影像感測裝置量測。

圖1顯示本發明一實施例之影像系統1拍攝一物件2之示意圖。圖2顯示本發明一實施例之圖像之示意圖。參照圖1和圖2所示，影像系統1包含一光源11、一影像感測裝置12，以及一計算裝置13。光源11用於照亮一物件2，物件2可包含複數個部位21、22、23和24。影像感測裝置12可產生一圖像3，如圖2所示。圖像3可包含物件2在光照下產生的影像31，影像31可包含複數個部分311、312、313和314，其中複數個部分311、312、313和314分別對應複數個部位21、22、23和24。計算裝置13可計算代表複數個部分311、312、313和314之亮度值。計算裝置13另可根據代表複數個部分311、312、313和314之一者之一尺寸和該些亮度值計算複數個部位21、22、23和24與影像感測裝置12之間之距離。藉由這些距離值，可建構出物件2之三維影像。

光源11之發光照射物件2後，物件2反射該發光，影像感測裝置12接受部分反射光。由於距離不同之緣故，物件2之影像31可具有明顯之亮度值分佈。此外，物件2可包含複數個反射率不同之部位。高反射率之部位反光多，會產生較亮的部分；低反射率之部位反光少，易產生較暗的部分。

在一些實施例中，物件2可包含真實世界的任何實物(substance)。在一些實施例中，物件2可包含人，但本發明不以此為限。如圖3所示，當物件2為人時，物件2可能包含複數個相距影像感測裝置12不同距離之部位21、22、23和24，例如：臉部21、手部位22、另一手部位23和身體部位24。臉部21對應影像31之臉部分311；手部位22對應影像31之手部分312；手部位23對應影像31之手部分313；而身體部位24對應影像31之身體部分314。

通常，亮度和距離平方成反比，因此根據影像31之臉部分311、手部分312和手部分313之亮度值，可決定出物件2之臉部21、手部位22和手部位23之相對位置。計算裝置13分析圖像3後，可獲得手部分312之亮度值高於臉部分311之亮度值，而臉部分311之亮度值高於手部分313之亮度值。根據此結果，計算裝置13可確認物件2之手部位22較臉部21靠近影像感測裝置12或物件2之手部位22在臉部21位置之前方；而物件2之手部位23較臉部21遠離影像感測裝置12或物件2之手部位23在臉部21位置之後方。

在一些實施例中，影像31之臉部分311、手部分312或手部分313之亮度值可為臉部分311、手部分312或手部分313內之所有像素之平均亮度值。在一些實施例中，影像31之臉部分311、手部分312或手部分313之亮度值可為臉部分311、手部分312或手部分313之部分像素之平均亮度值。

再者，可根據影像31之亮度分布和應用光學成像原理可進一步決定物件2之不同亮度部位相距影像感測裝置12之距離。

以圖2與圖3之實施例為例，計算裝置13可分析出影像31之臉部分311之亮度值為I₁、影像31之手部分312之亮度值為I₂，以及影像31之手部分313之亮度值為I₃。 計算裝置13再可分析出影像31之臉部分之一尺寸d₁。根據光學成像原理計算裝置13可計算出臉部21至影像感測裝置12之距離l₁。計算臉部21至影像感測裝置12之距離l₁所使用之尺寸不限於臉部21之寬度，臉部21之長度或其他尺寸亦可。物件2之手部位22和23則可分別以下列式子(1)和(2)計算。

物件2之其他部位，例如腳部位，也可利用類似方法計算其與影像感測裝置12之距離。根據計算出物件2之各部位與影像感測裝置12之距離及圖像3內之影像31，三維物件影像可被計算裝置13所建構出，如圖4所示。

在前述實施例中，物件2之臉部21、手部位22和另一手部位23是皮膚反射光，因該些部位21、22和23具有類似的反射率(reflectance)，故計算距離時，可忽略反射率之影響。物件2可包含另包含一些部位，其反射率不同於皮膚，例如穿著衣服之身體部位24。若以部位，例如物件2之臉部21，計算身體部位24相距影像感測裝置12之距離時，就需考慮身體部位24與臉部21間反射率之差異。

若皮膚反射率為A，影像31之身體部分314的亮度值為I₄，身體部位24的反射率為A'，則身體部位24相距影像感測裝置12之距離l₄可以下列式子(3)計算。

在一些實施例中，物件2之部位之反射率也可被計算而得。以例言，物件2之臉部21和身體部位24係相連，且若物件2之臉部21和身體部位24保持直立，則兩部位21和24相距影像感測裝置12之距離可實質相同。當影像31 之身體部分314的亮度值為I₄，臉部分311之亮度值為I₁時，身體部位24的反射率A'可利用式子(4)計算而得。

在一些實施例中，可根據兩圖像上之亮度值，計算物件之移動距離。以物件2之臉部21為例，參照圖2、圖3、圖5和圖6所示，當物件2之臉部21相距影像感測裝置12之距離為l₁時，影像感測裝置12產生圖像3，從圖像3之影像31可獲得臉部分311之亮度值I₁。如前所述，根據臉部分311之尺寸d₁可估計出物件2之臉部21相距影像感測裝置12之距離l₁。

物件2移動至其臉部21相距影像感測裝置12之距離l₅後，影像感測裝置12產生圖像4，從圖像4之影像41可獲得臉部分311之亮度值I₅。距離l₅可由距離l₁、亮度值I₁和亮度值I₅計算而得。

在一些實施例中，可計算影像41之臉部分311之一尺寸d₂。類似地，利用光學成像原理，以尺寸d₂估算距離l₅。在一些實施例中，當利用光學成像原理計算之距離l₅和利用亮度和距離平方成反比原理計算之距離l₅不同時，計算裝置13可將兩距離l₅平均或加權平均等方式，計算一校正距離。在一些實施例中，可以光學成像原理計算之距離l₅為基準，修正物件2之部位之反射率，以使利用亮度和距離平方成反比原理計算之距離與光學成像原理計算之距離可接近。

在一些實施例中，參照圖2、3、5和6所示，影像感測裝置12可產生複數圖像3和6。各圖像3或6包含物件2產生之一影像31或41。影像31或41可包含複數個部分(311、312、313、314)，其中複數個部分(311、312、313、314)對應物件2之複數個部位(21、22、23、24)。計算裝置13可比較影像31和41中之複數個部分(311、312、313、314) 之位置，決定出物件2相對於影像感測裝置12在橫向上的位置變化。再者，計算裝置13可根據影像31和41中之複數個部分(311、312、313、314)之亮度值，計算物件2之各部分(311、312、313或314)朝向或遠離影像感測裝置12之移動值。根據位置變化和移動值，計算裝置13可決定出物件2之各部分(311、312、313或314)之三維相對運動，並藉此產生相對運動輸出訊號。

參照圖7所示，物件2可能將非光源11之發光反射至影像感測裝置12，從而改變圖像3之影像31亮度，造成距離計算誤差。在一些實施例中，在光源開啟階段71時，影像感測裝置12可進行一光源照射圖像(flash image)之擷取階段72，而在光源關閉時，影像感測裝置12可進行一非光源照射圖像(non-flash image)之擷取階段73。圖像3可為光源照射圖像與非光源照射圖像相減而獲得。如此，可降低非光源11之光產生之誤差。

參照圖10所示，在一些實施例中，影像系統1可包含一微控制器101、一直流/直流轉換器(DC/DC converter)103、像素陣列102，以及光源11。直流/直流(DC/DC)轉換器103耦接光源11，以提供電源。微控制器101耦接直流/直流轉換器103和像素陣列102，以控制電源提供與影像擷取。微控制器101可程式以在光源11開啟時，像素陣列102可進行一光源照射圖像之擷取，並在光源11關閉時，像素陣列102可進行一非光源照射圖像之擷取。

在一些實施例中，影像系統1之光源11之開啟時間可調整，以使影像31中至少一部份之亮度值落在一預定亮度範圍內。參照圖2所示，在一些實施例中，影像系統1可調整光源11之開啟時間，以使影像31中之臉部分311之亮度值落在一預定亮度範圍內，但本發明不以此為限。在影像31被擷取後，影像31之臉部分311首先被辨識。現有之 影像辨識技術均可運用來辨識影像31之臉部分311。當影像31之臉部分311被辨識出後，代表影像31之臉部分311之亮度值可被計算。亮度值可為臉部分311之像素平均值、部分臉部分311之像素平均值或其他可表示臉部分311之亮度值。然後，比較臉部分311之亮度值與一預定亮度範圍。如果臉部分311之亮度值不在預定亮度範圍內，則增加或減少光源11之開啟時間，以讓臉部分311之亮度值可落在該預定亮度範圍。

在一些實施例中，影像系統1之影像感測裝置12之曝光時間可調整，以使影像31中至少一部份之亮度值落在一預定亮度範圍內。在一些實施例中，影像系統1可調整影像感測裝置12之曝光時間，以使影像31中之臉部分311之亮度值落在一預定亮度範圍內，但本發明不以此為限。在一些實施例中，當影像31之臉部分311被辨識出後，代表影像31之臉部分311之亮度值可被計算。然後，比較臉部分311之亮度值與一預定亮度範圍。如果臉部分311之亮度值不在預定亮度範圍內，則增加或減少影像感測裝置12之曝光時間，以讓臉部分311之亮度值可落在該預定亮度範圍。

在一些實施例中，光源11產生非可見光，而影像感測裝置12對應地感測(sensitive)非可見光。影像31之臉部分311可直接從影像感測裝置12產生之圖像3上辨識出。

參照圖2和圖8所示，在一些實施例，光源11產生非可見光，而影像感測裝置12對應地感測(sensitive to)非可見光。影像系統1可包含另一影像感測裝置14，影像感測裝置14可感測可見光。影像感測裝置14可產生一可見光圖像8，如圖8所示。圖像8可包含一影像81，圖像8可利用以辨識影像81之臉部分，以確認臉部分之位置。然後，在相同位置上分別取得光源照射圖像與非光源照射圖像之亮度值。比較出亮度值差與一預定亮度範圍，調整曝光時間。之 後，再根據臉部分之大小與亮度，計算物件2之其他部位之距離值。

在一些實施例中，如圖8所示，物件2為人的情形下，人臉位置的偵測以使用可見光圖像8之影像為較佳。影像系統1首先產生可見光圖像8。然後，在可見光圖像8上辨識出人臉位置及/或代表人臉之一尺寸。之後，產生非可見光，以擷取非可見光圖像。最後，根據非可見光圖像判斷物件之姿勢或移動狀態。

在一些實施例中，在一些實施例，光源11發出紅外光，而影像感測裝置12對應地感測紅外光。

在一些實施例中，影像感測裝置12或影像感測裝置14包含全域快門(global shutter)影像感測裝置。

影像感測裝置12或14可具有自動曝光機制。在一些實施例中，如圖12所示，影像感測裝置12或14可包含一像素陣列102、一自動曝光控制裝置121，以及一曝光/增益暫存器122。像素陣列102接收光，以產生圖像。自動曝光控制裝置121耦接像素陣列102，接收像素陣列102產生之圖像。自動曝光控制裝置121可比較圖像中之影像之一部分與一預定亮度範圍，計算曝光/增益值(exposure/gain value)。曝光/增益暫存器122耦接像素陣列和自動曝光控制裝置121，並可儲存曝光/增益值以控制像素陣列102之曝光時間。前述實施例僅為例示，本發明不限於此。

參照圖9所示，在一些實施例中，計算裝置13可包含一處理器91、一記憶體92和一輸出入裝置93。記憶體92可儲存計算裝置13運作所需之程式、實現本案實施例之方法之程式和執行所需之資料等等。處理器91用於執行程式。輸出入裝置93用於耦接外部裝置，例如：通訊裝置、影像感測裝置等等。

本發明一實施例另揭露一種偵測姿勢(gesture) 之方法。參照圖11所示，在步驟S1101中，首先獲取一圖像，其中圖像中包含人的影像。圖像可使用感測可見光之影像感測裝置所擷取，或使用感測非可見光之影像感測裝置所擷取。在步驟S1102中，辨識圖像中人臉，以確定人臉在圖像中之位置。用於辨識人臉之圖像可為可見光圖像或非可見光圖像。在步驟S1103中，獲取一光源照射圖像(flash image)和一非光源照射圖像(non-flash image)。在步驟S1104中，計算光源照射圖像和非光源照射圖像上在人臉位置處之亮度差。在步驟S1105中，比較亮度差與一預定亮度範圍，當亮度差位於預定亮度範圍外時，調整光源開啟時間或影像感測裝置之曝光時間。在步驟S1106中，擷取新的圖像。在步驟S1107中，計算並儲存新的圖像中人臉與身體的反射率。根據人臉尺寸可計算人臉至影像感測裝置之距離。根據人臉和身體的亮度值，可計算身體的反射率。在步驟S1108，可根據人臉至影像感測裝置之距離、人臉亮度和人其他部位之亮度，計算其他部位至影像感測裝置之距離。根據前述距離，可建構出三維人影像，並判斷出物件的姿勢。在一些實施例中，亦可利用之後擷取之圖像、前述人臉至影像感測裝置之距離和人臉亮度，計算物件移動距離或物件的姿勢。

在一些實施例中，系統可儲存一預定人臉反射率。根據人臉至影像感測裝置之計算距離之誤差，可修正該預定人臉反射率，以獲得新的人臉反射率。新的人臉反射率最後儲存在系統內。

本揭露之技術內容及技術特點已揭示如上，然而熟悉本項技術之人士仍可能基於本揭露之教示及揭示而作種種不背離本揭露精神之替換及修飾。因此，本揭露之保護範圍應不限於實施範例所揭示者，而應包括各種不背離本揭露之替換及修飾，並為以下之申請專利範圍所涵蓋。

1‧‧‧影像系統

2‧‧‧物件

11‧‧‧光源

12‧‧‧影像感測裝置

13‧‧‧計算裝置

14‧‧‧影像感測裝置

21‧‧‧臉部

22‧‧‧手部位

23‧‧‧手部位

24‧‧‧身體部位

Claims (11)

1. 一種影像系統，包含：一光源，照亮一物件，該物件包含至少一部位；一影像感測裝置，產生一圖像，該圖像包含該物件產生之一影像，該影像包含至少一部分，其中該至少一部分對應該至少一部位；以及一計算裝置，計算代表該影像之該至少一部分之亮度值和根據該亮度值和該至少一部分之一尺寸計算該物件之該至少一部位與該影像感測裝置之至少一第一距離，其中該物件包含兩相連部位，而該影像包含兩相連部分，該兩相連部位對應該兩相連部分，其中該計算裝置計算該兩相連部分之亮度值和該兩相連部位之一者相距該影像感測裝置之一第二距離，該計算裝置並根據該兩相連部分之該些亮度值和該第二距離計算該兩相連部位之另一者之一反射率。
2. 根據請求項1所述之影像系統，其中該計算裝置根據該影像之兩部分之尺寸計算該物件之相應之兩部位相距該影像感測裝置之兩第三距離，並以一該第三距離校正另一該第三距離。
3. 根據請求項1所述之影像系統，其中該計算裝置根據該影像之兩部分之尺寸計算該物件之相應之兩部位相距該影像感測裝置之兩第四距離，並根據該兩第四距離校正該兩部分之一者之一反射率。
4. 一種影像系統，包含： 一光源，照亮一物件，該物件包含複數個部位；一影像感測裝置，產生複數個圖像，各該圖像包含該物件產生之一影像，各該影像包含複數個部分，其中該些部分對應該些部位；一計算裝置，根據該些影像之該些部分之位置及亮度值之變化，產生對應於該些部位之相對運動之輸出訊號。
5. 根據請求項4所述之影像系統，其中該計算裝置根據各該影像之該些位置及該些亮度值建立該物件之一三維影像。
6. 根據請求項4所述之影像系統，其中各該圖像是一光源照射圖像與一非光源照射圖像相減獲得。
7. 根據請求項4所述之影像系統，其中該光源發出不可見光，該影像感測裝置感測不可見光。
8. 根據請求項7所述之影像系統，其更包含一可見光影像感測裝置，該可見光影像感測裝置用於產生一可見光圖像，該可見光圖像包含該物件產生之一影像，該計算裝置根據該可見光圖像取得一該圖像之該影像之該些部分之一者之一位置和一尺寸。
9. 根據請求項4所述之影像系統，其中該影像感測裝置為全域快門影像感測裝置。
10. 根據請求項9所述之影像系統，其中該影像感測裝置包含一像素陣列和耦接該像素陣列之一自動曝光控制裝置，其中該自動曝光控制裝置比較一該影像之該些部分之一者之該亮度值與一預定亮度範圍，產生一曝光/增益值，以控制該像素陣列之曝光時間。
11. 根據請求項4所述之影像系統，其中該影像系統比較一該影像之該些部分之一者之該亮度值與一預定亮度範圍，決定該光源之開啟時間或影像感測裝置之曝光時間。