TWI472864B - 影像處理裝置及其控制方法 - Google Patents

Description

影像處理裝置及其控制方法

本揭露是有關於一種影像處理裝置及此影像處理裝置的控制方法。

影像處理裝置(例如是相機)拍攝影像時，須先進行對焦步驟，以對鏡頭進行焦距的調整，使得入射鏡頭的光成像於相機的感光元件。入射光是否確實聚焦於感光元件上，會影響感光元件上形成的影像是否清晰。因此，對焦的精確度會影響到所拍攝的影像的清晰度。為了使得拍攝的照片有良好的清晰度，往往需要耗費時間作精確的對焦。

隨著科技的進步，市面上大部份的數位相機具有自動對焦的功能。一般的自動對焦功能，係利用數位相機調整鏡頭的焦距，並逐步檢測感光元件上形成的影像是否達到足夠清晰度。由於對焦步驟通常需要經過反覆地調整，才得以選擇適當的焦距，過程十分耗時，不但造成使用者的不便，受限於 對焦掃描的時間落差，也容易在拍攝時錯過瞬間的珍貴影像。

本揭露係有關於一種影像處理裝置裝置及其控制方法，可以在第一幀頻下擷取第一影像，在大於第一幀頻之第二幀頻下擷取第二影像。並且，可以依據第二影像決定深度資料，並依據深度資料調整鏡頭與感測器之相對距離。

根據本揭露之一實施例，提出一種影像處理裝置，包括一相機模組、一第一像素擷取介面、一第二像素擷取介面、一影像處理模組及一對焦控制器。相機模組包含一組鏡頭、感測器及對焦致動器，感測器沿著一方向與鏡頭對齊，對焦致動器連接至鏡頭，可推動鏡頭沿著此方向移動。第一像素擷取介面連接至感測器，用以在第一幀頻下擷取第一影像，第二像素擷取介面連接至感測器，用以在第二幀頻下擷取第二影像，且第二幀頻大於第一幀頻。影像處理模組，用以依據第二影像決定一深度資料，接收第一影像並對應輸出一影像檔案。對焦控制器連接於影像處理模組與對焦致動器之間，用以依據深度資料驅動對焦致動器以調整鏡頭沿著此方向與感測器之一相對距離。

根據本揭露之另一實施例，提出一種影像處理裝置的控制方法，此方法包括以下步驟。提供一影像處理裝置，包括一相機模組、一第一像素擷取介面、一第二像素擷取介面、 一影像處理模組及一對焦控制器，其中相機模組包含一組鏡頭、一感測器以及一對焦致動器，感測器沿著一方向與鏡頭對齊，對焦致動器連接至鏡頭，可推動鏡頭沿著此方向移動，第一像素擷取介面及第二像素擷取介面連接至感測器，對焦控制器連接於影像處理模組與對焦致動器之間。利用第一像素擷取介面，在一第一幀頻下擷取一第一影像。利用第二像素擷取介面，在一第二幀頻下擷取一第二影像，且第二幀頻大於第一幀頻。影像處理模組依據第二影像決定一深度資料，接收第一影像並對應輸出一影像檔案。對焦控制器依據深度資料驅動對焦致動器，以調整鏡頭沿著此方向與感測器之一相對距離。

為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：

10‧‧‧影像處理裝置

100‧‧‧相機模組

102‧‧‧鏡頭

104‧‧‧感測器

1042、1044‧‧‧主像素陣列

106‧‧‧對焦致動器106

120、122‧‧‧像素擷取介面

1202、1204、1222、1224‧‧‧時脈電路

1200、1220‧‧‧感測電路

130‧‧‧影像處理模組

132、134‧‧‧影像處理單元

136‧‧‧聚焦處理單元

138‧‧‧影像整合處理單元

140‧‧‧顯示器

150‧‧‧對焦控制器

160、162‧‧‧記憶體

200‧‧‧影像畫面

2002‧‧‧區域

2002a、2002b、2002c、2002d、A1、A2、A3‧‧‧單位區域

S10、S20‧‧‧影像

S12、S22、S30‧‧‧影像檔案

S24‧‧‧深度資料

S26‧‧‧驅動訊號

第1圖繪示依照本揭露一實施例之一種影像處理裝置方塊示意圖。

第2圖繪示依照本發明一實施例之像素擷取介面的示意圖。

第3圖繪示依照本發明另一實施例之像素擷取介面的示意圖。

第4圖繪示依照本發明一實施例之深度資料的產生方法示意圖。

第1圖繪示依照本揭露一實施例之一種影像處理裝置10。請參考第1圖，影像處理裝置10包括相機模組100、第一像素擷取介面120、第二像素擷取介面122、影像處理模組130及對焦控制器150。相機模組100包含一組鏡頭(lens)102、感測器104及對焦致動器106。感測器104例如係一快速混合傳感器(fast hybrid sensor)，感測器104可沿著一方向與此組鏡頭102對齊。對焦致動器(auto-focus actuator)106連接至此組鏡頭102，且可推動此組鏡頭102沿著此方向移動。

第一像素擷取介面(sensor interface)120連接至感測器104，用以在第一幀頻(frame rate)下擷取第一影像S10。第二像素擷取介面122連接至感測器104，用以在第二幀頻下擷取第二影像S20，第一影像S10與第二影像S20不同，且第二幀頻大於第一幀頻。影像處理模組130接收第一影像S10及第二影像S20，具體而言，影像處理模組130可以依據第二影像S20決定一深度資料S24，並且，接收第一影像S10並對應輸出一影像檔案S30。深度資料S24可傳送至對焦控制器150及/或傳送至記憶體162中儲存。對焦控制器150連接於影像處理模組130與對焦致動器106之間，用以依據深度資料S24驅動對焦致動器106，藉以調整此組鏡頭102沿著此方向與感測器104之間的相對距離。

於一實施例中，影像處理模組130可包括第一影像處理單元132、第二影像處理單元134及聚焦處理單元136。第一影像處理單元132接收第一影像S10，並輸出第一影像檔案S12。第二影像處理單元134接收第二影像S20，並輸出第二影像檔案S22。聚焦處理單元136接收第二影像S20或第二影像檔案S22其中之一，以計算深度資料S24。於一實施例中，影像處理模組130更可以包括一影像整合處理單元138，用以接收並整合第一影像檔案S12及第二影像檔案S22，以輸出影像檔案S30至一顯示器140或一記憶體160。記憶體可用以儲存所接收的第一影像檔案S12及影像檔案S30，也可以選擇性地輸出所接收的第一影像檔案S12及影像檔案S30至顯示器140。

於一實施例中，當第一幀頻小於第二幀頻時，影像檔案S30對應至第一影像檔案S12。並且，當第一幀頻等於第二幀頻時，影像檔案S30對應至第一影像檔案S12及第二影像檔案S22。

如第1圖所示，對焦控制器150可用以接收聚焦處理單元136所輸出之深度資料S24，並依據深度資料S24產生一驅動訊號S26(例如係驅動電流、驅動電壓或一組驅動參數)至對焦致動器106，以驅動對焦致動器106將鏡頭102與感測器104之間的相對距離調整為一對焦距離。

第2圖繪示依照本發明一實施例之像素擷取介面的示意圖。如第2圖所示，於一實施例中，感測器104包含主 像素陣列1042，主像素陣列1042包括第一組像素陣列與第二組像素陣列(未標示出)。第一像素擷取介面120連接至感測器104之第一組像素陣列。第二像素擷取介面122連接至感測器104之第二組像素陣列，且第二影像S20之解析度小於第一影像S10之解析度。於一實施例中，主像素陣列1042的像素可以包括紅色像素R、綠色像素G、藍色像素B及像素A，其中像素A可為彩色像素或單色像素(例如係像素R、像素G或像素B)，主像素陣列1042中像素的排列方式並不作限制。

第一像素擷取介面120包括第一感測電路1200、第三時脈電路1202及第一時脈電路1204。第一時脈電路1204用以控制第一感測電路1200，擷取感測器104並以第一幀頻輸出第一影像S10。第二像素擷取介面122包括第二感測電路1220、第四時脈電路1222及第二時脈電路1224。第二時脈電路1224用以控制第二感測電路1220，擷取感測器104並以第二幀頻輸出第二影像S20。舉例來說，第二感測電路1220受到第二時脈電路1224的控制，可以擷取感測器104之主像素陣列1042中的像素A，並以第二幀頻輸出作為第二影像S20。於影像擷取步驟中，第二幀頻例如係大於第一幀頻，以加速第二影像S20或第二影像檔案S22的擷取，使得深度資料S24的計算更為快速。

第3圖繪示依照本發明另一實施例之像素擷取介面的示意圖。第3圖繪示之像素擷取介面與第2圖之像素擷取 介面相似，差異為主像素陣列1042中像素的排列方式不同。於本揭露中僅繪示出第2及3圖的主像素陣列1042及主像素陣列1044之排列方式作說明，然而，主像素陣列1042及主像素陣列1044也可以依照不同的設計而有不同的排列方式，並不限於第2圖及第3圖所繪示的形式。

於一實施例中，第一影像S10對應至第一組像素陣列，第二影像S20對應至第二組像素陣列，且第一組像素陣列與第二組像素陣列係於一相同平面上重複地且交錯地排列。

於一實施例中，第一組像素陣列為一彩色像素陣列，且第二組像素陣列可接收紅外光(infrared)並對應地產生第二影像S20。

於一實施例中，主像素陣列1042或主像素陣列1044可分為複數個區域。第二組像素陣列可以係由主像素陣列1042(或主像素陣列1044)之中的每一區域所挑選的像素排列而成的彩色像素陣列。第一組像素陣列係由主像素陣列1042(或主像素陣列1044)扣除挑選至第二組像素陣列的像素所排列而成的另一彩色像素陣列。亦即，第一組像素陣列及第二組像素陣列皆係彩色像素陣列。

請參考第4圖，其繪示依照本發明一實施例之深度資料的產生方法示意圖。如第4圖所繪示，影像畫面200可以包括複數組區域2002，每一組區域2002各具有數個單位區域，例如係單位區域2002a、單位區域2002b、單位區域2002c 及單位區域2002d。如第4圖所示之實施例中，影像畫面200可以包括16個區域2002(橫軸與縱軸皆4等分)，其中每一個區域2002又具有4個單位區域，故整個影像畫面200共有64個單位區域。劃分的區域與單位區域的數目可以依據產品設計的需求而作調整，並不作限制。

請同時參考第2~4圖，於一實施例中，當影像處理裝置10拍攝影像畫面200時，影像畫面200所具有的複數個區域2002，分別對應至主像素陣列之1042(或主像素陣列之1044)之複數個區域。於影像畫面200的每一個區域2002，各別挑選出一單位區域(例如係單位區域2002a)，以排列出第二影像S20(對應於第二組像素陣列)，並且，由影像畫面200扣除挑選為第二影像S20之單位區域所排列而成者為第一影像S10。影像畫面200可以包括第一影像S10(對應至第一組像素陣列)及第二影像S20。

舉例來說，可於影像畫面200的16個區域中各挑選出一單位區域，以排列出第二影像S20，並且，由影像畫面200扣除挑選為第二影像之16個單位區域排列成為第一影像S10。此時，第二影像S20例如係由16個單位區域所排列而成，第一影像S10例如係由48個單位區域所排列而成。

於一實施例中，可以依據景物與拍攝鏡頭的距離，由近拍到遠景作掃描，推算出每一個單位區域所對應之最佳的聚焦位置。如第4圖所示，單位區域A1具有較近的影像深 度，單位區域A3具有較遠的影像深度，而單位區域A2的影像深度則是介於單位區域A1及單位區域A3之間。

第二影像S20包含由影像畫面200的每一個區域2002中挑選之單位區域，每一個單位區域皆具有對應之最佳聚焦位置。聚焦處理單元136(繪示於第1圖)可以依據第二影像處理單元134所提供之第二影像S20或第二影像檔案S22，輸出單位區域與所對應之最佳聚焦位置的資訊，以作為深度資料S24。由於挑選出來的第二影像S20所包括的單位區域比第一影像S10所包括的單位區域更小，(亦即，第二影像S20具有比第一影像S10更小的解析度)。因此，利用第二影像S20(或第二影像檔案S22)可以更快速地計算深度資訊。

綜上所述，本揭露上述實施例所提供之影像處理裝置及其控制方法，影像處理裝置包括第一像素擷取介面及第二像素擷取介面，分別可在不同的幀頻下擷取影像。利用在幀頻較大時像素擷取介面所擷取到的影像決定深度資料，據以驅動致動器調整鏡頭與感測器的相對距離，不但可以達到快速聚焦的功能，還可以兼顧聚焦精確度，更符合使用者與市場的需求。

綜上所述，雖然本揭露已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍 所界定者為準。

10‧‧‧影像處理裝置

100‧‧‧相機模組

102‧‧‧鏡頭

104‧‧‧感測器

106‧‧‧對焦致動器

120、122‧‧‧像素擷取介面

130‧‧‧影像處理模組

132、134‧‧‧影像處理單元

136‧‧‧聚焦處理單元

138‧‧‧影像整合處理單元

140‧‧‧顯示器

150‧‧‧對焦控制器

160、162‧‧‧記憶體

S10、S20‧‧‧影像

S12、S22、S30‧‧‧影像檔案

S24‧‧‧深度資料

S26‧‧‧驅動訊號

Claims (24)

1. 一種影像處理裝置，包括：一相機模組，包含：一組鏡頭；一感測器，沿著一方向與該組鏡頭對齊；以及一對焦致動器，連接至該組鏡頭，可推動該組鏡頭沿著該方向移動；一第一像素擷取介面，連接至該感測器，用以在一第一幀頻下擷取一第一影像；一第二像素擷取介面，連接至該感測器，用以在一第二幀頻下擷取一第二影像，且該第二幀頻大於該第一幀頻；一影像處理模組，用以依據該第二影像決定一深度資料，接收該第一影像並對應輸出一影像檔案；一對焦控制器，連接於該影像處理模組與該對焦致動器之間，用以依據該深度資料驅動該對焦致動器以調整該組鏡頭沿著該方向與該感測器之一相對距離。
2. 如申請專利範圍第1項所述之影像處理裝置，其中：該感測器包含一第一組像素陣列與一第二組像素陣列；該第一像素擷取介面連接至該感測器之該第一組像素陣列；以及 該第二像素擷取介面連接至該感測器之該第二組像素陣列，且該第二影像之解析度小於該第一影像之解析度。
3. 如申請專利範圍第1項所述之影像處理裝置，其中該影像處理模組包括：一第一影像處理單元，接收該第一影像，並輸出一第一影像檔案；一第二影像處理單元，接收該第二影像，並輸出一第二影像檔案；以及一聚焦處理單元，接收該第二影像檔案或該第二影像其中之一，以計算該深度資料。
4. 如申請專利範圍第3項所述之影像處理裝置，其中該影像處理模組更包括：一影像整合處理單元，用以接收並整合該第一影像檔案及該第二影像檔案，以輸出該影像檔案至一顯示器或一記憶體。
5. 如申請專利範圍第3項所述之影像處理裝置，其中該對焦控制器用以接收該聚焦處理單元所輸出之該深度資料，並依據該深度資料產生一驅動電流或一驅動電壓至該對焦致動器，以驅動該對焦致動器將該相對距離調整為一對焦距離。
6. 如申請專利範圍第1項所述之影像處理裝置，其中該對焦控制器用以 依據該深度資料產生一組驅動參數，且該對焦致動器用以依據該組驅動參數將該相對距離調整為一對焦距離。
7. 如申請專利範圍第1項所述之影像處理裝置，其中該第一像素擷取介面包括：一第一感測電路，用以擷取該感測器並輸出該第一影像；一第一時脈電路，用以控制該第一感測電路以該第一幀頻(frame Rate)輸出該第一影像。
8. 如申請專利範圍第7項所述之影像處理裝置，其中該第二像素擷取介面包括：一第二感測電路，用以擷取該感測器並輸出該第二影像；以及一第二時脈電路，用以控制該第二感測電路以該第二幀頻輸出該第二影像。
9. 如申請專利範圍第2項所述之影像處理裝置，其中該第一影像對應至該第一組像素陣列，該第二影像對應至該第二組像素陣列，該感測器包含一主像素陣列，該主像素陣列包含該第一組像素陣列與該第二組像素陣列，且該第一組像素陣列與該第二組像素陣列係於一相同平面上重複地且交錯地排列。
10. 如申請專利範圍第9項所述之影像處理裝置，其中該第一組像素陣列 為一彩色像素陣列，且該第二組像素陣列可接收紅外光並對應地產生該第二影像。
11. 如申請專利範圍第2項所述之影像處理裝置，其中該第一影像對應至該第一組像素陣列，該第二影像對應至該第二組像素陣列，該感測器包含一主像素陣列，且該主像素陣列可分為複數個區域，該第二組像素陣列係由該主像素陣列之每該區域所挑選的像素排列而成之一彩色像素陣列，該第一組像素陣列係由該主像素陣列扣除挑選至該第二組像素陣列的像素所排列而成的另一彩色像素陣列。
12. 如申請專利範圍第1項所述之影像處理裝置，其中該第二影像具有複數個單位區域，每該單位區域對應至一最佳聚焦位置，且該深度資料係包括該些單位區域對應之該些最佳聚焦位置。
13. 如申請專利範圍第3項所述之影像處理裝置，其中，當該第一幀頻小於該第二幀頻時，該影像檔案對應至該第一影像檔案，且當該第一幀頻等於該第二幀頻時，該影像檔案對應至該第一影像檔案及該第二影像檔案。
14. 一種影像處理裝置的控制方法，包括：提供一影像處理裝置，包括一相機模組、一第一像素擷取介面、一第二像素擷取介面、一影像處理模組及一對焦控制器，其中該相機模組包含一組鏡頭、一感測器以及一對焦致動器，該感測器沿著一方向與該組鏡頭 對齊，該對焦致動器連接至該組鏡頭，可推動該組鏡頭沿著該方向移動，該第一像素擷取介面及該第二像素擷取介面連接至該感測器，該對焦控制器連接於該影像處理模組與該對焦致動器之間；利用該第一像素擷取介面，在一第一幀頻下擷取一第一影像；利用該第二像素擷取介面，在一第二幀頻下擷取一第二影像，且該第二幀頻大於該第一幀頻；該影像處理模組依據該第二影像決定一深度資料，接收該第一影像並對應輸出一影像檔案；以及該對焦控制器依據該深度資料驅動該對焦致動器，以調整該組鏡頭沿著該方向與該感測器之一相對距離。
15. 如申請專利範圍第14項所述之影像處理裝置的控制方法，其中該影像處理模組包括一第一影像處理單元、一第二影像處理單元及一聚焦處理單元，其中依據該第二影像決定該深度資料，接收該第一影像之步驟包括：利用該第一影像處理單元接收該第一影像，並輸出一第一影像檔案；利用該第二影像處理單元接收該第二影像，並輸出一第二影像檔案；以及利用該聚焦處理單元接收該第二影像檔案或該第二影像其中之一，計算該深度資料。
16. 如申請專利範圍第14項所述之影像處理裝置的控制方法，其中該影像處理模組更包括一影像整合處理單元，且輸出該影像檔案之步驟包括：該影像整合處理單元接收並整合該第一影像檔案及該第二影像檔案，以輸出該影像檔案至一顯示器或一記憶體。
17. 如申請專利範圍第15項所述之影像處理裝置的控制方法，其中調整該組鏡頭沿著該方向與該感測器之該相對距離的步驟包括：利用該對焦控制器接收該聚焦處理單元所輸出之該深度資料；以及該對焦控制器依據該深度資料，產生一驅動電流或一驅動電壓至該對焦致動器，以驅動該對焦致動器將該相對距離調整為一對焦距離。
18. 如申請專利範圍第14項所述之影像處理裝置的控制方法，其中調整該組鏡頭沿著該方向與該感測器之該相對距離的步驟包括：該對焦控制器依據該深度資料，產生一驅動參數；以及該對焦致動器依據該驅動參數，將該相對距離調整為一對焦距離。
19. 如申請專利範圍第14項所述之影像處理裝置的控制方法，其中該第一像素擷取介面包括一第一感測電路及一第一時脈電路，在該第一幀頻下擷取該第一影像之步驟包括：利用該第一感測電路，擷取該感測器並輸出該第一影像；以及 利用該第一時脈電路，控制該第一感測電路以該第一幀頻輸出該第一影像。
20. 如申請專利範圍第19項所述之影像處理裝置的控制方法，其中該第二像素擷取介面包括一第二感測電路及一第二時脈電路，在該第二幀頻下擷取該第二影像之步驟包括：利用該第二感測電路，擷取該感測器並輸出該第二影像；以及利用該第二時脈電路，控制該第二感測電路以該第二幀頻輸出該第二影像。
21. 如申請專利範圍第14項所述之影像處理裝置的控制方法，其中該第一影像對應至一第一組像素陣列，該第二影像對應至一第二組像素陣列，該感測器包含一主像素陣列，該主像素陣列包含該第一組像素陣列與該第二組像素陣列，且該第一像素陣列與該第二像素陣列係於一相同平面上重複地且交錯地排列。
22. 如申請專利範圍第14項所述之影像處理裝置的控制方法，其中該感測器包含一主像素陣列，且該主像素陣列可分為複數個區域，該方法更包括：提供一第一組像素陣列及一第二組像素陣列，該第一組像素陣列對應至該第一影像，該第二組像素陣列對應至該第二影像，且該第二組像素陣 列係由該主像素陣列之每該區域所挑選的像素排列而成之一彩色像素陣列，該第一組像素陣列係由該主像素陣列扣除挑選至該第二組像素陣列的像素所排列而成的另一彩色像素陣列。
23. 如申請專利範圍第14項所述之影像處理裝置的控制方法，其中該第二影像具有複數個單位區域，每該單位區域對應至一最佳聚焦位置，且該深度資料係包括該些單位區域對應之該些最佳聚焦位置。
24. 如申請專利範圍第14項所述之影像處理裝置的控制方法，其中當該第一幀頻小於該第二幀頻時，該影像檔案對應至該第一影像，且當該第一幀頻等於該第二幀頻時，該影像檔案對應至該第一影像及該第二影像。