TWI381724B - Image capture and transmission device and image receiving and reassembly device - Google Patents

Description

影像擷取與傳輸裝置與影像接收與重組裝置

本發明係關於一種影像處理裝置，特別是一種影像擷取與傳輸裝置與影像接收與重組裝置。

隨著網路科技的快速發展，各種不同應用網路所衍生出的新產品也隨之應孕而生。其中一種應用的技術係為網路攝影機。

網路攝影機(IP Camera)的出現約在1998年，網路攝影機利用先進的多媒體視訊、影像壓縮技術，並結合網際網路無遠弗屆的優勢。使用者不論身處何地，透過網際網路及瀏覽器隨時可觀看架設於遠端的網路攝影機所傳來即時數位高畫質影像。

由於目前全球寬頻網路建設日趨完善，使得視訊監控可與網路或無線通訊等技術結合。數位化後的影像，可透過各種網路傳送，達到遠端即時影像監控的目的。在網路技術持續提升下，網路攝影機系統取代既有的監控系統逐漸可行。

因為受限於鏡頭的視角，網路攝影機所能擷取的影像區域有限。當使用者欲切換監控區域時，使用者必須操控網路攝影機，並且利用旋轉機構旋轉網路攝影機的鏡頭至一特定角度。此種可以切換鏡頭角度的網路攝影機稱之為PTZ網路攝影機。所謂的PTZ是表示攝影機的鏡頭可以進行左右轉動(Pan)、上下傾斜(Tile)與變焦(Zoom)等不同的功能。然而，在左右轉動或是上下傾斜的過程中，往往需要花費許多機械運作的時間。此外，網路攝影機在長時間的旋轉之下，也常常會有磨擦損壞的情形發生。

習知技術提出利用廣角鏡頭以增加鏡頭的視角，但廣角鏡頭所拍攝的影像清晰度不及傳統的可變焦鏡頭。廣角鏡頭所擷取到的廣角影像的檔案大小較一般鏡頭所擷取的影像大。若是要利用網路傳送廣角影像至用戶端時，勢必需要很高的頻寬才能順利的傳送。

鑑於以上的問題，本發明係提出一種影像擷取與傳輸裝置。

影像擷取與傳輸裝置包括影像擷取模組、影像處理器、影像編碼器與網路傳輸模組。

影像擷取模組用以擷取待顯示區域之景象，並且輸出一影像資料。

影像處理器根據第一裁切區域以及第一縮小比例值將影像資料轉換並輸出第一子影像，且根據第二裁切區域以及第二縮小比例值將該影像資料轉換並輸出第二子影像。其中，第一裁切區域範圍包括第二裁切區域，且第一縮小比例值大於第二縮小比例值。

影像編碼器根據第一編碼資訊將第一子影像編碼並輸出一第一串流影像，且根據第二編碼資訊編碼將第二子影像編碼並輸出一第二串流影像。

網路傳輸模組用以傳送第一串流影像以及第二串流影像。

本發明係另提出一種影像接收與重組裝置適用於接收以及重組上述的第一串流影像及第二串流影像。影像接收與重組裝置包括網路接收模組、影像解碼器與影像重組器。

網路接收模組用以接收網路傳輸模組所傳送的第一串流影像以及第二串流影像。

影像解碼器根據第一解碼資訊將第一串流影像解碼並輸出第一子影像，且根據一第二解碼資訊將第二串流影像解碼並輸出第二子影像。

影像重組器根據第一原始區域以及第一原始畫素值將該第一子影像轉換成第一還原影像，且根據第二原始區域以及第二原始畫素值將該第二子影像轉換成第二還原影像，並且將第二還原影像覆蓋於第一還原影像之上。其中第二原始區域為第一原始區域的其中一部份。

藉由影像擷取與傳輸裝置與影像接收與重組裝置，此影像在傳輸過程中所需要的流量可以被大幅地減少。因此，此影像可以利用一般目前的網路傳送。此外，使用者可選擇特定的感興趣區域，這些感興趣區域會保持同樣的解析度傳送，以特定區域內的畫面保持清晰可辨。

以上之關於本發明內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

請參照『第1圖』，係為本發明之影像擷取與傳輸裝置之系統方塊圖。影像擷取與傳輸裝置10包括影像擷取模組12、影像處理器14、影像編碼器16與網路傳輸模組18。

影像擷取模組12用以擷取待顯示區域之景象，並且輸出一影像資料。

影像處理器14根據第一裁切區域以及第一縮小比例值將影像資料轉換並輸出第一子影像，且根據第二裁切區域以及第二縮小比例值將影像資料轉換並輸出第二子影像。其中，第一裁切區域範圍包括第二裁切區域，且第一縮小比例值大於第二縮小比例值。

影像編碼器16根據第一編碼資訊將第一子影像編碼並輸出第一串流影像，且根據第二編碼資訊編碼將第二子影像編碼並輸出第二串流影像。其中第一串流影像與第二串流影像的壓縮格式係可為但不限於MPEG-4格式串流資料、H.264格式串流資料、MJPEG格式串流資料、VC-1格式串流資料或3GP格式串流資料。

網路傳輸模組18用以傳送該第一串流影像以及該第二串流影像。網路傳輸模組18係可為但不限於電子電機工程師學會(Institute of Electrical and Electronics Engineers，IEEE)802.3網路傳輸模組或是IEEE 802.11網路傳輸模組。

以下將對於影像擷取與傳輸裝置做更進一步的說明。為了讓使用者能看到更多的視野，影像擷取模組12具有一廣角鏡頭。此外，影像擷取模組12包括多數個感光單元。這些感光單元係為電荷耦合元件(Charge-coupled Device，CCD)或是互補氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)。CCD或是CMOS可將光學訊號轉換為電訊號。在經過放大以及類比/數位轉換之後，這些電訊號即形成一影像資料。在影像擷取模組12中，感光單元的數目即為影像擷取模組12的解析度。舉例而言，若是影像擷取模組12具有1920×1200個感光單元，則此影像擷取模組12的解析度即為1920×1200。當此影像擷取模組12使用最高的解析度擷取並輸出的影像資料時，影像資料的畫素即為1920×1200。

影像處理器14將上述的影像資料根據第一裁切區域、第一縮小比例、第二裁切區域與第二縮小比例轉換成第一子影像以及第二子影像。

第一裁切區域係以一第一座標、一第一裁切長度以及一第一裁切寬度所定義，且第二裁切區域係以一第二座標、一第二裁切長度以及一第二裁切寬度所定義。此外，第一裁切區域亦可由第一主座標與第一子座標所定義，第一主座標與第一子座標分別代表第一裁切區域中，位於對角的頂點的二個座標。第二裁切區域亦可同樣由第二主座標與第二子座標所定義。

在此實施例中，第一裁切區域的範圍即等於影像資料完整的範圍。但為了減低傳輸時的傳輸量，第一子影像的畫素會被降低。第一子影像原始的畫素與降低後的畫素之間的比例即為第一縮小比例值。第二裁切區域的範圍小於第一裁切區域，且第二裁切區域的範圍為第一裁切區域的範圍的其中一部份。為了使第二子影像能保持清晰可辨，第二子影像的畫素可與第二裁切區域所包括的畫素相等。

請配合參照『第2圖』，係為本發明之影像處理器14運作示意圖。舉例而言，輸入影像處理器14的影像資料40的畫素為1920×1200。定義第一裁切區域的第一座標、第一裁切長度與第一裁切寬度分別為(0,0)、1920個畫素與1200個畫素。此外，第一縮小比例值為9。因此，第一子影像41的畫素值為640×400，且第一子影像41顯示的範圍與影像資料40相同。定義第二裁切區域的第二座標、第二裁切長度與第二裁切寬度分別為(50,100)、400個畫素與300個畫素。此外，第二縮小比例值為1。因此，第二子影像42的畫素值為300×400，且第二子影像42每單位面積內的畫素值與影像資料40相同。

上述的第一裁切區域、第一縮小比例值、第二裁切區域與第二縮小比例值可由用戶端經由網際網路進行設定，亦可由智慧型影像辨識方法動態進行選取。

若是由用戶端經由網際網路進行設定時，可利用此網路傳輸模組18另接收一選取指令。網路傳輸模組18在接收到選取指令後，將選取指令回傳至影像處理器14。影像處理器14根據選取指令以決定第一裁切區域、第一縮小比例值、第二裁切區域與第二縮小比例值。一般而言，第一裁切區域通常等於影像資料40的範圍，但也可以略小於影像資料40的範圍。且第一縮小比例值為可由使用者依據網路的狀況或是硬體的速度進行調整。當第一縮小比例值越高時，第一子影像41的檔案所佔用的容量也就會越小。

若是由智慧型影像辨識方法動態選取，影像擷取與傳輸裝置10另包括一影像分析模組19，影像分析模組19用以分析影像資料並傳送一選取指令至影像處理器14。影像處理器14根據選取指令以決定第一裁切區域、第一縮小比例值、第二裁切區域與第二縮小比例值。其中，影像分析模組19可以根據影像資料當中的移動物體或是物體的特徵(比如說人臉)選取第二裁切區域，再根據第二裁切區域決定第二縮小比例值。當第二裁切區域越大時，第二縮小比例值也會越大；反之亦然。

此智慧型影像辨識動態選取方法亦可在接收端由伺服器執行。決定第二裁切區域之後，伺服器可經由網際網路對於影像處理器14進行設定。

影像處理器14輸出第一子影像41與第二子影像42之後，影像編碼器16根據第一編碼資訊對於第一子影像41編碼成第一串流影像並且根據第二編碼資訊編碼將第二子影像42編碼成第二串流影像。第一編碼資訊與第二編碼資訊係可由使用者進行設定。第一編碼資訊與第二編碼資訊可包括串流影像的壓縮格式、位元速率(bit rate)、畫面頻率(frame rate)、影像品質與畫面解析度。其中位元速率可為固定位元速率(Constant bit rate，CBR)或是變動位元速率(Variable bit rate，VBR)。此外，影像處理器14亦可將第一子影像41與第二子影像42編碼成多種不同壓縮格式、不同畫面解析度、不同位元速率或不同影像品質的第一串流影像與第二串流影像，藉以傳送至多種平台以利使用觀看。比如說，影像處理器14可將第一子影像41與第二子影像42編碼成H.264格式、高位元速率且具有高影像品質的第一高畫質串流影像與第二高畫質串流影像以提供使用者於個人電腦上觀看。除此之外，影像處理器14另可將第一子影像41與第二子影像42編碼成3GP格式、低位元速率且低影像品質的第一低畫質串流影像與第二低畫質串流影像以提供使用者於行動電話上觀看。

在此實施例中，影像擷取與傳輸裝置10可具有二個影像編碼器16。此二個影像編碼器16可平行地對於第一子影像41與第二子影像42進行編碼，藉以提高編碼時的速度。

當影像編碼器16輸出至第一串流影像與第二串流影像之後，第一串流影像與第二串流影像會被傳送至網路傳輸模組18，並經由網際網路傳送至影像伺服器或是用戶端。因為第一子影像41在處理過程中已縮小成較少的畫素值，因此利用網際網路傳輸時僅需較少的傳輸流量。此外，第二子影像42的畫素值保持不變，因此可以畫面的清晰度不受改變。

另一方面，在影像伺服器或是用戶端，需要具有一影像接收與重組裝置用以接收第一串流影像與第二串流影像，並且將第一串流影像與第二串流影像重組。

請參照『第3圖』，係為影像接收與重組裝置之系統方塊圖。影像接收與重組裝置20包括網路接收模組22、影像解碼器24與影像重組器26。

網路接收模組22用以接收『第1圖』中網路傳輸模組18所傳送的第一串流影像以及第二串流影像。網路接收模組22可為但不限於IEEE 802.3網路傳輸模組或是IEEE 802.11網路傳輸模組。

影像解碼器24根據第一解碼資訊將第一串流影像解碼並輸出第一子影像41，且根據一第二解碼資訊將第二串流影像解碼並輸出第二子影像42。

影像重組器26根據第一原始區域以及第一原始畫素值將該第一子影像41轉換成第一還原影像，且根據第二原始區域以及第二原始畫素值將第二子影像42轉換成第二還原影像，並且將第二還原影像覆蓋於第一還原影像之上。其中第二原始區域為第一原始區域的其中一部份。

以下將對於影像擷取與傳輸裝置做更進一步的說明。

網路接收模組22可與『第1圖』中網路傳輸模組18相互傳送資訊。網路接收模組22與網路傳輸模組18具有相同或是互相相容的網路協定。網路接收模組22在接收第一串流影像與第二串流影像後，即將第一串流影像與第二串流影像傳送至影像解碼器24。

影像解碼器24進行的解碼運算係為『第1圖』中影像編碼器16的編碼運算之逆運算。也就是說，影像解碼器24可將第一串流影像與第二串流影像解碼成第一解碼影像與第二解碼影像。

在此實施例中，第一解碼影像的畫素值為640×400，且第二解碼影像的畫素值為300×400。再經過解碼之後，第一解碼影像與第二解碼影像會被送至影像重組器26進行重組。

影像重組器26根據第一還原區域、第一放大比例值、第二還原區域、第二放大比例值將第一解碼影像與第二解碼影像還原。其中，第一還原區域係以第一座標、第一原始長度以及第一原始寬度所定義。第二還原區域係以第二座標、第二原始長度以及第二原始寬度所定義。而在此實施例中，較佳的是，第一還原區域相等於第一裁切區域，且第二還原區域相等於第二裁切區域。

同樣再以上述的實施例進行說明，定義第一裁切區域的第一裁切長度與第一裁切寬度分別為1920個畫素與1200個畫素。也就是說，第一原始長度為1920個畫素，且第一原始寬度為1200個畫素。影像重組器26會將原本畫素值為640×400的第一解碼影像放大並轉換為畫素值為1920×1200的第一還原影像。雖然第一還原影像的畫素值為1920×1200，但是實際有效的資訊只有第一解碼影像內的640×400個畫素，其餘的畫素皆是利用內插法所估計出來的圖像。因此，第一還原影像相較於第一裁切影像將較為模糊。

另一方面，第二裁切區域的第二裁切長度與第二裁切寬度分別為400個畫素與300個畫素。也就是說，第二原始長度為400個畫素，且第二原始寬度為300個畫素。因為在此實施例中，第二解碼影像的大小與還原區域大小相等，同樣為400×300個畫素，所以第二解碼影像轉換成第二還原影像時不需要進行法大的步驟。因此，第二還原影像與第二裁切影像清晰的程度相同。

請參照『第4圖』，係為本發明之影像重組器26運作示意圖。在此實施例中，第一座標為(0,0)且第二座標為(50,100)。根據第一座標與第二座邊決定第一還原影像與第二還原影像的相對位置，影像重組器26將第二還原影像52覆蓋於第一還原影像51之上，並且形成重組影像50。

藉由影像接收與重組裝置，經由網際網路傳送的第一串流影像與第二串流影像可以被壓縮、解碼並且重組。使用者可以利用各種不同的平台觀看此重組後的影像。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

10．．．影像擷取與傳輸裝置

12．．．影像擷取模組

14．．．影像處理器

16．．．影像編碼器

18．．．網路傳輸模組

19．．．影像分析模組

20．．．影像接收與重組裝置

22．．．網路接收模組

24．．．影像解碼器

26．．．影像重組器

40．．．影像資料

41．．．第一子影像

42．．．第二子影像

50．．．重組影像

51．．．第一還原影像

52．．．第二還原影像

第1圖係為本發明之影像擷取與傳輸裝置之系統方塊圖。

第2圖係為本發明之影像處理器運作示意圖。

第3圖係為本發明之影像接收與重組裝置之系統方塊圖。

第4圖係為本發明之影像重組器運作示意圖。

10．．．影像擷取與傳輸裝置

12．．．影像擷取模組

14．．．影像處理器

16．．．影像編碼器

18．．．網路傳輸模組

19．．．影像分析模組

Claims (10)

1. 一種影像擷取與傳輸裝置，包括：一影像擷取模組，用以擷取一待顯示區域之一景象，並且輸出一影像資料；一影像處理器，該影像處理器根據一第一裁切區域以及一第一縮小比例值將該影像資料轉換並輸出一第一子影像，且根據一第二裁切區域以及一第二縮小比例值將該影像資料轉換並輸出一第二子影像，其中該第一裁切區域範圍包括該第二裁切區域，且該第一縮小比例值大於該第二縮小比例值；一影像編碼器，該影像編碼器根據一第一編碼資訊將該第一子影像編碼並輸出一第一串流影像，且根據一第二編碼資訊編碼將該第二子影像編碼並輸出一第二串流影像；以及一網路傳輸模組，用以傳送該第一串流影像以及該第二串流影像。
2. 如請求項1所述之影像擷取與傳輸裝置，其中該第一裁切區域係以一第一座標、一第一裁切長度以及一第一裁切寬度所定義，該第二裁切區域係以一第二座標、一第二裁切長度以及一第二裁切寬度所定義。
3. 如請求項1所述之影像擷取與傳輸裝置，其中該網路傳輸模組另用以接收一選取指令，該網路傳輸模組在接收到該選取指令後，將該選取指令回傳至該影像處理器，該影像處理器根據該選取指令以決定該第一裁切區域、該第一縮小比例值、該第二裁切區域與該第二縮小比例值。
4. 如請求項1所述之影像擷取與傳輸裝置，另包括一影像分析模組，該影像分析模組用以分析該影像資料並傳送一選取指令至該影像處理器，該影像處理器根據該選取指令以決定該第一裁切區域、該第一縮小比例值、該第二裁切區域與該第二縮小比例值。
5. 如請求項1所述之影像擷取與傳輸裝置，其中該第一串流影像與該第二串流影像的壓縮格式係為一MPEG-4格式串流資料、一H.264格式串流資料、一MJPEG格式串流資料、一VC-1格式串流資料或一3GP格式串流資料。
6. 如請求項1所述之影像擷取與傳輸裝置，其中該網路傳輸模組係為一IEEE 802.3網路傳輸模組或是一IEEE 802.11網路傳輸模組。
7. 一種影像接收與重組裝置，適用於接收以及重組如請求項1所述之該第一串流影像及該第二串流影像，包括：一網路接收模組，用以接收該第一串流影像以及該第二串流影像；一影像解碼器，根據一第一解碼資訊將該第一串流影像解碼並輸出一第一解碼影像，且根據一第二解碼資訊將該第二串流影像解碼並輸出一第二解碼影像；以及一影像重組器，根據一第一還原區域將該第一解碼影像轉換成一第一還原影像，且根據一第二還原區域將該第二解碼影像轉換成一第二還原影像，並且將該第二還原影像覆蓋於該第一還原影像之上，其中該第二還原區域為該第一還原區域的其中一部份。
8. 如請求項7所述之影像接收與重組裝置，其中該第一還原區域係以一第一座標、一第一原始長度以及一第一原始寬度所定義，該第二還原區域係以一第二座標、一第二原始長度以及一第二原始寬度所定義。
9. 如請求項7所述之影像接收與重組裝置，其中該第一串流影像與該第二串流影像的壓縮格式係為一MPEG-4格式串流資料、一H.264格式串流資料、一MJPEG格式串流資料、一VC-1格式串流資料或一3GP格式串流資料。
10. 如請求項7所述之影像接收與重組裝置，其中該網路接收模組係為一IEEE 802.3網路傳輸模組或是一IEEE 802.11網路傳輸模組。