TWI386066B - 影像處理方法與使用該方法之影像擷取裝置 - Google Patents

Description

影像處理方法與使用該方法之影像擷取裝置

本案係為一種影像處理方法，尤指應用於一影像擷取裝置、一用戶端與網際網路之間的一種影像處理方法。

經過近年來的快速發展，網際網路已經成為人們生活的一部份，因此，如何以簡單的方式來讓一般消費者可以善用網際網路的各項功能，一直是產品製造商的最的最大目標。而網際網路協定攝影機(IP Camera)便是一個傑出的應用。

請參見第一圖(a)，其係為目前被廣泛應用的一數位影像監控系統功能方塊示意圖。從圖中我們可以清楚看出，該數位影像監控系統1主要就是由一網際網路協定攝影機10與一網路連線裝置11(如：寬頻路由器、IP分享器等)連接後，該網際網路協定攝影機10透過該網路連線裝置11來登入連接至一網際網路12，如此一來，該網際網路12所連接的一用戶端13(如：個人電腦、行動電話等)便可透過本身的顯示螢幕(在本圖中未示出)來顯示該網際網路協定攝影機10所拍攝到的影像畫面，進而讓使用者在該用戶端13上監控到該網際網路協定攝影機10所在地區的一舉一動。

上述該數位影像監控系統1所包含之該網際網路協定攝影機10主要包含有一影像擷取模組101、一影像處理器102以及一編碼器103，其基本工作原理主要是由該影像擷取模組101透過如電荷藕合元件(CCD)或互補式金屬氧化物半導體感測器(CMOS sensor)之影像感應元件對某一待顯示物體(或某一區域)進行掃瞄，利用光電轉換之效應，依所感測到光不同之強度，而相對地產生出對應數目之電荷，並因此可形成一數位式影像信號而加以輸出至該影像處理器102中，該影像處理器102會將該數位式影像信號以像素(pixel)形式進行儲存，並可應因一影像放大或影像縮小的指令而進行如:影像的放大(Zoom in)或縮小(Zoom out)的影像處理動作，隨後，該編碼器103(如：MPEG-4編碼器或H.264編碼器)接收經由該影像處理器102所處理過後的該數位式影像信號進行編碼與壓縮，最後，這些經由編碼以及壓縮過後的該數位式影像信號透過該網路連線裝置11傳送至該網際網路12上，而該用戶端13便可自該網際網路12下載該數位式影像信號，解壓縮後進行播放。

在以往，網際網路協定攝影機所包含的影像擷取模組通常只能對某一個監控區域中一部分的感興趣影像畫面進行影像的擷取，請參見第一圖(b)並配合參見第一圖(a)之功能方塊示意圖，該影像擷取模組101對某一監控區域1000中一部分的感興趣區域範圍1001進行掃瞄而形成一感興趣影像畫面1002，然後，該影像處理器102接收到使用者所輸出的影像放大(Zoom in)指令後，便會開始對該感興趣影像畫面1002進行影像放大處理，然後將放大過後的興趣影像畫面1003透過該編碼器103進行編碼壓縮，最後上傳至該網際網路12，但倘若要擷取該監控區域1000中另一部分的感興趣影像畫面並進行影像的放大或縮小，則網際網路協定攝影機10必需藉由本身所具有的旋轉機構來帶動影像擷取模組101進行轉動，才能夠順利地擷取到另外一個部分的感興趣影像畫面，接著進行後續的影像處理，如此對使用者來說相當地不方便，且網際網路協定攝影機10所具有的旋轉機構在長時間轉動的情況下，也會有機構磨擦損壞的情形產生。

有鑑於此，為了解決上述的問題，廠商發展出一種具有廣角式鏡頭的網際網路協定攝影機，可以用來擷取更大範圍的影像畫面，如第一圖(c)所示並配合參見第一圖(a)之功能方塊示意圖，該影像擷取模組101對某一監控區域進行全區域的掃瞄而形成一影像畫面10000，透過該編碼器103將該影像畫面10000進行編碼壓縮，隨後將壓縮過後的該影像畫面10000經由該網際網路12傳送至該用戶端13，由該用戶端13將該影像畫面10000解壓縮後進行如在第一圖(b)所述之感興趣影像畫面放大影像處理(或影像畫面縮小處理)，由於該用戶端13已獲得該影像畫面10000的所有資訊，因此，使用者便可透過該用戶端13的資源(如電腦系統)在同一個時間選取不同的感興趣影像畫面10001、10002來進行影像的放大，進而形成放大後的感興趣影像畫面10003、10004。然而，具有廣角式鏡頭的網際網路協定攝影雖然可以擷取到較大範圍的影像畫面，但在透過該網際網路12傳送檔案較大的影像資料到該用戶端時，勢必將會浪費較多的頻寬而嚴重影響到傳輸時的效率。因此，如何就上述習用技術手段所產生的缺失進行改善，係為發展本案之最主要目的。

本案係為一種影像處理方法，應用於一影像擷取裝置、一用戶端與網際網路之間，該影像處理方法包含下列步驟：該影像擷取裝置擷取一待顯示區域之影像而形成一畫面資料；該用戶端透過網際網路而傳送一第一資訊與一第二資訊至該影像擷取裝置；該影像擷取裝置因應該第一資訊與該第二資訊來對該畫面資料進行處理，進而產生出一第一區域畫面資料與一第二區域畫面資料；以及將該第一區域畫面資料與該第二區域畫面資料處理形成一第一串流資料與一第二串流資料後一併透過該網際網路傳送回該用戶端。

根據上述構想，本案所述之影像處理方法，其中該第一區域畫面資料與該第二區域畫面資料係分別根據該第一資訊所包含之一第一標示位置資訊、一第一標示尺寸、一第一縮放資訊與該第二資訊所包含之一第二標示位置資訊、一第二標示尺寸資訊、一第二縮放資訊，進而分別從該畫面資料中定義出該第一區域畫面資料與該第二區域畫面資料。

根據上述構想，本案所述之影像處理方法，更包含下列步驟：該用戶端透過該網際網路而傳送一擷取部分影像指令至該影像擷取裝置，進而使該影像擷取裝置擷取該待顯示區域之部分影像而形成另一畫面資料。

根據上述構想，本案所述之影像處理方法，其中該第一串流資料與該第二串流資料係為該第一區域畫面資料與該第二區域畫面透過一壓縮處理而形成。

根據上述構想，本案所述之影像處理方法，其中該壓縮處理係可為一MPEG-4格式壓縮處理、一JPEG格式壓縮處理或一H.264格式壓縮處理，而該第一串流資料與該第二串流資料係可為一MPEG-4格式串流資料、一JPEG格式串流資料或一H.264格式串流資料。

根據上述構想，本案所述之影像處理方法，其所應用之該用戶端係可為一個人電腦、一筆記型電腦、一個人行動數位助理、一行動電話或一行動網路裝置(Mobile Internet Device)。

本案另一方面一種影像擷取裝置，用於一網際網路與連接於該網際網路上之一用戶端，該影像擷取裝置包含：一影像擷取模組，用以擷取一待顯示區域之影像而形成一畫面資料；一影像處理器，電連接於該影像擷取模組，其係接收該畫面資料與該用戶端透過該網際網路所傳送之一第一資訊與一第二資訊，並將該畫面資料、該第一資訊與該第二資訊進行處理，進而產生出一第一區域畫面資料與一第二區域畫面資料；以及一編碼器，電連接於該影像處理器，其係將該第一區域畫面資料與該第二區域畫面資料處理形成一第一串流資料與一第二串流資料後一併透過該網際網路傳送回該用戶端。

根據上述構想，本案另一方面所述之影像擷取裝置，其中該畫面資料係可為該影像擷取裝置擷取該待顯示區域之部分影像而形成之該畫面資料。

根據上述構想，本案另一方面所述之影像擷取裝置，其中影像處理器所接收之該第一資訊係包含有一第一標示位置資訊、一第一標示尺寸資訊與一第一縮放資訊，而第二資訊係包含有一第二標示位置資訊、一第二標示尺寸資訊與一第二縮放資訊，該影像處理器根據該第一標示位置資訊、該第一標示尺寸資訊與該第一縮放資訊而於該畫面資料中定義出一第一區域畫面資料，該影像處理器根據該第二標示位置資訊、該第二標示尺寸資訊與該第二縮放資訊而於該畫面資料中定義出一第二區域畫面資料。

根據上述構想，本案另一方面所述之影像擷取裝置，更包含一暫存器，電連接於該影像擷取模組與該影像處理器，用以暫存該影像擷取模組所形成之該畫面資料，而該影像處理器可自該暫存器中將該畫面資料讀出以進行後續之影像處理處動作。

根據上述構想，本案另一方面所述之影像擷取裝置，其中該編碼器對該第一區域畫面資料與該第二區域畫面資料所進行之處理係可為一MPEG-4格式壓縮處理、一JPEG格式壓縮處理或一H.264格式壓縮處理，而該第一串流資料與該第二串流資料係可為一MPEG-4格式串流資料、一JPEG格式串流資料或一H.264格式串流資料。

根據上述構想，本案另一方面所述之影像擷取裝置，其所應用之該用戶端係可為一個人電腦、一筆記型電腦、一個人行動數位助理、一行動電話或一行動網路裝置(Mobile Internet Device)。

請參見第二圖(a)(b)，其係為本案所述之影像處理方法之第一較佳實施例示意圖，在本較佳實施例中所述之影像擷取裝置2主要是應用在一網際網路200與連接於該網際網路201上之一用戶端202。從第二圖(a)中我們可以清楚看出，該影像擷取裝置2主要包含有一影像擷取模組20、一暫存器21、一影像處理器22以及一編碼器23，其中該影像擷取模組20用以擷取一待顯示區域200之影像而形成一畫面資料，而該暫存器21可對該影像擷取模組20在不同時間所傳送過來的畫面資料進行暫存，而本案最主要的技術手段在於當該用戶端202透過該網際網路201將一第一資訊與一第二資訊傳送至該影像擷取裝置2時，該影像處理器22同時接收該第一資訊與該第二資訊並將儲存在該暫存器21中的畫面資料讀出再根據該第一資訊、該第二資訊來與該畫面資料進行影像處理，進而在同一個畫面資料上產生兩個不同區域的畫面資料，而該編碼器23電連接於該影像處理器22，用以接收該影像處理器22所輸出的兩個不同區域的畫面資料進行壓縮處理，進而分別形成一第一串流資料與一第二串流資料後，透過該網際網路201一併回傳至該用戶端202，最後該用戶端202將該第一串流資料與該第二串流資料解壓縮後進行輸出播放。由於上述這些影像處理的動作皆是在上傳至該網際網路201前就執行完成，如此一來，該用戶端202便可以在不影響頻寬效率的情況下，即時地觀看到多個不同感興區域的放大影像畫面，進而解決習用技術手段的缺失。

舉例來說，如第二圖(b)所示(部分元件符號配合第二圖(a)之說明)，首先，該影像擷取模組20擷取該待顯示區域200之影像畫面而形成畫面資料2000，當該用戶端202將包含有一第一標示位置資訊(如：座標(X1,Y1))、一第一標示尺寸資訊(如：標示長度L1與標示寬度W1)之該第一資訊以及包含有一第二標示位置資訊(如：座標(X2,Y2))、一第二標示尺寸資訊(如：標示長度L2與標示寬度W2)之該第二資訊透過該網際網路201傳送至該影像擷取裝置2，該影像處理器22接收該第一標示位置資訊(X1,Y1)、該第一標示尺寸資訊L1、W1、該第二標示位置資訊(X2,Y2)以及該第二標示尺寸資訊L2、W2後，該影像處理器22便能根據這些資訊在該畫面資料2000上定義出座標為(X1,Y1)、長度與寬度分別為L1與W1的第一區域畫面資料20001與座標為(X2,Y2)、長度與寬度分別為L2與W2的第二區域畫面資料20002，然後該影像處理器22再根據該第一資訊所包含之一第一縮放資訊與該第二資訊分別包含之一第二縮放資訊來對該第一區域畫面資料20001與該第二區域畫面資料20002進行畫面資料縮放處理，進而產生出經縮放處理過後的畫面資料20003、20004，例如：該影像擷取模組20擷取該待顯示區域200影像所形成的該畫面資料2000為像素值3264 X 2448的晝面資料，而該影像處理器22根據該第一資訊(座標為(X1,Y1)、長度與寬度分別為L1與W1)在像素值3264 X 2448的畫面資料2000上定義出像素值為320 X 240的第一區域畫面資料20001，接著，該影像處理器22再根據該第一縮放資訊將像素值320 X 240的第一區域畫面資料20001放大到像素值640 X 480的畫面資料20003，也就是將座標為(X1,Y1)、長度與寬度分別為L1與W1的第一區域畫面資料20001放大了兩倍；該影像處理器22根據該第二資訊(座標為(X2,Y2)、長度與寬度分別為L2與W2)在像素值3264 X 2448的畫面資料2000上定義出像素值為1280 X 960的第二區域畫面資料20002，接著，該影像處理器22再根據該第二縮放資訊將像素值為1280 X 960的第二區域畫面資料20002縮小到像素值640 X 480的畫面資料20004，也就是將座標為(X2,Y2)、長度與寬度分別為L2與W2的第二區域畫面資料20002縮小了兩倍，最後這兩個經由縮放處理過的畫面資料20003、20004透過該編碼器23進行壓縮處理，進而分別形成該第一串流資料與該第二串流資料後一併上傳至該網際網路201。以下再以流程的說明方式來對本實施例所述之影像處理方法加以描述。

請參見第三圖，其係為本案所述之影像處理方法之第一較佳實施例之流程示意圖。從圖中我們可以清楚看出，首先，影像擷取裝置擷取待顯示區域之影像而形成畫面資料(步驟S1)；判斷用戶端是否有輸入第一資訊與第二資訊(步驟S2)；倘若用戶端輸入第一資訊與第二資訊並透過網際網路進行傳送，則影像擷取裝置接收到用戶端透過網際網路所傳送之第一資訊與第二資訊(步驟S3)；接著，影像擷取裝置接收第一資訊與第二資訊後，影像處理器根據第一資訊中所包含的第一標示位置資訊、第一標示尺寸資訊與第二資訊中所包含的第二標示位置資訊、第二尺寸資訊，進而分別從畫面資料中定義出第一區域畫面資料與第二區域畫面資料(步驟S4)；然後，影像處理器再根據第一資訊所包含之第一縮放資訊與第二資訊所包含之第二縮放資訊而分別對第一區域畫面資料與第二區域畫面資料進行畫面資料縮放處理(步驟S5)；緊接著，編碼器將經由縮放處理過後的第一區域畫面資料與第二區域畫面資料進行壓縮處理，進而分別形成第一串流資料與第二串流資料(步驟S6)；最後，將第一串流資料與第二串流資料一併上傳至網際網路供用戶端進行下載播放(步驟S7)。

經由上述，我們可以清楚瞭解到，本案所述之影像處理方法，其主要的技術手段就是用戶端可以選取多個欲進行監控的感興趣區域並透過網際網路傳送影像處理的資訊至影像擷取裝置，使得影像擷取裝置根據這些不同的影像處理資訊來與所擷取到的畫面資料進行影像處理，最後再將這些經由影像處理過後的畫面資料壓縮並一併上傳到網際網路上，如此一來，用戶端便可以在不影響頻寬效率的情況下，同時觀看到多個感興趣區域的放大影像畫面，而在上述的實施例說明中，我們是以選取兩個感興趣區域為較佳的實施例來進行說明，當然也可以選取三個甚至更多的感興趣區域。另外，上述編碼器23將第一縮放比例畫面資料與第二縮放比例畫面資料所進行之壓縮處理係可為MPEG-4格式壓縮處理、JPEG格式壓縮處理或H.264格式壓縮處理，而該第一串流資料與該第二串流資料係可為MPEG-4格式串流資料、JPEG格式串流資料或H.264格式串流資料。而該用戶端202係可為個人電腦、筆記型電腦、個人行動數位助理、行動電話或一行動網路裝置(Mobile Internet Device)。

請參見第四圖，其係為本案所述之影像處理方法之第二較佳實施例示意圖，在本較佳實施例的說明中所使用的部分元件符號與第二圖(a)(b)所標示之元件相同。從圖中我們可以清楚看出，當該用戶端202透過該網際網路傳送一擷取部分影像指令至該影像擷取裝置2時，該影像擷取模組20擷取待顯示區域300之部分影像而形成畫面資料30001，也就是說該影像擷取裝置2在接收該用戶端202所傳送過來的該擷取部分影像指令後，該影像擷取裝置2控制該影像擷取模組20擷取待顯示區域300的部分影像(例如：擷取待顯示區域的中間部分，上下部分不擷取)而形成畫面資料30001並暫存至暫存器21中，接下來使用者便可輸入多個標示位置資訊、標示尺寸資訊至該用戶端202，而該用戶端202將這些標示位置資訊、標示尺寸資訊透過該網際網路201傳送至該影像擷取裝置2，而該影像處理器22根據這些標示位置資訊、標示尺寸資訊來與該影像擷取模組20所擷取到部分的待顯示區域300的影像所形成的畫面資料30001進行處理，進而在畫面資料30001上產生多個區域畫面資料30002、30003、30004，然後該影像處理器22再根據縮放資訊將這些區域畫面資料30002、30003、30004進行影像縮放處理，進而形成多個不同縮放比例的畫面資料30005、30006、30007，再將這些經過影像縮放處理過後的畫面資料30005、30006、30007透過該編碼器23進行壓縮，最後一併上傳到該網際網路201上。而在本實施例的說明中，有部分的技術數手段與第一較佳實施例相同，故在本實施例中就不予再贅述之。

綜合以上所述，我們可以清楚瞭解到，利用本案所述之影像處理方法，使用者便可以在不影響頻寬效率的情況下，同時觀看到多個感興趣區域的放大影像畫面，因此，本案所述之影像處理方法確實解決了習用技術手段所產生的缺失，進而完成發展本案之最主要的目的。因此，本發明得由熟習此技藝之人士任施匠思而為諸般修飾，然皆不脫如附申請專利範圍所欲保護者。

本案圖式中所包含之各元件列式如下：

1．．．網路攝影機遠端監控系統

10．．．網際網路協定攝影機

11．．．網路連線裝置

12．．．網際網路

13．．．用戶端

101．．．影像擷取模組

102．．．影像處理器

103．．．編碼器

1000．．．監控區域

1001．．．感興趣區域範圍

1002．．．感興趣影像畫面

1003．．．縮放處理過後之感興趣影像晝面

10000．．．影像畫面

10001、10002．．．感興趣影像畫面

10003、10004．．．縮放處理過後之感興趣影畫面

200．．．待顯示區域

201．．．網際網路

202．．．用戶端

2．．．影像擷取裝置

20．．．影像擷取模組

21．．．暫存器

22．．．影像處理器

23．．．編碼器

2000．．．畫面資料

20001．．．第一區域畫面資料

20002．．．第二區域畫面資料

20003、20004．．．縮放處理過後之畫面資料

S1~S7．．．步驟

300．．．待顯示區域

30001．．．畫面資料

30002、30003、30004．．．區域畫面資料

30001、30002、30003．．．縮放處理過後之畫面資料

本案得藉由下列圖式及說明，俾得一更深入之了解：

第一圖(a)，其係為目前被廣泛應用的一遠端監控系統功能方塊示意圖。

第一圖(b)(c)，其係為對感興趣影像畫面進行影像放大處理示意圖。

第二圖(a)(b)，其係為本案所述之影像處理方法之一較佳實施例示意圖。

第三圖，其係為本案所述之影像處理方法之第一較佳實施例之流程示意圖。

第四圖，其係為本案所述之影像處理方法之第二較佳實施例示意圖。

200．．．待顯示區域

201．．．網際網路

202．．．用戶端

2．．．影像擷取裝置

20．．．影像擷取模組

21．．．暫存器

22．．．影像處理器

23．．．編碼器

2000．．．畫面資料

20001．．．第一區域畫面資料

20002．．．第二區域畫面資料

20003、20004．．．縮放處理過後之畫面資料

Claims (12)

1. 一種影像處理方法，應用於一影像擷取裝置、一用戶端與網際網路之間，該影像處理方法包含下列步驟：該影像擷取裝置擷取一待顯示區域之影像而形成一畫面資料；該用戶端透過網際網路而傳送一第一資訊與一第二資訊至該影像擷取裝置；該影像擷取裝置因應該第一資訊與該第二資訊來對該畫面資料進行處理，進而產生出一第一區域畫面資料與一第二區域晝面資料；以及將該第一區域畫面資料與該第二區域畫面資料處理形成一第一串流資料與一第二串流資料後一併透過該網際網路傳送回該用戶端。
2. 如申請專利範圍第1項所述之影像處理方法，其中該第一區域晝面資料與該第二區域畫面資料係分別根據該第一資訊所包含之一第一標示位置資訊、一第一標示尺寸、一第一縮放資訊與該第二資訊所包含之一第二標示位置資訊、一第二標示尺寸資訊、一第二縮放資訊，進而分別從該畫面資料中定義出該第一區域畫面資料與該第二區域畫面資料。
3. 如申請專利範圍第1項所述之影像處理方法，更包含下列步驟：該用戶端透過該網際網路而傳送一擷取部分影像指令至該影像擷取裝置，進而使該影像擷取裝置擷取該待顯示區域之部分影像而形成另一畫面資料。
4. 如申請專利範圍第1項所述之影像處理方法，其中該第一串流資料與該第二串流資料係為該第一區域畫面資料與該第二區域畫面透過一壓縮處理而形成。
5. 如申請專利範圍第4項所述之影像處理方法，其中該壓縮處理係可為一MPEG-4格式壓縮處理、一JPEG格式壓縮處理或一H.264格式壓縮處理，而該第一串流資料與該第二串流資料係可為一MPEG-4格式串流資料、一JPEG格式串流資料或一H.264格式串流資料。
6. 如申請專利範圍第1項所述之影像處理方法，其所應用之該用戶端係可為一個人電腦、一筆記型電腦、一個人行動數位助理、一行動電話或一行動網路裝置(Mobile Internet Device)。
7. 一種影像擷取裝置，用於一網際網路與連接於該網際網路上之一用戶端，該影像擷取裝置包含：一影像擷取模組，用以擷取一待顯示區域之影像而形成一畫面資料；一影像處理器，電連接於該影像擷取模組，其係接收該畫面資料與該用戶端透過該網際網路所傳送之一第一資訊與一第二資訊，並將該畫面資料、該第一資訊與該第二資訊進行處理，進而產生出一第一區域畫面資料與一第二區域畫面資料；以及一編碼器，電連接於該影像處理器，其係將該第一區域畫面資料與該第二區域畫面資料處理形成一第一串流資料與一第二串流資料後一併透過該網際網路傳送回該用戶端。
8. 如申請專利範圍第7項所述之影像擷取裝置，其中該畫面資料係可為該影像擷取裝置擷取該待顯示區域之部分影像而形成之該畫面資料。
9. 如申請專利範圍第7項所述之影像擷取裝置，其中影像處理器所接收之該第一資訊係包含有一第一標示位置資訊、一第一標示尺寸資訊與一第一縮放資訊，而第二資訊係包含有一第二標示位置資訊、一第二標示尺寸資訊與一第二縮放資訊，該影像處理器根據該第一標示位置資訊、該第一標示尺寸資訊與該第一縮放資訊而於該畫面資料中定義出一第一區域畫面資料，該影像處理器根據該第二標示位置資訊、該第二標示尺寸資訊與該第二縮放資訊而於該畫面資料中定義出一第二區域畫面資料。
10. 如申請專利範圍第7項所述之影像擷取裝置，更包含一暫存器，電連接於該影像擷取模組與該影像處理器，用以暫存該影像擷取模組所形成之該畫面資料，而該影像處理器可自該暫存器中將該畫面資料讀出以進行後續之影像處理處動作。
11. 如申請專利範圍第7項所述之影像擷取裝置，其中該編碼器對該第一區域畫面資料與該第二區域畫面資料所進行之處理係可為一MPEG-4格式壓縮處理、一JPEG格式壓縮處理或一H.264格式壓縮處理，而該第一串流資料與該第二串流資料係可為一MPEG-4格式串流資料、一JPEG格式串流資料或一H.264格式串流資料。
12. 如申請專利範圍第7項所述之影像擷取裝置，其所應用之該用戶端係可為一個人電腦、一筆記型電腦、一個人行動數位助理、一行動電話或一行動網路裝置(Mobile Internet Device)。