TWI511547B - 利用旋轉操作輔助視訊壓縮的方法及其影像擷取裝置 - Google Patents

利用旋轉操作輔助視訊壓縮的方法及其影像擷取裝置 Download PDF

Info

Publication number
TWI511547B
TWI511547B TW101112648A TW101112648A TWI511547B TW I511547 B TWI511547 B TW I511547B TW 101112648 A TW101112648 A TW 101112648A TW 101112648 A TW101112648 A TW 101112648A TW I511547 B TWI511547 B TW I511547B
Authority
TW
Taiwan
Prior art keywords
reference picture
current
angle information
rotation angle
rotation
Prior art date
Application number
TW101112648A
Other languages
English (en)
Other versions
TW201342901A (zh
Inventor
Shih Chia Huang
bo hao Chen
Sy Yen Kuo
Original Assignee
Acer Inc
Univ Nat Taiwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acer Inc, Univ Nat Taiwan filed Critical Acer Inc
Priority to TW101112648A priority Critical patent/TWI511547B/zh
Priority to EP12195606.4A priority patent/EP2651130A1/en
Priority to US13/733,146 priority patent/US20130266079A1/en
Publication of TW201342901A publication Critical patent/TW201342901A/zh
Application granted granted Critical
Publication of TWI511547B publication Critical patent/TWI511547B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

利用旋轉操作輔助視訊壓縮的方法及其影像擷取裝置
本發明是有關於一種視訊壓縮方法及影像擷取裝置，且特別是有關於一種利用旋轉操作輔助視訊壓縮的方法及其影像擷取裝置。
受惠於網路傳輸技術以及多媒體技術的提昇，資訊的傳播已經由純文字轉變成文字與大量圖片並存，更進一步演變為結合影像與聲音的多媒體影音訊息，加上近年來社群網站(social network)的發達，許多人皆會將各種多媒體影音檔案上傳至社群網站，以便與朋友進行分享或討論。
然而，就各種多媒體影音檔案所需傳送的資料量而言，視訊影像的資料量相當大，並且隨著各種攝影機解析度的增加，其所擷取之視訊畫面的資料量更是大幅提升，如果未經壓縮處理，將會在網路上造成很大的壅塞與時間延遲，所以在儲存或傳送多媒體影音檔案時大多使用資料壓縮的技術。
上述視訊畫面的壓縮係與各張畫面之間的變化有絕對關係，一般移動量估測(motion estimation)是關鍵的技術，而區塊匹配則是最常用來實現移動量估測的演算法，並據以壓縮畫面資料。一般而言，移動量估測常需花費相當大的計算資源及時間，且視訊畫面的內容常會影響估測的準確度。舉例來說，若視訊畫面的場景發生改變或者攝影機的拍攝角度或拍攝位置改變，將會導致各張視訊畫面之間的劇烈變動，使得移動量估測的效能大為下降。
有鑑於此，本發明提供一種旋轉操作輔助視訊壓縮的方法及其影像擷取裝置，可依據使用者的旋轉操作對應控制影像擷取裝置所拍攝的畫面，並且利用此旋轉操作提升移動量估測的效率與準確度。
本發明提出一種利用旋轉操作輔助視訊壓縮的方法，適用於影像擷取裝置，此方法包括下列步驟。首先，偵測影像擷取裝置所接收的旋轉操作，並計算此旋轉操作所形成的旋轉角度。接著，利用此旋轉角度旋轉影像擷取裝置藉以拍攝一目前畫面(current frame)，並將此旋轉角度儲存為目前角度資訊。此外，判斷影像擷取裝置所儲存的參考畫面清單(reference frame list)中是否存在具有旋轉角度資訊的參考畫面。若否，以此旋轉角度為函數計算旋轉移動向量，並區分目前畫面為多數個目前區塊，針對各個目前區塊分別利用此旋轉移動向量在參考畫面清單中的第一參考畫面搜尋對應於各個目前區塊的匹配區塊(Matching Block,MB)，並據以壓縮各個目前區塊與對應之匹配區塊之畫面資料。
在本發明之一實施例中，上述之利用旋轉操作輔助視訊壓縮的方法更包括更新參考畫面清單。其中，將目前畫面儲存為參考畫面清單中的第二參考畫面，並將目前角度資訊儲存於第二參考畫面對應的旋轉角度資訊。
在本發明之一實施例中，上述若判斷參考畫面清單的儲存空間已滿，則自參考畫面清單的旋轉角度資訊中尋找與目前角度資訊最相似的第三參考畫面。並且刪除第三參考畫面及其具有的旋轉角度資訊，並將目前畫面及目前角度資訊儲存於參考畫面清單中。
在本發明之一實施例中，上述之若判斷參考畫面清單中存在著具有旋轉角度資訊的參考畫面，則更包括下列步驟。自參考畫面清單中尋找第四參考畫面，其中第四參考畫面具有的旋轉角度資訊與目前角度資訊之角度差小於一預設值。接著，區分第四參考畫面為多數個參考區塊。並且分別計算各個目前區塊與對應之參考區塊中的多個像素之亮度值的差值總和，並分別與一門檻值比較。其中，若有N個目前區塊的差值總和不大於門檻值，則以目前區塊的相對位置為起點執行移動估測(motion estimation)，藉以在第四參考畫面搜尋對應於各個目前區塊的匹配區塊，並據以壓縮目前區塊與對應之匹配區塊之畫面資料，其中N為大於1的正整數。
在本發明之一實施例中，上述之在執行移動估測的步驟之後更包括更新該參考畫面清單。其中，若第四參考畫面具有的旋轉角度資訊相同於目前角度資訊，則刪除第四參考畫面及其具有的旋轉角度資訊，並將目前畫面及目前角度資訊儲存於參考畫面清單中。
在本發明之一實施例中，上述之偵測影像擷取裝置所接收的旋轉操作，並計算此旋轉操作所形成的旋轉角度的步驟包括偵測影像擷取裝置上的觸控螢幕所接收的觸碰旋轉操作，並計算此觸碰旋轉操作所形成的旋轉角度。
在本發明之一實施例中，上述之偵測影像擷取裝置所接收的旋轉操作，並計算此旋轉操作所形成的旋轉角度的步驟包括藉由位移偵測模組偵測影像擷取裝置所接收的一三維旋轉操作，藉以計算此三維旋轉操作所形成的旋轉角度。
本發明另提出一種影像擷取裝置，其包括鏡頭模組、偵測模組、儲存單元以及控制單元。其中，偵測模組用以偵測旋轉操作。儲存單元用以儲存參考畫面清單。控制單元耦接至鏡頭模組、偵測模組與儲存單元。控制單元用以計算旋轉操作所形成的旋轉角度，利用此旋轉角度控制鏡頭模組進行旋轉藉以拍攝一目前畫面，並將此旋轉角度儲存為目前角度資訊。其中，控制單元並判斷儲存單元所儲存的參考畫面清單中是否存在著一具有旋轉角度資訊的參考畫面。若否，則以此旋轉角度為函數計算一旋轉移動向量。再者，區分目前畫面為多數個目前區塊，針對各個目前區塊利用此旋轉移動向量在參考畫面清單的第一參考畫面中搜尋對應於各個目前區塊的匹配區塊，並據以壓縮目前區塊與對應之匹配區塊之畫面資料。
在本發明之一實施例中，上述之影像擷取裝置更包括耦接至控制單元的移動量估測單元。若控制單元自參考畫面清單中尋找第四參考畫面，其中第四參考畫面具有的旋轉角度資訊與目前角度資訊之角度差小於一預設值，則區分第四參考畫面為多數個參考區塊。並且分別計算各個目前區塊與對應之參考區塊中的多個像素之亮度值的差值總和，並分別與一門檻值比較。其中，若有N個目前區塊的差值總和不大於門檻值，則移動量估測單元以目前區塊的相對位置為起點執行移動估測，並提供執行移動估測所得之對應於各個目前區塊的匹配區塊給控制單元。由控制單元據以壓縮目前區塊與對應之匹配區塊之畫面資料，其中N為大於1的正整數。
在本發明之一實施例中，上述之影像擷取裝置更包括耦接偵測單元的觸控螢幕。偵測單元偵測觸控螢幕所接收的觸碰旋轉操作，並將此觸碰旋轉操作提供給控制單元，據以計算此觸碰旋轉操作所形成的旋轉角度。
在本發明之一實施例中，上述之影像擷取裝置更包括耦接控制單元的位移偵測模組。位移偵測模組偵測影像擷取裝置所接收的三維旋轉操作，藉以提供控制單元計算此三維旋轉操作所形成的旋轉角度。
基於上述，本發明所提供之旋轉操作輔助視訊壓縮的方法及其影像擷取裝置，可依據使用者的旋轉操作對應控制影像擷取裝置之鏡頭所欲擷取之畫面，使用者並不需要直接移動影像擷取裝置。此外，利用上述旋轉操作可進一步計算出旋轉移動向量藉以加速匹配區塊之搜尋，據此，可提升移動量估測的效率與準確度，並據以輔助壓縮視訊畫面。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖1是依照本發明一實施例所繪示之影像擷取裝置的方塊圖。本實施例之影像擷取裝置例如是數位攝影機、監控攝影機、膠捲攝影機或其他可用以錄影的影像擷取裝置，不限於上述。請參照圖1，影像擷取裝置100包括鏡頭模組110、偵測模組120、儲存單元130以及控制單元140，此外，影像擷取裝置100還可包括觸控螢幕150。其功能分述如下：
鏡頭模組110例如是包含光學定焦鏡頭或光學變焦鏡頭，以及電荷耦合元件(Charge Coupled Device，CCD)或互補金氧半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件等感光元件的模組，本實施例所使用的鏡頭模組110可受控制單元140之訊號控制而進行不同角度變化的自旋，可用來拍攝不同角度的視訊畫面。
偵測模組120用以偵測使用者在進行觸發操作時所產生的觸發訊號。所謂的觸發操作包括下列幾種不同的實施方式：在本實施例中，影像擷取裝置100包括耦接至偵測模組120的觸控螢幕150，因此偵測模組120可用以偵測使用者在觸控螢幕150上所進行的觸碰旋轉操作；若影像擷取裝置100包括語音辨識功能，則使用者可利用語音進行觸發操作，偵測模組120則可用以偵測語音內容。因此，偵測模組120係搭配影像擷取裝置100所具有的功能所設計，不限於上述。
儲存單元130例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、快閃記憶體(Flash memory)、硬碟等，而可用以儲存參考畫面清單及視訊畫面。
控制單元140係耦接至影像擷取裝置100之各模組，其例如是中央處理單元(Central Processing Unit，CPU)、微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)或其他類似裝置，其可用以計算、管理並控制影像擷取裝置100的所有工作。
觸控螢幕150例如是由液晶顯示器(Liquid Crystal Display，LCD)或發光二極體(Light-Emitting Diode，LED)顯示器等顯示器，以及電阻式或電容式等觸控面板組合而成，其可同時提供顯示及觸碰操作功能。
圖2是依照本發明一實施例所繪示之一種利用旋轉操作輔助視訊壓縮的方法流程圖。本實施例的方法適用於圖1的影像擷取裝置100，以下即搭配影像擷取裝置100中的各構件說明本實施例輔助視訊壓縮方法的詳細步驟：
請同時參照圖1與圖2，如步驟S210所示，偵測模組120偵測影像擷取裝置100所接收的旋轉操作，並提供給控制單元140計算此旋轉操作所形成的旋轉角度。在本實施例中，影像擷取裝置100具有一觸控螢幕150，因此，偵測模組120係用以偵測觸控螢幕150所接收的觸碰旋轉操作。例如是由一使用者利用手在觸控螢幕150上所產生的觸碰旋轉操作。
更詳細地說，圖3A是依照本發明一實施例所繪示之一種在觸控螢幕上進行觸碰旋轉操作的示意圖。請參照圖3A，假設使用者係同時使用雙指進行觸碰旋轉操作，意即使用者雙指首先分別置放於觸控螢幕150上的觸碰點A及觸碰點B，並且分別依照箭頭方向d1及d2拖曳滑動至觸碰點A’及觸碰點B’之後才將雙指離開觸控螢幕150。偵測模組120例如將觸碰點A、B、A’、B’之位置提供給控制單元140；或者偵測模組120直接提供控制單元140觸碰點A、B之間的連線以及觸碰點A’、B’之間的連線資訊，以便讓控制單元140計算出旋轉角度θ。
圖3B是依照本發明一實施例所繪示之另一種在觸控螢幕上進行觸碰旋轉操作的示意圖。請參照圖3B，假設使用者係同時使用雙指進行觸碰旋轉操作，意即使用者雙指首先分別置放於觸控螢幕150上的觸碰點C及觸碰點D，並且依照箭頭方向d3將其中一指拖曳滑動至觸碰點D’(同時另一指固定於觸碰點C)，之後才將雙指離開觸控螢幕150。偵測模組120例如將觸碰點C、D、D’之位置提供給控制單元140；或者偵測模組120直接提供關於觸碰點C、D之間的連線以及觸碰點C、D’之間的連線資訊給控制單元140，以便讓控制單元140計算出旋轉角度α。
因此，本發明並不限制觸碰旋轉操作的形式，凡是可用以產生一旋轉角度之觸碰拖曳操作，皆可作為本發明之變化實施例。接下來，如步驟S220所述，控制單元140利用上述旋轉角度控制影像擷取裝置100之鏡頭模組110進行旋轉，藉以拍攝一目前畫面(current frame)，並將此旋轉角度儲存為目前角度資訊。詳細地說，圖4是依照本發明一實施例所繪示之一種利用旋轉角度控制影像擷取裝置進行旋轉後所拍攝之目前畫面的示意圖。請參照圖4，鏡頭模組110在旋轉之前所拍得的影像為先前畫面f1，假設本實施例係接收到如圖3A之觸碰旋轉操作，因此鏡頭模組110在依據旋轉角度θ進行旋轉後拍攝得到一目前畫面f2。而旋轉角度θ即儲存為目前角度資訊。
在步驟S230中，控制單元140判斷影像擷取裝置100之儲存單元130中所儲存的參考畫面清單(reference frame list)是否存在具有旋轉角度資訊的參考畫面。其中，參考畫面清單係為影像擷取裝置100於先前不同時間點所拍攝取得的視訊畫面，一般而言，參考畫面清單可為動態更新，也就是說當影像擷取裝置100隨著時間不斷截取新的視訊畫面，而參考畫面清單中所儲存的多張參考畫面亦可隨時間更新。再者，參考畫面清單例如可同時儲存16張參考畫面或同時儲存32張參考畫面，可由使用者依實際情況作設定。
倘若參考畫面清單所儲存的參考畫面並未具有旋轉角度資訊，則接續步驟S240，以此旋轉角度為函數計算旋轉移動向量，並區分目前畫面為多數個目前區塊，針對各個目前區塊分別利用此旋轉移動向量在參考畫面清單中的第一參考畫面搜尋對應於各個目前區塊的匹配區塊(Matching Block,MB)，並據以壓縮各個目前區塊與對應之匹配區塊之畫面資料。
詳言之，假設圖4中之一目前區塊CB所在之絕對位置為(Xpos,Ypos)，並假設目前區塊CB在先前畫面f1中對應位置之已知移動向量為MV1且其座標為(x,y)，本發明並非以旋轉前的已知移動向量MV1作為參考值來搜尋匹配區塊，而是以上述旋轉角度θ為函數計算一新的旋轉移動向量MV2且其座標為(x’,y’)，上述之Xpos,Ypos,x,y,x’,y’皆為整數，其轉換公式如下：
在求得旋轉移動向量MV2之後，便可區分目前畫面為多數個目前區塊，針對各個目前區塊分別利用旋轉移動向量MV2在參考畫面清單中的第一參考畫面(如圖4所示之先前畫面f1)搜尋對應於各個目前區塊的匹配區塊，並據以壓縮各個目前區塊與對應之匹配區塊之畫面資料。由於本發明考量到旋轉後的視訊畫面對於移動向量的影響，因此利用旋轉移動向量MV2會大幅提升搜尋匹配區塊演算法的速度。
然而須說明的是，如圖4所示之三角型區域tri1~tri4是由於旋轉後所擷取到的視訊畫面，並無法採用上述方法利用旋轉移動向量MV2在先前畫面f1中找到匹配區塊。故，為了避開無法準確預估的三角型區域tri1~tri4，可經由下列公式限制旋轉移動向量MV2之範圍，其公式如下：
x”=Clip(Xpos+x’,0,W)
y”=Clip(Ypos+y’,0,L)　(2)
其中，W為先前畫面f1的水平寬度，L為先前畫面f1的垂直長度，座標(x”,y”)為限制範圍後的旋轉移動向量，函式Clip係讓座標(x”,y”)滿足0≦(x”=Xpos+x’)≦W以及0≦(y”=Ypos+y’)≦L之條件。
除了上述限制旋轉移動向量的範圍之外，本發明對於三角型區域tri1~tri4的移動向量估測亦提供了另一種解決之道，以下即以另一實施例來對本發明進行說明。
圖5是依照本發明另一實施例所繪示之影像擷取裝置的方塊圖。在本實施例中，影像擷取裝置500除了包括鏡頭模組110、偵測模組120、儲存單元130、控制單元140以及觸控螢幕150之外，還包括移動量估測單元142以及位移偵測模組560。其中，位移偵測模組560耦接至控制單元140，其例如是加速度感測器(G-sensor)、傾斜感測器(tilt sensor)或陀螺儀(Gyro sensor)。
圖6是依照本發明另一實施例所繪示之一種利用旋轉操作輔助視訊壓縮的方法流程圖。以下將以圖6來說明影像擷取裝置500的運作方式。請同時參照圖5與圖6。
首先，偵測影像擷取裝置500所接收的旋轉操作，並提供給控制單元140計算此旋轉操作所形成的旋轉角度(步驟S610)。需說明的是，假設在本實施例中之觸控螢幕150為可翻轉或旋轉之觸控螢幕，則位移偵測模組560可用以偵測觸控螢幕150的傾斜變化、各種速度或加速度資訊等，因此本實施例除了透過觸控螢幕150來接收一觸碰拖曳操作藉以計算一平面的旋轉角度之外，更可透過位移偵測模組560所提供的資訊來計算觸控螢幕150的一三維旋轉角度。
接著，控制單元140利用上述旋轉角度控制影像擷取裝置100之鏡頭模組110進行旋轉，藉以拍攝一目前畫面，並將此旋轉角度儲存為目前角度資訊(步驟S620)。其中，鏡頭模組110可對應觸控螢幕150進行二維的自旋或三維旋轉。
之後，控制單元140判斷影像擷取裝置100之儲存單元130中所儲存的參考畫面清單(reference frame list)是否存在具有旋轉角度資訊的參考畫面(步驟S630)。若否，則接續步驟S640。上述步驟S610~S640與前述實施例之步驟S210~S240相同或類似，故其詳細內容在此不予贅述。
與前述實施例不同的是，若本實施例之參考畫面清單確實存在具有旋轉角度資訊的參考畫面，則自參考畫面清單中尋找一參考畫面，且此參考畫面具有的旋轉角度資訊與目前角度資訊之角度差小於一預設值(步驟S650)。
詳言之，圖7是依照本發明另一實施例所繪示之一種參考畫面清單的示意圖。請參照圖7，參考畫面清單700具有n張參考畫面，n為一正整數。其中，參考畫面ref1設定為先前畫面(previous frame)，意即依據擷取時間來分類，先前畫面即為擷取時間點最接近目前畫面的一張參考畫面。換句話說，每拍攝一張新的目前畫面，先前畫面將會不斷地做更新。此外，參考畫面ref2則具有一旋轉角度資訊(即，旋轉角度θ1)，其代表了參考畫面ref2是在鏡頭模組110依據旋轉角度θ1的旋轉之後所拍攝取得的視訊畫面；參考畫面ref3亦具有一旋轉角度資訊(即，旋轉角度θ2)，其代表了參考畫面ref3是在鏡頭模組110依據旋轉角度θ2的旋轉之後所拍攝取得的視訊畫面；其餘依此類推。
依據上述舉例說明步驟S650尋找參考畫面之方法。假設目前角度資訊所顯示的旋轉角度為30度，在本實施例中，若預設值設定為5度，則表示必須從參考畫面清單700中尋找旋轉角度資訊顯示在25度至35度之間的參考畫面，若同時有多張參考畫面皆符合上述條件，則選取與目前角度資訊最相似的一張參考畫面(即，第四參考畫面)，例如可選擇旋轉角度同樣為30度的參考畫面。其中，預設值可由本領域具通常知識者依實際情況做設定。
接下來於步驟S660中，便將參考畫面區分為多數個參考區塊。並且分別計算各個目前區塊與對應之參考區塊中的多個像素之亮度值的差值總和，並分別與一門檻值比較。在一實施例中，假設大多數的參考區塊與目前區塊的差值總和皆不大於門檻值，則以目前區塊的相對位置為起點利用移動量估測模組142執行移動估測(motion estimation)，藉以在參考畫面中搜尋對應於各個目前區塊的匹配區塊，並據以壓縮目前區塊與對應之匹配區塊之畫面資料。
然而，須說明的是，假設若有一定數量(例如：半數)以上的參考區塊與目前區塊的差值總和皆大於門檻值，則表示參考畫面與目前畫面雖然是由相同旋轉角度所拍攝的視訊畫面，但被攝場景可能已經發生改變(scene change)，才會導致差值總和變化劇烈，故將改採前述實施例所述之旋轉移動向量的估測方法。據此，本發明並不需要事先知道被攝場景內容，即可運用本實施例之方法進行判斷。
最後，在執行移動估測的步驟之後，必須更新參考畫面清單(步驟S670)。若是接續步驟S640，由於步驟S640的參考畫面清單中暫不存在任何具有旋轉角度資訊的參考畫面，因此更新方法僅需將目前畫面存入參考畫面ref1(即，先前畫面)以及將目前畫面另存入參考畫面ref2~refn其中之一，同時紀錄對應的目前角度資訊。若參考畫面ref2~refn的儲存空間已滿，則自參考畫面清單的旋轉角度資訊中尋找與目前角度資訊最相似的第三參考畫面，換句話說即尋找旋轉角度相差最小的參考畫面。刪除第三參考畫面及其具有的旋轉角度資訊，並將目前畫面及目前角度資訊存入參考畫面清單中。
另一方面，若是接續步驟S660，則表示參考畫面清單中已存在具有旋轉角度資訊的參考畫面，因此在一實施例中，若參考畫面清單中的第四參考畫面具有的旋轉角度資訊相同於目前角度資訊，則直接刪除第四參考畫面及其具有的旋轉角度資訊，並將目前畫面及目前角度資訊存入參考畫面清單中。在另一實施例中，若儲存空間已滿，則刪除在步驟S660中所使用的參考畫面，並對應存入目前畫面及目前角度資訊。其餘情況則直接將目前畫面及目前角度資訊存入參考畫面清單中可儲存之位置即可。
綜上所述，本發明可依據使用者透過對觸控螢幕的旋轉操作對應控制影像擷取裝置之鏡頭，因此使用者並不需要直接移動影像擷取裝置，對於應用於大型不易移動的錄影設備來說簡化了操作的困難度。習知之匹配區塊之搜尋並未考量視訊畫面間鏡頭的拍攝角度，因此對於移動估計來說需花費更多的計算資源及時間。然而，本發明利用上述旋轉操作可進一步計算出旋轉移動向量藉以加速匹配區塊之搜尋，藉此可提升移動量估測的效率與準確度。最後，同時將參考畫面與其對應的旋轉角度資訊記錄於參考畫面清單中，亦提高了移動量估測的準確度並可用以輔助壓縮視訊畫面。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100、500．．．影像擷取裝置
110．．．鏡頭模組
120．．．偵測模組
130．．．儲存單元
140．．．控制單元
142．．．移動量估測單元
150．．．觸控螢幕
560．．．位移偵測模組
A、B、A’、B’、C、D、D’．．．觸碰點
CB．．．目前區塊
W．．．水平寬度
L．．．垂直長度
d1~d3．．．箭頭方向
f1．．．先前畫面
f2．．．目前畫面
MV1、MV2．．．移動向量
ref1~refn．．．參考畫面
tri1~tri4．．．三角型區域
θ、θ1~θk、α．．．旋轉角度
S210~S240．．．一種利用旋轉操作輔助視訊壓縮的方法之各步驟
S610~S670．．．另一種利用旋轉操作輔助視訊壓縮的方法之各步驟
圖1是依照本發明一實施例所繪示之影像擷取裝置的方塊圖。
圖2是依照本發明一實施例所繪示之一種利用旋轉操作輔助視訊壓縮的方法流程圖。
圖3A是依照本發明一實施例所繪示之一種在觸控螢幕上進行觸碰旋轉操作的示意圖。
圖3B是依照本發明一實施例所繪示之另一種在觸控螢幕上進行觸碰旋轉操作的示意圖。
圖4是依照本發明一實施例所繪示之一種利用旋轉角度控制影像擷取裝置進行旋轉後所拍攝之目前畫面的示意圖。
圖5是依照本發明另一實施例所繪示之影像擷取裝置的方塊圖。
圖6是依照本發明另一實施例所繪示之一種利用旋轉操作輔助視訊壓縮的方法流程圖。
圖7是依照本發明另一實施例所繪示之一種參考畫面清單的示意圖。
S210~S240．．．一種利用旋轉操作輔助視訊壓縮的方法之各步驟

Claims (14)

  1. 一種利用旋轉操作輔助視訊壓縮的方法，適用於一影像擷取裝置，該方法包括下列步驟：偵測該影像擷取裝置所接收的一旋轉操作，並計算該旋轉操作所形成的一旋轉角度；利用該旋轉角度旋轉該影像擷取裝置以拍攝一目前畫面，並將該旋轉角度儲存為一目前角度資訊；判斷該影像擷取裝置所儲存的一參考畫面清單中是否存在具有一旋轉角度資訊的一參考畫面；以及若否，以該旋轉角度為函數計算一旋轉移動向量，並區分該目前畫面為多數個目前區塊，針對各該目前區塊利用該旋轉移動向量在該參考畫面清單中的一第一參考畫面搜尋對應於各該目前區塊的一匹配區塊，並據以壓縮該目前區塊與對應之該匹配區塊之畫面資料。
  2. 如申請專利範圍第1項所述之利用旋轉操作輔助視訊壓縮的方法，更包括：更新該參考畫面清單，其中將該目前畫面儲存為該參考畫面清單中的一第二參考畫面，並將該目前角度資訊儲存於該第二參考畫面對應的該旋轉角度資訊。
  3. 如申請專利範圍第2項所述之利用旋轉操作輔助視訊壓縮的方法，其中：若判斷該參考畫面清單的儲存空間已滿，自該參考畫面清單的該旋轉角度資訊中尋找與該目前角度資訊最相似的一第三參考畫面；以及刪除該第三參考畫面及其具有的該旋轉角度資訊，並將該目前畫面及該目前角度資訊儲存於該參考畫面清單中。
  4. 如申請專利範圍第1項所述之利用旋轉操作輔助視訊壓縮的方法，其中若判斷該參考畫面清單中存在著具有該旋轉角度資訊的該參考畫面，更包括：自該參考畫面清單中尋找一第四參考畫面，其中該第四參考畫面具有的該旋轉角度資訊與該目前角度資訊之角度差小於一預設值；區分該第四參考畫面為多數個參考區塊；分別計算各該目前區塊與對應之該參考區塊中的多個像素之亮度值的一差值總和，並分別與一門檻值比較；以及若有N個目前區塊的該差值總和不大於該門檻值，以該目前區塊的相對位置為起點執行一移動估測，藉以在該第四參考畫面搜尋對應於各該目前區塊的該匹配區塊，並據以壓縮該目前區塊與對應之該匹配區塊之畫面資料，其中N為大於1的正整數。
  5. 如申請專利範圍第4項所述之利用旋轉操作輔助視訊壓縮的方法，其中在執行該移動估測之後更包括：更新該參考畫面清單，其中若該第四參考畫面具有的該旋轉角度資訊相同於該目前角度資訊，直接刪除該第四參考畫面及其具有的該旋轉角度資訊，並將該目前畫面及該目前角度資訊儲存於該參考畫面清單中。
  6. 如申請專利範圍第1項所述之利用旋轉操作輔助視訊壓縮的方法，其中偵測該影像擷取裝置所接收的該旋轉操作，並計算該旋轉操作所形成的該旋轉角度的步驟包括：偵測該影像擷取裝置上的觸控螢幕所接收的一觸碰旋轉操作，並計算該觸碰旋轉操作所形成的該旋轉角度。
  7. 如申請專利範圍第1項所述之利用旋轉操作輔助視訊壓縮的方法，其中偵測該影像擷取裝置所接收的該旋轉操作，並計算該旋轉操作所形成的該旋轉角度的步驟包括：藉由一位移偵測模組偵測該影像擷取裝置所接收的一三維旋轉操作，藉以計算該三維旋轉操作所形成的該旋轉角度。
  8. 一種影像擷取裝置，包括：一鏡頭模組；一偵測模組，偵測一旋轉操作；一儲存單元，儲存一參考畫面清單；以及一控制單元，耦接該鏡頭模組、該偵測模組與該儲存單元，計算該旋轉操作所形成的一旋轉角度，利用該旋轉角度控制該鏡頭模組進行旋轉藉以拍攝一目前畫面，並將該旋轉角度儲存為一目前角度資訊，其中該控制單元判斷該儲存單元所儲存的該參考畫面清單中是否存在具有一旋轉角度資訊的一參考畫面，若否，以該旋轉角度為函數計算一旋轉移動向量，並區分該目前畫面為多數個目前區塊，針對各該目前區塊利用該旋轉移動向量在該參考畫面清單的一第一參考畫面中搜尋對應於各該目前區塊的一匹配區塊，並據以壓縮該目前區塊與對應之該匹配區塊之畫面資料。
  9. 如申請專利範圍第8項所述之影像擷取裝置，其中：該控制單元更新該儲存單元所儲存的該參考畫面清單，將該目前畫面儲存於該儲存單元以作為該參考畫面清單中的一第二參考畫面，並將該目前角度資訊儲存於該第二參考畫面對應的該旋轉角度資訊。
  10. 如申請專利範圍第9項所述之影像擷取裝置，其中：若該控制單元判斷在該儲存單元中用以儲存該參考畫面清單的儲存空間已滿，該控制單元自該參考畫面清單的該旋轉角度資訊中尋找與該目前角度資訊最相似的一第三參考畫面，刪除該第三參考畫面及該第三參考畫面具有的該旋轉角度資訊，並將該目前畫面及該目前角度資訊儲存於該參考畫面清單中。
  11. 如申請專利範圍第8項所述之影像擷取裝置，其中該控制單元包括：一移動量估測單元，若該控制單元自該參考畫面清單中尋找一第四參考畫面，其中該第四參考畫面具有的該旋轉角度資訊與該目前角度資訊之角度差小於一預設值，區分該第四參考畫面為多數個參考區塊，分別計算各該目前區塊與對應之該參考區塊中的多個像素之亮度值的一差值總和，並分別與一門檻值比較，其中，若有N個目前區塊的該差值總和不大於該門檻值，該移動量估測單元以該目前區塊的相對位置為起點執行一移動估測，並提供執行該移動估測所得之對應於各該目前區塊的該匹配區塊給該控制單元，而由該控制單元據以壓縮該目前區塊與對應之該匹配區塊之畫面資料，其中N為大於1的正整數。
  12. 如申請專利範圍第11項所述之影像擷取裝置，其中：該控制單元更新該儲存單元所儲存的該參考畫面清單，若該儲存單元所儲存的該第四參考畫面具有的該旋轉角度資訊相同於該目前角度資訊，該控制單元直接刪除該第四參考畫面及其具有的該旋轉角度資訊，並將該目前畫面及該目前角度資訊儲存於該參考畫面清單中。
  13. 如申請專利範圍第8項所述之影像擷取裝置，更包括：一觸控螢幕，耦接該偵測單元，該偵測單元偵測該觸控螢幕所接收的一觸碰旋轉操作，並將該觸碰旋轉操作提供給該控制單元，據以計算該觸碰旋轉操作所形成的該旋轉角度。
  14. 如申請專利範圍第8項所述之影像擷取裝置，更包括：一位移偵測模組，耦接該控制單元，偵測該影像擷取裝置所接收的一三維旋轉操作，藉以提供該控制單元計算該三維旋轉操作所形成的該旋轉角度。
TW101112648A 2012-04-10 2012-04-10 利用旋轉操作輔助視訊壓縮的方法及其影像擷取裝置 TWI511547B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW101112648A TWI511547B (zh) 2012-04-10 2012-04-10 利用旋轉操作輔助視訊壓縮的方法及其影像擷取裝置
EP12195606.4A EP2651130A1 (en) 2012-04-10 2012-12-05 Method for assisting in video compression using rotation operation and image capturing device thereof
US13/733,146 US20130266079A1 (en) 2012-04-10 2013-01-03 Method for assisting in video compression using rotation operation and image capturing device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101112648A TWI511547B (zh) 2012-04-10 2012-04-10 利用旋轉操作輔助視訊壓縮的方法及其影像擷取裝置

Publications (2)

Publication Number Publication Date
TW201342901A TW201342901A (zh) 2013-10-16
TWI511547B true TWI511547B (zh) 2015-12-01

Family

ID=47602859

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101112648A TWI511547B (zh) 2012-04-10 2012-04-10 利用旋轉操作輔助視訊壓縮的方法及其影像擷取裝置

Country Status (3)

Country Link
US (1) US20130266079A1 (zh)
EP (1) EP2651130A1 (zh)
TW (1) TWI511547B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9413951B2 (en) 2014-07-31 2016-08-09 Apple Inc. Dynamic motion estimation and compensation for temporal filtering
US9479695B2 (en) 2014-07-31 2016-10-25 Apple Inc. Generating a high dynamic range image using a temporal filter
US9514525B2 (en) 2014-07-31 2016-12-06 Apple Inc. Temporal filtering for image data using spatial filtering and noise history
US9374526B2 (en) 2014-07-31 2016-06-21 Apple Inc. Providing frame delay using a temporal filter
US9917898B2 (en) * 2015-04-27 2018-03-13 Dental Imaging Technologies Corporation Hybrid dental imaging system with local area network and cloud
US10715804B2 (en) 2016-04-22 2020-07-14 Sony Corporation Encoding apparatus and encoding method as well as decoding apparatus and decoding method
TWI581632B (zh) * 2016-06-23 2017-05-01 國立交通大學 影像產生方法及影像拍攝裝置
US10382767B2 (en) 2017-07-21 2019-08-13 Google Llc Video coding using frame rotation
US11494869B2 (en) * 2020-09-30 2022-11-08 Realtek Semiconductor Corporation Image processor having a compressing engine performing operations on each row of M*N data block
CN112220486B (zh) * 2020-11-11 2022-12-20 深圳市安健科技股份有限公司 一种dr三维重建的角度同步方法及系统
US20230056104A1 (en) * 2021-08-20 2023-02-23 Arlo Technologies, Inc. Modification of Camera Functionality Based on Orientation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757328B1 (en) * 1999-05-28 2004-06-29 Kent Ridge Digital Labs. Motion information extraction system
US6961443B2 (en) * 2000-06-15 2005-11-01 Automotive Systems Laboratory, Inc. Occupant sensor
US20080080789A1 (en) * 2006-09-28 2008-04-03 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
TW200917852A (en) * 2007-10-10 2009-04-16 Mediatek Inc Matching-pixel sub-sampling motion estimation method for video compression
CN102257456A (zh) * 2008-12-17 2011-11-23 索尼电脑娱乐公司 校正跟踪系统中的角度误差
TW201214299A (en) * 2010-06-04 2012-04-01 Sony Computer Entertainment Inc Selecting view orientation in portable device via image analysis

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6748158B1 (en) * 1999-02-01 2004-06-08 Grass Valley (U.S.) Inc. Method for classifying and searching video databases based on 3-D camera motion
EP1915860A2 (en) * 2005-08-12 2008-04-30 Nxp B.V. Method and system for digital image stabilization
JP2007259164A (ja) * 2006-03-24 2007-10-04 Fujifilm Corp カメラシステム
EP2118852B1 (en) * 2007-03-07 2011-11-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for synthesizing texture in a video sequence
JP4958610B2 (ja) * 2007-04-06 2012-06-20 キヤノン株式会社 画像防振装置、撮像装置及び画像防振方法
JP4483963B2 (ja) * 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
JP4561919B2 (ja) * 2008-04-21 2010-10-13 ソニー株式会社 撮像装置、画像処理装置及び画像処理方法
WO2009155926A1 (en) * 2008-06-27 2009-12-30 Hasselblad A/S Tilt and shift adaptor, camera and image correction method
JP2010114596A (ja) * 2008-11-05 2010-05-20 Sony Corp 動きベクトル検出装置、その処理方法およびプログラム
JP5163429B2 (ja) * 2008-11-05 2013-03-13 ソニー株式会社 動きベクトル検出装置、その処理方法およびプログラム
US8411750B2 (en) * 2009-10-30 2013-04-02 Qualcomm Incorporated Global motion parameter estimation using block-based motion vectors
WO2011150109A1 (en) * 2010-05-26 2011-12-01 Qualcomm Incorporated Camera parameter- assisted video frame rate up conversion
JP2012023651A (ja) * 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
US8678676B2 (en) * 2010-09-17 2014-03-25 Erwin Scholz Tilt shift lens adapter
JP2012099876A (ja) * 2010-10-29 2012-05-24 Sanyo Electric Co Ltd 画像処理装置、撮像装置、画像処理方法、プログラム
JP2012142829A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
JP2012142827A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
JP5708097B2 (ja) * 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
JP6019567B2 (ja) * 2011-03-31 2016-11-02 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US9247133B2 (en) * 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757328B1 (en) * 1999-05-28 2004-06-29 Kent Ridge Digital Labs. Motion information extraction system
US6961443B2 (en) * 2000-06-15 2005-11-01 Automotive Systems Laboratory, Inc. Occupant sensor
US20080080789A1 (en) * 2006-09-28 2008-04-03 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
TW200917852A (en) * 2007-10-10 2009-04-16 Mediatek Inc Matching-pixel sub-sampling motion estimation method for video compression
CN102257456A (zh) * 2008-12-17 2011-11-23 索尼电脑娱乐公司 校正跟踪系统中的角度误差
TW201214299A (en) * 2010-06-04 2012-04-01 Sony Computer Entertainment Inc Selecting view orientation in portable device via image analysis

Also Published As

Publication number Publication date
TW201342901A (zh) 2013-10-16
US20130266079A1 (en) 2013-10-10
EP2651130A1 (en) 2013-10-16

Similar Documents

Publication Publication Date Title
TWI511547B (zh) 利用旋轉操作輔助視訊壓縮的方法及其影像擷取裝置
WO2022000992A1 (zh) 拍摄方法、装置、电子设备和存储介质
US9690388B2 (en) Identification of a gesture
TWI769635B (zh) 網路訓練、行人重識別方法、電子設備及電腦可讀存儲介質
US11317024B2 (en) Electronic image stabilization frequency estimator
TWI543610B (zh) 電子裝置及其影像選擇方法
US11301051B2 (en) Using natural movements of a hand-held device to manipulate digital content
JP5911846B2 (ja) 肌色領域及び顔領域に基づく視点検出器
US9275275B2 (en) Object tracking in a video stream
WO2018063608A1 (en) Place recognition algorithm
US20130100307A1 (en) Methods, apparatuses and computer program products for analyzing context-based media data for tagging and retrieval
JP6505327B2 (ja) ビデオデータを取得するための方法、装置、及びシステム並びにコンピュータ可読記憶媒体
WO2015024367A1 (zh) 一种拍摄图像的处理方法及装置
TW202110165A (zh) 一種資訊處理方法、電子設備、儲存媒體和程式
US8823820B2 (en) Methods and apparatuses for capturing an image
US20170200062A1 (en) Method of determination of stable zones within an image stream, and portable device for implementing the method
US9904355B2 (en) Display method, image capturing method and electronic device
TWI475471B (zh) 利用觸控螢幕輔助視訊壓縮的方法及監控系統
CN103379258B (zh) 利用旋转操作辅助视频压缩的方法及其图像获取装置
WO2019015120A1 (zh) 一种图像处理的方法及终端