TW201318433A - 利用手勢調整視訊影像壓縮的方法 - Google Patents
利用手勢調整視訊影像壓縮的方法 Download PDFInfo
- Publication number
- TW201318433A TW201318433A TW100137707A TW100137707A TW201318433A TW 201318433 A TW201318433 A TW 201318433A TW 100137707 A TW100137707 A TW 100137707A TW 100137707 A TW100137707 A TW 100137707A TW 201318433 A TW201318433 A TW 201318433A
- Authority
- TW
- Taiwan
- Prior art keywords
- interest
- region
- video image
- touch
- compression
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一種利用手勢調整視訊影像壓縮的方法,適於壓縮由電子裝置顯示的視訊影像,此電子裝置具有觸控螢幕。此方法係在觸控螢幕上顯示視訊影像。接著,利用觸控螢幕偵測使用者在視訊影像上執行的第一觸碰操作,並依據此第一觸碰操作決定視訊影像中的感興趣區域及非感興趣區域。然後,調整對於此感興趣區域及非感興趣區域的壓縮方式,並用以壓縮感興趣區域及非感興趣區域中的視訊影像。
Description
本發明是有關於一種影像壓縮方法,且特別是有關於一種利用手勢調整視訊影像壓縮的方法。
隨著網路通訊技術的進步,現今的人們已可藉由電腦連接的網路攝影機(web camera)與多人進行視訊會議,或者是藉由手機上的攝影鏡頭與他人進行視訊通話,這種面對面式的溝通方式不僅大幅拉近人們之間的距離,也降低了傳統語音對話時可能存在的溝通障礙。
然而,這類視訊通話的應用需要即時傳送連續的視訊及音訊資料,所需傳輸的資料量相當大,相對地也會佔用不小的網路頻寬。一旦通話者所在地點的網路頻寬不足,就會造成所顯示視訊影像的延遲或是畫面品質降低等不良結果,這對於顯示與通話品質均有相當高要求的視訊通話應用而言,都是無法接受的結果。
因此,有必要提供一種能夠在維持視訊影像清晰度的情況下,有效降低視訊影像資料傳輸量的技術,使得視訊影像可在各種通話環境下均能夠流暢地播放。
本發明提供一種利用手勢調整視訊影像壓縮的方法,可減少視訊影像的資料傳輸量。
本發明提出一種利用手勢調整視訊影像壓縮的方法,適於壓縮由電子裝置顯示的視訊影像,此電子裝置具有觸控螢幕。此方法係在觸控螢幕上顯示視訊影像。接著,利用觸控螢幕偵測使用者在視訊影像上執行的第一觸碰操作,並依據此第一觸碰操作決定感興趣區域及非感興趣區域。然後,調整對於此感興趣區域及非感興趣區域的壓縮方式,並用以壓縮感興趣區域及非感興趣區域中的視訊影像。
在本發明之一實施例中,在上述顯示視訊影像的步驟之前,此方法更包括接收由電子裝置之影像擷取裝置所擷取的視訊影像,或是由遠端裝置所傳送而來的視訊影像。
在本發明之一實施例中,在上述依據第一觸碰操作決定感興趣區域及非感興趣區域的步驟之後,此方法更包括將此感興趣區域及非感興趣區域的位置資訊傳送至遠端裝置,而由遠端裝置根據此位置資訊調整對於感興趣區域及非感興趣區域的壓縮方式,並用以壓縮感興趣區域及非感興趣區域中的視訊影像,最後由遠端裝置傳送壓縮後的感興趣區域及非感興趣區域的視訊影像至電子裝置。
在本發明之一實施例中,上述依據第一觸碰操作決定感興趣區域及非感興趣區域的步驟包括在第一觸碰操作包括三個觸碰點時,利用這三個觸碰點決定一個圓形區域,並以此圓形區域將視訊影像劃分為感興趣區域及非感興趣區域,其中所述圓形區域的範圍涵蓋這三個觸碰點。
在本發明之一實施例中,上述以圓形區域將視訊影像劃分為感興趣區域及非感興趣區域的步驟包括在這三個觸碰點由原位置向內縮或向外擴時,決定以圓形區域內的視訊影像做為感興趣區域並以圓形區域外的視訊影像做為非感興趣區域,或是以圓形區域外的視訊影像做為感興趣區域並以圓形區域內的視訊影像做為非感興趣區域。
本發明之一實施例中,上述依據第一觸碰操作決定感興趣區域及非感興趣區域的步驟在當第一觸碰操作包括四個觸碰點時,利用這四個觸碰點決定一個方形區域,並以此方形區域將視訊影像劃分為感興趣區域及非感興趣區域。
本發明之一實施例中,上述以方形區域將視訊影像劃分為感興趣區域及非感興趣區域的步驟包括在四個觸碰點由原位置向內縮或向外擴時,決定以方形區域內的視訊影像做為感興趣區域並以方形區域外的視訊影像做為非感興趣區域,或是以方形區域外的視訊影像做為感興趣區域並以方形區域內的視訊影像做為非感興趣區域。
本發明之一實施例中,在上述決定感興趣區域及非感興趣區域的步驟之後,此方法更包括偵測在感興趣區域內的第二觸碰操作,而當所偵測的第二觸碰操作為單一觸碰點,且此觸碰點在感興趣區域內停留超過一預設時間後移動時,即根據此觸碰點的位移移動感興趣區域在視訊影像上的位置。
本發明之一實施例中,在上述決定感興趣區域及非感興趣區域的步驟之後,此方法更包括偵測在感興趣區域內的第三觸碰操作,而當所偵測的第三觸碰操作為兩個觸碰點,且這兩個觸碰點由原位置向內縮或向外擴時,即根據兩個觸碰點的位移縮放感興趣區域的大小。
本發明之一實施例中,在上述決定感興趣區域及非感興趣區域的步驟之後,此方法更包括偵測第四觸碰操作,而當所偵測的第四觸碰操作為單一觸碰點,且此觸碰點由感興趣區域外劃入感興趣區域內再劃出感興趣區域時,即將所決定的感興趣區域及非感興趣區域刪除。
本發明之一實施例中,上述調整對於感興趣區域及非感興趣區域的壓縮方式,並用以壓縮感興趣區域及非感興趣區域中的視訊影像的步驟包括使用具有第一品質的第一壓縮方式壓縮感興趣區域的視訊影像,以及使用具有第二品質的第二壓縮方式壓縮非感興趣區域的視訊影像,其中第一品質高於第二品質。
本發明之一實施例中,上述在使用第一壓縮方式壓縮感興趣區域的視訊影像時,僅針對感興趣區域內的視訊影像的多張畫面執行運動估測,而在使用第二壓縮方式壓縮非感興趣區域的視訊影像時,則僅針對非感興趣區域內的視訊影像的多張畫面執行運動估測。
本發明之一實施例中,上述調整對於感興趣區域及非感興趣區域的壓縮方式的步驟更包括在第一觸碰操作所包括的多個觸碰點由原位置向內縮或向外擴時,偵測各個觸碰點的觸按壓力,並根據這些觸碰點的觸按壓力,以漸層的方式定義感興趣區域至非感興趣區域的壓縮方式,使得所壓縮視訊影像的壓縮品質,由感興趣區域至非感興趣區域逐步增加或逐步減少。
本發明之一實施例中,上述感興趣區域內的視訊影像的多張畫面中,在時間上或空間上相鄰的多個宏區塊之間的壓縮品質的差值不超過一個單位量化值。
本發明之一實施例中,上述之壓縮品質包括量化參數(Quantization parameter,QP)值與位元傳輸率(Bit rate)其一或兩者。
基於上述,本發明之利用手勢調整視訊影像壓縮的方法係藉由手勢決定感興趣區域及非感興趣區域,並對感興趣區域做高畫質或原始的影像編碼,對於非感興趣區域做低畫質或較簡易的影像編碼,藉此可減少視訊影像的整體資料量,使得在網路頻寬不足的環境下,仍可維持視訊影像播放的流暢度。
為讓本發明之上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明係將觸碰螢幕的直覺化操作方式應用在視訊影像中使用者感興趣區域的選取及編輯上,根據使用者在觸碰螢幕上操作的手勢快速決定出感興趣區域,並針對感興趣區域及非感興趣區域分別套用適合的壓縮方式,藉以在不影響使用者觀看視訊影像內容的情況下,有效減少視訊影像的整體資料量。
圖1是依據本發明一實施例所繪示之利用手勢調整視訊影像壓縮的方法。請參照圖1,本實施例之方法適用於包括有觸控螢幕的電子裝置,此電子裝置例如是手機、個人數位助理、平板電腦、筆記型電腦、桌上型電腦等裝置,適於根據使用者的手勢,壓縮在其觸控螢幕上顯示的視訊影像,其步驟如下:首先,由電子裝置在其觸控螢幕上顯示視訊影像(步驟S102)。此視訊影像例如是由電子裝置本身的攝影鏡頭、相機等影像擷取裝置所擷取的視訊影像,或是由遠端裝置透過網路傳送而來的視訊影像。
詳言之,一般視訊通話的應用除了會在螢幕上顯示通話對方的視訊影像外,還會顯示通話者本身的視訊影像。因此,為了要讓視訊影像能夠順暢地播放,除了要壓縮通話對方的視訊影像外,也同樣要壓縮通話者本身的視訊影像,如此才能有效降低視訊影像的傳輸資料量。
由於在視訊通話中,使用者的視線主要是停留在通話對方的人物上,其背後的物件或背景則相對顯得不重要。據此,本實施例在電子裝置顯示視訊影像之後,即進一步利用觸控螢幕偵測使用者在視訊影像上執行的觸碰操作,並依據此觸碰操作決定感興趣區域及非感興趣區域(步驟S104)。其中,上述的觸碰操作例如包括多個觸碰點,這些觸碰點例如是藉由依序點選或是同時點選的方式來決定,在此並不限定。其中,若使用者在觸控螢幕上連續點選多個觸碰點,且前後觸碰點之間的時間間隔均不超過預設時間,則電子裝置可將這些觸碰點串連而視為同一個觸碰操作,並用以決定感興趣區域。
當上述的觸碰操作包括三個觸碰點時,電子裝置例如會利用這三個觸碰點來決定一個圓形區域,並以此圓形區域將視訊影像劃分為感興趣區域及非感興趣區域,其中,所述圓形區域的範圍將會涵蓋該三個觸碰點。詳言之,電子裝置例如會將這三個觸碰點連成一個三角形,並以此三角形的外心做為圓心,該外心與觸碰點之間的距離做為半徑,畫出一個圓,此時這三個觸碰點必然會落在此圓的圓周上。在一實施例中,電子裝置將會直接以此圓所涵括的圓形區域做為感興趣區域,並以視訊影像中此圓形區域以外的區域做為非感興趣區域。
在另一實施例中,電子裝置還可依照上述觸碰操作的變化,來決定是要以圓形區域內的區域還是以圓形區域外的區域來做為感興趣區域。舉例來說,圖2A及圖2B是依據本發明一實施例所繪示之利用手勢調整視訊影像壓縮的方法。請參照圖2A,電子裝置20例如偵測到使用者手指21在觸控螢幕22上觸碰的三個觸碰點A、B、C,並根據觸碰點A、B、C的位置在觸控螢幕22上顯示圓形區域23。此時,若電子裝置20判斷上述三個觸碰點A、B、C由原位置向內縮(即拖曳向內)時,即決定以圓形區域23內的視訊影像做為感興趣區域並以圓形區域23外的視訊影像做為非感興趣區域;請參照圖2B,若電子裝置判斷上述三個觸碰點A、B、C由原位置向外擴(即拖曳向外)時,則決定以圓形區域23外的視訊影像做為感興趣區域,並以圓形區域23內的視訊影像做為非感興趣區域。上述實施方式僅為舉例說明,電子裝置也可將觸碰點由原位置向內縮與向外擴的操作解釋為與上述相反的意義,在此不限制其範圍。
另一方面,當上述的觸碰操作包括四個觸碰點時,電子裝置例如會利用這四個觸碰點來決定一個四邊形區域,並以此方形區域將視訊影像劃分為感興趣區域及非感興趣區域,其中,所述四邊形區域的範圍會涵蓋該四個觸碰點。詳言之,電子裝置例如會以這四個觸碰點連成一個四邊形。在一實施例中,電子裝置會直接以此四邊形所涵括的方形區域做為感興趣區域,並以視訊影像中此方形區域以外的區域做為非感興趣區域。
在另一實施例中,電子裝置還會依照上述觸碰操作的變化,來決定是要以四邊形區域內的區域還是以四邊形區域外的區域來做為感興趣區域。舉例來說,圖3A及圖3B是依據本發明一實施例所繪示之利用手勢調整視訊影像壓縮的方法。請參照圖3A,電子裝置30例如偵測到使用者手指31在觸控螢幕32上觸碰的四個觸碰點A’、B’、C’、D’,而根據其所在位置,將這四個觸碰點A’、B’、C’、D’連成一個四邊形,並在觸控螢幕32上顯示四邊形區域33。此時,若電子裝置30判斷上述四個觸碰點A’、B’、C’、D’由原位置向內縮(即拖曳向內)時,即決定以四邊形區域33內的視訊影像做為感興趣區域並以四邊形區域33外的視訊影像做為非感興趣區域;請參照圖3B,若電子裝置判斷上述四個觸碰點A’、B’、C’、D’由原位置向外擴(即拖曳向外)時,則決定以四邊形區域33外的視訊影像做為感興趣區域並以四邊形區域33內的視訊影像做為非感興趣區域。上述實施方式僅為舉例說明,電子裝置也可將觸碰點由原位置向內縮與向外擴的操作解釋為與上述相反的意義,在此不限制其範圍。
需說明的是,針對上述手勢所產生的感興趣區域,本實施例還可搭配其他的手勢,提供使用者對此感興趣區域進行增、刪、移動、縮放等操作,藉此讓使用者可以最直覺的方式調整感興趣區域的位置及大小,使其符合使用者的需求。
關於感興趣區域的增加:在決定好一組感興趣區域及非感興趣區域之後,電子裝置的觸控螢幕仍會繼續偵測使用者的觸碰操作。類似於前述感興趣區域的決定方式,當使用者在上述感興趣區域之外執行另一個觸碰操作時,電子裝置即會對應產生另一個圓形或四邊形區域,並用以決定另一組感興趣區域及非感興趣區域。在一實施例中,電子裝置還可判斷新增的感興趣區域是否與原先的感興趣區域重疊,若有重疊,例如可以新增的感興趣區域取代原先的感興趣區域,或是與原先的感興趣區域結合重新定義新的感興趣區域,又或是再次針對這兩個感興趣區域外的非感興趣區域減少壓縮的資料量,在此不設限。
關於感興趣區域的刪除:在決定好感興趣區域及非感興趣區域之後,電子裝置將繼續利用觸控螢幕偵測使用者的觸碰操作。當電子裝置所偵測到的觸碰操作為單一觸碰點,且此觸碰點的位置是由感興趣區域外劃入感興趣區域內再劃出感興趣區域時,電子裝置即會將原先決定的感興趣區域及非感興趣區域刪除。
關於感興趣區域的移動:在決定好感興趣區域及非感興趣區域之後,電子裝置即繼續利用觸控螢幕偵測使用者在感興趣區域內的觸碰操作。而當此觸碰操作為單一個觸碰點,且此觸碰點在感興趣區域內停留超過一預設時間後才移動時,電子裝置即會根據此觸碰點的位移來移動感興趣區域在視訊影像上的位置。在一實施例中,上述移動的感興趣區域例如可定義為不與另一個感興趣區域重疊,而避免重複。
關於感興趣區域的縮放:在決定好感興趣區域及非感興趣區域之後,電子裝置即繼續利用觸控螢幕偵測使用者在感興趣區域內的觸碰操作。而當此觸碰操作為兩個觸碰點,且這兩個觸碰點由原位置向內縮或向外擴時,電子裝置即根據這兩個觸碰點的位移,縮放感興趣區域的大小。簡言之,若使用者在觸控螢幕上使用兩指觸碰並拖曳向內的手勢,電子裝置即會依照此觸碰的位移大小,將感興趣區域的尺寸等比例縮小;若使用者在觸控螢幕上使用兩指觸碰並拖曳向外的手勢,電子裝置即會依照此觸碰的位移大小,將感興趣區域的尺寸等比例放大。對於三點觸碰所形成的圓形區域,例如是根據此觸碰的位移大小,增加或減少半徑的長度;對於四點觸碰所形成的方形區域,則例如是根據此觸碰的位移大小,增加或減少對角線的長度,在此不設限。
根據上述方式最終確定好感興趣區域及非感興趣區域之後,電子裝置將會調整對於此感興趣區域及非感興趣區域的壓縮方式,並用以對感興趣區域及非感興趣區域中的視訊影像進行壓縮(步驟S106)。其中,電子裝置例如是使用具有第一品質的第一壓縮方式壓縮感興趣區域的視訊影像,並使用具有第二品質的第二壓縮方式壓縮非感興趣區域的視訊影像,其中第一品質高於第二品質。
詳言之,視訊通話或視訊會議的重點一般在於畫面中的人物或前景,對於背景或其他區域而言,就相對顯得不重要。因此,本實施例即提供使用者藉由定義感興趣區域的方式,將其觀看的重點區域圈選出來,並針對此區域使用較高品質的壓縮方式進行壓縮,以維持此區域內影像的清晰度。相對地,對於感興趣區域以外的區域,則使用較低品質的壓縮方式進行壓縮,以有效減少視訊影像整體的資料量,使得該視訊影像的顯示得以在網路頻寬較窄的環境下仍維持一定的順暢度。
需說明的是,在影像壓縮的過程中,運動估測(motion estimation)的運算占了相當大的比重,這是因為在執行運動估測時,需要對整張影像進行相對應物件的搜尋,之後才能算出這些物件的運動向量,進而完成運動估測。據此,由於在前述步驟中,本實施例已經將視訊影像劃分為感興趣區域及非感興趣區域,因此對於這兩個區域的運動估測而言,其搜尋範圍也可限縮到僅針對感興趣區域內視訊影像的多張畫面或是僅針對非感興趣區域內視訊影像的多張畫面。藉此,即可大幅減少電子裝置執行運動估測的運算量,進而提高系統效能。
上述的方法係針對電子裝置上顯示的視訊影像進行分析調整,並據以壓縮視訊影像。此壓縮後的視訊影像可接著透過網路傳送至通話的另一方,以顯示於另一方使用者的面前。然而,在另一實施例中,電子裝置還可在使用者決定好感興趣區域後,直接將此感興趣區域的位置資訊告知遠端裝置,進而控制遠端裝置執行感興趣區域及非感興趣區域內視訊影像的壓縮動作,而提供壓縮後的視訊影像給電子裝置。以下則再舉一實施例詳細說明。
圖4是依據本發明一實施例所繪示之利用手勢調整視訊影像壓縮的方法。請參照圖4,本實施例之方法適用於包括有觸控螢幕的電子裝置,其例如是透過網路與遠端裝置連接,而可將遠端裝置傳送而來的視訊影像顯示在其觸控螢幕上,其步驟如下:首先,由電子裝置從遠端裝置接收視訊影像,並顯示在其觸控螢幕上(步驟S402)。接著,電子裝置利用觸控螢幕偵測使用者在視訊影像上執行的觸碰操作,並依據此觸碰操作決定感興趣區域及非感興趣區域(步驟S404)。上述決定感興趣區域及非感興趣區域的方式係與前述實施例中的步驟S104相同或相似,故其詳細內容在此不再贅述。
與前述實施例不同的是,在本實施例中,每當電子裝置決定好感興趣區域及非感興趣區域之後,例如會將此感興趣區域及非感興趣區域轉換為位置資訊,而傳送至遠端裝置(步驟S406)。此位置資訊例如是感興趣區域之端點座標的集合,在此不設限。
當遠端裝置接收到上述的位置資訊之後,即可根據此位置資訊還原出感興趣區域及非感興趣區域,並據以調整其對於感興趣區域及非感興趣區域的壓縮方式,而用以對感興趣區域及非感興趣區域中的視訊影像進行壓縮(步驟S408)。
最後,由遠端裝置將壓縮後的感興趣區域及非感興趣區域的視訊影像傳送至電子裝置(步驟S410),而由電子裝置解壓縮並顯示感興趣區域及非感興趣區域的視訊影像(步驟S412)。
藉由上述方法,可有效減少遠端裝置傳送給電子裝置之視訊影像整體的資料量,進而使得電子裝置上視訊影像的顯示得以在網路頻寬較窄的環境下仍維持一定的順暢度。
需說明的是,在另一實施例中,本發明的電子裝置還可根據使用者對於觸控螢幕的觸按壓力,而決定以漸層的方式定義感興趣區域至非感興趣區域中視訊影像的壓縮品質,避免感興趣區域至非感興趣區域之間的差別過於明顯。以下再舉一實施例詳細說明。
圖5是依據本發明一實施例所繪示之利用手勢調整視訊影像壓縮的方法。請參照圖5,本實施例之方法適用於包括有觸控螢幕的電子裝置,適於根據使用者的手勢,以漸層的方式壓縮在其觸控螢幕上顯示的視訊影像,其步驟如下:首先,由電子裝置從遠端裝置接收視訊影像,並顯示在其觸控螢幕上(步驟S502)。接著,電子裝置利用觸控螢幕偵測使用者在視訊影像上執行的觸碰操作,並依據此觸碰操作決定感興趣區域及非感興趣區域(步驟S504)。上述決定感興趣區域及非感興趣區域的方式係與前述實施例中的步驟S104相同或相似,故其詳細內容在此不再贅述。
與前述實施例不同的是,在本實施例中,當電子裝置決定好感興趣區域及非感興趣區域之後,仍利用觸控螢幕繼續偵測觸碰操作的變化(步驟S506),而當此觸碰操作所包括的多個觸碰點由原位置向內縮或向外擴時,偵測各個觸碰點的觸按壓力(步驟S508),然後再根據所偵測觸碰點的觸按壓力,以漸層的方式定義感興趣區域至非感興趣區域的壓縮方式,使得所壓縮之視訊影像的壓縮品質,由感興趣區域至非感興趣區域逐步增加或逐步減少(步驟S510)。
詳言之,觸控螢幕上每個觸碰點的電容值例如會隨著觸按壓力大小或觸按表面積的增加而增強。本實施例之電子裝置即根據觸控螢幕所偵測各個觸碰點的電容值判斷使用者手指往外撥或往內縮的觸按壓力,並據此以漸層的方式調整感興趣區域至非感興趣區域的壓縮方式,使得視訊影像的壓縮品質會從感興趣區域至非感興趣區域逐步增加或逐步減少,進而減少兩個區域的影像差異,讓視訊影像整體看來不致過於突兀。
其中,對於感興趣區域內的每個宏區塊(Macroblock,MB),電子裝置例如會根據其在時間上相鄰的宏區塊上偵測到的觸按壓力大小,增減其量化參數(Quantization parameter,QP)值,使得參考畫面ref之宏區塊的QP值QP(ref)與目前畫面i之宏區塊的QP值QP(i)之間具有下列關係:
QP(i)=QP(ref)+sign(Φ-thr)×ΔQ
其中,ΔQ為預先定義的單位量化參數,φ為所偵測到的觸按壓力值,thr為預先定義的觸按壓力門檻值。
此外,電子裝置例如會根據其在空間上相鄰的宏區塊上偵測到的觸按壓力大小,增減其量化參數(Quantization parameter,QP)值,使得目前畫面之宏區塊i的QP值QP(i)之與其相鄰的宏區塊j的QP值QP(j)之間具有下列關係:
QP(i)=QP(j)+sign(Φ-thr)×ΔQ
其中,ΔQ為預先定義的單位量化參數,φ為所偵測到的觸按壓力值,thr為預先定義的觸按壓力門檻值。
舉例來說,圖6是依據本發明一實施例所繪示之相鄰宏區塊的示意圖。由圖6可知,宏區塊i的相鄰宏區塊包括宏區塊i-w-1、宏區塊i-w、宏區塊i-w+1、宏區塊i-1、宏區塊i+1、宏區塊i+w-1、宏區塊i+w、宏區塊i+w+1。本實施例即根據電子裝置在這些宏區塊上偵測到的觸按壓力大小,增減其量化參數值,並使得這些宏區塊之間的QP值差值不超過單位QP值ΔQ。
需說明的是,上述實施例係以量化參數做為電子裝置的調整對象,然而在其他實施例中,電子裝置也可是調整位元傳輸率(Bit rate),或是同時調整量化參數值與位元傳輸率,在此不設限。
綜上所述,本發明之利用手勢調整視訊影像壓縮的方法藉由使用者在觸控螢幕上觸碰的手勢決定使用者感興趣的區域,進而針對感興趣區域及非感興趣區域的視訊影像,使用不同的壓縮方式進行壓縮,因此可有效減少視訊影像傳輸的資料量,而維持視訊影像播放的流暢度。此外,本發明更搭配不同的手勢增、刪、移動、縮放感興趣區域,以及根據手勢的觸按壓力以漸層方式決定感興趣區域至非感興趣區域的影像品質,而可在減少傳輸資料量的前提下,提供使用者較佳的視覺感受。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
20、30...電子裝置
21、31...手指
22、32...觸控螢幕
23...圓形區域
33...方形區域
A、B、C、D、A’、B’、C’、D’...觸碰點
S102~S106...本發明一實施例之利用手勢調整視訊影像壓縮的方法步驟
S402~S412...本發明一實施例之利用手勢調整視訊影像壓縮的方法步驟
S502~S510...本發明一實施例之利用手勢調整視訊影像壓縮的方法步驟
圖1是依據本發明一實施例所繪示之利用手勢調整視訊影像壓縮的方法。
圖2A及圖2B是依據本發明一實施例所繪示之利用手勢調整視訊影像壓縮的方法。
圖3A及圖3B是依據本發明一實施例所繪示之利用手勢調整視訊影像壓縮的方法。
圖4是依據本發明一實施例所繪示之利用手勢調整視訊影像壓縮的方法。
圖5是依據本發明一實施例所繪示之利用手勢調整視訊影像壓縮的方法。
圖6是依據本發明一實施例所繪示之相鄰宏區塊的示意圖。
S102~S106...本發明利用手勢調整視訊影像壓縮的方法步驟
Claims (15)
- 一種利用手勢調整視訊影像壓縮的方法,適於壓縮由一電子裝置顯示的一視訊影像,該電子裝置具有一觸控螢幕,該方法包括下列步驟:顯示該視訊影像於該觸控螢幕;利用該觸控螢幕偵測在該視訊影像上執行的一第一觸碰操作,並依據該第一觸碰操作決定一感興趣區域及一非感興趣區域;以及調整對於該感興趣區域及該非感興趣區域的一壓縮方式,並用以壓縮該感興趣區域及該非感興趣區域中的該視訊影像。
- 如申請專利範圍第1項所述之利用手勢調整視訊影像壓縮的方法,其中在顯示該視訊影像的步驟之前,更包括:接收由該電子裝置之一影像擷取裝置所擷取的該視訊影像,或是由一遠端裝置所傳送而來的該視訊影像。
- 如申請專利範圍第2項所述之利用手勢調整視訊影像壓縮的方法,其中在依據該第一觸碰操作決定該感興趣區域及該非感興趣區域的步驟之後,更包括:傳送該感興趣區域及該非感興趣區域的一位置資訊至該遠端裝置;由該遠端裝置根據該位置資訊調整對於該感興趣區域及該非感興趣區域的一壓縮方式,並用以壓縮該感興趣區域及該非感興趣區域中的視訊影像;以及由該遠端裝置傳送壓縮後的該感興趣區域及該非感興趣區域的視訊影像至該電子裝置。
- 如申請專利範圍第1項所述之利用手勢調整視訊影像壓縮的方法,其中依據該第一觸碰操作決定該感興趣區域及該非感興趣區域的步驟包括:當該第一觸碰操作包括三個觸碰點時,利用該三個觸碰點決定一圓形區域,並以該圓形區域劃分該視訊影像為該感興趣區域及該非感興趣區域,其中該圓形區域的範圍涵蓋該三個觸碰點。
- 如申請專利範圍第4項所述之利用手勢調整視訊影像壓縮的方法,其中以該圓形區域劃分該視訊影像為該感興趣區域及該非感興趣區域的步驟包括:當該三個觸碰點由原位置向內縮或向外擴時,決定以該圓形區域內的視訊影像做為該感興趣區域並以該圓形區域外的視訊影像做為該非感興趣區域,或是以該圓形區域外的視訊影像做為該感興趣區域並以該圓形區域內的視訊影像做為該非感興趣區域。
- 如申請專利範圍第1項所述之利用手勢調整視訊影像壓縮的方法,其中依據該第一觸碰操作決定該感興趣區域及該非感興趣區域的步驟包括:當該第一觸碰操作包括四個觸碰點時,利用該四個觸碰點決定一四邊形區域,並以該四邊形區域劃分該視訊影像為該感興趣區域及該非感興趣區域。
- 如申請專利範圍第6項所述之利用手勢調整視訊影像壓縮的方法,其中以該方形區域劃分該視訊影像為該感興趣區域及該非感興趣區域的步驟包括:當該四個觸碰點由原位置向內縮或向外擴時,決定以該方形區域內的視訊影像做為該感興趣區域並以該四邊形區域外的視訊影像做為該非感興趣區域,或是以該四邊形區域外的視訊影像做為該感興趣區域並以該四邊形區域內的視訊影像做為該非感興趣區域。
- 如申請專利範圍第1項所述之利用手勢調整視訊影像壓縮的方法,其中在決定該感興趣區域及該非感興趣區域的步驟之後,更包括:偵測在該感興趣區域內的一第二觸碰操作;以及當該第二觸碰操作為單一觸碰點,且該觸碰點在該感興趣區域內停留超過一預設時間後移動時,根據該觸碰點的位移移動該感興趣區域在該視訊影像上的位置。
- 如申請專利範圍第1項所述之利用手勢調整視訊影像壓縮的方法,其中在決定該感興趣區域及該非感興趣區域的步驟之後,更包括:偵測在該感興趣區域內的一第三觸碰操作;以及當該第三觸碰操作為兩個觸碰點,且該兩個觸碰點由原位置向內縮或向外擴時,根據該兩個觸碰點的位移縮放該感興趣區域的大小。
- 如申請專利範圍第1項所述之利用手勢調整視訊影像壓縮的方法,其中在決定該感興趣區域及該非感興趣區域的步驟之後,更包括:偵測一第四觸碰操作;以及當該第四觸碰操作為單一觸碰點,且該觸碰點由該感興趣區域外劃入該感興趣區域內再劃出該感興趣區域時,刪除所決定的該感興趣區域及該非感興趣區域。
- 如申請專利範圍第1項所述之利用手勢調整視訊影像壓縮的方法,其中調整對於該感興趣區域及該非感興趣區域的該壓縮方式,並用以壓縮該感興趣區域及該非感興趣區域中的該視訊影像的步驟包括:使用具有一第一品質的一第一壓縮方式壓縮該感興趣區域的該視訊影像;以及使用具有一第二品質的一第二壓縮方式壓縮該非感興趣區域的該視訊影像,其中該第一品質高於該第二品質。
- 如申請專利範圍第11項所述之利用手勢調整視訊影像壓縮的方法,其中在使用該第一壓縮方式壓縮該感興趣區域的該視訊影像時,僅針對該感興趣區域內的該視訊影像的多張畫面執行一運動估測,以及在使用該第二壓縮方式壓縮該非感興趣區域的該視訊影像時,僅針對該非感興趣區域內的該視訊影像的多張畫面執行該運動估測。
- 如申請專利範圍第1項所述之利用手勢調整視訊影像壓縮的方法,其中調整對於該感興趣區域及該非感興趣區域的該壓縮方式的步驟更包括:當該第一觸碰操作所包括的多個觸碰點由原位置向內縮或向外擴時,偵測各該些觸碰點的一觸按壓力;以及根據該些觸碰點的該觸按壓力,以漸層的方式定義該感興趣區域至該非感興趣區域的該壓縮方式,使得所壓縮之該視訊影像的一壓縮品質,由感興趣區域至該非感興趣區域逐步增加或逐步減少。
- 如申請專利範圍第13項所述之利用手勢調整視訊影像壓縮的方法,其中在該感興趣區域內的該視訊影像的多張畫面中,在時間上或空間上相鄰的多個宏區塊之間的該壓縮品質的差值不超過一個單位量化值。
- 如申請專利範圍第13項所述之利用手勢調整視訊影像壓縮的方法,其中該壓縮品質包括量化參數(Quantization parameter,QP)值與位元傳輸率(Bit rate)其一或兩者。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW100137707A TWI488487B (zh) | 2011-10-18 | 2011-10-18 | 利用手勢調整視訊影像壓縮的方法 |
US13/425,423 US20130094593A1 (en) | 2011-10-18 | 2012-03-21 | Method for adjusting video image compression using gesture |
EP12161061.2A EP2584451A3 (en) | 2011-10-18 | 2012-03-23 | Method for adjusting video image compression using gesture |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW100137707A TWI488487B (zh) | 2011-10-18 | 2011-10-18 | 利用手勢調整視訊影像壓縮的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201318433A true TW201318433A (zh) | 2013-05-01 |
TWI488487B TWI488487B (zh) | 2015-06-11 |
Family
ID=46027574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW100137707A TWI488487B (zh) | 2011-10-18 | 2011-10-18 | 利用手勢調整視訊影像壓縮的方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130094593A1 (zh) |
EP (1) | EP2584451A3 (zh) |
TW (1) | TWI488487B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140075068A (ko) * | 2012-12-10 | 2014-06-19 | 한국전자통신연구원 | 화상 통화 영상 변조 장치 및 그 방법 |
CN103942001B (zh) * | 2014-05-12 | 2017-02-15 | 上海卓悠网络科技有限公司 | 一种移动终端的自由截屏方法和移动终端 |
US10824315B2 (en) * | 2015-05-29 | 2020-11-03 | Canon Medical Systems Corporation | Medical image processing apparatus, magnetic resonance imaging apparatus and medical image processing method |
US10235129B1 (en) | 2015-06-29 | 2019-03-19 | Amazon Technologies, Inc. | Joining users to communications via voice commands |
JP6669087B2 (ja) * | 2017-01-27 | 2020-03-18 | 京セラドキュメントソリューションズ株式会社 | 表示装置 |
US20220224918A1 (en) * | 2019-05-29 | 2022-07-14 | Sumitomo Electric Industries, Ltd. | Video transport system, video transmission device, video reception device, video distribution method, video transmission method, video reception method, and non-transitory computer readable recording medium |
CN112995488B (zh) * | 2019-12-12 | 2023-04-18 | 深圳富泰宏精密工业有限公司 | 高解析度视频图像处理方法、装置及电子设备 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9292111B2 (en) * | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
US6610917B2 (en) * | 1998-05-15 | 2003-08-26 | Lester F. Ludwig | Activity indication, external source, and processing loop provisions for driven vibrating-element environments |
GB9928682D0 (en) * | 1999-12-06 | 2000-02-02 | Electrotextiles Comp Ltd | Input apparatus and a method of generating control signals |
JP4218446B2 (ja) * | 2003-07-03 | 2009-02-04 | 株式会社ニコン | 電子カメラ |
CN101820537B (zh) * | 2004-04-23 | 2013-04-03 | 住友电气工业株式会社 | 活动图像数据的编码方法、终端装置以及双向对话型系统 |
US8768084B2 (en) * | 2005-03-01 | 2014-07-01 | Qualcomm Incorporated | Region-of-interest coding in video telephony using RHO domain bit allocation |
US7876978B2 (en) * | 2005-10-13 | 2011-01-25 | Penthera Technologies, Inc. | Regions of interest in video frames |
US7538760B2 (en) * | 2006-03-30 | 2009-05-26 | Apple Inc. | Force imaging input device and system |
US8259208B2 (en) * | 2008-04-15 | 2012-09-04 | Sony Corporation | Method and apparatus for performing touch-based adjustments within imaging devices |
US8604364B2 (en) * | 2008-08-15 | 2013-12-10 | Lester F. Ludwig | Sensors, algorithms and applications for a high dimensional touchpad |
US9113169B2 (en) * | 2009-05-07 | 2015-08-18 | Qualcomm Incorporated | Video encoding with temporally constrained spatial dependency for localized decoding |
US8724707B2 (en) * | 2009-05-07 | 2014-05-13 | Qualcomm Incorporated | Video decoding using temporally constrained spatial dependency |
US8232990B2 (en) * | 2010-01-05 | 2012-07-31 | Apple Inc. | Working with 3D objects |
US20110235706A1 (en) * | 2010-03-25 | 2011-09-29 | Texas Instruments Incorporated | Region of interest (roi) video encoding |
US8732579B2 (en) * | 2011-09-23 | 2014-05-20 | Klip, Inc. | Rapid preview of remote video content |
-
2011
- 2011-10-18 TW TW100137707A patent/TWI488487B/zh active
-
2012
- 2012-03-21 US US13/425,423 patent/US20130094593A1/en not_active Abandoned
- 2012-03-23 EP EP12161061.2A patent/EP2584451A3/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
US20130094593A1 (en) | 2013-04-18 |
EP2584451A3 (en) | 2016-12-14 |
TWI488487B (zh) | 2015-06-11 |
EP2584451A2 (en) | 2013-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI488487B (zh) | 利用手勢調整視訊影像壓縮的方法 | |
US10404921B2 (en) | Zoom input and camera information | |
US9767584B2 (en) | Method and device for synthesizing image | |
KR101690786B1 (ko) | 멀티태스킹 수행 장치 및 방법 | |
US8723988B2 (en) | Using a touch sensitive display to control magnification and capture of digital images by an electronic device | |
KR101893275B1 (ko) | 프리뷰 인터페이스 선택 영역의 줌인 방법 및 장치 | |
JP6523706B2 (ja) | ディスプレイ装置、モバイル装置、これらを含むシステム及びその画質マッチング方法 | |
US10241660B2 (en) | Display control apparatus, method for controlling the same, and storage medium | |
KR20100028344A (ko) | 휴대단말의 영상 편집 방법 및 장치 | |
JP5923021B2 (ja) | 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム | |
WO2021115279A1 (zh) | 图片显示方法及电子设备 | |
CN106254784A (zh) | 一种视频处理的方法及装置 | |
KR20140092211A (ko) | 미디어 컨텐츠 재생 중에 가상 카메라 기능을 수행하는 방법 및 장치 | |
CN107148776B (zh) | 获取视频数据的方法、装置、系统及计算机可读存储介质 | |
CN103096045B (zh) | 利用手势调整视频影像压缩的方法 | |
WO2018194954A1 (en) | System, algorithms, and designs of view-optimized zoom for 360 degree video | |
CN109542307B (zh) | 一种图像处理方法、设备和计算机可读存储介质 | |
WO2018040425A1 (zh) | 图标显示方法及系统 | |
CN107547913B (zh) | 视频数据播放和处理方法、客户端及设备 | |
US9519709B2 (en) | Determination of an ordered set of separate videos | |
US9204052B2 (en) | Method and apparatus for transitioning capture mode | |
CN105975165B (zh) | 一种鱼眼菜单的显示控制方法 | |
CN113438480B (zh) | 判断视频场景切换的方法、装置及存储介质 | |
KR100617797B1 (ko) | 휴대단말기에서 멀티미디어 데이터를 오버레이 표시하는 장치 및 방법 | |
CN117651141A (zh) | 一种处理方法和电子设备 |