TW202240527A - 選擇性運動補償訊框內插 - Google Patents

選擇性運動補償訊框內插 Download PDF

Info

Publication number
TW202240527A
TW202240527A TW111107928A TW111107928A TW202240527A TW 202240527 A TW202240527 A TW 202240527A TW 111107928 A TW111107928 A TW 111107928A TW 111107928 A TW111107928 A TW 111107928A TW 202240527 A TW202240527 A TW 202240527A
Authority
TW
Taiwan
Prior art keywords
frame
motion
interpolation
interpolation factor
metric
Prior art date
Application number
TW111107928A
Other languages
English (en)
Inventor
阿里雷薩 肖海薩尼拉許丹
阿霞 爾沙地
達倫 卡納巴加桑
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202240527A publication Critical patent/TW202240527A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

一種設備包括一或多個處理器,其被配置為執行指令以進行以下操作:獲得運動資料,該運動資料指示圖像訊框的輸入序列的第一訊框和第二訊框之間的估計運動;及基於運動資料來辨識第一訊框的指示大於運動閾值的運動的任何訊框區域。一或多個處理器亦被配置為:基於運動資料來決定與所辨識的訊框區域相關聯的運動度量;及基於運動度量和與所辨識的訊框區域相關聯的大小度量來執行關於是否使用運動補償訊框內插來產生中間訊框的決定。一或多個處理器亦被配置為:基於該決定來產生中間訊框;及產生在第一訊框和第二訊框之間包括中間訊框的圖像訊框的輸出序列。

Description

選擇性運動補償訊框內插
概括而言,本案內容係關於選擇性運動補償訊框內插。
技術的進步已經導致更小且更強大的計算設備。例如,當前存在各種各樣的可攜式個人計算設備,包括小型、羽量級以及容易由使用者攜帶的無線電話(諸如行動和智慧型電話、平板設備和膝上型電腦)。該等設備可以在無線網路上傳送語音和資料封包。此外,許多此種設備併入了額外的功能,諸如數位照相機、數位攝像機、數位記錄器和音訊檔案播放機。此外,此種設備可以處理可執行指令,包括可以用以存取網際網路的軟體應用程式(諸如網頁瀏覽器應用程式)。照此,該等設備可以包括關鍵的計算能力。
此種計算設備通常合併有播放視訊串流的功能。例如,視訊串流可以表示從另一設備接收(例如,下載)的視訊內容。為滿足傳輸頻寬限制而降低視訊的訊框速率可能導致重播品質差,諸如信號干擾增加。在重播設備處使用運動補償訊框內插來提高視訊短片的訊框速率,以用於更平滑的重播。然而,訊框內插是計算密集型的,並且功耗可能是高的。在較小的螢幕(諸如行動設備)上,對於具有相對少的運動的場景,可能無法感知由訊框內插導致的增加的重播平滑度。
根據本案內容的一種實現,一種設備包括記憶體和一或多個處理器。該記憶體被配置為儲存指令。該一或多個處理器被配置為執行該等指令以獲得運動資料,該運動資料指示圖像訊框的輸入序列的第一訊框和第二訊框之間的估計運動。該一或多個處理器亦被配置為執行該等指令,以基於該運動資料來辨識該第一訊框的指示大於運動閾值的運動的任何訊框區域。該一或多個處理器亦被配置為執行該等指令,以基於該運動資料來決定與所辨識的訊框區域相關聯的運動度量。該一或多個處理器亦被配置為執行該等指令,以基於該運動度量和與所辨識的訊框區域相關聯的大小度量來執行關於是否使用運動補償訊框內插來產生中間訊框的決定。該一或多個處理器亦被配置為執行該等指令,以基於該決定來產生該中間訊框,以及產生在該第一訊框和該第二訊框之間包括該中間訊框的圖像訊框的輸出序列。
根據本案內容的另一實現,一種方法包括以下步驟:在設備處獲得運動資料,該運動資料指示圖像訊框的輸入序列的第一訊框和第二訊框之間的估計運動。該方法亦包括以下步驟:基於該運動資料來辨識該第一訊框的指示大於運動閾值的運動的任何訊框區域。該方法亦包括以下步驟:基於該運動資料來決定與所辨識的訊框區域相關聯的運動度量。該方法亦包括以下步驟:基於該運動度量和與所辨識的訊框區域相關聯的大小度量來執行關於是否使用運動補償訊框內插來產生中間訊框的決定。該方法亦包括以下步驟:在該設備處基於該決定來產生該中間訊框。該方法亦包括以下步驟:在該設備處產生在該第一訊框和該第二訊框之間包括該中間訊框的圖像訊框的輸出序列。
根據本案內容的另一實現,一種非暫時性電腦可讀取媒體包括指令,該等指令在由一或多個處理器執行時,使得該一或多個處理器進行以下操作:獲得運動資料,該運動資料指示圖像訊框的輸入序列的第一訊框和第二訊框之間的估計運動。該等指令在由一或多個處理器執行時,亦使得該一或多個處理器進行以下操作:基於該運動資料來辨識該第一訊框的指示大於運動閾值的運動的任何訊框區域。該等指令在由一或多個處理器執行時,亦使得該一或多個處理器進行以下操作:基於該運動資料來決定與所辨識的訊框區域相關聯的運動度量。該等指令在由一或多個處理器執行時,亦使得該一或多個處理器進行以下操作:基於該運動度量和與所辨識的訊框區域相關聯的大小度量來執行關於是否使用運動補償訊框內插來產生中間訊框的決定。該等指令在由一或多個處理器執行時,亦使得該一或多個處理器進行以下操作:基於該決定來產生該中間訊框。該等指令在由一或多個處理器執行時,亦使得該一或多個處理器進行以下操作:產生在該第一訊框和該第二訊框之間包括該中間訊框的圖像訊框的輸出序列。
根據本案內容的另一實現,一種裝置包括:用於獲得運動資料的構件,該運動資料指示圖像訊框的輸入序列的第一訊框和第二訊框之間的估計運動。該裝置亦包括:用於基於該運動資料來辨識該第一訊框的指示大於運動閾值的運動的任何訊框區域的構件。該裝置亦包括:用於基於該運動資料來決定與所辨識的訊框區域相關聯的運動度量的構件。該裝置亦包括:用於基於該運動度量和與所辨識的訊框區域相關聯的大小度量來執行關於是否使用運動補償訊框內插來產生中間訊框的決定的構件。該裝置亦包括:用於基於該決定來產生該中間訊框的構件。該裝置亦包括:用於產生在該第一訊框和該第二訊框之間包括該中間訊框的圖像訊框的輸出序列的構件。
在回顧整個申請案(包括以下章節:附圖說明、具體實施方式和申請專利範圍)之後,本案內容的其他態樣、優勢和特徵將變得顯而易見。
運動補償訊框內插用於提高視訊短片的訊框速率,以用於更平滑的重播。例如,經由在每對原始訊框之間插入運動補償內插訊框,視訊串流的訊框速率從30訊框每秒(fps)增加到60 fps。在全內插中,運動補償內插訊框表示在一對原始訊框之間圖示的運動的一半。例如,若物件在第一原始訊框和第二原始訊框之間向右移位50個圖元,則物件在第一原始訊框和內插訊框之間向右移位25個圖元,並且在內插訊框和第二原始訊框之間向右移位25個圖元。此舉導致針對包含運動的場景的更平滑的重播。然而,訊框內插是計算密集型的,並且功耗可能是高的。在較小的螢幕(諸如行動設備)上,對於具有相對少的運動的場景,可能無法感知由訊框內插導致的增加的重播平滑度。
揭示執行選擇性運動補償訊框內插的系統和方法。例如,訊框速率調節器接收輸入訊框序列,並且基於輸入訊框序列來產生輸出訊框序列。與輸入訊框序列相比,輸出訊框序列具有更高的訊框速率。例如,訊框速率調節器將一或多個中間訊框添加到輸入訊框序列以產生輸出訊框序列。舉例說明,輸入訊框序列包括第一訊框,在第一訊框之後跟隨有第二訊框。輸出訊框序列在第一訊框和第二訊框之間包括中間訊框。
訊框速率調節器執行運動補償內插或訊框複製以產生中間訊框。例如,訊框速率調節器產生指示在第一訊框和第二訊框之間偵測到的運動的運動向量。訊框速率調節器決定第一訊框的與大於閾值運動相對應的區域的運動度量(例如,平均運動)和大小度量(例如,訊框百分比)。訊框速率調節器基於運動度量和大小度量來決定是否進行運動補償訊框內插。例如,當第一訊框的較大百分比對應於較高運動時,訊框調節器執行運動補償訊框內插以產生中間訊框。或者,當第一訊框對應於較低運動時或當第一訊框的較小百分比對應於較高運動時,訊框調節器執行訊框複製以產生中間訊框。
下文參考附圖描述了本案內容的特定態樣。在該描述中,共同的特徵經由共同的元件符號來指定。如本文所使用的,各種術語僅用於描述特定實現的目的,而不意欲限制實現。例如,單數形式的「一(a)」、「一(an)」和「該(the)」意欲亦包括複數形式,除非上下文另外明確地指出。此外,本文描述的一些特徵在一些實現中是單數,而在其他實現中是複數。舉例說明,圖1圖示了包括一或多個處理器(圖1的「處理器」190)的設備102,此舉指示在一些實現中,設備102包括單個處理器190,而在其他實現中,設備102包括多個處理器190。
如本文所使用的,術語「包括(comprise)」、「包括(comprises)」和「包括(comprising)」可以與「包括(include)」、「包括(includes)」和「包括(including)」互換地使用。另外,術語「其中(wherein)」可以與「其中(where)」互換地使用。如本文所使用的,「示例性的」指示實例、實現及/或態樣,而不應當被解釋為限制或指示較佳項或較佳實現。如本文所使用的,用於修飾諸如結構、元件、操作等的元素的序數詞(例如,「第一」、「第二」、「第三」等)本身不指示該元素相對於另一個元素的任何優先順序或次序,而僅是將該元素與具有相同名稱(但是沒有使用序數詞)的另一元素區分開。如本文所使用的,術語「集合」代表特定元素的一者或多者,以及術語「複數個」代表特定元素的多者(例如,兩個或更多個)。
如本文所使用的,「耦合」可以包括「通訊地耦合」、「電耦合」或「實體地耦合」,以及亦可以(或替代地)包括其任何組合。兩個設備(或元件)可以經由一或多個其他設備、元件、導線、匯流排、網路(例如,有線網路、無線網路或其組合)等直接地或間接地耦合(例如,通訊地耦合、電耦合或實體地耦合)。作為說明性的非限制性實例,被電耦合的兩個設備(或元件)可以被包括在相同設備中或不同設備中,以及可以經由電子裝置、一或多個連接器或感應耦合進行連接。在一些實現中,被通訊地耦合(諸如進行電子通訊)的兩個設備(或元件)可以直接地或間接地(經由一或多個導線、匯流排、網路等)發送和接收信號(例如,數位信號或類比信號)。如本文所使用的,「直接地耦合」可以包括在沒有中間元件的情況下耦合(例如,通訊地耦合、電耦合或實體地耦合)的兩個設備。
在本案內容中,諸如「決定」、「計算」、「估計」、「移位」、「調節」等的術語可以用於描述如何執行一或多個操作。應當注意的是,此種術語不應被解釋為限制性的,以及可以利用其他技術來執行類似的操作。另外,如本文所引用的,「產生」、「計算」、「估計」、「使用」、「選擇」、「存取」和「決定」可以互換地使用。例如,「產生」、「計算」、「估計」或「決定」參數(或信號)可以代表主動地產生、估計、計算或決定參數(或信號),或者可以代表使用、選擇或存取已經諸如由另一元件或設備產生的參數(或信號)。
參考圖1,揭示被配置為執行選擇性運動補償訊框內插的系統的特定說明性態樣,並且將其整體上指定為100。系統100包括耦合到顯示設備106的設備102。設備102被配置為使用訊框速率調節器140來執行選擇性運動補償訊框內插。
設備102包括耦合到記憶體132和數據機170的一或多個處理器190。一或多個處理器190包括訊框速率調節器140。記憶體132被配置為儲存指令196。一或多個處理器190被配置為執行指令196以執行本文描述的一或多個操作。數據機170被配置為實現與一或多個第二設備的通訊,例如,接收一或多個訊框101(例如,視訊訊框、照片連拍或其組合)的訊框序列180。在特定態樣中,設備102耦合到顯示設備106。作為說明性實例,顯示設備106被描述為在設備102的外部。在一些實例中,顯示設備106整合在設備102中。
訊框速率調節器140被配置為接收訊框序列180並且輸出訊框序列192。與訊框序列180相比,訊框序列192具有更高的訊框速率(例如,每秒更多訊框)。例如,訊框序列192包括訊框序列180的一或多個訊框101,並且亦包括散佈在一或多個訊框101之間的一或多個中間訊框191。舉例說明,一或多個訊框101包括訊框101A,之後是訊框101B,之後是訊框101C。訊框速率調節器140被配置為基於訊框101A和訊框101B來產生中間訊框191A,並且像在訊框序列192中一般在訊框101A和訊框101B之間輸出中間訊框191A。在特定實現中,訊框序列192在一或多個訊框101的每對連續訊框之間包括中間訊框191。例如,訊框序列192在訊框101A和訊框101B之間包括中間訊框191A以及在訊框101B和訊框101C之間包括中間訊框191B。在替代實現中,訊框序列192在一或多個訊框101的至少一對連續訊框之間包括一或多個中間訊框191。
在一些實現中,設備102對應於一或多個類型的設備或被包括在一或多個類型的設備中。在說明性實例中,一或多個處理器190整合在如參考圖7描述的行動電話或平板電腦設備、如參考圖8描述的可穿戴電子設備或如參考圖9描述的虛擬實境耳機或增強現實耳機中的至少一者中。在另一說明性實例中,一或多個處理器190整合到車輛中,諸如參考圖10和圖11進一步描述的。
在操作期間,訊框速率調節器140接收一或多個訊框101(例如,視訊訊框)的訊框序列180。例如,訊框速率調節器140接收訊框序列180的訊框101A和訊框101B。在特定實現中,訊框速率調節器140從數據機170、記憶體132、第二設備(例如,儲存設備)或其組合接收訊框序列180。
在特定態樣中,訊框速率調節器140獲得指示訊框101A和訊框101B之間的估計運動的運動資料(例如,運動向量)。在實例150中,運動資料指示訊框101A的區域A、B和C中的每一者對應於第一水平運動(例如,向右1個圖元區塊)和第一垂直運動(例如,向下2個圖元區塊),區域D對應於無水平運動和第二垂直運動(例如,向下1個圖元區塊),並且訊框101A的區域X對應於無運動(例如,訊框101A和訊框101B中的每一者中的相同位置)。
在特定態樣中,訊框101A的區域之每一者區域具有相同的大小。在替代態樣中,一或多個訊框101的區域中的至少一個區域具有與訊框101A的另一區域不同的大小。在特定態樣中,訊框101A的一或多個區域的尺寸是基於預設資料、配置設置、使用者輸入或其組合的。在特定態樣中,訊框101A的一或多個區域是正方形、矩形、橢圓形、不規則形狀或其組合。在特定態樣中,訊框101A的區域是不重疊的。在替代態樣中,訊框101A的區域至少部分地重疊。在特定態樣中,圖元區塊是與訊框101A的區域相同的大小、相同的形狀或兩者。在特定態樣中,圖元區塊是與訊框101A的區域不同的大小、不同的形狀或兩者。在特定態樣中,圖元區塊的大小、形狀或兩者是基於預設資料、配置設置、使用者輸入或其組合的。在特定態樣中,圖元區塊包括訊框101A的一或多個圖元。
訊框速率調節器140決定訊框101A的區域(例如,訊框區域)的一或多個區域運動度量(RMM)117。例如,訊框速率調節器140基於訊框101A的區域之每一者區域的水平運動和垂直運動來決定該區域的區域運動度量117(例如,區域運動度量117=
Figure 02_image001
)。
在實例150中,訊框速率調節器140決定指示無運動的區域X的區域運動度量117A(例如,0)。訊框速率調節器140決定區域A、B和C中的每一者的區域運動度量117B(例如,
Figure 02_image003
=2.2)。訊框速率調節器140決定區域D的區域運動度量117C(例如,
Figure 02_image005
=1)。
訊框速率調節器140基於運動資料(例如,一或多個區域運動度量117)來辨識訊框101A的指示大於運動閾值111(例如,2)的運動的任何訊框區域。在特定態樣中,運動閾值111對應於預設資料、配置設置、使用者輸入或其組合。在實例150中,訊框速率調節器140回應於決定區域A、B和C中的每一者具有大於運動閾值111(例如,2)的區域運動度量117B(例如,2.2),將區域A、B和C辨識為對應於大於運動閾值111的運動。訊框速率調節器140回應於決定區域X具有小於或等於運動閾值111(例如,2)的區域運動度量117A(例如,0)並且區域D具有小於或等於運動閾值111的區域運動度量117C(例如,1),將區域X和區域D辨識為對應於小於或等於運動閾值111的運動。
在特定態樣中,訊框速率調節器140回應於決定訊框101A的區域中沒有一個區域對應於大於運動閾值111的運動,將運動度量115設置為第一運動度量值(例如,0)並且將大小度量113設置為第一大小度量值(例如,0%)。或者,訊框速率調節器140回應於辨識訊框101A的一或多個區域指示大於運動閾值111的運動,基於所辨識的區域的區域運動度量117來決定運動度量115和大小度量113。
訊框速率調節器140基於被辨識為指示大於運動閾值111的運動的區域(例如,A、B和C)之每一者區域的區域運動度量117,並且獨立於被辨識為指示小於或等於運動閾值111的運動的區域(例如,區域X和D)的區域運動度量(例如,區域運動度量117A和區域運動度量117C),來決定運動度量115。在特定實現中,運動度量115是基於由被辨識為指示大於運動閾值111的運動的區域的區域運動度量117指示的平均運動(例如,平均值、中值或模式)、最大運動、運動的範圍或其組合的。在實例150中,運動度量115對應於被辨識為指示大於運動閾值111(例如,2)的運動的區域(例如,A、B和C)的區域運動度量117的平均(例如,(2.2+2.2+2.2)/3=2.2)。
訊框速率調節器140決定與被辨識為指示大於運動閾值111(例如,2)的運動的訊框區域(例如,A、B和C)相關聯的大小度量113。在特定態樣中,大小度量113是基於所辨識的訊框區域(例如,A、B和C)的組合大小、訊框101A的包括所辨識的訊框區域(例如,A、B和C)的百分比或其組合的。在特定實例中,訊框速率調節器140基於被辨識為指示大於運動閾值111的運動的區域(例如,A、B、C)的第一計數(例如3)和訊框101A的總區域的第二計數(例如,16)來決定大小度量113(例如,3/16=18.75%)(例如大小度量113=第一計數/第二計數)。
訊框速率調節器140基於大小度量113和運動度量115來執行關於是否使用運動補償訊框內插來產生中間訊框191A的決定,如參考圖2-圖3進一步描述的。例如,中間訊框產生選項120包括執行運動補償訊框內插124和運動補償訊框內插124的一或多個替代方案(例如,執行訊框複製122)。在特定態樣中,在指示大於運動閾值111的運動的訊框區域對應於訊框101A的相對大的比例(如大小度量113所指示的)或對應於相對大的運動(如運動度量115所指示的)的情況下,預測訊框101A和訊框101B之間的轉換在重播期間更明顯。在此種情況下,訊框速率調節器140使用運動補償訊框內插124來增加重播平滑度。或者,在指示大於運動閾值111的運動的訊框區域(若存在的話)對應於訊框101A的相對小的比例(如大小度量113所指示的)或對應於相對小的運動(如運動度量115所指示的)的情況下,預測訊框101A和訊框101B之間的轉換在重播期間不太明顯。在此種情況下,訊框速率調節器140使用訊框複製122來節約資源。
訊框速率調節器140回應於關於要執行運動補償訊框內插的決定,使用運動補償訊框內插124來產生內插訊框123作為中間訊框191A。例如,訊框速率調節器140產生內插訊框123,使得訊框101A和內插訊框123之間的第二運動是基於應用於訊框101A和訊框101B之間的第一運動的內插權重119的。在特定實現中,內插權重119是基於大小度量113和運動度量115的,如參考圖2-圖3進一步描述的。在特定實現中,內插權重119是基於預定權重的。在特定態樣中,內插權重119是基於預設資料、配置設置、使用者輸入或其組合的。在特定態樣中,內插權重119的第一副本值(例如,0)對應於訊框101A的副本,並且內插權重119的第二副本值(例如,1)對應於訊框101B的副本。在特定態樣中,內插權重119在第一副本值和第二副本值之間的值對應於內插。例如,內插權重119的全內插的值(例如,0.5)對應於全內插。作為另一個實例,半內插的值(例如,0.25)對應於半內插。
在實例150中,運動補償訊框內插124對應於用於產生內插訊框123的「全內插」。「全內插」是指產生內插訊框123,使得內插訊框123與訊框101A和訊框101B中的每一者之間的第二運動是應用於訊框101A和訊框101B之間的第一運動的內插權重119的全內插的值(例如,0.5)。例如,訊框101A和訊框101B之間的第一運動指示區域A、B和C中的每一者的第一水平運動(例如,向右1個圖元區塊)和第一垂直運動(例如,向下2個圖元區塊),指示區域D的無水平運動和第二垂直運動(例如,向下1個圖元區塊),以及指示區域X的無運動。訊框速率調節器140產生內插訊框123,使得訊框101A和內插訊框123之間的第二運動指示區域A、B和C中的每一者的第一特定水平運動(例如,向右0.5*1=0.5個圖元區塊)和第一特定垂直運動(例如,向下0.5*2=1個圖元區塊),指示區域D的無水平運動(例如,0.5*0=0)和第二特定垂直運動(例如,向下0.5*1=0.5個圖元區塊),以及指示區域X的無運動(例如,0.5*0和0.5*0)。將內插訊框123作為訊框101A和訊框101B之間的中間訊框191A進行重播將平滑訊框101A和訊框101B之間的轉換(例如,減少信號干擾)。
或者,訊框速率調節器140回應於關於將不執行運動補償訊框內插的決定,使用運動補償訊框內插124的替代方案來產生中間訊框191A。例如,訊框速率調節器140執行訊框複製122以產生複製訊框121作為中間訊框191A。在實例150中,複製訊框121對應於訊框101A的副本。在其他實例中,複製訊框121可以對應於訊框101B的副本。在特定實現中,產生複製訊框121對應於基於訊框101A(或訊框101B)來產生額外訊框。在另一實現中,產生複製訊框121對應於獨立於產生額外訊框來增加(例如,加倍)訊框101A(或訊框101B)的播放時間。在特定實現中,產生複製訊框121對應於在播放列表中將對訊框101A(或訊框101B)的引用包括兩次。與產生內插訊框123相比,產生複製訊框121使用更少的資源(例如,功率、處理週期和時間)。
訊框速率調節器140產生在訊框101A和訊框101B之間包括中間訊框191A的訊框序列192。在特定態樣中,訊框速率調節器140將訊框序列192提供給顯示設備106以供重播,將訊框序列192儲存在記憶體132或儲存設備中,將訊框序列192提供(例如,串流)給另一設備,或其組合。
因此,系統100使得能夠基於更高運動區域的大小和由更高運動區域指示的運動程度來進行選擇性運動補償訊框內插。例如,訊框速率調節器140在執行運動補償訊框內插以增加重播平滑度與執行訊框複製以節約資源之間轉換。
參考圖2,圖示訊框速率調節器140的說明性態樣。訊框速率調節器140包括經由內插因數產生器206耦合到內插選擇器208的運動估計器204。內插選擇器208耦合到訊框複製器210和運動補償訊框內插器214中的每一者。
運動估計器204接收訊框序列180。例如,運動估計器204接收訊框101A和訊框101B。運動估計器204產生指示訊框序列180的各對連續訊框之間的估計運動的運動資料(MD)205。例如,運動估計器204產生指示訊框101A和訊框101B之間的估計運動的運動資料205(例如,運動向量集合)。運動估計器204將運動資料205提供給內插因數產生器206和運動補償訊框內插器214中的每一者。
內插因數(IF)產生器206基於運動資料205來決定內插因數207。例如,如參考圖1描述的,內插因數產生器206決定大小度量113和運動度量115。在特定態樣中,內插因數產生器206決定運動資料205包括指示訊框101A和訊框101B之間的估計運動的運動向量集合(例如,16個運動向量)。內插因數產生器206決定運動向量的子集(例如,3個運動向量)指示大於運動閾值111(例如,2個圖元區塊)的運動。內插因數產生器206將大小度量113決定為運動資料205中的指示高於運動閾值111的運動的運動向量的百分比(例如,3/16=18.75%)。內插因數產生器206基於由運動向量的子集(例如,3個運動向量)指示的運動(例如,平均運動或運動的範圍)來決定運動度量115。內插因數產生器206基於大小度量113和運動度量115與內插因數決定資料270的比較來產生內插因數207。
在特定態樣中,內插因數決定資料270指示由大小度量值的範圍、運動度量值的範圍或其組合定義的複數個內插因數區域。在圖3中,圖示內插因數決定資料270的實例300。內插因數決定資料270包括複數個內插因數區域,包括全內插區域362、轉換區域364和複製區域366。例如,複製區域366對應於由訊框101A的小部分(例如,低大小度量)指示的小運動或無運動(例如,低運動度量),其中訊框內插很可能導致重播平滑度的不明顯增加。全內插區域362對應於由訊框101A的大部分(例如,高大小度量)指示的高運動(例如,高運動度量),其中訊框內插很可能導致重播平滑度的明顯增加。轉換區域364對應於訊框101A的小部分中的高運動或訊框101A的大部分中的小運動,其中訊框內插可能導致重播平滑度的略微明顯增加。
在一些實現中,內插因數決定資料270包括全內插區域362和複製區域366,並且不包括任何轉換區域。在一些實現中,內插因數決定資料270包括多個轉換區域。在特定態樣中,內插因數決定資料270是基於配置設置、預設資料、使用者輸入、偵測到的上下文、操作模式、螢幕大小或其組合的。舉例說明,內插因數決定資料270的實例300對應於第一配置設置(例如,資源節約設置)、第一使用者輸入(例如,資源節約輸入)、第一偵測到的上下文(例如,講座視訊)、第一操作模式(例如,低功率模式或電池節約模式)、第一螢幕大小(例如,小於閾值螢幕大小)或其組合,並且內插因數決定資料270的實例350對應於第二配置設置(例如,重播平滑度設置)、第二使用者輸入(例如,重播平滑度輸入)、第二偵測到的上下文(例如,電影)、第二操作模式(例如,充電模式、已充電模式或全功率模式)、第二螢幕大小(例如,大於或等於閾值螢幕大小)或其組合。
在特定態樣中,偵測到的上下文包括訊框序列180的視訊內容的類型。例如,與第一類型的視訊內容(例如,講座)相比,針對第二類型的視訊內容(例如,電影)的重播平滑度更相關。在特定態樣中,偵測到的上下文包括與訊框序列180、與訊框序列180的重播時間或兩者相關聯的日曆事件。例如,與針對第一類型的日曆事件(例如,健身)相比,針對第二類型的日曆事件(例如,廣告活動演示)的重播平滑度更相關。在特定態樣中,偵測到的上下文包括顯示設備106的移動量。例如,當在顯示設備106正在移動的同時重播訊框序列192時(例如,顯示設備106整合到虛擬實境耳機中,當虛擬實境耳機的使用者正在跑步時,虛擬實境耳機正在重播訊框序列192),重播平滑度不太相關。
在特定態樣中,訊框速率調節器140基於偵測到的條件來調整內插因數決定資料270的區域的邊界。例如,偵測到的條件是基於配置設置、使用者輸入、偵測到的上下文、操作模式、螢幕大小或其組合的。舉例說明,訊框速率調節器140回應於偵測到較低功率操作模式(例如,低電池)、較小的螢幕大小、指示第一類型的視訊(例如,講座)的上下文或其組合,將內插因數決定資料270的區域的邊界(例如,朝向右側、朝向頂部或兩者)移位(例如,從實例300到實例350),以增加複製區域366並且減小全內插區域362。
增加複製區域366並且減少全內插區域362增加運動度量115必須滿足的運動閾值,並且增加大小度量113必須滿足的大小閾值,以觸發使用運動補償內插來產生中間訊框。經由增加使用訊框複製的可能性,同時亦實現運動補償內插以增加針對高運動和大訊框部分運動的重播平滑度,減少了資源消耗。或者,訊框速率調節器140回應於偵測到較高功率操作模式(例如,插入電源)、較大的螢幕大小、指示第二類型的視訊(例如,電影)的上下文或其組合,將內插因數決定資料270的區域的邊界(例如,朝向左側、朝向底部或兩者)移位(例如,從實例350到實例300),以減小複製區域366並且增加全內插區域362。減小複製區域366並且增加全內插區域362減小運動度量115必須滿足的運動閾值,並且減小大小度量113必須滿足的大小閾值,以觸發使用運動補償內插來產生中間訊框。經由增加使用運動補償內插的可能性,同時亦實現訊框複製以節約針對低運動或小訊框部分運動的資源,提高了重播平滑度。
內插因數決定資料270的複數個區域之每一者區域對應於特定內插因數值。例如,複製區域366對應於第一內插因數值(例如,0),並且全內插區域362對應於第二內插因數值(例如,1)。在特定態樣中,轉換區域364對應於第三內插因數值(例如,0.5)。
內插因數產生器206回應於決定大小度量113和運動度量115對應於內插因數決定資料270的特定區域(例如,在該特定區域中),產生指示與該特定區域相對應的特定內插因數值的內插因數207。例如,內插因數產生器206回應於決定大小度量113和運動度量115對應於複製區域366(例如,在複製區域366中),產生指示與複製區域366相對應的第一內插因數值(例如,0)的內插因數207。或者,內插因數產生器206回應於決定大小度量113和運動度量115對應於全內插區域362(例如,在全內插區域362中),產生指示第二內插因數值(例如,1)的內插因數207。在特定實現中,內插因數產生器206回應於決定大小度量113和運動度量115位於轉換區域364中,產生指示第三內插因數值(例如,0.5)的內插因數207。第一內插因數值(例如,0)指示將不執行運動補償訊框內插。第二內插因數值(例如,1)指示將執行全內插。第三內插因數值(例如,0.5)指示將執行部分內插。
作為說明性實例,提供了指示由大小度量值的範圍和運動度量值的範圍定義的複數個內插因數區域的內插因數決定資料270。在一些實例中,內插因數決定資料270指示由大小度量值的範圍定義並且獨立於運動度量值的範圍的複數個內插因數區域。在該等實例中,內插因數產生器206回應於決定大小度量113對應於內插因數決定資料270的特定區域(例如,在該特定區域中),產生指示與該特定區域相對應的特定內插因數值的內插因數207。在其他實例中,內插因數決定資料270指示由運動度量值的範圍定義並且獨立於大小度量值的範圍的複數個內插因數區域。在該等實例中,內插因數產生器206回應於決定運動度量115對應於內插因數決定資料270的特定區域(例如,在該特定區域中),產生指示與該特定區域相對應的特定內插因數值的內插因數207。
返回到圖2,內插因數產生器206向內插選擇器208和運動補償訊框內插器214中的每一者提供內插因數207。內插選擇器208基於內插因數207來決定是否使用運動補償訊框內插來產生中間訊框191A。例如,關於是否使用運動補償訊框內插的決定是基於內插因數207是否滿足內插準則(例如,內插因數207是否等於0)的。舉例說明,內插選擇器208回應於決定內插因數207滿足內插準則(例如,內插因數207不等於0),決定將使用運動補償訊框內插,並且向運動補償訊框內插器214發送啟用內插命令213。或者,內插選擇器208回應於決定內插因數207未能滿足內插準則(例如,內插因數207等於0),決定將不使用運動補償訊框內插(例如,將使用運動補償訊框內插的替代方案),並且向訊框複製器210發送啟用複製命令啟用複製命令209。
運動補償訊框內插器214回應於接收到啟用內插命令213,對訊框101A和訊框101B執行運動補償訊框內插,以產生內插訊框123作為中間訊框191A,如參考圖5進一步描述的。例如,運動補償訊框內插器214基於運動資料205、內插因數207、訊框101A、訊框101B或其組合來執行運動補償訊框內插。
訊框複製器210回應於接收到啟用複製命令209,經由複製訊框101A或訊框101B中的一者來產生複製訊框121,如參考圖1描述的。訊框速率調節器140輸出複製訊框121作為中間訊框191A。例如,訊框速率調節器140在訊框序列192中在訊框101A和訊框101B之間輸出訊框191。
在第一實現中,內插因數決定資料270不包括任何轉換區域。在該實現中,訊框速率調節器140在全內插和複製之間切換以產生中間訊框。在第二實現中,內插因數決定資料270包括至少一個轉換區域。在該實現中,當訊框序列180中的移動經由轉換區域364在全內插區域362和複製區域366之間轉換時,訊框速率調節器140經由部分內插在全內插和複製之間轉換,以產生中間訊框。
因此,訊框速率調節器140使得能夠基於大小度量113和運動度量115來進行選擇性運動補償訊框內插。在特定態樣中,可以經由基於偵測到的條件(例如,配置設置、使用者輸入、偵測到的上下文、操作模式、螢幕大小或其組合)調整內插因數決定資料270來動態地改變用於選擇運動補償訊框內插的準則。
在特定實現中,設備102包括常開功率域和第二功率域(諸如依須求功率域)。在一些實現中,訊框速率調節器140的第一級被配置為在常開模式下操作,並且訊框速率調節器140的第二級被配置為在依須求模式下操作。在特定態樣中,運動估計器204、內插因數產生器206、內插選擇器208、訊框複製器210或其組合被包括在訊框速率調節器140的第一級中,並且運動補償訊框內插器214被包括在訊框速率調節器140的第二級中。
第一級被配置為產生啟用內插命令213,以在第二級啟動一或多個操作。在一個實例中,啟用內插命令213被配置為將第二功率域從低功率模式轉換為啟用模式,以啟用第二級的一或多個元件。例如,內插選擇器208可以包括或耦合到功率管理電路系統、時鐘電路系統、讀頭開關或腳踏開關電路系統、緩衝器控制電路系統或其任何組合。內插選擇器208可以被配置為啟動第二級的通電,例如,經由選擇性地施加或提高第二級的電源的電壓、第二功率域的電壓,或兩者。作為另一實例,內插選擇器208可以被配置為選擇性地將時鐘信號閘控或不閘控至第二級,例如,在不移除電源的情況下防止或啟用電路操作。
將第二級產生的內插訊框123提供給訊框速率調節器140。訊框速率調節器140被配置為輸出內插訊框123作為中間訊框191A。經由基於在訊框速率調節器140的第一級處對訊框處理的結果來選擇性地啟用第二級,可以降低與執行選擇性運動補償訊框內插或兩者相關聯的整體功耗。
參考圖4,圖示由圖1的系統100產生的訊框的說明性實例的圖400。實例402指示訊框序列192的訊框(例如,散佈有一或多個中間訊框191的一或多個訊框101)的恆定重播速度。
全內插實例404指示一或多個中間訊框191中的每一者在前一訊框101和後一訊框101之間的相似性態樣處於中間。例如,訊框速率調節器140產生中間訊框191A,使得中間訊框191A與訊框101A和訊框101B中的每一者之間的第二運動對應於訊框101A和訊框101B之間的第一運動的一半,如參考圖1的運動補償訊框內插124描述的。全內插實例404表示將內插權重(IW)119的全內插的值(例如,0.5)應用於第一運動以產生中間訊框191A。
半內插實例406指示一或多個中間訊框191中的每一者在相似性態樣更接近前一訊框101(與後一訊框101相比)。例如,訊框速率調節器140產生中間訊框191A,使得中間訊框191A和訊框101A之間的第二運動對應於第一運動的四分之一,並且中間訊框191A和訊框101B之間的第三運動對應於第一運動的四分之三。半內插實例406表示將內插權重(IW)119的半內插的值(例如,0.25)應用於第一運動以產生中間訊框191A。
無內插實例408指示一或多個中間訊框191中的每一者是前一訊框101的副本。例如,訊框速率調節器140產生中間訊框191A作為訊框101A的副本。無內插實例408表示產生複製訊框121作為中間訊框191A。
轉換實例410指示較早的中間訊框191在前一訊框101和後一訊框101之間的相似性態樣處於中間,中間的中間訊框191更接近前一訊框101(與後一訊框101相比),並且較晚的中間訊框191是前一訊框101的副本。例如,訊框速率調節器140經由全內插和複製之間的部分內插進行轉換,以產生一或多個中間訊框191。轉換實例410表示隨著產生一或多個中間訊框191而將內插權重119從全內插的值(例如,0.5)更新為無內插的值(例如,0)。與在全內插和複製之間切換相比,在重播期間,經由部分內插在全內插和複製之間轉換不太明顯。
參考圖5,圖示運動補償訊框內插器214的說明性態樣。運動補償訊框內插器214包括運動向量處理器502,其經由遮擋偵測器504、運動向量投影器506、回退分析器508或其組合耦合到訊框渲染器510。
在第一實現中,運動補償訊框內插器214基於預定權重(例如,0.5)來決定內插權重119。例如,運動補償訊框內插器214獨立於內插因數207來執行與預定權重(例如,0.5)相對應的內插(例如,全內插)。在第二實現中,運動補償訊框內插器214至少部分地基於內插因數207來決定內插權重119。例如,運動補償訊框內插器214將預定因數(例如,0.5)應用於內插因數207以決定內插權重119。舉例說明,內插因數207的全內插的值(例如,1)對應於內插權重119的全內插的值(例如,0.5)。內插因數207的半內插的值(例如,0.5)對應於內插權重119的半內插的值(例如,0.25)。
在特定態樣中,當內插因數207具有全內插的值時,內插權重119在第一實現和第二實現兩者中具有相同的值(例如,0.5)。當內插因數207具有除全內插的值以外的值(例如,半內插的值)時,內插權重119在第二實現中具有與第一實現中不同的值。
運動向量處理器502基於運動資料205、訊框101A和訊框101B來產生運動向量503。例如,運動向量處理器502執行運動向量後處理和細化以產生運動向量503。運動向量處理器502將運動向量503提供給遮擋偵測器504、運動向量投影器506、回退分析器508或其組合。
運動向量投影器506基於內插權重119來產生運動向量資料507。例如,運動向量投影器506回應於決定運動向量503的第一運動向量指示區域A在訊框101A和訊框101B之間在第一方向上(例如,向下)的第一圖元移位(例如,2個圖元區塊),產生包括第二運動向量的運動向量資料507,該第二運動向量指示在訊框101A和內插訊框123之間在第一方向上的第二圖元移位(例如,1個圖元區塊)。第二圖元移位是基於將內插權重119(例如,0.5)應用於第一圖元移位的(例如,第二圖元移位=內插權重119*第一圖元移位)。運動向量投影器506將運動向量資料507提供給訊框渲染器510。
在實例550中,訊框101A包括區域E。在訊框101A和訊框101B之間區域E的移動與在訊框101A和訊框101B之間區域A的移動交叉路徑。運動向量資料507指示區域E與區域A重疊,並且在內插訊框123中區域E和區域A兩者是可見的。例如,區域E或區域A中的一者對應於窗玻璃。
遮擋偵測器504回應於決定運動向量503、運動向量資料507或兩者指示在訊框101A和訊框101B之間區域E的移動與在訊框101A和訊框101B之間區域A的移動交叉路徑,從而偵測可能的遮擋。遮擋偵測器504回應於偵測到可能的遮擋來產生遮擋資料505。例如,遮擋資料505包括與區域E相對應的遮擋資料505A(例如,運動向量),該區域E在內插訊框123中部分地遮住區域A。作為另一實例,遮擋資料505包括與區域A相對應的遮擋資料505B(例如,運動向量),該區域A在內插訊框123中至少部分地遮住區域A。遮擋偵測器504將遮擋資料505提供給訊框渲染器510。
回退分析器508回應於決定運動向量503、運動向量資料507或兩者指示大於閾值交叉路徑計數,產生與內插訊框123到訊框101A的回退相對應的回退資料509。例如,回退資料509將內插訊框123指示為訊框101A的副本。回退分析器508將回退資料509提供給訊框渲染器510。
訊框渲染器510基於運動向量資料507、遮擋資料505、回退資料509、訊框101A、訊框101B或其組合來產生內插訊框123。例如,訊框渲染器510回應於決定遮擋資料505指示未偵測到可能的遮擋,將運動向量資料507(例如,運動向量)應用於訊框101A以產生內插訊框123。或者,訊框渲染器510回應於決定遮擋資料505指示偵測到小於閾值遮擋計數,將遮擋資料505應用於訊框101A以產生內插訊框123。例如,訊框渲染器510使用各種遮擋解決技術來選擇遮擋資料505A或遮擋資料505B,並且將遮擋資料505A或遮擋資料505B中的所選擇的一項應用於訊框101A以產生內插訊框123。在特定態樣中,訊框渲染器510回應於決定回退資料509指示偵測到大於或等於閾值遮擋計數,複製訊框101A作為內插訊框123。
因此,運動補償訊框內插器214使得能夠基於內插權重119來產生內插訊框123。運動補償訊框內插器214使得能夠基於偵測到的遮擋(包括到訊框101A的回退)來對內插訊框123進行調整。
圖6將設備102的實現600圖示為包括一或多個處理器190的積體電路602。積體電路602亦包括信號輸入604(諸如一或多個匯流排介面),以使得能夠接收訊框序列180以進行處理。積體電路602亦包括信號輸出606(諸如匯流排介面),以使得能夠發送輸出信號(諸如訊框序列192)。積體電路602使得能夠將選擇性運動補償訊框內插實現為系統中的元件,例如,如在圖7中圖示的行動電話或平板設備、如在圖8中圖示的可穿戴電子設備、如在圖9中圖示的虛擬實境耳機或增強現實耳機,或如在圖10或圖11中圖示的車輛。
圖7圖示了實現700,其中設備102包括行動設備702,諸如電話或平板設備,作為說明性的非限制性實例。行動設備702包括顯示設備106(例如,顯示螢幕)。一或多個處理器190的元件(包括訊框速率調節器140)整合在行動設備702中,並且使用虛線來圖示,以指示對於行動設備702的使用者通常不可見的內部元件。在特定實例中,訊框速率調節器140進行操作以產生訊框序列192,隨後對其進行處理以在行動設備702處執行一或多個操作,例如,啟用圖形化使用者介面或以其他方式顯示訊框序列192。
圖8圖示了實現800,其中設備102包括可穿戴電子設備802,被示為「智慧手錶」。訊框速率調節器140整合到可穿戴電子設備802中。在特定實例中,訊框速率調節器140進行操作以產生訊框序列192,隨後對其進行處理以在可穿戴電子設備802處執行一或多個操作,例如,啟用圖形化使用者介面或以其他方式在可穿戴電子設備802的顯示設備106(例如,顯示螢幕)處顯示訊框序列192。在特定實例中,可穿戴電子設備802包括觸覺設備,其回應於偵測到訊框序列192已準備好顯示而提供觸覺通知(例如,振動)。例如,觸覺通知可以使得使用者查看可穿戴電子設備802以查看訊框序列192。因此,可穿戴電子設備802可以向患有聽力障礙的使用者或佩戴耳機的使用者提醒偵測到視訊資料。
圖9圖示了實現900,其中設備102包括對應於虛擬實境、增強現實或混合現實耳機902的可攜式電子設備。訊框速率調節器140整合到耳機902中。視覺介面設備(例如,顯示設備106)位於使用者眼睛的前面,以使得能夠在佩戴耳機902時向使用者顯示增強現實或虛擬實境圖像或場景。在特定實例中,視覺介面設備被配置為顯示訊框序列192。
圖10圖示了實現1000,其中設備102對應於車輛1002或整合在車輛1002內,車輛1002被示為有人駕駛或無人駕駛空中設備(例如,包裹遞送無人機)。訊框速率調節器140、顯示設備106(例如,顯示螢幕)或兩者整合到車輛1002中。訊框序列192可以顯示在顯示設備106上,例如,用於接收者的遞送通訊、廣告、安裝指令或其組合。
圖11圖示了另一實現1100,其中設備102對應於車輛1102或整合在車輛1102內,車輛1102被示為汽車。車輛1102包括一或多個處理器190,處理器190包括訊框速率調節器140。在特定實現中,回應於經由訊框速率調節器140的操作產生訊框序列192,經由顯示設備106(例如,顯示螢幕)顯示訊框序列192。
參考圖12,圖示選擇性運動補償訊框內插的方法1200的特定實現。在特定態樣中,方法1200的一或多個操作由以下各者中的至少一者執行:圖1的訊框速率調節器140、一或多個處理器190、設備102、系統100、圖2的運動估計器204、內插因數產生器206、內插選擇器208、訊框複製器210、運動補償訊框內插器214、圖5的運動向量處理器502、遮擋偵測器504、運動向量投影器506、回退分析器508、訊框渲染器510,或其組合。
方法1200包括以下步驟:在1202處,獲得運動資料,該運動資料指示圖像訊框的輸入序列的第一訊框和第二訊框之間的估計運動。例如,圖2的運動估計器204獲得運動資料205(例如,運動向量),其指示訊框序列180(例如,圖像訊框、視訊訊框、照片連拍或其組合)的訊框101A和訊框101B之間的估計運動,如參考圖2描述的。
方法1200亦包括以下步驟:在1204處,基於運動資料來辨識第一訊框的指示大於運動閾值的運動的任何訊框區域。例如,圖2的內插因數產生器206基於運動資料205來辨識訊框101A的指示大於運動閾值111的運動的任何訊框區域,如參考圖2描述的。
方法1200亦包括以下步驟:在1206處,基於運動資料來決定與所辨識的訊框區域相關聯的運動度量。例如,圖2的內插因數產生器206基於運動資料205來決定與所辨識的訊框區域相關聯的運動度量115,如參考圖2描述的。
方法1200亦包括以下步驟:在1208處,基於運動度量和與所辨識的訊框區域相關聯的大小度量來執行關於是否使用運動補償訊框內插來產生中間訊框的決定。例如,圖2的內插因數產生器206基於運動閾值111和大小度量113來產生內插因數207,如參考圖2描述的。內插選擇器208基於內插因數207來執行關於是否使用運動補償訊框內插來產生中間訊框191A的決定,如參考圖2描述的。
方法1200亦包括以下步驟:在1210處,基於該決定來產生中間訊框。例如,圖2的內插選擇器208基於內插因數207來產生啟用複製命令209或啟用內插命令213中的一項,如參考圖2描述的。在特定態樣中,訊框複製器210回應於接收到啟用複製命令209來產生複製訊框121作為中間訊框191A,如參考圖2描述的。在替代態樣中,運動補償訊框內插器214回應於接收到啟用內插命令213來產生內插訊框123作為中間訊框191A,如參考圖2描述的。
方法1200亦包括以下步驟:在1212處,產生在第一訊框和第二訊框之間包括中間訊框的圖像訊框的輸出序列。例如,圖1的訊框速率調節器140產生在訊框101A和訊框101B之間包括中間訊框191A的訊框序列192,如參考圖1描述的。
因此,方法1200使得能夠基於大小度量113(例如,對應於較高運動區域的大小)和運動度量115(例如,對應於較高運動區域所指示的運動程度)來進行選擇性運動補償訊框內插。例如,訊框速率調節器140在執行運動補償訊框內插以增加重播平滑度與執行訊框複製以節約資源之間轉換。
圖12的方法1200可以由以下各者來實現:現場可程式設計閘陣列(FPGA)設備、特殊應用積體電路(ASIC)、諸如中央處理單元(CPU)之類的處理單元、DSP、控制器、另一硬體設備、韌體設備或其任何組合。作為一個實例,圖12的方法1200可以由執行指令的處理器來執行,諸如參考圖13所描述的。
參考圖13,圖示了設備的特定說明性實現的方塊圖,並且將其整體上指定為1300。在各種實現中,設備1300可以具有比在圖13中所示的更多或更少的元件。在說明性實現中,設備1300可以對應於設備102、包括設備102,或者被包括在設備102內。在說明性實現中,設備1300可以執行參考圖1-圖12所描述的一或多個操作。
在特定實現中,設備1300包括處理器1306(例如,中央處理單元(CPU))。設備1300可以包括一或多個額外處理器1310(例如,一或多個DSP)。在一個特定態樣中,圖1的一或多個處理器190對應於處理器1306、處理器1310或其組合。處理器1310可以包括語音和音樂轉碼器(CODEC)1308,其包括語音譯碼器(「聲碼器」)編碼器1336、聲碼器解碼器1338或兩者。處理器1310包括訊框速率調節器140。
設備1300可以包括記憶體132和CODEC 1334。記憶體132可以包括可由一或多個額外處理器1310(或處理器1306)執行以實現參考訊框速率調節器140描述的功能的指令196。設備1300可以包括經由收發機1350耦合到天線1352的數據機170。
設備1300可以包括耦合到顯示控制器1326的顯示設備106。一或多個揚聲器1392和一或多個麥克風1390可以耦合到CODEC 1334。CODEC 1334可以包括數位類比轉換器(DAC)1302、類比數位轉換器(ADC)1304或兩者。在特定實現中,CODEC 1334可以從一或多個麥克風1390接收類比信號,使用類比數位轉換器1304將類比信號轉換為數位信號,並且將數位信號提供給語音和音樂轉碼器1308。語音和音樂轉碼器1308可以處理數位信號。在特定實現中,語音和音樂轉碼器1308可以將數位信號提供給CODEC 1334。CODEC 1334可以使用數位類比轉換器1302將數位信號轉換為類比信號,並且可以將類比信號提供給一或多個揚聲器1392。
在特定實現中,設備1300可以被包括在系統級封裝或晶片上系統元件1322中。在特定實現中,記憶體132、處理器1306、處理器1310、顯示控制器1326、CODEC 1334和數據機170被包括在系統級封裝或晶片上系統元件1322中。在特定實現中,輸入設備1330和電源1344耦合到晶片上系統元件1322。此外,在特定實現中,如圖13所示,顯示設備106、輸入設備1330、一或多個揚聲器1392、一或多個麥克風1390、天線1352和電源1344位於晶片上系統元件1322的外部。在特定實現中,顯示設備106、輸入設備1330、一或多個揚聲器1392、一或多個麥克風1390、天線1352和電源1344中的每一者皆可以耦合到晶片上系統元件1322的元件,諸如介面或控制器。
設備1300可以包括智慧揚聲器、條形揚聲器、行動通訊設備、智慧型電話、蜂巢式電話、膝上型電腦、電腦、平板設備、個人數位助理、顯示設備、電視機、遊戲控制台、音樂播放機、無線電單元、數位視訊播放機、數位視訊光碟(DVD)播放機、調諧器、相機、導航設備、車輛、耳機、增強現實耳機、虛擬實境耳機、飛行器、家庭自動化系統、語音啟用設備、無線揚聲器和語音啟用設備、可攜式電子設備、汽車、計算設備、通訊設備、物聯網路(IoT)設備、虛擬實境(VR)設備、基地站、行動設備或其任何組合。
結合所描述的實現,一種裝置包括:用於獲得運動資料的構件,該運動資料指示圖像訊框的輸入序列的第一訊框和第二訊框之間的估計運動。例如,用於獲得運動資料的構件可以對應於圖1的訊框速率調節器140、一或多個處理器190、設備102、系統100、圖2的運動估計器204、處理器1306、處理器1310、被配置為獲得運動資料的一或多個其他電路或元件,或其任何組合。
該裝置亦包括:用於基於運動資料來辨識第一訊框的指示大於運動閾值的運動的任何訊框區域的構件。例如,用於辨識的構件可以對應於圖1的訊框速率調節器140、一或多個處理器190、設備102、系統100、圖2的內插因數產生器206、處理器1306、處理器1310、被配置為辨識指示大於運動閾值的運動的任何訊框區域的一或多個其他電路或元件,或其任何組合。
該裝置亦包括:用於基於運動資料來決定與所辨識的訊框區域相關聯的運動度量的構件。例如,用於決定運動度量的構件可以對應於圖1的訊框速率調節器140、一或多個處理器190、設備102、系統100、圖2的內插因數產生器206、處理器1306、處理器1310、被配置為決定運動度量的一或多個其他電路或元件,或其任何組合。
該裝置亦包括:用於基於運動度量和與所辨識的訊框區域相關聯的大小度量來執行關於是否使用運動補償訊框內插來產生中間訊框的決定的構件。例如,用於執行關於是否使用運動補償訊框內插的決定的構件可以對應於圖1的訊框速率調節器140、一或多個處理器190、設備102、系統100、圖2的內插因數產生器206、內插選擇器208、處理器1306、處理器1310、被配置為執行關於是否使用運動補償訊框內插的決定的一或多個其他電路或元件,或其任何組合。
該裝置亦包括:用於基於該決定來產生中間訊框的構件。例如,用於產生中間訊框的構件可以對應於圖1的訊框速率調節器140、一或多個處理器190、設備102、系統100、圖2的訊框複製器210、運動補償訊框內插器214、處理器1306、處理器1310、被配置為產生中間訊框的一或多個其他電路或元件,或其任何組合。
該裝置亦包括:用於產生在第一訊框和第二訊框之間包括中間訊框的圖像訊框的輸出序列的構件。例如,用於產生輸出序列的構件可以對應於圖1的訊框速率調節器140、一或多個處理器190、設備102、系統100、圖2的訊框複製器210、運動補償訊框內插器214、處理器1306、處理器1310、被配置為產生輸出序列的一或多個其他電路或元件,或其任何組合。
在特定態樣中,該裝置亦包括:用於基於大小度量和運動度量來產生內插因數的構件,其中關於是否使用運動補償訊框內插來產生中間訊框的決定是基於內插因數是否滿足內插準則的。例如,用於產生內插因數的構件可以對應於圖1的訊框速率調節器140、一或多個處理器190、設備102、系統100、圖2的內插因數產生器206、處理器1306、處理器1310、被配置為產生內插因數的一或多個其他電路或元件,或其任何組合。
在特定態樣中,該裝置亦包括:用於接收圖像訊框的輸入序列的構件。例如,用於接收的構件可以對應於圖1的數據機170、訊框速率調節器140、一或多個處理器190、設備102、系統100、圖2的運動估計器204、訊框複製器210、運動補償訊框內插器214、處理器1306、處理器1310、收發機1350、天線1352、被配置為接收圖像訊框的輸入序列的一或多個其他電路或元件,或其任何組合。
在一些實現中,一種非暫時性電腦可讀取媒體(例如,電腦可讀取儲存設備,諸如記憶體132)包括指令(例如,指令196),該等指令在由一或多個處理器(例如,一或多個處理器1310或處理器1306)執行時,使得一或多個處理器獲得運動資料(例如,運動資料205),該運動資料指示圖像訊框的輸入序列(例如,訊框序列180)的第一訊框(例如,訊框101A)和第二訊框(例如,訊框101B)之間的估計運動。該等指令在由一或多個處理器執行時,亦使得一或多個處理器基於運動資料來辨識第一訊框的指示大於運動閾值(例如,運動閾值111)的運動的任何訊框區域。該等指令在由一或多個處理器執行時,亦使得一或多個處理器基於運動資料來決定與所辨識的訊框區域相關聯的運動度量(例如,運動度量115)。該等指令在由一或多個處理器執行時,亦使得一或多個處理器基於運動度量和與所辨識的訊框區域相關聯的大小度量(例如,大小度量113)來執行關於是否使用運動補償訊框內插來產生中間訊框(例如,中間訊框191A)的決定。該等指令在由一或多個處理器執行時,亦使得一或多個處理器基於該決定來產生中間訊框。該等指令在由一或多個處理器執行時,亦使得一或多個處理器產生在第一訊框和第二訊框之間包括中間訊框的圖像訊框的輸出序列(例如,訊框序列192)。
下文在各組相關條款中描述了本案內容的特定態樣:
根據條款1,一種設備包括:記憶體,其被配置為儲存指令;及一或多個處理器,其被配置為執行該等指令以進行以下操作:獲得運動資料,該運動資料指示圖像訊框的輸入序列的第一訊框和第二訊框之間的估計運動;基於該運動資料來辨識該第一訊框的指示大於運動閾值的運動的任何訊框區域;基於該運動資料來決定與所辨識的訊框區域相關聯的運動度量;基於該運動度量和與所辨識的訊框區域相關聯的大小度量來執行關於是否使用運動補償訊框內插來產生中間訊框的決定;基於該決定來產生該中間訊框;及產生在該第一訊框和該第二訊框之間包括該中間訊框的圖像訊框的輸出序列。
條款2包括根據條款1之設備,其中該運動度量是基於與所辨識的訊框區域相關聯的平均運動、最大運動、運動的範圍或其組合的。
條款3包括根據條款1或條款2之設備,其中該運動度量是基於與所辨識的訊框區域相關聯的平均運動的。
條款4包括根據條款1至條款3中任一項之設備,其中該運動度量是基於與所辨識的訊框區域相關聯的最大運動的。
條款5包括根據條款1至條款4中任一項之設備,其中該運動度量是基於與所辨識的訊框區域相關聯的運動的範圍的。
條款6包括根據條款1至條款5中任一項之設備,其中該大小度量是基於所辨識的訊框區域的組合大小、所辨識的訊框區域的計數、該第一訊框的包括所辨識的訊框區域的百分比,或其組合的。
條款7包括根據條款1至條款6中任一項之設備,其中該大小度量是基於所辨識的訊框區域的組合大小的。
條款8包括根據條款1至條款7中任一項之設備,其中該大小度量是基於所辨識的訊框區域的計數的。
條款9包括根據條款1至條款8中任一項之設備,其中該大小度量是基於該第一訊框的包括所辨識的訊框區域的百分比的。
條款10包括根據條款1至條款9中任一項之設備,其中該一或多個處理器被配置為基於該大小度量和該運動度量來產生內插因數,並且其中關於是否使用該運動補償訊框內插來產生該中間訊框的該決定是基於該內插因數是否滿足內插準則的。
條款11包括根據條款10之設備,其中該一或多個處理器亦被配置為:基於該大小度量和該運動度量與內插因數決定資料的比較來產生該內插因數。
條款12包括根據條款11之設備,其中該內插因數決定資料是基於配置設置、預設資料、使用者輸入、偵測到的上下文、操作模式、螢幕大小或其組合的。
條款13包括根據條款11或條款12之設備,其中該內插因數決定資料是基於配置設置的。
條款14包括根據條款11至條款13中任一項之設備,其中該內插因數決定資料是基於預設資料的。
條款15包括根據條款11至條款14中任一項之設備,其中該內插因數決定資料是基於使用者輸入的。
條款16包括根據條款11至條款15中任一項之設備,其中該內插因數決定資料是基於偵測到的上下文的。
條款17包括根據條款11至條款16中任一項之設備,其中該內插因數決定資料是基於操作模式的。
條款18包括根據條款11至條款17中任一項之設備,其中該內插因數決定資料是基於螢幕大小的。
條款19包括根據條款11至條款18中任一項之設備,其中該內插因數決定資料指示由大小度量值的範圍和運動度量值的範圍定義的複數個內插因數區域,其中該複數個內插因數區域之每一者內插因數區域對應於特定內插因數值,並且其中該一或多個處理器亦被配置為:基於決定該運動度量和該大小度量被包括在該複數個內插因數區域中的特定內插因數區域中,來產生具有與該特定內插因數區域相對應的內插因數值的該內插因數。
條款20包括根據條款1至條款9中任一項之設備,其中該一或多個處理器被配置為:基於該大小度量來產生內插因數,並且其中關於是否使用該運動補償訊框內插來產生該中間訊框的該決定是基於該內插因數是否滿足內插準則的。
條款21包括根據條款20之設備,其中該一或多個處理器亦被配置為:基於該大小度量與內插因數決定資料的比較來產生該內插因數。
條款22包括根據條款21之設備,其中該內插因數決定資料是基於配置設置、預設資料、使用者輸入、偵測到的上下文、操作模式、螢幕大小或其組合的。
條款23包括根據條款21或條款22之設備,其中該內插因數決定資料是基於配置設置的。
條款24包括根據條款21至條款23中任一項之設備,其中該內插因數決定資料是基於預設資料的。
條款25包括根據條款21至條款24中任一項之設備,其中該內插因數決定資料是基於使用者輸入的。
條款26包括根據條款21至條款25中任一項之設備,其中該內插因數決定資料是基於偵測到的上下文的。
條款27包括根據條款21至條款26中任一項之設備,其中該內插因數決定資料是基於操作模式的。
條款28包括根據條款21至條款27中任一項之設備,其中該內插因數決定資料是基於螢幕大小的。
條款29包括根據條款21至條款28中任一項之設備,其中該內插因數決定資料指示至少由大小度量值的範圍定義的複數個內插因數區域,其中該複數個內插因數區域之每一者內插因數區域對應於特定內插因數值,並且其中該一或多個處理器亦被配置為:基於決定該大小度量被包括在該複數個內插因數區域中的特定內插因數區域中,來產生具有與該特定內插因數區域相對應的內插因數值的該內插因數。
條款30包括根據條款1至條款9中任一項之設備,其中該一或多個處理器被配置為:基於該運動度量來產生內插因數,並且其中關於是否使用該運動補償訊框內插來產生該中間訊框的該決定是基於該內插因數是否滿足內插準則的。
條款31包括根據條款30之設備,其中該一或多個處理器亦被配置為:基於該運動度量與內插因數決定資料的比較來產生該內插因數。
條款32包括根據條款31之設備,其中該內插因數決定資料是基於配置設置、預設資料、使用者輸入、偵測到的上下文、操作模式、螢幕大小或其組合的。
條款33包括根據條款31或條款32之設備,其中該內插因數決定資料是基於配置設置的。
條款34包括根據條款31至條款33中任一項之設備,其中該內插因數決定資料是基於預設資料的。
條款35包括根據條款31至條款34中任一項之設備,其中該內插因數決定資料是基於使用者輸入的。
條款36包括根據條款31至條款35中任一項之設備,其中該內插因數決定資料是基於偵測到的上下文的。
條款37包括根據條款31至條款36中任一項之設備,其中該內插因數決定資料是基於操作模式的。
條款38包括根據條款31至條款37中任一項之設備,其中該內插因數決定資料是基於螢幕大小的。
條款39包括根據條款31至條款38中任一項之設備,其中該內插因數決定資料指示至少由運動度量值的範圍定義的複數個內插因數區域,其中該複數個內插因數區域之每一者內插因數區域對應於特定內插因數值,並且其中該一或多個處理器亦被配置為:基於決定該運動度量被包括在該複數個內插因數區域中的特定內插因數區域中,來產生具有與該特定內插因數區域相對應的內插因數值的該內插因數。
條款40包括根據條款1至條款39中任一項之設備,其中該一或多個處理器被配置為:回應於決定內插因數滿足內插準則,使用該運動補償訊框內插來產生該中間訊框。
條款41包括根據條款1至條款40中任一項之設備,其中該一或多個處理器被配置為:回應於決定內插因數未能滿足內插準則,使用該運動補償訊框內插的替代方案來產生該中間訊框。
條款42包括根據條款1至條款41中任一項之設備,其中該一或多個處理器被配置為:回應於關於該運動補償訊框內插將用於產生該中間訊框的該決定並且基於關於該運動資料指示該第一訊框和該第二訊框之間的第一運動的決定,產生該中間訊框,使得該第一訊框和該中間訊框之間的第二運動是基於該第一運動和內插因數的。
條款43包括根據條款1至條款41中任一項之設備,其中該一或多個處理器被配置為:回應於關於該運動補償訊框內插將用於產生該中間訊框的該決定並且基於關於該運動資料指示該第一訊框和該第二訊框之間的第一運動的決定,產生該中間訊框,使得該第一訊框和該中間訊框之間的第二運動是基於應用於該第一運動的預定權重的。
條款44包括根據條款1至條款43中任一項之設備,其中該一或多個處理器被配置為:回應於關於該運動補償訊框內插將不用於產生該中間訊框的該決定,產生該中間訊框作為該第一訊框或該第二訊框中的一項的副本。
條款45包括根據條款1至條款44中任一項之設備,亦包括:被配置為接收該圖像訊框的輸入序列的數據機。
根據條款46,一種方法包括以下步驟:在設備處獲得運動資料,該運動資料指示圖像訊框的輸入序列的第一訊框和第二訊框之間的估計運動;基於該運動資料來辨識該第一訊框的指示大於運動閾值的運動的任何訊框區域;基於該運動資料來決定與所辨識的訊框區域相關聯的運動度量;基於該運動度量和與所辨識的訊框區域相關聯的大小度量來執行關於是否使用運動補償訊框內插來產生中間訊框的決定;在該設備處基於該決定來產生該中間訊框;及在該設備處產生在該第一訊框和該第二訊框之間包括該中間訊框的圖像訊框的輸出序列。
條款47包括根據條款46之方法,其中該運動度量是基於與所辨識的訊框區域相關聯的平均運動、最大運動、運動的範圍或其組合的。
條款48包括根據條款46或條款47之方法,其中該運動度量是基於與所辨識的訊框區域相關聯的平均運動的。
條款49包括根據條款46至條款48中任一項之方法,其中該運動度量是基於與所辨識的訊框區域相關聯的最大運動的。
條款50包括根據條款46至條款49中任一項之方法,其中該運動度量是基於與所辨識的訊框區域相關聯的運動的範圍的。
條款51包括根據條款46至條款50中任一項之方法,其中該大小度量是基於所辨識的訊框區域的組合大小、所辨識的訊框區域的計數、該第一訊框的包括所辨識的訊框區域的百分比,或其組合的。
條款52包括根據條款46至條款51中任一項之方法,其中該大小度量是基於所辨識的訊框區域的組合大小的。
條款53包括根據條款46至條款52中任一項之方法,其中該大小度量是基於所辨識的訊框區域的計數的。
條款54包括根據條款46至條款53中任一項之方法,其中該大小度量是基於該第一訊框的包括所辨識的訊框區域的百分比的。
條款55包括根據條款46至條款54中任一項之方法,亦包括以下步驟:在該設備處基於該大小度量和該運動度量來產生內插因數,其中關於是否使用該運動補償訊框內插來產生該中間訊框的該決定是基於該內插因數是否滿足內插準則的。
條款56包括根據條款55之方法,其中該內插因數是基於該大小度量和該運動度量與內插因數決定資料的比較的。
條款57包括根據條款56之方法,其中該內插因數決定資料是基於配置設置、預設資料、使用者輸入、偵測到的上下文、操作模式、螢幕大小或其組合的。
條款58包括根據條款56或條款57之方法,其中該內插因數決定資料是基於配置設置的。
條款59包括根據條款56至條款58中任一項之方法,其中該內插因數決定資料是基於預設資料的。
條款60包括根據條款56至條款59中任一項之方法,其中該內插因數決定資料是基於使用者輸入的。
條款61包括根據條款56至條款60中任一項之方法,其中該內插因數決定資料是基於偵測到的上下文的。
條款62包括根據條款56至條款61中任一項之方法,其中該內插因數決定資料是基於操作模式的。
條款63包括根據條款56至條款62中任一項之方法,其中該內插因數決定資料是基於螢幕大小的。
條款64包括根據條款56至條款63中任一項之方法,其中該內插因數決定資料指示由大小度量值的範圍和運動度量值的範圍定義的複數個內插因數區域,其中該複數個內插因數區域之每一者內插因數區域對應於特定內插因數值,其中該運動度量和該大小度量被包括在該複數個內插因數區域中的特定內插因數區域中,並且其中該內插因數具有與該特定內插因數區域相對應的內插因數值。
條款65包括根據條款55至條款64中任一項之方法,亦包括以下步驟:回應於決定該內插因數滿足該內插準則,使用該運動補償訊框內插來產生該中間訊框。
條款66包括根據條款55至條款65中任一項之方法,亦包括以下步驟:回應於決定該內插因數未能滿足該內插準則,使用該運動補償訊框內插的替代方案來產生該中間訊框。
條款67包括根據條款55至條款66中任一項之方法,亦包括以下步驟:回應於關於該運動補償訊框內插將用於產生該中間訊框的該決定並且基於關於該運動資料指示該第一訊框和該第二訊框之間的第一運動的決定,產生該中間訊框,使得該第一訊框和該中間訊框之間的第二運動是基於該第一運動和該內插因數的。
條款68包括根據條款46至條款54中任一項之方法,亦包括以下步驟:在該設備處基於該大小度量來產生內插因數,其中關於是否使用該運動補償訊框內插來產生該中間訊框的該決定是基於該內插因數是否滿足內插準則的。
條款69包括根據條款68之方法,其中該內插因數是基於該大小度量與內插因數決定資料的比較的。
條款70包括根據條款69之方法,其中該內插因數決定資料是基於配置設置、預設資料、使用者輸入、偵測到的上下文、操作模式、螢幕大小或其組合的。
條款71包括根據條款69或條款70之方法,其中該內插因數決定資料是基於配置設置的。
條款72包括根據條款69至條款71中任一項之方法,其中該內插因數決定資料是基於預設資料的。
條款73包括根據條款69至條款72中任一項之方法,其中該內插因數決定資料是基於使用者輸入的。
條款74包括根據條款69至條款73中任一項之方法,其中該內插因數決定資料是基於偵測到的上下文的。
條款75包括根據條款69至條款74中任一項之方法,其中該內插因數決定資料是基於操作模式的。
條款76包括根據條款69至條款75中任一項之方法,其中該內插因數決定資料是基於螢幕大小的。
條款77包括根據條款69至條款76中任一項之方法,其中該內插因數決定資料指示至少由大小度量值的範圍定義的複數個內插因數區域,其中該複數個內插因數區域之每一者內插因數區域對應於特定內插因數值,其中該大小度量被包括在該複數個內插因數區域中的特定內插因數區域中,並且其中該內插因數具有與該特定內插因數區域相對應的內插因數值。
條款78包括根據條款46至條款54中任一項之方法,亦包括以下步驟:在該設備處基於該運動度量來產生內插因數,其中關於是否使用該運動補償訊框內插來產生該中間訊框的該決定是基於該內插因數是否滿足內插準則的。
條款79包括根據條款78之方法,其中該內插因數是基於該運動度量與內插因數決定資料的比較的。
條款80包括根據條款79之方法,其中該內插因數決定資料是基於配置設置、預設資料、使用者輸入、偵測到的上下文、操作模式、螢幕大小或其組合的。
條款81包括根據條款79或條款80之方法,其中該內插因數決定資料是基於配置設置的。
條款82包括根據條款79至條款81中任一項之方法,其中該內插因數決定資料是基於預設資料的。
條款83包括根據條款79至條款82中任一項之方法,其中該內插因數決定資料是基於使用者輸入的。
條款84包括根據條款79至條款83中任一項之方法,其中該內插因數決定資料是基於偵測到的上下文的。
條款85包括根據條款79至條款84中任一項之方法,其中該內插因數決定資料是基於操作模式的。
條款86包括根據條款79至條款85中任一項之方法,其中該內插因數決定資料是基於螢幕大小的。
條款87包括根據條款79至條款86中任一項之方法,其中該內插因數決定資料指示至少由運動度量值的範圍定義的複數個內插因數區域,其中該複數個內插因數區域之每一者內插因數區域對應於特定內插因數值,其中該運動度量被包括在該複數個內插因數區域中的特定內插因數區域中,並且其中該內插因數具有與該特定內插因數區域相對應的內插因數值。
條款88包括根據條款46至條款87中任一項之方法,亦包括以下步驟:回應於決定內插因數滿足內插準則,使用該運動補償訊框內插來產生該中間訊框。
條款89包括根據條款46至條款88中任一項之方法,亦包括以下步驟:回應於決定內插因數未能滿足內插準則,使用該運動補償訊框內插的替代方案來產生該中間訊框。
條款90包括根據條款46至條款89中任一項之方法,亦包括以下步驟:回應於關於該運動補償訊框內插將用於產生該中間訊框的該決定並且基於關於該運動資料指示該第一訊框和該第二訊框之間的第一運動的決定,產生該中間訊框,使得該第一訊框和該中間訊框之間的第二運動是基於該第一運動和內插因數的。
條款91包括根據條款46至條款89中任一項之方法,亦包括以下步驟:回應於關於該運動補償訊框內插將用於產生該中間訊框的該決定並且基於關於該運動資料指示該第一訊框和該第二訊框之間的第一運動的決定,產生該中間訊框,使得該第一訊框和該中間訊框之間的第二運動是基於應用於該第一運動的預定權重的。
條款92包括根據條款46至條款91中任一項之方法,亦包括以下步驟:回應於關於該運動補償訊框內插將不用於產生該中間訊框的該決定,產生該中間訊框作為該第一訊框或該第二訊框中的一項的副本。
根據條款93,一種非暫時性電腦可讀取媒體儲存指令,該等指令在由一或多個處理器執行時,使得該一或多個處理器進行以下操作:獲得運動資料,該運動資料指示圖像訊框的輸入序列的第一訊框和第二訊框之間的估計運動;基於該運動資料來辨識該第一訊框的指示大於運動閾值的運動的任何訊框區域;基於該運動資料來決定與所辨識的訊框區域相關聯的運動度量;基於該運動度量和與所辨識的訊框區域相關聯的大小度量來執行關於是否使用運動補償訊框內插來產生中間訊框的決定;基於該決定來產生該中間訊框;及產生在該第一訊框和該第二訊框之間包括該中間訊框的圖像訊框的輸出序列。
條款94包括根據條款93之非暫時性電腦可讀取媒體,其中該運動度量是基於與所辨識的訊框區域相關聯的平均運動、最大運動、運動的範圍或其組合的。
條款95包括根據條款93或條款94之非暫時性電腦可讀取媒體,其中該運動度量是基於與所辨識的訊框區域相關聯的平均運動的。
條款96包括根據條款93至條款95中任一項之非暫時性電腦可讀取媒體,其中該運動度量是基於與所辨識的訊框區域相關聯的最大運動的。
條款97包括根據條款93至條款96中任一項之非暫時性電腦可讀取媒體,其中該運動度量是基於與所辨識的訊框區域相關聯的運動的範圍的。
條款98包括根據條款93至條款97中任一項之非暫時性電腦可讀取媒體,其中該大小度量是基於所辨識的訊框區域的組合大小、所辨識的訊框區域的計數、該第一訊框的包括所辨識的訊框區域的百分比,或其組合的。
條款99包括根據條款93至條款98中任一項之非暫時性電腦可讀取媒體,其中該大小度量是基於所辨識的訊框區域的組合大小的。
條款100包括根據條款93至條款99中任一項之非暫時性電腦可讀取媒體,其中該大小度量是基於所辨識的訊框區域的計數的。
條款101包括根據條款93至條款100中任一項之非暫時性電腦可讀取媒體,其中該大小度量是基於該第一訊框的包括所辨識的訊框區域的百分比的。
條款102包括根據條款93至條款101中任一項之非暫時性電腦可讀取媒體,其中該等指令在由該一或多個處理器執行時,亦使得該一或多個處理器進行以下操作:基於該大小度量和該運動度量來產生內插因數,其中關於是否使用該運動補償訊框內插來產生該中間訊框的該決定是基於該內插因數是否滿足內插準則的。
條款103包括根據條款102之非暫時性電腦可讀取媒體,其中該內插因數是基於該大小度量和該運動度量與內插因數決定資料的比較的。
條款104包括根據條款103之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於配置設置、預設資料、使用者輸入、偵測到的上下文、操作模式、螢幕大小或其組合的。
條款105包括根據條款103或條款104之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於配置設置的。
條款106包括根據條款103至條款105中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於預設資料的。
條款107包括根據條款103至條款106中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於使用者輸入的。
條款108包括根據條款103至條款107中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於偵測到的上下文的。
條款109包括根據條款103至條款108中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於操作模式的。
條款110包括根據條款103至條款109中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於螢幕大小的。
條款111包括根據條款103至條款110中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料指示由大小度量值的範圍和運動度量值的範圍定義的複數個內插因數區域,其中該複數個內插因數區域之每一者內插因數區域對應於特定內插因數值,其中該運動度量和該大小度量被包括在該複數個內插因數區域中的特定內插因數區域中,並且其中該內插因數具有與該特定內插因數區域相對應的內插因數值。
條款112包括根據條款102至條款111中任一項之非暫時性電腦可讀取媒體,其中該等指令在由該一或多個處理器執行時,亦使得該一或多個處理器進行以下操作:回應於決定該內插因數滿足該內插準則,使用該運動補償訊框內插來產生該中間訊框。
條款113包括根據條款102至條款112中任一項之非暫時性電腦可讀取媒體,其中該等指令在由該一或多個處理器執行時,亦使得該一或多個處理器進行以下操作:回應於決定該內插因數未能滿足該內插準則,使用該運動補償訊框內插的替代方案來產生該中間訊框。
條款114包括根據條款102至條款113中任一項之非暫時性電腦可讀取媒體,其中該等指令在由該一或多個處理器執行時,亦使得該一或多個處理器進行以下操作:回應於關於該運動補償訊框內插將用於產生該中間訊框的該決定並且基於關於該運動資料指示該第一訊框和該第二訊框之間的第一運動的決定,產生該中間訊框,使得該第一訊框和該中間訊框之間的第二運動是基於該第一運動和該內插因數的。
條款115包括根據條款93至條款101中任一項之非暫時性電腦可讀取媒體,其中該等指令在由該一或多個處理器執行時,亦使得該一或多個處理器進行以下操作:基於該大小度量來產生內插因數,其中關於是否使用該運動補償訊框內插來產生該中間訊框的該決定是基於該內插因數是否滿足內插準則的。
條款116包括根據條款115之非暫時性電腦可讀取媒體,其中該內插因數是基於該大小度量與內插因數決定資料的比較的。
條款117包括根據條款116之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於配置設置、預設資料、使用者輸入、偵測到的上下文、操作模式、螢幕大小或其組合的。
條款118包括根據條款116或條款117之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於配置設置的。
條款119包括根據條款116至條款118中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於預設資料的。
條款120包括根據條款116至條款119中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於使用者輸入的。
條款121包括根據條款116至條款120中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於偵測到的上下文的。
條款122包括根據條款116至條款121中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於操作模式的。
條款123包括根據條款116至條款122中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於螢幕大小的。
條款124包括根據條款116至條款123中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料指示至少由大小度量值的範圍定義的複數個內插因數區域,其中該複數個內插因數區域之每一者內插因數區域對應於特定內插因數值,其中該大小度量被包括在該複數個內插因數區域中的特定內插因數區域中,並且其中該內插因數具有與該特定內插因數區域相對應的內插因數值。
條款125包括根據條款93至條款124中任一項之非暫時性電腦可讀取媒體,其中該等指令在由該一或多個處理器執行時,亦使得該一或多個處理器進行以下操作:基於該運動度量來產生內插因數,其中關於是否使用該運動補償訊框內插來產生該中間訊框的該決定是基於該內插因數是否滿足內插準則的。
條款126包括根據條款125之非暫時性電腦可讀取媒體,其中該內插因數是基於該運動度量與內插因數決定資料的比較的。
條款127包括根據條款126之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於配置設置、預設資料、使用者輸入、偵測到的上下文、操作模式、螢幕大小或其組合的。
條款128包括根據條款126或條款127之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於配置設置的。
條款129包括根據條款126至條款128中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於預設資料的。
條款130包括根據條款126至條款129中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於使用者輸入的。
條款131包括根據條款126至條款130中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於偵測到的上下文的。
條款132包括根據條款126至條款131中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於操作模式的。
條款133包括根據條款126至條款132中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料是基於螢幕大小的。
條款134包括根據條款126至條款133中任一項之非暫時性電腦可讀取媒體,其中該內插因數決定資料指示至少由運動度量值的範圍定義的複數個內插因數區域,其中該複數個內插因數區域之每一者內插因數區域對應於特定內插因數值,其中該運動度量被包括在該複數個內插因數區域中的特定內插因數區域中,並且其中該內插因數具有與該特定內插因數區域相對應的內插因數值。
條款135包括根據條款93至條款134中任一項之非暫時性電腦可讀取媒體,亦包括:回應於決定內插因數滿足內插準則,使用該運動補償訊框內插來產生該中間訊框。
條款136包括根據條款93至條款135中任一項之非暫時性電腦可讀取媒體,亦包括:回應於決定內插因數未能滿足內插準則,使用該運動補償訊框內插的替代方案來產生該中間訊框。
條款137包括根據條款93至條款136中任一項之非暫時性電腦可讀取媒體,亦包括:回應於關於該運動補償訊框內插將用於產生該中間訊框的該決定並且基於關於該運動資料指示該第一訊框和該第二訊框之間的第一運動的決定,產生該中間訊框,使得該第一訊框和該中間訊框之間的第二運動是基於該第一運動和內插因數的。
條款138包括根據條款93至條款136中任一項之非暫時性電腦可讀取媒體,其中該等指令在由該一或多個處理器執行時,亦使得該一或多個處理器進行以下操作:回應於關於該運動補償訊框內插將用於產生該中間訊框的該決定並且基於關於該運動資料指示該第一訊框和該第二訊框之間的第一運動的決定,產生該中間訊框,使得該第一訊框和該中間訊框之間的第二運動是基於應用於該第一運動的預定權重的。
條款139包括根據條款93至條款138中任一項之非暫時性電腦可讀取媒體,其中該等指令在由該一或多個處理器執行時,亦使得該一或多個處理器進行以下操作:回應於關於該運動補償訊框內插將不用於產生該中間訊框的該決定,產生該中間訊框作為該第一訊框或該第二訊框中的一項的副本。
根據條款140,一種裝置包括:用於獲得運動資料的構件,該運動資料指示圖像訊框的輸入序列的第一訊框和第二訊框之間的估計運動;用於基於該運動資料來辨識該第一訊框的指示大於運動閾值的運動的任何訊框區域的構件;用於基於該運動資料來決定與所辨識的訊框區域相關聯的運動度量的構件;用於基於該運動度量和與所辨識的訊框區域相關聯的大小度量來執行關於是否使用運動補償訊框內插來產生中間訊框的決定的構件;用於基於該決定來產生該中間訊框的構件;及用於產生在該第一訊框和該第二訊框之間包括該中間訊框的圖像訊框的輸出序列的構件。
條款141包括根據條款140之裝置,其中該運動度量是基於與所辨識的訊框區域相關聯的平均運動、最大運動、運動的範圍或其組合的。
條款142包括根據條款140或條款141之裝置,其中該運動度量是基於與所辨識的訊框區域相關聯的平均運動的。
條款143包括根據條款140至條款142中任一項之裝置,其中該運動度量是基於與所辨識的訊框區域相關聯的最大運動的。
條款144包括根據條款140至條款143中任一項之裝置,其中該運動度量是基於與所辨識的訊框區域相關聯的運動的範圍的。
條款145包括根據條款140至條款144中任一項之裝置,其中該大小度量是基於所辨識的訊框區域的組合大小、所辨識的訊框區域的計數、該第一訊框的包括所辨識的訊框區域的百分比,或其組合的。
條款146包括根據條款140至條款145中任一項之裝置,其中該大小度量是基於所辨識的訊框區域的組合大小的。
條款147包括根據條款140至條款146中任一項之裝置,其中該大小度量是基於所辨識的訊框區域的計數的。
條款148包括根據條款140至條款147中任一項之裝置,其中該大小度量是基於該第一訊框的包括所辨識的訊框區域的百分比的。
條款149包括根據條款140至條款148中任一項之裝置,亦包括:用於基於該大小度量和該運動度量來產生內插因數的構件,其中關於是否使用該運動補償訊框內插來產生該中間訊框的該決定是基於該內插因數是否滿足內插準則的。
條款150包括根據條款149之裝置,其中該內插因數是基於該大小度量和該運動度量與內插因數決定資料的比較的。
條款151包括根據條款150之裝置,其中該內插因數決定資料是基於配置設置、預設資料、使用者輸入、偵測到的上下文、操作模式、螢幕大小或其組合的。
條款152包括根據條款150或條款151之裝置,其中該內插因數決定資料是基於配置設置的。
條款153包括根據條款150至條款152中任一項之裝置,其中該內插因數決定資料是基於預設資料的。
條款154包括根據條款150至條款153中任一項之裝置,其中該內插因數決定資料是基於使用者輸入的。
條款155包括根據條款150至條款154中任一項之裝置,其中該內插因數決定資料是基於偵測到的上下文的。
條款156包括根據條款150至條款155中任一項之裝置,其中該內插因數決定資料是基於操作模式的。
條款157包括根據條款150至條款156中任一項之裝置,其中該內插因數決定資料是基於螢幕大小的。
條款158包括根據條款150至條款157中任一項之裝置,其中該內插因數決定資料指示由大小度量值的範圍和運動度量值的範圍定義的複數個內插因數區域,其中該複數個內插因數區域之每一者內插因數區域對應於特定內插因數值,並且其中該用於產生該內插因數的構件基於決定該運動度量和該大小度量被包括在該複數個內插因數區域中的特定內插因數區域中,來產生具有與該特定內插因數區域相對應的內插因數值的該內插因數。
條款159包括根據條款149至條款158中任一項之裝置,其中該用於產生該中間訊框的構件回應於決定該內插因數滿足該內插準則,使用該運動補償訊框內插來產生該中間訊框。
條款160包括根據條款149至條款159中任一項之裝置,其中該用於產生該中間訊框的構件回應於決定該內插因數未能滿足該內插準則,使用該運動補償訊框內插的替代方案來產生該中間訊框。
條款161包括根據條款149至條款160中任一項之裝置,其中該用於產生該中間訊框的構件回應於關於該運動補償訊框內插將用於產生該中間訊框的該決定並且基於關於該運動資料指示該第一訊框和該第二訊框之間的第一運動的決定,產生該中間訊框,使得該第一訊框和該中間訊框之間的第二運動是基於該第一運動和該內插因數的。
條款162包括根據條款140至條款148中任一項之裝置,亦包括:用於基於該大小度量來產生內插因數的構件,其中關於是否使用該運動補償訊框內插來產生該中間訊框的該決定是基於該內插因數是否滿足內插準則的。
條款163包括根據條款162之裝置,其中該內插因數是基於該大小度量與內插因數決定資料的比較的。
條款164包括根據條款163之裝置,其中該內插因數決定資料是基於配置設置、預設資料、使用者輸入、偵測到的上下文、操作模式、螢幕大小或其組合的。
條款165包括根據條款163或條款164之裝置,其中該內插因數決定資料是基於配置設置的。
條款166包括根據條款163至條款165中任一項之裝置,其中該內插因數決定資料是基於預設資料的。
條款167包括根據條款163至條款166中任一項之裝置,其中該內插因數決定資料是基於使用者輸入的。
條款168包括根據條款163至條款167中任一項之裝置,其中該內插因數決定資料是基於偵測到的上下文的。
條款169包括根據條款163至條款168中任一項之裝置,其中該內插因數決定資料是基於操作模式的。
條款170包括根據條款163至條款169中任一項之裝置,其中該內插因數決定資料是基於螢幕大小的。
條款171包括根據條款163至條款170中任一項之裝置,其中該內插因數決定資料指示至少由大小度量值的範圍定義的複數個內插因數區域,其中該複數個內插因數區域之每一者內插因數區域對應於特定內插因數值,其中該大小度量被包括在該複數個內插因數區域中的特定內插因數區域中,並且其中該內插因數具有與該特定內插因數區域相對應的內插因數值。
條款172包括根據條款140至條款148中任一項之裝置,亦包括:在該設備處基於該運動度量來產生內插因數,其中關於是否使用該運動補償訊框內插來產生該中間訊框的該決定是基於該內插因數是否滿足內插準則的。
條款173包括根據條款172之裝置,其中該內插因數是基於該運動度量與內插因數決定資料的比較的。
條款174包括根據條款173之裝置,其中該內插因數決定資料是基於配置設置、預設資料、使用者輸入、偵測到的上下文、操作模式、螢幕大小或其組合的。
條款175包括根據條款173或條款174之裝置,其中該內插因數決定資料是基於配置設置的。
條款176包括根據條款173至條款175中任一項之裝置,其中該內插因數決定資料是基於預設資料的。
條款177包括根據條款173至條款176中任一項之裝置,其中該內插因數決定資料是基於使用者輸入的。
條款178包括根據條款173至條款177中任一項之裝置,其中該內插因數決定資料是基於偵測到的上下文的。
條款179包括根據條款173至條款178中任一項之裝置,其中該內插因數決定資料是基於操作模式的。
條款180包括根據條款173至條款179中任一項之裝置,其中該內插因數決定資料是基於螢幕大小的。
條款181包括根據條款173至條款180中任一項之裝置,其中該內插因數決定資料指示至少由運動度量值的範圍定義的複數個內插因數區域,其中該複數個內插因數區域之每一者內插因數區域對應於特定內插因數值,其中該運動度量被包括在該複數個內插因數區域中的特定內插因數區域中,並且其中該內插因數具有與該特定內插因數區域相對應的內插因數值。
條款182包括根據條款140至條款181中任一項之裝置,亦包括:回應於決定內插因數滿足內插準則,使用該運動補償訊框內插來產生該中間訊框。
條款183包括根據條款140至條款182中任一項之裝置,亦包括:回應於決定內插因數未能滿足內插準則,使用該運動補償訊框內插的替代方案來產生該中間訊框。
條款184包括根據條款140至條款183中任一項之裝置,亦包括:回應於關於該運動補償訊框內插將用於產生該中間訊框的該決定並且基於關於該運動資料指示該第一訊框和該第二訊框之間的第一運動的決定,產生該中間訊框,使得該第一訊框和該中間訊框之間的第二運動是基於該第一運動和內插因數的。
條款185包括根據條款140至條款183中任一項之裝置,其中該用於產生該中間訊框的構件回應於關於該運動補償訊框內插將用於產生該中間訊框的該決定並且基於關於該運動資料指示該第一訊框和該第二訊框之間的第一運動的決定,產生該中間訊框,使得該第一訊框和該中間訊框之間的第二運動是基於應用於該第一運動的預定權重的。
條款186包括根據條款140至條款185中任一項之裝置,其中該用於產生該中間訊框的構件回應於關於該運動補償訊框內插將不用於產生該中間訊框的該決定,產生該中間訊框作為該第一訊框或該第二訊框中的一項的副本。
條款187包括根據條款140至條款186中任一項之裝置,亦包括:用於接收該圖像訊框的輸入序列的構件。
條款188包括根據條款140至條款187中任一項之裝置,其中該用於獲得該運動資料的構件、該用於辨識任何訊框區域的構件、該用於決定該運動度量的構件、該用於執行該決定的構件、該用於產生該中間訊框的構件以及該用於產生該輸出序列的構件整合到以下各者中的至少一者中:通訊設備、電腦、顯示設備、電視機、遊戲控制台、數位視訊播放機、相機、導航設備、車輛、耳機、增強現實耳機、虛擬實境耳機、飛行器、家庭自動化系統、語音啟用設備、物聯網路(IoT)設備、虛擬實境(VR)設備、基地站,或行動設備。
熟習此項技術者亦將明白的是,結合本文所揭示的實現而描述的各個說明性的邏輯區塊、配置、模組、電路和演算法步驟可以被實現為電子硬體、由處理器執行的電腦軟體,或該兩者的組合。上文已經對各種說明性的元件、方塊、配置、模組、電路和步驟均圍繞其功能進行了整體描述。此種功能是實現為硬體還是處理器可執行指令,取決於特定的應用和對整體系統施加的設計約束。熟習此項技術者可以針對每個特定應用,以變化的方式實現所描述的功能,此種實現決策將不被解釋為造成對本案內容的範疇的背離。
結合本文揭示的實現所描述的方法或演算法的步驟可以直接地體現在硬體中、由處理器執行的軟體模組中,或者該兩者的組合中。軟體模組可以常駐在隨機存取記憶體(RAM)、快閃記憶體、唯讀記憶體(ROM)、可程式設計唯讀記憶體(PROM)、可抹除可程式設計唯讀記憶體(EPROM)、電子可抹除可程式設計唯讀記憶體(EEPROM)、暫存器、硬碟、可移除磁碟、壓縮光碟唯讀記憶體(CD-ROM),或本領域中已知的任何其他形式的非暫時性儲存媒體。示例性的儲存媒體耦合到處理器,使得處理器可以從該儲存媒體讀取資訊以及向該儲存媒體寫入資訊。或者,儲存媒體可以整合到處理器中。處理器和儲存媒體可以位於特殊應用積體電路(ASIC)中。該ASIC可以位於計算設備或者使用者終端中。或者,處理器和儲存媒體可以作為個別元件位於計算設備或者使用者終端中。
提供對所揭示的態樣的先前描述,以使熟習此項技術者能夠實現或使用所揭示的態樣。對於熟習此項技術者而言,對該等態樣的各種修改將是容易顯而易見的,以及在不脫離本案內容的範疇的情況下,本文中定義的原理可以應用於其他態樣。因此,本案內容不意欲限於本文中所展示的態樣,而是要被賦予與經由跟隨的請求項限定的原理和新穎特徵相一致的可能的最廣範疇。
100:系統 101:訊框 101A:訊框 101B:訊框 101C:訊框 102:設備 106:顯示設備 111:運動閾值 113:大小度量 115:運動度量 117A:區域運動度量 117B:區域運動度量 117C:區域運動度量 119:內插權重 120:中間訊框產生選項 121:複製訊框 122:訊框複製 123:內插訊框 124:運動補償訊框內插 132:記憶體 140:訊框速率調節器 150:實例 170:數據機 180:訊框序列 190:處理器 191:中間訊框 191A:中間訊框 191B:中間訊框 192:訊框序列 196:指令 204:運動估計器 205:運動資料 206:內插因數產生器 207:內插因數 208:內插選擇器 209:啟用複製命令 210:訊框複製器 213:啟用內插命令 214:運動補償訊框內插器 270:內插因數決定資料 300:實例 350:實例 362:全內插區域 364:轉換區域 366:複製區域 400:圖 402:實例 404:全內插實例 406:半內插實例 408:無內插實例 410:轉換實例 502:運動向量處理器 503:運動向量 504:遮擋偵測器 505:遮擋資料 505A:遮擋資料 505B:遮擋資料 506:運動向量投影器 507:運動向量資料 508:回退分析器 509:回退資料 510:訊框渲染器 550:實例 600:實現 602:積體電路 604:信號輸入 606:信號輸出 700:實現 702:行動設備 800:實現 802:可穿戴電子設備 900:實現 902:耳機 1000:實現 1002:車輛 1100:實現 1102:車輛 1200:方法 1202:步驟 1204:步驟 1206:步驟 1208:步驟 1210:步驟 1212:步驟 1300:設備 1302:數位類比轉換器(DAC) 1304:類比數位轉換器(ADC) 1306:處理器 1308:語音和音樂轉碼器 1310:額外處理器 1322:系統級封裝或晶片上系統元件 1326:顯示控制器 1330:輸入設備 1334:CODEC 1336:語音譯碼器編碼器 1338:聲碼器解碼器 1344:電源 1350:收發機 1352:天線 1390:麥克風 1392:揚聲器 A:區域 B:區域 C:區域 D:區域 E:區域 X:區域
圖1是根據本案內容的一些實例的可操作以執行選擇性運動補償訊框內插的系統的特定說明性態樣的方塊圖。
圖2是根據本案內容的一些實例的圖1的系統的訊框速率調節器的說明性態樣的圖。
圖3是根據本案內容的一些實例的由圖2的訊框速率調節器使用的內插因數決定資料的說明性實例的圖。
圖4是根據本案內容的一些實例的由圖1的系統產生的訊框的說明性實例的圖。
圖5是根據本案內容的一些實例的圖2的訊框速率調節器的運動補償訊框內插器的說明性態樣的圖。
圖6圖示根據本案內容的一些實例的可操作以執行選擇性運動補償訊框內插的積體電路的實例。
圖7是根據本案內容的一些實例的可操作以執行選擇性運動補償訊框內插的行動設備的圖。
圖8是根據本案內容的一些實例的可操作以執行選擇性運動補償訊框內插的可穿戴電子設備的圖。
圖9是根據本案內容的一些實例的可操作以執行選擇性運動補償訊框內插的耳機(諸如虛擬實境或增強現實耳機)的圖。
圖10是根據本案內容的一些實例的可操作以執行選擇性運動補償訊框內插的車輛的第一實例的圖。
圖11是根據本案內容的一些實例的可操作以執行選擇性運動補償訊框內插的車輛的第二實例的圖。
圖12是根據本案內容的一些實例的可以由圖1的設備執行的選擇性運動補償訊框內插的方法的特定實現的圖。
圖13是根據本案內容的一些實例的可操作以執行選擇性運動補償訊框內插的設備的特定說明性實例的方塊圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
100:系統
101A:訊框
101B:訊框
101C:訊框
102:設備
106:顯示設備
111:運動閾值
113:大小度量
115:運動度量
117A:區域運動度量
117B:區域運動度量
117C:區域運動度量
119:內插權重
120:中間訊框產生選項
121:複製訊框
122:訊框複製
123:內插訊框
124:運動補償訊框內插
132:記憶體
140:訊框速率調節器
150:實例
170:數據機
180:訊框序列
190:處理器
191:中間訊框
191A:中間訊框
191B:中間訊框
192:訊框序列
196:指令

Claims (30)

  1. 一種設備,包括: 一記憶體,其被配置為儲存指令;及 一或多個處理器,其被配置為執行該等指令以進行以下操作: 獲得運動資料,該運動資料指示圖像訊框的一輸入序列的一第一訊框和一第二訊框之間的估計運動; 基於該運動資料來辨識該第一訊框的指示大於一運動閾值的運動的任何訊框區域; 基於該運動資料來決定與所辨識的該等訊框區域相關聯的一運動度量; 基於該運動度量和與所辨識的該等訊框區域相關聯的一大小度量來執行關於是否使用運動補償訊框內插來產生一中間訊框的一決定; 基於該決定來產生該中間訊框;及 產生圖像訊框的一輸出序列,該圖像訊框的輸出序列在該第一訊框和該第二訊框之間包括該中間訊框。
  2. 根據請求項1之設備,其中該運動度量是基於與所辨識的該等訊框區域相關聯的一平均運動、一最大運動、運動的一範圍或其一組合的。
  3. 根據請求項1之設備,其中該大小度量是基於所辨識的該等訊框區域的一組合大小、所辨識的該等訊框區域的一計數、該第一訊框的包括所辨識的該等訊框區域的一百分比,或其一組合的。
  4. 根據請求項1之設備,其中該一或多個處理器被配置為:基於該大小度量來產生一內插因數,並且其中關於是否使用該運動補償訊框內插來產生該中間訊框的該決定是基於該內插因數是否滿足一內插準則的。
  5. 根據請求項4之設備,其中該一或多個處理器亦被配置為:基於該大小度量與內插因數決定資料的一比較來產生該內插因數。
  6. 根據請求項5之設備,其中該內插因數決定資料是基於一配置設置、預設資料、一使用者輸入、一偵測到的上下文、一操作模式、一螢幕大小或其一組合的。
  7. 根據請求項5之設備,其中該內插因數決定資料指示至少由大小度量值的範圍定義的複數個內插因數區域,其中該複數個內插因數區域之每一者內插因數區域對應於一特定內插因數值,並且其中該一或多個處理器亦被配置為:基於決定該大小度量被包括在該複數個內插因數區域中的一特定內插因數區域中,來產生該內插因數,該內插因數具有與該特定內插因數區域相對應的一內插因數值。
  8. 根據請求項1之設備,其中該一或多個處理器被配置為:基於該運動度量來產生一內插因數,並且其中關於是否使用該運動補償訊框內插來產生該中間訊框的該決定是基於該內插因數是否滿足一內插準則的。
  9. 根據請求項8之設備,其中該一或多個處理器亦被配置為:基於該運動度量與內插因數決定資料的一比較來產生該內插因數。
  10. 根據請求項9之設備,其中該內插因數決定資料是基於一配置設置、預設資料、一使用者輸入、一偵測到的上下文、一操作模式、一螢幕大小或其一組合的。
  11. 根據請求項9之設備,其中該內插因數決定資料指示至少由運動度量值的範圍定義的複數個內插因數區域,其中該複數個內插因數區域之每一者內插因數區域對應於一特定內插因數值,並且其中該一或多個處理器亦被配置為:基於決定該運動度量被包括在該複數個內插因數區域中的一特定內插因數區域中,來產生該內插因數,該內插因數具有與該特定內插因數區域相對應的一內插因數值。
  12. 根據請求項1之設備,其中該一或多個處理器被配置為:回應於決定一內插因數滿足一內插準則,使用該運動補償訊框內插來產生該中間訊框。
  13. 根據請求項1之設備,其中該一或多個處理器被配置為:回應於決定一內插因數未能滿足一內插準則,使用該運動補償訊框內插的一替代方案來產生該中間訊框。
  14. 根據請求項1之設備,其中該一或多個處理器被配置為:回應於關於該運動補償訊框內插將用於產生該中間訊框的該決定並且基於關於該運動資料指示該第一訊框和該第二訊框之間的一第一運動的一決定,產生該中間訊框,使得該第一訊框和該中間訊框之間的第二運動是基於該第一運動和一內插因數的。
  15. 根據請求項1之設備,其中該一或多個處理器被配置為:回應於關於該運動補償訊框內插將用於產生該中間訊框的該決定並且基於關於該運動資料指示該第一訊框和該第二訊框之間的一第一運動的一決定,產生該中間訊框,使得該第一訊框和該中間訊框之間的第二運動是基於應用於該第一運動的一預定權重的。
  16. 根據請求項1之設備,其中該一或多個處理器被配置為:回應於關於該運動補償訊框內插將不用於產生該中間訊框的該決定,產生該中間訊框作為該第一訊框或該第二訊框中的一項的一副本。
  17. 根據請求項1之設備,亦包括:被配置為接收該圖像訊框的輸入序列的一數據機。
  18. 一種方法,包括以下步驟: 在一設備處獲得運動資料,該運動資料指示圖像訊框的一輸入序列的一第一訊框和一第二訊框之間的估計運動; 基於該運動資料來辨識該第一訊框的指示大於一運動閾值的運動的任何訊框區域; 基於該運動資料來決定與所辨識的該等訊框區域相關聯的一運動度量; 基於該運動度量和與所辨識的該等訊框區域相關聯的一大小度量來執行關於是否使用運動補償訊框內插來產生一中間訊框的一決定; 在該設備處基於該決定來產生該中間訊框;及 在該設備處產生圖像訊框的一輸出序列,該圖像訊框的輸出序列在該第一訊框和該第二訊框之間包括該中間訊框。
  19. 根據請求項18之方法,其中該運動度量是基於與所辨識的該等訊框區域相關聯的一平均運動、一最大運動、運動的一範圍或其一組合的。
  20. 根據請求項18之方法,其中該大小度量是基於所辨識的該等訊框區域的一組合大小、所辨識的該等訊框區域的一計數、該第一訊框的包括所辨識的該等訊框區域的一百分比,或其一組合的。
  21. 根據請求項18之方法,亦包括以下步驟:在該設備處基於該大小度量和該運動度量來產生一內插因數,其中關於是否使用該運動補償訊框內插來產生該中間訊框的該決定是基於該內插因數是否滿足一內插準則的。
  22. 根據請求項21之方法,其中該內插因數是基於該大小度量和該運動度量與內插因數決定資料的一比較的。
  23. 根據請求項22之方法,其中該內插因數決定資料是基於一配置設置、預設資料、一使用者輸入、一偵測到的上下文、一操作模式、一螢幕大小或其一組合的。
  24. 根據請求項22之方法,其中該內插因數決定資料指示由大小度量值的範圍和運動度量值的範圍定義的複數個內插因數區域,其中該複數個內插因數區域之每一者內插因數區域對應於一特定內插因數值,其中該運動度量和該大小度量被包括在該複數個內插因數區域中的一特定內插因數區域中,並且其中該內插因數具有與該特定內插因數區域相對應的一內插因數值。
  25. 根據請求項21之方法,亦包括以下步驟:回應於決定該內插因數滿足該內插準則,使用該運動補償訊框內插來產生該中間訊框。
  26. 根據請求項21之方法,亦包括以下步驟:回應於決定該內插因數未能滿足該內插準則,使用該運動補償訊框內插的一替代方案來產生該中間訊框。
  27. 根據請求項21之方法,亦包括以下步驟:回應於關於該運動補償訊框內插將用於產生該中間訊框的該決定並且基於關於該運動資料指示該第一訊框和該第二訊框之間的一第一運動的一決定,產生該中間訊框,使得該第一訊框和該中間訊框之間的第二運動是基於該第一運動和該內插因數的。
  28. 一種儲存指令的非暫時性電腦可讀取媒體,該等指令在由一或多個處理器執行時,使得該一或多個處理器進行以下操作: 獲得運動資料,該運動資料指示圖像訊框的一輸入序列的一第一訊框和一第二訊框之間的估計運動; 基於該運動資料來辨識該第一訊框的指示大於一運動閾值的運動的任何訊框區域; 基於該運動資料來決定與所辨識的該等訊框區域相關聯的一運動度量; 基於該運動度量和與所辨識的該等訊框區域相關聯的一大小度量來執行關於是否使用運動補償訊框內插來產生一中間訊框的一決定; 基於該決定來產生該中間訊框;及 產生圖像訊框的一輸出序列,該圖像訊框的輸出序列在該第一訊框和該第二訊框之間包括該中間訊框。
  29. 一種裝置,包括: 用於獲得運動資料的構件,該運動資料指示圖像訊框的一輸入序列的一第一訊框和一第二訊框之間的估計運動; 用於基於該運動資料來辨識該第一訊框的指示大於一運動閾值的運動的任何訊框區域的構件; 用於基於該運動資料來決定與所辨識的該等訊框區域相關聯的一運動度量的構件; 用於基於該運動度量和與所辨識的該等訊框區域相關聯的一大小度量來執行關於是否使用運動補償訊框內插來產生一中間訊框的一決定的構件; 用於基於該決定來產生該中間訊框的構件;及 用於產生圖像訊框的一輸出序列的構件,該圖像訊框的輸出序列在該第一訊框和該第二訊框之間包括該中間訊框。
  30. 根據請求項29之裝置,其中該用於獲得該運動資料的構件、該用於辨識任何訊框區域的構件、該用於決定該運動度量的構件、該用於執行該決定的構件、該用於產生該中間訊框的構件以及該用於產生該輸出序列的構件整合到以下各者中的至少一者中:一通訊設備、一電腦、一顯示設備、一電視機、一遊戲控制台、一數位視訊播放機、一相機、一導航設備、一車輛、一耳機、一增強現實耳機、一虛擬實境耳機、一飛行器、一家庭自動化系統、一語音啟用設備、一物聯網路(IoT)設備、一虛擬實境(VR)設備、一基地站,或一行動設備。
TW111107928A 2021-03-31 2022-03-04 選擇性運動補償訊框內插 TW202240527A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/219,080 US11558621B2 (en) 2021-03-31 2021-03-31 Selective motion-compensated frame interpolation
US17/219,080 2021-03-31

Publications (1)

Publication Number Publication Date
TW202240527A true TW202240527A (zh) 2022-10-16

Family

ID=80820315

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111107928A TW202240527A (zh) 2021-03-31 2022-03-04 選擇性運動補償訊框內插

Country Status (7)

Country Link
US (1) US11558621B2 (zh)
EP (1) EP4315853A1 (zh)
KR (1) KR102683890B1 (zh)
CN (1) CN117083854A (zh)
BR (1) BR112023019069A2 (zh)
TW (1) TW202240527A (zh)
WO (1) WO2022212996A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230088882A1 (en) * 2021-09-22 2023-03-23 Samsung Electronics Co., Ltd. Judder detection for dynamic frame rate conversion
KR20240103345A (ko) * 2022-12-27 2024-07-04 씨제이올리브네트웍스 주식회사 Ai를 이용한 영상 정보 생성 시스템 및 그 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594313B1 (en) 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications
US6442203B1 (en) 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
US20030202780A1 (en) * 2002-04-25 2003-10-30 Dumm Matthew Brian Method and system for enhancing the playback of video frames
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
US20080025390A1 (en) 2006-07-25 2008-01-31 Fang Shi Adaptive video frame interpolation
JPWO2008126252A1 (ja) * 2007-03-30 2010-07-22 パイオニア株式会社 画像生成装置、画像生成方法、画像生成プログラムおよびコンピュータに読み取り可能な記録媒体
US9426414B2 (en) * 2007-12-10 2016-08-23 Qualcomm Incorporated Reference selection for video interpolation or extrapolation
US8477848B1 (en) * 2008-04-22 2013-07-02 Marvell International Ltd. Picture rate conversion system architecture
US20090310679A1 (en) * 2008-06-11 2009-12-17 Mediatek Inc. Video processing apparatus and methods
US8619198B1 (en) 2009-04-28 2013-12-31 Lucasfilm Entertainment Company Ltd. Adjusting frame rates for video applications
US8411751B2 (en) * 2009-12-15 2013-04-02 Nvidia Corporation Reducing and correcting motion estimation artifacts during video frame rate conversion
KR102411911B1 (ko) * 2015-12-24 2022-06-22 삼성전자주식회사 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
US10713753B2 (en) * 2018-10-12 2020-07-14 Apical Limited Data processing systems
CN110933497B (zh) * 2019-12-10 2022-03-22 Oppo广东移动通信有限公司 视频图像数据插帧处理方法及相关设备

Also Published As

Publication number Publication date
US11558621B2 (en) 2023-01-17
EP4315853A1 (en) 2024-02-07
US20220321889A1 (en) 2022-10-06
BR112023019069A2 (pt) 2023-10-17
KR102683890B1 (ko) 2024-07-10
KR20230138052A (ko) 2023-10-05
CN117083854A (zh) 2023-11-17
WO2022212996A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
TW202240527A (zh) 選擇性運動補償訊框內插
CN110049428B (zh) 用于实现多声道环绕立体声播放的方法、播放设备及系统
WO2021175055A1 (zh) 视频处理方法及相关装置
CN104871558B (zh) 用于协作式声音系统的图像产生的方法和装置
CN111641828B (zh) 视频处理方法及装置、存储介质和电子设备
WO2021175054A1 (zh) 图像数据处理方法及相关装置
CN104967960A (zh) 语音数据处理方法、游戏直播中的语音数据处理方法和系统
US10747492B2 (en) Signal processing apparatus, signal processing method, and storage medium
WO2023160617A9 (zh) 视频插帧处理方法、视频插帧处理装置和可读存储介质
WO2022161383A1 (zh) 拍摄控制方法、装置和电子设备
JP4572615B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP5853003B2 (ja) 画面共有端末、画面共有方法、画面共有端末用プログラム
CN115767158A (zh) 同步播放方法、终端设备及存储介质
WO2021214380A1 (en) Apparatus, methods and computer programs for enabling rendering of spatial audio signals
JP2016048810A (ja) フレームレート変換装置、及び、フレームレート変換方法
JP2006101063A (ja) 再生側の環境を考慮した動画像データの送信
JP2018201194A (ja) 音声処理装置および音声処理方法
US12039702B2 (en) Motion compensation for neural network enhanced images
CN113038124B (zh) 视频编码方法、装置、存储介质及电子设备
WO2023159470A1 (zh) 视频插帧处理方法、视频插帧处理装置和可读存储介质
CN118535117A (zh) 音频参数确定方法及装置、电子设备、存储介质
US20220386026A1 (en) System for intelligent audio rendering using heterogeneous speaker nodes and method thereof
CN114846809B (zh) 具有动态色调元数据的视频编辑的电子装置及其运行方法
JP2012244258A (ja) 電子機器、電子機器の制御方法及び電子機器の制御プログラム
WO2024011937A1 (zh) 音频处理方法、系统及电子设备