TWI802733B - 透過階層式搜尋執行移動估算的電子電路以及電子裝置 - Google Patents

透過階層式搜尋執行移動估算的電子電路以及電子裝置 Download PDF

Info

Publication number
TWI802733B
TWI802733B TW108128277A TW108128277A TWI802733B TW I802733 B TWI802733 B TW I802733B TW 108128277 A TW108128277 A TW 108128277A TW 108128277 A TW108128277 A TW 108128277A TW I802733 B TWI802733 B TW I802733B
Authority
TW
Taiwan
Prior art keywords
image
candidate
block
extracted
images
Prior art date
Application number
TW108128277A
Other languages
English (en)
Other versions
TW202038628A (zh
Inventor
鄭徼援
金祺原
邊柱元
宋杬燮
安志勳
楊政燁
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180164425A external-priority patent/KR102681958B1/ko
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202038628A publication Critical patent/TW202038628A/zh
Application granted granted Critical
Publication of TWI802733B publication Critical patent/TWI802733B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一種電子電路包括用於執行移動估算的處理電路系統。 處理電路系統對於自原始影像產生的被抽取影像中的每一者確定當前區塊及候選區塊，其中處理電路系統對於具有最低解析度的第一被抽取影像、基於當前區塊的位置確定第一候選區塊，而不完全搜尋所有畫素。處理電路系統對於具有最高解析度的第二被抽取影像選擇作為第一候選區塊中的一些第一候選區塊的第二候選區塊，使得處理電路系統對於原始影像來確定第二候選區塊。處理電路系統基於由第二候選區塊的候選移動向量指示的參考補片確定的一個參考補片來產生當前區塊的移動向量。

Description

透過階層式搜尋執行移動估算的電子電路以及 電子裝置 [相關申請案的交叉參考]
本申請案主張在2018年12月18日在韓國智慧財產局提出申請的韓國專利申請案第10-2018-0164425號的優先權，所述韓國專利申請案的揭露內容全文併入本案供參考。
本揭露是有關於一種電子電路及/或電子裝置。舉例而言，至少一些示例性實施例是有關於用於影像或視訊處理的移動估算的電路及/或裝置。
如今，正在使用各種類型的電子裝置。電子裝置根據電子裝置中所包括的電子組件(例如，裝置及電路)的操作來執行電子裝置自身的功能。
如今正在使用的大部分電子裝置包括能夠產生及輸出影像及/或視訊的資訊的組件。舉例而言，相機裝置可捕捉物體以產生靜止影像及/或移動影像的資料，並且顯示裝置可輸出基於資料在視覺上辨識的影像資訊。
同時，隨著對更生動的影像及視訊的需求增加，用於顯示影像及視訊的資料量逐漸增加，且正在開發用於處理影像及視訊的各種技術。然而，當欲處理大量資料時，自記憶體讀取資料及處理所讀取的資料可能花費長的時間。在此種情形中，資料處理的速度可能降低，且可能耗費大量的電力來處理資料。
本揭露的示例性實施例可減少基於層階搜尋的移動估算所花費的時間，而不會降低移動估算的精度或者使移動估算的精度的降低程度最小化。在至少一些示例性實施例中，可透過不伴隨完全搜尋的層階搜尋、基於候選區塊具有的候選移動向量來執行移動估算。
在一些示例性實施例中，一種電子電路可被配置成執行影像之間的移動估算，所述電子電路包括處理電路系統，所述處理電路系統被配置成：對於被抽取影像中的每一者確定當前區塊及候選區塊，所述被抽取影像是自原始影像產生，使得所述被抽取影像具有不同的解析度，所述被抽取影像包括具有第一解析度的第一被抽取影像及具有第二解析度的第二被抽取影像，所述第一解析度為所述解析度中的最低解析度，所述第二解析度為所述解析度中的最高解析度；基於所述當前區塊的位置而對於所述被抽取影像確定候選區塊，以使所述處理電路系統對於所述第一被抽取影像確定所述候選區塊中的第一候選區塊而不完全搜尋所有畫素並對於所述原始影像確定第二候選區塊；對於所述第二被抽取影像，選擇所述候選區塊中的一些候選區塊使得所述處理電路系統選擇第二候選區塊的第二數目，所述第二候選區塊的所述第二數目小於所述第一候選區塊的所述第一數目；以及基於一個參考補片來產生所述當前區塊的移動向量，所述一個參考補片是自由所述第二候選區塊的候選移動向量指示的參考補片確定出的。所述第二數目小於所述第一數目。
在一些示例性實施例中，一種電子裝置包括記憶體以及第一電子電路，所述記憶體被配置成儲存不同解析度的影像的第一資料，所述影像包括第一解析度的第一影像及第二解析度的第二影像，所述第一解析度為解析度中的最低解析度，所述第二解析度為所述解析度中的最高解析度，所述第一電子電路被配置成：對於所述第一影像，基於當前區塊在所述影像上的位置來確定候選區塊，而不完全搜尋所有畫素；根據自所述第一影像至所述第二影像的次序，對於所述影像中的每一者，基於所述當前區塊及參考補片來選擇所述候選區塊中的一些候選區塊，所述參考補片是由所述候選區塊的候選移動向量指示；以及基於由對於所述第二影像選擇的一個候選區塊的候選移動向量指示的參考補片為所述當前區塊產生移動向量。
在一些示例性實施例中，一種電子裝置包括一或多個處理器以及記憶體，所述記憶體被配置成儲存能夠由所述一或多個處理器執行的指令，所述指令在由所述一或多個處理器執行時，使所述一或多個處理器：對於被抽取影像中的第一被抽取影像，基於當前區塊的位置來確定候選區塊，而不完全搜尋所有畫素，所述被抽取影像是自原始影像產生，使得所述被抽取影像具有較所述原始影像的第一解析度低的解析度，所述第一被抽取影像的第二解析度為所述被抽取影像的所述解析度中的最低解析度；以及對於所述被抽取影像中的每一者，藉由基於所述當前區塊及所述候選區塊選擇所述候選區塊中的一些候選區塊來減少所述候選區塊的數目。
在一些示例性實施例中，一種電子裝置包括一或多個處理器以及記憶體，所述記憶體被配置成儲存能夠由所述一或多個處理器執行的指令，所述指令在由所述一或多個處理器執行時，使所述一或多個處理器：對於被抽取影像中的第一被抽取影像，基於當前區塊的位置來確定候選區塊，而不完全搜尋所有畫素，所述被抽取影像是自原始影像產生，使得所述被抽取影像具有較所述原始影像的第一解析度低的解析度，所述第一被抽取影像的第二解析度為所述被抽取影像的所述解析度中的最低解析度；以及對於所述被抽取影像中的每一者，藉由基於所述當前區塊及所述候選區塊選擇所述候選區塊中的一些候選區塊來減少所述候選區塊的數目。
根據示例性實施例，隨著基於層階搜尋的移動估算參考的資料量減少，移動估算的速度可提高，且功耗可降低。
以下，將參考附圖詳細及清楚地闡述一些示例性實施例，使得熟習此項技術者能夠容易地實施本揭露。
圖1是示出根據一些示例性實施例的可包括電子電路的電子裝置1000的示例性配置的方塊圖。
舉例而言，電子裝置1000可在各種類型的電子裝置（例如桌上型電腦、平板電腦、膝上型電腦、智能電話、可穿戴裝置、數位相機、顯示裝置、工作站、伺服器、電動車輛、家用電器、醫療裝置等）中的一種中實施。
電子裝置1000可包括各種電子電路及裝置。舉例而言，電子裝置1000可包括影像處理區塊1100、通訊區塊1200、音訊處理區塊1300、緩沖記憶體1400、非揮發性記憶體1500、使用者介面1600、顯示面板1700、主處理器1800及電源管理器電路1900。
影像處理區塊1100可透過透鏡1110接收光。影像處理區塊1100的影像感測器1120可基於接收到的光產生與外部物體相關聯的影像訊號。影像訊號可描述外部物體的靜止影像及/或移動影像。舉例而言，靜止影像可提供圖片，且移動影像可提供視訊。
通訊區塊1200可藉由天線1210與外部裝置/系統交換訊號。通訊區塊1200的收發器1220及調變器/解調器（MODEM）1230可根據各種有線/無線通訊協定中的一或多者來處理與外部裝置/系統交換的訊號。
音訊處理區塊1300可使用音訊訊號處理器1310來處理聲音資訊。音訊處理區塊1300可接收藉由麥克風1320輸入的音訊及/或可藉由揚聲器1330輸出音訊。
緩沖記憶體1400可儲存用於電子裝置1000的操作的資料。舉例而言，緩沖記憶體1400可臨時儲存由主處理器1800處理或欲處理的資料。舉例而言，緩沖記憶體1400可包括揮發性記憶體（例如靜態隨機存取記憶體（static random access memory，SRAM）、動態隨機存取記憶體（dynamic RAM，DRAM）、同步動態隨機存取記憶體（synchronous DRAM，SDRAM）等）、及/或非揮發性記憶體（例如相變隨機存取記憶體（phase-change RAM，PRAM）、磁阻式隨機存取記憶體（magneto-resistive RAM，MRAM）、電阻式隨機存取記憶體（resistive RAM，ReRAM）、鐵電式隨機存取記憶體（ferroelectric RAM，FRAM）等）。
非揮發性記憶體1500可儲存資料，而不論是否供電。舉例而言，非揮發性記憶體1500可包括各種非揮發性記憶體（例如快閃記憶體、PRAM、MRAM、ReRAM、FRAM等）中的至少一者。舉例而言，非揮發性記憶體1500可包括可移動記憶體（例如安全數位（secure digital，SD）卡或固態驅動器（solid state drive，SSD））及/或嵌入式記憶體（例如嵌入式多媒體卡（embedded multimedia card，eMMC））。
使用者介面1600可仲裁使用者與電子裝置1000之間的通訊。舉例而言，使用者介面1600可包括用於自使用者接收輸入的輸入介面及用於向使用者提供資訊的輸出介面。
顯示面板1700可向使用者提供視覺資訊。舉例而言，顯示面板1700可基於影像資料顯示靜止影像及/或移動影像。舉例而言，顯示面板1700可在液晶顯示器（liquid crystal display，LCD）、發光二極體（light emitting diode，LED）顯示器、有機發光二極體（organic LED，OLED）顯示器、主動矩陣有機發光二極體（active matrix OLED，AMOLED）顯示器等中實施。
主處理器1800可控制電子裝置1000的組件的整體操作。主處理器1800可處理各種操作來操作電子裝置1000。舉例而言，主處理器1800可在通用處理器、專用處理器、應用處理器、微處理器等中實施，並且可包括一或多個處理器核心。
舉例而言，緩沖記憶體1400及/或非揮發性記憶體1500可儲存能夠由一或多個處理器（例如，主處理器1800）執行的指令。指令可基於軟體及/或韌體的程式代碼來提供。舉例而言，當指令由主處理器1800執行時，指令可將主處理器1800轉換成被配置成執行本揭露中所述的操作的專用處理器。
在一些示例性實施例中，主處理器1800可包括影像訊號處理器（image signal processor，ISP）1130、畫面速率轉換器（frame rate converter，FRC）1730及編碼器/解碼器（encoder/decoder，CODEC）1830。舉例而言，如上所述，指令可將主處理器1800轉換成專用處理器以執行ISP 1130、FRC 1730及CODEC 1830的操作。
ISP 1130可對影像感測器1120產生的影像訊號執行各種訊號處理。舉例而言，ISP 1130可執行影像訊號處理（例如去馬賽克、數位影像穩定、雜訊降低、邊緣增強等）以輸出適當描述外部物體的影像資料。舉例而言，影像資料可儲存於緩沖記憶體1400及/或非揮發性記憶體1500中，且基於影像資料的視覺資訊可顯示在顯示面板1700上。
CODEC 1830可對影像資料進行編碼及/或解碼。舉例而言，CODEC 1830可執行編碼以減少由ISP 1130產生的影像資料量（例如，壓縮影像資料）。舉例而言，CODEC 1830可對經編碼的影像資料進行解碼，並且可在顯示面板1700上輸出基於經解碼的影像資料的視覺資訊。
FRC 1730可調整與影像資料的頻率相關聯的畫面速率。舉例而言，FRC 1730可在ISP 1130與CODEC 1830之間運作，及/或可在CODEC 1830與顯示面板1700之間運作。舉例而言，FRC 1730可將由ISP 1130產生的影像資料的畫面速率轉換成適合於影像資料的格式。
舉例而言，當顯示面板1700基於由CODEC 1830解碼的影像資料顯示視覺資訊時，FRC 1730可將影像資料的畫面率轉換成適合於顯示面板1700的操作特性。舉例而言，當描述視訊資訊的影像資料的畫面速率低於顯示面板1700的畫面速率時，FRC 1730可在視訊畫面之間插入中間畫面以增加畫面速率。
圖1示出ISP 1130、FRC 1730及CODEC 1830包括在主處理器1800中。然而，提供圖1是為了便於更好地理解，而不旨在限制本揭露。在一些示例性實施例中，主處理器1800可包括應用處理器，且應用處理器、ISP 1130、FRC 1730及CODEC 1830可在一個系統晶片（system-on-chip，SoC）中實施。
作為另一選擇，可在主處理器1800外部提供ISP 1130、FRC 1730及/或CODEC 1830中的至少一者。舉例而言，ISP 1130可與影像處理區塊1100中的影像感測器1120一起在一個晶片中實施，且FRC 1730可與顯示面板1700一起在一個顯示裝置中實施。作為另一選擇，ISP 1130、FRC 1730及/或CODEC 1830中的至少一者可在與其他組件分開的獨立智慧財產（intellectual property，IP）中實施。
ISP 1130、FRC 1730及CODEC 1830可在硬體電路（例如類比電路、邏輯電路等）中達成，硬體電路被配置成執行本揭露中闡述的操作。作為另一選擇，ISP 1130、FRC 1730及CODEC 1830可以軟體及/或韌體的程式代碼來實施，且一或多個處理器（例如，主處理器1800）可執行程式代碼的指令來提供ISP 1130、FRC 1730及CODEC 1830的操作。在一些情形中，ISP 1130、FRC 1730及CODEC 1830中的每一者可以硬體及軟體的組合（或混合）的形式實施。
在一些示例性實施例中，ISP 1130、FRC 1730及CODEC 1830中的每一者可伴隨移動估算。在電子裝置1000中執行的移動估算將參考圖2至圖17來闡述。
電源管理器電路1900可供應用於操作電子裝置1000的電力。電源管理電路1900可藉由適當地轉換自電池及/或外部電源提供的電力來產生適合於操作電子裝置1000的組件的電力。
圖2是用於闡述在圖1所示電子裝置1000中執行的移動估算的概念圖。圖3A至圖3C是用於闡述對於移動估算的構成影像的區塊的遞歸的概念圖。
參考圖2，可執行移動估算來估算影像之間物體的移動。舉例而言，可在作為當前畫面提供的影像與作為前一畫面提供的影像之間執行移動估算。對於移動估算，緩沖記憶體1400及/或非揮發性記憶體1500可儲存當前畫面的影像資料及前一畫面的影像資料。
舉例而言，為執行移動估算，每一畫面的影像可被劃分成區塊（例如宏區塊）。就此而言，可理解，經劃分的區塊構成影像。每一區塊可被佈置成對應於由影像上的座標指示的位置。
一個區塊可被劃分成包括構成影像的多個畫素。舉例而言，區塊BK0可被劃分成使得M×N個畫素構成區塊BK0（M及N是正整數）。每一區塊的大小可被不同地改變或修改成適合於移動估算。
舉例而言，本發明可旨在在移動估算中估算物體10的移動。對於當前畫面，物體10可顯示在對應於區塊BK2的位置。另一方面，對於前一畫面，物體10可顯示在對應於區塊BK1的位置。在此種情形中，移動估算可對於物體10的移動自區塊BK1獲得移動向量MV。
移動向量可為指示當前畫面的影像與前一畫面的影像之間的區塊的位置變化的元素。舉例而言，圖2所示移動向量MV可被應用於當前畫面的區塊BK2，且可與物體10的移動或區塊BK1與區塊BK2之間的位置變化相關聯。
可執行移動估算來為構成當前畫面的影像的所有區塊產生移動向量。可對構成影像的區塊遞歸地執行產生移動向量的操作。遞歸可根據以下區塊的次序來執行。
舉例而言，參考圖3A及圖3B，可對構成一列的區塊遞歸地執行產生移動向量的操作，且接著可對構成另一列的區塊遞歸地繼續執行產生移動向量的操作。參考圖3A，可在相鄰列在相同方向上進行產生移動向量的操作。作為另一選擇，參考圖3B，可在相鄰列在相反的方向上進行產生移動向量的操作。作為另一選擇，參考圖3C，可沿著對角線方向的區塊遞歸地執行產生移動向量的操作。
然而，提供圖3A至圖3C的次序是為了便於更好地理解，且本揭露不限於圖3A至圖3C所示次序。與產生移動向量的操作相關聯的區塊的次序可被不同地改變或修改成適合於移動估算。然而，為便於更好地理解以下說明，將假設移動估算基於圖3A所示的次序。
移動估算可用於ISP 1130、FRC 1730及CODEC 1830。舉例而言，對於數位訊號穩定或時間雜訊降低（temporal noise reduction），ISP 1130可採用移動估算來區分預期影像分量與非預期雜訊分量。舉例而言，FRC 1730可採用移動估算來產生前一畫面與下一畫面之間的被適當地應用物體的移動的中間畫面。舉例而言，CODEC 1830可基於區塊的位置變化採用移動估算來壓縮影像資料。此外，移動估算可不同地用於影像處理及視訊處理。
因此，準確而有效地執行移動估算可能有助於提高影像處理及視訊處理的品質。就此而言，用於估算接近於人可感知的移動的真實移動估算可更有利於提高影像處理及視訊處理的品質，並且可使使用者滿意度高。以下欲闡述的示例性實施例可有利於準確及有效的真實移動估算。
圖4是闡述用於執行移動估算的示例性操作的流程圖。圖5A及圖5B是示出在移動估算中參考的當前區塊及候選區塊的實例的概念圖。圖6是用於闡述當前區塊與參考補片之間的相似度的概念圖。圖7及圖8A至圖8C是用於闡述用於移動估算的完全搜尋的概念圖。圖9是用於闡述下一當前區塊的隨後的移動估算的概念圖。
本揭露中闡述的移動估算可由ISP 1130、FRC 1730、CODEC 1830及/或另一組件來執行。舉例而言，採用移動估算的組件可包括用於執行移動估算的電子電路（參考圖10），並且電子電路可執行本揭露中闡述的操作。另外地或作為另一選擇，當指令由一或多個處理器執行時，所述指令可使所述一或多個處理器（例如，主處理器1800）執行本揭露中闡述的操作。在下文中，處理電路系統可指電子電路或主處理器1800，並且可包括：硬體（包括邏輯電路）；硬體/軟體組合（例如執行軟體的處理器）；或其組合。舉例而言，處理電路系統可更具體地包括但不限於中央處理單元（central processing unit，CPU）、算術邏輯單元（arithmetic logic unit，ALU）、數位訊號處理器、微型電腦、現場可程式化閘陣列（field programmable gate array，FPGA）、系統晶片（SoC）、可程式化邏輯單元、微處理器、應用專用積體電路（application-specific integrated circuit，ASIC）等。
參考圖4，在操作S110中，處理電路系統可確定當前區塊。當前區塊可意指構成作為當前畫面提供的影像的區塊中的其中欲在當前遞歸中執行產生移動向量的操作的區塊。當前位置可對應於影像上的當前位置（例如，座標）。如參考圖3A至圖3C所述，當前區塊及當前位置可根據以下區塊的次序來確定。
在操作S120中，處理電路系統可確定候選區塊。候選區塊可意指獲得當前區塊的移動向量所欲參考的具有候選移動向量的區塊。候選移動向量中指示與當前區塊最相似的參考補片的候選移動向量可被預期為適合於獲得當前區塊的移動向量。補片或參考補片可意指具有與當前畫面的影像上的一位置處的區塊的大小相同的大小的單位區域。
候選區塊可對應於相對於當前區塊在影像上的當前位置的相對位置。當在影像上確定當前區塊的當前位置時，可基於當前區塊的位置在相應的相對位置上確定候選區塊。
舉例而言，參考圖5A，當前區塊CB1可對應於當前位置（X1，Y1）。候選區塊SC11至SC61及TC11至TC61可分別對應於相對於當前位置的相對位置。舉例而言，候選區塊SC11可對應於（X1+1，Y1+5），其是相對於位置（X1，Y1）的相對位置。為簡潔起見，以下將省略與其他候選區塊的位置相關聯的說明。
然而，本揭露不限於圖5A，且候選區塊的相對位置可被不同地改變或修改。舉例而言，參考圖5B，當前區塊CB1可對應於當前位置（X1，Y1），且候選區塊SC11至SC91及TC11至TC61可分別對應於相對於當前位置的相對位置。
自以下說明得出，可容易地理解，提供圖5A及圖5B的示例候選區塊是為了便於更好地理解。例如候選區塊的數目、候選區塊的位置及候選區塊的分佈等屬性可考慮例如移動估算的精度及效能等各種因素來設計。然而，為便於更好地理解以下說明，將假設移動估算是基於圖5A所示的當前區塊CB1的當前位置與候選區塊SC11至SC61以及TC11至TC61的相對位置之間的座標關係。
候選區塊的相對位置可被不同地改變或修改，以準確及適當地執行移動估算。舉例而言，候選區塊的相對位置可在電子裝置1000運作之前由採用移動估算的組件（例如，ISP 1130、FRC 1730、CODEC 1830等）的設計者預先設定。作為另一選擇，候選區塊的相對位置可在電子裝置1000的操作期間適當地重新程式化。
同時，當移動估算基於圖3A所示次序時，可能已對於當前畫面產生候選區塊SC11至SC61的移動向量。另一方面，可能尚未對於當前畫面產生候選區塊TC11至TC61的移動向量。然而，對於前一畫面，可能已產生候選區塊TC11至TC61的移動向量。
移動估算可自緩沖記憶體1400及/或非揮發性記憶體1500讀取參考補片的資料以參考由對應於相對位置的候選區塊的候選移動向量指示的參考補片。移動估算可參考由基於當前畫面的影像的資料的候選區塊SC11至SC61的候選移動向量指示的參考補片。就此而言，候選區塊SC11至SC61可被理解為空間候選區塊。
移動估算可參考由基於前一畫面的影像的資料的候選區塊TC11至TC61的候選移動向量指示的參考補片。就此而言，候選區塊TC11至TC61可被理解為時間候選區塊。
返回至圖4，在操作S130中，處理電路系統可計算當前區塊與由候選區塊的候選移動向量指示的參考補片中的每一者之間的相似度。指示與當前區塊最相似的參考補片的候選移動向量很可能與旨在相對於當前區塊獲得的移動向量相似。
在操作S140中，處理電路系統可基於相似度計算來確定哪個參考補片與當前區塊最相似。亦即，對於所確定的一個參考補片計算的相似度可為對於所有參考補片計算的相似度中最大的相似度。在本揭露中，指示所確定的一個參考補片的候選移動向量可被稱為最佳候選移動向量。
當前區塊與參考補片之間的相似度可以各種方式計算。舉例而言，參考圖6，可基於畫素值來計算相似度。畫素值可意指對應於構成區塊或補片的畫素的值（例如，RGB值、亮度值、透明度值等）。
舉例而言，移動估算可計算當前區塊的畫素值與參考補片的畫素值之間的差值。接著，移動估算可計算所計算的差值之和。所計算出的和可被理解為絕對差值之和（sum of absolute difference，SAD）。
相似度可基於SAD來計算。當對於參考補片計算的SAD大時，可理解參考補片與當前區塊之間的相似度小。另一方面，當對於參考補片計算的SAD小時，可理解參考補片與當前區塊之間的相似度大。可理解，在參考補片中，對應於最小SAD的參考補片與當前區塊最相似。
如此一來，處理電路系統可確定參考補片中與當前區塊最相似的一個參考補片。然而，參考圖6闡述的相似度計算是可能的方式中的一者，且不旨在限制本揭露。相似度計算可被不同地改變或修改成適合於移動估算。
返回至圖4，在操作S150中，處理電路系統可基於所確定的一個參考補片執行完全搜尋。舉例而言，所確定的一個參考補片可較其他參考補片更相似於當前區塊，但是可能與當前區塊有些不同。因此，完全搜尋可提供微調以用於在所確定的一個參考補片周圍的搜尋範圍內搜尋與當前區塊更相似的補片。
在操作S160中，處理電路系統可透過完全搜尋來確定搜尋範圍內的最終參考補片。最終參考補片可意指搜尋範圍中所包括的補片中被確定為與當前區塊最相似的參考補片。在本揭露中，指示最終參考補片的移動向量可被稱為最終移動向量。
參考圖7，當基於相似度計算確定由最佳候選移動向量指示的參考補片時，移動估算可圍繞所確定的參考補片設定搜尋範圍。搜尋範圍可意指執行完全搜尋的範圍。
搜尋範圍可包括構成所確定的參考補片的畫素。另外，搜尋範圍可更包括基於所確定的參考補片的畫素的位置確定的畫素。舉例而言，搜尋範圍可被設定成基於所確定的參考補片的畫素沿著水平方向及垂直方向更包括若干畫素。然而，此僅為可能的實例中的一者，而不旨在限制本揭露。
此後，移動估算可對搜尋範圍中所包括的畫素進行組合來確定搜尋補片。移動估算可基於構成每一搜尋補片的畫素與構成當前區塊的畫素之間的相似度來確定最終參考補片。相似度可藉由參考圖6闡述的方式或另一種方式來計算。
舉例而言，參考圖8A，移動估算可確定搜尋範圍內包括數目與構成當前區塊的畫素的數目相同的畫素的第一搜尋補片，並且可計算當前區塊與第一搜尋補片之間的相似度。另外，參考圖8B，採用相似的方式，移動估算可確定搜尋範圍內的第二搜尋補片，並且可計算當前區塊與第二搜尋補片之間的相似度。
如此一來，參考圖8C，移動估算可藉由對畫素進行組合來確定搜尋範圍內的多個搜尋補片，畫素的數目與構成當前區塊的畫素的數目相同。舉例而言，採用相似的方式，移動估算可確定第六搜尋補片及第二十五搜尋補片。另外，移動估算可計算當前區塊與所述多個搜尋補片中的每一者之間的相似度。
移動估算可將所述多個搜尋補片中與當前區塊最相似的搜尋補片確定為最終參考補片。透過圖7至圖8C的完全搜尋，移動估算可確定與當前區塊最相似的最終參考補片。舉例而言，指示最終參考補片的最終移動向量可能與移動估算旨在自當前區塊獲得的移動向量相似。因此，最終移動向量可能最適合於獲得當前區塊的移動向量。
藉由操作S110至操作S160，移動估算可基於候選區塊具有的候選移動向量中的最終候選移動向量來獲得當前區塊的移動向量。舉例而言，當前區塊的移動向量可基於指示搜尋範圍內的最終參考補片的最終移動向量來產生。所產生的移動向量可描述當前區塊的位置變化或與當前區塊相關聯的物體的移動。
同時，當對於構成當前畫面的影像的所有區塊皆未產生移動向量時（當圖4所示操作S170為否時），處理電路系統可對未產生移動向量的區塊執行操作S110至操作S160。為此，處理電路系統可重新確定當前區塊，使得當前畫面的影像上的當前位置移動至對應於未產生移動向量的區塊。
舉例而言，當產生圖5A所示當前區塊CB1的移動向量時，移動估算可重新確定圖9所示當前區塊CB2。參考圖9，舉例而言，可確定當前區塊CB2，使得對應於當前區塊CB2的當前位置（X2，Y2）自圖5A所示位置（X1，Y1）移動（例如，當採用圖3A所示次序時，（X2，Y2） = （X1+1，Y1））。可執行操作S110至操作S160以產生當前區塊CB2的移動向量。
為產生當前區塊CB2的移動向量，處理電路系統可確定候選區塊SC12至SC62及TC12至TC62。候選區塊SC12至SC62及TC12至TC62可對應於相對於當前區塊CB2的當前位置（X2，Y2）的相對位置。
移動估算可確定候選區塊，使得移動的當前位置與對應於候選區塊的相對位置之間的座標關係不發生改變。舉例而言，比較圖5A與圖9，圖9中當前區塊CB2的當前位置與候選區塊SC12至SC62以及TC12至TC62的相對位置之間的座標關係可與圖5A中當前區塊CB1的當前位置與候選區塊SC11至SC61以及TC11至TC61的相對位置之間的座標關係相同。亦即，移動估算可確定候選區塊而不改變預先設定或重新程式化的相對位置。
可對構成當前畫面的影像的區塊遞歸地執行參考圖4至圖9闡述的操作。亦即，在構成影像的區塊的每一次遞歸中，移動估算可確定當前區塊及候選區塊，可基於候選區塊所具有的相對於由移動向量指示的參考補片的相似度來確定最終參考補片，且可自指示最終參考補片的最終移動向量產生當前區塊的移動向量。在構成影像的區塊的每一次遞歸中，相對於當前位置的相對位置可能不會改變。
在產生構成當前畫面的影像的所有區塊的移動向量（圖4所示S170為是）之後，可完成構成影像的區塊的遞歸。完成移動估算的影像可被ISP 1130、FRC 1730、CODEC 1830及/或另一組件參考。此後，舉例而言，對於當前畫面之後的下一畫面，可執行參考圖4至圖9闡述的操作。
參考圖4至圖9闡述的移動估算可參考已經產生移動向量的候選區塊來執行。除了當前畫面的影像的資料之外，此種移動估算亦可使用前一畫面的影像的資料。就此而言，此種移動估算可被理解為採用三維遞歸搜尋（3-dimensional recursive search，3DRS）方式。
圖10是示出根據一些示例性實施例的用於執行移動估算的示例性配置的方塊圖。
在一些示例性實施例中，可提供用於執行影像之間的移動估算的電子電路2000。本揭露中闡述的移動估算可由電子電路2000來執行。
舉例而言，電子電路2000可包括在ISP 1130、FRC 1730、CODEC 1830及/或另一組件中。作為另一選擇，電子電路2000可在獨立的IP中實施。電子電路2000可由ISP 1130、FRC 1730、CODEC 1830及/或另一組件共享，或者可單獨為ISP 1130、FRC 1730、CODEC 1830及/或另一組件提供。
電子電路2000可包括被配置成執行本揭露中所闡述的移動估算的硬體電路（例如，硬體電路、邏輯電路等）。在一些示例性實施例中，電子電路2000可在應用專用積體電路（ASIC）或現場可程式化閘陣列（FPGA）中實施。
另外地或作為另一選擇，電子電路2000可為一或多個處理器（例如，主處理器1800）的一部分，且可執行被配置成提供本揭露中所闡述的移動估算的程式代碼的指令。在一些情形中，緩沖記憶體1400及/或非揮發性記憶體1500可儲存指令，且電子電路2000可與緩沖記憶體1400及/或非揮發性記憶體1500進行通訊以執行指令。
舉例而言，緩沖記憶體1400可儲存影像資料DAT1。影像資料DAT1可至少包括當前畫面的影像的資料及前一畫面的影像的資料。舉例而言，影像資料DAT1可包括畫素值的資訊。當執行移動估算時，電子電路2000可與緩沖記憶體1400進行通訊以讀取影像資料DAT1。
在示例性實施例中，可基於層階搜尋來執行移動估算。為此，影像資料DAT1可包括原始影像的資料及K被抽取影像的資料（K是自然數）。此種抽取可等同地應用於當前影像及前一影像二者。將參考圖11A至圖15闡述被抽取影像及層階搜尋。
儘管圖10中未示出，但是在一些情形中，非揮發性記憶體1500可儲存影像資料DAT1。在此種情形中，電子電路2000可與非揮發性記憶體1500進行通訊以讀取影像資料DAT1。作為另一選擇，非揮發性記憶體1500的影像資料DAT1可被加載至緩沖記憶體1400，且電子電路2000可與緩沖記憶體1400進行通訊。
舉例而言，電子電路2000可自緩沖記憶體1400（及/或非揮發性記憶體1500）的影像資料DAT1讀取由與候選區塊所具有的候選移動向量指示的參考補片相關聯的資料以在移動估算中參考參考補片。當移動估算參考的資料量增加時，自記憶體讀取資料及處理所讀取的資料可能花費長的時間。因此，隨著處理資料的速度降低，移動估算所花費的時間可增加，且處理資料可能會耗費大量電力。另外，隨著記憶體存取的頻寬或頻率的增加，記憶體的功耗可增加。
因此，就效能及功耗而言，減少移動估算所參考的資料量可能有利於提高使用者滿意度。將參考圖11A至圖15來闡述減少移動估算中的資料量的實例。
圖11A至圖11C是示出根據一些示例性實施例的移動估算所參考的原始影像及被抽取影像的實例的概念圖。
參考圖11A，原始影像可意指藉由影像處理區塊1100產生的未經修改的或者欲顯示在顯示面板1700上的未經修改的影像本身。原始影像可被分區成區塊，且每一區塊可包括多個畫素。舉例而言，原始影像可包括區塊BK3，且區塊BK3可包括多個畫素。
在示例性實施例中，移動估算可自原始影像產生被抽取影像。在本文中，「抽取（decimate）」或「抽取（decimation）」可意指降低取樣率或降取樣。移動估算可對原始影像進行降取樣，以產生被抽取影像中的每一者。
舉例而言，參考圖11B，可藉由對原始影像進行降取樣來產生第一被抽取影像，使得第一被抽取影像具有對應於原始影像的一半（1/2）的影像大小。在此種情形中，對於第一被抽取影像的區塊BK3取樣的畫素的數目可為原始影像的區塊BK3中所包括的畫素的數目的四分之一（1/4）。
舉例而言，參考圖11C，可藉由對原始影像進行降取樣n次來產生第二被抽取影像，使得第二被抽取影像具有對應於原始影像的1/4的影像大小。在此種情形中，對於第二被抽取影像的區塊BK3取樣的畫素的數目可為原始影像的區塊BK3中所包括的畫素的數目的1/16。
可產生被抽取影像，使得被抽取影像具有不同的解析度。為此，可藉由以不同的比率對原始影像進行降取樣來產生被抽取影像。被抽取影像的解析度中的每一者可低於原始影像的解析度。原始影像的解析度可為包括原始影像及被抽取影像在內的所有影像的解析度中最高的解析度。
原始影像上的座標可與每一被抽取影像上的座標具有對應關係。舉例而言，對於圖11B及圖11C的被抽取影像中的每一者的區塊BK3取樣的畫素的座標可對應於圖11A所示原始影像的區塊BK3中所包括的畫素的座標。
如此一來，可自原始影像產生被抽取影像。本文中闡述了兩被抽取影像（K=2），但是被抽取影像的數目可被不同地改變或修改，此將在以下加以闡述。另外，用於產生每一被抽取影像的降取樣率可被不同地改變或修改成不同於1/4或1/16。然而，為便於更好地理解，以下將闡述與圖11A至圖11C的影像相關聯的實例。
在示例性實施例中，移動估算可參考包括原始影像及被抽取影像的影像中的每一者來執行，而非對於單個影像來執行。為此，處理電路系統可在參考被抽取影像之前藉由降取樣預先產生被抽取影像，且被抽取影像的資料可作為影像資料DAT1預先儲存於緩沖記憶體1400及/或非揮發性記憶體1500中。
圖12A至圖12D是示出根據一些示例性實施例在基於層階搜尋的移動估算中選擇候選區塊中的一些候選區塊的實例的概念圖。圖13是用於闡述根據一些示例性實施例的基於層階搜尋的移動估算的概念圖。
基於層階搜尋的移動估算（在下文中被稱為「移動估算」）可參考包括原始影像及被抽取影像的影像中的每一者。處理電路系統可對於影像中的每一者確定當前區塊及候選區塊。當前區塊及候選區塊中的每一者可在原始影像及被抽取影像上的相應座標上確定。
在每一被抽取影像上，當前區塊及候選區塊的大小可與自原始影像抽取的量成比例地減小。在每一被抽取影像上，候選區塊相對於當前區塊的相對位置可與自原始影像抽取的量成比例地變得更接近當前區塊的當前位置。另外，在每一被抽取影像上，候選區塊所具有的候選移動向量的長度可與自原始影像抽取的量成比例地減小。
舉例而言，參考圖12A，處理電路系統可首先基於當前區塊CB1對於第二被抽取影像的位置來確定候選區塊SC11至SC61及TC11至TC61。對於第二被抽取影像，處理電路系統可在相對於當前區塊CB1的當前位置的相對位置上確定候選區塊SC11至SC61及TC11至TC61，如參考圖4所示操作S110及操作S120以及圖5A及圖5B所述。
對於第二被抽取影像，移動估算可僅確定一些所選擇的候選區塊SC11至SC61及TC11至TC61，且可僅參考所選擇的候選區塊SC11至SC61及TC11至TC61的候選移動向量，而非對所有畫素執行完全搜尋。對於第二被抽取影像，如參考圖6及圖4所示操作S130所述，移動估算可計算當前區塊CB1與由候選區塊SC11至SC61及TC11至TC61的候選移動向量指示的參考補片中的每一者之間的相似度。
移動估算可基於相似度選擇候選區塊SC11至SC61及TC11至TC61中的一些候選區塊。舉例而言，移動估算可在候選區塊SC11至SC61及TC11至TC61中選擇具有對應於更大相似度的一半候選移動向量的候選區塊。由所選擇的候選區塊的候選移動向量指示的參考補片與當前區塊CB1之間的相似度可大於由未選擇的候選區塊的候選移動向量指示的參考補片與當前區塊CB1之間的相似度。
對於第二被抽取影像選擇的候選區塊可在參考第二被抽取影像之後立即參考第一被抽取影像。舉例而言，參考圖12B，當對於第二被抽取影像選擇候選區塊SC41、SC61、TC21、TC41、TC51及TC61時，可對於第一被抽取影像使用候選區塊SC41、SC61、TC21、TC41、TC51及TC61。另一方面，未對於第二被抽取影像選擇的候選區塊可被排除，而不對於第一被抽取影像使用。
處理電路系統可對於第一被抽取影像確定候選區塊SC41、SC61、TC21、TC41、TC51及TC61。對於第一被抽取影像，移動估算可計算當前區塊CB1與由候選區塊SC41、SC61、TC21、TC41、TC51及TC61的候選移動向量指示的參考補片中的每一者之間的相似度。移動估算可在候選區塊SC41、SC61、TC21、TC41、TC51及TC61中選擇具有對應於更大相似度的一半候選移動向量的候選區塊。
對於第一被抽取影像選擇的候選區塊可在參考第一被抽取影像之後立即參考原始影像。舉例而言，參考圖12C，當對於第一被抽取影像選擇候選區塊SC41、SC61及TC41時，可對於原始影像使用候選區塊SC41、SC61及TC41。另一方面，未對於第一被抽取影像選擇的候選區塊可被排除，而不對於原始影像使用。
移動估算可對於原始影像確定候選區塊SC41、SC61及TC41。對於原始影像，如參考圖4至圖6所述，處理電路系統可確定由候選區塊SC41、SC61及TC41的候選移動向量中的最佳候選移動向量指示的一個參考補片。舉例而言，參考圖12D，候選區塊SC61的候選移動向量可為最佳候選移動向量。
此後，如參考圖4及圖7至圖8C所述，移動估算可基於由對於原始影像的最佳候選移動向量指示的參考補片來執行完全搜尋，且可基於自完全搜尋確定的最終參考補片來產生當前區塊CB1的移動向量。
參考圖13，處理電路系統可沿著包括被抽取影像及原始影像的層階結構的層搜尋與當前區塊CB1相似的參考補片，且可將參考圖4至圖9所述的3DRS方式應用於搜尋到的參考補片。
為此，首先，對於被抽取影像中具有最低解析度的被抽取影像（例如，圖13所述第二被抽取影像），處理電路系統可確定當前區塊CB1及候選區塊SC11至SC61以及TC11至TC61，如參考圖5A及圖5B以及圖4所示操作S110及操作S120所述。
在本文中，處理電路系統可基於當前區塊CB1的位置來確定相對位置處的候選區塊SC11至SC61及TC11至TC61，而不對於第二被抽取影像完全搜尋所有畫素，且可參考由所確定的候選區塊SC11至SC61及TC11至TC61的候選移動向量指示的參考補片。因此，相較於對具有最低解析度的被抽取影像執行完全搜尋的方式，移動估算參考的資料量可減少。
舉例而言，處理電路系統可自記憶體（例如，緩沖記憶體1400及/或非揮發性記憶體1500）讀取影像資料DAT1，以參考由對於第二被抽取影像的候選區塊SC11至SC61及TC11至TC61的候選移動向量指示的參考補片。自記憶體讀取的影像資料DAT1的量可少於完全搜尋的資料量。
移動估算可選擇對於被抽取影像中的每一者確定的候選區塊中的一些候選區塊。可基於當前區塊CB1及候選區塊（例如，基於當前區塊CB1與由候選區塊的候選移動向量指示的參考補片中的每一者之間的相似度）來選擇候選區塊中的一些候選區塊。
舉例而言，處理電路系統可根據自具有最低解析度的被抽取影像（例如，圖13所示第二被抽取影像）至具有最高解析度的被抽取影像（例如，圖13所示第一被抽取影像）的次序來參考被抽取影像。另外，移動估算可根據次序對於每一被抽取影像選擇候選區塊中的一些候選區塊。舉例而言，移動估算可藉由對於被抽取影像中的每一者設定的比率或數目來選擇候選區塊中的一些候選區塊。
舉例而言，移動估算可選擇候選區塊SC41、SC61、TC21、TC41、TC51及TC61，候選區塊SC41、SC61、TC21、TC41、TC51及TC61是對於第二被抽取影像確定的候選區塊SC11至SC61及TC11至TC61的一半。由所選候選區塊SC41、SC61、TC21、TC41、TC51及TC61的候選移動向量指示的參考補片與當前區塊CB1之間的相似度可大於由未選擇候選區塊的候選移動向量指示的參考補片與當前區塊CB1之間的相似度。在本文中，用於選擇候選區塊中的一些候選區塊的一半的比率僅為便於更好地理解的實例，且比率或數目可被不同地改變或修改成適合於移動估算。
所選擇的候選區塊SC41、SC61、TC21、TC41、TC51及TC61可對於第一被抽取影像使用，所述第一被抽取影像緊接在第二被抽取影像之後參考。移動估算可對於第一被抽取影像確定候選區塊SC41、SC61、TC21、TC41、TC51及TC61。
舉例而言，處理電路系統可選擇候選區塊SC41、SC61及TC41，候選區塊SC41、SC61及TC41是對於第一被抽取影像確定的候選區塊SC41、SC61、TC21、TC41、TC51及TC61的一半。由所選擇候選區塊SC41、SC61及TC41的候選移動向量指示的參考補片與當前區塊CB1之間的相似度可大於由未選擇候選區塊的候選移動向量指示的參考補片與當前區塊CB1之間的相似度。對於第一被抽取影像選擇的候選區塊SC41、SC61及TC41可為對於第二被抽取影像選擇的候選區塊SC41、SC61、TC21、TC41、TC51及TC61中的一些候選區塊。
所選擇的候選區塊SC41、SC61及TC41可對於緊接在第一被抽取影像之後參考的原始影像使用。移動估算可對於原始影像確定候選區塊SC41、SC61及TC41。對於原始影像確定的候選區塊SC41、SC61及TC41的數目可少於對於第二被抽取影像確定的候選區塊SC11至SC61及TC11至TC61的數目（例如，四分之一（1/4））。
如此一來，處理電路系統可對於先前參考的影像選擇候選區塊中的一些候選區塊，且可僅使用對於下一被抽取影像的所選擇候選區塊。由此，由於候選區塊中的一些候選區塊是根據次序基於原始影像及被抽取影像中的每一者來選擇的，因此正在使用的候選區塊的數目可逐漸減少。因此，對於原始影像參考的資料量可減少。
處理電路系統可使用候選區塊SC41、SC61及TC41（例如，藉由參考由候選區塊SC41、SC61及TC41的候選移動向量指示的參考補片）來產生當前區塊CB1的移動向量。為此，處理電路系統可計算當前區塊CB1與由對於原始影像確定的候選區塊SC41、SC61及TC41的候選移動向量指示的參考補片中的每一者之間的相似度。所述相似度可如參考圖4所示操作S130及圖6來計算。
處理電路系統可基於相似度自由候選區塊SC41、SC61及TC41的候選移動向量指示的參考補片選擇一個參考補片（例如，由最佳候選移動向量指示）。在由候選區塊SC41、SC61及TC41的候選移動向量指示的參考補片中，所選擇的參考補片可具有與當前區塊CB1的畫素值最相似的畫素值。隨著候選區塊的數目透過層階搜尋而減少，可最後自由候選區塊SC11至SC61及TC11至TC61的候選移動向量指示的參考補片選擇所選擇的參考補片。
處理電路系統可基於對於原始影像選擇的參考補片來產生當前區塊CB1的移動向量。為此，如參考圖4所示操作S150以及圖7及圖8A至圖8C所述，移動估算可基於對於原始影像選擇的參考補片來執行完全搜尋。然而，選擇參考補片可被理解為選擇候選區塊以確定由所選擇候選區塊的候選移動向量指示的參考補片。
處理電路系統可基於自完全搜尋確定的最終參考補片來產生當前區塊CB1的移動向量。當前區塊CB1的移動向量可基於指示最終參考補片的最終移動向量來獲得。
圖14A及圖14B是示出根據一些示例性實施例在基於層階搜尋的移動估算中選擇候選區塊中的一些候選區塊的實例的概念圖。
參考圖14A，舉例而言，由對應於與當前區塊CB1的當前位置相鄰的座標的相對位置處的候選區塊SC51、SC61、TC11及TC21的候選移動向量指示的參考補片可能相似於當前區塊CB1（因此，參考補片可能適合於產生當前區塊CB1的移動向量）。
就此而言，在一些示例性實施例中，候選區塊SC51、SC61、TC11及TC21可對於所有被抽取影像選擇，而不是未被選擇。在一些示例性實施例中，當候選區塊SC51、SC61、TC11及TC21是對於所有被抽取影像確定及選擇時，可省略與由候選區塊SC51、SC61、TC11及TC21的候選移動向量指示的參考補片相關聯的相似度計算。
另一方面，可基於相對於當前區塊CB1的相似度選擇或不選擇對應於不與當前區塊CB1的當前位置相鄰的座標的相對位置處的候選區塊SC11至SC41及TC31至TC61。如上所述，可對於下一影像僅參考所選擇候選區塊。
舉例而言，參考圖14B，所選擇候選區塊可包括與當前區塊CB1的座標相鄰的座標處的候選區塊SC51、SC61、TC11及TC21。另外，移動估算可在不與當前區塊的座標相鄰的座標處選擇候選區塊中的一些候選區塊（例如，候選區塊SC41、TC41、TC51及TC61）。另一方面，移動估算可不在不與當前區塊的座標相鄰的座標處選擇候選區塊中的其他一些候選區塊。
舉例而言，候選區塊SC51、SC61、TC11及TC21可對於第二被抽取影像被選擇而不會不被選擇，且可對於第一被抽取影像被確定。然而，候選區塊SC51、SC61、TC11及TC21中的每一者可基於對於原始影像計算的相似度被確定或不被確定為具有最佳候選移動向量。
候選區塊SC41、TC41、TC51及TC61可基於相似度而對於第二被抽取影像來選擇，且可對於第一被抽取影像來確定。可不對於第二被抽取影像選擇其他候選區塊，且可不對於第一被抽取影像參考其他候選區塊。
圖15是用於闡述根據一些示例性實施例的基於層階搜尋的移動估算的概念圖。
已參考圖11至圖14闡述了兩被抽取影像及用於選擇候選區塊的一半的比率，但是本揭露並非僅限於此。移動估算可被不同地改變或修改以採用選擇K被抽取影像及候選區塊。
舉例而言，可藉由對原始影像進行降取樣來產生第K被抽取影像，使得第K被抽取影像具有對應於原始影像的1/J（J是正實數）的影像大小，且可具有被抽取影像中的最低解析度。移動估算可對於第K被抽取影像確定當前區塊及候選區塊。在示例性實施例中，對於第K被抽取影像，可僅使用候選區塊而不完全搜尋所有畫素，且因此參考資料量可減少。
可對於第K被抽取影像選擇候選區塊中的一些候選區塊，且可對於第（K-1）被抽取影像（未示出）來確定及參考所選擇的候選區塊。如此一來，可對於第三被抽取影像（未示出）選擇候選區塊的1/P（P是正實數），且可對於第二被抽取影像來確定及使用所選擇的候選區塊。
第二被抽取影像可藉由對原始影像進行降取樣來產生，使得第二被抽取影像具有對應於原始影像的1/L的影像大小（L是正實數）。移動估算可對於第二被抽取影像選擇候選區塊的1/R（R是正實數），且可對於第一被抽取影像確定及使用所選擇候選區塊。
第一被抽取影像可藉由對原始影像進行降取樣來產生，使得第一被抽取影像具有對應於原始影像的1/Q的影像大小（Q是正實數：Q > L > J），且可具有被抽取影像中的最高解析度。移動估算可對於第一被抽取影像選擇候選區塊的1/S（S是正實數），且可對於原始影像確定及使用所選擇候選區塊。移動估算可使用對於原始影像確定的候選區塊來產生當前區塊的移動向量。
如此一來，當根據自具有最低解析度的被抽取影像至具有最高解析度的被抽取影像的次序選擇候選區塊中的一些候選區塊時，所使用的候選區塊的數目可逐漸減少。因此，對於原始影像參考的資料量可減少。
在一些示例性實施例中，用於表達各個影像的畫素的位元的數目可彼此不同。舉例而言，構成原始影像的每一畫素可基於W個位元來表達，且構成第一被抽取影像的每一畫素可基於X個位元來表達。構成第二被抽取影像的每一畫素可基於Y個位元來表達，且構成第K被抽取影像的每一畫素可基於Z個位元來表達（W、X、Y及Z是自然數）。
在本文中，Z可小於Y，Y可小於X，且X可小於W。亦即，具有較低解析度的被抽取影像的畫素可基於較少的位元的數目來表達。因此，可基於較少的位元的數目來獲得對於具有較低解析度的被抽取影像計算的相似度。在此種情形中，移動估算參考的資料量可減少。
候選區塊的數目、被抽取影像的數目、每一被抽取影像的解析度、用於選擇候選區塊的比率或數目、表達每一影像的畫素的位元的數目等可被不同地改變或修改。舉例而言，當旨在參考更大數目的候選區塊時，可產生具有更低解析度的更多被抽取影像。此外，數值可被不同地改變或修改成適合於移動估算的要求。
如上所述，在示例性實施例中，移動估算參考的資料量可減少。在此種情形中，自記憶體讀取資料及處理所讀取的資料所花費的時間可減少。因此，隨著資料處理速度的提高，移動估算所花費的時間可減少，且處理資料所耗費的電力量可減少。隨著記憶體存取的頻寬或頻率降低，記憶體的功耗可降低。即使資料量減少，當採用層階搜尋時，移動估算的精度可能亦不會降低，或者移動估算的精度的降低程度可能最小化。
圖16是示出根據一些示例性實施例的用於執行基於層階搜尋的移動估算的示例性配置的方塊圖。圖17是闡述根據一些示例性實施例的用於執行基於層階搜尋的移動估算的示例性操作的流程圖。
參考圖16，在一些示例性實施例中，電子電路2000可包括抽取器2050、區塊確定器2100、候選選擇器2300、相似度計算器2500、完全搜尋操作器2700及移動向量產生器2900。抽取器2050、區塊確定器2100、候選選擇器2300、相似度計算器2500、完全搜尋操作器2700及移動向量產生器2900可在被配置成執行本揭露中所述的操作的硬體電路中實施。
另外地或作為另一選擇，抽取器2050、區塊確定器2100、候選選擇器2300、相似度計算器2500、完全搜尋操作器2700及移動向量產生器2900可藉由軟體的執行來實施。當一或多個處理器（例如，主處理器1800、電子電路2000的單獨的處理器2005等）執行軟體時，所述一或多個處理器可被轉換成專用處理器以執行抽取器2050、區塊確定器2100、候選選擇器2300、相似度計算器2500、完全搜尋操作器2700及移動向量產生器2900的操作。
在操作S205中，抽取器2050可基於影像資料DAT1自原始影像產生被抽取影像，影像資料DAT1可實質上相同於或相似於參考圖11A至圖11C所述者。被抽取影像可被儲存為影像資料DAT1的一部分。
在操作S210中，區塊確定器2100可基於影像資料DAT1來確定當前區塊。另外，在操作S212中，區塊確定器2100可對於具有最低解析度的第K被抽取影像確定候選區塊。操作S210及S212可實質上相同於或相似於參考圖4所示操作S110及操作S120以及圖5A、圖5B、圖12A及圖13所述者。
在操作S213中，相似度計算器2500可基於影像資料DAT1計算由區塊確定器2100確定的當前區塊與由對於被抽取影像中的每一者的候選區塊的候選移動向量指示的參考補片中的每一者之間的相似度，此可實質上相同於或相似於參考圖4所示操作S130以及圖6及圖13所述者。
在操作S214中，候選選擇器2300可對於被抽取影像中的每一者基於由相似度計算器2500計算的相似度以設定比率或設定數目選擇具有對應於更大相似度的候選移動向量的候選區塊，此可實質上相同於或相似於參考圖12A至圖12D及圖13所述者。
當未對於具有最高解析度的第一被抽取影像執行候選區塊選擇時（當圖17所示S218為否時），在操作S219中，區塊確定器2100可對於下一被抽取影像確定由候選選擇器2300選擇的候選區塊，且可將所選擇候選區塊及其候選移動向量投影至下一被抽取影像。因此，可對於下一被抽取影像重覆相似度計算及候選區塊選擇（圖17所示S213及S214）。該些可實質上相同或相似於參考圖12A至圖12D及圖13所述者。
當對於具有最高解析度的第一被抽取影像執行候選區塊選擇時（當圖17所示S218為是時），在操作S220中，區塊確定器2100可對於原始影像確定候選區塊，且可將所確定的候選區塊及其候選移動向量投影至原始影像。
在操作S230中，相似度計算器2500可計算當前區塊與對於原始影像的候選區塊的候選移動向量指示的參考補片中的每一者之間的相似度。另外，在操作S240中，相似度計算器2500可基於最大相似度來確定由最佳候選移動向量指示的參考補片。該些可實質上相同於或相似於參考圖12A至圖12D及圖13所述者。
在操作S250中，完全搜尋操作器2700可對由相似度計算器2500確定的參考補片周圍的搜尋區域執行完全搜尋，此可實質上相同於或相似於參考圖4所示操作S150以及圖7及圖8A至圖8C所述者。
在操作S260中，移動向量產生器2900可基於完全搜尋操作器2700的完全搜尋結果來確定搜尋區域內的最終參考補片，此可實質上相同於或相似於參考圖4所示操作S160以及圖7及圖8A至圖8C所述者。
移動向量產生器2900可基於指示最終參考補片的最終移動向量來產生當前區塊的移動向量MV。移動向量MV的資料可作為移動估算資料DAT2儲存於緩沖記憶體1400及/或非揮發性記憶體1500中。可參考移動估算資料DAT2來執行ISP 1130、FRC 1730、CODEC 1830及/或另一組件的功能或操作。
當不對於構成當前畫面的影像的所有塊產生移動向量時（當圖17所示操作S270為否時），可對未產生移動向量的區塊執行操作S205至操作S260。為此，區塊確定器2100可重新確定當前區塊，使得當前畫面的影像上的當前位置移動至對應於未產生移動向量的區塊。在產生構成當前畫面的影像的所有區塊的移動向量（圖17所示S270為是）之後，可完成構成影像的區塊的遞歸。
圖18是示出圖1所示CODEC 1830的示例性配置的方塊圖。
舉例而言，CODEC 1830可在用於按照視訊處理標準（例如，HEVC/H265、VP9等）對視訊資料進行編碼及解碼的電子電路中實施。為此，舉例而言，CODEC 1830可包括分區控制器3110、轉換器/量化器3120、逆轉換器/逆量化器3130、濾波器3140、畫面緩衝器3150、畫面內預測器3160、移動補償器3170、移動估算器3180及熵編碼器3190。
CODEC 1830的每一組件可包括被配置成執行以下欲闡述的操作的硬體電路。另外地或作為另一選擇，當用於實施CODEC 1830的每一組件的指令由一或多個處理器執行時，所述一或多個處理器可引起以下欲闡述的操作。
分區控制器3110可接收原始資料DAT_ORG。原始資料DAT_ORG可包括在顯示面板1700上顯示影像或視訊所參考的資料。分區控制器3110可對原始資料DAT_ORG進行分區以產生包括殘差資料的轉換單元的資料以及畫面內預測及/或移動補償所參考的預測單元的資料。
轉換器/量化器3120可接收殘差資料。殘差資料可對應於來自分區控制器3110的輸出與來自畫面內預測器3160及移動補償器3170中的一者的輸出之間的差異。轉換器/量化器3120可對殘差資料進行轉換及量化以產生經轉換的資料。逆轉換器/逆量化器3130可對經換後的資料進行逆轉換及逆量化以恢復殘差資料。
濾波器3140可接收恢復的殘差資料與來自畫面內預測器3160及移動補償器3170中的一者的輸出之和。濾波器3140可包括用於移除區塊之間邊界處所包括的雜訊的去區塊濾波器、用於補償原始資料DAT_ORG的畫面與恢復資料的畫面之間的畸變的樣本自適應偏移濾波器、用於補償在編碼期間發生的資訊丟失的自適應環路濾波器等。
畫面緩衝器3150可對原始資料DAT_ORG的前一畫面的資料進行緩衝。舉例而言，緩沖記憶體1400及/或非揮發性記憶體1500可用作畫面緩衝器3150。移動補償器3170及移動估算器3180可將經緩衝的資料與當前畫面的資料一起參考。
畫面內預測器3160可接收恢復的殘差資料與來自畫面內預測器3160及移動補償器3170中的一者的輸出之和。畫面內預測器3160可使用與原始資料DAT_ORG的當前畫面的預測目標區塊相鄰的區塊來獲得預測目標區塊的預測資料。畫面內預測可基於一個畫面中所包括的區塊來執行。
相似於參考圖2至圖16所述者，移動估算器3180可在當前畫面的影像與前一畫面的影像之間執行畫面間預測。移動估算器3180可產生對應於構成當前畫面的影像的區塊的移動向量。
移動補償器3170可獲得由畫面間預測檢測到的預測資料。藉由畫面內預測獲得的預測資料及藉由畫面間預測獲得的預測資料中的一者可用於轉換器/量化器3120及濾波器3140。
由移動估算器3180產生的移動向量及由轉換器/量化器3120產生的殘差資料可被提供至熵編碼器3190。熵編碼器3190可基於移動向量及殘差資料產生經編碼資料DAT_ENC。舉例而言，經編碼資料DAT_ENC可儲存於緩沖記憶體1400及/或非揮發性記憶體1500中。可參考經編碼資料DAT_ENC以在顯示面板1700上顯示視覺資訊。
圖19是用於闡述根據一些示例性實施例的移動估算與視訊編碼之間的關係的概念圖。
如參考圖10至圖17所述，電子電路2000可根據示例性實施例執行基於層階搜尋的移動估算以產生移動向量。舉例而言，電子電路2000可根據自第K被抽取影像至第一被抽取影像的次序選擇與當前區塊更相似的候選區塊。
如參考圖18所述，CODEC 1830可包括移動估算器3180以基於移動估算執行視訊編碼及解碼。在一些示例性實施例中，移動估算器3180亦可執行基於層階搜尋的移動估算。舉例而言，移動估算器3180可對於第K被抽取影像執行完全搜尋，且可根據自第（K-1）被抽取影像至第一被抽取影像的次序選擇與當前區塊更相似的候選區塊。
在一些示例性實施例中，被配置成在CODEC 1830中執行移動估算的移動估算器3180的硬體組件中的所有或一些硬體組件可由電子電路2000共享。舉例而言，CODEC 1830及電子電路2000可對於第（K-1）被抽取影像至第一被抽取影像使用共享硬體組件來執行移動估算。然而，對於第K被抽取影像，電子電路2000可使用獨立的硬體組件來執行候選區塊選擇而非完全搜尋。
然而，本揭露不限於以上說明。在一些示例性實施例中，移動估算器3180亦可執行候選區塊選擇，而非對於第K被抽取影像執行完全搜尋。在此種情形中，CODEC 1830與電子電路2000可共享同一硬體組件。
以上說明旨在提供用於實施本揭露的示例性配置及操作。除了上述示例性實施例之外，本揭露亦可包括可藉由簡單地改變或修改以上示例性實施例而獲得的實施方式。另外，本揭露可包括可藉由在將來容易地改變或修改上述示例性實施例來達成的實施方式。
10:物體 1000:電子裝置 1100:影像處理區塊 1110:透鏡 1120:影像感測器 1130:影像訊號處理器（ISP） 1200:通訊區塊 1210:天線 1220:收發器 1230:調變器/解調器（MODEM） 1300:音訊處理區塊 1310:音訊訊號處理器 1320:麥克風 1330:揚聲器 1400:緩沖記憶體 1500:非揮發性記憶體 1600:使用者介面 1700:顯示面板 1730:畫面速率轉換器（FRC） 1800:主處理器 1830:編碼器/解碼器（CODEC） 1900:電源管理器電路/電源管理電路 2000:電子電路 2005:處理器 2050:抽取器 2100:區塊確定器 2300:候選選擇器 2500:相似度計算器 2700:完全搜尋操作器 2900:移動向量產生器 3110:分區控制器 3120:轉換器/量化器 3130:逆轉換器/逆量化器 3140:濾波器 3150:畫面緩衝器 3160:畫面內預測器 3170:移動補償器 3180:移動估算器 3190：熵編碼器 BK0、BK1、BK2、BK3：區塊 CB1、CB2：當前區塊 DAT_ENC：經編碼資料 DAT_ORG：原始資料 DAT1:影像資料 DAT2:移動估算資料 MV:移動向量 S110、S120、S130、S140、S150、S160、S170、S205、S210、S212、S213、S214、S218、S219、S220、S230、S240、S250、S260、S270:操作 SC11、SC12、SC21、SC22、SC31、SC32、SC41、SC42、SC51、SC52、SC61、SC62、SC71、SC81、SC91、TC11、TC12、TC21、TC22、TC31、TC32、TC41、TC42、TC51、TC52、TC61、TC62:候選區塊
藉由參考附圖詳細闡述本揭露的示例性實施例，本揭露的上述及其他目的及特徵將變得顯而易見。 圖1是示出根據一些示例性實施例的可包括電子電路的電子裝置的示例性配置的方塊圖。 圖2是用於闡述在圖1所示電子裝置中執行的移動估算的概念圖。 圖3A至圖3C是用於闡述對於移動估算的構成影像的區塊的遞歸的概念圖。 圖4是闡述用於執行移動估算的示例性操作的流程圖。 圖5A及圖5B是示出在移動估算中參考的當前區塊及候選區塊的實例的概念圖。 圖6是用於闡述當前區塊與參考補片之間的相似度的概念圖。 圖7及圖8A至圖8C是用於闡述用於移動估算的完全搜尋的概念圖。 圖9是用於闡述下一當前區塊的隨後的移動估算的概念圖。 圖10是示出根據一些示例性實施例的用於執行移動估算的示例性配置的方塊圖。 圖11A至圖11C是示出根據一些示例性實施例的移動估算所參考的原始影像及被抽取影像的實例的概念圖。 圖12A至圖12D是示出根據一些示例性實施例在基於層階搜尋的移動估算中選擇候選區塊中的一些候選區塊的實例的概念圖。 圖13是用於闡述根據一些示例性實施例的基於層階搜尋的移動估算的概念圖。 圖14A及圖14B是示出根據一些示例性實施例在基於層階搜尋的移動估算中選擇候選區塊中的一些候選區塊的實例的概念圖。 圖15是用於闡述根據一些示例性實施例的基於層階搜尋的移動估算的概念圖。 圖16是示出根據一些示例性實施例的用於執行基於層階搜尋的移動估算的示例性配置的方塊圖。 圖17是闡述根據一些示例性實施例的用於執行基於層階搜尋的移動估算的示例性操作的流程圖。 圖18是示出圖1所示編解碼器（CODEC）的示例性配置的方塊圖。 圖19是用於闡述根據一些示例性實施例的移動估算與視訊編碼之間的關係的概念圖。

Claims (22)

  1. 一種電子電路，被配置成執行影像之間的移動估算，所述電子電路包括：處理電路系統，被配置成：對於被抽取影像中的每一者確定當前區塊及候選區塊，所述被抽取影像是自原始影像產生，使得所述被抽取影像具有不同的解析度，所述被抽取影像包括具有第一解析度的第一被抽取影像及具有第二解析度的第二被抽取影像，所述第一解析度為所述解析度中的最低解析度，所述第二解析度為所述解析度中的最高解析度，對於具有為所述解析度中的最低解析度的第一解析度的第一被抽取影像，基於所述當前區塊的位置確定第一候選區塊的第一數目，而不完全搜尋所有畫素，對於所述被抽取影像中的每一者，藉由參考所述被抽取影像自所述第一被抽取影像至所述第二被抽取影像的次序選擇所述候選區塊中的一些候選區塊，使得(i)對於所述第一被抽取影像選擇的所述第一候選區塊用於選擇對於緊隨其後的被抽取影像的第二數目的第二候選區塊，且(ii)對於所述第一被抽取影像未選擇的候選區塊不用於選擇緊隨其後的所述被抽取影像的所述第二候選區塊，所述第二候選區塊的所述第二數目小於所述第一候選區塊的所述第一數目，以及基於一個參考補片來產生所述當前區塊的移動向量，所述 一個參考補片是自由所述第二候選區塊的候選移動向量指示的參考補片確定出的。
  2. 如申請專利範圍第1項所述的電子電路，其中所述解析度中的每一者低於所述原始影像的解析度。
  3. 如申請專利範圍第1項所述的電子電路，其中所述原始影像上的座標與所述被抽取影像中的每一者上的座標具有對應關係，且所述處理電路系統被配置成：確定所述當前區塊及所述候選區塊，使得在所述原始影像及所述被抽取影像上的對應座標上確定所述當前區塊及所述候選區塊。
  4. 如申請專利範圍第1項所述的電子電路，其中所述處理電路系統被配置成藉由自所述第一解析度的所述第一被抽取影像至所述第二解析度的所述第二被抽取影像依序選擇所述候選區塊中的所述一些候選區塊來減少所述候選區塊的數目。
  5. 如申請專利範圍第1項所述的電子電路，其中所述處理電路系統被配置成基於所述當前區塊與所述參考補片中的每一者之間的相似度來選擇所述候選區塊中的所述一些候選區塊，所述參考補片是由所述候選區塊的候選移動向量指示。
  6. 如申請專利範圍第5項所述的電子電路，其中所述處理電路系統被配置成基於所述當前區塊的畫素值與由所述候選區塊的所述候選移動向量指示的所述參考補片中的每一者的畫素值之間的差值之和來計算所述相似度。
  7. 如申請專利範圍第1項所述的電子電路，其中在由所述第二候選區塊的所述候選移動向量指示的所述參考補片中，所述一個參考補片具有與所述當前區塊的畫素值最相似的畫素值，且對於所述原始影像，所述處理電路系統被配置成確定所述當前區塊及所述第二候選區塊，並自所述第二候選區塊選擇一個候選區塊。
  8. 如申請專利範圍第1項所述的電子電路，其中所述處理電路系統被配置成：基於第一畫素之間的相似度來確定最終參考補片，所述第一畫素為第二畫素及第三畫素之外的，所述第一畫素構成所述一個參考補片，所述第二畫素是基於所述第一畫素在所述原始影像上的位置確定的，所述第三畫素構成所述當前區塊，以及基於指示所述最終參考補片的最終移動向量來獲得所述移動向量。
  9. 如申請專利範圍第1項所述的電子電路，其中用於表達構成所述第一被抽取影像的每一畫素的位元的第三數目小於用於表達構成所述第二被抽取影像的每一畫素的位元的第四數目，且所述位元的第四數目小於用於表達構成所述原始影像的每一畫素的位元的第五數目。
  10. 一種執行移動估算的電子裝置，所述電子裝置包括：記憶體，被配置成儲存不同解析度的影像的第一資料，所述 不同解析度的影像包括第一解析度的第一影像及第二解析度的第二影像，所述第一解析度為解析度中的最低解析度，所述第二解析度為所述解析度中的最高解析度；以及第一電子電路，被配置成：對於所述第一影像，基於當前區塊在所述影像上的位置來確定候選區塊，而不完全搜尋所有畫素，所述候選區塊具有指示參考補片的候選移動向量，藉由參考所述影像自所述第一影像至所述第二影像的次序，基於所述當前區塊及所述參考補片來選擇所述候選區塊中的一些候選區塊，使得(i)對於自所述第一影像至所述第二影像的所述影像中的相應一者選擇的所述候選區塊用於緊隨其後的影像，且(ii)對於所述影像中的所述相應一者未選擇的候選區塊不用於緊隨其後的所述影像，以及基於由對於所述第二影像選擇的一個候選區塊的候選移動向量指示的參考補片為所述當前區塊產生移動向量。
  11. 如申請專利範圍第10項所述的電子裝置，其中所述第一電子電路被配置成藉由對所述第二影像進行降取樣來產生所述影像中除所述第二影像之外的每一影像。
  12. 如申請專利範圍第10項所述的電子裝置，其中所述第一電子電路被配置成藉由根據所述次序參考所述影像來選擇所述候選區塊中的一些候選區塊，使得(i)在參考所述影像中的第三影像之後，對於所述第三影像選擇的第一候選區塊立 即用於第四影像，且(ii)對於所述第三影像未選擇的第二候選區塊不用於所述第四影像。
  13. 如申請專利範圍第12項所述的電子裝置，其中所述第一電子電路被配置成對於所述第四影像選擇第三候選區塊，使得所述第三候選區塊為所述第一候選區塊中的一些候選區塊。
  14. 如申請專利範圍第12項所述的電子裝置，其中所述第一候選區塊包括早已產生移動向量的第四候選區塊及尚未產生移動向量的第五候選區塊，所述記憶體被配置成更儲存第五影像的第二資料，所述第五影像是作為所述第二影像的前一畫面而提供的，且所述第一電子電路被配置成基於所述第一資料來參考所述第四候選區塊，並基於所述第二資料來參考所述第五候選區塊。
  15. 如申請專利範圍第10項所述的電子裝置，其中所述第一電子電路被配置成：在所述影像上在不與所述當前區塊的第二座標相鄰的第一座標處選擇候選區塊的第一部分，以及在所述第一座標處不選擇所述候選區塊的第二部分。
  16. 如申請專利範圍第10項所述的電子裝置，其中所選擇的所述候選區塊包括在所述影像上與所述當前區塊的座標相鄰的座標處的候選區塊。
  17. 如申請專利範圍第10項所述的電子裝置，其中隨著基於所述影像中的每一者根據所述次序選擇所述候選區塊中的所述 一些候選區塊，對於所述影像中的每一者選擇的候選區塊的數目減少。
  18. 如申請專利範圍第17項所述的電子裝置，其中隨著所述數目減少，最後自所述候選區塊選擇所述一個候選區塊。
  19. 如申請專利範圍第10項所述的電子裝置，其中所述第一電子電路被配置成執行第一移動估算以產生所述移動向量，且所述電子裝置更包括：第二電子電路，被配置成使用與執行所述第一移動估算的所述第一電子電路共享的至少一個硬體組件來基於第二移動估算來執行視訊編碼及解碼。
  20. 一種執行移動估算的電子裝置，所述電子裝置包括：一或多個處理器；以及記憶體，被配置成儲存能夠由所述一或多個處理器執行的指令，所述指令在由所述一或多個處理器執行時，使所述一或多個處理器：對於被抽取影像中的第一被抽取影像，基於當前區塊的位置來確定候選區塊，而不完全搜尋所有畫素，所述被抽取影像是自原始影像產生，使得所述被抽取影像具有較所述原始影像的第一解析度低的解析度，所述第一被抽取影像的第二解析度為所述被抽取影像的所述解析度中的最低解析度，以及藉由參考所述被抽取影像自所述第一被抽取影像至所述原始影像的次序，對於所述被抽取影像中的每一者，藉由基於 所述當前區塊及所述候選區塊選擇所述候選區塊中的一些候選區塊來減少所述候選區塊的數目，使得(i)對於自所述第一被抽取影像至所述原始影像的所述被抽取影像中的相應一者選擇的所述候選區塊用於緊隨其後的被抽取影像，且(ii)對於所述被抽取影像中的所述相應一者未選擇的候選區塊不用於緊隨其後的所述被抽取影像。
  21. 如申請專利範圍第20項所述的電子裝置，其中所述指令在由所述一或多個處理器執行時使所述一或多個處理器基於對於所述被抽取影像中的每一者設定的比率來選擇所述候選區塊中的所述一些候選區塊。
  22. 如申請專利範圍第20項所述的電子裝置，其中所述指令在由所述一或多個處理器執行時使所述一或多個處理器：確定參考補片中具有與所述當前區塊的畫素值最相似的畫素值的一個參考補片，所述參考補片是由對於第三解析度的第二被抽取影像選擇的候選區塊的候選移動向量所指示的，所述第三解析度為所述解析度中的最高解析度；以及基於最終移動向量來獲得所述當前區塊的移動向量，所述最終移動向量指示基於所述一個參考補片確定的最終參考補片。
TW108128277A 2018-12-18 2019-08-08 透過階層式搜尋執行移動估算的電子電路以及電子裝置 TWI802733B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0164425 2018-12-18
KR1020180164425A KR102681958B1 (ko) 2018-12-18 계층 탐색을 통해 모션 추정을 수행하는 전자 회로 및 전자 장치

Publications (2)

Publication Number Publication Date
TW202038628A TW202038628A (zh) 2020-10-16
TWI802733B true TWI802733B (zh) 2023-05-21

Family

ID=71073769

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108128277A TWI802733B (zh) 2018-12-18 2019-08-08 透過階層式搜尋執行移動估算的電子電路以及電子裝置

Country Status (3)

Country Link
US (1) US10893292B2 (zh)
CN (1) CN111343465A (zh)
TW (1) TWI802733B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102615156B1 (ko) * 2018-12-18 2023-12-19 삼성전자주식회사 감소된 개수의 후보 블록들에 기초하여 모션 추정을 수행하는 전자 회로 및 전자 장치
CN113949869B (zh) * 2020-07-16 2024-04-26 晶晨半导体(上海)股份有限公司 估计像素块运动矢量的方法和视频处理装置及设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040114688A1 (en) * 2002-12-09 2004-06-17 Samsung Electronics Co., Ltd. Device for and method of estimating motion in video encoder
US20050135482A1 (en) * 2003-12-23 2005-06-23 Genesis Microchip Inc. Motion vector computation for video sequences

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761398A (en) 1995-12-26 1998-06-02 C-Cube Microsystems Inc. Three stage hierarchal motion vector determination
US6363117B1 (en) 1998-12-31 2002-03-26 Sony Corporation Video compression using fast block motion estimation
KR100970726B1 (ko) * 2003-10-04 2010-07-16 삼성전자주식회사 계층적 움직임 추정 방법
US7649549B2 (en) * 2004-09-27 2010-01-19 Texas Instruments Incorporated Motion stabilization in video frames using motion vectors and reliability blocks
US20060233258A1 (en) * 2005-04-15 2006-10-19 Microsoft Corporation Scalable motion estimation
US20080260033A1 (en) * 2007-04-17 2008-10-23 Horizon Semiconductors Ltd. Hybrid hierarchical motion estimation for video streams
JP5633720B2 (ja) * 2009-09-29 2014-12-03 Dic株式会社 微細パターン形成用インキ組成物
US20110255596A1 (en) 2010-04-15 2011-10-20 Himax Technologies Limited Frame rate up conversion system and method
JP5669523B2 (ja) * 2010-07-06 2015-02-12 三菱電機株式会社 フレーム補間装置及び方法、並びにプログラム及び記録媒体
US9706221B2 (en) * 2013-10-29 2017-07-11 Vixs Systems Inc. Motion search with scaled and unscaled pictures
CN111741312B (zh) * 2014-10-31 2024-03-19 三星电子株式会社 用于对运动矢量进行编码/解码的方法和装置
US10200713B2 (en) * 2015-05-11 2019-02-05 Qualcomm Incorporated Search region determination for inter coding within a particular picture of video data
US10187655B2 (en) * 2015-09-30 2019-01-22 Apple Inc. Memory-to-memory low resolution motion estimation systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040114688A1 (en) * 2002-12-09 2004-06-17 Samsung Electronics Co., Ltd. Device for and method of estimating motion in video encoder
US20050135482A1 (en) * 2003-12-23 2005-06-23 Genesis Microchip Inc. Motion vector computation for video sequences

Also Published As

Publication number Publication date
KR20200076000A (ko) 2020-06-29
CN111343465A (zh) 2020-06-26
TW202038628A (zh) 2020-10-16
US20200195964A1 (en) 2020-06-18
US10893292B2 (en) 2021-01-12

Similar Documents

Publication Publication Date Title
JP7004782B2 (ja) 画像予測方法および関連装置
JP7313816B2 (ja) 画像予測方法および関連装置
JP7123863B2 (ja) 画像予測方法および関連装置
CN110741640B (zh) 用于视频代码化中的运动补偿预测的光流估计
JP6163674B2 (ja) 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ
JP2017505021A (ja) 画像処理方法及び装置
US20160080766A1 (en) Encoding system using motion estimation and encoding method using motion estimation
TWI802733B (zh) 透過階層式搜尋執行移動估算的電子電路以及電子裝置
CN112584142B (zh) 一种编解码方法、装置及其设备
US9967562B2 (en) Method, device and system for changing quantization parameter for coding unit in HEVC
WO2018120420A1 (zh) 一种基于模板匹配的预测方法及装置
TWI834707B (zh) 根據候選區塊減少數目執行移動估算之電子電路與電子裝置
US9774871B2 (en) Method and apparatus for encoding and decoding image
KR102681958B1 (ko) 계층 탐색을 통해 모션 추정을 수행하는 전자 회로 및 전자 장치
US9549205B2 (en) Method and device for encoding video
CN111343464B (zh) 基于减少的候选块执行运动估计的电子电路和电子设备
JP2013062801A (ja) ピクセルブロックを符号化及び再構成する方法と装置