TWI437356B - 壓縮域影像求和裝置、系統和方法 - Google Patents

壓縮域影像求和裝置、系統和方法 Download PDF

Info

Publication number
TWI437356B
TWI437356B TW097114916A TW97114916A TWI437356B TW I437356 B TWI437356 B TW I437356B TW 097114916 A TW097114916 A TW 097114916A TW 97114916 A TW97114916 A TW 97114916A TW I437356 B TWI437356 B TW I437356B
Authority
TW
Taiwan
Prior art keywords
image
image block
block
synthesized
new
Prior art date
Application number
TW097114916A
Other languages
English (en)
Other versions
TW200844634A (en
Inventor
Amnon Silverstein
Sheng Lin
Brian Rodricks
Original Assignee
Aptina Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptina Imaging Corp filed Critical Aptina Imaging Corp
Publication of TW200844634A publication Critical patent/TW200844634A/zh
Application granted granted Critical
Publication of TWI437356B publication Critical patent/TWI437356B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

壓縮域影像求和裝置、系統和方法
這裏描述的各種實施例涉及與包括用於提高合併效率的影像求和技術的成像相關聯的裝置、系統和方法。
 發明背景
隨著在數位成像領域中百萬像素計數增長而像素尺度縮減，對於給定亮度的場景照明可能要求更久的影像合併時間。然而，如果曝光過久，則相機運動可能導致模糊影像。
相機或者其他影像擷取設備可以計量可用光並且可以增加它的透鏡孔徑直徑，以允許更多可用光撞擊影像感測器。然而，在低光照條件下相機可能達到可用孔徑調節範圍的寬度極限。在這一情況下，設置足以擷取足夠光的曝光時間可能造成模糊影像。與之相反，設置足夠短的曝光時間來避免模糊影像可能導致暗的影像。增加影像感測器放大率以使影像變亮可能引入不可接受的像素雜訊水平。
因此需要減少在長久曝光過程中的模糊。
 較佳實施例之詳細說明
第1圖是根據本發明各種實施例的裝置100和系統180的方塊圖。裝置100可以與影像擷取設備相關聯。為求簡明 清楚，這裏可以在數位相機的上下文背景下描述某些實施例。然而注意可以在其他基於影像擷取設備的裝置、系統和應用中實現各種實施例，所述裝置、系統和應用包括蜂巢式電話、手持電腦、膝上型電腦、桌面型電腦、汽車、家用電器、醫療設備、銷售點設備和影像識別設備等等。
裝置100通過對相繼擷取的影像圖框序列在頻域(FD)中執行合成操作而以不明顯增加像素雜訊水平的方式增加關聯影像擷取設備的有效光敏度。根據影像擷取設備與正在擷取的場景之間的相對移動而在空間域中轉置各相繼影像，以便儘管有移動但仍然提供影像對準。對於這裏描述的實施例，"轉置"或者"轉置操作"意味著改變、修改或者調節一個或者多個像素相對於照相圖框的笛卡爾座標而使得像素移到圖框中不同位置。
注意影像可以用壓縮格式儲存於影像暫存器中。可以使用各種壓縮格式，包括聯合照相專家組(JPEG)格式。包括JPEG格式的這裏設想的一些壓縮影像格式通過對已經變換到頻域的影像的版本執行熵編碼(entropy encoding)操作來實現壓縮。這裏一些實施例對壓縮的影像執行熵解碼操作以產生影像在頻域中的版本(例如產生影像的離散餘弦變換(DCT)版本)。
下文根據從影像感測器陣列(ISA)接收影像或者在壓縮影像暫存器101中儲存影像的時間順序來提及查詢影像和影像成分。因此，例如在影像的"在先儲存"或者"先前接收"版本之後接收影像的"新"、"新接收"或者"後續接收"版 本。
也可以根據影像包括來自單個ISA讀出操作還是來自多個ISA讀出操作的像素影像區塊來提及查詢影像和影像成分。因此，影像的"在先儲存的合成"版本可以包括影像的在先儲存版本，該版本包括合成在一起的來自一個或者多個ISA讀出操作的像素影像區塊。"新的合成影像"可以包括與影像的新接收版本合成在一起的在先儲存合成影像。術語"影像的版本"在這一上下文中涉及相繼擷取的場景的影像圖框序列，並且識別相機相對於場景的移動可能並且一般會在各圖框中造成不同像素影像陣列。
第2A和2B圖是根據本發明各種實施例的物件狀態圖。第2A和2B圖描繪了裝置100對從ISA 104接收的影像資料執行的操作所得到的影像成分。
現在參照第1、2A和2B圖，裝置100的一些實施例可以包括條帶暫存器106。條帶暫存器106暫時地儲存與場景的影像序列相關聯的影像資料流的部分。影像資料流202的一部分可以在從ISA 104接收它時儲存為儲存影像資料流204。可以從條帶暫存器106選擇一個或者多個影像區塊並且裝置100的各種元件可以對這些影像區塊進行操作。一些實施例可以對八個像素乘八個像素的影像區塊進行操作；然而其他區塊大小是可能的。
裝置100可以大致分成各自在下文中進一步描述的三個功能部分。裝置100的部分108從條帶暫存器106選擇與第一接收影像相關聯的影像區塊，以便用第一接收影像填充 壓縮影像暫存器101。部分110從條帶暫存器106選擇與相繼影像相關聯的影像區塊，將影像區塊轉換到頻域，並且將轉換後的區塊添加到壓縮影像暫存器101。部分112從條帶暫存器106選擇影像區塊的"搜尋窗"以供在運動匹配操作中使用。
裝置100因此可以包括耦接到條帶暫存器106的第一域變換器114。第一域變換器114操作用以將與第一接收影像相關聯的在先接收影像區塊206從空間域(SD)轉換到頻域，以產生在先接收的FD影像區塊210。第一熵編碼器116可以耦接到第一域變換器114。第一熵編碼器116操作用以對在先接收的FD影像區塊210進行熵編碼以產生經熵編碼的在先接收的FD影像區塊214。
經熵編碼的在先接收的FD影像區塊214在壓縮影像暫存器101中儲存為經熵編碼的在先儲存的合成FD影像區塊218。稱謂"合成FD影像區塊"在這一實例中表示：與儲存於壓縮影像暫存器中的影像的版本相關聯的區塊一般是由與第一影像序列相關聯的第一資料流程和由與接在第一影像之後接收的影像相關聯的後續接收資料流程所合成。第一域變換器114和第一熵編碼器116因此操作而以序列的第一影像填充壓縮影像暫存器101。如下文進一步所述，可以接收和域轉換序列前影像，但是不儲存序列前影像。
裝置100也可以包括耦接到條帶暫存器106的第二域變換器122。第二域變換器122操作用以對從儲存影像資料流204選擇的像素照度值的新影像區塊220進行操作以經由SD 到FD變換操作將影像區塊220從空間域轉換到頻域。所述變換操作產生新FD影像區塊224。
裝置100還可以包括操作性地耦接到第二域變換器122的組合邏輯124。如下文進一步具體所述的，組合邏輯124將新FD影像區塊224與對應在先儲存的合成FD影像區塊228組合，以產生新的合成FD影像區塊236。在先儲存的合成FD影像區塊228可以與影像的一個或者多個先前接收版本相關聯。
如果新FD影像區塊224對應於影像序列的第二影像，則在先儲存的合成FD影像區塊228僅與影像序列的第一接收影像相關聯。另一方面，如果新FD影像區塊224對應於影像序列的第三或者後續影像，則在先儲存的合成FD影像區塊228可以包括兩個或者更多的在先儲存影像的部分。
一些實施例可以包括耦接到第二域變換器122的影像比較器126。影像比較器126操作用以將新FD影像區塊224的選定低頻係數集與對應在先儲存的合成FD影像區塊228的對應低頻係數集做比較。影像區塊在頻域中的低頻係數可以對應於影像特徵。反言之，高頻係數可以對應於雜訊。影像比較器126因此可以將新FD影像區塊224的顯著特徵與對應在先儲存的合成FD影像區塊228的顯著特徵做比較。可以執行比較操作而作為對兩個FD影像區塊224和228確實在匹配臨界值內匹配的驗證。
如果比較操作在匹配臨界值內沒有產生匹配，則一些實施例可以丟棄新FD影像區塊224。在該情況下，雜訊篩檢 程式127可以耦接到影像比較器126。雜訊篩檢程式127通過衰減在先儲存的合成FD影像區塊228的高頻係數來進行操作。其他雜訊篩檢程式操作方式是可能的。過濾操作產生包括平滑版本的在先儲存的合成FD影像區塊228的新合成FD影像區塊236。
裝置100也可以包括耦接到組合邏輯124的平均邏輯(averaging logic)128。平均邏輯128確定新FD影像區塊224如何與對應在先儲存的合成FD影像區塊228組合。
平均邏輯128計算新FD影像區塊224的FD係數和在先儲存的合成FD影像區塊228的對應FD係數的加權平均。例如，在一些實施例中，與新FD影像區塊224的FD係數相關聯的加權可以設置為數值一。與在先儲存的合成FD影像區塊228的FD係數相關聯的加權可以包括與合成到在先儲存的合成FD影像區塊228中的影像圖框的數目相等的數。其他實施例可以使用其他數學方案來把來自新FD影像區塊224的FD係數與來自在先儲存的合成FD影像區塊228的對應FD係數組合起來。
第二熵編碼器130可以耦接到組合邏輯124。第二熵編碼器130可以對新合成FD影像區塊236進行熵編碼以產生經熵編碼的新合成FD影像區塊240。經熵編碼的新合成FD影像區塊240然後可以儲存於壓縮影像暫存器101中。
先前提到在一些實施例中影像比較器126驗證來自條帶暫存器106的變換到頻域的新FD影像區塊224在匹配臨界值內與對應在先儲存的合成FD影像區塊228匹配。這裏一些 實施例可以對在先儲存的合成FD影像區塊228執行仿射(affine)變換操作。所得座標集用來對來自條帶暫存器106的新FD影像區塊224的空間域版本編索引。如前所述，新FD影像區塊224的空間域版本由第二域變換器122變換到頻域以用於與在先儲存的合成FD影像區塊228組合。
裝置100因此可以包括耦接到影像比較器126的第一熵解碼器134。第一熵解碼器134對經熵編碼的在先儲存的合成FD影像區塊218執行熵解碼操作，以產生在先儲存的合成FD影像區塊228。
第3圖是根據本發明各種實施例的向量圖。現在參照第1－3圖，區塊內座標插值器138可以耦接到第一熵解碼器134。區塊內座標插值器138讀取與在先儲存的合成FD影像區塊228相關聯的區塊位置座標集。根據所述區塊位置座標集，區塊內座標插值器138確定與在先儲存的合成FD影像區塊228內的像素(例如像素306)相關聯的座標集250(例如第3圖的座標(X4,Y3))。座標集250的各座標可以計算為從對應區塊位置座標的移位。
轉置邏輯142可以操作性地耦接到第一熵解碼器134。轉置邏輯142對與在先儲存的合成FD影像區塊228內的像素306相關聯的座標對250執行空間轉置操作。所述空間轉置可以包括仿射矩陣乘法運算，並且可以產生轉置座標集254(例如座標(X4.6,Y5.6))。
轉置座標集254可以與來自影像新版本的像素308相關聯。轉置座標集254用來在條帶暫存器106中對新影像資料 流204內的像素308進行定位。在已經對像素308進行定位並且已經在空間上關聯像素306和308的情況下，裝置100使用組合邏輯124來組合來自與像素306和308相關聯的FD影像區塊的FD係數。如前所述，組合邏輯124可以組合來自各區塊的FD係數以生成對應的新合成FD影像區塊236。注意一些實施例可以整合整塊轉置的像素並且組合對應FD影像資料區塊以形成新合成FD影像。一些實施例可以對FD影像資料的其他增量進行操作。
仿射矩陣計算器146可以耦接到轉置邏輯142以提供用於上述轉置操作的仿射矩陣258。仿射矩陣計算器146可以生成仿射矩陣258，使得與一個或者多個向量310、320和330相關聯的起始點集的座標集(例如座標(X3,Y3)、(X4,Y7)和(X5,Y6))與仿射矩陣258相乘得到與向量310、320和330相關聯的結束點集的座標集(例如分別為座標(X1,Y7)、(X3,Y12)和(X7,Y9))。
第4圖是根據本發明各種實施例的像素方塊圖。第4圖描繪了在先儲存的合成FD影像像素區塊(例如區塊228)的空間域版本405。現在參照第1－4圖，向量310、320和330代表在來自與影像的先前接收版本相關聯的影像區塊405的像素與來自新FD影像區塊(例如區塊224)的空間域版本409的對應像素之間的路徑。相對於影像的先前接收版本和影像的新版本所共有的圖框來測量像素位置。來自先前接收區塊的類似向量用作為對仿射矩陣生成操作的輸入並且可以選自於向量表148。向量表148的填充由下文進一步具體 討論的運動匹配操作導致。
包括相機運動和/或場景內單元的運動在內的相機相對於場景的運動可以對來自新接收影像區塊409的像素進行座標移位元，使得影像區塊409相對於在先儲存的合成影像像素區塊405在位置上移位、歪斜、旋轉、垂直地伸展和/或水平地伸展。這裏一些實施例操作用以在座標移位元的資料流程內對與新接收影像區塊409相關聯的像素照度值進行定位。與像素照度值相關聯的FD係數然後可以在頻域中與在先儲存的合成影像像素區塊405組合。數學組合被儲存為新合成FD影像區塊236。
像素索引器150可以耦接到轉置邏輯142。像素索引器150使用從轉置邏輯142輸出的轉置像素座標集254對來自條帶暫存器106的與新接收影像區塊409相關聯的像素照度值編索引。在頻域中執行數學組合運算的實施例的情況下，第二域變換器122將新接收影像區塊409轉換到頻域。
第5圖是根據本發明各種實施例的運動匹配圖。現在參照第1、2A、2B和5圖，裝置100可以對在先儲存的合成FD影像區塊228的空間域版本和儲存於條帶暫存器106中的新接收影像資料流的匹配影像區塊268執行運動匹配操作。運動匹配操作用來計算用以填充向量表148的向量270。
一些實施例可以找到、熵解碼和載入來自壓縮影像暫存器101的高特徵強度在先儲存的合成FD影像區塊272。高特徵在先儲存的合成FD影像區塊272可以包括與在先儲存的合成FD影像的選定區域相關聯的所有影像特徵區塊中最高 特徵強度的在先儲存的合成FD影像區塊。下文以術語"高"或者"最高"特徵強度的影像區塊來表述的例子也可以適用於不使用特徵強度來從儲存影像暫存器選擇匹配區塊的實施例。類似地，下文沒有使用術語"高"或者"最高"來表述的例子也可以適用於基於特徵強度來選擇運動匹配區塊的實施例。
如這裏使用的，"高特徵強度"意味著與影像特徵512相關聯的一個或者多個如下特性的測量，該特性使影像特徵512可區別於其他影像特徵和背景像素集。因此，例如低影像特徵強度可以與採樣像素區塊中孤立的線段相關聯。這樣的線段可能會模糊和難以區別於與同一線條相關聯的其他線段。另一方面，高影像特徵強度可以與採樣像素區塊中相交線的交點相關聯。在後一情況下，線交叉角可以用來使相交線的特定交點區別於其他這樣的交點。如下文進一步所述的，影像特徵強度的測量可以包括對選定低頻FD係數集執行的數學運算。這些測量可以用來區別像素影像區塊和找到類似區塊。
裝置100可以使用耦接到條帶暫存器106的搜尋窗暫存器106來搜尋匹配影像區塊268。搜尋視窗暫存器154儲存來自條帶暫存器106的這裏稱為搜尋窗274的像素集。搜尋窗274在一些實施例中可以包括64×64像素區塊並且可以對應於壓縮影像暫存器101中儲存的壓縮FD影像的SD版本的區域520。也就是說，搜尋窗274包括新接收影像530的如下區域：在考慮預期的場景相對於相機的運動情況下可以有 望在該區域內找到匹配影像區塊268。例如，在一些實施例中，搜尋窗274可以將與高特徵強度置中在先儲存的合成FD影像區塊272的SD版本276的中心相對應的座標位置。
裝置100可以包括耦接到壓縮影像暫存器101的第二熵解碼器160。第二熵解碼器160載入來自壓縮影像暫存器101的經熵編碼的在先儲存的合成FD影像區塊218。第二熵解碼器160對經熵編碼的在先儲存的合成FD影像區塊218執行完全或者部分熵解碼操作以展現低頻係數集278。一些實施例可以將解碼限於低頻係數集278可能處於其中的經熵編碼的影像區塊218的高階部分。"高階部分"是指區塊資料流程中位元於與低頻係數相關聯的比特位置處的選定數目的比特。如下所述，部分解碼可以足以展現影像特徵強度。
裝置100可以包括耦接到第二熵解碼器160的影像特徵強度邏輯164。影像特徵強度邏輯164操作用以在壓縮影像暫存器101的選定區域中搜尋最高強度在先儲存的合成FD影像區塊(例如高特徵強度在先儲存的合成FD影像區塊272)。也就是說，影像特徵強度邏輯164基於影像特徵強測度量來挑選所述選定區域中影像特徵強度比任何其他影像區塊都要高的區塊。影像特徵強度量度可以包括對來自在先儲存的合成FD影像區塊的低頻係數集278執行的數學運算或者為了測量影像特徵強度而計算的其他操作。例如，數學運算在一些實施例中可以包括低頻係數集278的 絕對值的求和。
裝置100也可以包括耦接到影像特徵強度邏輯164的區域暫存器168。區域暫存器168儲存高特徵強度至先儲存的合成FD影像區塊272。一些實施例可以在接收第一接收影像圖框之前在條帶暫存器106接收序列前影像圖框。如加以利用，則可以如前所述由第一域變換器114將序列前影像圖框逐塊轉換到頻域。可以分析各區塊的影像特徵強度；而最高強度區塊可以儲存於區域暫存器168中。序列前影像圖框因此可以用來以高強度區塊預填充區域暫存器168。這樣填充的區域暫存器168準備用來在與第一接收影像圖框相關聯的運動匹配操作中使用。所得運動向量可以用作對後續圖框執行的運動匹配操作的預測器。
也可以分析序列前影像圖框以確定足以使接收影像的大小適應於壓縮影像暫存器101的量化表。可以使用可選量化表來量化和熵編碼序列前影像圖框以找到相容壓縮比。然後可以使用根據序列前影像圖框確定的量化表迅速地對影像序列中的後續影像進行編碼。
第三域變換器172可以耦接到區域暫存器168。第三域變換器172對高特徵強度在先儲存的合成FD影像區塊272執行FD到SD變換操作，以獲得高特徵強度在先儲存的合成FD影像區塊272的SD版本276。FD到SD變換操作在一些實施例中可以包括逆離散餘弦變換(DCT)。其他實施例可以使用其他FD到SD變換類型。
裝置100還可以包括耦接到搜尋窗暫存器154的搜尋邏輯 174。搜尋邏輯174在搜尋窗274中搜尋匹配影像區塊268。如果在高特徵強度在先儲存的合成FD影像區塊272的SD版本276與候選匹配影像區塊之間的匹配強度大於在影像區塊272的SD版本276與在搜尋窗274中找到的任何其他區塊之間的匹配強度，則搜尋邏輯174可以認為已經找到匹配影像區塊268。
裝置100也可以包括操作性地耦接到條帶暫存器106的運動匹配邏輯176。運動匹配邏輯176計算影像區塊272的SD版本276在圖框中的位置與匹配影像區塊268在該圖框中的位置之間的向量270。如果影像區塊270的SD版本276與匹配影像區塊268之間的匹配強度在選定匹配臨界值以上，則運動匹配邏輯176也將向量270儲存在向量表148中。
在另一實施例中，系統180可以包括裝置100的一個或者多個元件，包括如前所述條帶暫存器106、組合邏輯124和影像比較器126。系統180也可以包括耦接到條帶暫存器用以擷取影像的ISA 104和用以將影像聚焦在ISA 104上的透鏡184。系統180還可以包括操作性地耦接到條帶暫存器106、用以執行影像處理功能的處理器188。系統180的一些實施例可以並入數位相機中。包括系統180的數位相機又可以並入如前所述比如蜂巢式電話這樣的用戶電子設備中。
系統180的一些實施例可以使用於車載應用中。防撞模組190可以操作性地耦接到影像比較器126。防撞模組190可以被配置為：如果新FD影像區塊224的選定低頻係數集 在第二匹配臨界值內與對應在先儲存的合成FD影像區塊228的對應低頻係數集不匹配則觸發防撞告警。
系統180也可以包括耦接到組合邏輯124的導航模組192。導航模組192可以被配置為用組合邏輯124創建的新合成FD影像區塊236來更新儲存影像資料庫。在一些實施例中，導航模組192可以在車輛反復地穿越特定路線時隨時間更新儲存的周圍場景地圖。
可以用許多方式實施任何先前所述元件，包括用軟體的實施例。可以在仿真系統中使用軟體實施例，而這樣的系統的輸出可以驅動這裏描述的各種裝置。
因此，裝置100、ISA 104、條帶暫存器106、影像資料流202、204、域變換器114、122、172、影像區塊206、210、214、218、220、224、228、236、240、405、409、268、272、276、熵編碼器116、130、影像暫存器101、組合邏輯124、影像比較器126、雜訊篩檢程式127、平均邏輯128、熵解碼器134、160、座標插值器138、座標250、254、像素306、308、轉置邏輯142、仿射矩陣計算器146、仿射矩陣258、向量310、320、330、270、向量表148、像素索引器150、影像特徵512、搜尋窗暫存器154、搜尋窗274、區域520、影像530、低頻係數278、影像特徵強度164、區域暫存器168、搜尋邏輯174、運動匹配邏輯176、系統180、透鏡184、處理器188、防撞模組190和導航模組192這裏都可以表徵為"模組"。
如裝置100和系統180的架構所需的那樣以及如適合於各 種實施例的特定實施的那樣，所述模組可以包括硬體電路、光學器件、單或者多處理器電路、記憶體電路、軟體程式模組和物件、韌體及其組合。
各種實施例的所述裝置和系統可用於與對相繼擷取的影像圖框序列在頻域中執行合成操作以減少雜訊而又維持影像擷取設備的有效光敏度不同的應用中。因此，本發明的各種實施例不限於此。對裝置100和系統180的說明旨在於提供對各種實施例的結構的廣義理解。它們並非旨在於對可以運用這裏所述結構的裝置和系統的所有單元和特徵進行完全的描述和列舉。
各種實施例的新穎裝置和系統可以包括或者並入至電腦、通信和信號處理電路、單處理器或者多處理器模組、單個或者多個嵌入式處理器、多核心處理器、資料交換機以及包括多層、多核心模組的專用模組中的電子電路中。這樣的裝置和系統還可以作為子元件包含於比如電視機、蜂巢式電話、個人電腦(例如膝上型電腦、桌面型電腦、手持電腦、寫字板電腦等)、工作站、收銀機、視頻播放器、音頻播放器(例如MP3(動畫專家組音頻層3)播放器)、車輛、醫療設備(例如心臟監視器、血壓監視器等)、機頂盒和其他電子系統這樣的各種電子系統中。一些實施例可以包括多種方法。
第6A、6B、6C和6D圖是圖示了根據各種實施例的數種方法的流程圖。方法600組合來自與相繼影像序列相關聯的影像區塊的FD係數以在頻域中創建影像的合成版本。一 些實施例可以在逐塊的基礎上進行操作而組合與在後接收影像相關聯的新FD影像區塊與在先儲存的合成FD影像區塊，以產生新合成FD影像區塊。在先儲存的合成FD影像區塊與一個或者多個先前接收的影像圖框相關聯。淨效果是減少最終合成影像中的雜訊。
方法600可以包括在從ISA接收影像資料流的相繼部分(例如一個或者多個像素行)時在條帶暫存器中儲存這些部分。一個或者多個影像區塊可以選自於條帶暫存器並且根據方法600的各種分支來加以操作。一個分支可以從條形暫存器選擇與第一接收影像相關聯的影像區塊以用第一接收影像填充壓縮影像暫存器。另一分支可以轉換來自條帶暫存器的與相繼影像相關聯的影像區塊並且將經轉換區塊與壓縮影像暫存器中的合成區塊組合。第三分支可以從條帶暫存器選擇與相繼影像相關聯的影像區塊的"搜尋窗"以供在運動匹配操作中使用。
方法600可以始於動作601，即設置初始曝光時間。一些實施例可以在接收第一接收影像圖框之前在條帶暫存器接收序列前影像圖框。方法600因此可以繼續動作602，即接收序列前圖框並且確定量化表從而得到與壓縮影像暫存器大小相容的影像圖框的最佳配合。可以使用可選量化表來量化和熵編碼序列前影像圖框以找到相容配合。如前所述，然後可以使用以序列前影像圖框確定的量化表來迅速地對影像序列中的後續影像進行編碼。
方法600可以包括在動作603處以來自序列前影像圖框的 高特徵強度區塊預填充區域暫存器。可以分析序列前影像圖框的影像特徵強度；以及可以在區域暫存器中儲存最高強度區塊。這樣，填充的區域暫存器準備好在與第一接收影像圖框相關聯的運動匹配操作中使用。
方法600也可以包括在動作604處在條帶暫存器中儲存第一接收影像資料流的相繼部分。方法600可以繼續動作606，即將與第一接收影像相關聯的在先接收影像區塊從空間域轉換到頻域以產生在先接收的FD影像區塊。方法600可以包括在動作608處對在先接收的FD影像區塊進行熵編碼以產生經熵編碼的在先接收的FD影像區塊。
在動作610處，在壓縮影像暫存器中儲存經熵編碼的在先接收的FD影像區塊作為經熵編碼的在先儲存的合成FD影像區塊。經熵編碼的在先儲存的合成FD影像區塊可以包括JPEG影像區塊或者其他頻域或者相位域格式化區塊。在動作611，可以繼續這一過程直至在壓縮影像暫存器中儲存第一接收影像。
在已經以第一接收影像填充壓縮影像暫存器的情況下，可以將來自相繼影像的區塊組合到壓縮影像暫存器中以形成合成影像。然而，由於在擷取前一影像和下一影像的時間之間相機相對於場景運動，對應於影像組元來自下一影像的像素可以並且一般將在條帶暫存器中位於與如儲存於壓縮影像暫存器中對應於同一影像單元的像素的座標不同的座標。因而，如下文所述，方法600可以從條帶暫存器選擇像素用於以與接收到條帶暫存器中的順序不同的順序 合成為新影像區塊。
方法600可以繼續動作612，即在條帶暫存器中儲存新接收影像資料的相繼部分。方法600也可以包括在動作616對經熵編碼的在先儲存的合成FD影像區塊執行熵解碼操作。結果可以獲得在先儲存的合成FD影像區塊。熵解碼操作可以還包括霍夫曼解碼操作或者算術解碼操作等。
方法600還可以包括在動作618讀取與在先儲存的合成FD影像區塊相關聯的區塊位置座標集。可以在動作620使用區塊位置座標集來獲得與在先儲存的合成FD影像區塊內的一個或者多個像素相關聯的座標集。可以計算像素座標集來作為相對於區塊位置座標集的偏移量。
可以在動作624使用方法600來計算仿射矩陣。對仿射矩陣進行限定，使得與一個或者多個向量相關聯的起始點集的座標集與仿射矩陣相乘得到與向量相關聯的結束點集。如在一些實施例中實施的，各向量代表先前接收影像區塊在圖框中的位置與新接收影像圖框在該圖框中的對應位置之間的路徑。在給定向量的情況下，可以根據本領域技術人員已知的技術使用高斯消元運算來計算仿射矩陣。下文進一步具體描述作為對仿射矩陣計算器的輸入來使用的向量的推導。
方法600可以包括在動作628使用仿射矩陣對像素座標集執行空間轉置操作。空間轉置可以產生與來自影像資料流的如下像素的集合相關聯的座標集，這些像素和與在先儲存的合成FD影像區塊的空間域版本所關聯的像素近似空間 對準。空間轉置操作可以包括將與來自在先儲存的合成FD影像區塊的像素相關聯的座標集與仿射矩陣相乘。
如前所述，新接收影像可以包含通過相機相對於場景的移動從它們在先前擷取圖框中佔據的位置來空間轉置的像素。該移動可以在擷取先前圖框與擷取新接收圖框的時間之間發生。仿射空間變換有效地操作用以將新接收像素與來自在先儲存的合成FD影像區塊的對應像素對準。這通過使用仿射矩陣轉置來自在先儲存的合成FD影像區塊的像素座標以產生"索引"座標集來實現。所述索引座標用來在動作632對來自新接收影像資料流的對應像素在空間上地編索引以形成新影像區塊。
方法600也可以包括在動作634使用SD到FD變換操作將新影像區塊從空間域轉換到頻域。一些實施例可以使用DCT操作來執行SD到FD變換操作。包括傅立葉變換在內的其他SD到FD變換在本公開內容的範圍內已設想到。
方法600也可以包括在動作636將新FD影像區塊的選定低頻係數集與在先儲存的合成FD影像區塊的對應低頻係數集做比較。如前所述，FD影像區塊的低頻係數可以代表顯著影像特徵。方法600可以在動作638確定新FD影像區塊的所述選定低頻係數集是否在匹配臨界值內與在先儲存的合成FD影像區塊的對應低頻係數集匹配。
如果是這樣，方法600還可以包括在動作639計算來自新FD影像區塊的FD係數和來自在先儲存的合成FD影像區塊的FD係數的加權平均。可以使用各種加權方案。例如，與 新FD影像區塊的FD係數L新相關聯的加權可以包括數值一。與在先儲存的合成FD的對應FD係數L舊相關聯的加權可以包括與合成到在先儲存的合成FD影像區塊的影像圖框的數目相等的數NF。所得FD係數的加權平均可以計算為：(L新＋NF×L舊)/(NF＋1)。
可以在動作640使用所述加權平均將新FD影像區塊與在先儲存的合成FD影像區塊組合。
如果新FD影像區塊的低頻係數在匹配臨界值內與在先儲存的合成FD影像區塊的低頻係數不匹配，則方法600可以包括在動作642丟棄新FD影像區塊。因此，一些實施例可以施加要求新合成FD影像區塊與在先儲存的合成FD影像區塊之間顯著影像特徵的最小匹配這一條件。如果未滿足條件，則方法600可以包括使用在先儲存的合成FD影像區塊作為新合成FD影像區塊。
在後一情況下，如果新FD影像區塊未與在先儲存的合成FD影像區塊合成，則新合成FD影像區塊可能包括比預期更多的雜訊。可以在動作644通過對在先儲存的合成FD影像區塊進行雜訊過濾來衰減一個或者多個高頻係數而減輕這一效果。雜訊過濾操作可以減少如果合成而非丟棄新FD影像區塊則可能已經被新FD影像區塊平衡掉(average out)的像素雜訊。
假設新FD影像區塊的低頻係數在匹配臨界值內與在先儲存的合成FD影像區塊的低頻係數匹配，新FD影像區塊和在先儲存的合成FD影像區塊如前所述組合成新合成FD 影像區塊。方法600也可以包括在動作646對新合成FD影像區塊進行熵編碼以產生經熵編碼的新合成FD影像。
如果暫存器空間足以寫入新合成FD影像區塊而不會覆蓋未處理的影像資料，則可以在合成影像暫存器中儲存新合成FD影像區塊。包括動作616的方法600的處理("在先處理")使用了讀取指標。為了避免在讀指標處在讀指標處重寫暫存器以及如果寫入處理進行得快於讀取處理，方法600可以包括在動作647確定比寫入指標的位置更少的讀取指標的位置是否大於將要寫入的新合成FD影像區塊加上用於區塊結束(EOB)資訊的空間。如果不是，則方法600可以在動作648包括寫入EOB資訊，以及如第6C圖所示繼續進行。
如果寫入指標未超過讀取指標，則方法600可以在動作655在壓縮影像暫存器中儲存新合成FD影像區塊。方法600可以在動作656迴圈到動作616直至已經處理來自條帶暫存器的新接收影像的所有區塊並且將這些區塊組合到合成FD影像中。
回顧前文，方法600包括接收與影像序列的第一影像相關聯的影像資料流、將來自影像資料流的影像區塊變換到頻域、對區塊進行熵編碼以供進一步壓縮以及在壓縮影像暫存器中儲存區塊。可以但並非必然從ISA接收與序列的第一影像和後續影像相關聯的影像資料流。例如，可以從儲存設備接收影像。
在影像序列的第一影像之後接收的影像可以經由與第一 接收影像的邏輯路徑不同的邏輯路徑歸併到壓縮影像暫存器中。空間變換各後續影像以使因相機相對於場景的運動而移位元的像素與在先儲存的合成影像在空間上對準。使用以仿射變換座標作為索引來編索引的來自條帶暫存器的像素來組成來自後續影像的區塊。使用上述加權平均技術將這樣由各後續影像組成的區塊與壓縮影像暫存器的現有內容歸併。根據如下向量的集合來計算仿射矩陣，這些向量代表在從後續影像選擇的對應區塊相對於共同影像圖框的位置之間的路徑。下文描述向量集的推導。
使用方法600的下文描述的部分來計算代表從影像序列中的一個影像到後續影像的位置轉置的向量。向量起源于選定合成FD影像區塊而終止於新接收影像資料流中的對應區塊。選擇高強度合成FD影像區塊可以有助於保證向量推導的位置準確度並且由此保證用於歸併到合成FD影像中的後續接收像素的轉置的準確度。
尋找壓縮影像暫存器中的高強度選定合成FD影像區塊可以包括在動作660載入來自暫存器的經熵編碼的在先儲存的合成FD影像區塊。可以在動作662對經熵編碼的在先儲存的合成FD影像區塊的一個或者多個高階部分執行熵解碼操作。所述熵解碼操作可以展現與在先儲存的合成FD影像區塊相關聯的低頻係數集。
在動作664可以使用低頻係數集來計算與在先儲存的合成FD影像區塊相關聯的影像特徵強度度量值。如前所述，與FD影像區塊相關聯的低頻係數可以代表顯著影像特徵。 影像特徵強度度量可以包括對低頻係數集執行的數學運算或者為了測量影像特徵強度而計算的其他操作。例如，數學運算在一些實施例中可以包括低頻係數集的絕對值的求和。
方法600可以繼續動作668，即掃描壓縮影像暫存器的選定區域以找到高強度或者最高強度在先儲存的合成FD影像區塊。最高強度合成FD區塊是壓縮影像暫存器的所述選定區域中影像特徵強度度量值比來自所述選定區域的任何其他FD影像區塊的影像特徵強度度量值都要高的塊。
在動作670，可以在與所述選定區域相關聯的區域暫存器中儲存所述選定合成FD影像區塊。方法600也可以包括在動作674對所述選定合成FD影像區塊執行FD到SD變換操作以獲得所述選定合成FD影像區塊的SD版本。
方法600還包括在搜尋窗內搜尋候選匹配影像區塊。一些實施例可以在動作676通過載入來自向量表的最高質量向量集來進行搜尋。向量質量的測量可以包括在用來計算向量的影像區塊之間的匹配強度、模糊度測量的倒數、或者兩者都有。模糊度的測量隨著與下一最佳候選匹配影像區塊相關聯的匹配強度增加而增加。也就是說，與難以區別於另一個區塊的區塊相關聯的向量可以被認為質量相對地低於與模糊度較低的區塊相關聯的向量。方法600可以在動作678在與最高質量向量集相關聯的目標座標集的中值所對應的位置最近的影像區塊處啟動在搜尋窗內的搜尋。
方法600也可以包括在動作682測量在所述選定合成FD影像區塊的SD版本與候選匹配影像區塊之間的匹配強度。在動作684如果候選匹配影像區塊是搜尋窗內的最佳匹配則可以選擇該候選作為匹配影像區塊。也就是說，如果在所述選定合成FD影像區塊的SD版本與候選匹配影像區塊之間的匹配強度大於與在搜尋視窗找到的任何其他候選匹配影像區塊相關聯的匹配強度，則可以選擇候選匹配區塊。可以使用匹配強度的各種測量，除了其他測量之外還特別包括絕對差值求和倒數運算或者絕對差值平方求和倒數運算。
方法600還可以包括計算在所述選定合成FD影像區塊的SD版本在圖框中的位置與在搜尋窗中找到的匹配影像區塊在該圖框中的位置之間的向量。可以在動作688建立與所述選定合成FD影像區塊中的像素相關聯的座標集作為向量的起源座標。可以在動作690建立與匹配影像區塊中與所述選定合成FD影像區塊中的像素在空間上相對應的像素相關聯的座標集作為向量的目標座標。方法600可以包括在動作692計算在座標集之間的向量。
方法600可以包括在動作694包括確定所述選定合成FD影像區塊的SD版本與匹配影像區塊之間的匹配強度是否在選定匹配臨界值之上。如果是這樣，則可以在動作696在向量表中儲存向量。如果不是，則可以在動作698丟棄向量。方法600可以在動作699通過回轉到動作660來搜尋附加向量，以在壓縮影像暫存器的另一區域中搜尋另一高強 度合成FD影像區塊。
如前所述，來自向量表的向量可以用來計算代表相機相對于場景的運動的仿射矩陣。仿射矩陣可以用來轉置合成影像像素的座標，以生成條帶暫存器中對應像素的座標。可以將來自條帶暫存器的編索引的對應像素組合到合成影像中以添加最終合成影像的照度並且進行平衡掉雜訊。
注意到可以用與所述順序不同的順序執行本文描述的動作。也可以用重復、串列和/或並行方式執行關於這裏確定的方法所描述的各種動作。
可以從基於電腦的系統中的電腦可讀介質起動軟體程式，以執行軟體程式中限定的功能。可以採用各種編程語言來創建為了實施和執行這裏公開的方法而設計的軟體程式。可以使用面向物件語言如Java或者C＋＋來以面向物件形式構造程式。可選地，可以使用諸如彙編或者C的過程語言來以面向過程形式構造程式。軟體元件可以使用公知機制進行通信，這些機制包括應用程式介面、進程間通信技術和遠端程式呼叫等等。各種實施例的技術不限於任何特定編程語言或者環境。
這裏公開的裝置、系統和方法可以通過對相繼擷取的影像圖框序列在頻域中執行合成操作來增加影像擷取設備的有效光敏度而不會明顯增加像素雜訊水平。根據在影像擷取設備與正在擷取的場景之間的相對移動而在空間域中轉置各相繼影像區塊以便儘管有移動但仍提供影像對準。可以獲得具有較高像素密度和較高孔徑等級的影像擷取設 備。
形成本文內容一部分的附圖通過舉例說明而不是進行限制的方式來示出主題內容可以實施於其中的具體實施例。以充分細節描述所示實施例，以使本領域技術人員能夠實施這裏揭露的教示。可以從其推導並且使用其他實施例，使得可以在不脫離本發明範圍的情況下做出結構和邏輯替換和改變。因此具體實施方式不應理解為限制意義，而各種實施例的範圍僅由所附申請專利範圍和賦予這樣的申請專利範圍的完全等效範圍來限定。
本發明主題內容的此種實施例在這裏可以僅僅為了方便而單獨地或者統一地用術語"發明"來指代，而並非旨在於如果事實上公開多個發明或者發明概念則自願地將本申請的範圍限於任何單個發明或者發明概念。因此，雖然這裏圖示和描述了具體實施例，但是可以用為了實現同一目的而設計的任何佈置來替換所示具體實施例。本公開旨在覆蓋各種實施例的任何以及所有改造或者變化。上述實施例和這裏未具體公開的其他實施例對於閱讀以上描述的本領域技術人員將是清楚的。
提供說明書摘要以符合37 C.F.R.§1.72(b)的要求一一說明書摘要將允許讀者快速地確定技術公開的性質。在不用來解釋或者限制申請專利範圍的範圍或者含義這一理解下提交說明書摘要。在前文具體實施方式中，為了使本公開簡潔流暢而將各種特徵編組在單個實施例中。本發明的方法不應解釋為要求比在申請專利範圍各請求項中明確地記 載的特徵更多的特徵。事實上，可以在比單個公開實施例的所有特徵少的特徵中找到本發明主題內容。因此這裏將所附申請專利範圍並入具體實施方式中而各請求項自身代表單獨實施例。
101‧‧‧壓縮影像暫存器
106‧‧‧條帶暫存器
114‧‧‧第一域變換器
116‧‧‧第一熵編碼器
120‧‧‧合成器
122‧‧‧第二域變換器
124‧‧‧組合邏輯
126‧‧‧影像比較器
127‧‧‧雜訊篩檢程式
128‧‧‧平均邏輯
130‧‧‧第二熵編碼器
134‧‧‧第一熵解碼器
138‧‧‧區塊內座標插值器
142‧‧‧轉置邏輯
146‧‧‧仿射矩陣計算器
147‧‧‧來自第2B圖的270
148‧‧‧向量表
148‧‧‧向量表
149‧‧‧計算仿射矩陣
150‧‧‧像素索引器
154‧‧‧搜尋窗暫存器
160‧‧‧第二熵解碼器
164‧‧‧影像特徵強度邏輯
168‧‧‧區域暫存器
172‧‧‧第三域變換器
174‧‧‧搜尋邏輯
176‧‧‧運動匹配邏輯
188‧‧‧處理器
190‧‧‧防撞模組
192‧‧‧導航模組
202‧‧‧來自ISA的影像資料流記錄
203‧‧‧儲存於條帶暫存器中
204‧‧‧儲存於條帶暫存器中的影像資料流
205‧‧‧SD→FD變換新影像區塊
206‧‧‧在先接收影像區塊
207‧‧‧SD→FD變換
210‧‧‧在先接收FD影像區塊
211‧‧‧熵編碼
214‧‧‧熵編碼在先接收FD影像區塊
218‧‧‧熵編碼在先儲存合成FD影像區塊
219‧‧‧熵解碼
220‧‧‧新影像區塊
221‧‧‧使用轉置像素座標對來自條帶暫存器的新影像區塊編索引
224‧‧‧新FD影像區塊
225‧‧‧比較和組合
228‧‧‧在先儲存合成FD影像區塊
229‧‧‧座標插值器
236‧‧‧新合成FD影像區塊
237‧‧‧熵編碼
240‧‧‧新熵編碼合成FD影像區塊
250‧‧‧在先儲存合成FD影像區塊的像素座標
253‧‧‧座標轉置
254‧‧‧轉置像素座標
258‧‧‧仿射矩陣
268‧‧‧匹配區塊
268‧‧‧匹配影像區塊
269‧‧‧運動匹配
270‧‧‧向量
270‧‧‧向量
271‧‧‧去往第2A圖的148
272‧‧‧來自第2A圖的204
272‧‧‧所選在先儲存合成FD影像區塊
273‧‧‧標識搜尋窗
273‧‧‧在影像暫存器中搜尋高特徵強度區塊
274‧‧‧儲存於搜尋窗暫存器中的像素"搜尋窗"
274‧‧‧搜尋窗
275‧‧‧搜尋匹配區塊
276‧‧‧所選合成FD影像區塊的SD版本
276‧‧‧SD版本
277‧‧‧FD→SD變換
278‧‧‧在先儲存合成FD影像區塊低頻係數
279‧‧‧熵解碼
280‧‧‧來自第2A圖的218
306‧‧‧像素
308‧‧‧像素
310‧‧‧向量
320‧‧‧向量
330‧‧‧向量
405‧‧‧空間域版本/影像區塊
409‧‧‧空間域版本/影像區塊
512‧‧‧影像特徵
520‧‧‧區域
530‧‧‧新接收影像
601‧‧‧設置初始曝光時間
602‧‧‧接收序列前圖框和確定最佳配合量化
603‧‧‧以來自序列前圖框的高強度區塊填充區域暫存器
604‧‧‧在條帶暫存器中儲存第一接收影像資料流的部分
606‧‧‧SD→FD變換在先接收影像區塊
608‧‧‧熵編碼在先接收FD影像區塊
610‧‧‧在壓縮影像暫存器中儲存經熵編碼的在先接收FD影像區塊
611‧‧‧完整地儲存第一影像？
612‧‧‧在條帶暫存器中儲存新影像資料流的部分
616‧‧‧熵解碼經熵編碼的在先儲存合成FD影像區塊
618‧‧‧讀取區塊位置座標
620‧‧‧使用區塊位置座標來獲得在先儲存像素座標
624‧‧‧計算仿射矩陣
625‧‧‧運動匹配向量
628‧‧‧空間變換在先儲存像素座標
632‧‧‧對來自條帶暫存器的新影像區塊像素編索引
633‧‧‧SD→FD變換新影像區塊
636‧‧‧比較新FD區塊和合成FD區塊的低頻係數
638‧‧‧在臨界值內係數匹配？
639‧‧‧繼續第6B圖
639‧‧‧計算各新FD係數和合成FD係數的加權平均
640‧‧‧使用加權平均來組合新FD影像區塊和合成FD 影像區塊
642‧‧‧丟棄新影像區塊
644‧‧‧雜訊過濾合成FD影像區塊
646‧‧‧熵編碼新合成FD影像區塊
647‧‧‧讀指標－寫指標>係數大小＋EOB大小？
648‧‧‧寫入EOB
649‧‧‧繼續第6C圖
655‧‧‧在合成影像暫存器中儲存熵編碼新合成FD影像區塊
656‧‧‧迴圈到616直至當前影像組合到合成FD影像中
659‧‧‧來自第6B圖
660‧‧‧載入來自壓縮影像暫存器的熵編碼合成FD影像區塊
662‧‧‧熵解碼熵編碼的合成FD影像區塊
664‧‧‧計算影像特徵強度度量值
668‧‧‧在壓縮影像緩存中搜尋高強度合成FD影像區塊
670‧‧‧在區域暫存器中儲存所選合成FD影像區塊
674‧‧‧FD→SD變換所選合成FD影像區塊
676‧‧‧載入來自向量表的高質量向量
678‧‧‧啟動在搜尋窗中搜尋候選匹配區塊
682‧‧‧測量在所選合成FD影像區塊的SD版本與候選匹配區塊之間的匹配強度
684‧‧‧如果最高匹配強度區塊在搜尋窗中則選擇候選匹配區塊作為匹配區塊
685‧‧‧繼續第6D圖
688‧‧‧建立起源座標
690‧‧‧建立目標座標
692‧‧‧計算向量
694‧‧‧影像區塊匹配在所選臨界值以上？
696‧‧‧在向量表中儲存向量
698‧‧‧丟棄向量
699‧‧‧轉移到區塊660以搜尋附加向量
第1圖是根據本發明各種實施例的裝置和系統的方塊圖。
第2A和2B圖是根據本發明各種實施例的物件狀態圖。
第3圖是根據本發明各種實施例的向量圖。
第4圖是根據本發明各種實施例的像素方塊圖。
第5圖是根據本發明各種實施例的運動匹配圖。
第6A－6D圖是根據本發明各種實施例的流程圖。
101‧‧‧壓縮影像暫存器
106‧‧‧條帶暫存器
114‧‧‧第一域變換器
116‧‧‧第一熵編碼器
120‧‧‧合成器
122‧‧‧第二域變換器
124‧‧‧組合邏輯
126‧‧‧影像比較器
127‧‧‧雜訊篩檢程式
128‧‧‧平均邏輯
130‧‧‧第二熵編碼器
134‧‧‧第一熵解碼器
138‧‧‧區塊內座標插值器
142‧‧‧轉置邏輯
146‧‧‧仿射矩陣計算器
148‧‧‧向量表
150‧‧‧像素索引器
154‧‧‧搜尋窗暫存器
160‧‧‧第二熵解碼器
164‧‧‧影像特徵強度邏輯
168‧‧‧區域暫存器
172‧‧‧第三域變換器
174‧‧‧搜尋邏輯
176‧‧‧運動匹配邏輯
188‧‧‧處理器
190‧‧‧防撞模組
192‧‧‧導航模組

Claims (25)

  1. 一種影像求和裝置，包括：一條帶暫存器，用以在從影像感測器陣列(ISA)接收與影像的新版本相關聯的影像資料流時儲存該影像資料流；一影像比較器，用以將與該影像的該新版本相關聯的新頻域(FD)影像區塊的選定低頻係數集和與該影像的至少一個先前接收版本相關聯的在先儲存合成FD影像區塊的對應低頻係數集相比較；以及一組合邏輯組件，如果該新FD影像區塊的該選定低頻係數集在匹配臨界值內與該在先儲存合成FD影像區塊的對應低頻係數集匹配，則該組合邏輯組件將該新FD影像區塊與該在先儲存合成FD影像區塊組合以產生新合成FD影像區塊。
  2. 根據申請專利範圍第1項所述的裝置，其還包括：一第一域變換器，其耦接到該條帶暫存器，用以將與第一接收影像相關聯的在先接收影像區塊從空間域轉換到頻域以產生在先接收FD影像區塊；以及一第一熵編碼器，其操作性地耦接到該第一域變換器，用以對該在先接收FD影像區塊進行熵編碼以產生經熵編碼的在先接收的FD影像區塊，以及用以在壓縮影像暫存器中儲存該經熵編碼的在先接收的FD影像區塊作為經熵編碼的在先儲存的合成FD影像區塊。
  3. 根據申請專利範圍第1項所述的裝置，其還包括： 一第二域變換器，其耦接到該條帶暫存器，用以使用SD到FD變換操作將從該影像資料選定的像素照度值從空間域(SD)轉換到頻域以產生該新FD影像區塊。
  4. 根據申請專利範圍第1項所述的裝置，其還包括：一平均邏輯組件，其耦接到該組合邏輯組件，用於計算來自該新FD影像區塊的FD係數和來自該在先儲存合成FD影像區塊的對應FD係數的加權平均，其中與來自該新FD影像區塊的FD係數相關聯的加權包括數值一，以及其中與來自該在先儲存合成FD影像區塊的對應FD係數相關聯的加權包括與合成到該在先儲存合成FD影像區塊中的影像圖框的數目相等的數；以及一第二熵編碼器，其耦接到該組合邏輯組件，用以對該新合成FD影像區塊進行熵編碼以產生經熵編碼的新合成FD影像區塊，以及用以在壓縮影像暫存器中儲存該經熵編碼的新合成FD影像區塊。
  5. 根據申請專利範圍第1項所述的裝置，其還包括：一第一熵解碼器，其耦接到該影像比較器，用以對經熵編碼的在先儲存的合成FD影像區塊執行熵解碼操作，以產生該在先儲存合成FD影像區塊；以及一轉置邏輯組件，其操作性地耦接到該條帶暫存器，用以對與該在先儲存合成FD影像區塊內的像素相關聯的座標集執行空間轉置操作，以尋找與來自該影像的新版本的對應像素相關聯的轉置座標集。
  6. 根據申請專利範圍第5項所述的裝置，其還包括： 一區塊內座標插值器，其耦接到該轉置邏輯組件，用以讀取與該在先儲存合成FD影像區塊相關聯的區塊位置座標集，以及用以確定與該在先儲存合成FD影像區塊內的像素相關聯的座標集，其中該座標集中的各座標被計算作為從對應區塊位置座標的偏移量；以及一仿射矩陣計算器，其耦接到所述轉置邏輯組件，用以生成仿射矩陣，使得與至少一個向量相關聯的起始點集的座標集與該仿射矩陣相乘得到與該至少一個向量相關聯的結束點集，其中該至少一個向量代表與該影像的至少一個先前接收版本相關聯的先前接收影像區塊在圖框中的位置和與該影像的新版本相關聯的對應後續接收影像區塊在該圖框中的位置之間的路徑。
  7. 根據申請專利範圍第1項所述的裝置，其還包括：一運動匹配邏輯組件，其操作性地耦接到該條帶暫存器，用以計算該在先儲存合成FD影像區塊的空間域(SD)版本在圖框中的位置和在與該影像的新版本相關聯的搜尋窗中找到的匹配影像區塊在該圖框中的位置之間的向量，以及如果該在先儲存的合成FD影像區塊的SD版本與該匹配影像區塊之間的匹配強度在選定匹配臨界值以上，則該運動匹配邏輯組件在向量表中儲存該向量；以及一搜尋窗暫存器，其耦接到該條帶暫存器，用以儲存與該搜尋窗相關聯的一像素集。
  8. 根據申請專利範圍第7項所述的裝置，其還包括： 一影像特徵強度邏輯組件，其操作性地耦接到該運動匹配邏輯組件，用以掃描壓縮影像暫存器的選定區域，以通過使用來自該在先儲存合成FD影像區塊的低頻係數集計算與該在先儲存合成FD影像區塊相關聯的影像特徵強度度量值來尋找影像特徵強度度量值比來自該選定區域的任何其他FD影像區塊都要高的最高強度在先儲存合成FD影像區塊；與該選定區域相關聯的一區域暫存器，用以儲存該最高強度在先儲存合成FD影像區塊；以及一第二熵解碼器，其耦接到該影像特徵強度邏輯組件，用以載入來自該壓縮影像暫存器的經熵編碼的在先儲存合成FD影像區塊，以及用以對該經熵編碼的在先儲存合成FD影像區塊的至少高階部分執行熵解碼操作以展現該在先儲存合成FD影像區塊的低頻係數集。
  9. 一種影像求和方法，包括有下列步驟：比較與影像的新版本相關聯的來自影像資料流的新頻域(FD)影像區塊的選定低頻係數集和與該影像的至少一個先前接收版本相關聯的在先儲存合成FD影像區塊的對應低頻係數集；以及如果該新FD影像區塊的低頻係數集在匹配臨界值內與該在先儲存合成FD影像區塊的低頻係數集匹配，則組合該新FD影像區塊與該在先儲存合成FD影像區塊以產生新合成FD影像區塊。
  10. 根據申請專利範圍第9項所述的方法，其還包括： 從影像感測器陣列(ISA)接收影像資料流的相繼部分；以及在從該ISA接收該影像資料流的相繼部分時在條帶暫存器中儲存該部分。
  11. 根據申請專利範圍第9項所述的方法，其中該經熵解碼的在先儲存的合成FD影像區塊包括聯合影像專家組(JPEG)影像區塊。
  12. 根據申請專利範圍第9項所述的方法，其還包括：計算來自該新FD影像區塊的FD係數和來自該在先儲存合成FD影像區塊的對應FD係數的加權平均，其中與來自該新FD影像區塊的FD係數相關聯的加權包括數值一，以及其中與來自該在先儲存合成FD影像區塊的對應FD係數相關聯的加權包括與合成到該在先儲存合成FD影像區塊中的影像圖框的數目相等的數；以及使用該加權平均來組合該新FD影像區塊與該在先儲存合成FD影像區塊。
  13. 根據申請專利範圍第9項所述的方法，其中該在先儲存合成FD影像區塊與影像的至少一個先前擷取圖框相關聯，以及其中該新FD影像區塊與該影像的下一個擷取圖框相關聯。
  14. 根據申請專利範圍第9項所述的方法，其還包括：對經熵編碼的在先儲存合成FD影像區塊執行熵解碼操作以產生該在先儲存的合成FD影像區塊。
  15. 根據申請專利範圍第9項所述的方法，其還包括： 讀取與該在先儲存的合成FD影像區塊相關聯的區塊位置座標集；以及確定與在該在先儲存的合成FD影像區塊內的至少一個像素相關聯的像素座標集，該像素座標集被計算為從該區塊位置座標集的偏移量。
  16. 根據申請專利範圍第15項所述的方法，其還包括：對與來自該在先儲存合成FD影像區塊的至少一個像素相關聯的像素座標集執行空間轉置操作，以找到與來自該影像資料流的像素集相關聯的座標集，使得來自該影像資料流的像素集和與該在先儲存合成FD影像區塊的空間域版本相關聯的像素近似空間對準；以及選擇來自該影像資料流的像素集以形成新影像區塊。
  17. 根據申請專利範圍第9項所述的方法，其還包括：計算仿射矩陣，使得與至少一個向量相關聯的起始點集的座標集與該仿射矩陣相乘得到與該至少一個向量相關聯的結束點集，其中該至少一個向量代表與先前接收影像區塊在圖框中的位置和後續接收影像區塊在該圖框中的對應位置之間的路徑。
  18. 根據申請專利範圍第9項所述的方法，其還包括：對該新合成FD影像區塊進行熵編碼以產生經熵編碼的新合成FD影像區塊；以及在壓縮影像暫存器中儲存該經熵編碼的新合成FD影像區塊。
  19. 根據申請專利範圍第9項所述的方法，其還包括： 如果該新FD影像區塊的低頻係數集在該匹配臨界值內與該在先儲存合成FD影像區塊的低頻係數不匹配，則丟棄該新FD影像區塊，留下該在先儲存的合成FD影像區塊作為該新合成FD影像區塊。
  20. 根據申請專利範圍第9項所述的方法，其還包括：載入來自壓縮影像暫存器的經熵編碼的在先儲存合成FD影像區塊；對該經熵編碼的在先儲存合成FD影像區塊的至少高階部分執行熵解碼操作，以展現該在先儲存合成FD影像區塊的低頻係數集；以及使用該低頻係數集來計算與該在先儲存合成FD影像區塊相關聯的影像特徵強度度量值。
  21. 根據申請專利範圍第9項所述的方法，其還包括：計算該選定合成FD影像區塊的空間域(SD)版本在圖框中的位置與在由該影像資料流代表的影像的搜尋窗中找到的匹配影像區塊在該圖框中的位置之間的向量；以及如果該選定合成FD影像區塊的SD版本與該匹配影像區塊之間的匹配強度在選定匹配臨界值以上，則將該向量儲存在向量表中。
  22. 根據申請專利範圍21第項所述的方法，其還包括：對該選定合成FD影像區塊執行FD到SD變換操作以獲得該選定合成FD影像區塊的SD版本；在該搜尋窗中進行搜尋以找到候選匹配影像區塊；測量在該選定合成FD影像區塊的SD版本與該候選匹 配影像區塊之間的匹配強度；以及如果該選定合成FD影像區塊的SD版本與該候選匹配影像區塊之間的強度大於與在該搜尋窗中找到的任何其他候選匹配影像區塊相關聯的匹配強度，則選擇該候選匹配影像區塊作為該匹配影像區塊。
  23. 根據申請專利範圍第22項所述的方法，其還包括：利用絕對差值求和倒數運算或者絕對差值平方求和倒數運算中的至少一個來測量匹配強度特性。
  24. 根據申請專利範圍第22項所述的方法，其還包括：建立該向量的起源座標集作為與該選定合成FD影像區塊的SD版本中的像素相關聯的座標集；以及建立該向量的目標座標集作為與該匹配影像區塊中的像素相關聯的座標集，其中該匹配影像區塊中的像素與該選定合成FD影像區塊中的像素在空間上對應。
  25. 根據申請專利範圍第22項所述的方法，其還包括：載入來自向量表的高質量向量集；以及在與該高質量向量集相關聯的目標座標集的中值相對應的位置最近的影像區塊處啟動該搜尋窗內的搜尋。
TW097114916A 2007-04-23 2008-04-23 壓縮域影像求和裝置、系統和方法 TWI437356B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/738,897 US7920746B2 (en) 2007-04-23 2007-04-23 Compressed domain image summation apparatus, systems, and methods

Publications (2)

Publication Number Publication Date
TW200844634A TW200844634A (en) 2008-11-16
TWI437356B true TWI437356B (zh) 2014-05-11

Family

ID=39540821

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097114916A TWI437356B (zh) 2007-04-23 2008-04-23 壓縮域影像求和裝置、系統和方法

Country Status (3)

Country Link
US (1) US7920746B2 (zh)
TW (1) TWI437356B (zh)
WO (1) WO2008133898A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7924316B2 (en) * 2007-03-14 2011-04-12 Aptina Imaging Corporation Image feature identification and motion compensation apparatus, systems, and methods
US7920746B2 (en) * 2007-04-23 2011-04-05 Aptina Imaging Corporation Compressed domain image summation apparatus, systems, and methods
US7924317B2 (en) * 2008-03-12 2011-04-12 Aptina Imaging Corporation Method and apparatus for reducing motion blur in digital images
WO2010129907A2 (en) * 2009-05-08 2010-11-11 Scientific Systems Company Inc. Method and system for visual collision detection and estimation
TWI549096B (zh) * 2011-05-13 2016-09-11 華晶科技股份有限公司 影像處理裝置及其處理方法
JP6516446B2 (ja) * 2014-11-14 2019-05-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US10336462B2 (en) * 2015-03-12 2019-07-02 Vu Systems, LLC Vehicle navigation methods, systems and computer program products
WO2017197618A1 (zh) * 2016-05-19 2017-11-23 深圳大学 一种红外图像中条纹噪声的去除方法及系统
TWI813358B (zh) * 2022-06-28 2023-08-21 旺宏電子股份有限公司 記憶體裝置及其資料搜尋方法
US11960759B2 (en) 2022-06-28 2024-04-16 Macronix International Co., Ltd. Memory device and data searching method thereof

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4445118A (en) * 1981-05-22 1984-04-24 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Navigation system and method
US4635203A (en) * 1984-04-06 1987-01-06 Honeywell Inc. Passive range measurement apparatus and method
US5579444A (en) * 1987-08-28 1996-11-26 Axiom Bildverarbeitungssysteme Gmbh Adaptive vision-based controller
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
WO1993023816A1 (en) * 1992-05-18 1993-11-25 Silicon Engines Inc. System and method for cross correlation with application to video motion vector estimation
JPH05328127A (ja) * 1992-05-20 1993-12-10 Nikon Corp 画像処理装置
US5703965A (en) * 1992-06-05 1997-12-30 The Regents Of The University Of California Image compression/decompression based on mathematical transform, reduction/expansion, and image sharpening
JPH0799658A (ja) * 1993-08-03 1995-04-11 Sony Corp 動きベクトル検出装置
JPH0865681A (ja) * 1994-08-25 1996-03-08 Sony Corp 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム
US5796434A (en) 1996-06-07 1998-08-18 Lsi Logic Corporation System and method for performing motion estimation in the DCT domain with improved efficiency
US6909797B2 (en) * 1996-07-10 2005-06-21 R2 Technology, Inc. Density nodule detection in 3-D digital images
US5907413A (en) * 1997-04-10 1999-05-25 Microtek International, Inc. Contact image sensor flat bed scanner
US6415054B1 (en) * 1997-07-15 2002-07-02 Silverbrook Research Pty Ltd. Target detection for dot region alignment in optical storage systems using ink dots
US6289112B1 (en) * 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6658145B1 (en) * 1997-12-31 2003-12-02 Cognex Corporation Fast high-accuracy multi-dimensional pattern inspection
US6408101B1 (en) * 1997-12-31 2002-06-18 Sarnoff Corporation Apparatus and method for employing M-ary pyramids to enhance feature-based classification and motion estimation
WO1999041912A2 (en) 1998-02-13 1999-08-19 Koninklijke Philips Electronics N.V. Method and arrangement for video coding
US6285801B1 (en) * 1998-05-29 2001-09-04 Stmicroelectronics, Inc. Non-linear adaptive image filter for filtering noise such as blocking artifacts
US6546117B1 (en) * 1999-06-10 2003-04-08 University Of Washington Video object segmentation using active contour modelling with global relaxation
US6625216B1 (en) 1999-01-27 2003-09-23 Matsushita Electic Industrial Co., Ltd. Motion estimation using orthogonal transform-domain block matching
JP4612760B2 (ja) * 2000-04-25 2011-01-12 キヤノン株式会社 画像処理装置およびその方法
US6678590B1 (en) * 2000-10-17 2004-01-13 Bbnt Solutions Llc Vehicle navigation system with vision system preprocessor using MPEG encoder
US6891570B2 (en) * 2001-01-31 2005-05-10 Itt Manufacturing Enterprises Inc. Method and adaptively deriving exposure time and frame rate from image motion
US7791641B2 (en) * 2001-09-12 2010-09-07 Samsung Electronics Co., Ltd. Systems and methods for utilizing activity detection information in relation to image processing
US7053953B2 (en) * 2001-12-21 2006-05-30 Eastman Kodak Company Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image
US7054367B2 (en) * 2001-12-31 2006-05-30 Emc Corporation Edge detection based on variable-length codes of block coded video
US7130472B2 (en) * 2002-01-21 2006-10-31 Canon Kabushiki Kaisha Image distribution apparatus, communication terminal apparatus, and control method thereof
JP4076148B2 (ja) * 2003-03-20 2008-04-16 株式会社リコー デジタルカメラ
EP1480170A1 (en) 2003-05-20 2004-11-24 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for processing images
US7612803B2 (en) * 2003-06-10 2009-11-03 Zoran Corporation Digital camera with reduced image buffer memory and minimal processing for recycling through a service center
JP2006115446A (ja) * 2004-09-14 2006-04-27 Seiko Epson Corp 撮影装置、及び画像評価方法
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
WO2006070046A1 (en) 2004-12-29 2006-07-06 Nokia Corporation Exposure of digital imaging
US8446964B2 (en) * 2005-07-18 2013-05-21 Broadcom Corporation Method and system for noise reduction with a motion compensated temporal filter
JP2009517138A (ja) * 2005-11-23 2009-04-30 カプソ・ビジョン・インコーポレイテッド 動き検出と「実体像」イメージの構築
JP4925271B2 (ja) * 2006-08-21 2012-04-25 株式会社メガチップス 一眼レフデジタルカメラにおける連続撮像方法
US7924316B2 (en) 2007-03-14 2011-04-12 Aptina Imaging Corporation Image feature identification and motion compensation apparatus, systems, and methods
US7920746B2 (en) 2007-04-23 2011-04-05 Aptina Imaging Corporation Compressed domain image summation apparatus, systems, and methods
US8543788B2 (en) * 2007-06-06 2013-09-24 Aptina Imaging Corporation Conformal rolling buffer apparatus, systems, and methods
KR101023945B1 (ko) * 2007-08-08 2011-03-28 주식회사 코아로직 Ｊｐｅｇ 캡쳐 시간 단축을 위한 영상 처리 장치 및 그영상 처리 장치에서 ｊｐｅｇ 캡쳐 방법

Also Published As

Publication number Publication date
WO2008133898A1 (en) 2008-11-06
US20080260265A1 (en) 2008-10-23
US7920746B2 (en) 2011-04-05
TW200844634A (en) 2008-11-16

Similar Documents

Publication Publication Date Title
TWI437356B (zh) 壓縮域影像求和裝置、系統和方法
RU2512130C2 (ru) Устройство и способ получения изображений с более высоким разрешением во встроенном устройстве
US9699458B2 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
JP5502988B2 (ja) 画像を回転させる装置および方法
US8542936B2 (en) Image encoding and decoding device
JP5078895B2 (ja) 統合時空間予測法
US9712820B2 (en) Predictive light field compression
US8406542B2 (en) Image decoding apparatus, image decoding method and computer program
KR20130105843A (ko) 저 복잡도 부호화의 비디오 코덱 방법 및 장치
JP2009188996A (ja) 動画像コーデック装置及びその方法
WO2017124298A1 (zh) 视频编码、解码方法及其帧间预测方法、装置和系统
JP2004336451A (ja) 画像復号ユニットとそれを用いた画像符号化装置及び符号化方法並びに画像復号装置及び復号方法
WO2015077476A1 (en) Implementation design for hybrid transform coding scheme
US20180012098A1 (en) Image processing system and image processing method
TWI558214B (zh) 視訊寫碼方法及其裝置和視訊解碼方法及其裝置
US20130163893A1 (en) Image processing device and image processing method
CN111147866A (zh) 对数据阵列进行编码
CN111343465A (zh) 电子电路和电子设备
KR101011894B1 (ko) 영상의 그룹을 코딩 또는 디코딩하기 위한 방법
JP6004852B2 (ja) ピクセルブロックを符号化及び再構成する方法と装置
KR101428531B1 (ko) 움직임 벡터의 정규화 및 윤곽선의 패턴 분석을 이용한 복수 영상 기반 초해상도 영상 생성 방법
JP2001086506A (ja) 画像符号化装置及び方法
JP2009118303A (ja) 画像符号化装置、画像符号化方法、画像復号化装置及び画像復号化方法
US20050025247A1 (en) Apparatus for parallel calculation of prediction bits in a spatially predicted coded block pattern and method thereof
Anandan et al. VIDEO COMPRESSION USING ARPS AND FAST DISCRETE CURVELET TRANSFORM FOR MOBILE DEVICES

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees