TWI513303B - 用於修正在數位影像資料中之失真的設備和方法 - Google Patents

用於修正在數位影像資料中之失真的設備和方法 Download PDF

Info

Publication number
TWI513303B
TWI513303B TW102116391A TW102116391A TWI513303B TW I513303 B TWI513303 B TW I513303B TW 102116391 A TW102116391 A TW 102116391A TW 102116391 A TW102116391 A TW 102116391A TW I513303 B TWI513303 B TW I513303B
Authority
TW
Taiwan
Prior art keywords
image
block
distortion
data
blocks
Prior art date
Application number
TW102116391A
Other languages
English (en)
Other versions
TW201351988A (zh
Inventor
Jizhang Shan
Chengyu Xiong
Original Assignee
Omnivision Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Tech Inc filed Critical Omnivision Tech Inc
Publication of TW201351988A publication Critical patent/TW201351988A/zh
Application granted granted Critical
Publication of TWI513303B publication Critical patent/TWI513303B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

用於修正在數位影像資料中之失真的設備和方法
本揭露書涉及為數位影像修正其在資料中之失真,尤其是用於修正在數位影像資料中之失真的一種設備和方法。
數位成像系統向來包括一個或多個透鏡和數位影像感測器,此數位影像感測器捕捉來自一物體或經由此透鏡成像之景色的光線,並處理此光線以轉入電子信號,向來將此電子信號轉化為代表來自此物體或景色之光線的數位信號,且向來將此數位信號儲存為在一半導體記憶體中的數位影像資料,此類數位成像系統常為各式各樣的消費者、產業之以及科學上之實際應用所使用以產生靜止影像及(或)錄影,包括行動電話、數位靜止影像和錄影照相機、網路攝影機以及其他此類裝置。
現代影像感測器向來是互補式金屬氧化物半導體(CMOS)影像感測器或電荷耦合元件(CCD)影像感測器,向來按像素之行列的一二維陣列排列此類影像感測器,一典型的現代數位影像感測器可包括數百萬個像素以提供高解析度之影像。
藉由一影像感測器裝置所產生的數位影像,包括靜止和錄影影像,之品質取決於各式各樣的因素。舉例來說,透鏡失真會顯著地影響此數位影像之品質,透鏡失真導致在經成像的一景色或物體中之直線卻於此影像中貌似彎曲。最常見的失真類型為起因於透鏡對稱性的徑向對稱式失真。可將徑向失真歸類為兩個主要型式之一:外擴式桶形失真和內陷式針墊形失真。在外擴式桶形失真中,影像放大倍率會隨著與光學軸的距離而減少,此效果貌似將一影像映射於一球或桶的周圍。在內陷式針墊形失真中,影像放大倍率會隨著與光學軸的距離而增加,其視覺效果為將未通過此影像中心的線條朝向此影像中心向內弓彎,就像一針墊。複合式失真則為外擴式桶形失真和內陷式針墊形失真之組合,其於接近此影像中心處作為外擴式桶形失真開始並在朝此影像周邊 時逐漸變成內陷式針墊形失真。
在常見的數位成像系統中,在向來形成於一半導體晶片模上的一影像信號處理器(Image Signal Processor,ISP)中所執行的信號處理可修正由透鏡失真所產生的錯誤。此影像信號處理器從向來亦形成於一半導體晶片模上的此影像感測器接收此數位影像資料。為執行此失真數位影像資料的此修正,向來需要一大容量的緩衝記憶體以儲存此失真影像資料的數百條線。向來數百萬位元之此必須記憶體如此之大以至於無法將其作為影像信號處理器晶片的部分包括在內。結果,需要向來為一動態隨機存取記憶體(Dynamic Random Access Memory,DRAM)裝置的一額外記憶體晶片。此額外裝置影響此整體系統的尺寸和成本。同樣地,此額外裝置引入於存取此記憶體時之延遲和記憶體存取頻寬之議題。
根據本發明的一特定面向,提供用於為一失真影像修正其在失真數位資料中之失真以為一修正影像產生修正數位資料的一種方法,根據此方法,將此失真數位資料分割成複數個失真資料區塊,將每個失真資料區塊分別編碼為一編碼後失真資料區塊,定義此修正影像的複數個修正區域,其中每個修正區域與一各自之修正資料區塊相聯繫,為每個修正資料區塊識別複數個相聯繫之編碼後失真資料區塊,將此複數個相聯繫之編碼後失真資料區塊解碼為各自之複數個相聯繫之解碼後失真資料區塊,並使用此相聯繫之解碼後失真資料區塊來為此修正資料區塊產生修正影像資料。
根據本發明的另一特定面向,提供用於為一失真影像修正其在失真數位資料中之失真以為一修正影像產生修正數位資料的一套設備,此套設備包括一編碼器、一處理器以及一解碼器,其中此編碼器用於將分割後之失真數位資料的複數個失真資料區塊的每個分別編碼為一編碼後失真資料區塊,此處理器定義此修正影像的複數個修正區域,以便每個修正區域與一各自之修正資料區塊相聯繫,其中此處理器為每個修正資料區塊識別複數個相聯繫之編碼後失真資料區塊,此解碼器將此複數個相聯繫之編碼後失真資料區塊解碼為各自之複數個相聯繫之解碼後失真資料區塊,此處理器使用此相聯繫之解碼後失真資料區塊來為此修正資料區塊產生修正影像資料。
根據本發明的另一特定面向,提供一套設備,此套設備包括一影 像感測器和一影像信號處理器,此影像信號處理器包括一第一編碼器、一輸入位元流記憶體、一解碼器、一區域記憶體、一處理器、一第二編碼器以及一輸出位元流記憶體,其中此第一編碼器用於將出自此影像感測器之一即時失真影像編碼並編索引為此失真影像的可定位之編碼且編索引後區塊,此輸入位元流記憶體用於儲存此失真影像的此可定位之編碼且編索引後區塊,此解碼器用於解碼此失真影像的此可定位之編碼且編索引後區塊,其與一修正影像之一區塊有關,此區域記憶體用於儲存此失真影像的此解碼後區塊,此處理器則使用此失真影像之此解碼後區塊來修正此修正影像之此區塊,此第二編碼器用於編碼此修正影像之此修正區塊,此輸出位元流記憶體用於儲存此修正影像之此編碼後修正區塊。
根據本發明的另一特定面向,提供一影像信號處理器,此影像信號處理器包括一第一編碼器、一輸入位元流記憶體、一解碼器、一區域記憶體、一處理器、一第二編碼器以及一輸出位元流記憶體,其中此第一編碼器用於將一即時失真影像輸出編碼並編索引為此失真影像的可定位之編碼且編索引後區塊,此輸入位元流記憶體用於儲存此失真影像的此可定位之編碼且編索引後區塊,此解碼器用於解碼此失真影像的此可定位之編碼且編索引後區塊,其與一修正影像之一區塊有關,此區域記憶體用於儲存此失真影像之此解碼後區塊,此處理器則使用此失真影像之此解碼後區塊來修正此修正影像之此區塊,此第二編碼器用於編碼此修正影像之此修正區塊,此輸出位元流記憶體用於儲存此修正影像之此編碼後修正區塊。
102、402‧‧‧失真影像
104、404‧‧‧修正影像
106‧‧‧失真線條
108‧‧‧光學中心
200、300、500‧‧‧系統
202‧‧‧即時輸入
204‧‧‧處理器方塊
206‧‧‧即時輸出
302、502‧‧‧影像感測器晶片
304‧‧‧即時失真影像資料輸入
306、506‧‧‧影像信號處理器晶片
308‧‧‧動態隨機存取記憶體晶片
310‧‧‧即時修正影像資料輸出
406、408‧‧‧失真區域
504‧‧‧即時失真影像輸入資料
508、518‧‧‧編碼器
510‧‧‧輸入位元流記憶體
512‧‧‧解碼器
514‧‧‧區域記憶體
516‧‧‧處理器
520‧‧‧輸出位元流記憶體
522‧‧‧壓縮後修正輸出
600‧‧‧程序
602~626‧‧‧步驟
憑藉如在伴隨圖式中所圖示闡明之較佳實施例的較特定描述,前述和其他此揭露書的特徵及優點將顯而易見,其中同樣的參照符號在所有此些不同視圖中均歸屬於相同的部件,此些圖式未必是按比例,而是著重在圖示闡明此揭露書的原理。
圖1包含的示意圖是帶有由透鏡失真所造成之外擴式桶形失真的一失真影像和已修正此失真的一修正影像。
圖2包含的一示意之功能方塊圖是一失真影像的一常見修正方法。
圖3包含的一示意方塊圖是一系統實施一失真影像的一常見修正方法。
圖4包含的示意圖是帶有由透鏡失真所造成之外擴式桶形失真的一失真影像和已根據示範的實施例修正此失真的一修正影像。
圖5包含的一示意之功能方塊圖是用於根據示範的實施例修正如在圖4中所圖示闡明之影像失真。
圖6包含的一示意之邏輯流程圖圖示闡明在根據示範之實施例修正透鏡失真的一程序中之步驟。
圖1包含的示意圖是帶有由透鏡失真所造成之外擴式桶形失真的一失真影像102和已修正此失真的一修正影像104。參照圖1,此失真影像102具有從此失真影像102之光學中心108彎曲出去的失真線條106。如上所指明,此示範之失真影像102貌似具有一桶或球形因而圖示闡明外擴式桶形失真。雖然僅圖示闡明外擴式桶形失真,但可理解的是本揭露書亦可適用於其他失真類型,諸如線條朝此光學中心108向內彎曲的內陷式針墊形失真和外擴式桶形與內陷式針墊形失真之組合-即複合式失真。外擴式桶形失真向來與廣角透鏡相聯繫,而內陷式針墊形失真則向來與變焦或遠攝透鏡相聯繫。
圖2包含的一示意之功能方塊圖是一失真影像-諸如圖示闡明於圖1中之失真影像102-的一常見修正方法,此方法將此失真影像修至一修正影像-諸如圖示闡明於圖1中的修正影像104。參照圖2,在系統200中,當數位影像感測器處理並產生失真影像資料時,一即時輸入202提供此失真影像資料,一處理器方塊204接收此失真影像資料,此處理器方塊204修正此失真影像資料、產生修正影像資料並在一即時輸出206提供此修正影像資料,可接著將此修正影像資料進一步處理以供諸如顯示之用。
假設在一失真影像中之一像素的座標稱為(x,y),處理器方塊204接著將複數個像素(x,y)轉換成在一修正影像中之座標(x',y')。根據在透鏡校正期間所決定的一失真模型執行這個轉換。此失真模型向來為一數學函f-諸如(x',y')=f(x,y,c),其中c表示在透鏡校正期間所決定的失真參數。數學函數f可為用任何已知失真估計方法實施之任何已知曲線擬合例行程序所產生的一多項式函數。
大體上,從複數個像素(x,y)到(x',y')的轉換並非一個一對一之映射過程。此轉換過程可根據此失真模型(x,y)=f(x,y,c)而使用此失真影像資料的 許多像素。實際上,此轉換過程可使用此失真影像資料之像素的全部或像素的許多線條來產生此修正影像資料(x',y')。此轉換過程向來需要至少此失真影像資料的許多線條以產生此修正影像資料。所需失真資料之實際線條數量通常是由在此失真影像資料中的失真嚴重性而定。舉例來說,需要資料之數百條線-相當於資料之數百萬位元-並非罕見。這些資料需要暫時儲存或緩衝於處理器方塊204中。在一些實施案例中,對此儲存之需求如此之高以致於需要一額外記憶體晶片-諸如動態隨機存取記憶體晶片。
圖3包含的一示意方塊圖是一系統300實施一失真影像的一常見修正方法。參照圖3,一影像感測器晶片302提供即時失真影像資料輸入304至一影像信號處理器(Image Signal Processor,ISP)晶片306。連接一獨自之動態隨機存取記憶體晶片308至影像信號處理器晶片306。動態隨機存取記憶體晶片308緩衝或暫時儲存此失真影像資料輸入304之數百條線以待轉換成修正影像資料之用。藉由遵循此失真模型(x',y')=f(x,y,c)將此失真影像資料轉換成修正影像資料而在影像信號處理器晶片306中處理此緩衝資料。影像信號處理器晶片306執行此轉換以提供即時修正影像資料輸出310。
圖4包含的示意圖是帶有由透鏡失真所造成之外擴式桶形失真的一失真影像402和已根據示範的實施例修正此失真的一修正影像404。圖示闡明在圖4中的此外擴式桶形失真類似於在圖1中所圖示闡明者。如上所指明,雖然於此是以此外擴式桶形失真類型描述並圖示闡明失真,但可理解的是本揭露書可適用於其他失真類型-諸如內陷式針墊形失真、複合式失真等。
參照圖4,可將失真影像402分割成和在修正影像404中之相聯繫區塊相配的區塊。舉例來說,可將失真影像402分割成失真區塊A0、A1、…、A7、B0、B1、…、B7等等。亦可將修正影像404分割成修正區塊,舉例來說,a0、a1、…、a7、b0、b1、…、b7等。將可理解的是在圖4中所圖示闡明之八乘八區塊分割方式僅是示範,可根據本揭露書而使用許多分割區塊。
如圖4所示,失真影像402亦包括和修正影像404之相聯繫區塊相配的區域,在本示範的實施例中是八乘八或64個區域。舉例來說,失真影像402之失真區域406和修正影像404之修正區塊a0相配、失真影像402之區域408和修正影像404之修正區塊a1相配等等。也就是說,根據示範的實施例將失真區域406修正為修正區塊a0,將失真區域408修正為修正區塊a1等等。根 據示範的實施例,在從與修正影像404相聯繫且和其相配之失真影像402的失真區域分別且逐一區塊修正全部修正區塊a0、a1、…、a7、b0、b1、…、b7之後,獲得整個此修正影像404。
如上所指明,從失真影像402的一相聯繫之失真區域產生修正影像404的每個修正區塊。根據示範的實施例,每個失真區域與失真影像402的一個或多個區塊相聯繫。舉例來說,修正區塊a0與失真區域406相聯繫,如上所指明。失真區域406與失真區塊A0、A1、B0以及B1相聯繫。為了根據示範的實施例在修正影像404中產生修正區塊a0,根據此修正轉換模型(x',y')=f(x,y,c)轉換失真影像402之失真區域406。既然僅失真影像402之失真區塊A0、A1、B0以及B1與修正影像404之修正區塊a0有關,僅使用出自失真影像402的此些區塊之資料來產生在修正影像404中之修正區塊a0。既然,根據此示範的實施例僅相對少量的資料是用於每個個別區塊之修正,爰僅需要儲存這個資料量的足夠記憶體。因此,無需額外記憶體裝置-諸如一額外的動態隨機存取記憶體裝置。
圖5包含一系統500的一示意之功能方塊圖,用於根據示範的實施例修正如在圖4中所圖示闡明之影像失真。參照圖5,一影像感測器晶片502提供即時失真影像輸入資料504。一編碼器508使用不是一有損資料壓縮就是一無損資料壓縮的一些已知資料壓縮方法來壓縮或編碼即時失真影像輸入資料504。對即時失真影像輸入資料504的此資料壓縮是逐一區塊由編碼器508執行。也就是說,將預期歸屬於失真區塊A0之失真資料編碼後,接著將預期歸屬於失真區塊A1之失真資料編碼,接著編碼失真區塊A2等等,到全部預期歸屬於失真影像402的資料之區塊皆已編碼為止。應當注意的是在本揭露書各處均認為資料編碼和資料壓縮是同義的且可替換使用兩者。用位置索引來為全部編碼後或壓縮後區塊編索引,並將其儲存於一輸入位元流記憶體510。也就是說,輸入位元流記憶體510獨立儲存可定位之編索引後壓縮失真區塊A0、A1、…、A7、B0、B1、…、B7等等。因為用位置索引來對此區塊編索引,所以可獨立定位儲存於輸入位元流記憶體510的每個區塊。既然使用不是一無損就是一有損壓縮方法來壓縮全部區塊,輸入位元流記憶體510就資料儲存容量而論可相對小,舉例來說,僅數十萬位元。從而,輸入位元流記憶體510作為一影像信號處理器(ISP)晶片506的部分可被包括在內而無需為一獨自之裝置。
當以修正區塊a0為例作修正時,一解碼器512從輸入位元流記憶體510接收壓縮失真區塊A0、A1、B0以及B1並解碼所接收之區塊。在一區域記憶體514中暫時儲存僅失真區塊A0、A1、B0以及B1之解碼後或解壓縮後資料。應當注意的是在本揭露書各處均認為資料編碼和資料壓縮是同義的且可替換使用兩者。既然僅解碼並儲存少量的區塊,區域記憶體514可相對小,舉例來說,在尺寸方面僅數千位元。因而,區域記憶體514可被包括在影像信號處理器晶片506中而無需為一獨自之裝置。一處理器516接收此解壓縮後資料失真區塊A0、A1、B0以及B1並將其轉變為在修正影像404中之解壓縮後修正區塊a0。使用不是無損就是有損資料壓縮的一編碼器518接著壓縮此解壓縮後修正區塊a0,並在一輸出位元流記憶體520中儲存預期歸屬於修正區塊a0之壓縮後資料。因為在輸出位元流記憶體520中僅儲存壓縮後資料,所以輸出位元流記憶體520可相對小,舉例來說,大約數十萬位元之譜,且因而可被包括在影像信號處理器晶片506中而無需為一獨自之裝置。由輸出位元流記憶體520提供一壓縮後修正輸出522,並從影像信號處理器晶片506將其輸出。
從而,根據示範的實施例可將編碼器508、輸入位元流記憶體510、解碼器512、區域記憶體514、處理器516、編碼器518以及輸出位元流記憶體520全部皆包括在影像信號處理器晶片506中,而無需獨自之記憶體裝置或其他裝置或儲存元件,因此實現顯著之尺寸和成本削減。
在隨後之區塊-即區塊a1、a2等等-的修正期間,根據示範的實施例可在處理之需求和儲存之需求等方面實現進一步的顯著削減。舉例來說,當產生修正區塊a1時,需要失真區塊A1、A2、B1以及B2的解碼後或解壓縮後資料。然而,因為先前已產生修正區塊a0,所以失真區塊A1和B1依然暫時儲存在區域記憶體514中。因而,僅失真區塊A2和B2需要定位和解碼並儲存在區域記憶體514中。處理器516將失真區塊A1、A2、B1以及B2之解壓縮後資料轉變為在修正影像404中之解壓縮後修正區塊a1。編碼器518接著壓縮此解壓縮後修正區塊a1,並在輸出位元流記憶體520中同修正區塊a0一起儲存此壓縮後修正區塊a1。以相同方式修正剩餘之區塊,直到修正在修正影像404中的全部區塊並將其儲存在輸出位元流記憶體520中。
圖6包含的一示意之邏輯流程圖圖示闡明在根據示範之實施例修正失真的一程序600中之步驟。參照圖4至6,在步驟602中接收即時失真影 像輸入504。然後,在步驟604中將此失真影像資料分割成區塊。舉例來說,將失真影像402分割成失真區塊A0、A1、…、A7、B0、B1、…、B7。然後,在步驟606中將失真影像資料的每個區塊-例如每個失真區塊A0、A1、…、A7、B0、B1、…、B7-分別編碼並用一位置索引來為其編索引。然後,在步驟608中用位置索引在輸入位元流記憶體510中儲存失真影像資料的編碼且編索引後區塊。然後,在步驟610中將修正影像404分割成區塊-例如修正區塊a0、a1、…、a7、b0、b1、…、b7。然後,從步驟612開始並繼續至步驟624,將修正影像404之一區塊修正完。說明確些,在步驟614中,在輸入位元流記憶體510中為待修正之修正影像404的此區塊識別並定位失真影像402之相關區塊。接著,在步驟616中,於解碼器512之內將失真影像402之定位後相關區塊解碼。接著,在步驟618中,於處理器516之內使用失真影像402之此定位後相關區塊來將修正影像404之此區塊修正。接著,在步驟620中,於編碼器518之內將修正影像404之修正後區塊編碼。接著,在步驟622中將修正影像404之編碼後修正區塊儲存在輸出位元流記憶體520中。接著,在步驟624中,從輸出位元流記憶體520輸出此編碼後修正區塊。然後,在判斷步驟626中對是否已產生修正影像404之全部區塊形成一確定。若否,接著流程回到步驟612至624,在此中如上所述產生修正影像404之另一區塊;若在判斷步驟626中判定已產生修正影像404之全部區塊,接著此程序終止。雖未顯示於圖6中,但步驟624和626的次序可顛倒。
特徵之組合
前文已詳細描述種種特徵和面向。除非此描述明確將特徵的一組合排除在外,否則本文描述涵蓋許多於此所描述之特徵和面向的任何和全部組合。接下來的例子依照本揭露書詳細例示闡明若干於此所考量和描述之特徵的組合。
於此所詳述及(或)根據申請專利範圍所提出之實施例當中的任何一個之中,此套設備可進一步包含:一第二編碼器和一輸出位元流記憶體,其中此第二編碼器為每個修正資料區塊將預期歸屬於此修正資料區塊之修正影像資料編碼以產生預期歸屬於此修正資料區塊之編碼後修正影像資料,此輸出位元流記憶體儲存預期歸屬於此修正資料區塊之編碼後修正影像資料。
於此所詳述及(或)根據申請專利範圍所提出之實施例當中的任 何一個之中,此套設備可進一步包含一輸入位元流記憶體,用於儲存每個編索引後之編碼後失真資料區塊。
於此所詳述及(或)根據申請專利範圍所提出之實施例當中的任何一個之中,兩個修正資料區塊可與至少一個共同相聯繫之編碼後失真資料區塊相聯繫。
於此所詳述及(或)根據申請專利範圍所提出之實施例當中的任何一個之中,形成此影像感測器於一影像感測器晶片之上。
於此所詳述及(或)根據申請專利範圍所提出之實施例當中的任何一個之中,形成此影像信號處理器於一影像信號處理器晶片之上。
儘管本揭露書已顯示並描述示範的實施例,所屬技術領域中具有通常知識者將可理解的是在未脫離本揭露書之精神與範疇的情況下,可於其中進行在形狀和細節方面的種種變更,本揭露書之精神與範疇如下面的申請專利範圍所定義。
500‧‧‧系統
502‧‧‧影像感測器晶片
504‧‧‧即時失真影像輸入資料
506‧‧‧影像信號處理器(ISP)晶片
508、518‧‧‧編碼器
510‧‧‧輸入位元流記憶體
512‧‧‧解碼器
514‧‧‧區域記憶體
516‧‧‧處理器
520‧‧‧輸出位元流記憶體
522‧‧‧壓縮修正輸出

Claims (12)

  1. 一種修正方法,用於為一失真影像修正其在失真數位資料中之失真以為一修正影像產生修正數位資料,包含:(A)將該失真數位資料分割成複數個失真資料區塊;(B)將每個失真資料區塊分別編碼為一編碼後失真資料區塊,該分別編碼由下列步驟組成:藉由一無損或有損資料壓縮分別編碼該失真資料區塊之每一者,以及;對該編碼後失真資料區塊編索引以儲存於輸入位元流記憶體;(C)識別與一第一修正資料區塊相聯繫之一第一複數個相聯繫之編碼後失真資料區塊;(D)將該第一複數個相聯繫之編碼後失真資料區塊解碼為相聯繫解碼後失真資料區塊之一第一集合;(E)使用相聯繫解碼後失真資料區塊之該第一集合來為該第一修正資料區塊產生修正影像資料;(F)識別與一第二修正資料區塊相聯繫之一第二複數個相聯繫之編碼後失真資料區塊;(G)將該第二複數個相聯繫之編碼後失真資料區塊解碼為相聯繫解碼後失真資料區塊之一第二集合;(H)使用相聯繫解碼後失真資料區塊之該第二集合及相聯繫解碼後失真資料區塊之該第一集合之至少一部分來為該第二修正資料區塊產生修正影像資料,以致該複數個修正資料區塊之至少二個與共同相聯繫之編碼後失真資料區塊相聯繫,以及;其中步驟(G)及(H)在步驟(D)後發生。
  2. 申請專利範圍第1項之該方法,進一步包含為每個修正資料區塊將預期歸屬 於該修正資料區塊之該修正影像資料編碼以產生預期歸屬於該修正資料區塊之編碼後修正影像資料,並儲存預期歸屬於該修正資料區塊之該編碼後修正影像資料於一輸出位元流記憶體中。
  3. 申請專利範圍第2項之該方法,進一步包含從該輸出位元流記憶體輸出預期歸屬於該修正資料區塊之該編碼後修正影像資料。
  4. 申請專利範圍第1項之該方法,進一步包含儲存該編索引後之編碼後失真資料區塊於一輸入位元流記憶體中。
  5. 一種設備,用於為一失真影像修正其在失真數位資料中之失真以為一修正影像產生修正數位資料,包含:一影像信號處理器具有:一編碼器,用於將分割後之失真數位資料的複數個失真資料區塊的每個分別編碼為一各自的編碼後失真資料區塊,該編碼後失真資料區塊以一有損或無損資料壓縮編碼並在不更進一步之操作下具有用於之複數個索引以根據一索引儲存在一輸入位元流記憶體;一處理器經組態成:(A)定義該失真影像之複數個失真區域,以便每個失真區域與該修正數位資料之至少一各自之修正資料區塊相聯繫;(B)對一第一及第二修正資料區塊之每一者,該處理器為每個修正資料區塊識別與該第一及第二修正資料區塊相聯繫之一各自第一及第二複數個相聯繫之編碼後失真資料區塊;以及一解碼器具有:用於將該第一複數個相聯繫之編碼後失真資料區塊解碼為相聯繫解碼後失真資料區塊之一第一集合,以及;該第二複數個相聯繫之編碼後失真資料區解碼為相聯繫解碼後失真資料 區塊之一第二集合之;其中該處理器更經組態成:利用相聯繫解碼後失真資料區塊之該第一集合產生該第一修正資料區塊之修正影像資料,以及;利用相聯繫解碼後失真資料區塊之該第二集合及相聯繫解碼後失真資料區塊之該第一集合之至少一部分產生該第二修正資料區塊之修正影像資料,以致該複數個修正資料區塊之至少二個與共同相聯繫之編碼後失真資料區塊相聯繫,以及;其中該解碼器在該第一修正資料區塊之該修正影像資料產生後解碼該第二集合之相聯繫解碼後失真資料區塊。
  6. 申請專利範圍第5項之該設備,該影像信號處理器進一步包含:一第二編碼器,用於為每個修正資料區塊將預期歸屬於該修正資料區塊之該修正影像資料編碼以產生預期歸屬於該修正資料區塊之編碼後修正影像資料;以及一輸出位元流記憶體,用於儲存預期歸屬於該修正資料區塊之該編碼後修正影像資料。
  7. 申請專利範圍第5項之該設備,該輸入位元流記憶體依據該索引儲存每個編碼後失真資料區塊。
  8. 一種設備,包含:一影像感測器;以及一影像信號處理器,包含:一第一編碼器僅組態成用於將出自該影像感測器之一即時失真影像編碼並編索引為該失真影像的可定位之編碼且編索引後區塊;一輸入位元流記憶體,用於儲存該失真影像的該可定位之編碼且編索引後區 塊;一解碼器具有:解碼該失真影像之該可定位之編碼且編索引後區塊之相聯繫編碼及編索引後區塊之一第一集合為該失真影像之解碼區塊之一第一集合,該第一集合之相聯繫解碼後及編索引後區塊與一修正影像之一第一區塊相聯繫,以及;解碼該失真影像之該可定位之編碼且編索引後區塊之相聯繫編碼及編索引後區塊之一第二集合為該失真影像之解碼區塊之一第二集合,該第二集合之相聯繫解碼後及編索引後區塊與一修正影像之一第二區塊相聯繫;一區域記憶體,用於儲存該失真影像之該解碼後區塊之複數個該集合;一處理器經組態成:使用該失真影像之該解碼後區塊之該第一集合修正該修正影像之該第一區塊,其中該失真影像之該解碼後區塊之該第一集合仍然儲存在該區域記憶體;使用該失真影像之該解碼後區塊之該第二集合修正該修正影像之該第二區塊,其中該失真影像之該解碼後區塊之該第二集合仍然儲存在該區域記憶體,以及;其中該解碼後區塊之該第二集合在該處理器修正該修正影像之該第一區塊後儲存於該區域記憶體;一第二編碼器,用於編碼該修正影像之該複數個修正區塊;以及一輸出位元流記憶體,用於儲存該修正影像之該複數個編碼後修正區塊。
  9. 申請專利範圍第8項之該設備,其中形成該影像感測器於一影像感測器晶片之上。
  10. 申請專利範圍第8項之該設備,其中形成該影像信號處理器於一影像信號處理器晶片之上。
  11. 一種影像信號處理器,包含:一第一編碼器僅組態成將一即時失真影像輸出編碼並編索引為該失真影像的可定位之編碼且編索引後區塊;一輸入位元流記憶體,用於儲存該失真影像的該可定位之編碼且編索引後區塊;一解碼器:解碼該失真影像之該可定位之編碼且編索引後區塊之相聯繫編碼及編索引後區塊之一第一集合為該失真影像之解碼區塊之一第一集合,該第一集合之相聯繫解碼後及編索引後區塊與一修正影像之一第一區塊相聯繫,以及;解碼該失真影像之該可定位之編碼且編索引後區塊之相聯繫編碼及編索引後區塊之一第二集合為該失真影像之解碼區塊之一第二集合,該第二集合之相聯繫解碼後及編索引後區塊與一修正影像之一第二區塊相聯繫;一區域記憶體,用於儲存該失真影像之該解碼後區塊之複數個該集合;一處理器經組態成:使用該失真影像之該解碼後區塊之該第一集合修正該修正影像之該第一區塊,其中該失真影像之該解碼後區塊之該第一集合仍然儲存在該區域記憶體;使用該失真影像之該解碼後區塊之該第二集合修正該修正影像之該第二區塊,其中該失真影像之該解碼後區塊之該第二集合仍然儲存在該區域記憶體,以及;其中該解碼後區塊之該第二集合在該處理器修正該修正影像之該第一區塊後儲存於該區域記憶體;一第二編碼器,用於編碼該修正影像之該複數個修正區塊;一輸出位元流記憶體,用於儲存該修正影像之該複數個編碼後修正區塊,以 及;其中在該處理器修正該修正影像之該第一區塊後,該解碼後區塊之該第二集合儲存在區域記憶體。
  12. 申請專利範圍第11項之該影像信號處理器,其中形成該影像信號處理器於一影像信號處理器晶片之上。
TW102116391A 2012-05-15 2013-05-08 用於修正在數位影像資料中之失真的設備和方法 TWI513303B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/472,139 US8787689B2 (en) 2012-05-15 2012-05-15 Apparatus and method for correction of distortion in digital image data

Publications (2)

Publication Number Publication Date
TW201351988A TW201351988A (zh) 2013-12-16
TWI513303B true TWI513303B (zh) 2015-12-11

Family

ID=49581352

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102116391A TWI513303B (zh) 2012-05-15 2013-05-08 用於修正在數位影像資料中之失真的設備和方法

Country Status (3)

Country Link
US (1) US8787689B2 (zh)
CN (1) CN103428449B (zh)
TW (1) TWI513303B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013125401A (ja) * 2011-12-14 2013-06-24 Samsung Electronics Co Ltd 撮像装置および歪補正方法
US8952973B2 (en) * 2012-07-11 2015-02-10 Samsung Electronics Co., Ltd. Image signal processor and method of operating the same
JP6603558B2 (ja) * 2015-11-25 2019-11-06 キヤノン株式会社 撮像素子および撮像装置
EP3174286B1 (en) 2015-11-25 2021-01-06 Canon Kabushiki Kaisha Image sensor and image capturing apparatus
CN111539880B (zh) * 2020-04-15 2023-09-08 上海摩象网络科技有限公司 图像处理方法、设备及手持相机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW483276B (en) * 2001-05-15 2002-04-11 Dynacolor Inc Positioning method to accurately position the optical lens module and array sensor device of optical image sensing device and the device thereof, and the method to calibrate and compensate the image distortion of optical lens set
US20040151372A1 (en) * 2000-06-30 2004-08-05 Alexander Reshetov Color distribution for texture and image compression
US20070025636A1 (en) * 2003-06-02 2007-02-01 Olympus Corporation Image processing device
US20070110160A1 (en) * 2005-09-22 2007-05-17 Kai Wang Multi-dimensional neighboring block prediction for video encoding
TW200818114A (en) * 2006-08-11 2008-04-16 Silicon Optix Inc System and method for automated calibration and correction of display geometry and color

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134613A (en) * 1997-06-16 2000-10-17 Iomega Corporation Combined video processing and peripheral interface card for connection to a computer bus
US6970592B2 (en) 2000-09-04 2005-11-29 Fujitsu Limited Apparatus and method for correcting distortion of input image
JP3429280B2 (ja) 2000-09-05 2003-07-22 理化学研究所 画像のレンズ歪みの補正方法
JP4310645B2 (ja) 2004-12-28 2009-08-12 ソニー株式会社 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
US7881563B2 (en) 2006-02-15 2011-02-01 Nokia Corporation Distortion correction of images using hybrid interpolation technique
JP4714174B2 (ja) 2007-03-27 2011-06-29 富士フイルム株式会社 撮像装置
US20090080770A1 (en) * 2007-09-24 2009-03-26 Broadcom Corporation Image pixel subsampling to reduce a number of pixel calculations
JP4942216B2 (ja) * 2008-09-30 2012-05-30 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置及びプログラム
WO2010071647A1 (en) 2008-12-18 2010-06-24 Omnivision Technologies, Inc. Image sensor apparatus and method for line buffer efficient lens distortion correction
JP5443844B2 (ja) * 2009-06-17 2014-03-19 オリンパス株式会社 画像処理装置及び撮像装置
JP5299383B2 (ja) * 2010-08-20 2013-09-25 株式会社Jvcケンウッド 画像補正装置および画像補正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040151372A1 (en) * 2000-06-30 2004-08-05 Alexander Reshetov Color distribution for texture and image compression
TW483276B (en) * 2001-05-15 2002-04-11 Dynacolor Inc Positioning method to accurately position the optical lens module and array sensor device of optical image sensing device and the device thereof, and the method to calibrate and compensate the image distortion of optical lens set
US20070025636A1 (en) * 2003-06-02 2007-02-01 Olympus Corporation Image processing device
US20070110160A1 (en) * 2005-09-22 2007-05-17 Kai Wang Multi-dimensional neighboring block prediction for video encoding
TW200818114A (en) * 2006-08-11 2008-04-16 Silicon Optix Inc System and method for automated calibration and correction of display geometry and color

Also Published As

Publication number Publication date
US8787689B2 (en) 2014-07-22
TW201351988A (zh) 2013-12-16
US20130308870A1 (en) 2013-11-21
CN103428449A (zh) 2013-12-04
CN103428449B (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
TWI513303B (zh) 用於修正在數位影像資料中之失真的設備和方法
US9185271B2 (en) Imaging device detecting motion vector
CN102369554B (zh) 用以旋转图像的设备和方法
US20190028722A1 (en) Electronic device and method for encoding image data therein
JP2012054882A (ja) 画像符号化方法、画像復号化方法、画像符号化装置及び画像復号化装置
US10621706B2 (en) Device for recording information about defective pixels, and defective pixel value correction device and method
US11818369B2 (en) Image sensor module, image processing system, and image compression method
CN102812698A (zh) 摄像装置
US20090244307A1 (en) Image encoding method and device, image decoding method and device, and imaging device
TW201712604A (zh) 圖像條碼編碼方法、圖像條碼解碼方法、圖像條碼編碼裝置及圖像條碼解碼裝置
US20200252652A1 (en) Encoding device, decoding device, encoding method, and decoding method
JP5811879B2 (ja) 画像処理装置および画像処理方法
US10652540B2 (en) Image processing device, image processing method, and recording medium storing image processing program
JP2013106131A (ja) 画像処理装置
JP5023313B2 (ja) ディストーション補正装置
JP6275468B2 (ja) 画像処理装置、画像処理方法及び撮像装置
JP7404201B2 (ja) 画像処理装置及び画像処理方法
JP6225137B2 (ja) 車載カメラ画像処理装置
JP6607956B2 (ja) ビデオ処理方法及びビデオ処理システム
US11823417B2 (en) Camera module, image processing system and image compression method
JP6486120B2 (ja) 符号化装置、符号化装置の制御方法、及びプログラム
JP6123691B2 (ja) 画像処理装置、画像処理方法及び撮像装置
CN102469306A (zh) 图像压缩的方法
KR101355570B1 (ko) 룩업 테이블 압축 장치 및 방법
KR20220009843A (ko) 카메라 모듈, 이미지 처리 시스템 및 이미지 압축 방법