TWI513297B - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
TWI513297B
TWI513297B TW099109427A TW99109427A TWI513297B TW I513297 B TWI513297 B TW I513297B TW 099109427 A TW099109427 A TW 099109427A TW 99109427 A TW99109427 A TW 99109427A TW I513297 B TWI513297 B TW I513297B
Authority
TW
Taiwan
Prior art keywords
rate
ratio
data
address
image
Prior art date
Application number
TW099109427A
Other languages
English (en)
Other versions
TW201044863A (en
Inventor
Kyoji Yoshino
Original Assignee
Dainippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dainippon Printing Co Ltd filed Critical Dainippon Printing Co Ltd
Publication of TW201044863A publication Critical patent/TW201044863A/zh
Application granted granted Critical
Publication of TWI513297B publication Critical patent/TWI513297B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

影像處理裝置及影像處理方法
本發明係有關於影像處理裝置及影像處理方法。
為了將使用廣角透鏡(例如魚眼透鏡等)所拍攝到的影像(例如魚眼影像)轉換成二維性的平面影像並顯示，而會對於所拍攝到的影像，藉由RGB轉換電路來實施RGB彩色轉換，其後，以扭曲補正電路來實施扭曲補正，而轉換成平面影像。
為了實現所述的轉換，而會適用例如FPGA(Field Programmable Gate Array)等之半導體晶片的電路。
在專利文獻1中係揭露了，對於透過廣角透鏡所擷取到的含有扭曲的資料，進行扭曲補正後，以RGB內插電路將RGB資料進行內插，生成輸出資料的發明。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開2008-061172號公報
然而，由於上記內插是對輸入資料將R(Red)、G(Green)、及B(Blue)之各色資料進行內插，因此該當轉換後的輸入資料的資料量，相較於輸入前，是具有3倍的資料量。因此，在實現上記機能的裝置中，會壓迫記憶領域，是導致成本增加的主因。
又，將(有缺損的)輸入資料以RGB轉換電路進行補正後，又再以扭曲補正電路來補正，因此畫質是比直接從輸入資料(例如作為特有圖案排列之一例的Bayer Pattern排列的影像資料)進行補正(轉換成平面影像)時還要差。
再者，近年來，超過1千萬像素的數位相機成為主流，被該當相機所拍攝到的影像的RGB資料，具有極為龐大的資料大小。因此，為了將該當資料保存在記憶體，必須要適用具有更多記憶領域的記憶體等，造成更進一步成本增加，又，伴隨記憶體增設，電路也變得複雜化、巨大化，是導致產品整體的消費電力增加之主因。
於是，本發明係有鑑於上記各問題點而硏發，其目的之一例在於提供一種，以較簡使之構成就能進行高畫質之影像轉換的影像處理裝置及影像處理方法等。
為了解決上記課題，請求項1所記載之發明，係屬於將表示魚眼透鏡所拍攝到之魚眼影像的輸入資料，轉換成表示二維性可目視之平面影像的輸出資料用的影像處理裝置，其係具備：輸入資料轉換手段，係用以將前記魚眼影像，轉換成由表示構成前記魚眼影像之像素的輸入資料像素資訊、和表示前記像素所對應之色彩資訊的輸入資料色彩資訊所構成的前記輸入資料；和魚眼影像補正位址生成手段，係用以基於前記輸入資料像素資訊，而生成表示構成前記平面影像之像素的輸出資料像素資訊；和輸入資料色彩資訊取得手段，係用以基於拜爾排列的彩色濾光片陣列的排列圖案，而取得前記輸入資料色彩資訊；和輸出資料色彩資訊算出手段，係用以基於前記輸入資料色彩資訊，而算出表示構成前記平面影像之像素所對應之色彩資訊的輸出資料色彩資訊；和輸出資料生成手段，係用以生成由前記輸出資料像素資訊和前記輸出資料色彩資訊所構成之前記輸出資料；和記憶手段，係用以記憶前記輸入資料及前記輸出資料。
若依據此發明，則基於由表示被魚眼透鏡所拍攝到之魚眼影像之構成像素的輸入資料像素資訊和表示前記像素所對應之色彩資訊的輸入資料色彩資訊所構成的輸入資料，而生成屬於表示二維性可目視之平面影像的輸出資料，且為由表示構成前記平面影像之像素的輸出資料像素資訊和表示前記像素所對應之色彩資訊的輸出資料色彩資訊所構成的前記輸出資料。
因此，可不使用專用的處理電路(RGB轉換電路)就能從輸入資料獲得RGB資料(色彩資訊)，可以較簡便之構成且廉價地，進行高畫質的影像轉換。
請求項2所記載之影像處理裝置，係為請求項1所記載之影像處理裝置中，前記輸出資料色彩資訊算出手段係藉由線性演算而算出前記輸出資料色彩資訊。
請求項3所記載之發明，係屬於將表示魚眼透鏡所拍攝到之魚眼影像的輸入資料，轉換成表示二維性可目視之平面影像的輸出資料用的影像處理裝置中的影像處理方法，其係具有：輸入資料轉換步驟，係用以將前記魚眼影像，轉換成由表示構成前記魚眼影像之像素的輸入資料像素資訊、和表示前記像素所對應之色彩資訊的輸入資料色彩資訊所構成的輸入資料；和魚眼影像補正位址生成步驟，係用以基於前記輸入資料像素資訊，而生成表示構成前記平面影像之像素的輸出資料像素資訊；和輸入資料色彩資訊取得步驟，係用以基於拜爾排列的彩色濾光片陣列的排列圖案，而取得前記輸入資料色彩資訊；和輸出資料色彩資訊算出步驟，係用以基於前記輸入資料色彩資訊，而算出表示構成前記平面影像之像素所對應之色彩資訊的輸出資料色彩資訊；和輸出資料生成步驟，係用以生成由前記輸出資料像素資訊和前記輸出資料色彩資訊所構成之前記輸出資料；和記憶步驟，係用以記憶前記輸入資料及前記輸出資料。
請求項4所記載之發明，係將程式以電腦可讀取之方式加以記錄，該程式係用以使將表示魚眼透鏡所拍攝到之魚眼影像的輸入資料轉換成表示二維性可目視之平面影像的輸出資料用的影像處理裝置中所含有之電腦，發揮功能成為：輸入資料轉換手段，係用以將前記魚眼影像，轉換成由表示構成前記魚眼影像之像素的輸入資料像素資訊、和表示前記像素所對應之色彩資訊的輸入資料色彩資訊所構成的輸入資料；魚眼影像補正位址生成手段，係用以基於前記輸入資料像素資訊，而生成表示構成前記平面影像之像素的輸出資料像素資訊；輸入資料色彩資訊取得手段，係用以基於拜爾排列的彩色濾光片陣列的排列圖案，而取得前記輸入資料色彩資訊；輸出資料色彩資訊算出手段，係用以基於前記輸入資料色彩資訊，而算出表示構成前記平面影像之像素所對應之色彩資訊的輸出資料色彩資訊；輸出資料生成手段，係用以生成由前記輸出資料像素資訊和前記輸出資料色彩資訊所構成之前記輸出資料；記憶手段，係用以記憶前記輸入資料及前記輸出資料。
如以上，若依據本發明，則因為是基於由表示被魚眼透鏡所拍攝到之魚眼影像之構成像素的輸入資料像素資訊和表示前記像素所對應之色彩資訊的輸入資料色彩資訊所構成的輸入資料，生成屬於表示二維性可目視之平面影像的輸出資料，且為由表示構成前記平面影像之像素的輸出資料像素資訊和表示前記像素所對應之色彩資訊的輸出資料色彩資訊所構成的前記輸出資料，因此，可不使用專用的處理電路就能從輸入資料獲得RGB資料，因此可以較簡便之構成且廉價地，進行高畫質的影像轉換。
首先，基於添附圖面來說明本案最佳實施形態。此外，以下說明的實施形態，係對影像處理系統適用本案時的實施形態。
首先，使用圖1來說明本實施形態所述之影像處理裝置的構成及機能概要。
圖1係本實施形態所述之影像處理裝置之構成的區塊圖。
影像處理裝置S，係具備：備有魚眼透鏡的光學系統1、相機介面2(輸入資料轉換手段之一例)、影像補正訊號處理電路部3(輸出資料生成手段之一例)、用來輸入魚眼影像期望補正之補正座標用的補正座標輸入部4、用來顯示輸出資料的平面影像用的作為本案之顯示部的顯示監視器5等。
在光學系統1中，從魚眼透鏡1a所擷取到的光，係藉由未圖示的光圈機構等而被調節，在影像感測器1b上成像為光學像。所述之光學像，係被影像感測器1b轉換成電氣訊號，被輸出至相機介面2。
魚眼透鏡1a，係為光學透鏡的一種，具有將近180度的攝角。魚眼透鏡1a係有正投影、等距離投影、立體投影、及等立體角投影的4種方式。在本實施形態中，針對所述方式，係可任意選擇，並沒有限定。
影像感測器1b，係將上記所被成像的光學像，藉由例如使用矩陣配置之光二極體等的光電轉換機能，轉換成與光學像之亮度呈比例的電氣訊號，輸出至相機介面2。
作為影像感測器1b之一例，係可適用例如CCD(Charge Couple Semiconductor)影像感測器或CMOS(Complementary Metal-Oxide Semiconductor)影像感測器等。
在本實施形態的影像感測器1b係適用了，例如，具備有公知的拜爾排列(Bayer Pattern)之彩色濾光片陣列、作為單板彩色影像元件的CCD，藉由所述影像感測器1b，被魚眼透鏡1a所拍攝之顏色是被當作構成要素之一的對象物，就成為彩色影像而輸入。
為了成為上記彩色影像而輸入，必須要獲得色彩三原色成分亦即R(紅)G(綠)B(藍)所對應的上記電氣訊號。上記拜爾排列的彩色濾光片陣列係為了獲得所述RGB所對應之電氣訊號而被使用的濾光片。
使用圖2來說明上記拜爾排列的彩色濾光片陣列之細節。
圖2係拜爾排列的彩色濾光片陣列之基本構造的概念圖。
圖2A係拜爾排列的彩色濾光片陣列之一例的概念圖。
如圖2A所示，拜爾排列的彩色濾光片陣列21，係對上記電氣訊號作用的各個濾光片亦即綠色(Green)濾光片22及紅色(Red)濾光片23所被交互配置而成的列，和綠色(Green)濾光片22及藍色(Blue)濾光片24所被交互配置而成的列，是構成為條紋排列。
圖2B係各拜爾排列(Bayer Pattern)之組合的概念圖。
拜爾排列的彩色濾光片陣列21，係具有上述特徵狀排列，因此若以任意像素為基準而抽出4個像素，則可分類成(a)RGGB型25、(b)GRBG型26、(c)GBRG型27、(d)BGGR型28的4個類型(排列圖案)。
如此構成的拜爾排列的彩色濾光片陣列21，係對應於上記矩陣配置的光二極體(各像素)，在各像素中係積存著對應於R,G,B之任一原色成分的電荷。
又，在拜爾排列的彩色濾光片陣列21所進行的上記彩色影像化時，由於從各像素係輸出著任一原色成分所對應之上記電氣訊號，因此對於各像素，必須要補足所缺損之色彩的資訊。
例如，在紅色濾光片23所對應之像素上，因為只有R的資訊，所以必須要進行將G與B以周邊之像素的值為基準而加以算出的內插處理。
回到圖1的說明，在光學系統1中係還具備有：用來限制輸入至相機介面2之空間頻率的未圖示的光學低通濾波器、用來將輸入至相機介面2的可見光領域以外之長波長成分加以攔截的未圖示之紅外線截止濾鏡等。
相機介面2，係將所拍攝到的魚眼影像，以對應於RGB之電氣訊號的原狀(Bayer Pattern(拜爾排列)資料的原狀)，輸出至後述的輸入畫格記憶體6所需之介面。
具體而言，相機介面2，係將所拍攝到的魚眼影像，轉換成由表示構成前記魚眼影像之上記像素的輸入資料像素資訊(上記各像素所對應之電氣訊號等)、和表示前記像素所對應之色彩資訊(前記R,G,B之任一原色成分所對應之電荷等)的輸入資料色彩資訊所構成的輸入資料，而輸出至輸入畫格記憶體6。
作為相機介面2之一例，係可適用例如，將產業用數位相機和影像輸入埠作連接的規格式樣，亦即支援公知的相機連結(Camera Link)的介面。
影像補正訊號處理電路部3，係基於前記輸入資料，而生成屬於表示二維性可目視之平面影像的輸出資料，且為由表示構成前記平面影像之像素的輸出資料像素資訊和表示前記像素所對應之色彩資訊的輸出資料色彩資訊所構成的前記輸出資料(換言之，是將上記魚眼影像轉換成上記平面影像)所需的處理電路，具體而言，係具備：作為本案之記憶手段的輸入畫格記憶體6、UART or USB通訊部7、作為本案之魚眼影像補正位址生成手段的魚眼影像補正位址生成部8、Bayer Pattern資料補正演算部9、作為本案之記憶手段的輸出畫格記憶體10等所構成。
此外，在本實施形態中，輸入畫格記憶體6及畫格記憶體10，係並非限定於被設在影像補正訊號處理電路部3內部，例如，亦可被設在影像補正訊號處理電路部3的外部。
在影像補正訊號處理電路部3作為一例係可適用ASIC(Application Specific Integrated Circuit)，但隨著能夠被整合進FPGA(Field Programmable Gate Array)的CPU(MicroBlaze(註冊商標)或Nios(註冊商標)等)的出現，而亦可適用FPGA等廉價且容易構成的元件。
輸入畫格記憶體6，係用來記憶上記輸入資料所需的記憶領域，例如，可適用揮發性或非揮發性記憶體或是硬碟等。
UART or USB通訊部7，係用來將從補正座標輸入部4所輸入之補正座標，輸入至魚眼影像補正位址生成部8所需的介面，作為一例係可適用UART(Universal Asynchronous Receiver Transmitter)、或USB(Universal Serial Bus)等。
作為魚眼影像補正位址生成手段的魚眼影像補正位址生成部8，係基於前記輸入資料像素資訊，而生成前記輸出資料像素資訊。
Bayer Pattern資料補正演算部9，係由用來擷取輸入資料的資料擷取控制部11、作為本案之輸入資料色彩資訊取得手段及輸出資料色彩資訊取得手段的內插演算部12、進行輸出資料寫入所需控制的資料寫入控制部13等所構成。
作為輸入資料色彩資訊取得手段的內插演算部12，係取得上記輸入資料色彩資訊。
作為輸出資料色彩資訊算出手段的內插演算部12，係基於上記輸入資料色彩資訊，而算出上記輸出資料色彩資訊。
接著使用圖3～圖5，詳細說明本案從魚眼影像轉換至平面影像的概要。
圖3係從魚眼影像轉換成平面影像之概要的概念圖。
如圖3所示，在本實施形態中，魚眼影像補正位址生成部8及內插演算部12，係將所拍攝到的魚眼影像31，轉換成平面影像32。
魚眼影像31，係表示被魚眼透鏡所拍攝到的魚眼影像。魚眼影像31，係可將存在於視點起算約180度附近範圍中的對象物予以拍攝，成為一個影像而顯示。可是，由於是將對象物當成球面而捕捉影像，因此觀看時會有異樣感，或是，因為是扭曲的影像，所以拍攝到的對象物(被攝體)的形狀或大小、人物表情等的識別上，會產生困難等之問題。於是，魚眼影像補正位址生成部8及內插演算部12，係將魚眼影像31，轉換成接近於透過人類視覺所得到之影像，亦即平面影像32。
接著使用圖4，說明從魚眼影像轉換至平面影像的基本原理。
圖4係從魚眼影像轉換成平面影像之基本原理的概念圖。
如圖4所示，從魚眼影像往平面影像的轉換係為公知技術，但一般而言，是使用被設在魚眼影像41上的假想球面模型而作模型化。具體而言，假想球面42上的任意點L'(x1,y1,z1)所相接的平面，係被視作上記所被轉換的平面影像43。在圖4中，為了容易觀察的理由，而將平面移動至不與假想球面42重疊的位置。
又，圖4所示的座標系空間，係將魚眼影像當作XY平面，以魚眼透鏡的中心軸為Z軸，光線行進方向為正的XYZ直角座標系。然後，將XYZ座標系的原點0當作視點的中心，令視線的中心為L'(x1,y1,z1)。又，令平面43的中心點為L'(x1,y1,z1)，令平面43為UV平面。然後，令從原點0通過L'(x1,y1,z1)的法線向量為W。
在上記座標系空間中，將平面影像43的任意像素加以形成的座標S'(u1,v1)，係對應於從原點0與前記座標所連結之法線向量與假想球面42之交點起，與Z軸而垂直降下的假想線和魚眼影像41之交點所代表的座標S(x2,y2)。
根據同樣的原理，平面影像43的中心點L'(x1,y1,z1)，係對應於魚眼影像41上的座標L(x1,y1)。
魚眼影像補正位址生成部8，係為了從上記魚眼影像轉換成平面影像，而依照上記對應，求出座標S'(u1,v1)所對應之座標S(x2,y2)。
在本實施形態中，令關於所述座標S'之座標的資訊為輸出資料像素資訊，令關於所述座標S的資訊為輸入資料像素資訊，而被魚眼影像補正位址生成部8所生成。
此處，使用圖5，更具體說明輸出資料像素資訊的生成順序。
圖5係輸出資料像素資訊之生成順序的概念圖。
在圖5中，作為上記輸出的平面影像43，係以適用了例如具有640×480點的像素的VGA(Video Graphic Array)時為例子來說明。
如上述，所述平面影像43的輸出，係求出將平面影像43之像素加以形成的座標S'(u1,v1)所對應的座標S(x2,y2)。然後，適用VGA的平面影像43，係對640×480點的所有像素(換言之，是從平面影像43的座標(0,0)至(639,479)為止)，求出座標S'(u1,v1)所對應的座標S(x2,y2)。
具體而言，當座標S'(u1,v1)為(0,0)時，求出對應的座標S(x2,y2)，然後，當座標S'(u1,v1)為(0,1)時，求出對應的座標S(x2,y2)。亦即，將座標S'(u1,v1)的值，往U軸正方向及V軸正方向一面依序掃描，一面求出對應的座標S(x2,y2)的值。
接著，針對魚眼影像補正位址生成部8及內插演算部12的動作細節，使用圖6～圖15來詳述說明。
圖6係魚眼影像補正位址生成部8及內插演算部12之動作的流程圖。
針對所述動作，適宜使用圖4及圖5所記載的座標系，說明如下。魚眼影像補正位址生成部8，係首先為了以魚眼影像41上的座標L(x1,y1)為中心而補正(轉換)成平面影像43(步驟S1)，從座標L(x1,y1)求出法線向量W(步驟S2)。
然後，基於上述基本原理，以法線向量W所相接的點L'(x1,y1,z1)為中心的平面影像43的開始座標S'(u1,v1)(=(0,0))起，依序演算出對應的座標S(x2,y2)(補正點S)(步驟S3)。
接著，魚眼影像補正位址生成部8，係作為上記座標S，算出由整數部及小數部所成之值，內插演算部12係基於上記整數部及小數部的值，算出RGB資料(輸入資料色彩資訊及輸出資料色彩資訊)(步驟S4)。
亦即，不使用電路就能進行處理以演算來生成RGB資料。
以下，詳細說明所述處理。
首先，作為前提，在本實施形態中，將上記整數部稱作位址(address)，將上記小數部稱作比率(rate)。
如此，當作為上記補正點而算出了補正點S(x2,y2)=(111.265,200.135)時，可分別表示成，x2中的位址係為111、比率係為0.265，y2中的位址係為200、比率係為0.135。
然後，內插演算部12，係基於上記位址，而取得輸入資料色彩資訊。
所謂輸入資料色彩資訊，係指上記位址所對應的色彩資訊，具體而言係表示該當位址所對應之拜爾排列的彩色濾光片陣列21所示的原色成分，及該當位址所位屬的上記排列圖案。
如上述，拜爾排列的彩色濾光片陣列21，係對應於上記矩陣配置的光二極體(各像素)，因此可以特定出，R,G,B之哪一原色成分是對應於補正點S(x2,y2)。
接著，內插演算部12，係將座標S'(u1,v1)所示的上記原色成分為基準時的上記排列圖案，加以特定。
具體而言，以座標S'(u1,v1)所示的上記原色成分為基準時，特定出是屬於上述的(a)RGGB型25、(b)GRBG型26、(c)GBRG型27、(d)BGGR型28之4個類型當中的哪一者。
接著，內插演算部12係基於上記輸入資料色彩資訊，而算出輸出資料色彩資訊。
所謂輸出資料色彩資訊，係指根據輸入資料色彩資訊所算出的補正點S(x2,y2)上的關於原色成分之資訊。
然後，輸出資料色彩資訊，係根據來自魚眼影像補正位址生成部8的輸出位址與比率，算出各色的補正資料(address)和補正rate，而被求出。
如上述，在拜爾排列的彩色濾光片陣列21所進行的上記彩色影像化時，由於從各像素係輸出著任一原色成分所對應之上記電氣訊號，因此對於各像素，必須要補足所缺損之色彩的資訊。
在本案中，是藉由算出輸出資料色彩資訊，來進行上記內插。
以下，針對輸出資料色彩資訊的算出，使用圖7~圖15來詳細說明。
圖7係輸出資料色彩資訊之算出的流程圖。
首先，從魚眼影像補正位址生成部8，輸入補正點S(x2,y2)(步驟S11)。以後，為了容易說明，將所輸入的補正點的座標，令作輸入座標(X,Y)。此處，作為輸入座標，
輸入座標：(X,Y)=(111.625,200.250)‧‧‧式(1)
會被輸入。
然後，內插演算部12，係將輸入座標，分割城位址和比率(步驟S12)。針對這些關係式，代入式(1)的值，將位址表示成式(2)，比率表示成式(3)。
位址：(x,y)=(111,200)‧‧‧式(2)
比率：(rate_x,rate_y)=(0.625,0.250)‧‧‧式(3)
接著，內插演算部12，係將位址(式(2))的各x及y的值，以奇數或偶數而分類成以下的4種情況(步驟S13)。將這些的關係式，表示成式(4)～式(7)。
位址：(x,y)=(偶數，偶數)‧‧‧式(4)
位址：(x,y)=(奇數，偶數)‧‧‧式(5)
位址：(x,y)=(偶數，奇數)‧‧‧式(6)
位址：(x,y)=(奇數，奇數)‧‧‧式(7)
接著，內插演算部12，係隨著已被分類的4個情況，求出各色的4點的資料與各色的比率(步驟S14以後)。
以下，針對上記情況一一詳細說明。
如上述，拜爾排列的彩色濾光片陣列21，係具有該特徵狀排列，因此可分類成(a)RGGB型25、(b)GRBG型26、(c)GBRG型27、(d)BGGR型28的4個類型。
然後，上記的處理係針對所述4個類型分別進行。
(A)(a)RGGB型25時的位址及比率之算出
甲)a)於RGGB型25中，位址：(x,y)=(偶數，偶數)時(步驟S14：YES)
首先，一開始，(a)於RGGB型25中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出，使用圖8及9來說明(步驟S15)。此時，位址(x,y)所示的顏色係為紅色。
如圖8及圖9所示，令R_d1,2,3,4(紅色之取得資料)、B_d1,2,3,4(藍色之取得資料)、G_d1,2,3,4(綠色之取得資料)為各色的取得資料，令R_rate_x(紅色之比率)、R_rate_y(紅色之比率)、B_rate_x(藍色之比率)、B_rate_y(藍色之比率)、G_rate_x(綠色之比率)、G_rate_y(綠色之比率)為各色之比率。
首先，紅色的補正資料係以式(8)～式(11)、比率係以(12)及式(13)來表示。
R_d1=(x,y)‧‧‧式(8)
R_d2=(x+2,y)‧‧‧式(9)
R_d3=(x,y+2)‧‧‧式(10)
R_d4=(x+2,y+2)‧‧‧式(11)
R_rate_x=rate_x/2‧‧‧式(12)
R_rate_y=rate_y/2‧‧‧式(13)
如圖8A所示，各像素間隔係為1，因此相鄰之紅色的像素間隔係為2。又，相鄰之紅色的像素的間隔被正規化成1因此比率係為1/2。
接著，藍色的補正資料係以式(14)～式(17)、比率係以(18)及式(19)來表示。
B_d1=(x-1,y-1)‧‧‧式(14)
B_d2=(x+1,y-1)‧‧‧式(15)
B_d3=(x-1,y+1)‧‧‧式(16)
B_d4=(x+1,y+1)‧‧‧式(17)
B_rate_x=rate_x/2+0.5‧‧‧式(18)
B_rate_y=rate_y/2+0.5‧‧‧式(19)
如圖8B所示，各像素間隔係為1，因此相鄰之藍色的像素間隔係為2。又，相鄰之藍色的像素的間隔被正規化成1因此比率係為1/2。
接著，綠色的補正資料，係當甲-1)rate_x+rate_y＜1.0時則是以式(20)～式(23)、比率係以(24)及式(25)來表示。又，當甲-2)rate_x+rate_y≧1.0時的補正資料，係以式(26)～式(29)、比率係以(30)及式(31)來表示。
甲-1)rate_x+rate_y＜1.0時
G_d1=(x,y-1)‧‧‧式(20)
G_d2=(x+1,y)‧‧‧式(21)
G_d3=(x-1,y)‧‧‧式(22)
G_d4=(x,y+1)‧‧‧式(23)
G_rate_x=(rate_x+rate_y)/2+0.5‧‧‧式(24)
G_rate_y=(rate_y-rate_x)/2+0.5‧‧‧式(25)
甲-2)rate_x+rate_y≧1.0時
G_d1=(x+1,y)‧‧‧式(26)
G_d2=(x+2,y+1)‧‧‧式(27)
G_d3=(x,y+1)‧‧‧式(28)
G_d4=(x+1,y+2)‧‧‧式(29)
G_rate_x=(rate_x+rate_y)/2-0.5‧‧‧式(30)
G_rate_y=(rate_y-rate_x)/2+0.5‧‧‧式(31)
如圖9所示，各像素間隔係為1，因此相鄰之綠色的像素間隔係為root2。又，相鄰之綠色的像素的間隔被正規化成1因此比率係為1/root2。又，當rate_x+rate_y＜1.0時，比率係存在於圖9A的實線部之範圍內。又，當rate_x+rate_y≧1.0時，比率係存在於圖9B的實線部之範圍內。
然後，將各色之補正點資料，以線性演算等之補正演算來予以求出(步驟S16)。
具體而言，使用之前求出的各色之補正資料的R_d1、2、3、4、B_d1、2、3、4和G_d1、2、3、4與各色之比率，藉由下記的補正方法而算出。
此處，─ 係表示反轉(not)。
紅色的補正點資料，係以式(32)～式(34)來表示。
R_data1=R_d1*(─ R_rate_x+1)+R_d2*R_rate_x‧‧‧式(32)
R_data2=R_d3*(─ R_rate_x+1)+R_d4*R_rate_x‧‧‧式(33)
R_data=R_data1*(─ R_rate_y+1)+R_data2*R_rate_y‧‧‧式(34)
又，藍色的補正點資料，係以式(35)～式(37)來表示。
B_data1=B_d1*(─ B_rate_x+1)+B_d2*B_rate_x‧‧‧式(35)
B_data2=B_d3*(─ B_rate_x+1)+B_d4*B_rate_x‧‧‧式(36)
B_data=B_data1*(─ B_rate_y+1)+B_data2*B_rate_y‧‧‧式(37)
又，綠色的補正點資料，係以式(38)～式(40)來表示。
G_data1=G_d1*(─ G_rate_x+1)+G_d2*G_rate_x‧‧‧式(38)
G_data2=G_d3*(─ G_rate_x+1)+G_d4*G_rate_x‧‧‧式(39)
G_data=G_data1*(─ G_rate_y+1)+G_data2*G_rate_y‧‧‧式(40)
藉由將上記紅、藍及綠色的各資料當作魚眼影像的補正RGB資料來使用，就可從Bayer Pattern直接求出魚眼影像的補正RGB資料。
乙)a)於RGGB型25中，位址：(x,y)=(奇數，偶數)時(步驟S17：YES)
接著，(a)於RGGB型25中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出，使用圖10及11來說明(步驟S18)。此時，位址(x,y)所示的顏色係為綠色。
如圖10及圖11所示，令R_d1,2,3,4(紅色之取得資料)、B_d1,2,3,4(藍色之取得資料)、G_d1,2,3,4(綠色之取得資料)為各色的取得資料，令R_rate_x(紅色之比率)、R_rate_y(紅色之比率)、B_rate_x(藍色之比率)、B_rate_y(藍色之比率)、G_rate_x(綠色之比率)、G_rate_y(綠色之比率)為各色之比率。
首先，紅色的補正資料係以式(41)～式(44)、比率係以(45)及式(46)來表示。
R_d1=(x-1,y)‧‧‧式(41)
R_d2=(x+1,y)‧‧‧式(42)
R_d3=(x-1,y+2)‧‧‧式(43)
R_d4=(x+1,y+2)‧‧‧式(44)
R_rate_x=rate_x/2+0.5‧‧‧式(45)
R_rate_y=rate_y/2‧‧‧式(46)
如圖10A所示，各像素間隔係為1，因此相鄰之紅色的像素間隔係為2。又，相鄰之紅色的像素的間隔被正規化成1因此比率係為1/2。
接著，藍色的補正資料係以式(47)～式(50)、比率係以(51)及式(52)來表示。
B_d1=(x,y-1)‧‧‧式(47)
B_d2=(x+2,y-1)‧‧‧式(48)
B_d3=(x,y+1)‧‧‧式(49)
B_d4=(x+2,y+1)‧‧‧式(50)
B_rate_x=rate_x/2‧‧‧式(51)
B_rate_y=rate_y/2+0.5‧‧‧式(52)
如圖10B所示，各像素間隔係為1，因此相鄰之藍色的像素間隔係為2。又，相鄰之藍色的像素的間隔被正規化成1因此比率係為1/2。
接著，綠色的補正資料，係當乙-1)rate_y＞rate_x時則是以式(53)～式(56)、比率係以(57)及式(58)來表示。又，當乙-2)rate_y≦rate_x時的補正資料，係以式(59)～式(62)、比率係以(63)及式(64)來表示。
乙-1)rate_y＞rate_x時
G_d1=(x,y)‧‧‧式(53)
G_d2=(x+1,y+1)‧‧‧式(54)
G_d3=(x-1,y+1)‧‧‧式(55)
G_d4=(x,y+2)‧‧‧式(56)
G_rate_x=(rate_y+rate_x)/2‧‧‧式(57)
G_rate_y=(rate_y-rate_x)/2‧‧‧式(58)
乙-2)rate_y≦rate_x時
G_d1=(x,y)‧‧‧式(59)
G_d2=(x+1,y+1)‧‧‧式(60)
G_d3=(x+1,y-1)‧‧‧式(61)
G_d4=(x+2,y)‧‧‧式(62)
G_rate_x=(rate_y+rate_x)/2‧‧‧式(63)
G_rate_y=(rate_x-rate_y)/2‧‧‧式(64)
如圖11所示，各像素間隔係為1，因此相鄰之綠色的像素間隔係為root2。又，相鄰之綠色的像素的間隔被正規化成1因此比率係為1/root2。又，當rate_y＞rate_x時，比率係存在於圖11A的實線部之範圍內。又，當rate_y≦rate_x時，比率係存在於圖11B的實線部之範圍內。
然後，將各色之補正點資料，以線性演算等之補正演算來予以求出(步驟S19)。補正演算的方法，係和步驟S16相同。
丙)a)於RGGB型25中，位址：(x,y)=(偶數，奇數)時(步驟S20：YES)
接著，(a)於RGGB型25中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出，使用圖12及13來說明(步驟S21)。此時，位址(x,y)所示的顏色係為綠色。
如圖12及圖13所示，令R_d1,2,3,4(紅色之取得資料)、B_d1,2,3,4(藍色之取得資料)、G_d1,2,3,4(綠色之取得資料)為各色的取得資料，令R_rate_x(紅色之比率)、R_rate_y(紅色之比率)、B_rate_x(藍色之比率)、B_rate_y(藍色之比率)、G_rate_x(綠色之比率)、G_rate_y(綠色之比率)為各色之比率。
首先，紅色的補正資料係以式(65)～式(68)、比率係以(69)及式(70)來表示。
R_d1=(x,y-1)‧‧‧式(65)
R_d2=(x+2,y-1)‧‧‧式(66)
R_d3=(x,y+1)‧‧‧式(67)
R_d4=(x+2,y+1)‧‧‧式(68)
R_rate_x=rate_x/2‧‧‧式(69)
R_rate_y=rate_y/2+0.5‧‧‧式(70)
如圖12A所示，各像素間隔係為1，因此相鄰之紅色的像素間隔係為2。又，相鄰之紅色的像素的間隔被正規化成1因此比率係為1/2。
接著，藍色的補正資料係以式(71)～式(74)、比率係以(75)及式(76)來表示。
B_d1=(x-1,y)‧‧‧式(71)
B_d2=(x+1,y)‧‧‧式(72)
B_d3=(x-1,y+2)‧‧‧式(73)
B_d4=(x+1,y+2)‧‧‧式(74)
B_rate_x=rate_x/2+0.5‧‧‧式(75)
B_rate_y=rate_y/2‧‧‧式(76)
如圖12B所示，各像素間隔係為1，因此相鄰之藍色的像素間隔係為2。又，相鄰之藍色的像素的間隔被正規化成1因此比率係為1/2。
接著，綠色的補正資料，係當丙-1)rate_y＞rate_x時則是以式(77)～式(80)、比率係以(81)及式(82)來表示。又，當丙-2)rate_y≦rate_x時的補正資料，係以式(83)～式(86)、比率係以(87)及式(88)來表示。
丙-1)rate_y＞rate_x時
G_d1=(x,y)‧‧‧式(77)
G_d2=(x+1,y+1)‧‧‧式(78)
G_d3=(x-1,y+1)‧‧‧式(79)
G_d4=(x,y+2)‧‧‧式(80)
G_rate_x=(rate_y+rate_x)/2‧‧‧式(81)
G_rate_y=(rate_y-rate_x)/2‧‧‧式(82)
丙-2)rate_y＜=rate_x時
G_d1=(x,y)‧‧‧式(83)
G_d2=(x+1,y+1)‧‧‧式(84)
G_d3=(x+1,y-1)‧‧‧式(85)
G_d4=(x+2,y)‧‧‧式(86)
G_rate_x=(rate_y+rate_x)/2‧‧‧式(87)
G_rate_y=(rate_x-rate_y)/2‧‧‧式(88)
如圖13所示，各像素間隔係為1，因此相鄰之綠色的像素間隔係為root2。又，相鄰之綠色的像素的間隔被正規化成1因此比率係為1/root2。又，當rate_y＞rate_x時，比率係存在於圖13A的實線部之範圍內。又，當rate_y≦rate_x時，比率係存在於圖13B的實線部之範圍內。
然後，將各色之補正點資料，以線性演算等之補正演算來予以求出(步驟S22)。補正演算的方法，係和步驟S16相同。
丁)a)於RGGB型25中，位址：(x,y)=(奇數，奇數)時(步驟S23：YES)
接著，(a)於RGGB型25中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出，使用圖14及15來說明(步驟S24)。此時，位址(x,y)所示的顏色係為藍色。
如圖14及圖15所示，令R_d1,2,3,4(紅色之取得資料)、B_d1,2,3,4(藍色之取得資料)、G_d1,2,3,4(綠色之取得資料)為各色的取得資料，令R_rate_x(紅色之比率)、R_rate_y(紅色之比率)、B_rate_x(藍色之比率)、B_rate_y(藍色之比率)、G_rate_x(綠色之比率)、G_rate_y(綠色之比率)為各色之比率。
首先，紅色的補正資料係以式(89)～式(92)、比率係以(93)及式(94)來表示。
R_d1=(x-1,y-1)‧‧‧式(89)
R_d2=(x+1,y-1)‧‧‧式(90)
R_d3=(x-1,y+1)‧‧‧式(91)
R_d4=(x+1,y+1)‧‧‧式(92)
R_rate_x=rate_x/2+0.5‧‧‧式(93)
R_rate_y=rate_y/2+0.5‧‧‧式(94)
如圖14A所示，各像素間隔係為1，因此相鄰之紅色的像素間隔係為2。又，相鄰之紅色的像素的間隔被正規化成1因此比率係為1/2。
接著，藍色的補正資料係以式(95)～式(98)、比率係以(99)及式(100)來表示。
B_d1=(x,y)‧‧‧式(95)
B_d2=(x+2,y)‧‧‧式(96)
B_d3=(x,y+2)‧‧‧式(97)
B_d4=(x+2,y+2)‧‧‧式(98)
B_rate_x=rate_x/2‧‧‧式(99)
B_rate_y=rate_y/2‧‧‧式(100)
如圖14B所示，各像素間隔係為1，因此相鄰之藍色的像素間隔係為2。又，相鄰之藍色的像素的間隔被正規化成1因此比率係為1/2。
接著，綠色的補正資料，係當丁-1)rate_x+rate_y＜1.0時則是以式(101)～式(104)、比率係以(105)及式(106)來表示。又，當丁-2)rate_x+rate_y≧1.0時的補正資料，係以式(107)～式(110)、比率係以(111)及式(112)來表示。
丁-1)rate_x+rate_y＜1.0
G_d1=(x,y-1)‧‧‧式(101)
G_d2=(x+1,y)‧‧‧式(102)
G_d3=(x-1,y)‧‧‧式(103)
G_d4=(x,y+1)‧‧‧式(104)
G_rate_x=(rate_x+rate_y)/2+0.5‧‧‧式(105)
G_rate_y=(rate_y-rate_x)/2+0.5‧‧‧式(106)
丁-2)rate_x+rate_y≧1.0
G_d1=(x+1,y)‧‧‧式(107)
G_d2=(x+2,y+1)‧‧‧式(108)
G_d3=(x,y+1)‧‧‧式(109)
G_d4=(x+1,y+2)‧‧‧式(110)
G_rate_x=(rate_x+rate_y)/2-0.5‧‧‧式(111)
G_rate_y=(rate_y-rate_x)/2+0.5‧‧‧式(112)
如圖15所示，各像素間隔係為1，因此相鄰之綠色的像素間隔係為root2。又，相鄰之綠色的像素的間隔被正規化成1因此比率係為1/root2。又，當rate_x+rate_y＜1.0時，比率係存在於圖15A的實線部之範圍內。又，當rate_x+rate_y≧1.0時，比率係存在於圖15B的實線部之範圍內。
然後，將各色之補正點資料，以線性演算等之補正演算來予以求出(步驟S25)。補正演算的方法，係和步驟S16相同。
與上記(A)同樣的原理，(b)GRBG型26、(c)GBRG型27、(d)BGGR型28的各類型，可根據來自魚眼影像補正位址生成部的輸出位址與比率，算出各色之補正資料和補正比率。
以下說明，根據上記3個類型中的輸出位址與比率，算出各色之補正資料與補正比率。
(B)(b)GRBG型26時的位址及比率之算出
甲)(b)於GRBG型26中，位址：(x,y)=(偶數，偶數)時
首先，(b)於GRBG型26中，位址：(x,y)=(偶數,偶數)時的位址及比率之算出，使用圖16及17來說明。此時，位址(x,y)所示的顏色係為綠色。
如圖16及圖17所示，令R_d1,2,3,4(紅色之取得資料)、B_d1,2,3,4(藍色之取得資料)、G_d1,2,3,4(綠色之取得資料)為各色的取得資料，令R_rate_x(紅色之比率)、R_rate_y(紅色之比率)、B_rate_x(藍色之比率)、B_rate_y(藍色之比率)、G_rate_x(綠色之比率)、G_rate_y(綠色之比率)為各色之比率。
首先，紅色的補正資料係以式(113)～式(116)、比率係以(117)及式(118)來表示。
R_d1=(x-1,y)‧‧‧式(113)
R_d2=(x+1,y)‧‧‧式(114)
R_d3=(x-1,y+2)‧‧‧式(115)
R_d4=(x+1,y+2)‧‧‧式(116)
R_rate_x=rate_x/2+0.5‧‧‧式(117)
R_rate_y=rate_y/2‧‧‧式(118)
如圖16A所示，各像素間隔係為1，因此相鄰之紅色的像素間隔係為2。又，相鄰之紅色的像素的間隔被正規化成1因此比率係為1/2。
接著，藍色的補正資料係以式(119)～式(122)、比率係以(123)及式(124)來表示。
B_d1=(x,y-1)‧‧‧式(119)
B_d2=(x+2,y-1)‧‧‧式(120)
B_d3=(x,y+1)‧‧‧式(121)
B_d4=(x+2,y+1)‧‧‧式(122)
B_rate_x=rate_x/2‧‧‧式(123)
B_rate_y=rate_y/2+0.5‧‧‧式(124)
如圖16B所示，各像素間隔係為1，因此相鄰之藍色的像素間隔係為2。又，相鄰之藍色的像素的間隔被正規化成1因此比率係為1/2。
接著，綠色的補正資料，係當甲-1)rate_y＞rate_x時則是以式(125)～式(128)、比率係以(129)及式(130)來表示。又，當甲-2)rate_y≦rate_x時的補正資料，係以式(131)～式(134)、比率係以(135)及式(136)來表示。
甲-1)rate_y＞rate_x時G_d1=(x,y)‧‧‧式(125)G_d2=(x+1,y+1)‧‧‧式(126)G_d3=(x-1,y+1)‧‧‧式(127)G_d4=(x,y+2)‧‧‧式(128)G_rate_x=(rate_y+rate_x)/2‧‧‧式(129)G_rate_y=(rate_y-rate_x)/2‧‧‧式(130)
甲-2)rate_y≦rate_x時G_d1=(x,y)‧‧‧式(131)G_d2=(x+1,y+1)‧‧‧式(132)G_d3=(x+1,y-1)‧‧‧式(133)G_d4=(x+2,y)‧‧‧式(134)G_rate_x=(rate_y+rate_x)/2‧‧‧式(135)G_rate_y=(rate_x-rate_y)/2‧‧‧式(136)
如圖17所示，各像素間隔係為1，因此相鄰之綠色的像素間隔係為root2。又，相鄰之綠色的像素的間隔被正規化成1因此比率係為1/root2。又，當rate_y＞rate_x時，比率係存在於圖17A的實線部之範圍內。又，當rate_y≦rate_x時，比率係存在於圖17B的實線部之範圍內。
然後，將各色之補正點資料，以線性演算等之補正演算來予以求出。補正演算的方法，係和步驟S16相同。
乙)(b)於GRBG型26中，位址：(x,y)=(奇數，偶數)時
接著，(b)於GRBG型26中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出，使用圖18及19來說明。此時，位址(x,y)所示的顏色係為紅色。
如圖18及圖19所示，令R_d1,2,3,4(紅色之取得資料)、B_d1,2,3,4(藍色之取得資料)、G_d1,2,3,4(綠色之取得資料)為各色的取得資料，令R_rate_x(紅色之比率)、R_rate_y(紅色之比率)、B_rate_x(藍色之比率)、B_rate_y(藍色之比率)、G_rate_x(綠色之比率)、G_rate_y(綠色之比率)為各色之比率。
首先，紅色的補正資料係以式(137)～式(140)、比率係以(141)及式(142)來表示。
R_d1=(x,y)‧‧‧式(137)R_d2=(x+2,y)‧‧‧式(138)R_d3=(x,y+2)‧‧‧式(139)R_d4=(x+2,y+2)‧‧‧式(140)R_rate_x=rate_x/2‧‧‧式(141)R_rate_y=rate_y/2‧‧‧式(142)
如圖18A所示，各像素間隔係為1，因此相鄰之紅色的像素間隔係為2。又，相鄰之紅色的像素的間隔被正規化成1因此比率係為1/2。
接著，藍色的補正資料係以式(143)～式(146)、比率係以(147)及式(148)來表示。
B_d1=(x-1,y-1)‧‧‧式(143)B_d2=(x+1,y-1)‧‧‧式(144)B_d3=(x-1,y+1)‧‧‧式(145)B_d4=(x+1,y+1)‧‧‧式(146)B_rate_x=rate_x/2+0.5‧‧‧式(147)B_rate_y=rate_y/2+0.5‧‧‧式(148)
如圖18B所示，各像素間隔係為1，因此相鄰之藍色的像素間隔係為2。又，相鄰之藍色的像素的間隔被正規化成1因此比率係為1/2。
接著，綠色的補正資料，係當乙-1)rate_x+rate_y＜1.0時則是以式(149)～式(152)、比率係以(153)及式(154)來表示。又，當乙-2)rate_x+rate_y≧1.0時的補正資料，係以式(155)～式(158)、比率係以(159)及式(160)來表示。
乙-1)rate_x+rate_y＜1.0時G_d1=(x,y-1)‧‧‧式(149)G_d2=(x+1,y)‧‧‧式(150)G_d3=(x-1,y)‧‧‧式(151)G_d4=(x,y+1)‧‧‧式(152)G_rate_x=(rate_x+rate_y)/2+0.5‧‧‧式(153)G_rate_y=(rate_y-rate_x)/2+0.5‧‧‧式(154)
乙-2)rate_x+rate_y≧1.0時G_d1=(x+1,y)‧‧‧式(155)G_d2=(x+2,y+1)‧‧‧式(156)G_d3=(x,y+1)‧‧‧式(157)G_d4=(x+1,y+2)‧‧‧式(158)G_rate_x=(rate_x+rate_y)/2-0.5‧‧‧式(159)G_rate_y=(rate_y-rate_x)/2+0.5‧‧‧式(160)
如圖19所示，各像素間隔係為1，因此相鄰之綠色的像素間隔係為root2。又，相鄰之綠色的像素的間隔被正規化成1因此比率係為1/root2。又,當rate_x+rate_y＜1.0時，比率係存在於圖19A的實線部之範圍內。又，當rate_x+rate_y≧1.0時，比率係存在於圖19B的實線部之範圍內。
然後，將各色之補正點資料，以線性演算等之補正演算來予以求出。補正演算的方法，係和步驟S16相同。
丙)(b)於GRBG型26中，位址：(x,y)=(偶數,奇數)時
接著，(b)於GRBG型26中，位址：(x,y)=(偶數,奇數)時的位址及比率之算出，使用圖20及21來說明。此時，位址(x,y)所示的顏色係為藍色。
如圖20及圖21所示，令R_d1,2,3,4(紅色之取得資料)、B_d1,2,3,4(藍色之取得資料)、G_d1,2,3,4(綠色之取得資料)為各色的取得資料，令R_rate_x(紅色之比率)、R_rate_y(紅色之比率)、B_rate_x(藍色之比率)、B_rate_y(藍色之比率)、G_rate_x(綠色之比率)、G_rate_y(綠色之比率)為各色之比率。
首先，紅色的補正資料係以式(161)～式(164)、比率係以(165)及式(166)來表示。
R_d1=(x-1,y-1)‧‧‧式(161)R_d2=(x+1,y-1)‧‧‧式(162)R_d3=(x-1,y+1)‧‧‧式(163)R_d4=(x+1,y+1)‧‧‧式(164)R_rate_x=rate_x/2+0.5‧‧‧式(165)R_rate_y=rate_y/2+0.5‧‧‧式(166)
如圖20A所示，各像素間隔係為1，因此相鄰之紅色的像素間隔係為2。又，相鄰之紅色的像素的間隔被正規化成1因此比率係為1/2。
接著，藍色的補正資料係以式(167)～式(170)、比率係以(171)及式(172)來表示。
B_d1=(x,y)‧‧‧式(167)B_d2=(x+2,y)‧‧‧式(168)B_d3=(x,y+2)‧‧‧式(169)B_d4=(x+2,y+2)‧‧‧式(170)B_rate_x=rate_x/2‧‧‧式(171)B_rate_y=rate_y/2‧‧‧式(172)
如圖20B所示，各像素間隔係為1，因此相鄰之藍色的像素間隔係為2。又，相鄰之藍色的像素的間隔被正規化成1因此比率係為1/2。
接著，綠色的補正資料，係當丙-1)rate_x+rate_y＜1.0時則是以式(173)～式(176)、比率係以(177)及式(178)來表示。又，當丙-2)rate_x+rate_y≧1.0時的補正資料，係以式(179)～式(182)、比率係以(183)及式(184)來表示。
丙-1)rate_x+rate_y＜1.0G_d1=(x,y-1)‧‧‧式(173)G_d2=(x+1,y)‧‧‧式(174)G_d3=(x-1,y)‧‧‧式(175)G_d4=(x,y+1)‧‧‧式(176)G_rate_x=(rate_x+rate_y)/2+0.5‧‧‧式(177)G_rate_y=(rate_y-rate_x)/2+0.5‧‧‧式(178)
丙-2)rate_x+rate_y≧1.0G_d1=(x+1,y)‧‧‧式(179)G_d2=(x+2,y+1)‧‧‧式(180)G_d3=(x,y+1)‧‧‧式(181)G_d4=(x+1,y+2)‧‧‧式(182)G_rate_x=(rate_x+rate_y)/2-0.5‧‧‧式(183)G_rate_y=(rate_y-rate_x)/2+0.5‧‧‧式(184)
如圖21所示，各像素間隔係為1，因此相鄰之綠色的像素間隔係為root2。又，相鄰之綠色的像素的間隔被正規化成1因此比率係為1/root2。又，當rate_x+rate_y＜1.0時，比率係存在於圖21A的實線部之範圍內。又，當rate_x+rate_y≧1.0時，比率係存在於圖22B的實線部之範圍內。
然後，將各色之補正點資料，以線性演算等之補正演算來予以求出。補正演算的方法，係和步驟S16相同。
丁)(b)於GRBG型26中，位址：(x,y)=(奇數，奇數)時接著，(b)於GRBG型26中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出，使用圖22及23來說明。此時，位址(x,y)所示的顏色係為綠色。
如圖22及圖23所示，令R_d1,2,3,4(紅色之取得資料)、B_d1,2,3,4(藍色之取得資料)、G_d1,2,3,4(綠色之取得資料)為各色的取得資料，令R_rate_x(紅色之比率)、R_rate_y(紅色之比率)、B_rate_x(藍色之比率)、B_rate_y(藍色之比率)、G_rate_x(綠色之比率)、G_rate_y(綠色之比率)為各色之比率。
首先，紅色的補正資料係以式(185)～式(188)、比率係以(189)及式(190)來表示。
R_d1=(x,y-1)‧‧‧式(185)R_d2=(x+2,y-1)‧‧‧式(186)R_d3=(x,y+1)‧‧‧式(187)R_d4=(x+2,y+1)‧‧‧式(188)R_rate_x=rate_x/2‧‧‧式(189)R_rate_y=rate_y/2+0.5‧‧‧式(190)
如圖22A所示，各像素間隔係為1，因此相鄰之紅色的像素間隔係為2。又，相鄰之紅色的像素的間隔被正規化成1因此比率係為1/2。
接著，藍色的補正資料係以式(191)～式(194)、比率係以(195)及式(196)來表示。
B_d1=(x-1,y)‧‧‧式(191)
B_d2=(x+1,y)‧‧‧式(192)
B_d3=(x-1,y+2)‧‧‧式(193)
B_d4=(x+1,y+2)‧‧‧式(194)
B_rate_x=rate_x/2+0.5‧‧‧式(195)
B_rate_y=rate_y/2‧‧‧式(196)
如圖22B所示，各像素間隔係為1，因此相鄰之藍色的像素間隔係為2。又，相鄰之藍色的像素的間隔被正規化成1因此比率係為1/2。
接著，綠色的補正資料，係當丁-1)rate_y＞rate_x時則是以式(197)～式(200)、比率係以(201)及式(202)來表示。又，當丁-2)rate_y≦rate_x時的補正資料，係以式(203)～式(206)、比率係以(207)及式(208)來表示。
丁-1)rate_y＞rate_x時
G_d1=(x,y)‧‧‧式(197)
G_d2=(x+1,y+1)‧‧‧式(198)
G_d3=(x-1,y+1)‧‧‧式(199)
G_d4=(x,y+2)‧‧‧式(200)
G_rate_x=(rate_y+rate_x)/2‧‧‧式(201)
G_rate_y=(rate_y-rate_x)/2‧‧‧式(202)
丁-2)rate_y＜=rate_x時
G_d1=(x,y)‧‧‧式(203)
G_d2=(x+1,y+1)‧‧‧式(204)
G_d3=(x+1,y-1)‧‧‧式(205)
G_d4=(x+2,y)‧‧‧式(206)
G_rate_x=(rate_y+rate_x)/2‧‧‧式(207)
G_rate_Y=(rate_x-rate_y)/2‧‧‧式(208)
如圖23所示，各像素間隔係為1，因此相鄰之綠色的像素間隔係為root2。又，相鄰之綠色的像素的間隔被正規化成1因此比率係為1/root2。又，當rate_y＞rate_x時，比率係存在於圖23A的實線部之範圍內。又，當rate_y≦rate_x時，比率係存在於圖23B的實線部之範圍內。
然後，將各色之補正點資料，以線性演算等之補正演算來予以求出。補正演算的方法，係和步驟S16相同。
(C)(c) GBRG型27時的位址及比率之算出
甲)(c)於GBRG型27中，位址：(x,y)=(偶數，偶數)時
首先，(c)於GBRG型27中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出，使用圖24及25來說明。此時，位址(x,y)所示的顏色係為綠色。
如圖24及圖25所示，令R_d1,2,3,4(紅色之取得資料)、B_d1,2,3,4(藍色之取得資料)、G_d1,2,3,4(綠色之取得資料)為各色的取得資料，令R_rate_x(紅色之比率)、R_rate_y(紅色之比率)、B_rate_x(藍色之比率)、B_rate_y(藍色之比率)、G_rate_x(綠色之比率)、G_rate_y(綠色之比率)為各色之比率。
首先，紅色的補正資料係以式(209)～式(212)、比率係以(213)及式(214)來表示。
R_d1=(x,y-1)‧‧‧式(209)
R_d2=(x+2,y-1)‧‧‧式(210)
R_d3=(x,y+1)‧‧‧式(211)
R_d4=(x+2,y+1)‧‧‧式(212)
R_rate_x=rate_x/2‧‧‧式(213)
R_rate_y=rate_y/2+0.5‧‧‧式(214)
如圖24A所示，各像素間隔係為1，因此相鄰之紅色的像素間隔係為2。又，相鄰之紅色的像素的間隔被正規化成1因此比率係為1/2。
接著，藍色的補正資料係以式(215)～式(218)、比率係以(219)及式(220)來表示。
B_d1=(x-1,y)‧‧‧式(215)
B_d2=(x+1,y)‧‧‧式(216)
B_d3=(x-1,y+2)‧‧‧式(217)
B_d4=(x+1,y+2)‧‧‧式(218)
B_rate_x=rate_x/2+0.5‧‧‧式(219)
B_rate_y=rate_y/2‧‧‧式(220)
如圖24B所示，各像素間隔係為1，因此相鄰之藍色的像素間隔係為2。又，相鄰之藍色的像素的間隔被正規化成1因此比率係為1/2。
接著，綠色的補正資料，係當甲-1)rate_y>rate_x時則是以式(221)～式(224)、比率係以(225)及式(226)來表示。又，當甲-2)rate_y≦rate_x時的補正資料，係以式(227)～式(230)、比率係以(231)及式(232)來表示。
甲-1)rate_y＞rate_x時
G_d1=(x,y)‧‧‧式(221)
G_d2=(x+1,y+1)‧‧‧式(222)
G_d3=(x-1,y+1)‧‧‧式(223)
G_d4=(x,y+2)‧‧‧式(224)
G_rate_x=(rate_y+rate_x)/2‧‧‧式(225)
G_rate_y=(rate_y-rate_x)/2‧‧‧式(226)
甲-2)rate_y＜=rate_x時
G_d1=(x,y)‧‧‧式(227)
G_d2=(x+1,y+1)‧‧‧式(228)
G_d3=(x+1,y-1)‧‧‧式(229)
G_d4=(x+2,y)‧‧‧式(230)
G_rate_x=(rate_y+rate_x)/2‧‧‧式(231)
G_rate_Y=(rate_x-rate_y)/2‧‧‧式(232)
如圖25所示，各像素間隔係為1，因此相鄰之綠色的像素間隔係為root2。又，相鄰之綠色的像素的間隔被正規化成1因此比率係為1/root2。又，當rate_y＞rate_x時，比率係存在於圖25A的實線部之範圍內。又，當rate_y≦rate_x時，比率係存在於圖25B的實線部之範圍內。
然後，將各色之補正點資料，以線性演算等之補正演算來予以求出。補正演算的方法，係和步驟S16相同。
乙)(c)於GBRG型27中，位址：(x,y)=(奇數，偶數)時
接著，(c)於GBRG型27中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出，使用圖26及27來說明。此時，位址(x,y)所示的顏色係為藍色。
如圖26及27所示，令R_d1,2,3,4(紅色之取得資料)、B_d1,2,3,4(藍色之取得資料)、G_d1,2,3,4(綠色之取得資料)為各色的取得資料，令R_rate_x(紅色之比率)、R_rate_y(紅色之比率)、B_rate_x(藍色之比率)、B_rate_y(藍色之比率)、G_rate_x(綠色之比率)、G_rate_y(綠色之比率)為各色之比率。
首先，紅色的補正資料係以式(233)～式(236)、比率係以(237)及式(238)來表示。
R_d1=(x-1,y-1)‧‧‧式(233)
R_d2=(x+1,y-1)‧‧‧式(234)
R_d3=(x-1,y+1)‧‧‧式(235)
R_d4=(x+1,y+1)‧‧‧式(236)
R_rate_x=rate_x/2+0.5‧‧‧式(237)
R_rate_y=rate_y/2+0.5‧‧‧式(238)
如圖26A所示，各像素間隔係為1，因此相鄰之紅色的像素間隔係為2。又，相鄰之紅色的像素的間隔被正規化成1因此比率係為1/2。
接著，藍色的補正資料係以式(239)～式(242)、比率係以(243)及式(244)來表示。
B_d1=(x,y)‧‧‧式(239)
B_d2=(x+2,y)‧‧‧式(240)
B_d3=(x,y+2)‧‧‧式(241)
B_d4=(x+2,y+2)‧‧‧式(242)
B_rate_x=rate_x/2‧‧‧式(243)
B_rate_y=rate_y/2‧‧‧式(244)
如圖26B所示，各像素間隔係為1，因此相鄰之藍色的像素間隔係為2。又，相鄰之藍色的像素的間隔被正規化成1因此比率係為1/2。
接著，綠色的補正資料，係當乙-1)rate_x+rate_y＜1.0時則是以式(245)～式(248)、比率係以(249)及式(250)來表示。又，當乙-2)rate_x+rate_y≧1.0時的補正資料，係以式(251)～式(254)、比率係以(255)及式(256)來表示。
乙-1)rate_x+rate_y＜1.0
G_d1=(x,y-1)‧‧‧式(245)
G_d2=(x+1,y)‧‧‧式(246)
G_d3=(x-1,y)‧‧‧式(247)
G_d4=(x,y+1)‧‧‧式(248)
G_rate_x=(rate_x+rate_y)/2+0.5‧‧‧式(249)
G_rate_y=(rate_y-rate_x)/2+0.5‧‧‧式(250)
乙-2)rate_x+rate_y≧1.0
G_d1=(x+1,y)‧‧‧式(251)
G_d2=(x+2,y+1)‧‧‧式(252)
G_d3=(x,y+1)‧‧‧式(253)
G_d4=(x+1,y+2)‧‧‧式(254)
G_rate_x=(rate_x+rate_y)/2-0.5‧‧‧式(255)
G_rate_y=(rate_y-rate_x)/2+0.5‧‧‧式(256)
如圖27所示，各像素間隔係為1，因此相鄰之綠色的像素間隔係為root2。又，相鄰之綠色的像素的間隔被正規化成1因此比率係為1/root2。又，當rate_x+rate_y＜1.0時，比率係存在於圖27A的實線部之範圍內。又，當rate_x+rate_y≧1.0時，比率係存在於圖27B的實線部之範圍內。
然後，將各色之補正點資料，以線性演算等之補正演算來予以求出。補正演算的方法，係和步驟S16相同。
丙)(c)於GBRG型27中，位址：(x,y)=(偶數，奇數)時
接著，(c)於GBRG型27中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出，使用圖28及29來說明。此時，位址(x,y)所示的顏色係為紅色。
如圖28及圖29所示，令R_d1,2,3,4(紅色之取得資料)、B_d1,2,3,4(藍色之取得資料)、G_d1,2,3,4(綠色之取得資料)為各色的取得資料，令R_rate_x(紅色之比率)、R_rate_y(紅色之比率)、B_rate_x(藍色之比率)、B_rate_y(藍色之比率)、G_rate_x(綠色之比率)、G_rate_y(綠色之比率)為各色之比率。
首先，紅色的補正資料係以式(257)～式(260)、比率係以(261)及式(262)來表示。
R_d1=(x,y)‧‧‧式(257)
R_d2=(x+2,y)‧‧‧式(258)
R_d3=(x,y+2)‧‧‧式(259)
R_d4=(x+2,y+2)‧‧‧式(260)
R_rate_x=rate_x/2‧‧‧式(261)
R_rate_y=rate_y/2‧‧‧式(262)
如圖28A所示，各像素間隔係為1,因此相鄰之紅色的像素間隔係為2。又，相鄰之紅色的像素的間隔被正規化成1因此比率係為1/2。
接著，藍色的補正資料係以式(263)～式(266)、比率係以(267)及式(268)來表示。
B_d1=(x-1,y-1)‧‧‧式(263)
B_d2=(x+1,y-1)‧‧‧式(264)
B_d3=(x-1,y+1)‧‧‧式(265)
B_d4=(x+1,y+1)‧‧‧式(266)
B_rate_x=rate_x/2+0.5‧‧‧式(267)
B_rate_y=rate_y/2+0.5‧‧‧式(268)
如圖28B所示，各像素間隔係為1，因此相鄰之藍色的像素間隔係為2。又，相鄰之藍色的像素的間隔被正規化成1因此比率係為1/2。
接著，綠色的補正資料，係當丙-1)rate_x+rate_y＜1.0時則是以式(269)～式(272)、比率係以(273)及式(274)來表示。又，當丙-2)rate_x+rate_y≧1.0時的補正資料，係以式(275)～式(278)、比率係以(279)及式(280)來表示。
丙-1)rate_x+rate_y＜1.0時
G_d1=(x,y-1)‧‧‧式(269)
G_d2=(x+1,y)‧‧‧式(270)
G_d3=(x-1,y)‧‧‧式(271)
G_d4=(x,y+1)‧‧‧式(272)
G_rate_x=(rate_x+rate_y)/2+0.5‧‧‧式(273)
G_rate_y=(rate_y-rate_x)/2+0.5‧‧‧式(274)
丙_2)rate_x+rate_y≧1.0時
G_d1=(x+1,y)‧‧‧式(275)
G_d2=(x+2,y+1)‧‧‧式(276)
G_d3=(x,y+1)‧‧‧式(277)
G_d4=(x+1,y+2)‧‧‧式(278)
G_rate_x=(rate_x+rate_y)/2-0.5‧‧‧式(279)
G_rate_y=(rate_y-rate_x)/2+0.5‧‧‧式(280)
如圖29所示，各像素間隔係為1，因此相鄰之綠色的像素間隔係為root2。又，相鄰之綠色的像素的間隔被正規化成1因此比率係為1/root2。又，當rate_x+rate_y＜1.0時，比率係存在於圖29A的實線部之範圍內。又，當rate_x+rate_y≧1.0時，比率係存在於圖29B的實線部之範圍內。
然後，將各色之補正點資料，以線性演算等之補正演算來予以求出。補正演算的方法，係和步驟S16相同。
丁)(c)於GBRG型27中，位址：(x,y)=(奇數，奇數)時
接著，(c)於GBRG型27中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出，使用圖30及31來說明。此時，位址(x,y)所示的顏色係為綠色。
如圖30及圖31所示，令R_d1,2,3,4(紅色之取得資料)、B_d1,2,3,4(藍色之取得資料)、G_d1,2,3,4(綠色之取得資料)為各色的取得資料，令R_rate_x(紅色之比率)、R_rate_y(紅色之比率)、B_rate_x(藍色之比率)、B_rate_y(藍色之比率)、G_rate_x(綠色之比率)、G_rate_y(綠色之比率)為各色之比率。
首先，紅色的補正資料係以式(281)～式(284)、比率係以(285)及式(286)來表示。
R_d1=(x-1,y)‧‧‧式(281)
R_d2=(x+1,y)‧‧‧式(282)
R_d3=(x-1,y+2)‧‧‧式(283)
R_d4=(x+1,y+2)‧‧‧式(284)
R_rate_x=rate_x/2+0.5‧‧‧式(285)
R_rate_y=rate_y/2‧‧‧式(286)
如圖30A所示，各像素間隔係為1，因此相鄰之紅色的像素間隔係為2。又，相鄰之紅色的像素的間隔被正規化成1因此比率係為1/2。
接著，藍色的補正資料係以式(287)～式(290)、比率係以(291)及式(292)來表示。
B_d1=(x,y-1)‧‧‧式(287)
B_d2=(x+2,y-1)‧‧‧式(288)
B_d3=(x,y+1)‧‧‧式(289)
B_d4=(x+2,y+1)‧‧‧式(290)
B_rate_x=rate_x/2‧‧‧式(291)
B_rate_y=rate_y/2+0.5‧‧‧式(292)
如圖30B所示，各像素間隔係為1，因此相鄰之藍色的像素間隔係為2。又，相鄰之藍色的像素的間隔被正規化成1因此比率係為1/2。
接著，綠色的補正資料，係當丁-1)rate_y＞rate_x時則是以式(293)～式(296)、比率係以(297)及式(298)來表示。又，當丁-2)rate_y≦rate_x時的補正資料，係以式(299)～式(302)、比率係以(303)及式(304)來表示。
丁-1)rate_y＞rate_x時
G_d1=(x,y)‧‧‧式(293)
G_d2=(x+1,y+1)‧‧‧式(294)
G_d3=(x-1,y+1)‧‧‧式(295)
G_d4=(x,y+2)‧‧‧式(296)
G_rate_x=(rate_y+rate_x)/2‧‧‧式(297)
G_rate_y=(rate_y-rate_x)/2‧‧‧式(298)
丁-2)rate_y≦rate_x時
G_d1=(x,y)‧‧‧式(299)
G_d2=(x+1,y+1)‧‧‧式(300)
G_d3=(x+1,y-1)‧‧‧式(301)
G_d4=(x+2,y)‧‧‧式(302)
G_rate_x=(rate_y+rate_x)/2‧‧‧式(303)
G_rate_Y=(rate_x-rate_y)/2‧‧‧式(304)
如圖31所示，各像素間隔係為1，因此相鄰之綠色的像素間隔係為root2。又，相鄰之綠色的像素的間隔被正規化成1因此比率係為1/root2。又，當rate_y＞rate_x時，比率係存在於圖31A的實線部之範圍內。又，當rate_y≦rate_x時，比率係存在於圖31B的實線部之範圍內。
然後，將各色之補正點資料，以線性演算等之補正演算來予以求出。補正演算的方法，係和步驟S16相同。
(D)(d)BGGR型28時的位址及比率之算出甲)(d)於BGGR型28中，位址：(x,y)=(偶數，偶數)時
首先，(d)於BGGR型28中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出，使用圖32及33來說明。此時，位址(x,y)所示的顏色係為藍色。
如圖32及33所示，令R_d1,2,3,4(紅色之取得資料)、B_d1,2,3,4(藍色之取得資料)、G_d1,2,3,4(綠色之取得資料)為各色的取得資料，令R_rate_x(紅色之比率)、R_rate_y(紅色之比率)、B_rate_x(藍色之比率)、B_rate_y(藍色之比率)、G_rate_x(綠色之比率)、G_rate_y(綠色之比率)為各色之比率。
首先，紅色的補正資料係以式(305)～式(308)、比率係以(309)及式(310)來表示。
R_d1=(x-1,y-1)‧‧‧式(305)
R_d2=(x+1,y-1)‧‧‧式(306)
R_d3=(x-1,y+1)‧‧‧式(307)
R_d4=(x+1,y+1)‧‧‧式(308)
R_rate_x=rate_x/2+0.5‧‧‧式(309)
R_rate_y=rate_y/2+0.5‧‧‧式(310)
如圖32A所示，各像素間隔係為1，因此相鄰之紅色的像素間隔係為2。又，相鄰之紅色的像素的間隔被正規化成1因此比率係為1/2。
接著，藍色的補正資料係以式(311)～式(314)、比率係以(315)及式(316)來表示。
B_d1=(x,y)‧‧‧式(311)
B_d2=(x+2,y)‧‧‧式(312)
B_d3=(x,y+2)‧‧‧式(313)
B_d4=(x+2,y+2)‧‧‧式(314)
B_rate_x=rate_x/2‧‧‧式(315)
B_rate_y=rate_y/2‧‧‧式(316)
如圖32B所示，各像素間隔係為1，因此相鄰之藍色的像素間隔係為2。又，相鄰之藍色的像素的間隔被正規化成1因此比率係為1/2。
接著，綠色的補正資料，係當甲-1)rate_x+rate_y＜1.0時則是以式(317)～式(320)、比率係以(321)及式(322)來表示。又，當甲-2)rate_x+rate_y≧1.0時的補正資料，係以式(323)～式(326)、比率係以(327)及式(328)來表示。
甲-1)rate_x+rate_y＜1.0
G_d1=(x,y-1)‧‧‧式(317)
G_d2=(x+1,y)‧‧‧式(318)
G_d3=(x-1,y)‧‧‧式(319)
G_d4=(x,y+1)‧‧‧式(320)
G_rate_x=(rate_x+rate_y)/2+0.5‧‧‧式(321)
G_rate_y=(rate_y-rate_x)/2+0.5‧‧‧式(322)
甲-2)rate_x+rate_y≧1.0
G_d1=(x+1,y)‧‧‧式(323)
G_d2=(x+2,y+1)‧‧‧式(324)
G_d3=(x,y+1)‧‧‧式(325)
G_d4=(x+1,y+2)‧‧‧式(326)
G_rate_x=(rate_x+rate_y)/2-0.5‧‧‧式(327)
G_rate_y=(rate_y-rate_x)/2+0.5‧‧‧式(328)
如圖33所示，各像素間隔係為1，因此相鄰之綠色的像素間隔係為root2。又，相鄰之綠色的像素的間隔被正規化成1因此比率係為1/root2。又，當rate_x+rate_y＜1.0時，比率係存在於圖33A的實線部之範圍內。又，當rate_x+rate_y≧1.0時，比率係存在於圖33B的實線部之範圍內。
然後，將各色之補正點資料，以線性演算等之補正演算來予以求出。補正演算的方法，係和步驟S16相同。
乙)(d)於BGGR型28中，位址：(x,y)=(奇數，偶數)時
接著，(d)於BGGR型28中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出，使用圖34及35來說明。此時，位址(x,y)所示的顏色係為綠色。
如圖34及35所示，令R_d1,2,3,4(紅色之取得資料)、B_d1,2,3,4(藍色之取得資料)、G_d1,2,3,4(綠色之取得資料)為各色的取得資料，令R_rate_x(紅色之比率)、R_rate_y(紅色之比率)、B_rate_x(藍色之比率)、B_rate_y(藍色之比率)、G_rate_x(綠色之比率)、G_rate_y(綠色之比率)為各色之比率。
首先，紅色的補正資料係以式(329)～式(332)、比率係以(333)及式(334)來表示。
R_d1=(x,y-1)‧‧‧式(329)
R_d2=(x+2,y-1)‧‧‧式(330)
R_d3=(x,y+1)‧‧‧式(331)
R_d4=(x+2,y+1)‧‧‧式(332)
R_rate_x=rate_x/2‧‧‧式(333)
R_rate_y=rate_y/2+0.5‧‧‧式(334)
如圖34A所示，各像素間隔係為1，因此相鄰之紅色的像素間隔係為2。又，相鄰之紅色的像素的間隔被正規化成1因此比率係為1/2。
接著，藍色的補正資料係以式(335)～式(338)、比率係以(339)及式(340)來表示。
B_d1=(x-1,y)‧‧‧式(335)
B_d2=(x+1,y)‧‧‧式(336)
B_d3=(x-1,y+2)‧‧‧式(337)
B_d4=(x+1,y+2)‧‧‧式(338)
B_rate_x=rate_x/2+0.5‧‧‧式(339)
B_rate_y=rate_y/2‧‧‧式(340)
如圖34B所示，各像素間隔係為1，因此相鄰之藍色的像素間隔係為2。又，相鄰之藍色的像素的間隔被正規化成1因此比率係為1/2。
接著，綠色的補正資料，係當乙-1)rate_y＞rate_x時則是以式(341)～式(344)、比率係以(345)及式(346)來表示。又，當乙-2)rate_y≦rate_x時的補正資料，係以式(347)～式(350)、比率係以(351)及式(352)來表示。
乙-1)rate_y＞rate_x時
G_d1=(x,y)‧‧‧式(341)
G_d2=(x+1,y+1)‧‧‧式(342)
G_d3=(x-1,y+1)‧‧‧式(343)
G_d4=(x,y+2)‧‧‧式(344)
G_rate_x=(rate_y+rate_x)/2‧‧‧式(345)
G_rate_y=(rate_y-rate_x)/2‧‧‧式(346)
乙-2)rate_y＜=rate_x時
G_d1=(x,y)‧‧‧式(347)
G_d2=(x+1,y+1)‧‧‧式(348)
G_d3=(x+1,y-1)‧‧‧式(349)
G_d4=(x+2,y)‧‧‧式(350)
G_rate_x=(rate_y+rate_x)/2‧‧‧式(351)
G_rate_Y=(rate_x-rate_y)/2‧‧‧式(352)
如圖35所示，各像素間隔係為1，因此相鄰之綠色的像素間隔係為root2。又，相鄰之綠色的像素的間隔被正規化成1因此比率係為1/root2。又，當rate_y＞rate_x時，比率係存在於圖35A的實線部之範圍內。又，當rate_y≦rate_x時，比率係存在於圖35B的實線部之範圍內。
然後，將各色之補正點資料，以線性演算等之補正演算來予以求出。補正演算的方法，係和步驟S16相同。
丙)(d)於BGGR型28中，位址：(x,y)=(偶數，奇數)時
接著，(d)於BGGR型28中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出，使用圖36及37來說明。此時，位址(x,y)所示的顏色係為綠色。
如圖36及37所示，令R_d1,2,3,4(紅色之取得資料)、B_d1,2,3,4(藍色之取得資料)、G_d1,2,3,4(綠色之取得資料)為各色的取得資料，令R_rate_x(紅色之比率)、R_rate_y(紅色之比率)、B_rate_x(藍色之比率)、B_rate_y(藍色之比率)、G_rate_x(綠色之比率)、G_rate_y(綠色之比率)為各色之比率。
首先，紅色的補正資料係以式(353)～式(356)、比率係以(357)及式(358)來表示。
R_d1=(x-1,y)‧‧‧式(353)
R_d2=(x+1,y)‧‧‧式(354)
R_d3=(x-1,y+2)‧‧‧式(355)
R_d4=(x+1,y+2)‧‧‧式(356)
R_rate_x=rate_x/2+0.5‧‧‧式(357)
R_rate_y=rate_y/2‧‧‧式(358)
如圖36A所示，各像素間隔係為1，因此相鄰之紅色的像素間隔係為2。又，相鄰之紅色的像素的間隔被正規化成1因此比率係為1/2。
接著，藍色的補正資料係以式(359)～式(362)、比率係以(363)及式(364)來表示。
B_d1=(x,y-1)‧‧‧式(359)
B_d2=(x+2,y-1)‧‧‧式(360)
B_d3=(x,y+1)‧‧‧式(361)
B_d4=(x+2,y+1)‧‧‧式(362)
B_rate_x=rate_x/2‧‧‧式(363)
B_rate_y=rate_y/2+0.5‧‧‧式(364)
如圖36B所示，各像素間隔係為1，因此相鄰之藍色的像素間隔係為2。又，相鄰之藍色的像素的間隔被正規化成1因此比率係為1/2。
接著，綠色的補正資料，係當丙-1)rate_y＞rate_x時則是以式(365)～式(368)、比率係以(369)及式(370)來表示。又，當丙-2)rate_y≦rate_x時的補正資料，係以式(371)～式(374)、比率係以(375)及式(376)來表示。
丙-1)rate_y＞rate_x時
G_d1=(x,y)‧‧‧式(365)
G_d2=(x+1,y+1)‧‧‧式(366)
G_d3=(x-1,y+1)‧‧‧式(367)
G_d4=(x,y+2)‧‧‧式(368)
G_rate_x=(rate_y+rate_x)/2‧‧‧式(369)
G_rate_y=(rate_y-rate_x)/2‧‧‧式(370)
丙-2)rate_y≦rate_x時
G_d1=(x,y)‧‧‧式(371)
G_d2=(x+1,y+1)‧‧‧式(372)
G_d3=(x+1,y-1)‧‧‧式(373)
G_d4=(x+2,y)‧‧‧式(374)
G_rate_x=(rate_y+rate_x)/2‧‧‧式(375)
G_rate_Y=(rate_x-rate_y)/2‧‧‧式(376)
如圖37所示，各像素間隔係為1，因此相鄰之綠色的像素間隔係為root2。又，相鄰之綠色的像素的間隔被正規化成1因此比率係為1/root2。又，當rate_y＞rate_x時，比率係存在於圖37A的實線部之範圍內。又，當rate_y≦rate_x時，比率係存在於圖37B的實線部之範圍內。
然後，將各色之補正點資料，以線性演算等之補正演算來予以求出。補正演算的方法，係和步驟S16相同。
丁)(d)於BGGR型28中，位址：(x,y)=(奇數，奇數)時
接著，(d)於BGGR型28中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出，使用圖38及39來說明。此時，位址(x,y)所示的顏色係為紅色。
如圖38及39所示，令R_d1,2,3,4(紅色之取得資料)、B_d1,2,3,4(藍色之取得資料)、G_d1,2,3,4(綠色之取得資料)為各色的取得資料，令R_rate_x(紅色之比率)、R_rate_y(紅色之比率)、B_rate_x(藍色之比率)、B_rate_y(藍色之比率)、G_rate_x(綠色之比率)、G_rate_y(綠色之比率)為各色之比率。
首先，紅色的補正資料係以式(377)～式(380)、比率係以(381)及式(382)來表示。
R_d1=(x,y)‧‧‧式(377)
R_d2=(x+2,y)‧‧‧式(378)
R_d3=(x,y+2)‧‧‧式(379)
R_d4=(x+2,y+2)‧‧‧式(380)
R_rate_x=rate_x/2‧‧‧式(381)
R_rate_y=rate_y/2‧‧‧式(382)
如圖38A所示，各像素間隔係為1，因此相鄰之紅色的像素間隔係為2。又，相鄰之紅色的像素的間隔被正規化成1因此比率係為1/2。
接著，藍色的補正資料係以式(383)～式(386)、比率係以(387)及式(388)來表示。
B_d1=(x-1,y-1)‧‧‧式(383)
B_d2=(x+1,y-1)‧‧‧式(384)
B_d3=(x-1,y+1)‧‧‧式(385)
B_d4=(x+1,y+1)‧‧‧式(386)
B_rate_x=rate_x/2+0.5‧‧‧式(387)
B_rate_y=rate_y/2+0.5‧‧‧式(388)
如圖38B所示，各像素間隔係為1，因此相鄰之藍色的像素間隔係為2。又，相鄰之藍色的像素的間隔被正規化成1因此比率係為1/2。
接著，綠色的補正資料，係當丁-1)rate_x+rate_y＜1.0時則是以式(389)～式(392)、比率係以(393)及式(394)來表示。又，當丁-2)rate_x+rate_y≧1.0時的補正資料，係以式(395)～式(398)、比率係以(399)及式(400)來表示。
丁-1)rate_x+rate_y＜1.0時
G_d1=(x,y-1)‧‧‧式(389)
G_d2=(x+1,y)‧‧‧式(390)
G_d3=(x-1,y)‧‧‧式(391)
G_d4=(x,y+1)‧‧‧式(392)
G_rate_x=(rate_x+rate_y)/2+0.5‧‧‧式(393)
G_rate_y=(rate_y-rate_x)/2+0.5‧‧‧式(394)
丁-2)rate_x+rate_y≧1.0時
G_d1=(x+1,y)‧‧‧式(395)
G_d2=(x+2,y+1)‧‧‧式(396)
G_d3=(x,y+1)‧‧‧式(397)
G_d4=(x+1,y+2)‧‧‧式(398)
G_rate_x=(rate_x+rate_y)/2-0.5‧‧‧式(399)
G_rate_y=(rate_y-rate_x)/2+0.5‧‧‧式(400)
如圖39所示，各像素間隔係為1，因此相鄰之綠色的像素間隔係為root2。又，相鄰之綠色的像素的間隔被正規化成1因此比率係為1/root2。又，當rate_x+rate_y＜1.0時，比率係存在於圖39A的實線部之範圍內。又，當rate_x+rate_y≧1.0時，比率係存在於圖39B的實線部之範圍內。
然後，將各色之補正點資料，以線性演算等之補正演算來予以求出。補正演算的方法，係和步驟S16相同。
如以上說明，在本實施形態中，魚眼影像補正位址生成部8係生成前記輸出資料像素資訊，內插演算部12係以基於拜爾排列的彩色濾光片陣列所算出的前記輸入資料像素資訊為根據，取得前記輸入資料色彩資訊，基於前記輸入資料色彩資訊，藉由線性演算而算出前記輸出資料色彩資訊。
因此，可不使用專用的處理電路就能從輸入資料獲得RGB資料，因此可以較簡便之構成且廉價地，進行高畫質的影像轉換。
1．．．光學系統
1a．．．魚眼透鏡
1b．．．影像感測器
2．．．相機介面
3．．．影像補正訊號處理電路部
4．．．補正座標輸入部
5．．．顯示監視器
6．．．輸入畫格記憶體
7．．．UART or USB通訊部
8．．．魚眼影像補正位址生成部
9．．．Bayer Pattern資料補正演算部
10．．．輸出畫格記憶體
11．．．資料擷取控制部
12．．．內插演算部
13．．．資料寫入控制部
S．．．影像處理裝置
[圖1]本實施形態所述之影像處理裝置之構成的區塊圖。
[圖2A]拜爾排列的彩色濾光片陣列之一例的概念圖。
[圖2B]各拜爾排列(Bayer Pattern)之組合的概念圖。
[圖3]從魚眼影像轉換成平面影像之概要的概念圖。
[圖4]從魚眼影像轉換成平面影像之基本原理的概念圖。
[圖5]輸出資料像素資訊之生成順序的概念圖。
[圖6]魚眼影像補正位址生成部8及內插演算部12之動作的流程圖。
[圖7]輸出資料色彩資訊之算出的流程圖。
[圖8A](a)於RGGB型25中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出的概念圖。
[圖8B](a)於RGGB型25中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出的概念圖。
[圖9A](a)於RGGB型25中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出的概念圖。
[圖9B](a)於RGGB型25中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出的概念圖。
[圖10A](a)於RGGB型25中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出的概念圖。
[圖10B](a)於RGGB型25中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出的概念圖。
[圖11A](a)於RGGB型25中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出的概念圖。
[圖11B](a)於RGGB型25中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出的概念圖。
[圖12A](a)於RGGB型25中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出的概念圖。
[圖12B](a)於RGGB型25中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出的概念圖。
[圖13A](a)於RGGB型25中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出的概念圖。
[圖13B](a)於RGGB型25中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出的概念圖。
[圖14A](a)於RGGB型25中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出的概念圖。
[圖14B](a)於RGGB型25中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出的概念圖。
[圖15A](a)於RGGB型25中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出的概念圖。
[圖15B](a)於RGGB型25中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出的概念圖。
[圖16A](b)於GRBG型26中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出的概念圖。
[圖16B](b)於GRBG型26中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出的概念圖。
[圖17A](b)於GRBG型26中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出的概念圖。
[圖17B](b)於GRBG型26中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出的概念圖。
[圖18A](b)於GRBG型26中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出的概念圖。
[圖18B](b)於GRBG型26中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出的概念圖。
[圖19A](b)於GRBG型26中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出的概念圖。
[圖19B](b)於GRBG型26中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出的概念圖。
[圖20A](b)於GRBG型26中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出的概念圖。
[圖20B](b)於GRBG型26中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出的概念圖。
[圖21A](b)於GRBG型26中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出的概念圖。
[圖21B](b)於GRBG型26中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出的概念圖。
[圖22A](b)於GRBG型26中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出的概念圖。
[圖22B](b)於GRBG型26中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出的概念圖。
[圖23A](b)於GRBG型26中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出的概念圖。
[圖23B](b)於GRBG型26中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出的概念圖。
[圖24A](c)於GBRG型27中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出的概念圖。
[圖24B](c)於GBRG型27中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出的概念圖。
[圖25A](c)於GBRG型27中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出的概念圖。
[圖25B](c)於GBRG型27中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出的概念圖。
[圖26A](c)於GBRG型27中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出的概念圖。
[圖26B](c)於GBRG型27中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出的概念圖。
[圖27A](c)於GBRG型27中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出的概念圖。
[圖27B](c)於GBRG型27中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出的概念圖。
[圖28A](c)於GBRG型27中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出的概念圖。
[圖28B](c)於GBRG型27中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出的概念圖。
[圖29A](c)於GBRG型27中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出的概念圖。
[圖29B](c)於GBRG型27中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出的概念圖。
[圖30A](c)於GBRG型27中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出的概念圖。
[圖30B](c)於GBRG型27中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出的概念圖。
[圖31A](c)於GBRG型27中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出的概念圖。
[圖31B](c)於GBRG型27中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出的概念圖。
[圖32A](d)於BGGR型28中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出的概念圖。
[圖32B](d)於BGGR型28中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出的概念圖。
[圖33A](d)於BGGR型28中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出的概念圖。
[圖33B](d)於BGGR型28中，位址：(x,y)=(偶數，偶數)時的位址及比率之算出的概念圖。
[圖34A](d)於BGGR型28中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出的概念圖。
[圖34B](d)於BGGR型28中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出的概念圖。
[圖35A](d)於BGGR型28中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出的概念圖。
[圖35B](d)於BGGR型28中，位址：(x,y)=(奇數，偶數)時的位址及比率之算出的概念圖。
[圖36A](d)於BGGR型28中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出的概念圖。
[圖36B](d)於BGGR型28中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出的概念圖。
[圖37A](d)於BGGR型28中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出的概念圖。
[圖37B](d)於BGGR型28中，位址：(x,y)=(偶數，奇數)時的位址及比率之算出的概念圖。
[圖38A](d)於BGGR型28中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出的概念圖。
[圖38B](d)於BGGR型28中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出的概念圖。
[圖39A](d)於BGGR型28中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出的概念圖。
[圖39B](d)於BGGR型28中，位址：(x,y)=(奇數，奇數)時的位址及比率之算出的概念圖。
1．．．光學系統
1a．．．魚眼透鏡
1b．．．影像感測器
2．．．相機介面
3．．．影像補正訊號處理電路部
4．．．補正座標輸入部
5．．．顯示監視器
6．．．輸入畫格記憶體
7．．．UART or USB通訊部
8．．．魚眼影像補正位址生成部
9．．．Bayer Pattern資料補正演算部
10．．．輸出畫格記憶體
11．．．資料擷取控制部
12．．．內插演算部
13．．．資料寫入控制部

Claims (4)

  1. 一種影像處理裝置，係屬於將表示魚眼透鏡所拍攝到之魚眼影像的輸入資料，轉換成表示二維性可目視之平面影像的輸出資料用的影像處理裝置，其特徵為，具備：輸入資料轉換手段，係用以將前記魚眼影像，轉換成由表示構成前記魚眼影像之像素之座標的輸入資料像素座標資訊、和表示前記像素所對應之色彩資訊的輸入資料色彩資訊所構成的前記輸入資料；和魚眼影像補正位址生成手段，係用以基於前記輸入資料像素座標資訊，而生成表示構成前記平面影像之像素之座標的輸出資料像素座標資訊；和輸入資料色彩資訊取得手段，係用以基於拜爾排列的彩色濾光片陣列的排列圖案，而取得前記輸入資料色彩資訊；和輸出資料色彩資訊算出手段，係用以基於前記輸入資料色彩資訊，而算出表示構成前記平面影像之像素所對應之色彩資訊的輸出資料色彩資訊；和輸出資料生成手段，係用以生成由前記輸出資料像素座標資訊和前記輸出資料色彩資訊所構成之前記輸出資料；和記憶手段，係用以記憶前記輸入資料及前記輸出資料。
  2. 如申請專利範圍第1項所記載之影像處理裝置，其中， 前記輸出資料色彩資訊算出手段，係藉由線性演算而算出前記輸出資料色彩資訊。
  3. 一種影像處理方法，係屬於將表示魚眼透鏡所拍攝到之魚眼影像的輸入資料，轉換成表示二維性可目視之平面影像的輸出資料用的影像處理裝置中的影像處理方法，其特徵為，具有：輸入資料轉換步驟，係用以將前記魚眼影像，轉換成由表示構成前記魚眼影像之像素之座標的輸入資料像素座標資訊、和表示前記像素所對應之色彩資訊的輸入資料色彩資訊所構成的輸入資料；和魚眼影像補正位址生成步驟，係用以基於前記輸入資料像素座標資訊，而生成表示構成前記平面影像之像素之座標的輸出資料像素座標資訊；和輸入資料色彩資訊取得步驟，係用以基於拜爾排列的彩色濾光片陣列的排列圖案，而取得前記輸入資料色彩資訊；和輸出資料色彩資訊算出步驟，係用以基於前記輸入資料色彩資訊，而算出表示構成前記平面影像之像素所對應之色彩資訊的輸出資料色彩資訊；和輸出資料生成步驟，係用以生成由前記輸出資料像素座標資訊和前記輸出資料色彩資訊所構成之前記輸出資料；和記憶步驟，係用以記憶前記輸入資料及前記輸出資料。
  4. 一種記錄媒體，係將影像處理程式以電腦可讀取之方式加以記錄，其特徵為，該程式係用以使，將表示魚眼透鏡所拍攝到之魚眼影像的輸入資料轉換成表示二維性可目視之平面影像的輸出資料用的影像處理裝置中所含有之電腦，發揮功能成為：輸入資料轉換手段，係用以將前記魚眼影像，轉換成由表示構成前記魚眼影像之像素之座標的輸入資料像素座標資訊、和表示前記像素所對應之色彩資訊的輸入資料色彩資訊所構成的輸入資料；魚眼影像補正位址生成手段，係用以基於前記輸入資料像素座標資訊，而生成表示構成前記平面影像之像素之座標的輸出資料像素座標資訊；輸入資料色彩資訊取得手段，係用以基於拜爾排列的彩色濾光片陣列的排列圖案，而取得前記輸入資料色彩資訊；輸出資料色彩資訊算出手段，係用以基於前記輸入資料色彩資訊，而算出表示構成前記平面影像之像素所對應之色彩資訊的輸出資料色彩資訊；輸出資料生成手段，係用以生成由前記輸出資料像素座標資訊和前記輸出資料色彩資訊所構成之前記輸出資料；記憶手段，係用以記憶前記輸入資料及前記輸出資料。
TW099109427A 2009-04-07 2010-03-29 Image processing apparatus and image processing method TWI513297B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009093384A JP5353393B2 (ja) 2009-04-07 2009-04-07 画像処理装置及び画像処理方法等

Publications (2)

Publication Number Publication Date
TW201044863A TW201044863A (en) 2010-12-16
TWI513297B true TWI513297B (zh) 2015-12-11

Family

ID=42826222

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099109427A TWI513297B (zh) 2009-04-07 2010-03-29 Image processing apparatus and image processing method

Country Status (5)

Country Link
US (1) US8379976B2 (zh)
JP (1) JP5353393B2 (zh)
KR (1) KR20100111614A (zh)
CN (1) CN101860673B (zh)
TW (1) TWI513297B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356698B1 (ko) * 2007-10-01 2014-01-29 삼성전자주식회사 화소 간 크로스토크의 영향을 저감하는 이미지 센서, 컬러필터 어레이, 및 촬상 장치
CN103140995B (zh) 2010-05-28 2016-03-30 苹果公司 具有外部接触点的双定向连接器
CN103069654A (zh) 2010-06-18 2013-04-24 苹果公司 具有侧面接触点的双向连接器
US8911260B2 (en) 2010-06-21 2014-12-16 Apple Inc. External contact plug connector
TWI492463B (zh) 2010-06-21 2015-07-11 Apple Inc 外部接觸插頭連接器
TWI423659B (zh) * 2010-11-09 2014-01-11 Avisonic Technology Corp 影像校正方法與相關影像校正系統
TWI448976B (zh) * 2011-08-05 2014-08-11 Shinsoft Co Ltd 超廣角影像處理方法與其系統
JP5711638B2 (ja) * 2011-09-27 2015-05-07 富士重工業株式会社 画像処理装置
US8708745B2 (en) 2011-11-07 2014-04-29 Apple Inc. Dual orientation electronic connector
CN103108154A (zh) * 2011-11-14 2013-05-15 辉达公司 一种汽车导航设备
EP2800351A4 (en) * 2011-11-24 2016-06-01 Ntt Docomo Inc EXPRESSION OUTPUT DEVICE AND EXPRESSION PUBLISHING METHOD
US9112327B2 (en) 2011-11-30 2015-08-18 Apple Inc. Audio/video connector for an electronic device
JP5966341B2 (ja) * 2011-12-19 2016-08-10 大日本印刷株式会社 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
KR101966976B1 (ko) 2012-09-03 2019-04-08 엘지이노텍 주식회사 3차원 영상처리 시스템
US9093803B2 (en) 2012-09-07 2015-07-28 Apple Inc. Plug connector
US8777666B2 (en) 2012-09-07 2014-07-15 Apple Inc. Plug connector modules
WO2014040231A1 (en) 2012-09-11 2014-03-20 Apple Inc. Connectors and methods for manufacturing connectors
US9059531B2 (en) 2012-09-11 2015-06-16 Apple Inc. Connectors and methods for manufacturing connectors
US9160129B2 (en) * 2012-09-11 2015-10-13 Apple Inc. Connectors and methods for manufacturing connectors
US9325097B2 (en) 2012-11-16 2016-04-26 Apple Inc. Connector contacts with thermally conductive polymer
US20140206209A1 (en) 2013-01-24 2014-07-24 Apple Inc. Reversible usb connector
JP6299133B2 (ja) * 2013-09-30 2018-03-28 大日本印刷株式会社 位置検出装置、撮像装置、位置検出方法及び位置検出プログラム
CN104581096B (zh) * 2014-12-26 2017-11-07 北京航天控制仪器研究所 一种复用视频传输光端机
WO2018207675A1 (ja) * 2017-05-10 2018-11-15 三井化学株式会社 色処理プログラム、色処理方法、色彩感覚検査システム、出力システム、色覚補正画像処理システムおよび色覚シミュレーション画像処理システム
KR102594038B1 (ko) * 2018-01-15 2023-10-26 에스케이하이닉스 주식회사 이미지 센싱 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6754400B2 (en) * 2001-02-06 2004-06-22 Richard Wilson, Jr. System and method for creation, processing and visualization of omni-directional images

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100447614C (zh) * 2002-09-24 2008-12-31 西健尔 图像显示装置
JP4104571B2 (ja) * 2004-03-29 2008-06-18 三洋電機株式会社 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置
JP2005339313A (ja) * 2004-05-28 2005-12-08 Toshiba Corp 画像提示方法及び装置
JP4596988B2 (ja) * 2005-06-07 2010-12-15 オリンパス株式会社 画像撮像装置
JP4650367B2 (ja) * 2006-07-26 2011-03-16 船井電機株式会社 動き検出用撮像装置
JP2008061172A (ja) * 2006-09-04 2008-03-13 Sony Corp 画像処理装置、画像処理方法、そのブログラム及びそのプログラムを記録した記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6754400B2 (en) * 2001-02-06 2004-06-22 Richard Wilson, Jr. System and method for creation, processing and visualization of omni-directional images

Also Published As

Publication number Publication date
KR20100111614A (ko) 2010-10-15
US8379976B2 (en) 2013-02-19
JP2010245901A (ja) 2010-10-28
JP5353393B2 (ja) 2013-11-27
CN101860673A (zh) 2010-10-13
CN101860673B (zh) 2015-04-15
US20100254602A1 (en) 2010-10-07
TW201044863A (en) 2010-12-16

Similar Documents

Publication Publication Date Title
TWI513297B (zh) Image processing apparatus and image processing method
EP3471392B1 (en) Panoramic camera and photographing method thereof
TWI549519B (zh) 高解析度陣列相機
JP5036421B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
US10521891B2 (en) Image processing apparatus, system, image processing method, and non-transitory recording medium
US8494260B2 (en) Image processing device, image processing method, program, and imaging device
US10440267B2 (en) System and method for image stitching
TWI547169B (zh) 影像處理方法與模組
JP2009177703A (ja) 画像処理方法、画像処理装置及び画像撮像装置
TWI599809B (zh) 鏡頭模組陣列、影像感測裝置與數位縮放影像融合方法
JP5398750B2 (ja) カメラモジュール
JP2010193037A (ja) 擬似カラー画像生成装置、及びプログラム
CN113689335A (zh) 图像处理方法与装置、电子设备及计算机可读存储介质
JP5455728B2 (ja) 撮像装置、画像処理装置、及び画像処理方法
JP2009157733A (ja) 画像歪み補正方法、画像歪み補正装置及び画像形成装置
US20110170776A1 (en) Image distortion correcting method and image processing apparatus
JP2009100150A (ja) 画像処理装置及び画像処理方法、画像処理プログラム
CN113242413B (zh) 抗锯齿的rccb滤镜阵列插值计算方法及系统
CN114155166A (zh) 一种基于fpga的图像颜色还原的插值方法
JP2009033699A (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
Blasinski et al. Real-time, color image barrel distortion removal
JPWO2012060271A1 (ja) 画像処理方法、画像処理装置及び撮像装置
JP2013080998A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN113225479B (zh) 一种数据采集显示系统以及图像显示方法
JP2012134736A (ja) 撮像装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees