TW200910255A - Image processing device, image processing method, and image processing program - Google Patents

Description

200910255 九、發明說明： 【發明所屬之技術領域】 斤本發明係關於一種具有電子攝影光學系統的數位照相 機等的圖像處理’尤指一種涉及校正成像光學系統的歪曲 像差的技術。 【先蝻技術】 以在，已知有如下的圖像處理裝置及圖像處理方法： 在數位照相機等攝料、統中，具有攝影鏡頭和攝影元件， 其中，所述攝影鏡頭將被攝體影像引導至攝影元件使其成 像’所述攝景》元件矩陣狀地配置有多個％電轉換元件，對 ，過鏡頭而成像的被攝體影像進行光電轉換，使用通過攝 ’V 7L件輸入的圖像信號，生成表示被攝體影像的輸出 像。 此時，對應於輸出圖像的像素位置，對通過攝影元件 輪入的圖像（所謂的輸入圖像）進行取樣，將該取樣位置上 的圖像的像素信號轉換為輸出圖像的像素信號。 '此外，一般在光學系統的鏡頭上會出現幾何學的歪曲 像差，由此圖像產生變形而損害圖像的精度和品位，因此 為了降低該像差，採取了各種方法。 例如，以往針對該歪曲像差，採取了如下方法：組合 夕片透鏡來提尚鏡頭的精度，由此減小鏡頭的歪曲像差， 但是存在依賴鏡頭的精度而成本增高、損害生產率的問 題。 200910255 i —方面’已知有如下情況：在將圖像進行數位化處 理的情況下，沒有必要在通過鏡頭成像的階段嚴格抑制像 差，通過對數位化得到的像（圖像資訊）進行信號處理，也 可以抑制歪曲像差。 f 例如，在數位照相機等的圖像處理中，已知有如 7制歪曲像差的方法：預先根據沒有歪曲像差的理想圖像 Η象素座標、和通過鏡頭和圖像感測器輸出而含有歪曲像 ^像的圖像的圖像座標之間的關係，求出對應理想圖像 既，素座&且具有歪曲像差的圖像的像素座標的對應 消：:：對輸入圖像的取樣位置的校正值儲存到記憶體以 於示I差’按照每次圖像處理，針對包含歪曲像差的 輪入的圖像，對取樣位置加以校正進行取樣。 而且’還具有以下抑制歪曲 像的每個像素，為了校正照輸出圖 像進行校正，在校正後的取樣位置對輸入圖 =樣’例如’專利文獻卜2(專利文獻1: 號公報）。 ，J文獻2.日本特開平1〇-262176 伴^年來’在數位照相機等圖像賴中，像素數 :=Γ及圖像尺寸的大型化而不斷增大，根據針對 w ，、 5 體中儲存輸入圖像的取樣位置 的权正值的方法，且右用热紗丨直 ,,D ^ 八用於儲存扠正值的記憶體的容量增 大而損害生產率的問題。 s曰 此外，如專利文獻1、2那樣，根據與輸出圖像的全 200910255 部像素對應地使用高次式4曾 、去，且古古4斗μ 輸入圖像的取樣位置的方 八间人…的運算量龐大而處理費時的問題。 此外，在通過鏡頭的移動而具有變焦 機中，歪曲像差根據鏡頭的位置而改變，因此，如果二 頭的位置或變焦條件，針對全部像素具有歪曲:差 或者利用高次式進行座標轉換，則隨著儲存1量 【發明内容】 因此’本發明蓉於以上問題’目的在於提供一種能夠 不粍大儲存容量和處理時間，而 、 系統引起的歪曲像差等變开，的^又土父正成像光學 法、圖像處理程式。/的圖像處理裝置及圖像處理方 為了達到上述目的而完成的第i方面記載的發明是一 種圖像處理裝置，其從伴隨成像光學系統的歪曲像差輸入 像，生成減輕了歪曲的輸出圖像，其特徵在於， ==裝置包括：高次運算部，其在所述輸出圖像的 '、立置上’通過南次式算出所述輸入圖像上的取 樣位置’以消除所述歪 出圖#^ ^正曲像差，插值運算部，其在所述輸 圖像的所迷預定的像素位置以外的像素位置上，根據位 於该像素附近的所述預定的輸出像素的取樣位置，對所述 輸入圖像t的取樣位置進行插值計算；以及取樣部，其在 通過所述高次運算部和所述插值運算部算出的取樣位置 上對所述輸入圖像的像素值進行取樣。 200910255 部，1:广記載的圖像處理裝置，具有：高次運算 ;其在輪出圖像的預定的像素位置上，通過高次式算出 輸入圖像上的取樣位¥冰伙 ο人式T出 , JL y- ^ φ 扁除所述歪曲像差；插值運算 ;/、在輸出圖像的預定的像素位置以外的像素位置上， 圖像上的取樣位置進行插H出像素的取樣位置，對輪入 高次運算部和所述插值運算I:二及取樣部，其在通過 ㈣值運鼻部鼻出的取樣位置上，對所述 輸^的像素值進行取樣，因&，能夠不增大儲存容量 變：广間地高精度校正成像光學系統引起的歪曲像差等 ㈣：外’第1方面記載的圖像處理裝置’如第2方面記 樣，所述插值運算部構成為通過雙線性插 樣位置，由此，在輸出圖像的預定的像素位置 二=:置上’能夠容易地計算取樣位置，與利用高 Γ式對輸出像素的全部像素位置計算輸入圖像的取樣位置 目比’此夠加快處理時間而減少用於運算的消耗功率。 此外，第1方面記載的圖像處理裝置，如第3方面纪 ^發明那樣，所述插值運算部構成為通過雙立方插值（所 =二次插值）來計算所述取樣位置，由此，在輪出圖像的 ^的像素位置以外的像素位置上，能夠高精度地計算取 像位置。 、此外，第1方面記載的圖像處理裝置，如第4方面記 =的發明那樣’所述預定的輸出像素數比所述輪出圖像的 王部像素數少（其中1含G)，由此，利用高次式計算的 200910255 «位置比輸出圖像的全部像素數少，因此能夠減小利用 高次式進行的運算量。 此外，第1方面記載的圖像處理裝置，如第5方面記 載的發明那樣，所述高次式自3次以上構成，由此能夠得 到沒有局部變形的流暢的輪出圖像。 此外’帛1方面s己載的圖像處理裝置，如第6方面記 載的發明那樣’所述成像光學系統構成為通過鏡頭使被攝 體衫像在圖像感測器上成像，所述高次式或其係數盘所述 圖像感測器附帶的所述成像光學系統靡，由此能夠校 正成像光學系、統的歪曲像差而高精度地得到預定的輪 像。 、此外，第6方面記載的圖像處理裝置，如第7方面記 載的發明那樣’所述高次式或其係數根據所述圖像感測器 附帶的成像光學系統的變更而變化，由此，能夠消除成像 光學系統的變更引起的歪曲像差的變化，高精度地校正歪 曲像差。 此外’第6方面記載的圖像處理裝置，如第8方面記 載=發明那樣’所述圖像處理裝置具有高次式變更單元， Ζ 人式、f更單兀根據連接所述被攝體和所述圖像感測器 的光軸上的所述鏡頭的位置，變更所述高次式或其係數， 士此’能夠消除鏡頭的位置變化引起的歪曲像差的變化， 馬精度地校正歪曲像差。 、此外，第1方面記載的圖像處理裝置，如第9方面記 載的發明那樣’所述圖像處理裝置具有儲存所述高次式的 200910255 .#數的儲存單元，由此，操作者不用按照每次圖像處理來 向圖像處理裝置輪入高次式，操作性良好。 此外，第9方面記載的圖像處理裝置，如第方面 記載的發明那樣，在所述儲存單元t，與所述鏡頭的預定 位置對應地儲存所述高次式的係數，所述圖像處理裝置具 有缝插值生成單元，該係數插值生成單元在所述鏡頭的 預定位置以外的位置上，根據所述错存單元中儲存的所述 高次式的係數，通過插值來生成所述高次式的係數，由此， 能夠與鏡頭位置的移動位置對應地得到高次式的係數，並 且，同與所有的移動位置對應地儲存係數相比，能夠降低 記憶體的容量。 接下來，第11方面記載的發明是一種圖像處理方法， 其從伴隨成像光學系統的歪曲像差輸人的輸人圖像，生成 減輕了歪曲的輸出圖像，其特徵在於，該圖像處理方法使 用以下步驟：高次運算步驟’在所述輸出圖像的預定的像 素位置上，通過高次式算出所述輸入圖像上的取樣位置， 以消除所述歪曲像差；插值運算㈣，在所述輸出圖像的 所述預定的像素位置以相像素位置±，根據位於該像素 附近的所述預定的輸出像素的取樣位置，對所述輸入圖像 上的取樣位置進行插值計算；以及取樣步驟，㈣過_ 高次運异步驟和所述插值運算步驟算出的取樣位置上，對 所述輸入圖像的像素值進行取樣。 ’ 根據第11方面記載的發明，使用以下步驟：高次運 算步驟，在輸出圖像的預定的像素位置上，通過高次式算 10 200910255 出輸入圖像上的取樣位置，以消除歪曲像差；插值運算步 驟，在輸出圖像的預定的像素位置以外的像素位置上，從 位於像素附近的預定的輸出像素的取樣位置，對輪入圖: 上=取樣位置進行插值計算；以及取樣步驟，在通過高次 運算步驟和插值運算步驟算出的取樣位置上，對輸入圖像 的像素值進行取樣，因此，與第1方面記載的發明同樣， = 容量和處理時間’而能高精度地校正成像 元予系統引起的歪曲像差等變形。 此外，帛11方面記载的圖像處理方法，如第 記載的發明那樣’在所述插值運算步驟 :來:::述取樣位置，，與…面記二： 夠容易二：：：預定的像素位置以外的像素位置上，能 像辛位置’與㈣高次式對輸出像素的全部 像素位置汁异輸入圖像的取樣位置相比 間而減少用於運算的消耗功率。 ° °、处理％ 此外’第11方面記载的圖像處理方法，如 記載的發明那樣’在所述插值運算方面 值來計算所述取樣位置，由此，Μ 3=’通過雙立方插 樣，在輸出圖像的預定的像素位置以外:::=明同 夠高精度地計算取樣位置。 的像素位置上，能 此外，第11方面記載的圖像處理 記載的發明那樣，所述預定的輸 去’如弟14方面 的全部像素數少（盆t， 素數比所述輸出圖像 的發明同樣“第4方面記載 樣位置比輸出圖像的全 200910255 部像素數少，因此能狗減小利用高次式進行的運算量。 此外，弟11方面記載的圖像處理方法，如第，5方面 記載的發明那樣’使用3次以上的高:欠式作為所述高次式， 由此、’㈣5方面記載的發明同樣’能夠得到沒有局部變 开乂的流暢的輸出圖像。 此外，第11方面記載的圖像處理方法，如第16方面 :載的發明那樣’所述成像光學系統使用通過鏡頭使被攝 體影像在圖像感測器上成像的成像光學系统，所述高次式 二其與所述圖像感測器附帶的所述成像光學系統相關 二手統二r 6方面記載的發明同樣’能夠校正成像光 子糸、，先的歪曲像差而高精度地得到預定的輸出圖像。 …此外’第16方面記載的圖像處理方法，如第口方面 那·，根據所述圖像感測器附帶的成像光學系 :二：所述高次式或其係數，由此，與第7方面 =發崎，能夠消除成像光學系 曲像差的變化，高精度地校正歪曲像差。 的正 …此外’第16方面記載的圖像處理方法，如第扨 5己載的發明那樣，根據 ^ ^ 〜跟連接所述被攝體和所述圖像感測器 由 ：所述鏡碩的位置’變更所述高次式或其係數， =丨it:叫的發明同樣，能夠消除鏡頭的位置 ' 白、：曲像差的變化’高精度地校正歪曲像差。 ’第Μ方面記載的圖像處理方法，如第19方面 由此，樣’使用儲存單元儲存所述高次式的係數， ，、第9方面記载的發明同樣，操作者不用按照每次 12 200910255 圖像處理來向圖像處理裝置輸入高次式，操作性良好。 r 此外，第19方面記载的圖像處理方法，如第2〇方面 記載的發明那樣，與所述鏡頭的預定位置對應地在所述儲 存單元中儲存所述高次式的係數，所述圖像處理方法使用 係數插值生成步驟，該係數插值生成步驟在所述鏡頭的預 定位置以外的位置上，根據所述儲存單元中儲存的所述高 次式的係數，通過插值來生成所述高次式的係數，由此， 方面記載的發明同樣，能夠與鏡頭位置的移動位

Si地得到高次式的係數’並且，同與所有的移動位置 ^儲存係數相比，能夠降低記憶體的容量。 盆從=，第21方面記載的發明是-種圖像處理程式， 減=像光學系統的歪曲像差輪入的輸入圖像，生成 電腦執行以下步驟：高次運算^ /亥圖像處理程式使 圖像的所插值運算步驟，在所述輪出 該像素附近的 素位置以外的像素位置上，根據位於 入圖像上的=述預定的輸出像素的取樣位置，對所述輸 過所述高==置進行插值計算；以及取樣步驟，在通 上，對所述輸入圖像的像素值進行；'樣^，出的取樣位置 Α根據第2彳方面記載的發明 高次運算步驟，+& 使電如執行以下步驟： 次式算屮& 纟輪出圖像的預定的像素位置上n 人式异出輸入圖像 直丄通過咼 圖像上的取樣位置，以消除歪曲像差；插值 13 200910255 運算步驟，在輸出圖像的預定的像素位置以外的像素位置 上，從位於該像素附近的預定的輸出像素的取樣位置，對 輸入圖像上的取樣位置進行插值計算’·以及取樣步驟，在 通過尚次運异步驟和插值運算步驟算出的取樣位置 輪入圖像的像素值進行取樣，由此，與第1方面記載的發 :’能夠不增大儲存容量和處理時間，而能高精度地 杈正成像光學系統引起的歪曲像差等變形。 此外’第21方面記載的圖像處理程式，如第22方 ㈣的發日請樣，在所述插值運算步料，使電腦如下執 二，即’通過雙線性插值來計算所述取樣位置，由此，愈 二方面記載的發明同樣，在輸出圖像的預定的像素位置 以外的像素位置上，能夠容易地計算取樣位置，血 =對輸出像㈣全部像素位置計算輸人圖像的取樣位ΐ 相比’能夠加快處理時間而減少用於運算的消耗功率。 此外’第21方面記載的圖像處理程式，如第2 記=發明那樣’在所述插值運算步驟中，使電腦如下執 第丁 ’通過雙立方插值來計算所述取樣位置，由此，與 、 面5己載的發明同樣，在輸出圖像的預定的像素 以外的像素位置上’能夠高精度地計算取樣位置。’、 』此夕卜第21方面記載的圖像處理程式，如 記载的發明那樣，使電腦如下執行…所述預 ： 像素數比所述輸出圖像的全部像素數少（其中，不别 由此’與…面記載的發明同樣，利用 3匕 樣付W· Vk 4/v， k 與·的取 輪出圖像的全部像素數少，因此能夠減小利用高 14 200910255 次式進行的運算量。 此外，第21方面記載的圖像處理程式，如第25方面 記載的發明那樣，使電腦如下執行，即，用3次以上的高 次式作為所述高次式，由此，與第5方面記載的發明同樣， 月b夠彳于到沒有局部變形的流暢的輸出圖像。 此外，第21方面記載的圖像處理程式，如第26方面 記載的發明那樣’使電腦如下執行，#，所述成像光學系 統=用通過鏡頭使被攝體影像在圖像感測器上成像的成像 光學系、统，所述高次式或其係數與所述圖像感$則器附帶的 所述成像光學系統相關聯，由此，與帛6方面記载的發明 同樣’能夠校正成像光學系統的歪曲像差而高精度地得到 預定的輸出圖像。 此外，帛26方面記載的圖像處理程式，如第27方面 記：的發明那樣，使電腦如下執行…根據所述圖像感 測盗附〒的成像光學系統的變更來變更所述高次式或其係 數，由此’與帛7方面記載的發明同樣，能夠 =統的變更引起的歪曲像差的變化，高精度地校正歪: 』此外，g 26方面記載的圖像處理程式，如第28方面 記載的發明那樣，使電腦如下執行，# 攝體和所述圖像威測哭的杏鮭μ & 丧所4破 、一 k 口彳豕以州°。的先軸上的所述鏡頭的位置，變更 ::南次式或其係數，由此’與第8方面記載的發明同樣， 月匕夠消除鏡頭的位置變化引起的歪曲像差的變〖，高精度 地校正歪曲像差。 15 200910255 此外’第21方面記載的圖像處理程式，如第29方面 記載的發明那樣，使電腦如下執行，即，儲存單元儲存戶 述高次式的係數，由此，與第9方面記載的發明同樣，操 作者不用按照每次圖像處理來向圖像處理裝置輸二言二 式，操作性良好。 ^人 i 此外，第29方面記載的圖像處理程式，如第方面 記載的發明那樣，該圖像處理程式使電腦執行以下步驟面 儲存步驟，與所述鏡頭的預定位置對應地在所述儲存單元 中儲存所述高次式的係數；以及係數插值生成步驟，在戶^ 述鏡頭的預定位置以外的位置上，根據所述儲存單元中错 存的所述高次式的係數，通過插值來生成所述高次式的係 數’由此’與第10方面記載的發明同樣，能夠 置的移動位置對應地得到高次式的係數，並且，同與所 =移動位置對應地儲存係數相比，能夠降低記憶體的容 量。 本發明的圖像處理裝置及圖像處理方法、圖像處理程 式在輸出圖像的預定的像素位置上，通過高次式算出輸入 圖像上的取樣位置，以消除歪曲像差’在輸出圖像的預定 的像素位置以外的像素位置上’從位於該像素附近的預定 H 出像素的取樣位置，對輸入圖像上的取樣位置進行插 冲异，在通過高次運算和插值運算算出的取樣位置上， ，所述輸入圖像的像素值進行取樣，因此，能夠不增大儲 =量和處理時間，而能高精度地校正成像光學系統引起 的歪曲像差等變形。 16 200910255 此外，本發明的圖像處理裝置及圖像處理 :理程式在插值運算時通過雙線性插值來計算取樣位：像 因此，在輸出圖像的預定的像素位置以外的像素位置， 能夠容易地計算取樣位置，與利用高次 ”上， 部像素位置計算輸入圖像的取樣位置相:b 全 時間而減少用於運算的消耗功率。 -〇、處理 此外，本發明的圖像處理裝置及圖像處 處理程式在插值運算時通過雙 圖像 τ、幻又立方插值（所謂的三 來計算取樣位置，因此，在輸出 f值） 你物】κ圖像的預定的傻 外的像素位置上，能夠高_译从4执 ’、置以 此列问精度地計算取樣位置。 此外，本發明的圖像處理裝置及圖像處理方法 ，理程式中，預定的輸出像素數比輸出圖像的全部像素】 J (其中，不含0) ’因此，能夠減小利用高次 /、 算量，而且;仃的運 人以上構成，因此，能夠得到.力 有局部變形的流暢的輸出圖像。 久 此外，本發明的圖像處理裝置及圖像處理方法 處理程式中二成像光學系統構成為通過鏡頭使被攝體影像

在圖像感測器上成像，高次彳十、甘A A 门—人式或其係數與圖像感測器附帶 的成像光學系統相關聯，因此，能夠校正成像光學系統的 歪曲像差而高精度地得到預定的輸出圖像。 此外，本發明的圖像處理裳置及圖像處理方法、圖像 處理程式中’高次式或其係數根據圖像感測器附帶的成像 光學系統的變更而變化，由此’能夠消除成像光學系統的 變更引起的歪曲像差的變化’高精度地校正歪曲像差，能 17 200910255 夠根據鏡頭的位置變更高次式或其係數，a此，能夠消除 鏡頭的位置變化引起的歪曲像差的變化，高精度地校正歪 曲像差。 此外，本發明的圖像處理裝置及圖像處理方法、圖像 處理程式中，通過儲存所述高次式，操作者不用按照每次 圖像處理來向圖像處理裝置輸人高次式，操作性良好，而 /、所述鏡頭的預疋位置對應地儲存高次式的係數，在 鏡頭的預定位置以外的位置上，根據儲存單元中儲存的高 -人式的係數，通過插值來生成高次式的係數，因此，能夠 與鏡頭位置的移動位置對應地得到高次式的係數，並且， 同與所有的移動位置對應地儲存係數相比，能夠降低記 體的容量。 ~ 【實施方式】 [第一實施方式] 以下，根據附圖對本發明的圖像處理裝置及圖像處理 方法、圖像處理程式的第1實施方式進行說明。 第一圖是表示使用了本發明的圖像處理裝置及圖像處 理方法、圖像處理程式的一個實施例的攝影裝置〇)的結構 的方塊圖。第二A圖是表示該實施例的圖像處理中的輸出 圖像的塊分割例的圖，第二B圖是該實施例的輸出圖像中 的原點座標設定的說明圖。 第二A圖至第三e圖是該實施例中的顏色平面分解部 和顏色生成部的功能說明圖，第三A圖是表示從攝影光學 18 200910255 系統（2)輸出的# 圖、第三C圖、第=顏色馬賽克圖像的圖，第三B 成的R平面、〇平：、二別疋表不由顏色平面分解部生 取樣座標中的像素 奸面的配置的圖’第三E圖是對 ^ 象素值進仃插值計算時的說明圖。 第四A圖和第四β圖是說明該實施例中的歪曲像差的 校正的概念的圖，第四Α圖w正曲像差的 包含歪曲像差的圖像 ^系統輪出的 德鈐屮的鉍山 乐四^圖疋表不校正歪曲像差 後輸出的輸出圖像的圖。 處理及阁德老 疋表不該實施例中的圖像 處理及圖像處理程式的步驟的圖。 如第一圖所示，攝影裝置（ 像處理裝置（_構成且/先學系統（2)和圖 史㈣道 ）構成，其#，攝影光學系統（2)將被攝體 影像引導至攝影亓杜~ ^ ^ 的圖像乍為數位圖像信冑c(馬賽克狀 。戒）輪出；圖像處理裝置⑽)根據經由攝影光學 系統（2)輸出的數位圖像_ 口彳豕乜唬C，杈正依賴於攝 ⑺的歪曲U n # 予系統 訊的彩色圖像。L、、母個像素生成具備多個顏色資 攝影光學系統（2)具有以下元件 5 m ^ - ,λ ,c, 卜兀件.將被攝體影像P引導 至攝影το件（5)的攝影鏡頭（3) 電量並輸“^彡^(1_1接1的攝影光轉換成 n 旧何耗合 70 件 Charge Coup|ed

Device，簡稱 CCD)(5);將 ^ ^ „ 僻右兀件（5)輪出的類比圖像 =換成數位圖像…並輪出的類比前端(― :nd’簡稱AFE)(6);以職週期控制攝影元件（5)及 AFE⑹的時序產生器（TimingGeneraU)r，簡稱tg)⑽； 進行攝影鏡頭(3)的光轴方向(Z方向)的滑動驅動的鏡頭驅 19 200910255 動Ρ (12)，以及經由感測器⑴)檢測攝影鏡頭⑻的滑動量 的檢測部（1 0)等耸。 此外’本發明的圖像感測器通過攝影 元件（5)實現其功能。 —攝〜元件（5)構成為以矩陣狀並列設置有多個光電轉換 兀件並構成為按照各個光電轉換元件分別對攝影信號進 行光電轉換並輸出類比圖像信號。 此外攝影70件（5)具有與光電轉換元件對應地由 R (紅）G (綠）B (藍）三色的祥 巴的拜爾（Bayer)排列構成的彩色濾光 片㈣，該攝影元件（5)將通過各色的彩色濾光片的光量轉 換為電信號。 AFE(6)由以下部件構成：針對經由攝影元件⑼輸出的 類比圖像仏唬去除雜訊的相關二重取樣電路丨“Μ ⑽㈣啊"·19，簡稱咖)(7);對由相關二重取樣電路 (7)進行相關二重取樣後 勺圖像仏旒進行放大的自動增益控 制器（Automatic Gain ^

Control，簡稱AGC)(8);以及將經 ί ^自動增益控制器（8)輪人的來自攝影元件（5)的類比圖像 k號轉換為數位圖像作號 。唬的頒比轉數位（A/D)轉換器（9)等 等。AFE(6)以預定的取樣頻率將從攝影元件⑼輸出的圖像 4唬轉換為數位圖像信號°並輸出到圖像處理裝置(100)。 此外’在攝影光學^ (2)巾，也可歧用互補金屬氧 ^^^^(Complementary Metal-〇xide Semiconductor, 簡稱CMOS)感測器’來取代攝影元件(5)、相關二重取樣 電路⑺、自動增益控制器⑻以及A/D轉換器(9)等。因為 只具有從攝影元件(5)輪出的每個像素的信號為單一的顏色 200910255 資訊，因此，從攝影光學系統（2)向圖像 出馬賽克狀的圖像信號。 老置(1〇〇)輸 —一般在成像於攝影元件（5)的被攝體影像上產生攝影鏡 頭（3)固有的歪曲像差引起的變形。因此，圖像處理裝置（1 00) 構成^校正輪人圖像的歪曲而生成沒有歪曲的輸出圖像。 詳細地說，圖像處理裝置（1〇〇)具有以下部件：按照R、 G、B的每個像素對從攝影光學系統（2)輸出的馬賽克圖像 進行分離的顏色平面分解部（21);根據從顏色平面分解部 (21)輸出的像素信號和從塊掃描部（25)輸出的信號，按照 R、G、B的每個像素對取樣座標進行設定的取樣座標設定 部（29);根據由取樣座標設定部（29)設定的取樣座標，對 R G B的每個像素的像素值進行取樣的取樣部（32)丨以 及對經由取樣部（32)得到的R、G、B的每個像素的像素值 進行合成，按照每個像素生成具有多個顏色成分的顏色資 料的顏色生成部（33)等等。此外，本發明的成像光學系統 通過攝影光學系統（2)實現其功能。 此外，圖像處理裝置（100)由以下部件構成：為了將從 顏色生成部（33)輸出的彩色圖像信號變成富有美感的顏色 圖像，進行公知的7校正及色度校正、邊緣強調的視覺校 正部（34);對經由視覺校正部（34)輸出的彩色圖像用例如 JPEG等方法進行壓縮的壓縮部（35);將經由壓縮部（35)輪 出的才> 色圖像記錄在例如快閃記憶體等記錄介質中的記錄 邛（36)，中央處理單元（cent「a| p「〇cess丨叩uw，簡稱 CPU)(18);以及唯讀記憶體（Read 〇n丨y心陳乂，簡稱 21 200910255 ROM)(19)等等。CPU(18)按照R〇M(19)中儲存的控制用程 式’控制該攝影裝置⑴和圖像處理裝置（100)的各處理。 如第_、第二圖所示，與拜爾排列對應地，顏色平 面分解部（21)由以下部件構成：儲存R的像素信號的R場 §己憶體（22);健存G的像素信號的G場記憶體（23);以及 儲存B的像素信號的B場記憶體（24)。該顏色平面分解部 (=根據來自CPU(18)的指令，將這些像素信號（以下稱作 像素值）輸出到取樣部（32)。 ' 描部（25)由以下部件構成：將經由該圖像處理裝 (26) ; 2出的輪出衫色圖像分割為多個塊的塊分割部 頂點Μ塊分副部(26)形成的塊的頂點座標進行設定的 I:標=部(27);以及對塊内的輸出彩色圖像的像素 掃求出其座標的像素掃描部㈣等等。該塊 由像辛H 頂點座標設定部（27)算出的頂點座標以及 由像素知描部（28)求出的像紊庙沪私山 f (29)。 像素座“輸出到取樣座標設定部 輸出彩色圖像的尺寸和塊分 戶預先讯宕本刀口1形狀、像素位置等由用 又疋’表不它們的參數館存在R0M(19)中。 如第二A圖所示，在塊分 割成所有的塊為三角形，並且各二7圖像範圍被分 時，如果读，括各塊無間隙地緊密連接。此 果減小塊的尺寸，則歪曲 運算量，另-方面，如果增大塊的尺：度^但會增加其 算量減少但校正精度降低。 寸’則歪曲校正的運 根據本發明人的研究，為了得到良好的校正結果，優 22 200910255 ，將最小塊的一邊的長度設為圖像寬度（L)的im以下， 二’=像中央朝向四角，歪曲像差增λ，因此優選減 ‘不過，將塊過度減小時塊數增加導致運算量增加， 因此’根據期望優選將塊數設定為例如测以下。 接下來’ ϋ點座標設定部（27)算出三角形的輪出彩色 圖像上的3個頂點(例如Ρ1、Ρ2、Ρ3)的座標(Udn Vdn)，

接著，如下算出與頂點座標對應的顏色馬賽克圖像上的取 樣座钛（usn，Vsn),以消除歪曲像差的影響。 首先，如第四A圖、《四卩闰私- m _弟四B圖所不，用uv系表示對 應於像素位置的座標系，用xy表示便於在校正計算中使 用：座標系。此外’下標s表示顏色馬賽克圖像上的座標， 下標d表示輸出彩色圖像上的座標。 接著，如第二B圖所示，作為輸出彩色圖像的座標系， 將圖像中心設為原點，將最大的像高設為彳，將晝面左右 方：設為X，將晝面上下方向設& y。此外，假定彩色圖 像是等間隔地在左右方向上配置640個像素、在上下方向 上配置480個像素而成的。 此外，在uv系座標中，從左上向右對像素座標（u，v) 分配（0，〇)、（1，0)、（2，〇).....(639，〇)，從左上向右 對下一行的像素座標（U，V)分配（〇, 1)、（1，1)、（2,彳）..... (〇 ’ 479) ’將像素座標（319·5，239.5)設為系座標的原 點。 接下來，用Fd表示uv系座標下的從原點開始的對角 線長度’用Fd =[丨（6402+4802)]/2的式子得到Fd = 400，以 23 200910255 使Fd成為xy系座標的最大像高。 接下來，將由前式求出的uv座標 設為對應於xv t描/ a曰 > 了角線長度Fd

y座標糸的隶大像面1，用X 319.5)/400、v w 〇 dn~(Udn' dn~(vdn-239.5)/400的式子算出對應於uv系 $ Udn ’2)的 xy 系座標（xdn，ydn)。 ,、 行者針對由前式求出的xy系座標(Xdn，y。，進 心歪曲像差校正的座標變換。 詳、’田地°兒’用(Xsn，D表示歪曲像差校正後的座標時， xsn 用 xsn=xdn(1+kir2 + k2「4)的高次式算出，y 用 ysn=ydn(i+kir2+k2「4)的高次式算出。 sn Γ用r2= Xdn2 + ydn2的式子算出。此外，ki、k2 是依賴於攝衫光學系統中的歪曲像差而設定的係數，、對 應於^次像差係數’ ^對應於5次像差係數。此外，本發 明的咼次運算部通過頂點座標設定部（27)來實現其功能。

此外，顏色馬赛克圖像由彳600xl200的等間隔的像素 排列構成’並且’在其像素編號（US，vs)與彩色輪出圖像一 樣被刀B守’其像素排列的中心的像素座標（7的.5，5的y 成為：y座標的原點’用Fs表示顏色馬赛克圖像的對角線 長度時，用 Fs = [V~(16〇〇2 + 12〇02)]/2 的式子得到 fs = i〇〇〇d 此外，關於與（xsn，ysn)對應的顏色馬赛克圖像（輪入 圖像）上的頂點取樣座標（usn，vsn)，設為用前式求出的對 角線長度Fs對應於xy座標系的最大像高，用 usn=1000*xsn + 799 5，Vsn = 1〇〇〇*ysn + 599 5 的式子算出即 可。 24 200910255 用别式求出的頂點取樣座標的值不限於整數，一般可 算出非整數。此外’鄰接的塊彼此的頂點共有，因此，沒 有必要按照所有的每個塊計算頂點取樣座標，使用與處於 共有關係的塊的頂點對應的頂點取樣座標即可。此外，本 發明的預定的像素位置相當於頂點d，v。，本發明的預 疋的像素位置上的取樣位置（Usn，、）相當於頂點取樣座 標。 接下來，像素掃描部（28)針對成為處理物件的塊内， 掃描輸^色圖像中位於塊内的料，將掃描得到的各像 '、、座‘（U d vd )輸入到取樣座標插值運算部（3 1 )。此時， 頂點和塊邊界線上的像素作為位於鄰接的任意一個塊内的 象素進行處理。此外，本發明的插值運算部通過取樣座標 插值運算部（31)實現其功能。 ’、 接下來，關於除了塊頂點之外的像素的取樣座標，取 ^座標插值運算部（31)根據包圍該像素的3個頂點取樣座 私…sn，Vsn)，通過插值求出與成為處理物件的各像素的座 柘（Ud ’ Vd)對應的顏色馬賽克圖像（輸入圖像）上的取樣座標 (Us ， Vs)。 #詳細來說，將包圍該像素（Ud、、）的3個頂點的座標 口又為（Ud1 ’ vd1)、（Ud2，Vd2)、（Ud3 ’ Vd3)，將對應於這些頂 ㈣頂點取樣座標設為（Us1，Vs1)、（Us2, Vs2)、（Us3

Ud-w^^+w^^+WaU.g , vd=wlVd1+w2vd2+w3vd3 ' ϋ W1、、W3，以使 W1+W2=W3 = 1。 接下來’使用 Us=W1Us1+W2Us2+W3Us3 ， 25 200910255 的運算式計算該像素的取樣座標 (H)。即，使用雙線性插值來求出與輸出圖像的塊内的 像素對應的輸入圖像的取樣座標。 接下來，如第三圖所示，取樣部（32)根據由顏色平面 分解部（21)生成的各顏色平面，輪 ^ 丁田掏出由取樣座標設定部（29) 鼻出的取樣座標（u5，vs)上的取媒枯/ " 的取樣值（取樣位置上的每個顏 色的像素值）。在此，声" 4色千面疋心顏色分離後的各個顏色 的圖像資料的集合。 此時，VS)不限於整數(即(Us，Vs)不限於與一個像 素中心-致），S此，從包圍（Us，vsw 4個有值像素（各 顏色:面原先具有的同一顏色的像素值）開始進行線性插值 來計算取樣值。該插值優選通過雙線性插值進行。 如第三圖所示，R平面和B平面呈縱橫的格子點狀地 具有4個有值像素，因此該取樣座標為（101·0，1〇14)時， 包圍取樣座# 301、303 @ 4個有值像素包圍取樣座標而 位於一邊長度為2的正方形的頂點。 如第三圖所示，取樣座標（Us，Vs)為（1〇1 〇，1〇1 4)時， 包圍該取樣座標的4個有值像素的座標（u，v)成為（1〇〇， 1〇〇)、（100，1〇2)、（1〇2，1〇〇)、（1〇2，1〇2)。 接下來，如第三E圖所示，求出隔著取樣座標對置的 有值像素間的距離的比（此處，X方向為0.5 : 0.5，y方向 為0.7 : 0.3)，使用4個有值像素的像素值，通過插值計 舁取樣位置（1〇1 .〇，<!〇«! 4)上的r的像素值。 此外’用 R(100，100)、R(1〇〇，1〇2)、R(i〇2，1〇〇)、 26 200910255 R(1 02, 102)表示4個有值像素的像素值，用〇1 〇, 1〇1 4) 表示取樣位置（1〇1·〇，101.4)的R的像素值時，可以通過 R(101_0，101.4) = 0.5*0.3*R(1〇〇，100) + 0_5*〇 7*R(1〇〇， 102) + 0.5*0.3*R(102，100) + 〇.5*0.7*R(1〇2，102)的運算 式异出R平面上的取樣座標301的像素值r( 101.0， 101.4) ° B平面上的取樣座標303的B的像素值也與r平面— 樣，可以從包圍取樣座值通過插 值算出。 在G平面上，如第三C圖所示，格子狀地具有有值像 素，因此，包圍取樣座標的4個有值像素包圍取樣座標而 位於一邊長度為f 2的45。傾斜的正方形的頂點。 在該情況下，在G平面上，取樣座標3〇2為（1010， 101.4) 時，包圍該取樣座標的4個有值像素的座標（u，v) 成為（100，101)、（101，1〇〇)、（1〇1，1〇2)、（1〇2，1〇1)。 此外’用 G(100，101)、G(1〇1，1〇〇)、g(1〇1，1〇2)、 G(102’ 101)表示G平面的有值像素的像素值時，可以通 過 G(101.0’101.4) = 0.7*0.3*G(100,101) + 0 3*0.3*G(101， 100) + 0.7*0.7*G(101 ’ 102) + 0.3*0.7*G(102，101)的運算 式算出G平面上的取樣座標302的像素值g(101.0， 101.4) ° 接下來，顏色生成部（33)根據由取樣部（32)生成的R 的取樣值R(us ’ vs)、G的取樣值G(us，vs)、B的取樣值 B(us ’ vs)生成每個像素的顏色資訊，作為彩色圖像的像素 27 200910255 (Ud Vd)的顏色貧訊，輸人到視覺校正部(34)。 為了使經由顏& 4^、 羔咸厂… （)輸出的彩色圖像變得富有 美感，在視見校正部（34)中，進行色調 度強調、邊緣_這樣的圖像校正，接著 色 中，#經由葙風k τ 你&鞭4 (35) p人η m 出的彩色圖像的數位圖像信號用 像專豕組（J〇int Ph0_aphic Experts Gr〇up，簡 私JPEG)等方法進行壓縮，減小記錄時的圖像資料的尺寸： :下來^°己錄部(36)中，將壓縮後的數位圖像信號儲存 在快閃記憶體等記錄介質中。此夕卜，根據操作者的指令， 將I缩後的數位圖像信號通過未圖示的介面發送到外料 備。 又 =且’為了針對由顏色生成部（33)生成而具有咖的 顏色資訊的圖像資料抑制該圖像資料中包含的偽色，可以 使用（式1)轉換為Yuv系顏色信號，對uv實施低頻遽波， 其後，輸出到視覺校正部（34)。丫是像素的亮度，U是亮 度Υ和藍（Β)的色差，V是亮度Υ和紅（R)的色差。 f y \ ^ OJ8S 0,587 0J14 ' U m 挪〇.權 ^ mm -o,sis -α.ι〇€ ^

接下來，根據第五圖，說明根據經由攝影光學系統（2) 輸入的馬賽克圖像（輸入圖像）校正歪曲像差而生成彩色圖 像（輸出圖像）時的步驟。該步驟是CPU(1 8)根據健存在 R〇M(1 9)中的程式對各功能部給出指令信號來執行的。此 外’圖5中的S表示步驟。 首先’該步驟在操作者對圖像處理裝置（1〇〇)輸入啟動 28 200910255 信號時開始。 接下來，在（s 11 〇)中，婭山 ^ - λ 51 m ^ ^ 、·、由攝衫光學系統（2)將圖像信 唬頃入到圖像處理裝置（100)， )接者’在（S120)中，使用顏 色平面分解部（21)，盥拜爾姑+ 、拜爾排列對應地對R的像素信號、 G的像素信號、B的像素信號推 虿1°號進仃儲存，其後，移至（S170) 的取樣步驟。 7 另-方面，在⑻30)中，使用塊掃描部（25)將輪出圖 像分割為多個三㈣，並掃描這些三角形塊，獲取境的頂 ▽點(例^第二圖中的P1、P2、p3)的座標 。ud2 vd2) ’（Ud3 ’ Vd3)】’其後，移至（S⑽）。此時， 塊形狀和塊數、或者各塊的頂點座標與攝影光學系統（2)及 輸出彩色圖像的尺寸關聯確定，縣儲存在酬（19)中。 ▲—接下纟在（S14G)巾，使帛頂點取樣座標運算部（3〇)， 計算與三角形的3個頂點對應的顏色馬賽克圖像（輸入圖像） 的取樣座Musn，vsn)，以消除歪曲像差的影響，其後， 移至（S150)。 接下來’在(S150)中’使用像素掃描部(28)，對三角 形進行光柵化，掃描塊内的像素獲取其座標，其後，移至 (S160)。 "接下來，在（S160)中，使用取樣座標插值運算部（31) =包圍該像素的3個頂點取樣座標（、，d通過插值運算 '^出與塊内的像素（Ud、Vd)對應的輪入圖像的取樣座標（Us， vs) ’其後，移至（S170)。 接下來，在（S170)中，使用取樣部（32)，根據由顏色 29 200910255 平面分解部（21)生成的各顏色平面’計算由取樣座標設定 部（29)算出的取樣座標（usn，vsn)及（us，vs)上的每個R、G、 B的取樣值（取樣位置上的每個顏色的像素值），其後， 至（S180)。 、 ’ 接下來，在（S180)中，使用顏色生成部（33)，對由取 樣部（32)算出的各色的取樣值進行合成，由此對各像素值 分別生成多個顏色的顏色資訊，其後，移至（si9〇)。 接下來，在（S190)中，判定該塊内是否有下一個像素， 判定為沒有像素（否）時移至（S2〇〇)，判定為有像素（是）時重 複（S150)〜（S190)。 接下來，在（S200)中，判定輸出圖像内是否有下—個 塊’判定為沒有塊（否）時移至（S21〇)，判定為有（是）時重複 ㈣0HS200)。在該輸出圖像内具有多個塊時，該塊的 掃描順序被預先設定並儲存在r〇m(19)中。 接下來，在（S210)中，使用視覺校正部（34)，對由顏 色生成部（33)生成的彩色圖像’進行色調曲線⑴校正、 色度強調、邊緣強調這樣的圖像校正，其後，移至(s22〇” 接下來，在（S220)中，使用壓縮部（％)，對經由視覺 校正部輸出的彩色圖像的數位圖像信號用啊㈣ P^t〇graphic Experts Group:聯合圖像專家組）等方法進 仃壓縮，減小記錄時的圖像資料 (3230)。 抖的尺寸’其後’移至 接下來，在（S230)中，传用咋处 使用5己錄部（36)，將壓縮後的 數位圖像信號儲存在快閃記憶體等記錄介質中，其後，結 30 200910255 束本圖像處理程式。 如上所述，根攄第一眚# 士 a i 、 式s己载的圖像處理裝置 剛及圖像處理方法、圖像處理程式，由取樣座標設定部 (29)§十异取樣座標時，僅對分割後的塊的頂點以次式進 行計算，關於位於塊内的其他像素，根據頂點座標的取樣 座標進行插值計算，因此，與針對所有的像素用高次式求 出取樣座標相比，能夠用少的運算量進行歪曲校正，並且 能夠降低儲存容量和處理時間。 此外，在頂點取樣座標運算部（3〇)中用於頂點取樣座 標的運算的高次式或其係數，與攝影元件（5)附帶的攝影鏡 頭⑽攝影光學系統（2A)相關聯，由此，能夠校正成像光 學系統的歪曲像差而高精度地得到職的輸出圖像。 [第二實施方式] 以下，使用第六圖至第十圖說明本發明的第二實施方 式、。第六圖是表示使用本發明的圖像處理裝置及圖像處理 方法、圖像處理程式的一個實施例的攝影裝置⑽的結構 的方塊圖。 第七圖是該第二實施方式的圖像處理中的輸出圖像的 頂點座標設U uv座標系的說明圖。第八圖是表示該實 施例的圖像處理中的像差係數的表設定例的圖。 、第九A圖至第九F圖是該第二實施方式中的顏色平面 分解部和顏色生成部的功能說明圖，第九A圖是表示從攝 影先學系統（2)輪出的拜爾排列的顏色馬赛克圖像的圖，第 九圖第九C圖、第九D圖、第九£圖分別是表示由 31 200910255 顏色平面分解部生成的R平面、G「平面、如平面、8平 面的，置的圖，第九F圖是對取樣座標中的像素值進行插 值计算時的說明圖。 第十圖是表示該實施例的圖像處理及圖像處理程 步驟的圖》 此外’本第二實施方式的攝影褒置（M)基本與第—實 施方式所示的攝影裝置⑴結構相同，因此，對於共同的社 構部分標以相同標號並省略詳細說明，以下說明特徵： 分。 在本發明的攝影光學系統（2A)中，攝影鏡頭（3)通過鏡 頭驅動部（12)在光軸方向上構成為 影鏡_的焦距和從攝f_(=:，並構成為攝 這樣的鏡頭狀態可變 （）到被攝體的被攝體距離 置圖所示’攝影光學系統（2A)具有檢測該攝影裝 動、輸出對應於該抖動量的電信號(以下稱作抖 純幻的角速度感測器（例如陀螺儀）（15)，圖像處理裝置 = l〇A)具有通過角速度感測器（1 5)檢測攝影裝置（1 A)的抖 動罝的抖動檢測部（40)。 此外，圖像處理裝置（⑽A)具有以下部件：按昭卜 二？個像素來對從攝影光學系統(2A)輸出的輸 圖像（馬賽克圖像）進行分離並儲存的顏色平面分解部 (21 A) ’對輸出圖像的像素座標 可7貝點座才示進仃知描的輸出 圖象A);對焦距和與被攝體的距 頭⑺的鏡頭狀態進行檢測的鏡頭狀態檢測部（37);== 32 200910255 .鏡頭（3)的鏡頭狀態對應地儲存歪曲像差係數的像差係數餘 存表（38);根據來自鏡頭狀態檢測部（37)及像差係數儲存 表（38)的資訊，對歪曲像差的參數（以下稱作歪曲像差係數) 進行設定的像差係數設定部（39);在輸出圖像範圍内設定 多個頂點座標並掃描全部像素位置的輸出圖像掃描部 (25)A ;以及按照輸出圖像中的每個像素座標和頂點座標， 對輸入圖像的取樣位置進行設定的取樣座標設定部（29a)等 等。 如第六圖和第九圖所示’與拜爾排列對應地，顏色平 面分解部（21A)由以下部件構成：儲存R的像素信號的r 場記憶體（22);儲存Gr(—個方向上與R鄰接的R)的像素 信號的G「場記憶體（23a);儲存Gb(一個方向上與b鄰接 的R)的像素信號的Gb場記憶體（23b);以及儲存B的像 素信號的B場記憶體（24)。該顏色平面分解部（21A)根據來 自CPU(18)的指令，將這些像素信號（以下稱作像素值）輸 出到取樣部（32)。 像差係數設定部（39)根據鏡頭狀態從像差係數儲存表 (38)讀出適當的像差參數（後述的運算式中的、Μ、 P2、kr、dRx、kB、dBx、dBy等），並輸出到頂點取樣座標運 算部（30A)。此外’對於未儲存在像差係數儲存表（38)中的 鏡頭狀態，根據類似的鏡頭狀態進行插值而生成像差參 數。 ’ 即，在像差係數儲存表（38)中，難以與所有的鏡頭狀 態對應地預先儲存像差係數，因此例如第八圖所示，盥 33 200910255 定的鏡頭狀態對應地預先儲存像差係數。此處，作為被攝 體距離，儲存Near(近距離）：〇.5m、Mid(中距離）：i.0m、 Fa「（遠距離）：|nf的3個距離，並且，作為每個該被攝體 距# 的焦距’儲存 Wide:28mm、Mid:50mm、Tele:105mm， 設定與被攝體距離和焦距對應的鏡頭狀態。此外，本發明 的儲存高次式的係數的單元通過像差係數儲存表（38)實現 其功能。 此外，在被攝體距離2.0m且焦距35mm時，第八圖 所示的像差係數儲存表（38)中沒有儲存其像差係數，因此， 從儲存在像差係數儲存表（38)中的其他鏡頭狀態的像差係 數來進行插值。 即’ §賣出被攝體距離的Mid為1 .Om且焦距的Wide 端為28mm時的像差係數〇·〇8、被攝體距離的par為Inf 且焦距的Wide端為28mm時的像差係數〇·〇5、被攝體距 離的Mid為1.〇m且焦距的Mid為50mm時的像差係數 0_02、被攝體距離的Far為Inf且焦距的Mid為50mm時 的像差係數0.0 0 ’根據這些距離進行插值。此外，本發明 的高次式變更單元通過像差係數設定部（39)實現其功能。 詳細地說’用h表示鏡頭狀態為被攝體距離2.〇m且 焦距35mm時的像差係數時，通過|<1 = [(1/2.〇-1/丨|1|:)(1/35-1/50)* 0.08 + (1/1.0-1/2.0)(1 /35-1 /50)*0. 〇5 + (1 /2. ΟΙ/I nf)( 1/28-1/35)*〇.02+(1/1.0-1/2.0)(1/28-1/35)*0.00]/(1/1.〇-|nf)(i/28-1/50)的式子，得到 k/0.04。 關於其他的像差係數k2、ρ;、P2、kR、kB等，在未儲 34 200910255 存在像差係數儲存表（38)中的情況下，也同樣地根據儲存 在像差係數儲存表（38)中的像差係數進行插值求出即可。 抖動檢測部（40)檢測攝影光學系統的抖動，將用於校 正抖動的抖動校正參數z、0、dx、dy等輸出到頂點取樣座 標運算部（3〇a)。 在抖動校正參數中，z是伴隨攝影裝置（1A)的前後方 向的抖動的被攝體影像的大小的校正值，0是伴隨觀轴的 抖動的被攝體影像的旋轉的校正值，屯是伴隨左右方向或 偏轉軸的抖動的被攝體影像的左右位置的校正 θ ^ uy疋仲* 隨上下方向或俯仰軸的抖動的被攝體影像的左右位置的校 正值。 此外，抖動校正參數z也可以包含依賴於攝影襞置（1A) 的變焦倍率的校正值。此外，也可以在頂點取樣座標運算 部（30A)中將抖動校正參數設定為仿射矩陣M。 輸出圖像掃描部（25Α)由以下部件構成：在輸出圖像 中，對離散地配置的多個頂點座標進行設定的頂點座桿設 定部（2M);以及對全部像素位置進行掃描的像素掃描部 輪出圖像上的多個頂 記載頂點取樣座標的 頂點座標設定部（27Α)設定配置在 點Pj的座標（ud，、）〜。接著，詳鈿 設定方法。 (pi,首二：第：圖所示，預先設定輪出圖像的頂點座標 g t Pn)此外，假定在輸出圖像上離散地 配置有，個頂點座標。將該頂點座標的配置變密而增多數 35 200910255 .篁時歪曲的校正精度提高，但是校正的計算量增多。相反， 將頂點座標的配置變稀而減少數量時校正的計算量減少， 但是校正精度降低。根據本發明人的研究，考慮校正精度 和計算量，優選將頂點的數量設為1〇〇〜1〇〇〇左右。此外， 例如圖7所示，優選規則地配置多個頂點座標。 接下來，輸出圖像由1600X1200的等間隔的像素排列 構成時，從左向右下將其像素位置(u，v)設為(〇，〇卜 (测’1199)，以縱橫每隔_像素的格子狀地設定頂點 即，按照下式，將頂點座標（Ud、Vd)pj = [(〇,〇)、（i〇〇〇)、…、 (1600，1200)]構成的17χ13 = 221點設為頂點。此處，』是 分配給格子狀地配置的點的連號1、2.....221。 接下來，取樣座標設定部（29A)由以下部件構成：計算 與由輸出圖像料部（25A)M㈣輯應的^圖像的取 ，位置的頂點取樣座標運算部（織）；對由頂點取樣座標運 (3GA)异出的頂點取樣位置進行儲存的頂點取樣座標儲 子表（30B);以及從由頂點取樣座標運算部poA)算出的頂 樣位i If值算出與輸出圖像的各像素位置對應的輸 入圖像的取樣位置的取樣座標插值運算部（31A)等等。 接下來，詳細記载頂點取樣座標運算部（30A)計算頂點 取樣座標位置的情況。 首先與第只施方式同樣，用υν系表示對應於像 '、位置的座㈣，作為方便的座標系，使用將圖像中心設 為原點、將最大的像高設為】、將畫面左右方向設為χ、 ： 上下方向°又為y的座標系。此外，輸出圖像（彩色圖 36 200910255 像）上的座標用下標d表示 示。 輸入圖像上的座標用下標 此外’在輸出圖像中’以等間隔在左右方向配置16〇 個像素、在上下方向配置12⑽個像素，如第七圖所示 從左上向右對像素座標K，Vd)分配(0, 0)、(1，〇)、(2: 〇)、…，對下—行像素座標分配（0, 1)、（1，1)、（2, ”、. 通過（式2)計算像素座標（〜，、）的χγ 、接^

動校正後的座標（X-，^ )。 T Χβ 咖 0 \ -0J網 ϋφ k J 0 k Ojaag Vi \ / ί ^ J (^ X f ΖβΙηθ άχ ，沿、 ly#: 、J Zcm$ dy J y* \ i . / Λ WX f K«\ wy^ mmm ΐ j *— tsA y# \w ) L 1 ； 式4 此日T，如果抖動校正參數由仿射矩陣M給出，則代替 (式3)使用（式4)即可。此外，在（式3)中，厂=w〆/w、 y " =w y "。 對於抖動校正後的座標使用歪曲像差校正的係 此外， 數 k,、k2、Pl、p2，用 XsG=x -（1+(<1「一 2 + k2「一 4) + 2p〆厂 + p2(、： + 2x > 2)、ysG = y ’（1+ki「一 2 + k，/ 4) + 2ρ2χ 丫 P1(「 +2y )的運算式算出由顏色平面分解部（21)生成 的G平面上的取樣座標xsg、ySG。此時，「> 2 ξ x — 2 + v > 2。 37 200910255 kl k2、A ' p2是表示攝影光學系統(2八)的 的係數，！<·(、k 主_ Ί豕左 2表示放射線方向的變形’ Ρ 方向的變形。 心衣不切線 此外考慮攝影光學系統（2Α)的色像差，通過（式5)、 X喊 \ / ks B 0 dfin y#n V > 0 f \ X.， I ka mmm I 〜J ύ d©j{ w 0 h& 物

V X»a' 八1 > 式6 kR、kB是以G平而炎甘.往士 dR . r 千面為基準時的R、B平面的倍率，dRx、 是〜平面為美準= 的平行偏移量，‘、 馮基丰時的B平面的平行偏移量。 像幸 輪入圖像（顏色馬賽克圖像）也是1600x1200的 I排列’在像素編號（u 被分割時，通州7、/二S)與輸出圖像(彩色圖像)一樣 y w 過（式 7)、（式 8)、（式 9)算出與（XsR，ysR)、（XsG， SG (X-，ysB)對應的輪入圖像上的取樣座標(Usr，Vsr)、 W，vsG)、（usB，vsB)。 r > f 1fl0D 0 ms \ \ J 0 1000 §99,5 - ， F ^ V ) ^ ^ y s \ U»<n [1000 0 Vail ： , 0 1®30 5赃 y_« 、 / \ / l 1 } f \ f :'«Μ： 1細 0 ?δ§.δ \ rx.B> ν·0 «•MW 0 1000 卿,5 y*a > / < J 38 戎7 式8 200910255 此外，在頂點取樣座標運算部（3〇A)中，通過以 8)、（式9)算出各頂點的敌姥 （式 只·點的取樣座標（usR，vsR)Pj、（Us(3，v j (uSBn該頂點取樣座標儲存在頂點取樣座標n (30日）中&外，頂點取樣座標的計算值不限於整數〜 為非整數。 接下來，取樣座標插值運算部（31A)算出與輸出的輪出 圖像（彩色圖像）的各像素位置對應的輸人圖像（顏色馬賽克 圖像）上的取樣座標。 首先，提取包圍處理輸出像素的多個頂點。例如，輪 出像素τ的座標（Ud，Vd)T=(234, 123)時，如第七圖所示， 包圍該像素的座標為P20、P21、P37、P38“ud， vd)P2〇 = (200 « 100) , (Ud , vd)P21 = (300 » 100) , (Ud , vd)P37 = (200，200)，（ud，Vd)P38 = (300，200))，從頂點取 樣座標儲存表（3〇B)讀出P20、P21、P37、P38的取樣座 標（Pi=20、21、37、38)的頂點取樣座標（UsR，VsR)pi、（Usg， VsG)P|、（UsB，VsB)Pi ’通過線性插值（雙線性插值）算出與輸 出像素τ對應的輸入圖像上的取樣位置（UsR' VsR)T、（Use、

VsG)T、（UsB、VsB)丁。 即，R 的取樣座標（USR，vsR)T 用（usR，VSR)T= 〇·66 〇.77*(usR，vsR)P20 + 0.34*0.77(usR，vsR)p2i + 〇.66*〇.23*(usR，vsR)P37 + 0.34*0.23(usR，VsR)P38 的運算式 鼻出。 此外，G的取樣座標（usG ' vsG)T用（usG，vsG)T = °-66*〇.77*(Usg » vsG)P2〇 + 0.34*0.77(usG，vsG)P21 + 39 200910255 〇.66*0.23*(usG ’ VsG)p37 + 〇 34*〇 23(Usg ’ VsG)p38 的運算 式算出。 此外，B的取樣座標（Usb ，Vsb)t用（Usb， vsb)t = 〇.66*0.77*(u,r , v Ί + η 77f„ 、 ν sB VSB；P20 + 0.34 〇.77(usB · vsB)P21 + 0.66 0.23 (usB ’ vsB)P37 + 〇·34*0 23(usB ’ vsB)P38 的運算式 异出。此外，利用這些插值算出的取樣座標也與頂點取樣 座標同樣，不限於整數，一般為非整數。 . 接下來，如第九圖所示，取樣部（32)從由顏色平面分 解部（21A)生成的各顏色平面（R平面、G「平面、Gb平面、 B平面），算出由取樣座標插值運算部（31A)算出的取樣座 標的取樣值並輸出。 從R平面輸出（usR，VsR)T的值，從Gr平面輸出（Usg「， vsGr)T的值，從Gb平面輸出（UsGb，VsGb)T的值，從B平面 輸出（usBr ’ VsB)T的值’得到輸出圖像（彩色圖像）上的處理 物件像素T(ud，Vd)的取樣值RS、Grs、Gbs ' Bs。 此時’如前所述，取樣位置（Us，Vs)t不限於整數座標， 因此’根據包圍（us，vs)T的4個有值像素進行線性插值而 异出取樣值。 如弟九圖所示’ R平面、Gr平面、Gb平面、B平面 的所有平面都呈縱橫的格子點狀地具有4個有值像素，關 於包圍取樣座標401、402、403、404的4個有值像素， 該取樣座標UsR為（100.8，101.4)時，包圍該座標的4個 像素（u，ν)成為（1〇〇, 1〇〇)、（100, 102)、（102, 100)、（1〇2， 102)。 200910255 此外’接下來’如第九F圖所示，求出隔著取樣座標 對置的有值像素間的距離的比（此處，X方向為0.4 : 0.6， y方向為0.7 : 0.3)，使用4個有值像素的像素值，通過插 值算出取樣位置（100.8，101 _4)上的R的像素值。 例如，對於 R 平面，用 r(10〇，1〇〇)、r(1〇〇，1〇2)、 (2 1〇〇)、R(1〇2’ 102)表示4個有值像素的像素值， 用R(1〇〇_8，1〇1_4)表示取樣位置（100 8，1〇1 4)的r的 像素值時，可以通過 R(1〇〇.8，101.4) = 0.6*0.3*R(100， 100) + 0.6*0.7*R(1〇〇 , 102) + 〇.4*〇.3*R(1〇2 > 100) + 〇·4 0.7 R( 1〇2 ’ 1〇2)的運算式計算R平面上的取樣座標 4〇1 的像素值 r(100 8，1〇1 4)。

Gr平面、Gb平面、B平面上的取樣座標4〇2、4〇3、 彻的像素值也與R平面—樣，可以根據包圍取樣座標的 4個有值像素的像素值料插值算出。此外，在取樣部（32) 中，針對輸出圖像的所有像素，計算R、G「、Gb、 樣值。

此外，此處使用的R的取樣^s = r(Usr、Vsr)、G1 取樣值 G「s=G「(UsG、VsG)、Gb 的取樣值 〇bs=Gb(UsG、VsG)、 的取樣值Bs-B(usB、VsB)還能抑制色像差的影響示出 被攝體上的同一部分。

個顏ΤΙ來’ 11色生成部(33)根據由取樣部(32)得到的每 =平：取樣值 Rs、Grs、Gbs、Bs，U 顏色貝訊（瞻成分）而生成輸出圖像（彩色圖像）。 此時，例如，也可以在成分中直接使用取樣值 41 200910255

Rs、Bs，在G成分中使用Grs和叫的平均，但在此處進 -步進行偽色抑制。即’在通過攝影元件(5)構成的拜爾排 列的彩色圖像感測器中，對於尼奎斯特頻率附近的黑白的 條紋形狀容易產生紅色和藍色的爲色’因此通過取和 Gb的差分’可以檢測出這些條紋形狀，彳以抑制偽色。 詳細地說，首先，針對R和B，通過s = Rs + Bs、C = Rs_Bs 的運算式算出取樣值的和s和差c’同時用㈣「s_Gb:J 運算式算出G「s和Gbs的差κ’按照下式在+、_的符號不 變的範圍内1 C的絕對值減去κ的絕對值而生成 C 一 =sign(C)max(〇，| c 卜 | κ "。 此外，可以使用算出的c -和s，進行R=(s + c / )/2， ( )的運异，求出彩色圖像中的R成分及b成分。 —接下來，與第一實施方式相同，由視覺校正部（34)進 盯色D周曲線（r )权正、色度強調、邊緣強調這樣的圖像校 正，其後，由壓縮部（35)對彩色圖像的數位圖像信號用 JPE^G(J〇丨nt phot〇graphjc Expe「ts 以〇叩聯合圖像專家

組）寻方法進行壓縮’由記錄部（36)將壓縮後的數位圖像信 號儲存在記錄介質中。 D 接下來，根據第十圖，說明根據經由攝影光學系統（2A) 輸入的馬赛克圖像（輪入圖像）校正歪曲像差而生成彩色圖

像（輸出圖像）時的步驟。該步驟是CPU(18)根據儲存在 ROM(19)中的藉—#上A 卜 町权式對各功能部給出指令信號來執行的。此 外’第十圖中的S表示步驟。 首先，忒步驟在操作者對圖像處理裝置（100A)輸入啟 42 200910255 動信號時開始。 下來s(S11Q)中’經由攝影光學系統（2A)將圖像 说讀入到圖像處理裳置（_)，接下來，在（s 使用顏色平面分解部（21)，與拜_射! 像 素信號、㈣像素信號、Gb的像素信號、b的;= 其後，移至（S170)的取樣步驟。 。唬 另一方面，在（S300)中，佔田址_ 使用鏡碩狀態檢測部（37)對 被攝體距離對應的鏡頭狀態進行檢測，其後，移 後广S310)中，判定在(S3〇〇)中檢測出的鏡頭狀 ^ 儲存在像差係數儲存表（38)中，在已儲存（是） =二移至(S32〇>獲取像差係數’另-方面，在未健 情況下’移至叫使用储存在像差係數健存 =()中的㈣狀態和其像差係數來插值運算與未儲存的 鏡頭狀態對應的像差係數，其後，移至（s5〇〇)。 另-方面’在(S400)中，使用角速度感測器及抖動檢 測部（4〇)，檢測攝影裝置（1A)的抖動量，其後，移至（s ， (=)中獲取用於抖動量校正的參數，其後，移至 由接著，在（S5〇〇)中，使用在（S320)、（S330)' (S41〇) 中獲取的鏡頭狀態的像差係數及抖動檢測的參數，經由頂 點取樣座標運算部（繼），算出各頂點的取樣座標（UsR， sR)Pj (USG，VsG)pj、（usB，VsB)pj，其後，移至（s55〇)，在 咖0)中’將頂點取樣座標儲存到I點取樣座標儲存表 43 200910255 (30B)中。 另一方面，在（S150)中，使用像素掃描部（28)對輸出 圖像（彩色圖像）内的像素位置進行掃描來獲取其座標，其 後，移至（S165)。 ’、 接著，在（S165)中，使用取樣座標插值運算部（3ia)插 值運异來算出與輸出的輸出圖像（彩色圖像）的各像素位置 對應的輸入圖像（顏色馬赛克圖像）上的取樣座標，其後， 移至（S170)。 接著，在（S170)中，使用取樣部（32)，從由顏色平面 ^解部（21)生成的各顏色平面’算出由取樣座標設定部（29a) 算出的取樣座標（H)上的每個R、G「、Gb、B的取樣 值（取樣位置上的每個顏色的像素值），其後，移至（si8〇): 接了來，在（S1 80)中，使用顏色生成部（33)對由取樣 部（32)算出的各色的取樣值進行合成，由此對各像素值分 別生成多個顏色的顏色資訊，其後，移至（S195)。 接下來，在（S190)中，敎輸出圖像内是否有下一個 像素，判定為沒有像素（否）時移至（S21〇)，判定為有像素⑷ 時重複（s15G)〜（_)，在（S195)中達到沒有像 移至（S21C〇。 接下來’在（S210)中，使用視覺校正部（34)，對由顏 色生成部(33)生成的彩色圖像，進行色調曲線("校正〔 色度強調、邊緣強調這樣的圖像校正，其後，移至(s叫 接下來’在（S220)中，使用壓縮部（35)，對經由視覺 权正部輸出的彩色圖像的數位圖像信號肖jpE叫咖 44 200910255

Photographic Experts Group:聯合圖像專家組）等方法進 行壓縮，減小記錄時的圖像資料的尺寸，其後，移至 (S230)° 接下來，在（S230)中，使用記錄部（36)將壓縮後的數 位圖像信號儲存在快閃記憶體等記錄介質中，其後，結束 本圖像處理程式。

如上所述，根據第二實施方式記载的圖像處理裝置 (100A)及圖像處理方法、圖像處理程式，由像差係數設定 4(39)求出用於歪曲像差校正的係數，並且由抖動檢測部 (40)求出用於抖動校正的參數，通過在去馬賽克時使用兩 者，可以在去馬賽克的同時進行抖動校正及歪曲像差校 正與刀別進饤通些處理工序相比，能夠簡化圖像處理。 此外艮據第二實施方式記載的圖像處理裝置。〇〇A) 及圖像處理方法、圖像處理程式，由取樣部不僅將取樣分 為咖的3個平面，還分為更多的平面（RGr、Gb、B)， 由此’可由顏色生成部（33)有效進行偽色抑制。 根據第—實施方式記載的圖像處理裝置（1⑽a) 能：像處理方法、圖像處理程式，在改變變焦等的鏡頭狀 ^ 口歪曲像差校正隨之平穩有纟，能夠得到沒有不自然 感的品位良好的圖像。 此外，根據第 及圖像處理方法、 中，設定取樣座標 恕的歪曲像差校正 一實鈀方式記載的圖像處理裝置（100A) 圖像處理％式，在取樣座標設定部（29a) 以使歪曲像差校正尤其是對應於鏡頭狀 抖動权正等同時進行，因此，能夠減 45 200910255 即 乂取樣及顏色生成等去馬赛克處理中的負擔。即，社云馬 賽克時，如果在由取樣座標設定部設定的取樣位置上求出 各色的取樣值並進行合成，則其後沒有必要再另外進行歪 曲像差和抖動校正，因此能夠簡化整體處理。 匕卜根據第一實知*方式記載的圖像處理裝置（10〇A) 及圖像處理方法、圖像處理程式，僅對頂點取樣座標進行 歪曲像差及抖動校正的運算，因此，與對輸出圖像的全部 像素進行運算相比，能夠減少其運算量。因此，能夠減少 頂點取樣座標運算部（30A)中的運算量，能夠使用通用處理 益和程式容易地實現頂點取樣座標運算部（3ga)，也可 過軟體的變更來擴張校正計算。另一方面，能夠將對輸出 圖像=部像素需要進行處料取樣座標插㈣算部（ 設為簡單的硬體邏輯，可以高速處理。 .以f，說明了本發明的一個實施例，但是本發明不限 於所述貫施例’可以採取各種方式。例如，在攝影裝置 中’可以將攝影光學李續^ 2 a )茶0国γ多+ ()和圖像處理褒置（100A)構成 為m更換’在攝影光學系統（2A)—側具有像差係數儲 存表（38)、像差係數設定部（39)以及抖動檢測部 【圖式簡單說明】 第一圖：表示本發明的第一實施方式中 結構的方塊圖。 第二A圖：表示該第一實施方式中 的攝影裝置的 割例的圖。 的輪出圖像的塊分 46 200910255 第二B圖：表示該第—實施方式的輸出圖像中的原點 座標設定的說明圖° 第三A圖：表示從攝影光學系統輸出的拜爾排列的顏 色馬賽克圖像的圖。 第三B圖：表不由顏色平面分解部生成的！^平面的配 置的圖 第三C圖：表不由顏色平面分解部生成的（^平面的配 置的圖 第三D圖：表不由顏色平面分解部生成的B平面的配 置的圖。 第三E圖：對取樣座標中的像素值進行插值計算時的 說明圖。 第四A圖：表示從攝影光學系統輸出的包含歪曲像差 的圖像的圖° 第四B圖：表不校正歪曲像差後輸出的輸出圖像的圖。 第五圖：表示該第一實施方式中的圖像處理及圖像處 理程式的步雜的圖。 第六圖：表示本發明的第二實施方式中的攝影襄置的 結構的方塊圖。 第七圖：該第二實施方式的圖像處理中的輸出圖像的 頂點座標設定及uv座標系的說明圖。 第八圖表不該弟二實施方式的固# 只他乃式的圖像處理中的像差係 數的表設定例的圖。 第九A圖：表示從攝影弁學条姑& ,, ，、元予系·.先輸出的拜爾排列的顏 47 200910255 色馬賽克圖像的圖。 第九B圖：表示由顏色平面分解部生成的R平面的配 置的圖。 第九C圖：表示由顏色平面分解部生成的Gr平面的 配置的圖。 弟九D圖：表示由顏色平面分解部生成的Gb平面的 配置的圖。 第九E圖：表示由顏色平面分解部生成的B平面的配 置的圖。 第九F圖：對取樣座標中的像素值進行插值計算時的 說明圖。 第十圖.表示該第二實施方式中的圖像處理及圖像處 理程式的步驟的圖。 【主要元件符號說明】 (1 )(1 A)攝影裝置 (3)攝影鏡頭 (5a)拜爾排列的彩色濾 (6)類比前端 (8)自動增益控制器 (10)檢測部 (12)鏡頭驅動部 (1 5)角速度感測器 (19)唯讀記憶體 (2)(2A)攝影光學系統 (5)攝影元件 光片 (7)相關二重取樣電路 (9)類比轉數位轉換器 (1 1)感測器 (13)時序產生器 (1 8)中央處理單元 (21)顏色平面分解部 48 200910255 (22)R場記憶體 （23)G場記憶體 (23a)Gr場記憶體 （23b)Gb場記憶體 (24)B場記憶體 （25)塊掃描部 (25A)輸出圖像掃描部（26)塊分割部 (27) (27A)頂點座標設定部 (28) 像素掃描部 （29)(29A)取樣座標設定部 (30)(30A)頂點取樣座標運算部 (30B)頂點取樣座標儲存表 (31 )(31 A)取樣座標插值運算部 (32)取樣部 （33)顏色生成部 (34)視覺校正部 （35)壓縮部 (36)記錄部 （37)鏡頭狀態檢測部 (38)像差係數儲存表 （39)像差係數設定部 (40)抖動檢測部 （100)(100A)圖像處理裝置 49

Claims (1)

1. 200910255 十、申請專利範園： 1 . 一種圖像處理裝 曲像差輸人的輪人圖像=從伴隨成像光學系統的歪 特徵在於，該圖像處理裝置包括咸輕了歪曲的輸出圖像，其 :人運异其在所述輸出圖像 通過高次式算出所述輪疋的像素位置上 歪曲像差； 上的取樣位置，以消除所述 插值運算部，1在斛 述輪出圖像的所述預定的像辛位 置以外的像素位置上，栌摊^ 识疋的像京位 .根據位於該像素附近的預定的輸出 〇★ ·、 對所述輸入圖像上的取樣位置進行插值 算，以及 次運算部和所述插值運算部 入圖像的像素值進行取樣。 算出 取樣部’其在通過所述高 的取樣位置上，對所述輪 2如申明專利範圍第1項所述之圖像處理裝置，其 特徵在於，所述插值運笪邮β i 建异。卩構成為通過雙線性插值來計算 所述取樣位置。 3如申响專利範圍第1項所述之圖像處理裝置，其 特徵在於，所述插值運算部構成為通過雙立方插值來計算 所述取樣位置。 4 .如申請專利範圍第1項所述之圖像處理裝置，其 特徵在於，所述預定的輸出像素數比所述輸出圖像的全部 像素數少，其中並不含〇。 5 ·如申請專利範圍第1項所述之圖像處理裝置，其 特徵在於，所述南次式由3次以上構成。 50 200910255 6 .如申請專利範圍第1項所述之圖像處理裝置，其 特徵在於，所述成像光學系統構成為通過鏡頭使被攝體像 在圖像感測器上成像，而所述高次式或其係數與所述圖像 感測器附帶的所述成像光學系統相關聯。 7 ·如申請專利範圍第6項所述之圖像處理裝置，其 特徵在於，所述高次式或其係數根據所述圖像感測器附帶 的成像光學系統的變更而變化。

   8 ·如申請專利範圍第6項所述之圖像處理裝置，其 特徵在於’所述圖像處理裝置具有高次式變更單元，該高 次式變更單元根據連接所述被攝體和所述圖像感測器的光 軸上的所述鏡頭的位置，變更所述高次式或其係數。 9 .如申請專利範圍第1項所述之圖像處理裝置，其 特徵在於，所述圖像處理裝置具有儲存所述高次式的係數 的儲存單元。 1 〇 ·如申請專利範圍第9項所述之圖像處理裝置， 其特徵在於，在所述儲存單元中，與所述鏡頭的預定位置 對應地儲存所述高次式的係數，而所述圖像處理裝置具有 係數插值生成單元，該係數插值生成單元在所述鏡頭的預 t位置以外的位置上’根據所述儲存單元存的所述高 次式的係數，通過插值來生成所述高次式的係數。 1 1 · 一種圖像處理方法，甘 其從伴隨成像光學系統的 歪曲像差輸入的輸入圖像，+占、#土- M ^ ^ 生成減輕了歪曲的輸出圖像， 、特徵在於，錢像處理方法使心下步驟： 高次運算步驟’在所述輪出圖像的預定的像素位置上， 51 200910255 通過高次式算出所述輸入圖 歪曲像差； 、樣位置，以消除所述 置以外的二：上在所述輪出圖像的所述預定的像素位 像素的取樣位置，對所=位於該像素附近的默的輪出 計算；以& _所述輸人圖像上的取樣位置進行插值 牛驟驟’在通過所述高次運算步驟和所述插值運算 樣。 取樣位置上’對所述輸入圖像的像素值進行取 1 2.如中請專利範圍第i工項所述之圖像處理方法， 二，徵在於，在所述插值運算步驟中，通過雙線性插值來 計算所述取樣位置。 1 3·如申請專利範圍第i丄項所述之圖像處理方法， 其特徵在於，在所述插值運算步驟中，通過雙立方插值來 計算所述取樣位置。 1 4 ·如申請專利範圍第1 1項所述之圖像處理方法， 其特徵在於’所述預定的輸出像素數比所述輸出圖像的全 部像素數少，其中並不含0。 1 5·如申請專利範圍第1 1項所述之圖像處理方法， 其特徵在於，使用3次以上的高次式作為所述高次式。 1 6 .如申請專利範圍第1 1項所述之圖像處理方法， 其特徵在於，所述成像光學系統使用通過鏡頭使被攝體像 在圖像感測器上成像的成像光學系統，而所述高次式或其 係數與所述圖像感測器附帶的所述成像光學系統相關聯。 52 200910255 1 7 ·如申請專利範圍第1 6項所述之圖像處理方法， 其特徵在於，根據所述圖像感測器附帶的成像光學系統的 變更來變更所述高次式或其係數。 1 8 ·如申請專利範圍第1 6項所述之圖像處理方法， 其特徵在於’根據連接所述被攝體和所述圖像感測器的光 軸上的所述鏡頭的位置，變更所述高次式或其係數。 1 9 ·如申請專利範圍第1 1項所述之圖像處理方法， 其特徵在於’使用儲存單元儲存所述高次式的係數。 2 0 .如申請專利範圍第1 9項所述之圖像處理方法， 其特徵在於，與所述鏡頭的預定位置對應地在所述儲存單 元中儲存所述高次式的係數，而所述圖像處理方法使用係 數插值生成步驟，該係數插值生成步驟在所述鏡頭的預定 位置以外的位置上，根據所述儲存單元中儲存的所述高次 式的係數，通過插值來生成所述高次式的係數。 歪曲像差輸入的輪入圖傻，& 士、、士 ±_ π太1 j荆八圑像，生成減輕了歪曲的輸出圖像， 其特徵在於，該圖傻虛 理招— ·

   歪曲像差； 2 1 . —種圖像處理程式，其從伴隨成像光學系統的 京位置上， 以消除所述

   計算；以及 又的像素位 預定的輸出 置進行插值 53 200910255 在通過所述高次運算步驟和所述插 對所述輸入圖像的像素值進行取 取樣步驟’在通過 步驟算出的取樣位置上 樣。 2 2 .如申请專利範圍第2 i項所述之圖像處理程式 其特徵在於，在所述插值運算步驟中，使電腦如下執行 即，通過雙線性插值來計算所述取樣位置。 2 3·如申請專利範圍第2 1項所述之圖像處理程式 其特徵在於’在料插值運算步驟中，使電腦如下執行 即，通過雙立方插值來計算所述取樣位置。 2 4.如申請專利範圍第2 1項所述之圖像處理程式 其特徵在於’使電腦如下執行，即，所述預定的輸出像 數比所述輸出圖像的全部像素數少，其辛並不含〇。 其特徵在於，使電腦如下執行， 式作為所述高次式。 2 5 .如申請專利範圍第2丄項所述之圖像處理程式 即’使用3次以上的高次 2 6 ·如申請專刺筋.囝筮9 1适& β >面a上_

   統，而所述尚次式或其係數與所述圖像感測器附帶的所述 成像光學系統相關聯。 2 7 .如申請專利範圍第2 6項所述之圖像處理程式， 其特徵在於，使電腦如下執行十根據所述圖像感測器 附帶的成像光學系統的變更來變更所述高次式或其係數。 2 8·如申請專利範圍第2 6項所述之圖像處理程式， 54 200910255 其特徵在於’使電腦如下執行，即， p 根據連接所述被攝體 和所述圖像感測器的光轴上的所述鏡頭的位置， 高次式或其係數。 2 9.如中請專利範圍第2工項所述之圖像處理程式， 其特徵在於，使電腦如下執行…在儲存單元中儲存所 述高次式的係數。 3 0.如申請專利範圍第2 9項所述之圖像處理程式， 其特徵在於’該圖像處理程式使電腦執行以下步驟： 健存步驟’與所述鏡頭的預定位置對應地在所述儲存 單7L中儲存所述高次式的係數；以及 係數插值生成步驟，在所述鏡頭的預定位置以外的位 置上’根據所述儲存單元中儲存的所述高次式的係數，通 過插值來生成所述高次式的係數。 十一、圖式： 如次頁 55