TW201621372A - 區塊式數位重對焦系統及其方法 - Google Patents

區塊式數位重對焦系統及其方法 Download PDF

Info

Publication number
TW201621372A
TW201621372A TW103142034A TW103142034A TW201621372A TW 201621372 A TW201621372 A TW 201621372A TW 103142034 A TW103142034 A TW 103142034A TW 103142034 A TW103142034 A TW 103142034A TW 201621372 A TW201621372 A TW 201621372A
Authority
TW
Taiwan
Prior art keywords
block
data
refocusing
picture
type digital
Prior art date
Application number
TW103142034A
Other languages
English (en)
Other versions
TWI559042B (zh
Inventor
黃朝宗
Original Assignee
國立清華大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立清華大學 filed Critical 國立清華大學
Priority to TW103142034A priority Critical patent/TWI559042B/zh
Priority to US14/623,466 priority patent/US9531943B2/en
Publication of TW201621372A publication Critical patent/TW201621372A/zh
Application granted granted Critical
Publication of TWI559042B publication Critical patent/TWI559042B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/21Indexing scheme for image data processing or generation, in general involving computational photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本發明提供一種區塊式數位重對焦方法,其包含步驟如下。一擷取步驟,擷取至少一畫面資料。一分割步驟,劃分畫面資料成複數區塊資料。一選取步驟,依照各區塊資料定義一區域資料。一重對焦步驟,分別利用各區域資料執行一重對焦運算,得到一重對焦區塊資料。一拼接步驟,拼接各區域資料相對應之重對焦區塊資料,以形成一重對焦畫面資料。藉此,利用區域資料獨立進行重對焦運算,可降低運算量。

Description

區塊式數位重對焦系統及其方法
本發明是關於一種數位重對焦系統及其方法,特別是關於一種區塊式數位重對焦系統及其方法。
隨著數位相機的蓬勃發展,使用者可以隨意地拍攝所要的影像。為了能夠凸顯拍攝的主體,通常會利用淺景深的技巧產生主體清晰而背景模糊的影像。其中,數位重新對焦已成為此種拍照方式的新趨勢。一般數位重新對焦的實作方式有兩種,一種是商用化的光場相機,例如:Lytro或Raytrix;另一種則是利用電腦視覺方式得出深度圖後,再透過深度圖和原圖產生淺景深之效果,例如:HTC M8 Duo Camera或Google Camera App。
傳統利用數位運算產生淺景深效果的方法可分為四大類,其中第一類方法為光線追蹤(Ray tracing),其為三維電腦圖形學中的特殊渲染演算法。此方法係跟蹤從眼睛發出的光線,而不是光源發出的光線,並透過特殊編排好之場景的數學模型運算求得,其效果最好但運算量過 大。目前受限於可攜式電子產品之運算能力,無法即時地呈現重新對焦的結果。
第二類方法為光場,其假設以視點內插法來實現對焦運算,若視點不足,則必須內插出新視點以補足光圈的取樣率。此方法效果可達真實拍照效果,但運算量過大,難以搭載於目前可攜式電子產品上。
第三類方法係針對原圖或中間圖進行調適性濾波處理,其模糊核心的大小(Blur Kernel Size)是與深度值有相關性的。其缺點有二,其一為當對焦在前景時,背景會滲透到前景,此為強度滲漏現象。另一為當對焦在背景時,前景會產生不連續邊緣的現象。
第四類方法為層狀式深度地圖(Layered Depth Map),此方法係將深度圖分層處理,在交接處進行特殊處理以避免第三類作法所產生的失真。然而,此方法容易失去深度圖之漸層效果,且當光圈太大時,依然有失真的現象產生,這些明顯的失真會出現在深度圖有較大變動的部份。
由此可知,目前市場上,對於視點取樣率不足之光場或單張圖像,缺乏一種可以快速運算、低失真且可達真實拍照效果之數位重對焦系統與方法,故相關業者均在尋求其解決之道。
因此,本發明提供一種區塊式數位重對焦系統及其 方法,係將畫面資料切割成複數個區塊資料,然後依照各區塊資料定義出各區域資料,每個區域資料可獨立進行重對焦運算,以減少運算量。此外,利用去除區塊效應之機制,可降低重對焦區塊資料彼此之間不連續的問題。
依據本發明一態樣提供一種區塊式數位重對焦方法,其包含擷取步驟、分割步驟、選取步驟、重對焦步驟以及拼接步驟。其中擷取步驟擷取至少一畫面資料。分割步驟劃分畫面資料成複數區塊資料。選取步驟依照各區塊資料定義一區域資料。重對焦步驟分別利用各區域資料執行一重對焦運算,得到一重對焦區塊資料。拼接步驟拼接各區域資料相對應之重對焦區塊資料,以形成一重對焦畫面資料。
藉此,本發明之區塊式數位重對焦方法可將畫面資料切割成複數個區塊資料,然後依照各區塊資料定義出各區域資料,每個區域資料可獨立進行重對焦運算,以減少運算量。
依據前述之區塊式數位重對焦方法,其可更包含去塊步驟,用以降低重對焦畫面資料之區塊效應,可解決畫面中相鄰區塊之間不連續的問題。此去塊步驟可利用一去區塊濾波器降低重對焦畫面資料之區塊效應,或將區塊資料之彼此重疊部分利用一透明混合器降低重對焦畫面資料之區塊效應,以降低畫面中相鄰區塊之間不連續的問題,可達真實拍照效果。另外,前述分割步驟可依據一預定區塊形狀來決定各區塊資料之區塊大小,此預定區塊形狀可 為矩形,各區塊資料之區塊大小可為N×M像素,其中N大於等於2且M大於等於2。前述各區域資料之區塊大小可大於區塊資料之區塊大小,重對焦區塊資料的區塊大小可等於相對應之區塊資料的區塊大小,而重對焦畫面資料之大小可等於畫面資料之大小。前述區域資料彼此可部分重疊。再者,前述畫面資料可包含一畫面深度資訊,且重對焦步驟根據此畫面深度資訊進行重對焦運算。而前述畫面資料亦可包含複數個視點畫面資料,且重對焦步驟可根據這些視點畫面資料進行重對焦運算。此外,前述區塊式數位重對焦方法可包含一判斷步驟,此判斷步驟可利用一畫面深度資訊或複數個視點畫面資料之視差資訊來判斷選擇區塊資料之區塊大小。
本發明另一態樣提供一種區塊式數位重對焦系統,其包含一接收模組與一影像處理模組,其中接收模組用以接收一畫面資料。而影像處理模組則訊號連接接收模組。再者,影像處理模組包含一分割單元、一選取單元、一重對焦單元以及一拼接單元。分割單元用以將畫面資料劃分為複數區塊資料。選取單元用以依照各區塊資料定義一區域資料。重對焦單元用以分別依據各區域資料進行一重對焦運算,以產生一重對焦區塊資料。拼接單元則用以拼接各重對焦區塊資料成為重對焦畫面資料。
藉此,本發明之區塊式數位重對焦系統可將畫面資料切割成複數個區塊資料,然後依照各區塊資料定義出各區域資料,每個區域資料可獨立進行重對焦運算,以減少 運算值。
依據前述之區塊式數位重對焦系統,其中分割單元可依據一預定區塊形狀決定各區塊資料之區塊大小,此預定區塊形狀可為矩形,各區塊資料之區塊大小可為N×M像素,其中N大於等於2且M大於等於2。前述各區域資料之區塊大小可大於區塊資料之區塊大小,重對焦區塊資料的區塊大小可等於相對應之區塊資料的區塊大小,而重對焦畫面資料之大小可等於畫面資料之大小。前述區域資料彼此可部分重疊。再者,前述畫面資料可包含一畫面深度資訊,且重對焦單元根據此畫面深度資訊進行重對焦運算。而前述畫面資料亦可包含複數個視點畫面資料,且重對焦單元可根據這些視點畫面資料進行重對焦運算。前述區塊式數位重對焦方法可包含一判斷單元,此判斷單元可利用一畫面深度資訊或複數個視點畫面資料之視差資訊來判斷選擇區塊資料之區塊大小。此外,前述影像處理模組可包含一去塊單元,用以降低重對焦區塊資料彼此交接處之區塊效應,可解決畫面中相鄰區塊之間不連續的問題。此去塊單元可包含一去區塊濾波器,係用以降低重對焦畫面資料之區塊效應,或可包含一透明混合器,係將區塊資料之彼此重疊部分利用透明混合器降低重對焦畫面資料之區塊效應。
100、300‧‧‧區塊式數位重對焦方法
110、310‧‧‧擷取步驟
120、330‧‧‧分割步驟
130、340‧‧‧選取步驟
140、350‧‧‧重對焦步驟
150、360‧‧‧拼接步驟
160、370‧‧‧去塊步驟
320‧‧‧判斷步驟
210‧‧‧畫面資料
220‧‧‧區塊資料
230‧‧‧區域資料
240‧‧‧重疊區塊
250a、250b‧‧‧重對焦區塊資料
400、500‧‧‧區塊式數位重對焦系統
410、510‧‧‧接收模組
420、520‧‧‧影像處理模組
421、522‧‧‧分割單元
422、523‧‧‧選取單元
423、524‧‧‧重對焦單元
424、525‧‧‧拼接單元
425、526‧‧‧去塊單元
521‧‧‧判斷單元
N、M、D1、D2、D3、D4‧‧‧像素數量
第1圖係繪示本發明一實施方式之區塊式數位重對焦方法的流程示意圖。
第2A圖係繪示第1圖之區塊資料與區域資料之示意圖。
第2B圖係繪示第1圖區塊式數位重對焦方法之一實施例中區塊資料與區域資料之示意圖。
第3圖係繪示本發明另一實施方式之區塊式數位重對焦方法的流程示意圖。
第4圖係繪示第3圖之區塊資料彼此重疊之示意圖。
第5圖係繪示本發明又一實施方式之區塊式數位重對焦方法的流程示意圖。
第6A圖係繪示本發明一實施方式之區塊式數位重對焦系統的方塊圖。
第6B圖係繪示本發明另一實施方式之區塊式數位重對焦系統的方塊圖。
第6C圖係繪示本發明又一實施方式之區塊式數位重對焦系統的方塊圖。
請一併參閱第1圖、第2A圖以及第2B圖。第1圖係繪示本發明一實施方式之區塊式數位重對焦方法100的流程示意圖。第2A圖係繪示第1圖之區塊資料220與區域資料230之示意圖。第2B圖係繪示第1圖區塊式數位重對焦方法100之一實施例中區塊資料220與區域資料230之示意圖。區塊式數位重對焦方法100包含擷取步驟110、 分割步驟120、選取步驟130、重對焦步驟140以及拼接步驟150。
詳細來說,擷取步驟110係擷取一畫面資料210,此畫面資料210可為一數位圖像,且此畫面資料210包含一畫面深度資訊,畫面深度資訊用於重對焦運算之中。此外,畫面資料210可包含複數個視點畫面資料,而這些視點畫面資料亦可用於重對焦運算之中。
分割步驟120係劃分畫面資料210成複數個區塊資料220,這些區塊資料220之區塊大小為N×M像素,其中像素數量N可大於等於2,像素數量M可大於等於2,而第2B圖之實施例的像素數量N等於8且像素數量M等於8。此外,區塊資料220甚至可為非矩形之多邊形,本發明實施例則是以N×M像素之矩形做說明。
選取步驟130係依照每一個區塊資料220分別定義一區域資料230,而每一個區域資料230之區塊大小可大於等於區塊資料220之區塊大小。以第2A圖之實施例來說,區域資料230之區塊大小大於區塊資料220之區塊大小,其中區塊資料220之區塊大小為N×M像素,而區域資料230之區塊大小則為(N+D1+D2)×(M+D3+D4)像素。在此情形下,區域資料230之區塊大小大於區塊資料220之區塊大小,相鄰之兩區域資料230彼此會有部分重疊。參照第2B圖,其中區塊資料220之像素數量N等於8、像素數量M等於8且區域資料230之像素數量D1、像素數量D2、像素數量D3及像素數量D4均等於2。此外,像素數量N與 像素數量M可相異,像素數量D1、像素數量D2、像素數量D3及像素數量D4亦可相異,而且區域資料230可為非矩形之多邊形,例如三角形。
重對焦步驟140係分別利用每一個區域資料230執行獨立之一重對焦運算,然後得到一重對焦區塊資料。其中重對焦區塊資料之區塊大小等於相對應之區塊資料220之區塊大小。而重對焦運算方法係將區域資料230裡非中心視點的像素位移一目標視差值之距離,然後進行視點內插法取點以產生新視點之目標像素,最後將所有視點的像素加總後取平均,即可得到重對焦區塊資料。其中“視點內插法”是一種利用相鄰的視點畫面資料建立中間視點影像資料的轉換方法,其透過相鄰視點畫面資料之間的連貫性、照相機參數以及畫面深度資訊,並藉由視覺基本原理來建立相鄰的視點畫面資料之間像素的對應關係。而一般視點內插法可利用習知之雙線性內插(bilinear interpolation)取點以產生目標像素。此外,若畫面資料210只有一個視點畫面資料,則在執行重對焦運算的視點內插之前,可先利用此視點畫面資料之畫面深度資訊內插出其他的視點畫面資料,再透過這些視點畫面資料進一步內插出更多不同細部的視點畫面資料。
再者,上述重對焦運算方法若應用光場相機上,則其畫面資料210具有複數個視點畫面資料,在處理多個視點畫面資料時,重對焦步驟140中任一視點畫面資料之區域資料230可包含其它視點畫面資料之區域資料230,亦即 可使用複數個不同視點的區域資料230來進行重對焦運算,以產生一重對焦區塊資料。此外,前述提到區域資料230之區塊大小則為(N+D1+D2)×(M+D3+D4)像素,而在不同的視點畫面資料中,對應之區域資料230的區塊大小是可以相異的。例如,左側視點之區域資料230的像素數量D1=0、D2=8、D3=0及D4=0,中心視點之區域資料230的像素數量D1、D2、D3及D4均設為8,右側視點之區域資料230的像素數量D1=8、D2=0、D3=0及D4=0。
拼接步驟150係拼接每一個區域資料230所相對應之重對焦區塊資料,以形成一重對焦畫面資料。其中重對焦畫面資料之大小等於畫面資料210之大小。藉此,重對焦畫面資料即為經過重新對焦後的數位圖像。
繼續參照第3圖,係繪示本發明另一實施方式之區塊式數位重對焦方法100的流程示意圖。由第3圖可知,區塊式數位重對焦方法100包含擷取步驟110、分割步驟120、選取步驟130、重對焦步驟140、拼接步驟150以及去塊步驟160。
配合參閱第1圖及第2A圖,第3圖實施方式中,擷取步驟110、分割步驟120、選取步驟130、重對焦步驟140及拼接步驟150均與第1圖中對應之方塊相同,不再贅述。特別的是,第3圖實施方式之區塊式數位重對焦方法100更包含去塊步驟160。由於去塊步驟160係用以降低拼接步驟150所得到之重對焦畫面資料的區塊效應,因此去塊步驟160之順序在拼接步驟150之後。所謂區塊效應, 係指以區塊為基礎的影像處理中,造成相鄰區塊間邊緣處不連續的現象;也就是說,透過拼接步驟150拼接每個區域資料230所相對應之重對焦區塊資料的過程中,相鄰的重對焦區塊資料之邊緣處會產生不連續的現象,而影響拼接後重對焦畫面資料的影像品質。透過去塊步驟160,可對拼接後相鄰的重對焦區塊資料邊緣處進行修正處理,改善影像品質。再者,當區塊資料220彼此不重疊時(如第2A圖所示),去塊步驟160利用一去區塊濾波器(Deblocking Filter)降低重對焦畫面資料之區塊效應。
第4圖係繪示第3圖之區塊資料220彼此重疊之示意圖。由第4圖可知,畫面資料210透過分割步驟120被劃分成複數區塊資料220,且相鄰的區塊資料220彼此重疊,以兩個相鄰、區塊大小相同且彼此有重疊的區塊資料220進行說明。當兩個相鄰且彼此有重疊的區塊資料220在進行選取步驟130、重對焦步驟140及拼接步驟150後,會得到兩個重對焦區塊資料250a、250b,兩個重對焦區塊資料250a、250b與兩個區塊資料220擁有相同之區塊大小且位置分別對應,因此,重對焦區塊資料250a、250b彼此有重疊區塊240。其可透過去塊步驟160降低重對焦畫面資料之區塊效應。值得一提的是,當兩個重對焦區塊資料250a、250b彼此重疊時,去塊步驟160為兩個重對焦區塊資料250a、250b之彼此重疊區塊240利用一透明混合器(alpha blending)降低重對焦畫面資料之區塊效應。此透明混合器是一種將任意兩張圖像合成為一張合成圖像之轉換 器,合成圖像的像素值係根據下列式(1)表示:RGB3=(1-α)*RGB1+α*RGB2 (1)。其中α為透明混合值,其數值範圍介於0與1之間,RGB1與RGB2代表兩張不同圖像的像素值,而RGB3則代表合成圖像的像素值。此外,第4圖僅描述水平方向之重疊區域,而在垂直方向之重疊區域亦會利用此透明混合器做合成轉換,以降低每一個重對焦區塊資料四周邊緣之區塊效應,進而完成去塊步驟160。
第5圖係繪示本發明又一實施方式之區塊式數位重對焦方法300的流程示意圖。區塊式數位重對焦方法300包含擷取步驟310、判斷步驟320、分割步驟330、選取步驟340、重對焦步驟350、拼接步驟360以及去塊步驟370。
配合參閱第3圖及第2A圖,第5圖實施方式中,擷取步驟310、分割步驟330、選取步驟340、重對焦步驟350、拼接步驟360及去塊步驟370均分別與第3圖中擷取步驟110、分割步驟120、選取步驟130、重對焦步驟140、拼接步驟150及去塊步驟160相同,不再贅述。特別的是,第5圖實施方式之區塊式數位重對焦方法300更包含判斷步驟320。判斷步驟320係利用一畫面深度資訊或複數個視點畫面資料之視差資訊判斷選擇各區塊資料之區塊大小。
舉畫面資料210具有複數個視點畫面資料為例,首先,區塊式數位重對焦方法300會先設定一預定區塊形狀為正方形,即像素數量N等於像素數量M,並設有三組不 同區塊資料220之區塊大小,分別為8×8、16×16及32×32。然後,判斷複數個視點畫面資料中每一組區塊大小所對應之視差資訊,並選擇出擁有最小運算量的區塊大小組別,此組區塊大小的區塊資料220會有最少之內插視點數,在後續執行重對焦步驟350時運算量會最小,可有效地大幅降低重對焦運算之運算量。最後,會以判斷步驟320所得到之最小運算量的區塊資料220之區塊大小為基準,執行分割步驟330。上述判斷步驟320之依據在於內插視點數與所欲處理的區塊資料220之最大視差呈正相關。換句話說,若視差越大,則內插視點數越多,其運算量越大。
值得一提的是,若前述三組區塊大小(8×8、16×16及32×32)的區塊資料220之視差均相同且數值大過一預設值,則代表所欲處理的區塊資料220之物景離焦點有一定之距離而無對焦,故可選擇較大的區塊大小32×32,且無需使用視點內插法,只需使用習知之影像模糊方式處理,可大幅降低運算量。上述視差之數值判斷可由系統設定一預設值做數值大小比較,視差若大於等於預設值即符合條件。反之,若前述三組區塊大小(8×8、16×16及32×32)的區塊資料220之視差均相異,則代表所欲處理的區塊資料220之物景離焦點有近有遠,可選擇較小的區塊大小8×8,並使用前述之重對焦運算方法處理。如此一來,視差小的區塊會有較小的內插視點數,亦可大幅降低運算量,進而促使整個區塊式數位重對焦方法300的運算量達到最佳化。
第6A圖係繪示本發明一實施方式之區塊式數位重 對焦系統400的方塊圖。區塊式數位重對焦系統400包含接收模組410與影像處理模組420,其中影像處理模組420包含分割單元421、選取單元422、重對焦單元423以及拼接單元424。
接收模組410用以接收一畫面資料210。影像處理模組420與接收模組410彼此訊號連接。分割單元421用以將畫面資料210劃分為複數個區塊資料220。選取單元422用以依照每一個區塊資料220定義一區域資料230。重對焦單元423用以分別依據每一個區域資料230進行一重對焦運算,以產生一重對焦區塊資料。拼接單元424用以拼接各重對焦區塊資料成為一重對焦畫面資料。
第6B圖係繪示本發明另一實施方式之區塊式數位重對焦系統400的方塊圖。區塊式數位重對焦系統400包含接收模組410與影像處理模組420,其中影像處理模組420包含分割單元421、選取單元422、重對焦單元423、拼接單元424以及去塊單元425。
配合參閱第6A圖,第6B圖實施方式中,接收模組410、影像處理模組420之分割單元421、選取單元422、重對焦單元423及拼接單元424均與第6A圖中對應之方塊相同,不再贅述。特別的是,第6B圖實施方式之區塊式數位重對焦系統400更包含去塊單元425。去塊單元425用以降低相鄰的重對焦區塊資料彼此交接處之區塊效應。
第6C圖係繪示本發明又一實施方式之區塊式數位重對焦系統500的方塊圖。區塊式數位重對焦系統500包 含接收模組510與影像處理模組520,其中影像處理模組520包含判斷單元521、分割單元522、選取單元523、重對焦單元524、拼接單元525以及去塊單元526。
配合參閱第6B圖,第6C圖實施方式中,接收模組510、影像處理模組520之分割單元522、選取單元523、重對焦單元524、拼接單元525及去塊單元526分別與第6B圖中之接收模組410、影像處理模組420之分割單元421、選取單元422、重對焦單元423、拼接單元424及去塊單元425之方塊相同,不再贅述。特別的是,第6C圖實施方式之區塊式數位重對焦系統500更包含判斷單元521。判斷單元521係利用一畫面深度資訊或複數個視點畫面資料之視差資訊進行判斷選擇各區塊資料之區塊大小。
第6A、6B以及6C圖之區塊式數位重對焦系統400、500中,各模組分別用以執行第1、3以及5圖中區塊式數位重對焦方法100、300之各步驟,技術內容細節如上述,在此另加贅述。
由上述實施方式可知,本發明具有下列優點:其一,可將畫面資料切割成複數個區塊資料,然後依照各區塊資料定義出各區域資料,每個區域資料可獨立進行重對焦運算,以減少運算量。其二,利用去除區塊效應之機制,以降低重對焦區塊資料彼此之間不連續的問題。
雖然本發明已以實施方式揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,因此本發明之保護 範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧區塊式數位重對焦方法
110‧‧‧擷取步驟
120‧‧‧分割步驟
130‧‧‧選取步驟
140‧‧‧重對焦步驟
150‧‧‧拼接步驟

Claims (20)

  1. 一種區塊式數位重對焦方法,包含以下步驟:一擷取步驟,係擷取至少一畫面資料;一分割步驟,係劃分該畫面資料成複數區塊資料;一選取步驟,係依照各該區塊資料定義一區域資料;一重對焦步驟,係分別利用各該區域資料執行一重對焦運算,得到一重對焦區塊資料;以及一拼接步驟,係拼接各該區域資料相對應之該重對焦區塊資料,以形成一重對焦畫面資料。
  2. 如請求項1之區塊式數位重對焦方法,其中該分割步驟依據一預定區塊形狀決定各該區塊資料之區塊大小。
  3. 如請求項2之區塊式數位重對焦方法,其中該預定區塊形狀為矩形,各該區塊資料之區塊大小為N×M像素,N大於等於2且M大於等於2,各該區域資料之區塊大小大於各該區塊資料之區塊大小,該重對焦區塊資料之區塊大小等於相對應之該區塊資料之區塊大小,該重對焦畫面資料之大小等於該畫面資料之大小。
  4. 如請求項1之區塊式數位重對焦方法,其中該些區域資料彼此部分重疊。
  5. 如請求項1之區塊式數位重對焦方法,其中該畫面 資料包含一畫面深度資訊,且該重對焦步驟係根據該畫面深度資訊進行該重對焦運算。
  6. 如請求項1之區塊式數位重對焦方法,其中該畫面資料包含複數視點畫面資料,該重對焦步驟係根據該些視點畫面資料進行該重對焦運算。
  7. 如請求項1之區塊式數位重對焦方法,更包含:一判斷步驟,係利用一畫面深度資訊或複數視點畫面資料之視差資訊判斷選擇各該區塊資料之區塊大小。
  8. 如請求項1之區塊式數位重對焦方法,更包含:一去塊步驟,係降低該重對焦畫面資料之區塊效應。
  9. 如請求項8之區塊式數位重對焦方法,其中該去塊步驟利用一去區塊濾波器降低該重對焦畫面資料之區塊效應。
  10. 如請求項8之區塊式數位重對焦方法,其中該去塊步驟將該些區塊資料之彼此重疊部分利用一透明混合器降低該重對焦畫面資料之區塊效應。
  11. 一種區塊式數位重對焦系統,包含:一接收模組,用以接收一畫面資料;以及 一影像處理模組,訊號連接該接收模組,該影像處理模組包含:一分割單元,用以將該畫面資料劃分為複數區塊資料;一選取單元,用以依照各該區塊資料定義一區域資料;一重對焦單元,用以分別依據各該區域資料進行一重對焦運算,以產生一重對焦區塊資料;及一拼接單元,用以拼接該些重對焦區塊資料成為該重對焦畫面資料。
  12. 如請求項11之區塊式數位重對焦系統,其中該分割單元依據一預定區塊形狀決定各該區塊資料之區塊大小。
  13. 如請求項12之區塊式數位重對焦系統,其中該預定區塊形狀為矩形,各該區塊資料之區塊大小為N×M像素,N大於等於2且M大於等於2,各該區域資料之區塊大小大於各該區塊資料之區塊大小,該重對焦區塊資料之區塊大小等於相對應之該區塊資料之區塊大小,該重對焦畫面資料之大小等於該畫面資料之大小。
  14. 如請求項11之區塊式數位重對焦系統,其中該些區域資料彼此有部分重疊。
  15. 如請求項11之區塊式數位重對焦系統,其中該畫面資料包含一畫面深度資訊,且該重對焦單元根據該畫面深度資訊進行該重對焦運算。
  16. 如請求項11之區塊式數位重對焦系統,其中該畫面資料包含複數視點畫面資料,該重對焦單元係根據該些視點畫面資料進行該重對焦運算。
  17. 如請求項11之區塊式數位重對焦系統,其中該影像處理模組更包含:一判斷單元,係利用一畫面深度資訊或複數視點畫面資料之視差資訊判斷選擇各該區塊資料之區塊大小。
  18. 如請求項11之區塊式數位重對焦系統,其中該影像處理模組更包含:一去塊單元,用以降低該些重對焦區塊資料彼此交接處之區塊效應。
  19. 如請求項18之區塊式數位重對焦系統,其中該去塊單元包含一去區塊濾波器,該去區塊濾波器用以降低該重對焦畫面資料之區塊效應。
  20. 如請求項18之區塊式數位重對焦系統,其中該去 塊單元包含一透明混合器,該些區塊資料之彼此重疊部分利用該透明混合器降低該重對焦畫面資料之區塊效應。
TW103142034A 2014-12-03 2014-12-03 區塊式數位重對焦系統及其方法 TWI559042B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103142034A TWI559042B (zh) 2014-12-03 2014-12-03 區塊式數位重對焦系統及其方法
US14/623,466 US9531943B2 (en) 2014-12-03 2015-02-16 Block-based digital refocusing system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103142034A TWI559042B (zh) 2014-12-03 2014-12-03 區塊式數位重對焦系統及其方法

Publications (2)

Publication Number Publication Date
TW201621372A true TW201621372A (zh) 2016-06-16
TWI559042B TWI559042B (zh) 2016-11-21

Family

ID=56095466

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103142034A TWI559042B (zh) 2014-12-03 2014-12-03 區塊式數位重對焦系統及其方法

Country Status (2)

Country Link
US (1) US9531943B2 (zh)
TW (1) TWI559042B (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006086952A (ja) * 2004-09-17 2006-03-30 Casio Comput Co Ltd デジタルカメラ、および、プログラム
US7835015B1 (en) * 2007-03-05 2010-11-16 Kla-Tencor Corporation Auto focus system for reticle inspection
JP2010057067A (ja) * 2008-08-29 2010-03-11 Sony Corp 撮像装置および画像処理装置
TWI393984B (zh) * 2009-09-09 2013-04-21 Altek Corp Fast focus method for digital cameras
JP5618943B2 (ja) * 2011-08-19 2014-11-05 キヤノン株式会社 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
JP6080417B2 (ja) * 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法
TW201336300A (zh) * 2012-02-23 2013-09-01 Hon Hai Prec Ind Co Ltd 自動對焦成像模組
CN104079827B (zh) * 2014-06-27 2017-12-22 中国科学院自动化研究所 一种光场成像自动重对焦方法
US9888162B2 (en) * 2014-10-20 2018-02-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium having a changing unit that changes a read region depending on a reproduction mode

Also Published As

Publication number Publication date
US9531943B2 (en) 2016-12-27
US20160165122A1 (en) 2016-06-09
TWI559042B (zh) 2016-11-21

Similar Documents

Publication Publication Date Title
CN111164647B (zh) 使用单个相机估算深度
US9621869B2 (en) System and method for rendering affected pixels
US20190019299A1 (en) Adaptive stitching of frames in the process of creating a panoramic frame
US9401039B2 (en) Image processing device, image processing method, program, and integrated circuit
KR101775253B1 (ko) 2차원 이미지 또는 비디오의 3차원 스테레오 이미지 또는 비디오로의 실시간 자동 변환
US8384763B2 (en) Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
TWI524734B (zh) 產生深度圖的方法及裝置
TWI539813B (zh) 影像合成裝置及方法
CN108431751B (zh) 背景去除
GB2528993A (en) Relightable texture for use in rendering an image
JP2015522198A (ja) 画像に対する深度マップの生成
JP2014072639A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
GB2526838A (en) Relightable texture for use in rendering an image
US10097793B2 (en) Method and system of depth data filling of shadows for image processing
Schmeing et al. Depth image based rendering: A faithful approach for the disocclusion problem
CN110651275A (zh) 用于校正全景数字重叠图像的系统和方法
Mao et al. Expansion hole filling in depth-image-based rendering using graph-based interpolation
CN109214996A (zh) 一种图像处理方法及装置
JP2015012429A (ja) 画像処理装置、画像処理方法および画像処理プログラム
TWI559042B (zh) 區塊式數位重對焦系統及其方法
TWI504936B (zh) 影像處理裝置
Daribo et al. Bilateral depth-discontinuity filter for novel view synthesis
GB2585197A (en) Method and system for obtaining depth data
Wooldridge et al. DEPTH-DRIVEN AUGMENTED REALITY
Wei et al. Novel multi-view synthesis from a stereo image pair for 3d display on mobile phone