TWI526993B - 影像校正方法及其影像擷取裝置 - Google Patents

影像校正方法及其影像擷取裝置 Download PDF

Info

Publication number
TWI526993B
TWI526993B TW104103280A TW104103280A TWI526993B TW I526993 B TWI526993 B TW I526993B TW 104103280 A TW104103280 A TW 104103280A TW 104103280 A TW104103280 A TW 104103280A TW I526993 B TWI526993 B TW I526993B
Authority
TW
Taiwan
Prior art keywords
image
resolution
image capturing
capturing device
depth information
Prior art date
Application number
TW104103280A
Other languages
English (en)
Other versions
TW201537518A (zh
Inventor
闕鑫地
武景龍
曾富昌
郭威志
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201537518A publication Critical patent/TW201537518A/zh
Application granted granted Critical
Publication of TWI526993B publication Critical patent/TWI526993B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Description

影像校正方法及其影像擷取裝置
本發明係指一種影像校正方法及其影像擷取裝置，尤指一種能夠於每次擷取影像時自適應地補償非理想效果的影像校正方法及其影像擷取裝置。
隨著影像技術的進步，影像擷取裝置的功能日漸多樣化。舉例來說，拍攝三維(3 dimensional，3D)影像便可能為影像擷取裝置多樣化功能的其中之一。一般而言，影像擷取裝置可能會分別透過不同的影像擷取單元(如照相機)同時擷取兩張二維影像，並根據此兩張二維影像計算三維影像的深度資訊，以取得三維影像。然而，二維影像間的相對關係可能會因非預期的效應而改變，從而造成影像擷取裝置無法取得正確的深度資訊。舉例來說，當影像擷取裝置遭受一外力衝擊後(如影像擷取裝置掉落並撞擊至地面後)，影像擷取單元的配置可能會被改變，進而造成影像擷取單元所擷取的影像間之相對關係於撞擊發生後產生改變。在此狀況下，非預期的效應可能會影響深度資訊的計算。
因此，如何避免非預期效應影響深度資訊的計算便成為業界亟欲探討之議題。
為了解決上述問題，本發明提供一種能夠於每次擷取影像時自適應地校正非理想效果的影像校正方法及其影像擷取裝置。
在一實施例中，本發明揭露一種用於影像擷取裝置的方法。該方 法包含有取得一第一影像及一第二影像；調整該第一影像的一第一解析度至該第二影像的一第二解析度；藉由比較該第一影像及該第二影像間的特徵點，裁切該第一影像中對應於該第二影像的一第一影像區塊，以產生一第三影像；偵測該第二影像及該第三影像間的非理想效果；補償該非理想效果，以產生該一第一校正影像及一第二校正影像；以及根據該第一校正影像及該第二校正影像，計算深度資訊。
在一實施例中，本發明另揭露一種影像擷取裝置，包含有一處理單元；以及一儲存單元，用來儲存一程式碼，該程式碼指示該處理單元執行以下步驟：取得一第一影像及一第二影像；調整該第一影像的一第一解析度至該第二影像的一第二解析度；藉由比較該第一影像及該第二影像間的特徵點，裁切該第一影像中對應於該第二影像的一第一影像區塊，以產生一第三影像；偵測該第二影像及該第三影像間的非理想效果；補償該非理想效果，以產生該一第一校正影像及一第二校正影像；以及根據該第一校正影像及該第二校正影像，計算深度資訊。
10‧‧‧影像擷取裝置
100‧‧‧處理單元
110‧‧‧儲存單元
114‧‧‧程式碼
20、60‧‧‧方法
200~212、600~612‧‧‧步驟
CIMG1、CIMG2‧‧‧校正影像
ED1、ED2‧‧‧預估距離
F1、F2‧‧‧焦距
FA1、FA2‧‧‧對焦區域
ICU1、ICU2‧‧‧影像擷取單元
IMG1~IMG4‧‧‧影像
IP1、IP2、IP3、IP4、IP5‧‧‧影像區塊
RES1、RES2‧‧‧解析度
第1圖為本發明實施例中一影像擷取裝置的示意圖。
第2圖為本發明實施例一方法的流程圖。
第3圖為由第1圖所示的影像擷取裝置所擷取影像的示意圖。
第4圖為由第1圖所示的影像擷取裝置所擷取影像的示意圖。
第5圖為由第1圖所示的影像擷取裝置所擷取影像的示意圖。
第6圖為本發明實施例另一方法的流程圖。
第7圖為由第1圖所示的影像擷取裝置所擷取影像的示意圖。
請參考第1圖，第1圖為本發明實施例一影像擷取裝置10之示意圖。影像擷取裝置10可用來取得三維(3 Dimensional，3D)影像及深度資訊， 其包含有一處理單元100、一儲存單元110以及影像擷取單元ICU1、ICU2。處理單元100可為一微處理器或一特定應用積體電路(Application-Specific Integrated Circuit，ASIC)。儲存單元110可為任一資料儲存裝置，用來儲存一程式碼114，處理單元100可透過儲存單元110讀取及執行程式碼114。舉例來說，儲存單元110可為用戶識別模組(Subscriber Identity Module，SIM)、唯讀式記憶體(Read-Only Memory，ROM)、隨機存取記憶體(Random-Access Memory，RAM)、光碟唯讀記憶體(CD-ROM/DVD-ROM)、磁帶(magnetic tape)、硬碟(hard disk)及光學資料儲存裝置(optical data storage device)等，而不限於此。影像擷取單元ICU1、ICU2用來擷取用於取得3維影像及深度資訊的影像。
請參考第2圖，第2圖為本發明實施例中一方法20的流程圖。流程20可用於影像擷取裝置10，用來補償影像IMG1、IMG2間的非理想效果，其中影像IMG1、IMG2係用於產生一三維影像的深度資訊。需注意的是，影像IMG1、IMG2可由具有不同解析度的相異影像擷取單元(如影像擷取單元ICU1、ICU2)來取得，且不限於此。方法20可被編譯為程式碼114，且包含有下列步驟：
步驟200：開始。
步驟202：調整影像IMG1的一解析度RES1至影像IMG2的一解析度RES2。
步驟204：藉由比較影像IMG1、IMG2間的特徵點，裁切影像IMG1中對應於影像IMG2的一影像區塊，以產生一影像IMG3。
步驟206：偵測影像IMG2、IMG3間的非理想效果。
步驟208：補償該非理想效果，以產生校正影像CIMG1、CIMG2。
步驟210：根據該校正影像CIMG1、CIMG2，產生相關三維資訊及深度資訊。
步驟212：結束。
根據方法20，影像擷取裝置10首先分別利用影像擷取單元ICU1、ICU2取得(如拍攝)影像IMG1、IMG2。在此實施例中，於擷取影像IMG1、IMG2時，影像擷取單元ICU1、ICU2係被橫向擺置。也就是說，當擷取影像IMG1、IMG2時，影像擷取單元ICU1可如第1圖所示擺放至影像擷取單元ICU2的左側，且不限於此。舉例來說，於擷取影像IMG1、IMG2時，影像擷取單元ICU1可改為位於影像擷取單元ICU2的左下方。由於影像擷取單元ICU1、ICU2可能具有相異的解析度，因此影像IMG1的解析度RES1可能相異於影像IMG2的解析度RES2。為了進行後續流程，解析度RES1及RES2需為相同。當解析度RES1大於或小於解析度RES2時，影像擷取裝置10可能會按比例放大(Upscale)或縮小(Downscale)影像IMG1，以使解析度RES1等同於解析度RES2。如此一來，於調整解析度RES1後，影像IMG1、IMG2即具有相同的解析度。
接下來，透過比對影像IMG1與IMG2間的特徵點，影像擷取裝置10可辨識出影像IMG1中哪一部分對應於影像IMG2(即影像IMG1中哪一部分與影像IMG2具有相似的特徵點)，並裁切影像IMG1中對應於影像IMG2的區塊作為影像IMG3。由於影像IMG2、IMG3具有相同的解析度及接近相同的視角，影像擷取裝置10可偵測並補償影像IMG2、IMG3的非理想效果(如平移(Shift)及失真(Distortion))，以產生校正影像CIMG1、CIMG2。於補償非理想效果後，影像擷取裝置10即可根據校正影像CIMG1、CIMG2產生相關的三維資訊及計算正確的深度資訊(如一深度圖(depth map))。
關於方法20的詳細運作過程，舉例說明如下。請參考第3圖，第3圖為本發明實施例中影像IMG1、IMG2的示意圖。在此實施例中，影像IMG1、IMG2具有相異的解析度及尺寸。因此，於利用影像擷取單元ICU1、ICU2分別擷取影像IMG1、IMG2後，影像擷取裝置10首先按比例縮小影像IMG1的解析度RES1，以使影像IMG1的解析度RES1等同於影像IMG2的解析度 RES2(步驟202)。接下來，影像擷取裝置10辨識出影像IMG1的影像區塊IP1對應於影像IMG2，並裁切影像區塊IP1作為影像IMG3(步驟204)。於取得影像IMG2、IMG3後，影像擷取裝置10偵測並補償影像IMG2、IMG3中的非理想效果(如平移及形變(Deformation))，以產生校正影像CIMG1、CIMG2。舉例來說，影像擷取裝置10可將影像IMG2及影像IMG3分為複數個影像區塊後，比對影像IMG2及影像IMG3中每一組相對應的影像區塊的特徵點，以偵測每一影像區塊的非理想效果。影像擷取裝置10可根據偵測結果進行補償非理想效果，以產生校正影像CIMG1、CIMG2。在一實施例中，若影像擷取裝置10於影像IMG3中偵測出形變(如延展(stretch))，影像擷取裝置10可藉由改變影像IMG3的失真曲線，來補償影像IMG3的形變(步驟206、208)。於取得校正影像CIMG1、CIMG2後，影像擷取裝置10會根據校正影像CIMG1、CIMG2計算深度資訊。如此一來，影像擷取裝置10可在不受到非理想效果影響的情況下，取得正確的深度資訊。
需注意的是，根據不同的應用及設計理念，將影像IMG2、IMG3劃分為複數個影像區塊、比對影像IMG2、IMG3中每組相對應影像區塊的特徵點來偵測每一影像區塊的非理想效果及計算影像IMG1與影像IMG2間的深度資訊的方法可被合適地更動及修改。舉例來說，影像擷取裝置10可將影像IMG1及影像IMG2可能會將影像IMG1及影像IMG2劃分為9(3x3)個具有相同尺寸的影像區塊，且不限於此。此外，影像擷取裝置10可藉由計算影像CIMG1、CIMG2中物體的視差(parallax)，來計算影像IMG1、IMG2的深度資訊，且不限於此。將影像IMG2、IMG3劃分為複數個影像區塊、比對影像IMG2、IMG3中每組相對應影像區塊的特徵點來偵測每一影像區塊的非理想效果及計算影像IMG1與影像IMG2間的深度資訊的方法應為本領域具通常知識者所熟知，為求簡潔，在此不贅述。
請參考第4圖，第4圖為本發明另一實施例中圖像IMG1、IMG2的示意圖。相似於第3圖，影像IMG1、IMG2具有相異的解析度及尺寸。因 此，於利用影像擷取單元ICU1、ICU2分別擷取影像IMG1、IMG2後，影像擷取裝置10首先按比例縮小影像IMG1的解析度RES1，以使影像IMG1的解析度RES1等同於影像IMG2的解析度RES2(步驟202)。與第3圖不同的是，影像IMG2現對應於影像IMG1中的影像區塊IP2，其中由於非預期的衝擊發生於影像擷取單元ICU1、ICU2上(如影像擷取單元ICU及ICU2遭受外力衝擊後或於擷取影像IMG1、IMG2時受到搖晃)影像擷取單元ICU1、ICU2的配置受到改變，造成影像區塊IP2由第3圖所示的影像區塊IP1向上平移。在此狀況下，若影像擷取裝置10仍裁切影像IMG1的影像區塊IP1作為用於後續流程的影像IMG3，所取得的深度資訊便會產生錯誤且使用此深度資訊的三維影像品質也會下降。
根據流程20，影像擷取裝置10藉由比對影像IMG1及影像IMG2的特徵點，辨識出影像IMG1的影像區塊IP2對應於影像IMG2，並裁切影像區塊IP2作為影像IMG3(步驟204)。換言之，每一次擷取影像IMG1、IMG2時，影像IMG1中被裁切為影像IMG3的區塊皆會改變，影像擷取裝置10從而偵測並補償影像IMG2、IMG3的非理想效果，以產生校正影像CIMG1、CIMG2(步驟206、208)。於補償影像IMG2、IMG3的非理想效果及產生校正影像CIMG1、CIMG2後，影像擷取裝置10可根據校正影像CIMG1、CIMG2，計算深度資訊(步驟210)。由於影像IMG3會隨著影像IMG1與IMG2間的相對關係而改變，因此影像擷取裝置10可取得正確的深度資訊。
請參考第5圖，第5圖為本發明又另一實施例中影像IMG1、IMG2的示意圖。相似於第3圖，影像IMG1、IMG2具有相異的解析度及尺寸。因此，於利用影像擷取單元ICU1、ICU2分別擷取影像IMG1、IMG2後，影像擷取裝置10首先按比例縮小影像IMG1的解析度RES1，以使影像IMG1的解析度RES1等同於影像IMG2的解析度RES2(步驟202)。與第3圖不同之處在於，影像IMG2現對應於影像IMG1中的影像區塊IP3，其中由於非預期的衝擊發生於影像擷取單元ICU1、ICU2上，造成影像區塊IP3由第3圖所 示的影像區塊IP1向右傾斜。在此狀況下，若影像擷取裝置10仍裁切影像IMG1的影像區塊IP1作為用於後續流程的影像IMG3，所取得的深度資訊便會產生錯誤且使用此深度資訊的三維影像品質亦會下降。透過比對影像IMG1及影像IMG2的特徵點，影像擷取裝置10旋轉影像IMG1，以使影像區塊IP3呈現水平狀態。於影像IMG1被旋轉之後，影像擷取裝置10辨識影像IMG1的影像區塊IP3對應於影像IMG2，並裁切影像區塊IP3作為影像IMG3(步驟204)。
於取得影像IMG2、IMG3後，影像擷取裝置10偵測並補償影像IMG2及影像IMG3中的非理想效果，以產生校正影像CIMG1、CIMG2(步驟206、208)。接下來，影像擷取裝置10會於補償影像IMG2、IMG3的非理想效果及產生校正影像CIMG1、CIMG2後，根據校正影像CIMG1、CIMG2計算深度資訊(步驟210)。由於影像IMG3會隨著影像IMG1與IMG2間的相對關係而改變，因此影像擷取裝置10可取得正確的深度資訊。需注意的是，在另一實施例中，影像擷取裝置10可能會藉由比對影像IMG1、IMG2的特徵點來旋轉影像IMG2。也就是說，當影像擷取裝置10透過比對影像IMG1、IMG2中的特徵點偵測出影像IMG1、IMG2至少其中一者傾斜時，影像擷取裝置10可旋轉影像IMG1、IMG2至少其中一者。
進一步地，影像擷取裝置可根據擷取影像IMG1、IMG2的資訊，來調整深度資訊。舉例來說，影像擷取裝置10可另包含有對焦單元FU1及FU2(未繪示於第1圖)，其中對焦單元FU1及FU2可為音圈馬達(Voice coil motor)，用來調整影像擷取單元ICU1、ICU2的焦距F1及F2，以取得清晰的影像IMG1、IMG2。當影像擷取單元ICU1擷取影像IMG1時，對焦單元FU1調整影像擷取單元ICU1的焦距F1，以對焦於影像IMG1中一對焦區域FA1的物體上。根據焦距F1，影像擷取裝置10可得知影像擷取裝置10與位於對焦區域FA1物體間的距離可能為一預估距離ED1。在此狀況下，若影像IMG1中對焦區域FA1的深度資訊與預估距離ED1相異且對焦區域FA1的深度資 訊與預估距離ED1間的差距巨大時，影像擷取裝置10判斷所取得的深度資訊可能錯誤，並進一步根據預估距離ED1調整深度資訊。相似地，當影像IMG2中一對焦區域FA2的深度資訊與對應於對焦區域FA2的焦距F2的一預估距離ED2相異且差距巨大時，影像擷取裝置10可根據預估距離ED2調整深度資訊。
在一實施例中，對應於擷取影像IMG1的焦距F1的預估距離ED1為1公尺且對焦區域FA1深度資訊中視差的統計值(如一平均值或一中位數)為0.5公尺。影像擷取裝置10判斷預估距離ED1與對焦區域FA1深度資訊中視差的統計值間的差距超越一閾值(如0.4公尺)，因此影像擷取裝置10根據預估距離ED1調整深度資訊。在此實施例中，影像擷取裝置10根據預估距離ED1與對焦區域FA1深度資訊中視差的統計值間的比例，來標準化深度資訊。換言之，在此實施例中深度資訊會被乘以2(即1/0.5)。如此一來，影像擷取裝置10即可取得正確的深度資訊。
根據不同應用及設計需求，本領域具通常知識者可據以實施合適的更動及修改。舉例來說，影像IMG1、IMG2可由同一影像擷取單元連續拍攝所得。也就是說，影像擷取裝置10可僅擁有單一影像擷取單元，且不限於此。
此外，影像擷取裝置可能需要實施一失真校正程序來補償影像擷取單元ICU1、ICU2的曲面失真(Curve distortion)。舉例來說，當採用不同鏡片或影像擷取單元ICU1、ICU2的鏡片遭受外力衝擊而變形時，往往會造成曲面失真。在此狀況下，影像擷取裝置10需於使影像IMG1的解析度RES1等同於影像IMG2的解析度RES2(即第2圖所示方法20的步驟202)前，針對影像IMG1、IMG2執行失真校正程序，以補償影像擷取單元ICU1、ICU2的曲面失真。
在一實施例中，由於影像IMG1、IMG2可能具有不同的視角且包含拍攝場景中不同的部份，因此影像IMG1、IMG2皆需被裁切以補償非理想 效果。請參考第6圖，第6圖為本發明實施例中一方法60的流程圖。流程60可用於影像擷取裝置10，用來補償影像IMG1、IMG2間的非理想效果，其中影像IMG1、IMG2係用於產生一三維影像的深度資訊。需注意的是，影像IMG1、IMG2可由具有不同解析度的相異影像擷取單元(如影像擷取單元ICU1、ICU2)來取得，且不限於此。方法60可被編譯為程式碼114，且包含有下列步驟：
步驟600：開始。
步驟602：調整影像IMG1的一解析度RES1至影像IMG2的一解析度RES2。
步驟604：藉由比較影像IMG1、IMG2間的特徵點，裁切影像IMG1、IMG2中共同的區塊，以產生影像IMG3、IMG4。
步驟606：偵測該影像IMG3、IMG4間的非理想效果。
步驟608：補償該非理想效果，以產生校正影像CIMG1、CIMG2。
步驟610：根據該校正影像CIMG1、CIMG2，產生相關三維資訊及深度資訊。
步驟612：結束。
根據方法60，影像擷取裝置10拍攝影像IMG1、IMG2並調整影像IMG1的解析度RES1至影像IMG2的解析度RES2。步驟602的詳細運作過程類似於步驟202，為求簡潔，在此不贅述。接下來，透過比對影像IMG1、IMG2間的特徵點，影像擷取裝置10辨識出影像IMG1、IMG2間共同的影像區塊(即影像IMG1、IMG2中具有相似特徵點的區塊)，並裁切影像IMG1、IMG2間共同的影像區塊作為影像IMG3、IMG4。由於影像IMG3、IMG4具有相同的解析度及近似的視角，影像擷取裝置10可偵測並補償影像IMG3、IMG4的非理想效果(如平移及失真)，以產生校正影像CIMG1、CIMG2。於補償非理想效果後，影像擷取裝置10即可根據校正影像CIMG1、CIMG2產 生相關的三維資訊及計算正確的深度資訊(如一深度圖)。
請參考第7圖，第7圖為本發明一實施例中影像IMG1、IMG2的示意圖。在此實施例中，影像IMG1、IMG2具有相異的解析度及尺寸。因此，於利用影像擷取單元ICU1、ICU2分別擷取影像IMG1、IMG2後，影像擷取裝置10首先按比例放大/縮小影像IMG1的解析度RES1，以使影像IMG1的解析度RES1等同於影像IMG2的解析度RES2(步驟602)。
相較於第3圖，影像IMG1中具有相似特徵點的影像區塊(即共同影像區塊)往右上方平移，而影像IMG2中具有相似特徵點的影像區塊則位於影像IMG2的左側。若影像擷取裝置10依然裁切影像IMG1的影像區塊IP1作為用於後續流程的影像IMG3且不裁切影像IMG2，影像擷取裝置10所取得的影像IMG1、IMG2間的深度資訊便會產生錯誤。透過比較影像IMG1、IMG2的特徵點，影像擷取裝置10得知影像IMG1、IMG2間共同的影像部份為影像區塊IP4、IP5，從而分別裁切影像區塊IP4、IP5作為影像IMG3、IMG4(步驟604)。於取得影像IMG3、IMG4後，影像擷取裝置10偵測並補償影像IMG3、IMG4的非理想效果，產生校正影像CIMG1、CIMG2(步驟606、608)。隨後，影像擷取裝置10根據校正影像CIMG1、CIMG2，計算深度資訊(步驟610)。如此一來，即使影像IMG1、IMG2間的相對關係受到非預期影響而改變，影像擷取裝置10仍可取得正確的三維資訊(如深度資訊)。
前述之所有流程之步驟(包含建議步驟)可透過裝置實現，裝置可為硬體、韌體(為硬體裝置與電腦指令與資料的結合，且電腦指令與資料屬於硬體裝置上的唯讀軟體)或電子系統。硬體可為類比微電腦電路、數位微電腦電路、混合式微電腦電路、微電腦晶片或矽晶片。電子系統可為系統單晶片(system on chip，SOC)、系統級封裝(system in package，SiP)、嵌入式電腦(computer on module，COM)及影像擷取裝置10。
綜上所述，於每次擷取影像時，上述實施例會適應性地補償非理想效果。即使用於計算深度資訊的影像間相對關係受到非預期影響而改變， 影像擷取裝置仍可取得正確的深度資訊。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
20‧‧‧方法
200~212‧‧‧步驟

Claims (20)

  1. 一種用於影像擷取裝置的方法，包含有：取得一第一影像及一第二影像；調整該第一影像的一第一解析度至該第二影像的一第二解析度；藉由比較該第一影像及該第二影像間的特徵點，裁切該第一影像中對應於該第二影像的一第一影像區塊，以產生一第三影像；偵測該第二影像及該第三影像間的非理想效果；補償該非理想效果，以產生一第一校正影像及一第二校正影像；以及根據該第一校正影像及該第二校正影像，計算深度資訊。
  2. 如請求項1所述的方法，其中該第一影像及該第二影像係分別由該影像擷取裝置的一第一影像擷取單元及一第二影像擷取單元取得。
  3. 如請求項2所述的方法，其中該第一影像擷取單元及該第二影像擷取單元被橫向擺置。
  4. 如請求項2所述的方法，其中該第一影像擷取單元及該第二影像擷取單元具有相異的解析度。
  5. 如請求項1所述的方法，其中該第一影像及該第二影像是由同一影像擷取單元所擷取。
  6. 如請求項1所述的方法，其中調整該第一影像的該第一解析度至該第二影像的該第二解析度的步驟包含有：按比例放大或縮小該第一影像的該第一解析度至該第二影像的該第二解析度。
  7. 如請求項1所述的方法，另包含有：根據取得該第一影像及該第二影像的焦距，調整計算所得的該深度資訊。
  8. 如請求項7所述的方法，其中根據取得該第一影像及該第二影像的焦距， 調整計算所得的該深度資訊的步驟包含有：當對應於取得該第一影像及該第二影像的該焦距的一預估距離與該深度資訊中視差(disparity)的一統計值間的一差距超越一閾值時，根據取得該第一影像及該第二影像的焦距，調整計算所得的深度資訊。
  9. 如請求項1所述的方法，另包含有：於調整該第一影像的該第一解析度至該第二影像的該第二解析度之前，補償該第一影像及該第二影像的曲面失真(curve distortions)。
  10. 如請求項1所述的方法，另包含有：透過比對該第一影像及該第二影像間的特徵點，裁切該第二影像中對應於該第一影像的一第二影像區塊，以產生一第四影像；以及偵測並補償該第三影像與該第四影像間的非理想效果，以產生該第一校正影像及該第二校正影像。
  11. 一種影像擷取裝置，包含有：一處理單元；以及一儲存單元，用來儲存一程式碼，該程式碼指示該處理單元執行以下步驟：取得一第一影像及一第二影像；調整該第一影像的一第一解析度至該第二影像的一第二解析度；藉由比較該第一影像及該第二影像間的特徵點，裁切該第一影像中對應於該第二影像的一第一影像區塊，以產生一第三影像；偵測該第二影像及該第三影像間的非理想效果；補償該非理想效果，以產生一第一校正影像及一第二校正影像；以及根據該第一校正影像及該第二校正影像，計算深度資訊。
  12. 如請求項11所述的影像擷取裝置，另包含有：一第一影像擷取單元，用來擷取該第一影像；以及 一第二影像擷取單元，用來擷取該第二影像。
  13. 如請求項12所述的影像擷取裝置，其中於取得該第一影像及該第二影像時，該第一影像擷取單元及該第二影像擷取單元被橫向擺置。
  14. 如請求項12所述的影像擷取裝置，其中該第一影像擷取單元及該第二影像擷取單元具有相異的解析度。
  15. 如請求項11所述的影像擷取裝置，其中該第一影像及該第二影像是由同一影像擷取單元所擷取。
  16. 如請求項11所述的影像擷取裝置，其中調整該第一影像的該第一解析度至該第二影像的該第二解析度的步驟包含有：按比例放大或縮小該第一影像的該第一解析度至該第二影像的該第二解析度。
  17. 如請求項11所述的影像擷取裝置，其中該程式碼另指示該運算單元根據取得該第一影像及該第二影像的焦距，調整計算所得的深度資訊。
  18. 如請求項17所述的影像擷取裝置，其中當對應於取得該第一影像及該第二影像的該焦距的一預估距離與該深度資訊中視差(disparity)的一統計值間的一差距超越一閾值時，該運算單元根據擷取該第一影像及該第二影像的焦距，調整計算所得的深度資訊。
  19. 如請求項11所述的影像擷取裝置，該程式碼另指示該運算單元於調整該第一影像的該第一解析度至該第二影像的該第二解析度之前，補償該第一影像及該第二影像的曲面失真(curve distortions)。
  20. 如請求項11所述的影像擷取裝置，該程式碼另指示該運算單元透過比對該第一影像及該第二影像間的特徵點，裁切該第二影像中對應於該第一影像的一第二影像區塊，以產生一第四影像，且偵測並補償該第三影像與該第四影像間的非理想效果，以產生該第一校正影像及該第二校正影像。
TW104103280A 2014-03-24 2015-01-30 影像校正方法及其影像擷取裝置 TWI526993B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201461969274P 2014-03-24 2014-03-24

Publications (2)

Publication Number Publication Date
TW201537518A TW201537518A (zh) 2015-10-01
TWI526993B true TWI526993B (zh) 2016-03-21

Family

ID=54143306

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104103280A TWI526993B (zh) 2014-03-24 2015-01-30 影像校正方法及其影像擷取裝置

Country Status (3)

Country Link
US (1) US9883118B2 (zh)
CN (1) CN104954776A (zh)
TW (1) TWI526993B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6935389B2 (ja) 2016-03-30 2021-09-15 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
TWI663576B (zh) * 2017-08-02 2019-06-21 伸興工業股份有限公司 Image correction method
US11461215B2 (en) * 2018-08-08 2022-10-04 Atos France Workflow analyzer system and methods
CN113573038A (zh) * 2020-04-29 2021-10-29 思特威(上海)电子科技股份有限公司 双目系统及深度图获取方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0704071A4 (en) * 1993-05-04 1996-10-09 Xenotech Res Pty Ltd STEREOSCOPIC DISPLAY DEVICE
US7477777B2 (en) * 2005-10-28 2009-01-13 Aepx Animation, Inc. Automatic compositing of 3D objects in a still frame or series of frames
US8050507B2 (en) 2008-09-30 2011-11-01 Himax Technologies Limited 3D depth generation by local blurriness estimation
CN101567082B (zh) * 2009-06-04 2011-07-13 福州华映视讯有限公司 影像处理方法及其装置
US8760517B2 (en) 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
DE102010062496B4 (de) * 2010-12-07 2022-01-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
US8274552B2 (en) * 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
CN102404595B (zh) * 2011-08-16 2013-11-20 上海交通大学 可提供3d节目拍摄指导的极线校正方法
US20130163854A1 (en) 2011-12-23 2013-06-27 Chia-Ming Cheng Image processing method and associated apparatus
JP5687654B2 (ja) * 2012-03-29 2015-03-18 株式会社東芝 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
CN103365063B (zh) * 2012-03-31 2018-05-22 北京三星通信技术研究有限公司 三维图像拍摄方法和设备

Also Published As

Publication number Publication date
CN104954776A (zh) 2015-09-30
US20150271468A1 (en) 2015-09-24
US9883118B2 (en) 2018-01-30
TW201537518A (zh) 2015-10-01

Similar Documents

Publication Publication Date Title
US11272161B2 (en) System and methods for calibration of an array camera
TWI520098B (zh) 影像擷取裝置及其影像形變偵測方法
JP4782899B2 (ja) 視差検出装置、測距装置及び視差検出方法
WO2016049889A1 (zh) 一种自动对焦方法、装置及电子设备
JP5075757B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
TWI526993B (zh) 影像校正方法及其影像擷取裝置
TWI761684B (zh) 影像裝置的校正方法及其相關影像裝置和運算裝置
KR20140000195A (ko) 입체 카메라를 위한 자동초점
TW201618531A (zh) 影像擷取裝置及其數位變焦方法
US9781412B2 (en) Calibration methods for thick lens model
JP2013113600A (ja) ステレオ３次元計測装置
US20150178595A1 (en) Image processing apparatus, imaging apparatus, image processing method and program
JP2017049426A (ja) 位相差推定装置、位相差推定方法及び位相差推定プログラム
KR101879261B1 (ko) 거리검출 장치, 촬상 장치, 및 거리검출 방법
US9791599B2 (en) Image processing method and imaging device
US20150276398A1 (en) Distance determining apparatus, imaging apparatus, distance determining method, and parallax-amount determining apparatus
EP3564747A1 (en) Imaging device and imaging method
US20180182078A1 (en) Image processing apparatus and image processing method
JP6867487B2 (ja) 撮像装置
TWI418211B (zh) 決定影像間偏移量的方法
JP6637242B2 (ja) 画像処理装置、撮像装置、プログラム、および画像処理方法
WO2015158953A1 (en) Transformations for image stabilization and refocus
WO2016047220A1 (ja) 撮像装置及び撮像方法
CN110274573B (zh) 双目测距方法、装置、设备、存储介质及计算设备
KR20150110069A (ko) 입체 영상 카메라 장치 및 이의 얼라인먼트 조절 방법