TWI775869B - 影像擷取裝置及影像處理方法 - Google Patents

影像擷取裝置及影像處理方法 Download PDF

Info

Publication number
TWI775869B
TWI775869B TW107119549A TW107119549A TWI775869B TW I775869 B TWI775869 B TW I775869B TW 107119549 A TW107119549 A TW 107119549A TW 107119549 A TW107119549 A TW 107119549A TW I775869 B TWI775869 B TW I775869B
Authority
TW
Taiwan
Prior art keywords
image
color space
block
lens module
space distance
Prior art date
Application number
TW107119549A
Other languages
English (en)
Other versions
TW201905852A (zh
Inventor
林栩永
王中周
Original Assignee
佳能企業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 佳能企業股份有限公司 filed Critical 佳能企業股份有限公司
Publication of TW201905852A publication Critical patent/TW201905852A/zh
Application granted granted Critical
Publication of TWI775869B publication Critical patent/TWI775869B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces

Abstract

影像擷取裝置包括一第一鏡頭模組、一第二鏡頭模組以及一運算模組。第一鏡頭模組與第二鏡頭模組各自提供第一影像與第二影像。運算模組分別擷取第一影像的第一左區塊的第一部分及第二影像的第二右區塊的第二部分，並獲得第一色彩空間影像及第二色彩空間影像；依據第一色彩空間影像及第二色彩空間影像得到最小色彩空間距離位移值；依據最小色彩空間距離位移值調整第一影像與第二影像的寬度；並依據調整寬度後的第一影像、調整寬度後的第二影像及混合方式產生第三影像。

Description

影像擷取裝置及影像處理方法
本發明是涉及一種影像擷取裝置及影像處理方法，特別是有關於一種可對多禎影像進行疊合/拼接的影像擷取裝置及影像處理方法。
1839年，人類史上第一台相機被發明出來。從此之後，人們透過相機捕捉美景與記錄生活。時至今日，拍照已然成為現代人生活中重要的一環。而隨著科技的發展，相機與影像處理技術的搭配，可以拍攝出角度更廣的照片。
目前攝像技術已經發展到了多鏡頭同步攝像，並經由後製作的方式對影像進行整合，以提供一禎視野更廣的影像。在此前提下，往往會將多禎影像之間的重疊區域進行整合。但對於現有的先前技術而言，總是無法確保兩相整合的影相重疊區域能完美的接合，即使能盡可能地修飾接合處，在攝像環境或物體距離改變之後，接合處又會產生瑕疵。
有鑑於此，如何提出一種影像處理方法與影像擷取裝置，是業界努力的目標之一。
為達到上述目的，本發明實施例揭露一種影像擷取裝置，包括一第一鏡頭模組、一第二鏡頭模組以及一運算模組。第一鏡頭模組朝一第一方向設置，並提供一第一影像，其中第一影像具有一第一左區塊。第二鏡頭模組朝一第二方向設置，並提供一第二影像，其中第二影像具有一第二右區塊。運算模組電性耦接第一鏡頭模組及第二鏡頭模組。運算模組將第一左區塊的一第一部分轉換為一第一色彩空間影像、將第二右區塊的一第二部分轉換為一第二色彩空間影像，依據第一色彩空間影像及第二色彩空間影像獲得一最小色彩空間距離位移值，依據最小色彩空間距離位移值調整第一影像與第二影像的寬度，對已調整寬度後的第一影像的第一左區塊設定一第一疊合區塊、對已調整寬度後的第二影像的第二右區塊設定一第二疊合區塊，並依據一混合方式對第一疊合區塊及第二疊合區塊進行運算並產生一第三影像。
為達到上述目的，本發明實施例揭露一種影像處理方法，適用於一電子裝置，其中電子裝置具有一運算單元。影像處理方法包括：對運算單元提供一第一影像及一第二影像，第一影像具有一第一左區塊，第二影像具有一第二右區塊；利用運算單元將第一左區塊的一第一部分轉換為一第一色彩空間影像、將第二右區塊的一第二部分轉換為一第二色彩空間影像；依據第一色彩空間影像及第二色彩空間影像獲得一最小色彩空間距離位移值；依據最小色彩空間距離位移值調整第一影像與第二影像的寬度，並依據最小色彩空間距離位移值對已調整寬度後的第一影像的第一左區塊設定一第一疊合區塊、對已調整寬度後的第二影像的第二右區塊設定一第二疊合區塊；以及依據一混合方式對第一疊合區塊及第二疊合區塊進行運算，並產生一第三影像。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
第1圖繪示依據本發明實施例的影像擷取裝置10的系統方塊圖。如第1圖所示，影像擷取裝置10至少包括一第一鏡頭模組102、一第二鏡頭模組104、一運算模組106以及一儲存模組108。其中，影像擷取裝置10可以是數位裝置、多鏡頭手持裝置、多鏡頭通訊裝置、全景取像裝置、運動相機、車用取像裝置或空中攝影裝置，但不以此為限。
第2圖繪示第1圖的第一鏡頭模組102與第二鏡頭模組104之一實施例的視角(field of view，FOV)示意圖。如第2圖所示，第一鏡頭模組102朝一第一方向D1擷取一第一影像，第二鏡頭模組104朝一第二方向D2擷取一第二影像，第一方向D1與第二方向D2可以是不同方向，即第一方向D1與第二方向D2之間的夾角為θ，且0度＜θ≦180度。其中，可定義第一方向D1左側的水平虛線為0度，右側的水平虛線為180度。
一實施例中，第一方向D1與第二方向D2之間的夾角實質可為180度（θ≒180度），但不以此為限。第一鏡頭模組102與第二鏡頭模組104的視角範圍可皆大於180度，例如第一鏡頭模組102與第二鏡頭模組104的視角範圍皆是(180+2a)度，其中a為一大於0的實數。於一具體實施例中，a實質是4.24；於本實施例中，第一鏡頭模組102提供一第一影像IMG1，第二鏡頭模組提供一第二影像IMG2。於一具體實施例，第一影像IMG1及/或第二影像IMG2的縱向具有3052個像素、橫向具有3200個像素。
運算模組106電性耦接第一鏡頭模組102、第二鏡頭模組104及儲存模組108。運算模組106可對第一影像IMG1及第二影像IMG2進行影像處理，並獲得一第三影像IMG3。
儲存模組108電性耦接第一鏡頭模組102、第二鏡頭模組104及運算模組106，第一影像IMG1、第二影像IMG2、第三影像IMG3及影像擷取裝置10的設定資料與機電參數等皆可儲存於儲存模組108內，但不用以限定本發明。於另一實施例，第一影像IMG1、第二影像IMG2、第三影像IMG3之至少一者可儲存在記憶體(RAM)（未繪示）內；再一實施例中，儲存模組108包括至少一記憶體（未繪示）。
第3圖是第一影像IMG1與第二影像IMG2的示意圖。同時參照第2圖及第3圖，若第一鏡頭模組102與第二鏡頭模組104朝相背的方向擷取影像，θ≒180度，則可對第一影像IMG1及第二影像IMG2重疊的影像區域進行影像處理，並獲得第三影像IMG3。
此外，第一影像IMG1具有一第一主區塊IMG1_M、一第一左區塊IMG1_L及一第一右區塊IMG1_R。第一左區塊IMG1_L對應第一鏡頭模組102朝第一方向D1擷取到之視角範圍為(0-a)度與(0+a)度之間的景物影像；第一右區塊IMG1_R對應第一鏡頭模組102朝第一方向D1擷取到之視角範圍為(180-a)度與(180+a)度之間之景物影像；第一主區塊IMG1_M則是對應第一鏡頭模組102朝第一方向D1擷取到之視角範圍為(0+a)度與(180-a)度之間之景物影像。
相似地，第二影像IMG2具有一第二主區塊IMG2_M、一第二左區塊IMG2_L及一第二右區塊IMG2_R。第二左區塊IMG2_L對應第二鏡頭模組104朝第二方向D2擷取到之視角範圍為(180-a)度與(180+a)度之間的景物影像；第二右區塊IMG2_R對應第二鏡頭模組104朝第二方向D2擷取到之視角範圍為(0+a)度與(0-a)度之間之景物影像；第二主區塊IMG2_M則是對應第一鏡頭模組104朝第二方向D2擷取到之視角範圍為(0+a)度與(180-a)度之間之景物影像。
如第3圖所示，一實施例中，第一鏡頭模組102與第二鏡頭模組104具有相同廣度的視角，且第一鏡頭模組102與第二鏡頭模組104可分別輸出相同尺寸的第一影像IMG1與第二影像IMG2，即第一影像IMG1與第二影像IMG2的寬度皆為x1且高度皆為y1。進一步地，一具體實施方式中，第一左區塊IMG1_L、第一右區塊IMG1_R、第二左區塊IMG2_L及第二右區塊IMG2_R可具有相同的尺寸，即第一左區塊IMG1_L、第一右區塊IMG1_R、第二左區塊IMG2_L及第二右區塊IMG2_R的寬度皆為x2且高度皆為y2，其中本實施例是以y2=y1做說明，但不以此為限。亦即，在其他實施例中，y2也可以小於y1。其中，在第一鏡頭模組102和第二鏡頭模組104的視角皆為(180+2a)度且同時朝相反方向擷取影像的前提下，第一左區塊IMG1_L與第二右區塊IMG2_R包含第一視角範圍A1的一部分景物影像，第一右區塊IMG1_R與第二左區塊IMG2_L包含第二視角範圍A2的一部分景物影像。進一步地，若第一鏡頭模組102和第二鏡頭模組104厚度趨小而幾乎可忽略的情況下，第一左區塊IMG1_L與第二右區塊IMG2_R具有實質雷同的影像，第一右區塊IMG1_R與第二左區塊IMG2_L具有實質雷同的影像。
同時參照第1圖、第2圖及第3圖，於一實施例中，影像擷取裝置10中的第一鏡頭模組102及第二鏡頭模組104是朝180度的反的方向擷取第一影像IMG1與第二影像IMG2，並由運算模組106進行影像運算處理而獲得第三影像IMG3，且可將第三影像IMG3顯示於一顯示模組(未繪示)上，或儲存於儲存模組108中。其中，一實施例中，第三影像IMG3是環景影像，如360度全環景影像，但本發明並不以此為限；於另一實施例，第三影像IMG3也可以是由多禎擷取自不同視角且經影像運算處理而成的一廣幅影像。於此實施例中，第一方向D1的光軸及第二方向D2之間的夾角界於0度和180度之間（0度＜θ＜180度）。
第4A圖繪示的是依據本發明實施例的影像處理方法的流程圖；第5圖至第9圖繪示本發明實施例的影像處理方法的操作示意圖。其中，影像處理方法可應用於一電子裝置，例如是影像擷取裝置10，其可對第一影像IMG1與第二影像IMG2進行處理運算，並獲得第三影像IMG3。
請同時參照第1圖至第4A圖，如步驟S201所示，借助運算模組106接收第一影像IMG1及第二影像IMG2。其中，第一影像IMG1與第二影像IMG2可分別來自於第一鏡頭模組102及第二鏡頭模組104，或是來自於儲存模組108或記憶體（未標示）。
同時參照第4A圖及第5圖，如步驟S203所示，運算模組106分別對第一影像IMG1的第一左區塊IMG1_L及第二影像IMG2的第二右區塊IMG2_R選取一區塊，分別對所選取的二個區塊進行色彩空間的轉換，並獲得二個色彩空間影像。其中，色彩空間影像包括色彩空間全部通道或部分通道。舉例而言，該色彩空間可以是以Y、U、V至少一通道來定義像素，其中Y是亮度參數、U和V分別是彩度參數。一實施例中，色彩空間影像同時包括Y、U、V三個通道，即色彩空間的各像素同時具有Y、U、V的參數值，但不以此為限；另一實施例，色彩空間影像的像素也可以只有亮度值（Y參數），意即該色彩空間可由亮度值構成，此時色彩空間影像即呈現灰階的影像。其中，影像中的各像素同時由Y、U、V參數值所定義的影像稱為YUV影像。
在本實施例中，色彩空間影像採用二元影像為例來說明，在第一左區塊IMG1_L上選取一第一部分P1對其進行二元影像轉換，獲得一第一色彩空間影像B1；在第二右區塊IMG2_R上選取一第二部分P2，對其進行二元影像轉換，獲得一第二色彩空間影像B2。其中，本實施例的第一色彩空間影像B1可以是第一二元影像、第二色彩空間影像B2可以是第二二元影像。
如第5圖所示，一具體實施例中，自第一左區塊IMG1_L與第二右區塊IMG2_R擷取相對稱的第一部分P1及第二部分P2，其中第一部分P1及第二部分P2的寬度為x3、高度為y3。對第一部分P1內的每個像素的亮度值進行計算，並獲得亮度平均值，進而定義出一第一閥值；接著，第一閥值個別與第一部分P1內的像素進行比較，並獲得第一色彩空間影像B1。於本實施例中，若像素的亮度值大於第一閥值，則在第一色彩空間影像B1中將此像素的參數設定為「1」；若像素的亮度值小於或等於第一閥值，則在第一色彩空間影像B1中將此像素的參數設定為「0」。
相似地，對第二部分P2的像素計算出平均值，進而定義出一第二閥值。第二閥值個別與第二部分P2內的像素進行比較，並獲得第二色彩空間影像B2。其中，若第二部分P2內的像素的亮度值大於第二閥值，則在第二色彩空間影像B2中將此像素的參數設定為「1」；若像素的亮度值小於或等於第二閥值，則在第二色彩空間影像B2中將此像素的參數設定為「0」。在一實施例中，寬度x3等於寬度x2，高度y3等於第一左區塊IMG1_L的高度y2的m1分之一，其中m1可以是4，但本發明不以此為限。
在一實施例中，完成步驟S203後可進行步驟S205。而於另一實施例中，在步驟S203之後更可執行一步驟S2031。在步驟S2031中，去除第一色彩空間影像B1與第二色彩空間影像B2中的雜訊。於本實施例中，對於第一色彩空間影像B1與第二色彩空間影像B2是二元影像而言，去除雜訊的處理方法可以是進行至少一次侵蝕(erode)處理及/或至少一次膨脹(dilate)處理。具體而言，侵蝕處理主要是移除雜訊像素；膨脹處理主要是填補空缺的像素，包含但不限於是侵蝕處理過程中所移除的像素空缺，或者因任何其它原因所產生的像素空缺。在一具體實施例中，對第一色彩空間影像B1及/或第二色彩空間影像B2進行二次侵蝕處理，以及/或者對第一色彩空間影像B1及/或第二色彩空間影像B2進行一次膨脹處理。
需說明的是，再參照第2圖及第3圖，在本實施例中，是以與第一視角範圍A1相對應的第一左區塊IMG1_L與第二右區塊IMG2_R為例示做說明。然並非表示僅只對第一左區塊IMG1_L與第二右區塊IMG2_R進行運算，實務上也可以或者也需要對第二視角範圍A2及與其相對應的第一右區塊IMG1_R與第二左區塊IMG2_L做運算。另一方面，若將第一影像IMG1及第二影像IMG2旋轉或翻轉，運算的基礎亦可對應改變。
在步驟S205中，運算模組106可依據第一色彩空間影像B1及第二色彩空間影像B2獲得一最小色彩空間距離位移值d_min。進一步來說，步驟S205包括步驟S2051~S2055。
同時參照第4B圖及第6圖，在步驟S2051中，於第一色彩空間影像B1設置一第一運算窗W1，於第二色彩空間影像B2設置一第二運算窗W2。第一運算窗W1及第二運算窗W2的尺寸可預先設定一預設值，並可儲存於儲存模組108中，或者依據第一色彩空間影像B1與第二色彩空間影像B2的尺寸決定。在一實施例中，第一運算窗W1的寬度為x4是第一左區塊IMG1_L的寬度x2的m2分之一(即x4=x2*1/m2)，第一運算窗W1的高度為y4，其可以是第一左區塊IMG1_L的高度y2的n2分之一(即y4=y3=y2*1/n2=y1*1/n2)。相似地，第二運算窗W2的寬度為x4，其可以是第二右區塊IMG2_R的寬度x2的m3分之一，第二運算窗W2的高度為y4是第二右區塊IMG2_R的高度y2的n3分之一。其中，m2可以是2、n2可以是4、m3可以是2、n3可以是4，但本發明不以此為限。
在步驟S2053中，運算模組106分別依據所設置的第一運算窗W1與第二運算窗W2的尺寸，分別對第一色彩空間影像B1及第二色彩空間影像B2進行複數次位移及運算。具體而言，每次位移一位移值z，計算每次移動後第一運算窗W1與第二運算窗W2內的像素的色彩空間距離，並獲得複數個色彩空間距離值。一實施例，第一色彩空間影像B1與第二色彩空間影像B2是YUV影像（即，第一色彩空間影像B1與第二色彩空間影像B2中的各像素是由Y、U、V參數值所定義），色彩空間距離可為歐式距離(Euclidean Distance)；於另一實施例，第一色彩空間影像B1與第二色彩空間影像B2是二元影像，則色彩空間距離可為漢明距離(hamming distance)。其中，第一運算窗W1與第二運算窗W2可以是同步地進行位移及運算，且第一運算窗W1與第二運算窗W2是朝相對的方向位移。
舉例來說，同時參照第4B圖及第7圖，首先分別在第一色彩空間影像B1及第二色彩空間影像B2的中心設置第一運算窗W1及第二運算窗W2，進行第一次運算並獲得第一色彩空間距離值d_1；完成第一次運算後，第一運算窗W1朝遠離第一主區塊IMG1_M的方向位移一位移值z後進行運算、第二運算窗W2朝遠離第二主區塊IMG2_M的方向位移一位移值z後進行運算，並獲得對應於第一次位移的第二色彩空間距離值d_2；接著第二次位移，第一運算窗W1再度朝遠離第一主區塊IMG1_M的方向位移一位移值z，第二運算窗W2再度朝遠離第二主區塊IMG2_M的方向位移一位移值z，即第一運算窗W1及第二運算窗W2分別距離其初始位置的總位移量為二個位移值2z，分別再次運算並獲得第三色彩空間距離值d_3，以此類推。一實施例中，色彩空間距離值皆為漢明距離值，計算第一運算窗W1與第二運算窗W2內像素的漢明距離的方式可以是將第一運算窗W1與第二運算窗W2內位置對應(例如分別位於第一運算窗W1與第二運算窗W2內的相同位置)的像素進行XOR運算，並計算1的數量(1的總數即漢明距離值)。
在步驟S2055中，運算模組106依據對應於所有位移的色彩空間距離值，獲得一最小色彩空間距離位移值d_min，其中最小色彩空間距離位移值d_min等於所有位移中具有色彩空間距離值中的最小者的總位移量。舉例來說，假設第十次位移時，第一運算窗W1與第二運算窗W2內像素的色彩空間距離值d10為所有色彩空間距離值中的最小者，則最小色彩空間距離位移值d_min等於第十次位移的總位移量，即10z。
再回到第4A圖，在步驟S207中，運算模組106依據最小色彩空間距離位移值d_min調整第一影像IMG1的寬度以及與第二影像IMG2的寬度。
在一調整寬度的實施例中，壓縮第一影像IMG1的第一左區塊IMG1_L與第二影像IMG2的第二右區塊IMG2_R的寬度，並依據最小色彩空間距離位移值d_min於調整寬度後的第一影像IMG1的第一左區塊IMG1_L設定一第一疊合區塊S1，於調整寬度後的第二影像IMG2的第二右區塊IMG2_R設定一第二疊合區塊S2。
同時參照第4A圖及第8圖，進一步來說，將第一影像IMG1的第一左區塊IMG1_L朝第一右區塊IMG1_R的方向壓縮兩倍的最小色彩空間距離位移值d_min的量(即2*d_min個像素)，也就是將第一左區塊IMG1_L的寬度x2壓縮至(x2-2*d_min)，且本實施例中高度y1維持不變。相似地，第二影像IMG2的第二右區塊IMG2_R朝第二左區塊IMG2_L的方向壓縮兩倍的最小色彩空間距離位移值d_min的量(即2*d_min個像素)，也就是將第二右區塊IMG2_R的寬度x2壓縮至(x2-2*d_min)，且本實施例中高度y1維持不變。
在本實施例中，第一疊合區塊S1為壓縮後的第一左區塊IMG1_L的外側邊界(即遠離第一主區塊IMG1_M的方向)起寬度x2為(x2-4*d_min)、高度y1為y1的區塊。相似地，第二疊合區塊S2為壓縮後的第二右區塊IMG2_R的外側邊界(即遠離第二主區塊IMG2_M的方向)起寬度x2為(x2-4*d_min)、高度y1為y1的區塊。
在另一調整寬度的實施例中，放大第一影像IMG1的第一左區塊IMG1_L與第二影像IMG2的第二右區塊IMG2_R的寬度，並依據最小色彩空間距離位移值d_min於調整寬度後的第一影像IMG1的第一左區塊IMG1_L設定一第一疊合區塊S1，於調整寬度後的第二影像IMG2的第二右區塊IMG2_R設定一第二疊合區塊S2。
在另一調整寬度的實施例中，是放大或壓縮第一影像IMG1的左半部影像的寬度以及第二影像IMG2右半部的寬度，並依據最小色彩空間距離位移值d_min於調整寬度後的第一影像IMG1的第一左區塊IMG1_L設定一第一疊合區塊S1，於調整寬度後的第二影像IMG2的第二右區塊IMG2_R設定一第二疊合區塊S2。
在步驟S209中，運算模組106依據第一疊合區塊S1、第二疊合區塊S2及一混合(blending)方式將經寬度調整後的第一影像IMG1與經寬度調整後的第二影像IMG2疊合，以產生一第三影像IMG3。
同時參照第4A圖及第9圖，經寬度調整後的第一影像IMG1的第一疊合區塊S1與經寬度調整後的第二影像的IMG2的第二疊合區塊S2是以混合方式(例如α混合)疊合，獲得第三影像IMG3。換言之，第三影像IMG3包含了第一影像IMG1與第二影像IMG2所顯示的景物，於本實施例中即是環繞影像疊合裝置10周圍360度的景物。此外，在一實施例中，第一影像IMG1與第二影像IMG2可分別是第一鏡頭模組102及第二鏡頭模組104當前的即時影像，而第三影像IMG3生成後，可以即時顯示於顯示模組上及/或儲存至儲存模組108（或記憶體）中。
一實施例中，第一鏡頭模組102與第二鏡頭模組104可以是影像擷取裝置10在預覽模式或錄影模式下，分別連續擷取多禎第一影像IMG1的影像串流與多禎第二影像IMG2的影像串流，而運算模組106則對多禎第一影像IMG1與多禎第二影像IMG2進行運算，進而可輸出多禎第三影像IMG3的影像串流。其中，第三影像IMG3是由實質上同時擷取的第一影像IMG1與第二影像IMG2運算而得，即第一鏡頭模組102與第二鏡頭模組104在時間tx時擷取到了第一影像IMG1x及第二影像IMG2x，且運算模組106依據第一影像IMG1x與第二影像IMG2x提供第三影像IMG3x。再者，在預覽模式或錄影模式下，運算模組106可以是同步地在第一影像IMG1x與第二影像IMG2x形成時，即運算出第三影像IMG3x；然於另一實施例，錄影模式下，運算模組106也可以是在結束擷取第一影像IMG1的影像串流與第二影像IMG2的影像串流之後，再逐步運算出第三影像IMG3的影像串流，如此可保持錄影過程的流暢度，但不用以限定本發明。
在本實施例中，擷取第一影像IMG1的第一左區塊IMG1_L的一部分轉換為色彩空間影像以獲得第一色彩空間影像B1時，擷取的區域的尺寸即為第一色彩空間影像B1的尺寸(寬度x3、高度y3)，獲得第二色彩空間影像B2時亦然。於一實施例中擷取的區域的中心點與第一影像IMG1的第一左區塊IMG1_L的中心點重合。但在不同的實施例中，隨著硬體的需求或規格的不同，並不限定擷取的區域的位置與尺寸。例如擷取的區域可依據第一運算窗W1與第二運算窗W2經多次位移後所會涵蓋到的區域進行設定，從而降低轉換為色彩空間影像時的運算量。
在另一實施例中，第一鏡頭模組102與第二鏡頭模組104的視野範圍為188.48度(即a為4.24)。第一影像IMG1與第二影像的尺寸為寬度x1為3200個像素、高度y1為3056個像素。第一左區塊IMG1_L、第一右區塊IMG1_R、第二左區塊IMG2_L及第二右區塊IMG2_R的尺寸為寬度x2為144個像素、高度y2為3056個像素。以二元轉換所取得的第一色彩空間影像B1與第二色彩空間影像B2的尺寸為寬度x3為144個像素、高度y3為764個像素。第一運算窗W1與第二運算窗W2的尺寸為寬度x4為72個像素、高度y4為764個像素。位移值z為1個像素，位移次數為20次。
在這個實施例中，可假設第一運算窗W1與第二運算窗W2第20次位移時，第一運算窗W1內的像素與第二運算窗W2內的像素的漢明距離值為所有(20次)位移中最小者，則可獲得最小色彩空間距離位移值d_min為第20次位移的總位移量，也就是20個像素。第一左區塊IMG1_L與第二右區塊IMG2_R的尺寸依據最小漢明距離位移值d_min被調整/壓縮成寬度為104個像素、高度為3056個像素。第一疊合區塊S1及第二疊合區塊S2的尺寸為寬度為64個像素、高度為3056個像素。接著，將經寬度調整後的第一影像IMG1的第一疊合區塊S1與經寬度調整後的第二影像IMG2的第二疊合區塊S2以例如α混合進行疊合/合成，即可將第一影像IMG1與第二影像IMG2疊合而獲得第三影像IMG3。
在不同的實施例中，第一鏡頭模組102與第二鏡頭模組104可以是魚眼鏡頭模組(fisheye lens module)；第一影像IMG1與第二影像IMG2可以是魚眼影像、等距長方投影影像(equirectangular projection image)、圓柱投影影像(cylindrical projection)或立方投影影像(cubic projection)等。
在一實施例中，影像擷取裝置10可進一步包含一溫度感測單元110，其電性耦接運算模組106。溫度感測單元110可感測並提供一溫度資訊，，並由運算模組106依據溫度資訊以及一預設值調整至少一擷取範圍。其中，溫度資訊包含但不限於環境溫度及/或影像擷取裝置10內的溫度；預設值可以是內建的預設值，其可儲存於儲存模組108或記憶體內，且預設值可以是一關係表、一溫度調控方程式，但不限於此。
此外，在影像處理方法中，在步驟S201之前更可包含步驟S200。在步驟S200中，獲得一溫度資訊，依據環境溫度以及至少一關係表調整至少一擷取範圍，其中關係表顯示的是第一鏡頭模組102及/或第二鏡頭模組104的FOV180度基準線內的像素數量與環境溫度的關係，擷取範圍是用以擷取第一影像IMG1及/或第二影像IMG2的成像以獲得第一影像IMG1及/或第二影像IMG2。
在一實施例中，關係表可預先儲存於儲存模組108中。進一步來說，關係表可藉由以下方式產生。首先，量測第一鏡頭模組102及/或第二鏡頭模組104在不同溫度下，FOV180度基準線內的像素數量。在不同環境溫度下，重複進行多次量測，並統計量測結果。接著，以最小回歸的方式依據統計的量測結果產生關係表。
依據本發明的影像擷取裝置及影像處理方法，將由第一鏡頭模組102獲得的第一影像IMG1與由第二鏡頭模組104獲得的第二影像IMG2疊合，以獲得第三影像，而使得第三影像可以顯示環繞影像擷取裝置10周圍360度的景物。此外，藉由運用顯示環境溫度與FOV180度基準線內的像素數量的關係表，可以避免第一鏡頭模組102及/或第二鏡頭模組104受到環境溫度的影響所造成的第一影像IMG1及/或第二影像IMG2失真，進而提高第三影像IMG3的品質。
綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10‧‧‧影像擷取裝置102‧‧‧第一鏡頭模組104‧‧‧第二鏡頭模組106‧‧‧運算模組108‧‧‧儲存模組110‧‧‧溫度感測單元D1‧‧‧第一方向D2‧‧‧第二方向A1、A2‧‧‧視角範圍IMG1、IMG1ｘ‧‧‧第一影像IMG2、IMG2ｘ‧‧‧第二影像IMG3、IMG3ｘ‧‧‧第三影像IMG1_L‧‧‧第一左區塊IMG1_R‧‧‧第一右區塊IMG1_M‧‧‧第一主區塊IMG2_M‧‧‧第二主區塊IMG2_L‧‧‧第二左區塊IMG2_R‧‧‧第二右區塊P1‧‧‧第一部分P2‧‧‧第二部分B1‧‧‧第一色彩空間影像B2‧‧‧第二色彩空間影像W1‧‧‧第一運算窗W2‧‧‧第二運算窗S1‧‧‧第一疊合區塊S2‧‧‧第二疊合區塊S201~S209‧‧‧步驟
第1圖繪示本發明實施例的影像擷取裝置的系統方塊圖。
第2圖繪示第1圖之影像擷取裝置的第一鏡頭模組與第二鏡頭模組的視角範圍之一實施例的示意圖。
第3圖是第一影像與第二影像的示意圖。
第4A圖繪示依據本發明實施例的影像處理方法的流程圖。
第4B圖繪示依據本發明實施例的影像處理方法的步驟S205的細部流程圖。
第5圖至第9圖繪示本發明實施例的影像處理方法的操作示意圖。
10‧‧‧影像擷取裝置
102‧‧‧第一鏡頭模組
104‧‧‧第二鏡頭模組
106‧‧‧運算模組
108‧‧‧儲存模組
110‧‧‧溫度感測單元

Claims (10)

  1. 一種影像擷取裝置，包括： 一第一鏡頭模組，朝一第一方向設置，並提供一第一影像，該第一影像具有一第一左區塊； 一第二鏡頭模組，朝一第二方向設置，並提供一第二影像，該第二影像具有一第二右區塊；以及 一運算模組，電性耦接該第一鏡頭模組及該第二鏡頭模組，該運算模組將該第一左區塊的一第一部分轉換為一第一色彩空間影像、將該第二右區塊的一第二部分轉換為一第二色彩空間影像；依據該第一色彩空間影像及該第二色彩空間影像獲得一最小色彩空間距離位移值；依據該最小色彩空間距離位移值調整該第一影像與該第二影像的寬度；及對已調整寬度後的該第一影像的該第一左區塊設定一第一疊合區塊、對已調整寬度後的該第二影像的該第二右區塊設定一第二疊合區塊，並依據一混合方式對該第一疊合區塊及該第二疊合區塊進行運算並產生一第三影像。
  2. 如申請專利範圍第1項所述之影像擷取裝置，其中該運算模組於該第一色彩空間影像設置一第一運算窗，於該第二色彩空間影像設置一第二運算窗；將該第一運算窗與該第二運算窗朝相對的方向進行複數次位移，每次位移一位移值，計算每次移動後該第一運算窗與該第二運算窗內的像素的色彩空間距離，獲得對應於所有位移的複數個色彩空間距離值；及依據該些色彩空間距離值獲得該最小色彩空間距離位移值。
  3. 如申請專利範圍第2項所述之影像擷取裝置，其中該最小色彩空間距離位移值是所有位移中具有該些色彩空間距離值中的最小者的總位移量。
  4. 如申請專利範圍第1項所述之影像擷取裝置，更包括一溫度感測單元，該溫度感測單元感測並提供一溫度資訊予該運算模組，該運算模組依據該溫度資訊調整一擷取範圍，並由該第一鏡頭模組及/或該第二鏡頭模組依據該擷取範圍擷取該第一影像及/或該第二影像。
  5. 如申請專利範圍第1項所述之影像擷取裝置，其中該運算單元對該第一色彩空間影像及/或該第二色彩空間影像進行去除雜訊的處理。
  6. 一種影像處理方法，適用於一電子裝置中，該電子裝置具有一運算單元，該影像處理方法包括： 對該運算單元提供一第一影像及一第二影像，該第一影像具有一第一左區塊，該第二影像具有一第二右區塊；以及， 利用該運算單元將該第一左區塊的一第一部分轉換為一第一色彩空間影像、將該第二右區塊的一第二部分轉換為一第二色彩空間影像；依據該第一色彩空間影像及該第二色彩空間影像獲得一最小色彩空間距離位移值；依據該最小色彩空間距離位移值調整該第一影像與該第二影像的寬度，並依據該最小色彩空間距離位移值對已調整寬度後的該第一影像的該第一左區塊設定一第一疊合區塊、對已調整寬度後的該第二影像的該第二右區塊設定一第二疊合區塊；及依據一混合方式對該第一疊合區塊及該第二疊合區塊進行運算，並產生一第三影像。
  7. 如申請專利範圍第6項所述之影像處理方法，更包括： 於該第一二元影像設置一第一運算窗，於該第二二元影像設置一第二運算窗； 將該第一運算窗與該第二運算窗朝相對的方向進行複數次位移，每次位移一位移值，計算每次移動後該第一運算窗與該第二運算窗內的像素的色彩空間距離，並獲得對應於所有位移的複數個色彩空間距離值；以及 依據該些色彩空間距離值，獲得該最小色彩空間距離位移值。
  8. 如申請專利範圍第7項所述之影像處理方法，其中該最小色彩空間距離位移值是所有位移中具有色彩空間距離值中的最小者的總位移量。
  9. 如申請專利範圍第6項所述之影像處理方法，於該提供該第一影像及該第二影像的步驟之前，更包括： 獲得一溫度資訊；以及， 依據該溫度資訊調整一擷取範圍，並以該擷取範圍獲得該第一影像及/或該第二影像。
  10. 如申請專利範圍第6項所述之影像處理方法，更包括：於該第一色彩空間影像設置一第一運算窗及/或於該第二色彩空間影像設置一第二運算窗之前，對該第一色彩空間影像及/或該第二色彩空間影像進行去雜訊處理。
TW107119549A 2017-06-29 2018-06-06 影像擷取裝置及影像處理方法 TWI775869B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762526438P 2017-06-29 2017-06-29
US62/526,438 2017-06-29

Publications (2)

Publication Number Publication Date
TW201905852A TW201905852A (zh) 2019-02-01
TWI775869B true TWI775869B (zh) 2022-09-01

Family

ID=64738433

Family Applications (2)

Application Number Title Priority Date Filing Date
TW107119549A TWI775869B (zh) 2017-06-29 2018-06-06 影像擷取裝置及影像處理方法
TW107120981A TWI775876B (zh) 2017-06-29 2018-06-19 影像擷取裝置、影像亮度調變方法及影像處理裝置

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW107120981A TWI775876B (zh) 2017-06-29 2018-06-19 影像擷取裝置、影像亮度調變方法及影像處理裝置

Country Status (3)

Country Link
US (2) US10630898B2 (zh)
CN (2) CN109218602B (zh)
TW (2) TWI775869B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220405987A1 (en) * 2021-06-18 2022-12-22 Nvidia Corporation Pixel blending for neural network-based image generation
TWI830094B (zh) * 2021-11-25 2024-01-21 信驊科技股份有限公司 偵測全景相機的拼接瑕疵的測試裝置和測試方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120262607A1 (en) * 2009-12-24 2012-10-18 Tomoya Shimura Multocular image pickup apparatus and multocular image pickup method
US20150138312A1 (en) * 2013-11-18 2015-05-21 Texas Instruments Incorporated Method and apparatus for a surround view camera system photometric alignment
US20160125570A1 (en) * 2014-04-01 2016-05-05 Gopro, Inc. Image Taping in a Multi-camera Array
TW201711447A (zh) * 2015-08-20 2017-03-16 三星電子股份有限公司 相機控制器以及相機系統

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
KR100731979B1 (ko) * 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
CN102857704B (zh) * 2012-09-12 2015-08-19 天津大学 带有时间域同步校准技术的多源视频拼接方法
CN102938145B (zh) * 2012-10-23 2015-07-01 深圳大学 一种拼接类全景图的一致性调整方法及系统
FR2998126B1 (fr) * 2012-11-15 2014-12-26 Giroptic Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
US9832378B2 (en) * 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
WO2015079702A1 (ja) * 2013-11-27 2015-06-04 京セラ株式会社 撮像設定変更装置、撮像システム、および撮像設定変更方法
CN103856727B (zh) * 2014-03-24 2017-01-25 北京工业大学 一种多路实时视频拼接处理系统
US9892493B2 (en) * 2014-04-21 2018-02-13 Texas Instruments Incorporated Method, apparatus and system for performing geometric calibration for surround view camera solution
CN103984608B (zh) * 2014-05-27 2017-01-04 大连理工大学 一种基于内容的图像文件雕复方法
JP6349962B2 (ja) * 2014-05-27 2018-07-04 富士ゼロックス株式会社 画像処理装置およびプログラム
TWI537875B (zh) * 2015-04-08 2016-06-11 大同大學 影像合成方法與影像處理裝置
CN105635602A (zh) * 2015-12-31 2016-06-01 天津大学 一种采用两路视频间亮度和色偏对视频拼接的系统及其调整方法
US10116880B2 (en) * 2016-02-05 2018-10-30 Sintai Optical (Shenzhen) Co., Ltd. Image stitching method and image processing apparatus
GB2553315A (en) * 2016-09-01 2018-03-07 Nokia Technologies Oy Determining inter-view prediction areas
CN106534787A (zh) * 2016-11-16 2017-03-22 北京明泰朗繁精密设备有限公司 一种视频显示系统
CN106791623A (zh) * 2016-12-09 2017-05-31 深圳市云宙多媒体技术有限公司 一种全景视频拼接方法及装置
US10616482B2 (en) * 2017-03-10 2020-04-07 Gopro, Inc. Image quality assessment
CN107018335A (zh) * 2017-03-14 2017-08-04 上海小蚁科技有限公司 图像拼接方法、装置及终端
US10009551B1 (en) * 2017-03-29 2018-06-26 Amazon Technologies, Inc. Image processing for merging images of a scene captured with differing camera parameters

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120262607A1 (en) * 2009-12-24 2012-10-18 Tomoya Shimura Multocular image pickup apparatus and multocular image pickup method
US20150138312A1 (en) * 2013-11-18 2015-05-21 Texas Instruments Incorporated Method and apparatus for a surround view camera system photometric alignment
US20160125570A1 (en) * 2014-04-01 2016-05-05 Gopro, Inc. Image Taping in a Multi-camera Array
TW201711447A (zh) * 2015-08-20 2017-03-16 三星電子股份有限公司 相機控制器以及相機系統

Also Published As

Publication number Publication date
TW201905849A (zh) 2019-02-01
TW201905852A (zh) 2019-02-01
US10567644B2 (en) 2020-02-18
US20190007607A1 (en) 2019-01-03
CN109218604A (zh) 2019-01-15
US10630898B2 (en) 2020-04-21
CN109218602B (zh) 2020-12-08
CN109218604B (zh) 2020-12-29
CN109218602A (zh) 2019-01-15
TWI775876B (zh) 2022-09-01
US20190007606A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
JP5694293B2 (ja) ビデオフレームの画像データを選択的に合成するためのシステムおよび方法
US10521891B2 (en) Image processing apparatus, system, image processing method, and non-transitory recording medium
WO2013159587A1 (zh) 视频信号处理方法和摄像设备
US20130147910A1 (en) Mobile device and image capturing method
US11184553B1 (en) Image signal processing in multi-camera system
JP2010211255A (ja) 撮像装置、画像処理方法及びプログラム
CN110458753B (zh) 一种全景环带图像的自适应分割与无畸变展开系统及方法
JP2007135135A (ja) 動画像撮像装置
US20100020202A1 (en) Camera apparatus, and image processing apparatus and image processing method
TWI775869B (zh) 影像擷取裝置及影像處理方法
JP2008028606A (ja) パノラマ展開画像撮像装置およびパノラマ展開画像撮像システム
JP2012142827A (ja) 画像処理装置および画像処理方法
JP2008306508A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
TWI766206B (zh) 影像的修正方法及其裝置
US7683935B2 (en) Imaging device
US11831995B2 (en) Image capturing apparatus, image capturing method, and carrier means
JP2015050498A (ja) 撮像装置、撮像方法および記録媒体
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP2005277618A (ja) 撮像装置、シェーディング補正装置、及びシェーディング補正方法
TWI516120B (zh) 產生全景影像的方法及其影像擷取裝置
JP2010154390A (ja) 撮像装置及び撮像方法並びにプログラム
CN110784642B (zh) 图像处理装置及其控制方法以及存储介质、摄像装置
JP7038935B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR20180028962A (ko) 영상이동검출장치 및 방법
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent