TW202232934A - 用於評估拼接影像之對齊之方法和影像處理裝置 - Google Patents

用於評估拼接影像之對齊之方法和影像處理裝置 Download PDF

Info

Publication number
TW202232934A
TW202232934A TW111102397A TW111102397A TW202232934A TW 202232934 A TW202232934 A TW 202232934A TW 111102397 A TW111102397 A TW 111102397A TW 111102397 A TW111102397 A TW 111102397A TW 202232934 A TW202232934 A TW 202232934A
Authority
TW
Taiwan
Prior art keywords
image
alignment
image frame
frame
stitched
Prior art date
Application number
TW111102397A
Other languages
English (en)
Inventor
比約恩 阿爾多
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202232934A publication Critical patent/TW202232934A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一種方法，其包括： 根據第一對齊來對齊來自第一影像感測器的第一串流的影像的第一影像幀以及來自第二影像感測器的第二串流的影像的另一第一影像幀， 根據所述第一對齊來對齊所述第一串流的影像的第二影像幀以及所述第二串流的影像的另一第二影像幀， 藉由根據第一混合函數來混合在第一混合區域中的所述對齊的第一影像幀以及另一第一影像幀以獲得第一拼接影像幀， 藉由根據第二混合函數來混合在第二混合區域中的所述對齊的第二影像幀以及所述另一第二影像幀以獲得第二拼接影像幀，以及 根據一差異圖案來評估所述第一對齊，所述差異圖案是根據所述第一拼接幀以及所述第二拼接幀的像素的值而被計算出的。所述像素是內含在所述個別的第一及第二拼接影像幀中的所述第一及第二混合區域的至少一靜態部分之內。

Description

用於評估拼接影像之對齊之方法和影像處理裝置
在此的實施例是有關用於評估拼接影像的對齊之方法及影像處理裝置。對應的電腦程式以及電腦程式載體亦被揭露。
在全世界的許多區域中，利用成像，尤其是視訊成像來監視群眾是常見的。例如，可能需要監視的區域是銀行、商店以及其中保全是所需的其它區域，例如是學校及政府機構。其它可能需要監視的區域是處理、製造及後勤的應用，其中視訊監視主要是被用來監視過程。
對於某些應用而言，大視野的視訊是所需的，至少偶爾是所需的。此可以藉由數個手段來達成。例如，單一感測器的攝影機可以配備有水平移動、俯仰、變焦的技術，其移動所述攝影機並且改變視野。相較於固定式攝影機，此解決方案通常是相當昂貴的。單一感測器的魚眼攝影機是在大眾化價格下提供全景視野，但是在更大的距離處獲得更多細節的能力上是受限的。另一解決方案是利用多感測器的全景攝影機，其中全景影像是藉由拼接所述單一感測器的影像來產生的。
影像拼接或照片拼接是組合多個具有重疊的視野的照相的影像的過程以產生一致的影像，例如一分段高解析度的可能是全景的影像。例如，來自重疊的影像感測器的影像資料可以在其中來自所述感測器的影像之間有重疊的部分中利用不同的權重來混合。大多數影像拼接的方法通常是利用軟體來執行的，其需要影像之間幾乎準確的重疊以及相同的曝光以產生無縫的結果。在所述重疊的部分中，來自所述感測器的影像正確地對齊是重要的。若非正確對齊的，則例如同一物體的部分在所述重疊中出現兩次、或是一物體的部分遺失的誤差可能會出現。
一般而言，對齊誤差例如可被分類為平移的對齊誤差、旋轉的對齊誤差、以及由於歪斜造成的對齊誤差。其它的對齊誤差亦存在。
在所述影像之間的對齊可以從知道所述感測器的安裝位置、或是從分析待被拼接的個別的影像以找出共同的特點而被找出，並且將這些利用在所述影像的對齊及/或扭曲。一種對齊原始影像的方式是產生一個表，其對映在所述原始影像中的座標至其最終的影像中的新座標。這些表可以依據所述攝影機的某些參數，例如是有關於所述感測器的安裝位置的參數而定。所述參數可以在工廠校準之後預先被安裝在所述攝影機中，並且之後由所述攝影機所供應。即使所述工廠校準通常產生較小的對齊誤差，但是當所述攝影機被安裝在現場時，原始影像的對齊仍然可能需要某些調整。例如，若所述攝影機在運輸期間已被機械式擾動、或是若所述現場環境顯著不同於工廠中的測試環境、或是若在現場所捕捉到的物體不是在類似用於工廠的對齊校準的物體的距離處，則所述對齊的調整可能是所需的。
即使可以在所述攝影機已經被安裝在現場時執行重新調整，但是此種重新調整可能需要離線來判斷出，亦即並不在所述攝影機的執行時間/實況的視野來判斷出，此表示來自所述攝影機的影像串流一段時間無法被使用。
在所述攝影機的執行時間期間執行的對齊方法的一問題是它們可能需要個別的影像串流以用於所述對齊的評估。例如，未對齊的影像可能被評估。相較於若無對齊被執行時，此種對齊方法需要額外的複雜度及處理能力，並且在此種資料被傳送在其上的網路上可能需要額外的頻寬。
其它在所述攝影機的執行時間期間執行的對齊方法可能會影響所述拼接影像的品質。所述拼接影像的降低的品質在發生於拼接之後的視訊處理上可能有負面的影響，並且最終可能被終端觀看者感受到為較低品質的影像。
習知技術US8600193B2是揭示一種拼接影像的方法，其包含一拼接品質的評估。
因此，在此的實施例的一目標可以是避免某些以上提及的問題、或是至少降低其影響。明確地說，一目標可以是在執行所述拼接操作的影像處理裝置的執行時間動態地改善拼接影像的對齊、或者換言之是動態地校準藉由多個影像感測器所捕捉的影像的拼接。所述影像處理裝置可以是一攝影機。在所述影像處理裝置的執行時間執行所述校準可以表示在所述影像處理裝置使用時執行所述校準。
作為所述對齊或校準的改善的部分的是可以執行所述對齊的評估，其可包括對齊的程度或品質的判斷，例如是對齊或失準誤差的尺寸、類型及/或方向的判斷。對齊的程度以及對齊的品質及對齊品質的表達在此將會可交換地被使用，並且具有相同的意義。類似地，對齊誤差及失準誤差的表達在此亦將會可互換的被使用。
根據一特點，所述目標是藉由一種方法來達成，所述方法是藉由一影像處理裝置(例如是一影像捕捉裝置)來執行的。所述方法可以是用於評估來自兩個具有重疊視野的影像感測器的拼接影像的對齊，例如是用於評估來自一第一影像感測器的一第一串流的影像以及來自一第二影像感測器的一第二串流的影像的對齊，其中所述第一及第二影像感測器具有重疊的視野。所述影像感測器可以內含在所述影像捕捉裝置中。
所述方法包括根據一第一對齊來對齊來自所述第一影像感測器的一第一串流的影像的一第一影像幀以及來自所述第二影像感測器的一第二串流的影像的另一第一影像幀、以及根據所述第一對齊來對齊所述第一串流的影像的一第二影像幀以及所述第二串流的影像的另一第二影像幀。
所述方法進一步包括藉由根據一第一混合函數來混合在所述第一以及另一第一影像幀的一第一混合區域中的所述對齊的第一影像幀以及另一第一影像幀來獲得一第一拼接影像幀，並且藉由根據一與所述第一混合函數不同的第二混合函數來混合在所述第二以及另一第二影像幀的一第二混合區域中的所述對齊的第二影像幀以及所述另一第二影像幀來獲得一第二拼接影像幀。
所述方法進一步包括根據所述第一拼接幀以及所述第二拼接幀的像素的值計算出的一差異圖案來評估所述第一對齊。所述像素是內含在所述個別的第一及第二拼接影像幀中的所述第一及第二混合區域的至少一靜態部分之內。
根據另一特點，所述目標是藉由被配置以執行以上的方法的一影像處理裝置來達成。
根據進一步的特點，所述目標是藉由對應於在以上的特點的一電腦程式以及一電腦程式載體來達成。
由於所述差異圖案是根據所述至少一靜態部分，因此所述差異圖案並非根據在所述場景中在彼此之後所取得的不同影像之間的移動而定。反而，所述差異圖案是根據在混合函數上的變化以及所述對齊而定。對於大多數對齊的影像而言，在混合函數上的變化將會在所述差異圖案上具有最小的影響。例如，對於其中所述第一以及所述另一第一影像的混合函數的總和等於所述第二以及所述另一第二影像的混合函數的總和的混合函數而言，所述不同的混合函數對於完美對齊的影像而言應該產生零的差異圖案。對於具有失準誤差的影像，所述不同的混合函數將會產生非零的差異圖案。
因此，由於所述第一拼接幀以及所述第二拼接幀已經利用不同的混合函數來拼接，並且所述差異圖案是根據所述至少一靜態部分，因此藉由根據所述第一拼接影像幀以及所述第二拼接影像幀的像素的值計算出的所述差異圖案來評估所述第一對齊以動態地評估及改善所述拼接影像的對齊是可能的。
在此的實施例的另一優點是它們容許在所述影像處理裝置的執行時間期間的對齊的評估，使得所述對齊的動態再次校準可以在不關掉所述影像處理裝置的操作下執行。尤其，對齊的足夠良好的評估將會在所產生的視訊串流上具有非常小的影響，並且因此將不會被終端觀看者注意到。
再者，由於所述差異圖案可以是從所述拼接的影像串流計算出的，因此不需要一用於評估所述對齊的個別的影像串流。
在此的實施例的又一優點是它們容許簡化在所述拼接影像中例如是被拼接的原始影像的旋轉的複雜的非線性失準誤差的評估，其是藉由將所述失準評估為散佈在所述混合區域上的許多小的靜態部分中的一平移的失準。
如同在以上所提及的，改善拼接來自兩個或多個感測器的影像的對齊可能是所關注的。舉例而言，對齊可以在工廠，例如從知道所述感測器的安裝位置來判斷。
然而，當攝影機被安裝在現場時，原始影像的對齊仍然可能需要某種調整。
如同在以上所提及的，在所述攝影機的執行時間期間執行的對齊方法的一問題是它們可能需要一或多個個別的影像串流以用於所述對齊的評估。
在此的實施例中，這些問題是藉由一種評估來自具有重疊的視野的感測器的兩個串流的影像的對齊的方法來解決。更明確地說，這些問題可以藉由動態地改善拼接影像的對齊來解決，其是藉由在所述拼接的影像串流中，亦即在所述拼接影像的影像串流中嵌入可被利用於分析對齊的資訊。
所述嵌入的資訊是藉由變化被拼接的原始影像的一混合函數，並且接著評估所述對齊來獲得的，其例如是藉由計算在兩個拼接影像之間的一差異圖案、或者換言之是一差異影像來判斷對齊的程度或品質，每一個拼接影像是藉由混合源自於所述影像感測器的兩個影像來形成的。例如，所述差異圖案可以是藉由計算根據所述兩個拼接影像的對應的像素值的一差值來計算出的。在此的某些實施例中，所述差異圖案是藉由計算在所述兩個拼接影像的加權的像素值之間的一差值來計算出的。在某些實施例中，所述權重是等於1，使得所述差異圖案是藉由計算在所述兩個拼接影像的像素值之間的一差值來計算出的。
在此的某些實施例中，根據所述差異圖案來評估所述對齊是包括比較針對於一第一對齊的差異圖案與針對於一或多個另一對齊(例如一第二對齊)的差異圖案。接著產生一最小的差異圖案的對齊可被選擇。對於那些實施例而言，所述差異圖案可以是藉由計算在所述兩個拼接影像的像素值之間的差值來計算出的。
在某些其它實施例中，例如是單一差異圖案的差異圖案是和所述拼接影像中之一先前被用來產生所述差異圖案的拼接影像一起被使用作為一神經網路的輸入。在最初的訓練之後，所述神經網路是能夠根據所述差異圖案以及所述拼接影像來評估所述對齊。
在另外某些其它實施例中，所述差異圖案是(和所述拼接影像中之一拼接影像一起)被使用以計算在所述靜態部分之內的原始影像的重建。接著，評估所述對齊可以是根據任何已知用於抽取在這些原始影像之間的差異及/或類似處的方法，並且評估這些差異及/或類似處。此種比對特點的方法可包含平方差之和(SSD)、正規化交互相關性(NCC)、或是尺度不變特徵轉換(SIFT)。
換言之，在此的實施例改善在一影像處理裝置(例如攝影機)的執行時間的拼接影像幀的對齊，其是藉由變化拼接影像幀的一混合函數、或者換言之是一混合因數或一混合權重，並且研究此變化在內含於所述原始影像之間的一重疊的區域中的一混合區域的一靜態部分(例如一個小的8×8像素的圖塊)中的差異圖案上的影響。所述靜態部分是若所述混合函數是相同的，則在不同的影像幀之間是不變的一部分。
若所述原始影像是良好對齊的，則在混合上的變化在所述拼接影像上應該具有最小的影響，但是若所述原始影像並非良好對齊的，則在混合上的變化將會在所述重疊的影像區域的所述靜態部分中的像素值上造成一變化。換言之，在混合上的變化將會使得利用不同的混合函數混合的不同的拼接影像是不同的，亦即在對應的像素位置包括不同的像素值。根據在對應的像素位置的像素值的一差值可被監測及評估，並且所述對齊是否足夠良好的判斷可以根據所述差值的評估來完成。
在此的實施例的一優點是所述變化並非大到對於所述拼接影像的觀看者而言是非常顯著的。再者，在此的實施例是容許簡化在所述拼接影像中的複雜的非線性失準誤差(例如被拼接的原始影像的旋轉)的評估，其是藉由將所述失準評估為散佈在所述混合區域上的許多小的靜態部分中的一平移的失準。
在此的實施例可被實施在一或多個影像處理裝置，例如是影像捕捉裝置(例如數位攝影機)中。圖1是描繪各種例證的影像捕捉裝置110。所述影像捕捉裝置110例如可以是攝錄放影機、錄影機、例如是監控攝影機或監視攝影機的視訊攝影機120、數位相機、包含影像感測器的智慧型手機130、或是包含影像感測器的汽車140。
圖2是描繪在此的實施例可被實施在其中的一例證的視訊網路系統250。所述視訊網路系統250可包含所述視訊攝影機120、220，其可以捕捉一數位影像201(例如數位視訊影像)並且在其上執行影像處理。在圖2中的一視訊伺服器260可以透過一網路或類似者來例如從所述視訊攝影機120、220獲得所述影像。
一視訊伺服器是一電腦為基礎的裝置，其是專用於傳遞視訊。視訊伺服器是被使用在一些應用中，並且通常具有額外的功能及能力，其解決特定應用的需求。例如，用在保全、監控及檢查的應用的視訊伺服器通常是被設計以從一或多個攝影機捕捉視訊，並且經由一電腦網路來傳遞所述視訊。在視訊產生及廣播應用中，一視訊伺服器可能具有記錄及播放所記錄的視訊、以及同時傳遞許多視訊串流的能力。在圖2中，所述視訊伺服器260是透過所述網路250來連接至藉由所述視訊攝影機120、220例示的影像捕捉裝置。所述視訊伺服器260可以進一步連接至一用於視訊影像的儲存的視訊儲存體270、及/或連接至一用於視訊影像的顯示的螢幕280。
在此的實施例可被實施在數個影像處理裝置中。例如，在某些在此的實施例中，評估兩個串流的影像的對齊的方法是用一分散的方式而在一影像捕捉裝置(例如所述視訊攝影機120、220)、以及一或多個另一影像處理裝置(例如所述視訊伺服器250)中執行。所述一或多個另一影像處理裝置亦可以內含在一視訊管理系統(VMS)、或是一電腦雲端中。更明確地說，所述方法的某些部分，例如是對齊及混合所述影像可以藉由所述影像捕捉裝置來加以執行，而其它像是評估所述對齊的部分可以藉由所述一或多個另一影像處理裝置來加以執行。此是可行的，因為相關所述混合的資訊是被嵌入離開所述影像捕捉裝置的影像串流中。
為了更佳的理解在此的實施例，一成像系統將會先加以描述。
圖3a是一成像系統300的概要的視圖，在此例中是一數位視訊攝影機(例如所述視訊攝影機120、220)的一成像系統300。所述成像系統是在一或多個影像感測器上，例如是在一第一影像感測器301a上以及在一第二影像感測器301b上成像一場景。所述第一及第二影像感測器301a、301b可被設置有一個別的拜爾(Bayer)濾波器，使得不同的像素將會用一已知的模式接收一特定波長區域的輻射。通常，所捕捉的影像的每一個像素是藉由一或多個值來加以表示，其代表在某一波帶之內所捕捉的光的強度。這些值通常被稱為色彩成分、或是色彩通道。所述術語“影像”可以是指一影像幀或視訊幀，其包含源自於一捕捉所述影像的影像感測器的資訊。
在已經讀取所述影像感測器301a、301b的個別的感測器像素的信號之後，不同的影像處理動作可以藉由一影像處理管線302來加以執行。通常對於視訊處理而言，所述影像是內含在一串流的影像中。圖3a是描繪來自所述第一影像感測器301a的一第一串流的影像310a、以及來自所述第二影像感測器301b的一第二串流的影像310b。
影像處理可包括去馬賽克、色彩校正、雜訊濾波(用於消除空間及/或時間的雜訊)、失真校正(用於消除例如是桶形失真的效應)、全域及/或局部的色調映射(例如，致能包含廣的強度範圍的場景的成像)、轉換(例如，整向及旋轉)、平場校正(例如，用於移除漸量(vignetting)的效應)、重疊的應用(例如，隱私遮蔽、解釋的文字)、等等。所述影像處理管線302亦可以是和一執行物體偵測、識別、警報、等等的分析引擎相關的。
所述影像處理管線302可包括一影像處理部分302a以及一視訊後置處理部分302b。所述影像處理部分302a例如可以執行影像穩定化、施加雜訊濾波、失真校正、全域及/或局部的色調映射、轉換、以及平場校正。所述視訊後置處理部分302b例如可以裁剪一影像的部分、施加重疊，並且包括所述分析引擎。
明確地說，在此的實施例中，所述影像的處理亦將會包括將來自所述第一及第二影像感測器301a、301b的兩個影像拼接在一起。拼接可以是在所述影像處理管線302中相對晚的加以執行，例如在所述視訊後置處理部分302b中。在某些實施例中，至少雜訊濾波已經在拼接被執行之前執行。圖3a是概要地描繪所述第一及第二影像串流310a、310b是如何組合以形成一拼接的影像串流310c。
圖3b是概要地描繪此種影像拼接過程，其中在一第一此種拼接過程中，源自於所述個別的第一及第二影像感測器301a、301b的一第一影像幀311a以及另一第一影像幀311b是被拼接以產生一第一拼接影像幀321。在一第二此種拼接過程中，源自於所述個別的第一及第二影像感測器301a、301b的一第二影像幀312a以及另一第二影像幀312b是被拼接以產生一第二拼接影像幀322。所述第一影像幀311a以及所述另一第一影像幀311b可能已經在相同或類似的時點被捕捉，以便於達成在所述兩個影像幀311a、311b之間，盡可能小的由於物體在由所述影像幀捕捉的場景中的移動所造成的變化。類似地，所述第二影像幀312a以及所述另一第二影像幀312b亦可能已經在相同或類似的時點被捕捉。
超過兩個幀亦可被拼接在一起。
應注意到的是對於視訊攝影機而言，來自所述視訊攝影機的一向外的幀率，例如對應於所述影像幀在一顯示器上的顯示率的速率(例如是30fps或60fps)可能會對於可花在影像處理上的時間設下限制，明確地說若實況的視訊串流是所需的時候。在此的實施例可以在不降低所述幀率下執行。明確地說，所述混合函數的變化可以在不影響所述拼接影像的幀率下執行。
在所述影像處理管線302之後，所述影像可被遞送至一編碼器303，其中在所述影像幀中的資訊是根據一編碼協定(例如H.264)而被編碼，並且被遞送至例如接收的客戶(在此被例示為所述螢幕280)、所述視訊伺服器260、所述儲存體270、等等。
在此的一例證的情節以及例證的實施例現在將會參考圖3c來加以描述。圖3c是描繪一具有視訊攝影機325的形式的範例的影像處理裝置、以及一包括數個物體的場景。所述視訊攝影機325可包括以上論述的圖3a的成像系統300。例如，所述視訊攝影機325可包括所述第一影像感測器301a以及所述第二影像感測器301b。所述第一及第二影像感測器具有一重疊的視野328，其在圖3c中是利用一陰影的區域來描繪。在所述重疊的視野328之內，一靜態物體330被設置，並且因此所述靜態物體330的至少一部分是被成像到所述第一影像感測器301a以及所述第二影像感測器301b兩者之上。
根據在此的實施例的例證的方法現在將會參考圖3d、圖3e及圖3f以及圖4的流程圖，並且進一步參考圖3a-3c來加以描述。
為了拼接兩個影像幀，所述影像幀是被對齊。一最初的對齊可以是已經在工廠執行過。然而，當所述影像處理裝置已被安裝在現場並且執行時，重新對齊常常可能是必要的。因此，以下將會提出一種用於此種重新對齊或所述對齊的重新校準的方法。所述對齊的重新校準包括目前的對齊或失準的評估，其可能包含判斷對齊的程度及/或計算失準誤差。
一種用於評估來自具有重疊的視野的感測器的兩個串流的影像的對齊之方法的實施例現在將會加以描述。首先，某些特定實施例的較概略的說明將會加以描述，以便於解說所述不同的動作是如何相互作用的。
所述方法可包括以下的動作： 1.根據一第一對齊來配置所述第一以及另一第一影像幀311a、311b，並且藉由在一第一混合區域331a中混合所述對齊的第一以及另一第一影像幀311a、311b來製備所述第一拼接影像幀321；其中所述對齊的第一以及另一第一影像幀311a、311b被混合的所述第一混合區域331a是內含在所述對齊的第一以及另一第一影像幀311a、311b的一第一重疊的區域332a中。所述第一重疊的區域332a可被定義為所述第一以及另一第一影像幀311a、311b的包括具有所述場景的對應的內容的像素的一個別的區域。 2.選擇在所述拼接影像幀321、322中的所述第一混合區域331a的複數個靜態部分334a、334b，並且針對於每一個此種靜態部分334a、334b藉由以下來判斷對齊的品質 a.對於所述第二拼接影像幀322，增加用於一第二混合區域331b中的所述第二以及另一第二影像321a、312b中之一的混合權重某一個量(例如，10%)，並且減小另一影像幀的權重一對應的量。其中所述對齊的第一以及另一第一影像幀311a、311b被混合的所述第二混合區域331b是內含在所述對齊的第二以及另一第二影像幀311a、311b的一第二重疊的區域332b中； b.根據在所述混合區域331a、331b的靜態部分334a、334b中的所述第二拼接影像幀322以及所述第一拼接影像幀321的像素值來計算一差異圖案。例如，計算在所述混合區域331a、331b的靜態部分334a、334b中的所述第二拼接影像幀322以及所述第一拼接影像幀321之間的一差異圖案。 3.評估所述差異圖案以決定有關改善的對齊的一假設，其中所述評估在一第一版本中包括： a.若所述差異圖案大於零，則所述對齊不是完美的，選擇另一對齊並且再次測試； b.若所述差異圖案等於零，則所述對齊是良好的，評估已完成 c.其中所述評估在一第二版本中包括 i.根據在所述混合區域331a、331b中的所述差異圖案以及所述拼接影像321、322，利用一預訓練的神經網路來決定一改善的對齊。
在以下，每一個動作的更詳細的說明將會被給出。在此用於評估來自兩個具有重疊的視野的影像感測器的拼接影像的對齊、或者換言之是用於評估來自兩個具有重疊的視野的影像感測器的兩個串流的影像的對齊，例如是用於評估來自所述第一影像感測器301a的所述第一串流的影像310a以及來自所述第二影像感測器301b的所述第二串流的影像310b的對齊之方法可被實施在一影像處理裝置中，例如是圖2a的影像捕捉裝置110以及尤其是圖3c的視訊攝影機325的任一個中。所述影像感測器301a、301b可以內含在所述影像捕捉裝置110(例如所述視訊攝影機325)中。
如同在以上所提及的，即使所述工廠校準可能已經被執行，當所述視訊攝影機325被安裝在現場時，原始影像的對齊仍然可能需要某些調整。在此的實施例在所述視訊攝影機325中的實施方式是特別相關在所述視訊攝影機325的執行時間被執行時，因為它們可以在不提供用於對齊的評估的個別的影像串流並且在較小的影響所述拼接的影像串流下，在所述視訊攝影機325中被執行。因此，所述方法可以在不非常影響所述影像處理裝置的正常使用下被執行。
以下在圖4中呈現的動作中的一或多個可以用以下例證的順序來執行。在其它例子中，所述順序可以不同於在以下所述者。 動作401a
圖3d是概要地描繪源自於兩個影像感測器的兩個影像幀根據具有某些對齊誤差的某個對齊的重疊。所述兩個影像幀例如可以是所述第一影像幀311a以及所述另一第一影像幀311b。在另一例子中，所述兩個影像幀是所述第二影像幀312a以及所述另一第二影像幀312b。
如同在以上所提及的，將被使用於拼接所述第一影像幀311a以及所述另一第一影像幀311b的一對齊的計算或決定可以是已經在用於評估所述對齊的方法開始之前執行的，例如是在工廠執行的。例如，使用一表是可能的，其對映在所述原始影像311a、311b中的座標至其在所述拼接影像321中的新座標。某些其它實施例是使用另一表，其對映在所述拼接影像321中的座標至所述原始影像311a、311b的座標。這些表可以依據所述視訊攝影機325的某些參數而定，例如是有關所述感測器301a、301b的安裝位置的參數。因此，動作401a以及下一個動作401b是根據一已知或決定的對齊來對齊兩個影像幀，而無所述對齊的任何評估及更新。換言之，動作401a及401b是根據所述已知或決定的對齊來結合或重疊所述兩個影像幀。此是所述正常的拼接過程的部分。所述對齊的評估是在以下的動作406中執行。
在圖3d中，所述對齊誤差是被例示有在一垂直的像素方向上的一平移的失準。例如是旋轉及/或歪斜的失準的其它失準亦可能發生，因而在此的實施例的以下說明是等同可適用於此種其它失準誤差。更詳細的說，圖3d是描繪來自所述第一影像感測器301a的第一串流的影像310a的第一影像幀311a以及來自所述第二影像感測器301b的第二串流的影像310b的另一第一影像幀311b根據一第一對齊的重疊或對齊。所述第一對齊是和一第一對齊誤差相關的。所述第一影像幀311a以及所述另一第一影像幀311b可能已經在相同或類似的時點被捕捉，使得在所述第一混合區域331a之內，在所述兩個影像幀311a、311b之間的例如由於在所述場景中的物體的移動所造成的變化是盡可能小的。由於在此的實施例是利用、或者換言之是做成在所述拼接影像中由在所述混合過程中的差異引起的此種變化的分析，因此具有盡可能小的由於在所述場景中的物體的移動所造成的變化是所期望的。
因此，為了拼接所述第一影像幀311a以及所述另一第一影像幀311b，它們是根據所述第一對齊而被對齊。 動作401b
用如同在以上的動作401a中的對應的方式，所述影像處理裝置是根據所述第一對齊來對齊來自所述第一影像感測器301a的所述第一串流的影像310a的第二影像幀312a、以及來自所述第二影像感測器301b的第二串流的影像310b的另一第二影像幀312b。
所述第二影像幀312a以及所述另一第二影像幀312b可能已經在相同或類似的時點被捕捉，使得在所述第二混合區域331b之內，在所述兩個影像幀312a、312b之間的例如由於在所述場景中的物體的移動所造成的變化是盡可能小的。然而，相關於所述第一及另一第一影像幀311a、311b，所述第二影像幀312a以及所述另一第二影像幀312b可能是已經在一不同的時點，例如在一之後的時點被捕捉的。 動作402
當所述第一影像幀311a以及另一第一影像幀311b已經例如根據在以上的動作401a及401b被對齊或組合時，所述影像處理裝置藉由在所述第一以及另一第一影像幀311a、311b的第一混合區域331a中，根據一第一混合函數333a(其之一個例子是被描繪在圖3e中)來混合所述對齊的第一影像幀311a以及另一第一影像幀311b，以獲得所述第一拼接影像幀321。
在此的實施例中，一混合函數可以用在所述影像的一混合區域之內的一像素位置的一函數，來定義一影像幀與另一對應的影像幀混合的個別的混合權重或混合因素。因此，所述混合函數可包括多個個別的函數，其定義所述兩個對應的影像幀的個別的混合權重。尤其，所述第一混合函數333a可以將所述對齊的第一影像幀311a以及所述另一第一影像幀311b的一個別的混合權重定義為一像素位置在所述第一混合區域331a中的一函數。
所述混合函數可以是任何已知的混合函數，例如是一alpha混合函數。
有數個版本的alpha混合，但是一共同的概念是每一個像素是利用一混合函數(例如，一線性混合函數)來加權的。每一個像素接著根據其位在每一個別的混合區域331a、331b中的何處、或是在每一個別的靜態部分334a、334b中的何處而被給予優先權。一範例實施方式是利用一遮罩，並且將每一個靜態部分334a、334b乘以所述遮罩或是1-遮罩。
Alpha混合是被用來使得在兩個影像之間的轉變更平滑。然而，此也意指存在於不正確的拼接中的邊緣及假影也被平滑化。此可能使得它們難以偵測，並且更甚者是其個別的大小難以偵測。然而，由於在此的實施例是根據兩個拼接影像的像素值計算出的差異圖案來評估所述對齊，其差異是由於在所述混合函數中的變化所造成的，因此對於所述alpha混合而言偵測這些誤差也是可能的。
利用所述alpha混合函數於根據所述差異圖案來評估所述對齊的一優點是所述差異圖案是利用相同的函數，針對於每一個像素而被計算出，此表示針對於所述靜態部分334的總差異的值是根據所述個別的像素的差值的總和而定。一例子現在將接在後面。所述例子是假設用於所述第一拼接影像幀321的一特定的像素的混合權重的總和是與用於所述第二拼接影像幀322的同一像素的混合權重的總和相同的。所述總和例如可以對應於1或是100%。
在圖3e中，所述第一混合函數333a在所述第一混合區域331a之內是一線性變化的函數，所述第一混合區域331a在圖3e中是被展示在所述第一混合函數333a之下。在此例子中，所述線性變化的函數是包括所述第一及另一第一影像的個別的混合權重的以百分比計的線性變化為在所述第一混合區域331a之內的一水平的像素位置的一函數。一第一混合權重(在圖3e中是利用一虛線來描繪)可被施加至所述第一影像幀311a，而另一第一混合權重(在圖3e中是利用一實線來描繪)可被施加至所述另一第一影像幀311b。
根據圖3e，對於所述第一影像幀311a之內沒有和所述另一第一影像幀311b重疊，亦即在圖3e中是在所述混合區域331a的右側的像素位置而言，所述第一混合權重是100%。對於在所述混合區域331a之內的像素位置，所述第一混合權重是從所述另一第一影像幀311b結束所在的像素位置的100%改變至所述第一影像幀311a結束所在的像素位置的0%。接著，對於在所述另一第一影像幀311b之內沒有和所述第一影像幀311a重疊的像素位置而言，所述第一混合權重是0%。
用於所述另一第一影像幀311b的另一第一混合權重可以對應於以上而被定義。
現在針對於所述第一拼接影像幀321的靜態部分334中的一特定的像素位置，施加至所述第一影像幀311a的第一混合權重可以是30%。接著，對於相同的像素位置，施加至所述另一第一影像幀311b的另一第一混合權重可以是70%。對於所述對應的第二拼接影像幀322以及所述第二混合函數，施加至所述第二影像幀312a的第二混合權重可以是40%。接著，對於相同的像素位置，施加至所述另一第二影像幀312b的另一第二混合權重可以是60%。
所述第一混合函數333a亦可被描述為包括多個混合函數，例如分別對應於所述第一影像幀以及所述另一第一影像幀的一個別的混合函數。 動作403
用一對應如同在以上的動作401a的方式，所述影像處理裝置110藉由在所述第二以及另一第二影像幀312a、312b的第二混合區域331b中，根據與所述第一混合函數333a不同的一第二混合函數333b來混合所述對齊的第二影像幀312a以及所述另一第二影像幀312b，以獲得所述第二拼接影像幀322。圖3f是描繪所述第一混合函數333a(利用實線結合虛線來描繪的)、以及所述第二混合函數333b(利用點線結合點虛線來描繪的)為一像素位置的函數的例子。
類似於所述第一混合函數333a，所述第二混合函數333b可以定義所述對齊的第二影像幀312a以及所述另一第二影像幀312b的一個別的混合權重為在所述第二混合區域331b中的一像素位置的一函數。
在此的實施例中，所述第一重疊的區域332a可以涵蓋和所述第二重疊的區域332b相同的像素。所述第一及第二重疊的區域332a、332b是在圖3f中利用一不間斷的水平線而被描繪在所述像素位置軸之下。即使如此，所述第一混合區域331a可以是不同於所述第二混合區域331b。所述第二混合區域331b例如可以相對於所述第一混合區域331a位移的。在此的某些實施例中，所述個別的混合區域331a、331b是被定義為一重疊的區域，其重疊所述混合函數的混合權重的線性變化。
在圖3f中，不同的區域是被描繪為不同類型的水平線，其被設置在所述水平的像素位置軸之下。
所述第一混合區域331a是利用一粗的水平線以及在所述粗的線之下的一細的水平線來描繪，而所述第二混合區域331b是利用一粗的水平線以及在所述粗的水平線之上的一細的水平線來描繪。然而，所述第二混合區域331b涵蓋和所述第一混合區域331a相同的區域也是可能的。例如，所述第二混合區域331b以及所述第一混合區域331a可被定義以涵蓋整個所述利用兩條粗的實線描繪的重疊的區域332a、332b。
在任一情形中，一涵蓋所述第一以及所述第二混合區域331a、331b的線性變化的部分的區域(其是利用兩條粗的水平虛線來描繪)可被使用於評估所述對齊，例如是用於計算所述差異圖案。
一第二混合權重(在圖3f中利用一點虛線來描繪)可被施加至所述第二影像幀311b，而另一第二混合權重(在圖3f中利用一點線來描繪)可被施加至所述另一第二影像幀312b。
如同在圖3f中所繪，所述第二混合函數333b可以是不同於所述第一混合函數，其在於在所述混合區域331a之內，施加至所述第二影像幀312a的第二混合權重是高於施加至所述第一影像幀311a的第一混合權重，而在所述混合區域331a之內，施加至所述另一第二影像幀312b的另一第二混合權重是低於施加至所述另一第一影像幀311b的另一第一混合權重。此可以藉由移位相對於彼此線性變化的第一及第二混合函數333a、333b的部分來獲得。此表示所述重疊的區域332a、332b可以是大於用於混合的第一及第二混合區域331a、331b。所述靜態部分334a、334b接著可被決定成使得它們是內含在所述拼接影像321、322的只包括線性變化的混合函數的一部分中。換言之，所述重疊的區域的包括靜態混合函數的部分可被拋棄。例如，所述第二混合權重在所述第二混合區域331b之內可以變化在10%到100%之間，而所述第一混合權重在所述對應的第一混合區域331a之內是變化在0%到100%之間。同樣地，所述另一第二混合權重在所述第二混合區域331b之內可以變化在90%到0%之間，而所述第一混合權重在所述對應的第一混合區域331a之內是變化在100%到0%之間。
根據某些在此的實施例，在混合權重上的變化是被選擇或決定成使得在所述混合區域之內的總像素值對於所述第一及第二拼接幀是保持相同的。例如，在所述第一拼接影像幀321以及所述第二拼接影像322之間，用於一像素位置p1的混合權重的總和可以是固定的。若用於所述像素位置p1的第二混合權重是相較於所述第一混合權重從0%被增大至10%，則用於相同的像素位置p1的另一第二混合權重可以從100%被降低至90%。
因此，對於相同的像素位置，所述第一拼接幀321的所產生的像素值可以與所述第二拼接幀322的所產生的像素值相同或大致相同的。
動作404
為了讓所述方法排除由於在所述場景中的移動的物體的移動所造成的像素變化，所述混合區域331a、331b的至少一靜態部分334可被決定及/或選擇。所述靜態部分334亦可被稱為一圖塊。
所述至少一靜態部分334可包括所述第一以及另一第一影像幀311a、311b的第一混合區域331a的一部分，若所述第二混合函數333b並無不同於所述第一混合函數333a，則其是相對所述第二以及另一第二影像幀312a、312b的第二混合區域331b不變的。在此的實施例中，不變的是包括一完全沒有變化的情形，但是亦可能包括一小變化的情形，其是小於或等於原始影像幀的一雜訊位準。
為了使得所述差異圖案的計算較不複雜，所述靜態部分334可以從所述混合區域331a、331b的其中對於兩個所述混合影像幀都有一正混合權重的一區域來選擇。
如同在以上所提及的，在此的實施例是容許簡化在所述拼接影像幀321、322中的複雜的非線性失準誤差(例如被拼接的原始影像311a、311b、312a、312b的旋轉)的評估，其藉由將所述失準評估為在許多小的靜態部分334中的一局部的平移的失準，所述靜態部分334是散佈在所述混合區域331a、331b上。藉此，所述失準誤差的計算的複雜度被降低。
因此，在某些實施例中，所述至少一靜態部分334包括多個靜態部分334a、334b，例如是一第一靜態部分334a以及一第二靜態部分334b。更多的靜態部分，例如是三個或四個或甚至更多個也是可能的。每一個靜態部分334a、334b可包括小數目的像素，例如是8×8或16×16像素。所述靜態部分的尺寸，不論是多個或單一靜態部分，其可被限制為某一尺寸極限。例如，所述靜態部分的尺寸可被限制以便於能夠線性化複雜的對齊誤差成為線性對齊誤差。
在所述影像處理裝置的處理能力上的限制亦可能對於所述靜態部分可以有多大設定一限制。然而，在所述靜態部分的尺寸與能夠顯著地相對於任何雜訊來判斷所述誤差上有所取捨。較大的靜態部分是表示更多的統計點，其可被利用以平均掉所述雜訊。再者，所述靜態部分334應該要大於待被判斷的線性對齊誤差。
如同在以上所提及的，藉由具有多個靜態部分，所述對齊的改善的評估是可能的。當所述失準是由於一旋轉或一歪斜時，相較於單一靜態部分334，所述多個靜態部分334a、334b可以是有利的。例如，藉由利用多個靜態部分334a、334b來評估一對齊，所述評估可包括有關多個對齊自由度的資訊，例如在兩個方向上的線性對齊及/或旋轉及/或歪斜。例如，個別的多個靜態部分334a、334b的評估可包括一不同的個別的評估結果，例如一差異圖案的一不同的個別的量測、或是所述差值的一不同的正負號。藉由分析來自多個靜態部分334a、334b的差異圖案，根據所述多個差異圖案的不同的量測及/或正負號來得出結論是可能的。例如，來自位在一中心線的不同側的兩個靜態部分的差異圖案的不同的正負號可以指出一旋轉正造成所述失準。因此，相較於單一靜態部分的評估，所述個別的多個靜態部分334a、334b的不同的個別的量測的組合評估可以改善所述失準的評估。如同在以上所提及的，藉由具有許多小的靜態部分334a、334b，複雜的失準誤差可以根據評估在每一個靜態部分334a、334b中的線性平移的失準來評估，其是較不複雜的。
再者，對於某些失準(例如對於旋轉的失準)而言，可以利用在此的實施例來判斷的一最小失準誤差的尺寸可以是依據用於所述評估的像素之間的距離而定。例如，可被判斷的最小失準誤差可以是依據在所述第一靜態部分334a以及所述第二靜態部分334b之間的距離而定。在一情節中是假設一小旋轉，例如是0到1度。
進一步假設的是所述靜態部分的尺寸(不論其是多個或單一靜態部分)受限於某一尺寸極限，例如是由於在所述影像處理裝置的處理能力上的限制。例如，所述靜態部分334a、334b的尺寸可被限制為16×16像素。因此，每一個靜態部分334a、334b可包括16×16像素。在此情節中，利用在其之間有某個距離的多個靜態部分334a、334b有一個很大的優點，而不是單一靜態部分334。在所述多個靜態部分334a、334b之間的距離可以根據所述原始影像幀311a、311b、312a、312b的尺寸以及所用的多個靜態部分334a、334b的數目來選擇。例如，所述距離可被選擇成使得所述多個靜態部分334a、334b被分散在其上的面積被最大化。
為了利用具有16×16像素的單一靜態部分來找出所述0到1度的旋轉的失準，在此的實施例可能需要是能夠偵測在所述單一靜態部分334之內的在幾百分之一像素的數量級(幾個1/100像素)的失準。反而，若在所述多個靜態部分334a、334b之間有一500個像素的距離，則在此的實施例可能需要能夠偵測在所述多個靜態部分334a、334b之間，在1個像素的數量級的失準。在所述多個靜態部分334a、334b之間的失準的偵測可以藉由比較在兩個靜態部分334a、334b之間的一絕對的平移誤差差值來加以執行。如何決定此種平移的誤差將會簡短地在以下動作406中敘述。再者，藉由利用多個靜態部分334a、334b，所述差異圖案的統計量測可以在評估所述對齊品質時被使用，其將會降低來自雜訊的影響。 動作405
所述第一對齊的評估是根據所述第一拼接幀321以及所述第二拼接幀322的一差異圖案。所述影像處理裝置110可以獲得所述差異圖案，以便於評估所述第一對齊。所述影像處理裝置110可以藉由計算所述差異圖案來獲得所述差異圖案。
所述差異圖案是根據所述第一拼接幀321以及所述第二拼接幀322的對應的像素的值而被計算出。所述對應的像素是有關於在所述第一及第二拼接影像幀321、322中的相同的像素位置。所述第一拼接幀321以及所述第二拼接幀322的像素是內含在所述個別的第一及第二拼接影像幀321、322中的所述第一及第二混合區域331a、331b的至少一靜態部分334之內。因此，所述差異圖案是根據所述至少一靜態部分334而定。
在某些實施例中，所述差異圖案是根據在所述第一拼接幀321以及所述第二拼接幀322的對應的像素的值之間的差值而被計算出。
在某些其它實施例中，所述差異圖案是根據在所述第一拼接幀321以及所述第二拼接幀322的對應的像素的加權的值之間的差值而被計算出。
所述差異圖案可包括所述混合區域331a、331b的至少一靜態部分334的像素差值的量測。換言之，像素差值的量測可以是在所述第一混合區域331a以及所述第二混合區域331b之間的差值的量測。
在某些實施例中，像素差值的量測是根據所述第一拼接幀321以及所述第二拼接幀322的對應的像素的值的差值而定。例如，像素差值的量測可以是根據在所述第一拼接幀321以及所述第二拼接幀322的對應的像素的值之間的差值而定。在第一拼接幀321以及所述第二拼接幀322的對應的像素的值之間的差值可以是在加權的值之間的差值。換言之，像素差值的量測可以是根據所述第一拼接幀321以及所述第二拼接幀322的對應的像素的加權的值而定。
在某些其它實施例中，其中所述第一對齊的評估是包括所述原始影像幀311a、311b、312a、312b的重建，所述重建可以是根據像素差值的量測。對於此種實施例，所述第一對齊的評估可以是進一步根據另一差異圖案，其是根據在所述至少一靜態部分334之內的所述第一影像幀311a以及所述另一第一影像幀311b的個別的重建的對應的像素的值之間的差值。
如同在以上所提及的，所述第一對齊的評估可以是進一步根據所述原始影像幀的特點比對。在某些實施例中，所述另一差異圖案可以是根據所述特點比對。例如，像素差值的另一量測可以是根據在所述第一影像幀311a以及所述另一第一影像幀311b的個別的重建的對應的像素的值之間的差值。對於所有在以上計算所述像素差值的例子而言，像素差值的量測可包括 ‧描述例如在用於所述原始影像幀311a、311b、312a、312b的原始像素值的一相同的範圍之內，例如在所述範圍0-255之內的像素差值的一尺寸的一值。所述像素差值的尺寸例如可以在評估數個對齊、或是換言之當評估數組對齊參數時被使用。接著，所述不同的對齊的尺寸可被比較，並且最小的像素差值可被選擇。 ‧例如描述所述尺寸以及所述像素差值的一方向(例如其中所述像素差值有增加的方向)的一向量。此種實施例是非常適合和神經網路一起被使用來從單一差異圖案找出適當的對齊參數，其亦在以下動作408中敘述。 ‧在所述第一及第二拼接影像幀321、322的單一像素值上的差值，例如像素差值的量測可包括針對於一個別的像素的像素差值的一個別的量測。例如，像素差值的量測可包括針對於一第一像素的一個3的值以及針對於一第二像素的一個5的值，而其它像素的像素差值的量測是產生零差值。 ‧一根據加權的像素值的差值。 ‧一統計量測，其例如是所述第一及第二拼接影像幀321、322在所述靜態部分334上的像素差值的平均 ‧一統計量測，其例如是所述第一及第二拼接影像幀321、322在所述多個靜態部分334a、334b上的像素差值的平均 ‧以上的例子的任意組合
所述差異圖案將會在以下被使用在動作406中作為所述對齊有多好的一量測、或是換言之作為所述對齊誤差的一量測。如同在以上所提及的，一特定的靜態部分334a、334b的差異圖案可被用來決定一本地的對齊誤差的一量測。 動作406
所述影像處理裝置110是評估所述差異圖案，以便於判斷是否需要一重新對齊。
在某些第一實施例中，所述影像處理裝置110是評估所述第一對齊，並且若其不是滿足需要的，則其持續評估其它對齊。例如，所述攝影機的其它用於對映所述原始影像到所述拼接影像中的參數被選擇，並且這些對齊的進一步評估是用試誤的方式來執行。例如，針對於一第一對齊的差異圖案可以和針對於一或多個另一對齊(例如一第二對齊)的差異圖案比較。接著，產生一最小差異圖案的對齊可被選擇。對於那些實施例，所述差異圖案可以藉由計算在所述兩個拼接影像的像素值之間的差值而被計算出。此亦在以下動作409中論述。
在某些第二實施例中，所述影像處理裝置110是評估所述第一對齊，並且例如利用一預訓練的神經網路以根據所述結果來判斷一改善的(較佳的是最佳的)對齊。例如，一差異圖案(例如單一差異圖案)是和所述拼接影像321、322中之先前被用來產生所述差異圖案的一拼接影像一起被使用作為所述神經網路的輸入。在一最初的訓練之後，所述神經網路能夠根據所述差異圖案以及所述拼接影像321、322來評估所述對齊。此亦在以下動作408中論述。
在某些第三實施例中，所述差異圖案是和所述拼接影像321、322中之一拼接影像一起被使用，以計算所述原始影像311a、311b或是312a、312b在所述靜態部分334之內的一個別的重建。接著，根據所述差異圖案來評估所述第一對齊是包括根據所述差異圖案以及進一步根據所述第一拼接幀(321)或是所述第二拼接幀(322)的對應的像素的值的任一個來計算所述第一影像幀311a以及所述另一第一影像幀311b的一個別的重建。所述計算是針對於在所述至少一靜態部分334之內的像素而被執行的。所述評估可以進一步包括所述個別的重建的彼此比較。換言之，所述個別的重建是根據所述第一拼接幀321以及所述第二拼接幀322在所述混合區域331a、331b之內的對應的像素值以及進一步根據所述第一混合函數333a以及所述第二混合函數333b。由於假設所述靜態部分334在所述第一影像幀311a以及所述第二影像幀312a之間是不變的，因此所述第一串流的影像310a的一經重建的第一影像幀應該包括和所述第一串流的影像310a的一經重建的第二影像幀相同的像素值。此表示所述第一對齊的評估可以進一步根據所述第二影像幀312a以及所述另一第二影像幀312b的一個別的重建的對應的像素的值。
如同在以上動作405中所提及的，被用來重建所述原始影像幀的差異圖案可以根據在所述第一拼接幀321以及所述第二拼接幀322的對應的像素的加權的值之間的差值而被計算出。
與進一步根據所述經重建的影像幀的像素的值來評估所述第一對齊有關的一優點是在於此種評估可以是根據用於抽取在這些原始影像之間的差異及/或類似處的任何已知的方法，並且藉由例如比較及/或匹配所述第一以及所述另一第一影像311a、311b或是所述第二以及另一第二影像312a、312b來評估這些差異及/或類似處。如同在以上所提及的，此種匹配方法可包含SSD、NCC或是SIFT。假設所述第一對齊是不夠好的，此種演算法亦可被用來調整所述對齊。
以下的例子將會描繪如何根據所述原始影像311a、311b或312a、312b的重建來評估所述第一對齊的細節。令R1是所述第一影像幀311a在所述第一混合區域331a的靜態部分334中的一右像素的值。L1是所述另一第一影像幀311b在所述第一混合區域331a的靜態部分334中的一對應的左像素的值。以下是假設利用如上所解說的alpha混合來混合。a是用於所述右像素值R1的一混合權重。(a-1)是用於所述左像素值L1的一混合權重。C1是所述第一拼接影像幀321對應於像素值R1及L1的一像素的值。C2是所述第二拼接影像幀322對應於像素值R2及L2的一像素的值，其中R2是所述第二影像幀312a在所述第二混合區域331b的靜態部分334中的一右像素的值，而L2是所述另一第二影像幀312b在所述第二混合區域331b的靜態部分334中的一對應的左像素的值。進一步假設的是所述混合權重是針對於所述第二影像幀312a被調整+10%而成為用於R2的(a+0.1)，因而所述混合權重是相應地針對於所述另一第二影像幀312b而被調整-10%而成為用於L2的(1-a-0.1)。由於所述像素位置是內含在所述靜態部分334中，因此可以假設R1==R2，並且L1==L2。此產生以下的線性方程式系統： a*R1 + (1-a)*L1 = C1 (第一混和) (a+0.1)*R1 + (0.9-a)*L1 = C2 (第二混和)
藉由解出所述方程式系統，可以對於所述靜態部分334中的每一個像素找出R1及L1。所述混合權重a將會是所述像素位置的一函數。此表示計算或重建在所述靜態部分334之內的原始的混合影像的像素的值是可能的。計算R1及L1是根據所述第一及第二拼接影像幀321、322的對應的像素值的差異圖案。所述差異圖案可以根據在所述第一拼接幀(321)以及所述第二拼接幀(322)的對應的像素的值之間的差值而被計算出。例如，R1及L1可以根據所述差異影像C1-C2 = 0.1*(R1-L1)結合藉由C1=a*R1+(1-a)*L1)給出的所述第一拼接影像幀321的像素的值而被計算出。如同可從所述公式看出的，對於所有的其它像素位置而言，所述差值C1-C2也是藉由相同的公式來描述的。由於所述alpha-混合是產生一差異影像C1-C2是直接根據R1及L1而定的，因此在所述靜態部分334之內根據以上利用此混合方法來準確地重建所述原始影像是可能的。
被所述第一以及所述第二混合區域331a、331b兩者涵蓋的面積可被使用於計算所述原始影像幀。利用上述的面積於所述重建的一優點是所述原始影像幀將會在此面積之內以相同的精確度來加以重建。
如同在以上所提及的，藉由重建所述原始影像，用於特點識別、描述及比對的已知的演算法(例如SSD)可被用來比對在對應的原始影像幀中的特點，明確地說是比對所述原始影像幀的對應於所述靜態部分334a、334b的特點部分。例如，在所述第一影像幀311a中的一第一特點可以匹配在所述另一第一影像幀311b中的一對應的另一第一特點。同樣地，在所述第二影像幀311a中的一第二特點可以匹配在所述另一第二影像幀312a中的一對應的另一第二特點。在根據所述重新建構的原始影像來評估所述對齊的另一例子中，針對於一特定的靜態部分334a的對齊誤差在一第一方向上可以是+2個像素，而在一第二垂直的方向上可以是-3個像素。在所述靜態部分334a、334b上的可能的平均之後，可以在所述對齊誤差的導數或差分的一方向上採取所述對齊的一小調整。所述新的對齊的評估接著可以和舊的對齊相比較。
因此，對於所有以上的實施例，所述影像處理裝置110是根據所述第一拼接幀321以及所述第二拼接幀322的像素的值計算出的差異圖案來評估所述第一對齊。如同在以上描述動作405時所提及的，所述差異圖案是根據所述至少一靜態部分334。換言之，所述第一拼接幀321以及所述第二拼接幀322的像素是內含在所述個別的第一及第二拼接影像幀321、322中的所述第一及第二混合區域331a、331b的至少一靜態部分334之內。
在此的某些實施例中，所述影像處理裝置110是藉由計算所述差異圖案來評估所述第一對齊。例如，所述影像處理裝置110可以根據所述差異圖案，藉由判斷所述第一對齊的對齊程度來評估所述第一對齊。所述對齊程度是所述對齊有多好的一量測。換言之，所述對齊程度可以是所述對齊品質、或者是所述失準或失準誤差的一量測。
根據所述差異圖案來評估所述第一對齊可以進一步包括比較所述差異圖案與一臨界值或是一預設的差異圖案。例如，所述臨界值可以是所述第一及第二拼接影像幀321、322在所述靜態部分334上的像素差值的一臨界平均值。所述臨界值可以是相關在所述拼接影像321、322中的一雜訊位準。換言之，若所述差異圖案是超過所述臨界值，則可以判斷所述差異圖案不只是雜訊而已。
在某些實施例中，評估所述第一對齊是包括計算對齊品質的一量測，例如所述對齊的程度，其是隨著在所述差異圖案上的減小而增大。在所述差異圖案上的減小可以對應於所述像素差值的絕對值的減小。
所述對齊的程度可以藉由比較所述差異圖案與一臨界值來加以判斷。例如，若所述差異圖案超過零，則判斷出的是所述對齊並非完美的。接著所述方法可以繼續選擇一新的對齊並且評估所述新的對齊，例如是藉由根據所述新的差異圖案來判斷所述新的對齊的對齊程度。此是在以下動作407中加以描述。
然而，若所述差異圖案是零或是靠近零，則可以判斷出的是所述對齊是良好的，並且所述評估完成。
如同在以上所提及的，若所述影像是良好對齊的，則在混合上的變化應該在所產生的拼接影像的靜態部分上具有最小的影響。因此，所述差異圖案是正被拼接的影像的對齊或失準的程度的一良好的量測、一對齊品質、或是失準的一量測。
對齊的程度或品質的基於所述靜態部分334中的差異圖案的評估或判斷的一優點是一正確對齊的拼接影像的評估或判斷將不會被所述視訊系統的其餘部分及/或最終使用者注意到，因為所述差異圖案對於完美對齊的影像而言是零。若所述影像並非完美對齊的，則所述拼接影像將會稍微受到所述評估的影響。然而，所述非完美對齊的影像的拼接無論如何都將會由於所述失準而產生一帶有拼接誤差的拼接影像，因而有需要重新對齊。利用在此的實施例，在不影響所述良好對齊的影像並且在不利用個別的視訊串流以用於評估所述對齊下重新對齊失準的影像是可能的。
在此的某些實施例中，失準誤差的計算或判斷是根據所述差異圖案。如同在以上動作405中所提及的，像素差值的量測例如可以包括一向量值，其包括方向性資訊。在某些實施例中，所述計算及/或判斷可以藉由一神經網路來加以執行。例如，一預訓練的神經網路可被用來根據所述差異圖案以及在所述混合區域331a中的原始拼接影像321、322以判斷所述對齊誤差的一量測。例如，所述預訓練的神經網路可以使用兩個輸入張量，一個是針對於所述拼接影像321、322，並且一個是針對於所述差異圖案、或者換言之所述差異影像。根據所判斷的對齊誤差，一改善的對齊可以根據已知的方法來決定。例如，對於所述拼接影像321、322可能有不同的對齊誤差，例如是對應於在兩個方向上的線性對齊誤差、及/或旋轉的誤差、及/或歪斜。所述失準誤差的判斷可包括所述誤差的尺寸、以及所述誤差的方向(例如在所述影像的平面中的方向)的判斷。若所述對齊誤差被判斷為沿著所述影像的平面中的某一軸線性的，則根據所述失準誤差來利用一量以及方向以做成待被拼接的影像的線性調整是可能的。例如，若所述對齊誤差是在某一方向上的5個像素，則待被拼接的影像可以藉由在所述對齊誤差的相反的方向上重新對映所述像素5個像素來重新對齊，使得所述對齊誤差消失。
在此的實施例的一優點是所述對齊的評估是根據嵌入在所述拼接的影像串流310c中的資訊。因此，所述評估並不需要個別的影像串流。
在此的實施例的另一優點是例如藉由利用例如來自所述拼接影像的較少的影像以判斷所述失準誤差來評估所述對齊是可能的，其是藉由變化所述混合而不是比較拼接及原始影像。
又一優點是複雜的對齊誤差可以藉由在每一個靜態部分334中的更簡單的線性對齊誤差來建立模型。
即使實施例在以上已經敘述為判斷在每一個靜態部分334a、334b之內的局部的平移的誤差，但是所述實施例亦可以適用於其它對齊誤差，例如是旋轉的對齊誤差。例如，一旋轉的誤差可以根據在每一個靜態部分334a、334b之內的許多局部的平移的誤差而被判斷出。因此，所述措詞誤差的方向亦包括旋轉方向。 動作407
若所述差異圖案超過所述臨界值，則所述方法可以進一步包括判斷或選擇一第二對齊。所述第二對齊的判斷或選擇可以被完成以便於在不進一步評估下使用所述第二對齊、或是用一對應所述第一對齊原先被評估的方式來評估所述第二對齊。接著，在以上的動作401a及401b可以相應地針對於所述第二對齊而被重複。因此，所述影像處理裝置110可以根據所述第二對齊來對齊所述第一影像幀311a以及所述另一第一影像幀311b，並且根據所述第二對齊來對齊所述第二影像幀312a以及所述另一第二影像幀312b。所述對齊可以針對於評估所述第二對齊，例如是藉由判斷所述第二對齊的對齊程度而被完成。
然而，為了能夠在所述視訊網路系統250中，在無干擾下使用以上的影像以及影像串流，所述第一影像幀311a以及所述另一第一影像幀311b一般是與用於所述第一對齊者不相同的。而是，新的影像幀可被使用於所述第二對齊的評估。相應地，用於所述第二對齊的評估的第二影像幀312a以及另一第二影像幀312b一般將會是與用於所述第一對齊的對應的幀不相同的。 動作408
在某些實施例中，所述影像處理裝置110是根據評估所述第一對齊，例如是根據所述差異圖案或是其之一量測而在複數個對齊中選擇一對齊。在某些其它實施例中，所述影像處理裝置110是根據評估所述第一對齊，例如根據所述差異圖案或是其之一量測來決定一對齊。
選擇所述對齊可包括選擇所述視訊攝影機325的上述的參數，例如是有關所述感測器301a、301b的安裝位置的參數。再者，選擇所述對齊可以藉由一神經網路或類似者來加以執行。此種選擇是如何根據所述差異圖案而被實施的是超越在此的實施例的範疇。
作為一中間的動作的是，所述評估可以是根據所述第一對齊的被判斷的對齊程度，其於是可以根據所述差異圖案或是其之一量測。例如，若所述影像處理裝置110判斷所述第一對齊的品質或對齊程度是足夠良好的，例如是藉由判斷所述差異圖案是低於一臨界值，則所述影像處理裝置110可以決定從複數個對齊中使用所述第一對齊。若在另一方面所述影像處理裝置110判斷所述第一對齊的對齊程度並不夠良好，例如是藉由判斷所述差異圖案是高於所述臨界值，則所述影像處理裝置110可以決定從複數個對齊中使用一不同於所述第一對齊的對齊。所述影像處理裝置110例如可以決定替代地使用所述第二對齊。 動作409
在某些實施例中，所述影像處理裝置110評估多個對齊以便於判斷哪一個是最佳的對齊。如上相關動作407所解說的，以上的動作401-406接著可以重複，其中一第二對齊被判斷或選擇。相應地，一第三對齊等等亦可被判斷及評估並且與其它對齊相比較。
例如，當所述第二對齊已經被判斷或選擇時，所述影像處理裝置110可以評估所述第二對齊，例如藉由根據一第二差異圖案來判斷所述第二對齊的對齊程度，所述第二差異圖案是根據利用所述第二對齊及第一混合函數333b獲得的第一拼接影像幀321、以及利用所述第二對齊及第二混合函數獲得的第二拼接影像幀322的像素的值而被計算出的。所述第二對齊的對齊程度的判斷可以根據以上的動作406來完成。進一步的對齊可以用一對應的方式來評估。在某些實施例中，對於所述第二對齊而言，用於像素差值的量測的計算的靜態部分是與用於所述第一對齊相同的。然而，與所述至少一靜態部分334不同的一新的靜態部分(例如一第二靜態部分)亦可被用來計算像素差值的量測。
一神經網路可被訓練以評估所述混合的影響，並且迭代地測試及評估所述影像的新的對齊以找出最佳的對齊，例如是和最小改變相關的對齊，例如是產生所述差異圖案的一最小量測的對齊。 動作410
若多個對齊已經根據以上動作409的說明而被評估後，則一對齊的選擇可被執行以便於從所述多個對齊選擇最好或最佳的對齊。所述選擇可以是根據對應於所述個別的對齊的多個差異圖案中之一最小的差異圖案。換言之，根據哪一個差異圖案是最小的。
例如，當所述影像處理裝置110已經評估所述第一以及所述第二對齊時，接著所述影像處理裝置110可以根據所述第一及第二差異圖案中的最小差異圖案來從所述第一對齊以及所述第二對齊中選擇一對齊。
在某些實施例中，所述第一及第二差異圖案中之最小的差異圖案是包括在所述第一混合區域331a以及所述第二混合區域331b之間最小的差值。換言之，所述第一及第二差異圖案中之最小的差異圖案可包括在所述第一混合區域331a的靜態部分334以及所述第二混合區域331b的靜態部分334之間的最小的差值。例如，對於所有的靜態部分334a、334b的像素差異的總和、及/或平均像素差值的總和可以針對於每一個對齊來加以比較。
圖5是描繪所述差異圖案的量測(稱為差值)相對不同的對齊選項(稱為對齊編號)的一範例圖。如同可見的，對齊選項6是對應於一個零或至少非常小的失準，因為對於對齊編號6的差值是零。其它對齊選項是分別對應於不同的失準，例如沿著所述影像幀的一軸的一線性失準。如同所述差異圖案的量測的尺寸是隨著所述失準而改變，因此根據所述差異圖案來預測所述失準是可能的，其亦可能根據有關所述失準的方向的資訊。方向性資訊可以從差異圖案(例如，根據兩個或多個對齊的差異圖案)的導數或差值的計算來獲得的。
參考圖6，一影像處理裝置600的實施例的一概要方塊圖被展示。所述影像處理裝置600是被配置以評估所述第一對齊，亦即來自所述第一影像感測器301a的第一串流的影像310a以及來自所述第二影像感測器301b的第二串流的影像310b的對齊。如同在以上所提及的，所述影像處理裝置600可包括所述影像捕捉裝置110(例如所述視訊攝影機325)、一監視攝影機、一網路錄影機、或是一無線通訊裝置。
所述影像處理裝置600可包括一處理模組601，例如一用於執行在此所述的方法的手段。所述手段可以用一或多個硬體模組及/或一或多個軟體模組的形式來體現。
所述影像處理裝置600可以進一步包括一記憶體602。所述記憶體可包括(例如包含或儲存)指令，其例如具有一電腦程式603的形式，其可包括電腦可讀取的碼單元，當在所述影像處理裝置600上執行時，其使得所述影像處理裝置600執行所述方法。
根據某些在此的實施例，所述影像處理裝置600及/或所述處理模組601包括一處理電路604以作為一例證的硬體模組，其可包括一或多個處理器。於是，所述處理模組601可以用所述處理電路604的形式來體現、或是藉由所述處理電路604來‘實現’。所述指令可以是可藉由所述處理電路604執行的，藉此所述影像處理裝置600是操作以執行圖4的方法。作為另一例子的是，所述指令當藉由所述影像處理裝置600及/或所述處理電路604執行時，可以使得所述影像處理裝置600執行根據圖4的方法。
考慮到以上，在一例子中，其設置有一影像處理裝置600，以用於評估所述第一對齊，亦即來自所述第一影像感測器301a的第一串流的影像310a以及來自所述第二影像感測器301b的第二串流的影像310b的對齊。同樣地，所述記憶體602包含可藉由所述處理電路604執行的指令，藉此所述影像處理裝置600是操作以用於執行根據圖4的方法：
根據所述第一對齊來對齊來自所述第一影像感測器301a的第一串流的影像310a的第一影像幀311a以及來自所述第二影像感測器301b的第二串流的影像310b的另一第一影像幀311b，並且根據所述第一對齊來對齊所述第一串流的影像310a的第二影像幀312a以及所述第二串流的影像310b的另一第二影像幀312b。
藉由根據所述第一混合函數來混合在所述第一以及另一第一影像幀311a、311b的第一混合區域331a中的對齊的第一影像幀311a以及另一第一影像幀311b以獲得所述第一拼接影像幀321，並且藉由根據與所述第一混合函數不同的第二混合函數來混合在所述第二以及另一第二影像幀312a、312b的第二混合區域331b中的對齊的第二影像幀312a以及所述另一第二影像幀312b以獲得所述第二拼接影像幀322。
根據所述第一拼接幀321以及所述第二拼接幀322的像素值計算出的差異圖案來評估所述第一對齊。所述差異圖案是根據在所述個別的第一及第二拼接影像幀321、322中的所述第一及第二混合區域331a、331b的至少一靜態部分334。
所述影像處理裝置600可以進一步操作以執行根據以上關連圖4所述的詳細實施例的方法。
圖6進一步描繪一載體605或是程式載體，其包括就在以上所述的電腦程式603。所述載體605可以是電子信號、光學信號、無線電信號以及電腦可讀取的媒體中之一。
在某些實施例中，所述影像處理裝置600及/或所述處理模組601可包括一對齊模組610、一獲得模組620、一評估模組630、以及一選擇模組640中的一或多個，作為例證的硬體模組。在其它例子中，前述例證的硬體模組中的一或多個可被實施為一或多個軟體模組。
再者，所述處理模組601可包括一輸入/輸出單元606。根據一實施例，所述輸入/輸出單元606可包括所述第一及第二影像感測器301a、301b，其被配置以用於捕捉上述的影像幀，例如所述第一影像幀311a以及所述另一第一影像幀311b。
於是，所述影像處理裝置600是被配置以用於評估來自所述第一影像感測器301a的第一串流的影像310a以及來自所述第二影像感測器301b的第二串流的影像310b的對齊。
因此，根據上述的各種實施例，所述影像處理裝置600及/或所述處理模組601及/或所述對齊模組610是被配置以根據所述第一對齊來對齊來自所述第一影像感測器301a的第一串流的影像310a的第一影像幀311a以及來自所述第二影像感測器301b的第二串流的影像310b的另一第一影像幀311b，並且根據所述第一對齊來對齊所述第一串流的影像310a的第二影像幀312a以及所述第二串流的影像310b的另一第二影像幀312b。
所述影像處理裝置600及/或所述處理模組601及/或所述對齊模組610可以進一步被配置以根據所述第二對齊來對齊所述第一影像幀311a以及所述另一第一影像幀311b，並且根據所述第二對齊來對齊所述第二影像幀312a以及所述另一第二影像幀312b，以用於例如藉由判斷所述第二對齊的對齊程度來評估所述第二對齊。
所述影像處理裝置600及/或所述處理模組601及/或所述獲得模組620是被配置以藉由根據所述第一混合函數333a來混合在所述第一以及另一第一影像幀311a、311b的第一混合區域331a中的對齊的第一影像幀311a以及另一第一影像幀311b來獲得所述第一拼接影像幀321，並且藉由根據與所述第一混合函數333a不同的第二混合函數333b來混合在所述第二以及另一第二影像幀312a、312b的第二混合區域331b中的對齊的第二影像幀312a以及所述另一第二影像幀312b來獲得所述第二拼接影像幀322。
所述影像處理裝置600及/或所述處理模組601及/或所述評估模組630可被配置以根據所述第一拼接幀321以及所述第二拼接幀322的像素值計算出的差異圖案來評估所述第一對齊根據。所述差異圖案是根據在所述個別的第一及第二拼接影像幀321、322中的第一及第二混合區域331a、331b的至少一靜態部分334。
所述評估可以藉由根據所述差異圖案來判斷所述第一對齊的對齊程度來加以執行。
所述差異圖案可以根據在所述第一拼接幀321以及所述第二拼接幀的對應的像素的值之間的差值而被計算出。在某些其它實施例中，其是在所述第一拼接幀321以及所述第二拼接幀322的對應的像素的加權的值之間的差值。
在某些實施例中，根據所述差異圖案來評估所述第一對齊包括根據所述差異圖案以及進一步根據所述第一拼接幀321或是所述第二拼接幀322的對應的像素的值的任一個來計算在所述至少一靜態部分334之內的第一影像幀311a以及另一第一影像幀311b的個別的重建，並且接著將所述個別的重建與彼此比較。
所述影像處理裝置600及/或所述處理模組601及/或所述選擇模組640可被配置以根據評估所述第一對齊來從複數個對齊選擇一對齊。在某些實施例中所述影像處理裝置600及/或所述處理模組601及/或所述選擇模組640是被配置以根據所述第一及第二差異圖案中之最小的差異圖案，來從所述第一對齊以及所述第二對齊選擇一對齊。
如同在此所用的，所述術語“模組”可以是指一或多個功能模組，所述功能模組的每一個都可被實施為一或多個硬體模組、及/或一或多個軟體模組、及/或一組合的軟體/硬體模組。在某些例子中，所述模組可以代表一被實現為軟體及/或硬體的功能單元。
如同在此所用的，所述術語“電腦程式載體”、“程式載體”、或是“載體”可以是指一電子信號、一光學信號、一無線電信號、以及一電腦可讀取的媒體中之一。在某些例子中，所述電腦程式載體可能排除暫態的傳播信號，例如是所述電子、光學、及/或無線電信號。因此，在這些例子中，所述電腦程式載體可以是一非暫態的載體，例如是一非暫態的電腦可讀取的媒體。
如同在此所用的，所述術語“處理模組”可包含一或多個硬體模組、一或多個軟體模組、或是其之一組合。任何此種模組(不論是一硬體、軟體、或是一組合的硬體-軟體模組)都可以是如同在此所揭露的一對齊手段、獲得手段、評估手段、選擇手段或類似者。舉例而言，所述詞語“手段”可以是一對應於以上所列出的模組結合所述圖的模組。
如同在此所用的，所述術語“軟體模組”可以是指一軟體應用程式、一動態連結函式庫(DLL)、一軟體構件、一軟體物件、一根據元件物件模型(COM)的物件、一軟體構件、一軟體函數、一軟體引擎、一可執行的二進位軟體檔、或類似者。
所述術語“處理模組”或“處理電路”在此可以涵蓋一處理單元，其包括例如一或多個處理器、一特殊應用積體電路(ASIC)、一現場可程式化閘陣列(FPGA)、或類似者。所述處理電路或類似者可包括一或多個處理器核心。
如同在此所用的，所述詞語“被配置以/用於”可以表示一處理電路被配置以(例如是適配於或操作以)藉由軟體的配置及/或硬體的配置，來執行在此所述的動作中的一或多個。
如同在此所用的，所述術語“動作”可以是指一動作、一步驟、一操作、一響應、一反應、一活動或類似者。應該注意到的是，一動作在此可以分開成為兩個或多個子動作，此視情況而定。再者，同樣視情況而定的是，應該注意到在此所述的動作中的兩個或多個可以合併成為單一動作。
如同在此所用的，所述術語“記憶體”可以是指一硬碟、一磁性儲存媒體、一可攜式電腦碟片或光碟、快閃記憶體、隨機存取記憶體(RAM)、或類似者。再者，所述術語“記憶體”可以是指一處理器的一內部暫存器記憶體、或類似者。
如同在此所用的，所述術語“電腦可讀取的媒體”可以是一萬用串列匯流排(USB)記憶體、一DVD-碟片、一藍光碟片、一被接收為一資料串流的軟體模組、一快閃記憶體、一硬碟機、一例如是一MemoryStick的記憶卡、一多媒體卡(MMC)、安全數位(SD)卡、等等。前述的電腦可讀取的媒體的例子中的一或多個可被提供為一或多個電腦程式產品。
如同在此所用的，所述術語“電腦可讀取的碼單元”可以是一電腦程式的文字、代表一電腦程式的具有一編譯的格式或是任何介於其間的一整個二進位檔或是部分。
如同在此所用的，所述術語“數目”及/或“值”可以是任意種類的數目，例如是二進位、實數、虛數或是有理數、或類似者。再者，“數目”及/或“值”可以是一或多個字元，例如是一字母或是一串字母。“數目”及/或“值”亦可以藉由一串位元(亦即0及/或1)來加以表示。
如同在此所用的，所述詞語“在某些實施例中”已經被用來指出所述的實施例的特點可以和在此揭露的任何其它實施例組合。
即使各種特點的實施例已經加以敘述，但是其之許多不同的改變、修改與類似者對於熟習此項技術者而言將會變成是明顯的。因此，所述實施例並非打算要限制本揭露內容的範疇。
110:影像捕捉裝置 120:視訊攝影機 130:智慧型手機 140:汽車 201:數位影像 220:視訊攝影機 250:視訊網路系統 260:視訊伺服器 270:視訊儲存體 280:螢幕 300:成像系統 301a:第一影像感測器 301b:第二影像感測器 302:影像處理管線 302a:影像處理部分 302b:視訊後置處理部分 303:編碼器 310a:第一串流的影像 310b:第二串流的影像 310c:拼接的影像串流 311a:第一影像幀 311b:另一第一影像幀 312a:第二影像幀 312b:另一第二影像幀 321:第一拼接影像幀 322:第二拼接影像幀 325:視訊攝影機 328:重疊的視野 330:靜態物體 331a:第一混合區域 331b:第二混合區域 332a:第一重疊的區域 332b:第二重疊的區域 333a:第一混合函數 333b:第二混合函數 334:靜態部分 334a:第一靜態部分 334b:第二靜態部分 401a:動作 401b:動作 402:動作 403:動作 404:動作 405:動作 406:動作 407:動作 408:動作 409:動作 410:動作 600:影像處理裝置 601:處理模組 602:記憶體 603:電腦程式 604:處理電路 605:載體 606:輸入/輸出單元 610:對齊模組 620:獲得模組 630:評估模組 640:選擇模組
在圖式中，出現在某些實施例中的特點是藉由虛線來指出。
在此揭露的實施例的各種特點(包含其之特殊的特點及優點)從以下的詳細說明及所附的圖式將會容易理解，其中： [圖1]是描繪在此例如是影像捕捉裝置的一影像處理裝置的例證實施例的概觀， [圖2]是描繪一包括影像處理裝置的視訊網路系統的例證實施例， [圖3a]是描繪在此的例證實施例的概觀， [圖3b]是描繪在此的例證實施例的概觀， [圖3c]是描繪在此的例證實施例的概觀， [圖3d]是描繪兩個影像幀的拼接的例證實施例， [圖3e]是描繪一混合函數的例證實施例， [圖3f]是描繪多個混合函數的例證實施例， [圖4]是描繪在一影像處理裝置中的一種方法的實施例的流程圖， [圖5]是描繪差值的一量測為對齊的一函數， [圖6]是描繪所述影像處理裝置的實施例的方塊圖。
401a:動作
401b:動作
402:動作
403:動作
404:動作
405:動作
406:動作
407:動作
408:動作
409:動作
410:動作

Claims (14)

  1. 一種用於評估來自第一影像感測器(301a)的第一串流的影像(310a)以及來自第二影像感測器(301b)的第二串流的影像(310b)的對齊之方法，其是藉由影像處理裝置(110、600)來執行的，其中所述第一及第二影像感測器(301a、301b)具有重疊的視野，其中所述方法包括： 根據第一對齊來對齊(401a)所述第一串流的影像(310a)的第一影像幀(311a)以及所述第二串流的影像(310b)的另一第一影像幀(311b)， 根據所述第一對齊來對齊(401b)所述第一串流的影像(310a)的第二影像幀(312a)以及所述第二串流的影像(310b)的另一第二影像幀(312b)， 藉由根據第一混合函數(333a)來混合在所述第一以及另一第一影像幀(311a、311b)的第一混合區域(331a)中的所述對齊的第一影像幀(311a)以及另一第一影像幀(311b)以獲得(402)第一拼接影像幀(321)， 藉由根據第二混合函數(333b)來混合在所述第二以及另一第二影像幀(312a、312b)的第二混合區域(331b)中的所述對齊的第二影像幀(312a)以及所述另一第二影像幀(312b)以獲得(403)第二拼接影像幀(322)，並且其中所述方法特徵在於： 根據所述第一拼接幀(321)以及所述第二拼接幀(322)的對應的像素的值計算出的差異圖案來評估(406)所述第一對齊，其中所述對應的像素是內含在所述個別的第一及第二拼接影像幀(321、322)中的所述第一及第二混合區域(331a、331b)的至少一靜態部分(334)之內，並且其中所述方法進一步特徵在於： 所述第二混合函數(333b)是不同於所述第一混合函數(333a)，以及 所述第一混合函數(333a)是定義所述對齊的第一影像幀(311a)以及所述另一第一影像幀(311b)的個別的混合權重為在所述第一混合區域(331a)中的像素位置的函數，以及 所述第二混合函數(333b)是定義所述對齊的第二影像幀(312a)以及所述另一第二影像幀(312b)的個別的混合權重為在所述第二混合區域(331b)中的像素位置的函數。
  2. 如請求項1之方法，其中所述第一及第二影像感測器(301a、301b)是內含在同一影像捕捉裝置(110)中，並且其中所述第一影像幀(311a)以及所述另一第一影像幀(311b)已經在相同或類似的第一時點被捕捉，並且其中所述第二影像幀(312a)以及所述另一第二影像幀(312b)已經在相同或類似的與所述第一時點不同的第二時點被捕捉。
  3. 如請求項1至2之任一項之方法，其中所述差異圖案是根據以下而被計算出 a.在所述第一拼接幀(321)以及所述第二拼接幀(322)的對應的像素的值之間的差值；及/或 b.在所述第一拼接幀(321)以及所述第二拼接幀(322)的對應的像素的加權的值之間的差值。
  4. 如請求項1至3之任一項之方法，其中根據所述差異圖案來評估所述第一對齊包括： 根據所述差異圖案以及進一步根據所述第一拼接幀(321)或是所述第二拼接幀(322)的對應的像素的值的任一個來計算在所述至少一靜態部分(334)之內的所述第一影像幀(311a)以及所述另一第一影像幀(311b)的個別的重建；以及 所述個別的重建與彼此做比較。
  5. 如請求項1至4之任一項之方法，其中根據所述差異圖案來評估所述第一對齊包括比較所述差異圖案與臨界值。
  6. 如請求項1至5之任一項之方法，其進一步包括：根據評估所述第一對齊來從複數個對齊選擇(408)一對齊。
  7. 如請求項1至6之任一項之方法，其中所述差異圖案是高於臨界值，所述方法進一步包括： 根據第二對齊來對齊(401a)所述第一影像幀(311a)以及所述另一第一影像幀(311b)，以及 根據所述第二對齊來對齊(401b)所述第二影像幀(312a)以及所述另一第二影像幀(312b)，以用於評估所述第二對齊。
  8. 如請求項7之方法，其進一步包括： 根據第二差異圖案來評估(406)所述第二對齊，所述第二差異圖案是根據利用所述第二對齊以及第一混合函數(333a)獲得的所述第一拼接影像幀(321)的像素的值、以及利用所述第二對齊以及所述第二混合函數(333b)獲得的所述第二拼接影像幀(322)的像素的值而被計算出的，以及 根據所述第一及第二差異圖案中之最小的差異圖案來選擇(410)所述第一對齊以及所述第二對齊中之一對齊。
  9. 如請求項8之方法，其中所述第一及第二差異圖案中之所述最小的差異圖案是包括在所述第一混合區域(331a)的所述靜態部分(334)以及所述第二混合區域(331b)的所述靜態部分(334)之間的最小的差值。
  10. 如請求項1至9之任一項之方法，其是在所述影像處理裝置(110、600)的執行時間執行所述方法。
  11. 一種影像處理裝置(110、600)，其被配置以執行如請求項1至10之任一項之方法。
  12. 如請求項11之影像處理裝置(110、600)，其包括影像捕捉裝置(110)，例如是攝影機、監控攝影機、監視攝影機或攝錄放影機、網路錄影機、以及無線通訊裝置的任一個。
  13. 一種電腦程式(603)，其包括電腦可讀取的碼單元，當所述電腦可讀取的碼單元在影像處理裝置(110、600)上執行時，其使得所述影像處理裝置(110、600)執行如請求項1至10之任一項之方法。
  14. 一種載體(605)，其包括如前述請求項之電腦程式，其中所述載體(605)是電子信號、光學信號、無線電信號以及電腦可讀取的媒體中之一。
TW111102397A 2021-02-01 2022-01-20 用於評估拼接影像之對齊之方法和影像處理裝置 TW202232934A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21154578.5A EP4036851B1 (en) 2021-02-01 2021-02-01 Method and image-processing device for evaluating an alignment of stitched images
EP21154578.5 2021-02-01

Publications (1)

Publication Number Publication Date
TW202232934A true TW202232934A (zh) 2022-08-16

Family

ID=74494813

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111102397A TW202232934A (zh) 2021-02-01 2022-01-20 用於評估拼接影像之對齊之方法和影像處理裝置

Country Status (6)

Country Link
US (1) US20220245760A1 (zh)
EP (1) EP4036851B1 (zh)
JP (1) JP2022119712A (zh)
KR (1) KR20220111203A (zh)
CN (1) CN114845068A (zh)
TW (1) TW202232934A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024107200A1 (en) * 2022-11-18 2024-05-23 Zeku, Inc. Multi-sensor image processing on mobile devices and method of operating the same
CN116156342B (zh) * 2023-04-04 2023-06-27 合肥埃科光电科技股份有限公司 多线阵图像传感器拼接方法、线阵采像系统及装置
CN116362973B (zh) * 2023-05-24 2023-09-19 武汉智筑完美家居科技有限公司 图案拼接方法、设备及存储介质
CN118195915B (zh) * 2024-02-05 2024-09-10 钛玛科（北京）工业科技有限公司 图像拼接方法、装置、电子设备及介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8600193B2 (en) 2008-07-16 2013-12-03 Varian Medical Systems, Inc. Image stitching and related method therefor
US8509565B2 (en) * 2008-12-15 2013-08-13 National Tsing Hua University Optimal multi-resolution blending of confocal microscope images
US9143703B2 (en) * 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US9076238B2 (en) * 2013-08-21 2015-07-07 Seiko Epson Corporation Intelligent weighted blending for ultrasound image stitching
US9740959B2 (en) * 2015-03-13 2017-08-22 Trimble Inc. Acceleration of exposure fusion with pixel shaders
US9767387B2 (en) * 2015-09-09 2017-09-19 Accenture Global Services Limited Predicting accuracy of object recognition in a stitched image
GB201615776D0 (en) * 2016-09-16 2016-11-02 Rolls Royce Plc Spatiotemporal registation of image streams
US10863105B1 (en) * 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management

Also Published As

Publication number Publication date
EP4036851B1 (en) 2024-07-31
EP4036851C0 (en) 2024-07-31
JP2022119712A (ja) 2022-08-17
US20220245760A1 (en) 2022-08-04
CN114845068A (zh) 2022-08-02
EP4036851A1 (en) 2022-08-03
KR20220111203A (ko) 2022-08-09

Similar Documents

Publication Publication Date Title
TW202232934A (zh) 用於評估拼接影像之對齊之方法和影像處理裝置
US11475238B2 (en) Keypoint unwarping for machine vision applications
US11094043B2 (en) Generation of high dynamic range visual media
Wang et al. Practical deep raw image denoising on mobile devices
US10511776B2 (en) Image fusion method and apparatus, and terminal device
US10013764B2 (en) Local adaptive histogram equalization
US9955056B2 (en) Real time calibration for multi-camera wireless device
US8964041B2 (en) System and method for video stabilization of rolling shutter cameras
US20160165134A1 (en) Feature Based High Resolution Motion Estimation from Low Resolution Images Captured Using an Array Source
CN104392416B (zh) 一种运动场景的视频拼接方法
JP2015173430A (ja) 投影システム、半導体集積回路、および画像補正方法
WO2018126050A1 (en) Camera-assisted automatic screen fitting
Cho et al. Single‐shot High Dynamic Range Imaging Using Coded Electronic Shutter
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
US11228723B2 (en) Pixel correction
Huang et al. High-Fidelity Hyperspectral Snapshot of Physical World: System Architecture, Dataset and Model
Rebiere et al. Color Pixel Reconstruction for a Monolithic RGB-Z CMOS Imager
Lasang et al. CFA-based motion blur removal using long/short exposure pairs
Zhao et al. Low-light image enhancement based on normal-light image degradation
Abdelhamed Noise Modelling for Smartphone Cameras
US20240205558A1 (en) Method and image-processing device for determining a lens distortion correction for an interchangeable camera lens
Qiao et al. Robust HDR reconstruction using 3D patch based on two-scale decomposition
CN113034553A (zh) 图像配准算法的评估方法、终端及存储介质
Matsuyama et al. Multi-camera systems for 3d video production
Lei et al. Efficient geometric, photometric, and temporal calibration of an array of unsynchronized video cameras