TW201619910A - 監控系統及其影像處理方法 - Google Patents

監控系統及其影像處理方法 Download PDF

Info

Publication number
TW201619910A
TW201619910A TW103139705A TW103139705A TW201619910A TW 201619910 A TW201619910 A TW 201619910A TW 103139705 A TW103139705 A TW 103139705A TW 103139705 A TW103139705 A TW 103139705A TW 201619910 A TW201619910 A TW 201619910A
Authority
TW
Taiwan
Prior art keywords
images
image
geometric relationship
pair
splicing
Prior art date
Application number
TW103139705A
Other languages
English (en)
Other versions
TWI554976B (zh
Inventor
林哲聰
林昱成
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW103139705A priority Critical patent/TWI554976B/zh
Priority to US14/586,715 priority patent/US9734427B2/en
Publication of TW201619910A publication Critical patent/TW201619910A/zh
Application granted granted Critical
Publication of TWI554976B publication Critical patent/TWI554976B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

一種監控系統及其影像處理方法，其基於複數組監控攝影機所擷取之複數張影像，將部份影像半透明化的與其它影像融合，部份影像與其它影像依攝影機彼此之相對空間幾何關係拼接，使得監控複數組監控攝影機所拍攝之場域不需一一觀看複數張影像。

Description

監控系統及其影像處理方法及其電腦程式產品
本揭露係有關於影像監控系統及其相關影像處理方法，特別是有關於一種可利用影像拼接與融合技術來拼接多個影像之透視化直覺監控系統及其相關影像處理方法。
監控系統一般係應用於社會安全防治、交通管理，甚至是娛樂旅遊等方面。在日常生活中，特定空間如停車場等有需要被監視的空間，即使此特定空間中佈滿許多監視攝影機，停車場中單一攝影機往往無法一覽整體環境，因而必須藉由安裝多個監視攝影機才得以完整監控停車場整體之安全性，而監控人員在監視過程視線由於必須持續在多個畫面中切換，因而無法或即時發現有需被關注的特殊事件(例如：發生搶劫或人員暈倒等需立即處理的事件)，而這樣的情況，可以被視為因視覺疲勞產生的視覺盲點。此外，對這樣的系統來說，若是非專業監控人員觀看複數組攝影影像，往往無法快速地的理解各監控畫面內容與監控空間中的對應關係，因而無法快速定位出發生問題的地點。
目前的監控系統雖有一影像拼接方法利用兩影像重 疊部份完成雙影像之拼接以加大可視區域，但其並無法在單一畫面中完成更大範圍場域之監控。目前更有一監視攝影機其利用拍攝高解析度畫面供使用者在一個一般螢幕上做到虛擬PTZ(Pan/Tilt/Zoom)攝影機，使大監視區域內清楚的小範圍監視變得可能，此攝影機雖可在單一畫面顯示更清楚的部份特定監視空間供使用者觀看，但即便監控空間中佈建了多個PTZ攝影機，其亦無法做到以較少影像完整的觀看整個場域。另一技術其利用一第一攝影機擷取靜態大視角之影像，一第二PTZ攝影機動態地監視特定區域以形成可視範圍較大之影像，然而，其亦無法形成一目瞭然之監控畫面。
有鑑於此，本揭露提供一種可透視化直覺影像監控系統及其相關影像處理方法。
本揭露的一實施例提供一種影像處理方法，適用於一監控系統，其中監控系統包括複數影像擷取單元。包括下列步驟：擷取不同來源之複數張影像；對影像進行一對應點偵測，得到影像之複數共同特徵點；依據影像之共同特徵點，決定影像彼此間之空間幾何關係；以及依據影像彼此間之空間幾何關係，融合及/或拼接影像，產生融合過後之至少一合成影像。
本揭露另一實施例提供一種監控系統，包括：複數影像擷取單元以及一處理單元。影像擷取單元係用以擷取複數張影像。處理單元係耦接至影像擷取單元，用以透過影像擷取單元擷取不同來源之複數張影像，對影像彼此間進行一對應點偵測，得到影像之複數共同特徵點，依據影像之共同特徵點，決定影像 彼此間之空間幾何關係，並依據影像彼此間之空間幾何關係，融合及/或拼接影像，產生融合過後之至少一合成影像。
本揭露之上述方法可經由本揭露之裝置或系統來實作，其為可執行特定功能之硬體或韌體，亦可以透過程式碼方式收錄於一紀錄媒體中，並結合特定硬體來實作。當程式碼被電子裝置、處理器、電腦或機器載入且執行時，電子裝置、處理器、電腦或機器變成用以實行本揭露之裝置或系統。
100‧‧‧監控系統
110、110a-110f‧‧‧影像擷取單元
120‧‧‧處理單元
130‧‧‧儲存裝置
B1-B6‧‧‧障礙物
A-F‧‧‧影像
S402、S404、S406、S408‧‧‧步驟
S802、S804‧‧‧步驟
S902、S904‧‧‧步驟
S1002、S1004、S1006‧‧‧步驟
第1圖係顯示本揭露一實施例之監控系統之示意圖；第2圖係顯示本揭露一實施例之監控系統之影像擷取單元配置架構之示意圖；第3圖係顯示本揭露第2圖之實施例之配置架構下，各影像擷取單元擷取之圖與結果示意圖；第4圖係顯示本揭露另一實施例之影像處理方法之流程圖；第5A圖與第5B圖係顯示本揭露一實施例之圓柱投影示意圖；第6圖係顯示本揭露一實施例之影像拼接示意圖；第7圖係顯示本揭露一實施例之影像融合示意圖；第8圖係顯示本揭露另一實施例之影像處理方法之流程圖；第9圖係顯示本揭露一實施例之影像前處理之流程圖；以及第10圖係顯示本揭露一實施例之影像對應關係演算法之流程圖。
為讓本揭露之上述和其他目的、特徵、和優點能更 明顯易懂，下文特舉出較佳實施例，並配合所附圖式，作詳細說明如下：
本揭露實施例提供一種透視化直覺影像監控系統及其相關影像處理方法，其利用影像拼接與影像對位技術融合複數個攝影機所拍攝到的影像，利用多個攝影機所共同觀看之背景對應點或物，推斷攝影機彼此之空間幾何關係或是空間位置之相對關係，以完成複數張影像拼接以及融合之目的，而產生的影像可供使用者在單一畫面中監看整個場域，使得整個監控場域的監控只需單一影像，或小於原始影像數的複數組畫面即可實現，令使用者可快速地瞭解監視畫面與監控場域之空間幾何關係而不需切換攝影機或眼睛不斷在複數個螢幕中來回移動，達到單一畫面全域監控之效果。
具體來說，本案之影像處理方法可利用多個攝影機110所共同觀看之背景對應點或物推斷攝影機110彼此之空間幾何關係以完成複數張影像拼接以及融合，進而可供監控者在單一畫面中見看整個場域的合成影像。其中，合成影像中部份影像將依空間幾何關係半透明化的出現在其它影像中，部份影像依空間幾何關係與其它影像拼接。
第1圖顯示依據本揭露實施例之監控系統之示意圖。如第1圖所示，監控系統100至少包括複數影像擷取單元110、一處理單元120、以及一儲存裝置130。影像擷取單元110(例如：攝影機)係用以擷取/錄製一監視影像。其中，各個影像擷取單元110可分別設置在一特定監視區域，例如一停車場或大樓的不同位置且各個影像擷取單元110所擷取的監視影像可為此特定監視區 域的一部份影像，用以輔助對特定監視區域的監控管理。舉例來說，影像擷取單元110可為一紅外線影像擷取裝置、一光電耦合元件或一互補式金氧半導體光學感測元件之其中一者或其任意組合，但本揭露不限於此。
處理單元120係耦接至所有影像擷取單元110與儲存裝置130，可從儲存裝置130中載入並執行指令集及/或程式碼，以依據各個影像擷取單元110所擷取到的影像執行本案所述之影像處理方法，其細節將於後進行說明。處理單元120可為通用處理器、微處理器(Micro-Control Unit，MCU)、影像處理器或數位訊號處理器(Digital Signal Processor，DSP)等，用以提供資料處理及運算之功能。儲存裝置13可為非揮發性儲存媒體(例如：唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟、光碟等)、揮發性儲存媒體(例如：隨機存取記憶體(Radom Access Memory，RAM))、或兩者之任意組合，用以儲存相關資料，例如運算過程中的中間資料及結果矩陣資料等。
明確來說，處理單元120可根據特定演算法與原則，利用多個影像擷取單元110所共同觀看之背景對應點或物推斷各個影像擷取單元110彼此之相對位置空間幾何關係，並據此位置空間幾何關係以完成複數張影像拼接以及融合，進而可供監控者在單一畫面中見看整個場域的合成影像。其中，合成影像中部份影像將依空間幾何關係半透明化的出現在其它影像中，部份影像依空間幾何關係與其它影像拼接。其中，各影像擷取單元110所擷取之影像的空間幾何關係可分為縱向成對與橫向相鄰的幾何關係。具有縱向成對幾何關係的兩影像又稱為縱向成對影像，而具有橫 向相鄰幾何關係的兩影像又稱為橫向成對影像。
舉例來說，在一複數單向監控且影像擷取單元110為攝影機的實施例中，如第2圖所示，六個攝影機110a、110b、110c、110d、110e、110f分別設置於障礙物B1-B6的適當位置，用以提供障礙物B1-B6的監視影像，障礙物B4的後方有一物件(例如：車子、特定目標物或其他需要監控的物件等)。其中，如圖所示，實線a1、a2係用以表示攝影機110a的大致可視角度，實線b1、b2係用以表示攝影機110b的大致可視角度，實線c1、c2係用以表示攝影機110c的大致可視角度。類似地，實線d1-d2、e1-e2與f1-f2分別用以表示攝影機110d、110e、110f的大致可視角度。於此實施例中，橫向相鄰攝影機110a、110b、110c之拍攝內容彼此具有重疊區，離背景較近之縱向攝影機110d、110e、110f分別位於離背景較遠的縱向攝影機110a、110b、110c前方的障礙物後方，且前後縱向攝影機可拍攝到共同之背景，例如：攝影機110a、110b、110c、110d、110e與110f之拍攝內容可分別為如第3圖所示的影像A、B、C、D、E、F。舉例來說，如第3圖所示，影像A為位於障礙物B4前方的攝影機110a所拍攝的內容，其包括障礙物B4的完整影像、障礙物B5的部分影像以及障礙物B4後方的物件的部分影像，影像B為位於障礙物B5前方的攝影機110b所拍攝的內容，其包括障礙物B4的部分影像、障礙物B5的完整影像以及障礙物B4後方的物件的部分影像，而影像C則為位於障礙物B6前方的攝影機110c所拍攝的內容，其包括障礙物B5的部分影像與障礙物B6的完整影像。類似地，影像D為位於障礙物B4後方的攝影機110d所拍攝的內容，其包括障礙物B1的部分影像以及物件的大部分影 像，影像E為位於障礙物B5後方的攝影機110e所拍攝的內容，其包括障礙物B1與B3的部分影像以及障礙物B2的完整影像，而影像F則為位於障礙物B6後方的攝影機110e所拍攝的內容，其包括障礙物B3的大部分或全部影像。可瞭解的是，前述的障礙物數量、攝影機數量及其相關設置位置與影像內容等僅係用以說明，然而本發明並不限於此。於此例中，橫向相鄰攝影機110a與110b之拍攝內容彼此具有重疊區，而前後縱向攝影機110a與110d可拍攝到共同之背景，其中橫向相鄰攝影機110a與110b所對應之影像A與影像B因為橫向相鄰的幾何關係可為橫向成對影像，而前後縱向攝影機110a與110d所對應之影像A與影像D因為前後縱向的幾何關係可為縱向成對影像。處理單元120可依據橫向複數個攝影機彼此藉由影像間的共同觀看背景，推算出兩影像拼接之轉換矩陣，並依據縱向之前後複數個攝影機共同觀看到的背景，推算縱向前後影像間之轉換矩陣。最後，複數個橫向攝影機依對應之轉換矩陣拼接以形成橫向空間更廣的影像，並將該縱向前方影像以其對應之該轉換矩陣與該橫向拼接後影像融合，使得該橫向拼接影像中相對於該前方攝影機所拍攝之障礙物呈現半透明化(參見第3圖，其中半透明化影像係以虛線表示)。
本案實施例是利用影像分析演算法來推斷複數個攝影機彼此所拍攝之像素之關係。參見第2圖，於橫向攝影機與縱向攝影機皆具有重疊拍攝內容之情況下，橫向以及縱向複數個攝影機彼此藉由影像間共同觀看的背景推算影像間之轉換矩陣，接著，融合複數個影像成為單一影像，使得此單一影像較複數個影像中任一影像之視角都更廣，且部份像素變為半透明(如第3圖中 所示的虛線部分影像)，因而可產生得以在單一影像中觀看原先複數個影像的合成影像，如第3圖所示。
於一些實施例中，處理單元120產生前述合成影像的具體流程可至少包括下列步驟：(1)各別影像擷取單元110所擷取的影像間的對應點偵測；(2)影像間基本矩陣估測；(3)使用基本矩陣與隨機抽樣一致演算法(Random Sample Consensus，簡稱RANSAC)去除所找出對應點之錯誤對應點(outlier)；(4)估測各影像與參考影像之複數個單應性(homography)矩陣；(5)依所得之矩陣對複數個影像執行空間幾何轉換；以及(6)將轉換後之複數個影像與參考影像拼接與融合，以產生合成影像。相關細節將於下進行說明。為方便說明，以下實施例中的影像擷取單元110係直接以攝影機為例進行說明，然而，可理解的是，本揭露不限於此。
第4圖顯示本揭露一實施例之影像處理方法之流程圖。請同時參照第1圖與第4圖。依據本揭露實施例之影像處理方法可以適用於一監控系統，舉例來說，可適用於第1圖的監控系統100並由處理單元120加以執行。
首先，如步驟S402，處理單元120透過複數個攝影機110擷取不同來源的複數張影像，並接著如步驟S404，對所擷取到的影像進行一對應點偵測，得到影像的複數共同特徵點。
於一些實施例中，於對影像進行對應點偵測之前，可能選擇性地需要對影像進行一影像前處理操作。影像前處理操作的具體內容請參見第9圖。第9圖係顯示本揭露一實施例之影像前處理之流程圖，其係可由處理單元120所執行。影像前處理操作包括對每一影像進行一扭曲校正(步驟S902)以及一圓柱投影(步 驟S904)，以得到校正與投影後之一投影影像，接著對投影影像進行對應點偵測，得到影像之複數共同特徵點。可理解的是，雖然前述影像前處理操作包括扭曲校正以及圓柱投影兩項操作，然而本發明並不限於此。換言之，於一些實施例中，可依據需求，選擇性地對影像進行如扭曲校正或圓柱投影之影像前處理，以得到一較佳之影像。
舉例來說，當影像擷取單元110為一魚眼攝影機時，所擷取到的影像將會是扭曲的影像，必須先作扭曲校正。接著，在橫向攝影機之影像拼接中，先將影像投影到圓柱上有助於使得拼接效果更為自然，如第5A圖與第5B圖所示，因此，原本位於(x,y)之像素經過投影後之新位置為 其中， θ為XZ上f c 與之夾角；是YZ平面上D與之夾角，而o至原始像素之距離為
於得到影像的複數共同特徵點之後，接著，如步驟S406，處理單元120依據影像之共同特徵點，決定影像彼此間之對應空間幾何關係。其中，各影像擷取單元110所擷取之影像的空間幾何關係可分為縱向成對與橫向相鄰的幾何關係。具有縱向成對幾何關係的兩影像又稱為縱向成對影像，而具有橫向相鄰幾何 關係的兩影像又稱為橫向相鄰影像或橫向成對影像。舉例來說，參閱第2圖與第3圖，如前述，橫向相鄰攝影機110a與110b之拍攝內容彼此具有重疊區，而前後縱向攝影機110a與110d可拍攝到共同之背景，其中橫向相鄰攝影機110a與110b所對應之影像A與影像B因為橫向相鄰的幾何關係可為橫向成對影像且影像A與影像B各為彼此的相鄰影像，而前後縱向攝影機110a與110d所對應之影像A與影像D，因為前後縱向的幾何關係可為縱向成對影像且影像A可為前方影像以及影像D可為後方影像。
其中，每個影像間空間幾何關係的估測必須先使用特徵點偵測。詳細的影像對應關係的計算請參見第10圖。第10圖顯示本揭露一實施例之影像對應關係演算法之流程圖，其係可由處理單元120所執行。
首先，如步驟S1002，處理單元120使用一對應點相關演算法，例如尺度不變特徵轉換(Scale-Invariant Feature Transform,SIFT)演算法或加速強健特徵(Speeded Up Robust Features,SURF)演算法或任何可以求取兩影像間對應點之演算法，來找出橫向攝影機與縱向攝影機所擷取之複數個影像中每一影像內之複數個特徵點，並在橫向相鄰影像以及縱向成對影像之前後影像中進行特徵點匹配，以找出影像中之對應點(Correspondence)。接著，如步驟S1004，處理單元120估測兩畫面間之關係並將其最佳化，由於對應點已知，兩畫面間彼此的關係可由旋轉(Rotation)矩陣與平移矩陣(direction of translation)彼此描述。於一實施例中，依據影像之共同特徵點，決定兩兩影像彼此間之空間幾何關係之步驟可包括：依據影像的複數共同特徵 點，計算對應於這些影像之中任兩者之至少一平移矩陣與至少一旋轉矩陣，以及依據所計算出的平移矩陣與旋轉矩陣，決定影像彼此間之空間幾何關係。舉例來說，假設同一個對應點在前方畫面中的座標為 p =[x,y,1]t，於後方畫面上的座標為 p ’=[x’, y ’,1]t，或著在左方畫面中的座標為 p ，於右方畫面上的座標為 p ’，在以上兩種情境下， p 與 p ’的關係都為 p ' t Fp =0，其中基本矩陣(Fundamental Matrix, F )可用以描述每對對應點間之關係，求解基本矩陣 F 可採用現有習知技術的演算法，例如可為Calibrated Five Point演算法，其細節可參考下列論文D.Nister.An Efficient Solution to the Five-Point Relative Pose Problem.IEEE Trans.Pattern Analy.Machine Intell.,pages 756-770,2004.或是Normalized Eight Point演訴法，其細節可參考下列論文R.I.Hartley.In Defense of the Eight-Point Algorithm.IEEE Trans.Pattern Analy.Machine Intell.,19,1997。求解基本矩陣 F 之後，在攝影機之內參數矩陣(Intrinsic Matrix)已知的情形下，即可求出兩畫面上像素間彼此關係的旋轉(Rotation)矩陣與平移矩陣(direction of translation)。
然而，以上兩演算法其代表最低只需五組對應點或八組對應點即可求解 F ，但在實際應用中，很有可能因為隨機選擇之五組點或八組點恰好為雜訊所干擾卻又被視為同樣的對應點。因此，於一些實施例中，欲加強 F 估算之正確性與強健性，本案更進一步使用一最佳化演算法，如隨機抽樣一致演算法(Random Sample Consensus，簡稱RANSAC)來找出基於統計的觀 點更為適當之 F ，其運作之方式為：假定重覆隨機選取之五組或八組之對應點中，至少一次的選取中所有對應點不為雜訊所汙染，因此重覆的選取五組或八組點即可找出具有最小| p ' t Fp |之 F ，且所有的對應點在此同時也可被分為正確點(inlier)以及錯誤點(outlier)，而這些視為正確點的對應點即可用在稍後之轉換矩陣估測中。
另一方面，在縱向的前後攝影機(例如：第2圖的攝影機110e與110b)中，兩前後攝影機所擷取到的縱向前後影像(例如：第3圖的影像E與影像B)之共軛點(亦即：兩影像光軸中心與投影平面之交點)為判斷 F 之估測是否正確的一個重要依據。若縱向前後影像具有共同看到之背景，且前方影像位於後方影像之障礙物後方，理論上後方影像之共軛點所在的位置必須合理，否則就代表本次 F 的估測結果不佳。明確來說，所謂的合理代表共軛點必須位在後方影像中前方攝影機之所在。假設此共軛點係位於前後影像所共同觀看的背景上，則本次的 F 估測結果則顯然為錯。
縱向成對影像融合所提取的像素理論上是前後共軛點附近的像素，而後方影像之共軛點 e '為 F 之左零向量(left null vector)，前方影像之共軛點 e 為 F 之右零向量(right null vector)，以奇異值分解(Singular Value Decomposition,SVD)求解F即可獲得 e '與 e 。
接著，如第10圖之步驟S1006，處理單元120執行單應性矩陣(homography matrix)之估算與隨機抽樣一致演算法最佳化之步驟。於本實施例中，單應性矩陣(homography matrix)之估算分為橫向影像與縱向影像兩種，在橫向影像之拼接中，每對橫 向相鄰影像必須藉由空間幾何轉換以連結該成對影像像素之重疊部份。於本實施中，使用單應性矩陣來模型化成對影像間像素之關係。一個位於(x,y)之像素，以齊次座標表示，其為 x =[x,y,1]，而經轉換後的位置若為(x’,y’)，同樣的以齊次座標表示 x ’=[x’,y’,1]，則轉換前後之座標可表示為 X ’= Hx ，其中H為一3x3矩陣，欲估測此矩陣中的九個元素最少需給予四組對應點，重新整理此方程式後，其會變成一個齊次方程式，型式為 Ah =0，其中 A 之維度為8x9， h 為9x1也就是 H 中的九個元素，藉由上述SVD分解 A ，我們可以得到 A = UDV t，其中， V 當中對應 D 最小奇異值的列向量(Column Vector)即為其解。以上這種解法稱為直接線性轉換(Direct Linear Transformation,DLT)。
接著，此單應性矩陣之估算使用隨機抽樣一致演算法以求出最佳化解。於一實施例中，單應性矩陣之估算使用隨機抽樣一致演算法以求出最佳化解的具體演算程序為：不斷地隨機選取四組點以求解 h ，並計算除了該四組點之所有點代入| x ’- Hx |所累積之誤差，最後，對應最小誤差的 H ，即為基於統計觀點之最佳 H 。
回到第4圖，於決定影像彼此間之對應空間幾何關係之後，接著，如步驟S408，處理單元120依據影像彼此間之空間幾何關係，融合及/或拼接影像，產生融合過後之至少一合成影像。於此步驟中，影像間的融合也分為橫向與縱向，橫向部份兩 影像之重疊部份之所有像素的融合為了使其自然，其融合的權重必須依照重疊部份像素離兩影像非重疊區域之距離而定，才能使得結果更為自然。於一實施例中，舉例來說，依據影像彼此間之空間幾何關係，融合及/或拼接影像，產生融合過後之至少一合成影像之步驟更包括：依據影像彼此間之位置空間幾何關係，得到至少一包含前後影像的縱向成對影像以及半透明化拼接縱向成對影像之影像中之一特定障礙物，以產生合成影像。於一實施例中，舉例來說，依據影像彼此間之空間幾何關係，融合及/或拼接影像，產生融合過後之至少一合成影像之步驟更包括：依據影像彼此間之空間幾何關係，得到每一對橫向相鄰影像以及對每一對橫向相鄰影像之影像進行拼接，以產生合成影像。
第6圖係顯示本揭露一實施例之影像拼接示意圖。如第6圖所示，假設l 2 為右方影像(IB)在左方影像(IA)的邊界，l 3 為左方影像重疊在右方影像中之右方邊界，介於l 2 與l 3 間之像素，則混合的影像Is可表示為 I s =(1-α) I A +α I B ,其中 縱向前後影像之關係一樣以單應性矩陣來描述，然而其影像融合之目的是半透明化，因此，與橫向影像拼接不同的是轉換完兩影像的重疊像素不為描述相同障礙物之像素，如第7圖所示。第7圖顯示本揭露一實施例之影像融合示意圖。如圖所示，愈靠近重疊區域中央的像素則離攝影機較遠之前方影像( I F)之權重較高，愈 靠近重疊區域邊界之像素則離攝影機較近之後方影像( I H)之權重較高，介於中間之像素則介於兩者之間，也就是 I B =βI H +(1-β) I F ，其中β為融合權重，其定義為 ，其中(p cx ,p cy )為融合中心，為融合後影像的座標。
然此影像融合方式為一實施例，兩影像間之透明程度可為透明、半透明或是介於透明與不透明之任何程度，且其透明程度可與像素之位置相關或是不相關。
接著，可產生一結果影像矩陣記錄最後拼接與融合所產生之影像中的每個像素來自複數個攝影機所擷取的複數張影像中的那些像素的拼接與融合相關資訊並將其儲存於儲存裝置130中。之後，於線上使用監控系統100時，便可從儲存裝置130中取出此結果影像矩陣，並依據影像矩陣的拼接與融合相關資訊產生合成影像。
第8圖顯示本揭露另一實施例之影像處理方法之流程圖。請同時參照第1圖與第8圖。依據本實施例之影像處理方法可以適用於第1圖的監控系統100並由處理單元120加以執行。
首先，如步驟S802，處理單元120透過所有攝影機110提取其所擷取之不同來源之複數組影像，並如步驟S804，從儲存裝置130取出前述離線運算所產生之結果影像矩陣，再依據結果影像矩陣的拼接與融合相關資訊對所擷取到的複數組影像進行影像 之拼接與融合，以產生合成影像，達到本系統之功效。
於一些實施例中，影像擷取單元110可進一步使用有線，如乙太網路作為資訊傳輸之媒介，亦有可能使用Wi-Fi、WiMAX、LTE或是任何能實現傳輸影像擷取單元110所擷取之影像之傳輸裝置。
於一些實施例中，本案之融合所有影像以產生單一透視影像之直觀式監控的合成影像可於一顯示裝置例如電腦螢幕、顯示器，或是智慧型手機等供使用者觀看，此外，本案實施例可安裝於任何有運算能力的裝置，其可為嵌入式系統，如智慧型手機、車用電腦，其運算核心可為單核或多核，且能夠執行一至多種程式指令。
於一些實施例中，在實際應用的場域方面，相異攝影機所拍攝之重疊區域在紋理資訊不夠豐富的情形下，亦可使用人為之校正工具，其可為一平面校正板或已知之立體校正工具，該校正板上之圖案可為棋盤格或是任何易於以電腦視覺演算法自動偵測之最少可提供四個特徵點之已知圖案。於一些實施例中，在縱向攝影機縱向距離過遠使得自動辨識校正圖案變得困難之情形下，亦可在校正畫面以人為的方式給予四個特徵點於兩影像中之位置。
於一些實施例中，當儲存裝置130中已儲存有一特定區域的一預設之場域模型資料，例如一停車場或大樓的3D模型時，本案之影像處理方法係可使用在複數組攝影機所拍攝之複數組影像全部或部份不具有重疊區域之情形，可使用此預設之場域模型作為背景基礎影像，將所有攝影機擷取之影像於適當位置融 合至該場域模型，而該場域模型可為2D、3D或任何足以讓使用者一眼看穿複數組攝影機所監視場域之型式，可進一步提供3D模擬或監控。
因此，依據本揭露之監控系統及其影像處理方法可融合複數組攝影機所擷取的複數組影像，使得監控者的眼神不需在複數組影像中來回轉換，因而可避免因監控者的視覺疲勞所產生之視覺盲點所造成的危害事件與反應不及。此外，依據本揭露之監控系統及其影像處理方法可藉由影像融合，使得全域影像內部份障礙物變得半透明，因而可提供單一影像來監視整個場域，使監控者不需先前知識或先前訓練皆可在影像中快速的理解場域內特定位置與影像之空間幾何關係，進而達到有效監控的目的。
本揭露之方法，或特定型態或其部份，可以以程式碼的型態存在。程式碼可以包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，亦或不限於外在形式之電腦程式產品，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本揭露之裝置。程式碼也可透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本揭露之裝置。當在一般用途處理單元實作時，程式碼結合處理單元提供一操作類似於應用特定邏輯電路之獨特裝置。
雖然本揭露已以較佳實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中包括通常知識者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾。舉例來說， 本揭露實施例所述之系統以及方法可以硬體、軟體或硬體以及軟體的組合的實體實施例加以實現。因此本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
S402、S404、S406、S408‧‧‧步驟

Claims (19)

  1. 一種影像處理方法，適用於一監控系統，包括下列步驟：擷取不同來源之複數張影像；對該等影像進行一對應點偵測，得到該等影像之複數共同特徵點；依據該等影像之該等共同特徵點，決定該等影像彼此間之空間幾何關係；以及依據該等影像彼此間之空間幾何關係，融合及/或拼接該等影像，產生至少一合成影像。
  2. 如申請專利範圍第1項所述之影像處理方法，其中該合成影像係依據該等影像彼此間之空間幾何關係，將該等影像中的部份影像以半透明化與其它影像融合，並將該等影像中的部份影像與其它影像依據該空間幾何關係拼接。
  3. 如申請專利範圍第1項所述之影像處理方法，其中該對該等影像進行該對應點偵測，得到該等影像之複數共同特徵點之步驟更包括：於對該等影像進行該對應點偵測之前，對該等影像進行一影像前處理操作，其中，該影像前處理操作包括選擇性地對每一該等影像進行一扭曲校正以及/或一圓柱投影，以得到一較佳影像，以及對該等較佳影像進行該對應點偵測，得到該等影像之該等 共同特徵點。
  4. 如申請專利範圍第1項所述之影像處理方法，其中依據該等影像之該等共同特徵點，決定該等影像彼此間之空間幾何關係之步驟包括：依據該等共同特徵點，計算對應於該等影像中任兩者之至少一平移矩陣與至少一旋轉矩陣；以及依據所計算出之對應於該等影像之該等平移矩陣與該等旋轉矩陣，決定該等影像彼此間之空間幾何關係。
  5. 如申請專利範圍第1項所述之影像處理方法，其中依據該等影像彼此間之空間幾何關係，融合及/或拼接該等影像，產生至少一合成影像之步驟更包括：依據該等影像彼此間之空間幾何關係，得到至少一包含前後影像的縱向成對影像；以及半透明化拼接該縱向成對影像之該等影像中之一特定障礙物，以產生該合成影像。
  6. 如申請專利範圍第5項所述之影像處理方法，其中得到該等影像之該等共同特徵點之步驟包括：利用一尺度不變特徵轉換演算法或一加速強健特徵演算法求取該縱向成對影像之複數對應點；以一最佳化演算法重覆求解一基本矩陣以濾除該等對應點中之錯誤點，得到該等共同特徵點；且其中半透明化拼接該等影像中之該特定障礙物，以產生該合成影像之步驟包 括：以該最佳化演算法重覆求解一描述該縱向成對影像間像素關係之單應性矩陣；以及以該單應性矩陣融合該縱向成對影像，以產生該合成影像，其中該合成影像中愈接近一重疊區域中心之像素則使用該縱向成對影像中一前方影像之像素，愈接近該重疊區域邊界之像素則使用該縱向成對影像中一後方影像之像素。
  7. 如申請專利範圍第6項所述之影像處理方法，其中該縱向成對影像融合之程度可為完全透明、半透明或是介於完全透明與完全不透明之間。
  8. 如申請專利範圍第1項所述之影像處理方法，其中依據該等影像彼此間之空間幾何關係，融合及/或拼接該等影像，產生至少一合成影像之步驟更包括：依據該等影像彼此間之空間幾何關係，得到每一對橫向相鄰影像；以及對每一該對橫向相鄰影像之該等影像進行拼接，以產生該合成影像。
  9. 如申請專利範圍第5項所述之影像處理方法，其中得到該等影像之該等共同特徵點之步驟包括：利用一尺度不變特徵轉換演算法或一加速強健特徵演算法求取每一該對橫向相鄰影像之對應點；以一最佳化演算法重覆求解一基本矩陣以濾除錯誤對應 點，得到該等共同特徵點；且其中對每一該對橫向相鄰影像之該等影像進行拼接，以產生該合成影像之步驟更包括：以該最佳化演算法重覆求解描述每一該對橫向相鄰影像像素關係之一單應性矩陣；以及以該單應性矩陣拼接每一該等影像與其橫向相鄰影像，以產生該合成影像，其中，每一該對橫向相鄰影像中一重疊區域之像素係依據該像素與該對橫向相鄰影像中兩相鄰影像之邊界之距離決定一拼接權重並依據該拼接權重進行影像拼接。
  10. 一種監控系統，包括：複數影像擷取單元，用以擷取不同來源之複數張影像；以及一處理單元，耦接至該等影像擷取單元，用以透過該等影像擷取單元擷取該等影像，對該等影像進行一對應點偵測，得到該等影像之複數共同特徵點，依據該等影像之該等共同特徵點，決定該等影像彼此間之空間幾何關係，並依據該等影像彼此間之空間幾何關係，融合及/或拼接該等影像，產生至少一合成影像。
  11. 如申請專利範圍第10項所述之監控系統，其中，該等影像擷取單元為紅外線影像擷取裝置、光電耦合元件或互補式金氧半導體光學感測元件之其中一者或其任意組合。
  12. 如申請專利範圍第10項所述之監控系統，其中該處理單元 更於對該等影像進行該對應點偵測之前，對該等影像進行一影像前處理操作，其中，該影像前處理操作包括選擇性對每一該等影像進行一扭曲校正以及/或一圓柱投影，以得到一較佳影像，以及對該等較佳影像進行該對應點偵測，得到該等影像之該等共同特徵點。
  13. 如申請專利範圍第10項所述之監控系統，其中該處理單元更依據該等共同特徵點，計算對應於該等影像中任兩者之至少一平移矩陣與至少一旋轉矩陣，並且依據所計算出之對應於該等影像之該等平移矩陣與該等旋轉矩陣，決定該等影像彼此間之空間幾何關係。
  14. 如申請專利範圍第10項所述之監控系統，其中該處理單元更依據該等影像彼此間之空間幾何關係，得到至少一包含前後影像的縱向成對影像以及半透明化拼接該縱向成對影像之該等影像中之一特定障礙物，以產生該合成影像。
  15. 如申請專利範圍第14項所述之監控系統，其中該處理單元更利用一尺度不變特徵轉換演算法或一加速強健特徵演算法，求取該縱向成對影像之複數對應點，以一最佳化演算法重覆求解一基本矩陣以濾除該等對應點中之錯誤點，得到該等共同特徵點，以該最佳化演算法重覆求解一描述該縱向成對影像間像素關係之單應性矩陣，以該單應性矩陣融合該縱向成對影像，以產生該合成影像，其中該合成影像中愈接近一重疊區域中心之像素則使用該縱向成對影像 中一前方影像之像素，愈接近該重疊區域邊界之像素則使用該縱向成對影像中一後方影像之像素。
  16. 如申請專利範圍第15項所述之監控系統，其中該縱向成對影像融合之程度可為完全透明、半透明或是介於完全透明與完全不透明之間。
  17. 如申請專利範圍第10項所述之監控系統，其中該處理單元更依據該等影像彼此間之空間幾何關係，得到每一對橫向相鄰影像，以及對每一該對橫向相鄰影像之該等影像進行拼接，以產生該合成影像。
  18. 如申請專利範圍第14項所述之監控系統，其中該處理單元依據該等影像彼此間之空間幾何關係，融合該等影像中之該特定障礙物，以產生該合成影像係利用一尺度不變特徵轉換演算法或一加速強健特徵演算法求取每一該對橫向相鄰影像之對應點，以一最佳化演算法重覆求解一基本矩陣以濾除錯誤對應點，得到該等共同特徵點，以該最佳化演算法重覆求解描述每一該對橫向相鄰影像像素關係之一單應性矩陣以及以該單應性矩陣拼接每一該等影像與其橫向相鄰影像，以產生該合成影像，其中，每一該對橫向相鄰影像中一重疊區域之像素係依據該像素與該對橫向相鄰影像中兩相鄰影像之邊界之距離決定一拼接權重並依據該拼接權重進行影像拼接。
  19. 一種電腦程式產品，其係被一機器載入以執行一用於複數 影像擷取單元之影像處理方法，上述電腦程式產品包括：一第一程式碼，用以透過該等影像擷取單元擷取複數張影像；一第二程式碼，用以對該等影像進行一對應點偵測，得到該等影像之複數共同特徵點；一第三程式碼，用以依據該等影像之該等共同特徵點，決定該等影像彼此間之空間幾何關係；以及一第四程式碼，用以依據該等影像彼此間之空間幾何關係，融合及/或拼接該等影像，產生融合過後之至少一合成影像。
TW103139705A 2014-11-17 2014-11-17 監控系統及其影像處理方法 TWI554976B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103139705A TWI554976B (zh) 2014-11-17 2014-11-17 監控系統及其影像處理方法
US14/586,715 US9734427B2 (en) 2014-11-17 2014-12-30 Surveillance systems and image processing methods thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103139705A TWI554976B (zh) 2014-11-17 2014-11-17 監控系統及其影像處理方法

Publications (2)

Publication Number Publication Date
TW201619910A true TW201619910A (zh) 2016-06-01
TWI554976B TWI554976B (zh) 2016-10-21

Family

ID=55962874

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103139705A TWI554976B (zh) 2014-11-17 2014-11-17 監控系統及其影像處理方法

Country Status (2)

Country Link
US (1) US9734427B2 (zh)
TW (1) TWI554976B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI653625B (zh) 2017-10-24 2019-03-11 鴻海精密工業股份有限公司 障礙物透視方法及障礙物透視裝置
CN111325753A (zh) * 2018-12-14 2020-06-23 财团法人工业技术研究院 路面影像重建与载具定位的方法与系统
TWI718466B (zh) * 2019-01-07 2021-02-11 先進光電科技股份有限公司 行動載具輔助系統及車輛輔助系統
TWI810950B (zh) * 2022-05-25 2023-08-01 國立高雄科技大學 用於大視野平面視覺量測的校正方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11900305B2 (en) 2014-04-29 2024-02-13 Vivint, Inc. Occupancy identification for guiding delivery personnel
US11049343B2 (en) 2014-04-29 2021-06-29 Vivint, Inc. Techniques for securing a dropspot
US11410221B2 (en) 2014-04-29 2022-08-09 Vivint, Inc. Integrated secure delivery
US10657483B2 (en) * 2014-04-29 2020-05-19 Vivint, Inc. Systems and methods for secure package delivery
KR101618996B1 (ko) * 2014-12-31 2016-05-09 인하대학교 산학협력단 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치
US9721371B2 (en) * 2015-12-02 2017-08-01 Caterpillar Inc. Systems and methods for stitching metallographic and stereoscopic images
TWI601423B (zh) * 2016-04-08 2017-10-01 晶睿通訊股份有限公司 攝影系統及其同步方法
US10021299B2 (en) * 2016-05-31 2018-07-10 Tower Spring Global Limited System and method for image stitching
TWI592020B (zh) * 2016-08-23 2017-07-11 國立臺灣科技大學 投影機的影像校正方法及影像校正系統
KR102560029B1 (ko) * 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
TWI599989B (zh) 2016-11-29 2017-09-21 財團法人工業技術研究院 用於交通工具之影像處理方法及影像系統
CN107154014B (zh) * 2017-04-27 2020-06-26 上海大学 一种实时彩色及深度全景图像拼接方法
TWI657011B (zh) 2017-11-30 2019-04-21 財團法人工業技術研究院 無人機、無人機控制系統及控制方法
US11341607B2 (en) * 2019-06-07 2022-05-24 Texas Instruments Incorporated Enhanced rendering of surround view images
CN110689485B (zh) * 2019-10-14 2022-11-04 中国空气动力研究与发展中心超高速空气动力研究所 一种应用于大型压力容器红外无损检测的sift图像拼接方法
WO2022088072A1 (zh) * 2020-10-30 2022-05-05 深圳市大疆创新科技有限公司 视觉跟踪方法、装置、可移动平台及计算机可读存储介质
CN114630086B (zh) * 2020-12-11 2024-07-02 中强光电股份有限公司 投影系统以及用于影像拼接的取像数量选择方法
CN115659875B (zh) * 2022-12-26 2023-10-17 成都航空职业技术学院 一种棒束燃料组件试验装置及其试验参数获取方法
CN117544862B (zh) * 2024-01-09 2024-03-29 北京大学 一种基于图像矩并行处理的图像拼接方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798923B1 (en) * 2000-02-04 2004-09-28 Industrial Technology Research Institute Apparatus and method for providing panoramic images
US8212872B2 (en) * 2004-06-02 2012-07-03 Robert Bosch Gmbh Transformable privacy mask for video camera images
KR101205842B1 (ko) 2005-10-12 2012-11-28 액티브 옵틱스 피티와이 리미티드 복수 개의 이미지 프레임들에 기초하여 이미지를 형성하기위한 방법, 이미지 처리 시스템, 및 디지털 카메라
CN101467454A (zh) 2006-04-13 2009-06-24 科汀科技大学 虚拟观测器
JP2010519860A (ja) * 2007-02-21 2010-06-03 ピクセル ベロシティー，インク． 広域監視のための拡張可能なシステム
TWI383680B (zh) * 2008-04-10 2013-01-21 Univ Nat Chiao Tung 整合式影像監視系統及其方法
US8270767B2 (en) * 2008-04-16 2012-09-18 Johnson Controls Technology Company Systems and methods for providing immersive displays of video camera information from a plurality of cameras
JP5108837B2 (ja) * 2009-07-13 2012-12-26 クラリオン株式会社 車両用死角映像表示システムと車両用死角映像表示方法
CN101621634B (zh) 2009-07-24 2010-12-01 北京工业大学 动态前景分离的大幅面视频拼接方法
TW201111902A (en) 2009-09-22 2011-04-01 Hon Hai Prec Ind Co Ltd Full screen camera and method for monitoring an object using the full screen camera
TWI393074B (zh) 2009-12-10 2013-04-11 Ind Tech Res Inst 移動物體偵測裝置與方法
KR101172747B1 (ko) * 2010-08-16 2012-08-14 한국표준과학연구원 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
CN101950426B (zh) 2010-09-29 2014-01-01 北京航空航天大学 一种多摄像机场景下车辆接力跟踪方法
CN102065313B (zh) 2010-11-16 2012-10-31 上海大学 平行式相机阵列的未标定多视点图像校正方法
TWI410893B (zh) * 2010-11-22 2013-10-01 Univ Chang Gung 影像對位系統及其方法
US9007432B2 (en) 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
WO2012164339A1 (en) 2011-05-27 2012-12-06 Nokia Corporation Image stitching
US9183631B2 (en) * 2012-06-29 2015-11-10 Mitsubishi Electric Research Laboratories, Inc. Method for registering points and planes of 3D data in multiple coordinate systems
CN103442221A (zh) 2013-08-30 2013-12-11 程治永 一种基于图像缩放及裁减的虚拟ptz系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI653625B (zh) 2017-10-24 2019-03-11 鴻海精密工業股份有限公司 障礙物透視方法及障礙物透視裝置
CN111325753A (zh) * 2018-12-14 2020-06-23 财团法人工业技术研究院 路面影像重建与载具定位的方法与系统
TWI718466B (zh) * 2019-01-07 2021-02-11 先進光電科技股份有限公司 行動載具輔助系統及車輛輔助系統
US12044847B2 (en) 2019-01-07 2024-07-23 Ability opto-electronics technology co., ltd Movable carrier auxiliary system and vehicle auxiliary system
TWI810950B (zh) * 2022-05-25 2023-08-01 國立高雄科技大學 用於大視野平面視覺量測的校正方法

Also Published As

Publication number Publication date
TWI554976B (zh) 2016-10-21
US20160142644A1 (en) 2016-05-19
US9734427B2 (en) 2017-08-15

Similar Documents

Publication Publication Date Title
TWI554976B (zh) 監控系統及其影像處理方法
CN108205797B (zh) 一种全景视频融合方法及装置
US10893251B2 (en) Three-dimensional model generating device and three-dimensional model generating method
CN109242961B (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
KR101994121B1 (ko) 중간 뷰로부터의 효율적인 캔버스 뷰 생성
Swaminathan et al. Nonmetric calibration of wide-angle lenses and polycameras
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
WO2015180659A1 (zh) 图像处理方法和图像处理装置
US20160295108A1 (en) System and method for panoramic imaging
TWI476729B (zh) Dimensional image and three - dimensional model of the combination of the system and its computer program products
US20220078385A1 (en) Projection method based on augmented reality technology and projection equipment
CN106997579B (zh) 图像拼接的方法和装置
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
JP6683307B2 (ja) 多数のカメラを用いた最適の球形映像獲得方法
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
CN110120012A (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
CN111489384B (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
JP2016114445A (ja) ３次元位置算出装置およびそのプログラム、ならびに、ｃｇ合成装置
Ha et al. Embedded panoramic mosaic system using auto-shot interface
JP2006017632A (ja) ３次元画像処理装置、光軸調整方法、光軸調整支援方法
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
TW201603557A (zh) 立體影像處理系統、裝置與方法