TWI764024B - 結合來自複數個攝影機之視圖的方法及攝影機系統 - Google Patents

結合來自複數個攝影機之視圖的方法及攝影機系統

Info

Publication number
TWI764024B
TWI764024B TW108126964A TW108126964A TWI764024B TW I764024 B TWI764024 B TW I764024B TW 108126964 A TW108126964 A TW 108126964A TW 108126964 A TW108126964 A TW 108126964A TW I764024 B TWI764024 B TW I764024B
Authority
TW
Taiwan
Prior art keywords
distance
motion
projection surface
camera
location
Prior art date
Application number
TW108126964A
Other languages
English (en)
Other versions
TW202020815A (zh
Inventor
喬漢 史丹寧
漢普斯 林森
嵩 袁
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202020815A publication Critical patent/TW202020815A/zh
Application granted granted Critical
Publication of TWI764024B publication Critical patent/TWI764024B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A61B6/5241—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本發明係關於一種用於拼接來自經配置以各擷取重疊攝影機視圖之視訊資料之兩個影像感測器之視訊資料之方法及攝影機系統。該方法包括：偵測對應於該等重疊攝影機視圖之該等攝影機視圖中之一區域中之運動；判定一活動距離，即自該兩個影像感測器之定位處之一位置至包含該經偵測運動之一活動位置之距離；在一三維座標系統中，將一預定義投影表面定位於具有對應於該判定活動距離之該等影像感測器之該定位處之該位置與該活動至該投影表面上之投影之一位置之間的一距離之一位置處；將來自該等影像感測器之各者之該視訊資料投影於已定位於該活動距離之該預定義投影表面上；及輸出對應於至該投影表面上之該投影之一二維視訊。

Description

結合來自複數個攝影機之視圖的方法及攝影機系統
本發明係關於一種用於拼接來自複數個攝影機之視訊之方法及攝影機系統。
在一些監視系統中，有興趣監視一大區域之全部(即，不僅僅是該區域之較小部分)。此可使用一廣角透鏡(諸如一魚眼透鏡)完成。然而，該類型之設定可提供具有比由有興趣監視區域一方所需更低之解析度之一視訊或其可為過分昂貴的。魚眼透鏡配置之一替代例係配置各擷取待監視之區域之一部分之一視訊串流之兩個或兩個以上攝影機，及將該等視訊拼接在一起成為一個單一視訊串流。在圖1中，展示兩個攝影機102、104之一實例，其等一起監視大於其等能夠個別地監視的一區域105。
各攝影機分別個別地導向一方向106、108，且擷取係監視區域之整個場景105之一部分之一視圖。圖2描繪來自攝影機102之攝影機視圖且圖3描繪來自攝影機104之攝影機視圖。攝影機可如在圖中般平行導向或其等可導向不同方向，只要其等一起表示較大區域105。在固定攝影機安裝中，將期望使由攝影機102擷取之視訊精確連接至由攝影機104 擷取之視訊。
然而，本質上無法達成且維持如此精確，使得場景之組合變為無縫的兩個攝影機及其等各自經擷取場景之間的一對準。因此，覆蓋一區域之攝影機102、104經配置以在擷取場景時重疊。在本發明中，重疊場景應被解釋為意味著由複數個數位視訊攝影機102、104之一個數位視訊攝影機102擷取之場景包含由另一數位視訊攝影機104擷取之場景之一部分。圖4中描繪此重疊110，此展示拼接在一起之圖2及圖3之影像及兩個影像共有之場景區域110，且重疊區域110由虛線指示。為了擴展觀看區域，如此拼接兩個視訊係相當普遍的且存在許多已知方法來達成此。
然而，表示一拼接視訊之圖4中之拼接影像中存在問題。背景中之房子在不同位置處混合，此係由於兩個影像相對於前景中之道路對準。由攝影機102擷取之房子係標記為112之房子，且由攝影機104擷取之房子係標記為114之房子。房子不同地定位之原因在於兩個攝影機102、104經配置為彼此相距一距離d。兩個攝影機之間的距離d導致兩個攝影機並不自同一點擷取場景且藉此，所得影像中將存在視差。重疊影像中之視差導致一物件之一明顯位移，如自兩個不同觀看點可見。
解決此之一個方式係設立攝影機且使系統識別重疊區域中之特徵。接著，自此等特徵，計算一調整矩陣，該調整矩陣在應用至重疊之影像資料時藉由個別地調整視訊之一圖框中之各像素而補償且實質上移除視訊中之所有視差問題。然而，此一方法存在一缺點。產生調整矩陣所需之計算係非常運算密集的，且因此，在具有有限處理能力之一系統(例如，連接至複數個攝影機用於處理來自此等攝影機之視訊之一網路攝影機、一網路化視訊編碼裝置或一網路化視訊處理裝置)上運行係不切實際 的。再者，攝影機可在其正常白天操作期間稍微重新導向，此係由於其等曝露於惡劣天氣條件或受來自攝影機周圍之區域中之活動衝擊。若攝影機稍微重新導向，則必須計算一新的調整矩陣。
本發明之一個目的係達成一種需要低處理能力且仍遞送重疊區域之可接受視訊之拼接方法。
藉由根據技術方案1之用於拼接來自兩個影像感測器之視訊資料之一方法且藉由根據技術方案12之攝影機系統達成該目的。在附屬技術方案中呈現本發明之進一步實施例。
特定言之，根據本發明之實施例，用於拼接來自經配置以各擷取重疊攝影機視圖之視訊資料之兩個影像感測器之視訊資料之該方法包括：偵測對應於該等重疊攝影機視圖之該等攝影機視圖中之一區域中之運動；判定一活動距離，即自該兩個影像感測器之定位處之一位置至包含該經偵測運動之一活動之距離；在一三維座標系統中，將一預定義投影表面定位於具有對應於該判定活動距離之該等影像感測器之該定位之該位置與該活動至該投影表面上之投影之一位置之間的一距離之一位置處；將來自該等影像感測器之各者之該視訊資料投影至已定位於該活動距離處之該預定義投影表面上；及輸出對應於至該投影表面上之該投影之一二維視訊。
將來自該兩個感測器之該視訊資料投影於在該三維座標系統中定位於與該攝影機相距對應於至經偵測活動之該距離之一距離處之一投影表面上之一個優勢在於可使用有限之處理資源來實現該拼接視訊之良好觀看體驗。該處理能力可歸因於使用一投影表面而保持在一低位準，且 接著藉由選擇性地避免一運動區中之視差效應在視訊體驗中妥協而增強該視訊之體驗品質，該運動區係該視訊之一操作者或觀看者將聚焦之一區。
在其他實施例中，偵測對應於該等重疊攝影機視圖之該等攝影機視圖中之一區域中之運動包含偵測該經擷取視訊之一重疊部分中之移動像素。此特徵之一個優勢在於該運動偵測可在該視訊處理裝置中完成且促進在該視訊中移動之特徵之定位。
在進一步實施例中，該方法可進一步包括自該等重疊攝影機視圖中之像素資料判定該經偵測運動之該活動位置及在該活動距離之判定時使用此活動位置。
在又其他實施例中，一活動位置之該判定係基於該重疊影像資料中之該經偵測運動之一瞬間時刻及將該運動之位置設定為該活動位置。此優勢在於觀看體驗可針對場景改良，其中包含運動之該場景之受關注區域出現在距該攝影機之不同距離處。特定言之，在至該場景中之移動特徵或物件之距離變化傾向於頻繁改變的情況下。
在又其他實施例中，一活動位置之該判定包含在一預定時段期間累加該重疊影像資料中之運動資料及接著，選擇在此時段期間已累加最多運動之一位置作為該活動位置。如此，該觀看體驗可針對其中至該等移動特徵或物件之距離傾向於自一相當穩定之基礎距離變化之場景而改良。
此外，一些實施例包含判定該活動距離，其包含比較該經擷取視訊資料中之該活動位置之該位置與包含至該等影像感測器之各者之一座標系統中之位置之距離之一預定表中之對應位置。此可甚至進一步降低提供改良觀看體驗所需之該處理能力。
在又其他實施例中，該活動距離之該判定包含：接收覆蓋該等重疊場景之一雷達信號；將一雷達回應與該活動位置相關；及自該雷達信號擷取至該活動位置之該距離。
此外，在一些實施例中，判定該活動距離包含計算來自該兩個感測器之該等經擷取影像中之該活動位置之位置差x1-x2。
在一些實施例中，該投影表面可為一平面，在其他實施例中，投影表面可為一圓柱形表面，且又其他實施例中，投影表面可為一球形表面。
根據本發明之另一態樣，一種攝影機系統包括兩個攝影機，其等各包含：一影像感測器；至少一個影像處理裝置；一預定投影表面，其經界定於一三維座標系統中；運動偵測器，其經組態以識別該兩個攝影機之重疊攝影機視圖中之運動；活動距離判定模組，其經組態以判定該活動距離為自該兩個影像感測器之該定位處之一位置至一活動之距離，該活動係在此等攝影機之重疊攝影機視圖中之在來自該兩個攝影機之視訊資料中偵測之一運動；一影像投影器，其經組態以將使用該等攝影機擷取之視訊資料投影於一投影表面上，該投影表面在一三維座標系統中定位於具有對應於該經判定活動距離之該等影像感測器之該定位處之該位置與該活動至該投影表面上之投影之一位置之間的一距離之一位置處；輸出端，其經組態以遞送藉由該影像投影器產生之該視訊資料作為來自該兩個攝影機之拼接視訊。
使該影像投影器將來自該兩個感測器之該視訊資料投影於在該三維座標系統中定位於與該攝影機相距對應於至經偵測活動之距離之一距離處之該投影表面上之一個優勢在於可使用有限之處理資源來實現該 拼接視訊之良好觀看體驗。此外，可歸因於使用一投影表面而使該處理能力保持在一低位準，且接著藉由選擇性地避免一運動區中之視差效應在視訊體驗中妥協而增強該視訊之體驗品質，該運動區係該視訊之一操作者或觀看者將聚焦之一區。
在其他實施例中，該運動偵測器經組態以偵測來自該等攝影機之該視訊資料之該重疊部分中之移動像素。此特徵之一個優勢在於該運動偵測可在該視訊處理裝置中完成且促進在該視訊中移動之特徵之定位。
在又其他實施例中，該攝影機可進一步包括一運動累加器，該運動累加器經連接至該運動偵測器以用於累加一預定時段期間之偵測到之運動且其中該活動距離判定模組經組態以自該等累加偵測運動判定該活動距離。藉由該運動累加器，觀看體驗可針對其中至該等移動特徵或物件之距離傾向於自一相當穩定之基礎距離變化之場景改良。
此外，該影像投影器可經組態以將視訊資料投影於一平面投影表面上。
自下文給出之實施方式將變得明白本發明之適用性之一進一步範疇。然而，應理解，雖然指示本發明之較佳實施例，但實施方式及特定實例僅以繪示之方式給出，此係由於熟習此項技術者將由此實施方式變得明白在本發明之範疇內之各種改變及修改。因此，應理解，本發明不限於所描述裝置之特定組件部分或所描述方法之步驟，此係因為此裝置及方法可變化。亦應理解，本文中使用之術語僅出於描述特定實施例之目的且不旨在係限制性的。必須注意，如在說明書及隨附發明申請專利範圍中使用，冠詞「一」、「一個」、「該」及「該等」旨在意謂存在元件之一或多 者，除非背景內容另外明確規定。因此，舉例而言，對「一感測器」或「該感測器」之參考可包含若干感測器及諸如此類。此外，單詞「包括」並不排除其他元件或步驟。
102:攝影機
104:攝影機
105:場景
106:方向
108:方向
110:重疊區域
112:房子
114:房子
500:系統
502:數位視訊攝影機
504:數位視訊攝影機
506:影像處理裝置
508:網路
510:影像感測器
512:物件
516:投影表面
520:運動偵測器
522:標記X
524:標記X
802:步驟
804:步驟
806:步驟
808:步驟
810:步驟
812:步驟
參考隨附圖式，自一目前較佳實施例之下列詳細描述將變得明白本發明之其他特徵及優勢，在圖式中圖1係使用兩個攝影機來增加由一攝影機系統覆蓋之場景之寬度之一設定之一示意圖，圖2係在圖1中之由攝影機102擷取之場景之一示意圖，圖3係在圖1中之由攝影機104擷取之場景之一示意圖，圖4係拼接在一起且對準場景之道路/汽車，使得該區中物件不存在視差之圖2至圖3之兩個場景之一示意圖，圖5係根據本發明之實施例之擷取與圖1中之設定相同之場景之一攝影機系統之一示意全覽圖，圖6係兩個攝影機視圖及一物件之影像投影之一示意圖，圖7係具有更改之至投影之距離之圖6之兩個攝影機視圖之一示意圖，圖8係用於基於特徵位置之像差之一三角量測法中使用之特徵之一示意圖，及圖9係根據本發明之實施例之用於產生拼接影像之一程序之一流程圖。
此外，在圖式中，類似參考符號指定遍及若干圖式之類似或對應部分。
本發明係關於藉由定位於預定及固定位置處之攝影機擷取之影像之拼接。
現參考圖5，展示用於擷取且拼接影像之一系統500。實施本發明之一實施例之系統500可包含兩個數位視訊攝影機502、504，其等經安裝以擷取重疊場景之數位影像資料。重疊場景旨在意味著由數位視訊攝影機502、504之一者502擷取之場景包含由另一數位視訊攝影機504擷取之場景之一部分。所擷取之場景之此共同部分在下文中被稱為視訊重疊110。組合之兩個攝影機擷取影像表示一總場景105。數位視訊攝影機502、504經安裝為彼此相距特定距離d且攝影機之各者之一光學軸之方向106、108亦可係熟知的。在圖5中，攝影機502、504之光學軸係平行的，但其未必係此情況。本發明之實施例亦將對其中攝影機依其等各自光學軸之間的發散角導向之配置奏效，只要產生一視訊重疊。數位視訊攝影機502、504之各者可在時間上同步化，或至少使攝影機之間的任何時序差之資訊可用於一影像處理裝置506。藉由攝影機502、504擷取之影像經傳輸至影像處理裝置506。在影像處理裝置506處，影像被拼接在一起為一總場景105且以一視訊序列收集。一視訊或一視訊序列由一序列時間上連續之影像形成以便實現攝影機視圖中擷取之活動之配準及重播。可使用一組合空間及時間編碼方案(例如，I圖框及P圖框)編碼視訊或視訊序列。此等編碼方案之實例為Mpeg-2、Mpeg-4、H.264、H.265等。接著，拼接視訊序列可經傳輸及/或串流傳輸至一儲存裝置(例如，一內部記憶卡或硬碟機、一外部網路附接儲存器、一視訊伺服器、一用戶端電腦、一視訊管理系統等)。至影像處理裝置外部之儲存裝置之傳輸可經由一網路508(諸 如，例如網際網路、一區域網路、一廣域網路、一蜂巢式網路、一公共切換式電話網路等)執行。各數位視訊攝影機502、504包含一影像感測器510，該影像感測器510經配置以配準來自場景之光且將配準光轉換為表示經擷取場景之影像資料。
現參考圖6，根據一些實施例，來自各感測器510之影像資料在各攝影機502、504之一區域2維座標系統中擷取且配準，例如，與係一2維平面之影像感測器510之表面相關之2維座標系統。系統在一三維座標系統內實施且操作，其中影像感測器平面之像素被數學投影於三維座標系統中表示之一三維空間中之一投影表面516(例如，一平面)上。視訊擷取系統500之座標系統可為具有全部源於原點O之一x軸、y軸及z軸之一笛卡爾座標系統，其中座標系統之所有軸在該原點相交。攝影機502、504之各影像感測器之影像資料可藉由將其等投影於與攝影機系統(在此實例中，與原點O)相距一距離z1處之投影表面516上而轉換為此三維座標系統。各攝影機可替代地具有至各攝影機之影像資料投影至其等上之個別投影表面之一個別距離。投影表面516可為一平面(如在圖6中)、一圓柱體之一部分、一球體之一部分或熟習此項技術者將考慮之任何其他形狀。在一些實施例中，距離z1最初為一預定距離，其對圖6中描繪之來自兩個攝影機502、504之影像資料之投影表面516係相同的。各數位視訊攝影機502、504之位置分別表示為C1及C2，且在三維座標系統之原點O之區域中。在此實例中，各攝影機502、504在x軸及z軸之平面中具有其光學軸。攝影機502、504之間的距離d為人熟知且藉此，三維座標系統中之位置C1及C2為人熟知。
在圖6中，在三維座標系統中之位置P處之場景中存在一物 件512。各影像感測器配準物件，此係由於其定位於由攝影機擷取之場景之重疊中，且將來自各感測器之影像投影於投影表面516上。藉由攝影機502擷取之物件512之投影藉由具有元件符號522之標記X視覺化，且藉由攝影機504擷取之物件512之投影藉由具有元件符號524之標記X視覺化。自圖明顯的是，物件512之投影經歷視差問題，此係由於來自一個攝影機之資料將物件放置於投影表面上之一個位置處且來自另一攝影機之資料將物件放置於投影表面上之一不同位置處。可藉由將投影表面516移動至物件512之位置P(即，定位投影表面516，使得其與物件512之位置P相交)而避免此視差問題。在圖7中展示所得圖。物件512之投影並不呈現任何視差假影，此係由於兩個攝影機502、504將物件512投影於投影表面516上之同一位置處。如自圖可見，投影表面516已自原點移動至一距離z2，該距離對應於攝影機系統500之三維座標系統中物件512沿著z軸之位置P。
為了避免物件512之視差假影，投影表面516必須移動以與物件之位置相交。然而，定位於與原點相距其他距離之兩個攝影機視圖之重疊區中之其他物件將展示視差效應。若物件512係受關注物件，則其可為重疊區域之一足夠良好之表示，即受關注物件並不經歷視差且該配置可為一操作者或觀看者呈現一良好觀看體驗。如上文建議，此可藉由簡單地改變至投影表面516之距離而達成，且此一特徵可使用相對小之處理能力完成，此係由於投影操作係一比較簡單之操作。在圖1及圖4中亦描繪該效應，其中投影表面設定於距道路之攝影機系統之距離處且背景中之房子展示視差假影。
自原點O至物件512(即位置P)之距離可使用已知方法獲得，例如，基於系統之已知性質及經擷取影像資料之分析之一幾何三角量 測方法、主動距離量測(諸如雷達、光達、飛行時間(TOF)技術)。在幾何三角量測之一個特定實例中，基於各影像中存在之一特徵之間的像差計算深度，見圖8。自原點O至物件之距離z可使用像差x1-x2及方程式1計算：
Figure 108126964-A0305-02-0013-1
方程式1中之變數d為攝影機之間的距離，其係已知的。變數x1及x2係在各自影像中在焦平面處自一影像邊緣至各自影像中存在之一特定特徵之一距離，該距離可在經擷取影像中量測。亦已知攝影機之焦距f。因此，自原點O至一特定特徵之距離z可使用方程式1之一重新配置計算，見方程式2：
Figure 108126964-A0305-02-0013-2
此外，在本發明之一些實施例中，各攝影機502、504包含一運動偵測器520。運動偵測器520經組態以偵測經擷取場景中之運動且將經偵測運動之性質傳輸至影像處理裝置506。或者，一運動偵測器520可配置於影像處理裝置506中以用於分別偵測來自攝影機502、504之影像串流中之運動。運動偵測器520可為熟習此項技術者已知之任何運動偵測器或物件追蹤器，例如，基於視訊分析之一運動偵測程序。基於視訊分析之運動偵測程序之實例係實施密集光學流演算法、稀疏光學流演算法、卡爾曼濾波、平均位移演算法、連續適應性均值偏移(Camshift)演算法、單一物件追蹤器或多個物件追蹤尋找演算法之物件追蹤。此等追蹤器之一些之實施方案在被稱為OpenCV(https：//opencv.org/)之一開源電腦視覺及機器學習軟體程式庫中可用。經偵測運動之性質可包含運動之位置。運動之位置可被定義為定位在經偵測物件之質心處之一單一點，被定義為像素之 一區域(表示與區域之位置組合之經偵測物件)或被定義為係經偵測運動之部分之一區分特徵之一位置。
根據本發明之一些實施例，自投影表面516至原點O之距離經計算為經偵測運動之此位置，此距離被稱為活動距離。可在來自各攝影機502、504之影像資料中識別經偵測運動之位置。此距離可連續更新，即，投影表面將對重疊區中之運動中之物件連續調適，或其可週期性更新，即，每小時更新一次，等。
根據其他實施例，在一預定時段期間之經偵測運動之位置經儲存且用於形成一熱圖。至包含熱圖中表示之最頻繁運動之位置之平均距離可用於計算至投影表面516之距離或至配準最多運動之位置之平均距離可用於計算至投影表面516之距離。如此，用於拼接影像之目的之受關注物件將為在場景中移動之特徵或物件。
根據又其他實施例，可使用配置於攝影機系統附近之一雷達偵測攝影機視圖之重疊區中之運動。若使用一雷達執行運動偵測，則至運動中之物件之一距離可被傳送至影像處理裝置506且用於在攝影機系統500之三維座標系統中設定投影表面516至原點O之距離。
或者，偵測攝影機視圖之重疊區110中之運動，且識別來自各攝影機502、504之影像串流中之一影像區域。接著，在經偵測運動之影像區域中識別屬於經偵測運動之一共同影像特徵。至運動之距離可接著使用此特徵作為來自各自攝影機502、504之影像資料之共同參考點計算。
現參考圖9，根據本發明之一些實施例之拼接視訊之一方法開始於使至少兩個攝影機502、504以一重疊方式擷取此場景之視訊資 料，步驟802。如之前提及，擷取重疊視訊資料包含使表示總擷取場景之一對應部分110之一第一視訊攝影機之經擷取視訊資料之一部分作為藉由一第二視訊攝影機擷取之一部分。
對表示重疊攝影機視圖110之影像資料執行一運動偵測操作，步驟804。可最初對來自擷取表示重疊攝影機視圖110之影像資料之攝影機502之一者之視訊資料執行運動偵測操作。接著，可在來自擷取表示重疊攝影機視圖110之影像資料之另一攝影機504之視訊資料中確認經偵測運動。或者，僅在來自攝影機502之一者之影像資料中執行運動偵測操作，且在影像資料之兩個組中識別運動之一共同特徵。或者，在來自攝影機502、504兩者之影像資料中執行運動偵測操作，且接著，影像資料之兩個組中之對應運動偵測經識別為同一運動。接著，其中偵測到運動之影像資料可被直接標記為一活動，或可在滿足額外條件時被標記為一活動。一個此條件可為一預定時段已期滿。
接著，活動可為該時段期間之累加運動，例如，一熱圖。此一時段可長達數月至數小時。另一條件可為已進行一預定數目個運動偵測。足以獲得一有用結果之運動偵測之數目可歸因於一運動事件之分類、各種運動偵測之間的距離變化等而變化。自累加運動，可判定一位置，如之前描述。接著，判定至活動之距離，步驟806。距離可如上文描述般計算。
接著，將如上文描述之一預定投影表面516定位或重新定位於經判定活動距離處，步驟808。接著，將自影像感測器510擷取之影像資料投影至投影表面516上，步驟810。用於將來自一個或複數個攝影機之影像資料投影於一投影表面516上之各種程序為熟習此項技術者熟 知。此等程序之一個描述在Richard Hartley及Andrew Zisserman之「Multiple View Geometry in Computer Vision」，第二版2003年中找到。藉由將來自影像感測器510之影像資料投影至定位於經判定活動距離z之投影表面516上，可以比重新計算整個重疊區域110以避免整個重疊區域110中之視差的情況更低之一成本避免活動之位置處之視差。拼接視訊現在投影表面516上表示，且資料可自投影視訊輸出作為待編碼及/或顯示之二維視訊資料(步驟812)。由於投影於投影表面516上之視訊資料表示拼接在一起之兩個視訊串流，故來自上述程序之輸出將為拼接視訊串流。
可實施該程序使得當已判定至投影表面516之距離時，來自兩個影像感測器510之視訊之拼接可包含將來自各影像感測器之影像資料投影於投影表面516上在經判定活動距離z處，只要程序未獲得應更新距離之任何指示。此一指示之一個實例可為程序連續評估活動距離，且當經計算活動距離與當前用於投影表面516之活動距離不同大於一預定距離臨限值之一值時，更新用於投影表面516之活動距離。
組合重疊區域110中之兩個視訊之一簡單但有效之方式係配置程序以混合該區域中之影像資訊。例如，投影表面516上之重疊之各位置可在色彩通道之各者中被給定一強度，此來源於將強度之一半(例如，來自影像感測器510之一者之位置中之α混合)加至來自另一影像感測器之位置中之強度之一半。熟習此項技術者熟知用於組合重疊區中之影像資料之進一步方法，其等之一些在OpenCV中可用，例如，FeatherBlender及MultiBandBlender。
用於判定至投影表面516之距離之活動之位置之識別可以幾種不同方式計算，如在以上描述中指示。根據一項實施例，活動距離z 之判定包含偵測來自兩個攝影機502、504之一個攝影機502之視訊中之運動及判定該運動在攝影機502之攝影機視圖內之位置。偵測來自另一攝影機504之視訊中之運動且判定該運動在攝影機504之攝影機視圖內之位置。將在攝影機502之攝影機視圖中偵測到之運動與攝影機504之攝影機視圖中偵測到之運動相關，從而判定攝影機502之攝影機視圖之視訊中偵測到之運動是否與在攝影機504之攝影機視圖之視訊中偵測到之運動相同。兩個經偵測運動之相關可基於包含以下項之群組中之特徵之任一者或任何組合：運動之位置(即，兩個攝影機視圖之重疊區域110中之位置)、各運動之時間(即，大致同時偵測到運動)、經偵測運動之速度(即，經偵測運動之速度是否相同)、或經偵測運動之方向(即，運動之方向是否相同)。當判定來自攝影機502、504之各視訊串流中之經偵測運動屬於同一活動時，則至運動位置之活動距離z可如之前描述般計算且投影表面516可定位於經計算活動距離處。可追蹤運動及對運動負責之物件且可在其運動期間週期性地更新活動距離。或者，週期性地執行活動距離之計算，只要偵測到運動。在又一替代例中，週期性地計算活動距離且累加經計算活動距離且可計算活動距離之一平均值。在一稍有不同之方法中，活動距離之累加僅包含最近十個、一百個、或一千個活動距離。
在另一替代性方法中，指示其中偵測到最頻繁運動之攝影機視圖之重疊區域中之位置之一熱圖經產生，且可連續累加。產生來自攝影機之各視訊串流之一個熱圖且接著經歷各視訊串流中之最大數目個運動偵測之位置被判定為與同一活動相關且因此，各攝影機串流中之位置被用於活動距離之計算，如之前描述。
本發明可為在整合之任何可能技術細節位準之一攝影機系 統、一方法及/或一電腦程式產品。電腦程式產品可包含一電腦可讀儲存媒體(medium或media)，其上具有用於使一處理器執行本發明之態樣之電腦可讀程式指令。
電腦可讀儲存媒體可為一有形裝置，其可保持且儲存由一指令執行裝置使用之指令。電腦可讀儲存媒體可(例如，但不限於)一電子儲存裝置、一磁性儲存裝置、一光學儲存裝置、一電磁儲存裝置、一半導體儲存裝置或以上之任何適當組合。電腦可讀儲存媒體之更特定實例之一非窮舉列表包含以下項：一可攜式電腦磁片、一硬碟機、一隨機存取記憶體(RAM)、一唯讀記憶體(ROM)、一可擦除可程式化唯讀記憶體(EPROM或快閃記憶體)、一靜態隨機存取記憶體(SRAM)、一可攜式光碟唯讀記憶體(CD-ROM)、一數位多功能光碟(DVD)、一記憶體棒及以上之任何適當組合。如本文使用之一電腦可讀儲存媒體本身並不被解釋為暫時性信號，諸如無線電波或其他自由傳播電磁波、透過一波導或其他傳輸媒體傳播之電磁波(例如，透過一光纖電纜傳遞之光脈衝)或透過一導線傳輸之電信號。
本文描述之電腦可讀程式指令可自一電腦可讀儲存媒體被下載至各自運算/處理裝置或經由一網路(例如，網際網路、一區域網路、一廣域網路及/或一無線網路)被下載至一外部電腦或外部儲存裝置。網路可包括銅傳輸電纜、光學傳輸纖維、無線傳輸、路由器、防火牆、開關、閘道電腦及/或邊緣伺服器。各運算/處理裝置中之一網路配接卡或網路介面自網路接收電腦可讀程式指令且轉送電腦可讀程式指令以用於儲存於各自運算/處理裝置內之一電腦可讀儲存媒體中。
用於執行本發明之操作之電腦可讀程式指令可為組譯器指 令、指令集架構(ISA)指令、機器指令、機器相依指令、微程式碼、韌體指令、狀態設定資料、積體電路之組態資料或以一或多個程式設計語言之任何組合撰寫之原始程式碼或物件程式碼，該一或多個程式設計語言包含一物件導向程式設計語言(諸如Smalltalk、C++或類似物)及程序性程式設計語言(諸如「C」程式設計語言或類似程式設計語言)。電腦可讀程式指令可完全在使用者之電腦上，部分在使用者之電腦上，作為一獨立軟體封裝，部分在使用者之電腦上且部分在一遠端電腦上或完全在遠端電腦或伺服器上執行。在後者場景中，遠端電腦可透過任何類型之網路(包含一區域網路(「LAN」)或一廣域網路(「WAN」))連接至使用者之電腦，或可進行至一外部電腦之連接(例如，透過使用一網際網路服務提供者之網際網路)。在一些實施例中，包含(例如)可程式化邏輯電路、場可程式化閘陣列(FPGA)或可程式化邏輯陣列(PLA)之電子電路可藉由利用電腦可讀程式指令之狀態資訊來個性化電子電路而執行電腦可讀程式指令，以便執行本發明之態樣。
本文已參考根據本發明之實施例之方法、設備(系統)及電腦程式產品之流程圖繪示及/或方塊圖描述本發明之態樣。將理解，可藉由電腦可讀程式指令實施流程圖繪示及/或方塊圖之各方塊及流程圖繪示及/或方塊圖中之方塊組合。
此等電腦可讀程式指令可被提供至一通用電腦、專用電腦或其他可程式化資料處理裝置之一處理器以產生一機器，使得經由電腦或其他可程式化資料處理裝置之處理器執行之指令產生用於實施流程圖及/或方塊圖或(諸)方塊中指定之功能/動作之構件。此等電腦可讀程式指令亦可儲存於一電腦可讀儲存媒體中，該等指令可引導一電腦、一可程式化資 料處理設備及/或其他裝置依一特定方式作用，使得具有儲存於其中之指令之電腦可讀儲存媒體包括包含實施流程圖及/或方塊圖方塊或(諸)方塊中指定之功能/動作之態樣之指令之一製品。
電腦可讀程式指令亦可被載入至一電腦、其他可程式化資料處理設備或其他裝置上以使一系列操作步驟在電腦、其他可程式化設備或其他裝置上執行以產生一電腦實施程序，使得在電腦、其他可程式化設備或其他裝置上執行之指令實施流程圖及/或方塊圖方塊或(諸)方塊中指定之功能/動作。
圖中之流程圖及方塊圖繪示根據本發明之各種實施例之系統、方法及電腦程式產品之可能實施方案之架構、功能性及操作。就此而言，流程圖或方塊圖中之各方塊可表示指令之一模組、片段或部分，其包括用於實施(諸)指定邏輯功能之一或多個可執行指令。在一些替代性實施方案中，方塊中提及之功能可不按圖中提及之順序發生。例如，事實上，取決於所涉及之功能性，可實質上同時執行依序展示之兩個方塊或有時可以相反順序執行該等方塊。亦將注意，可藉由執行指定功能或動作或執行專用硬體及電腦指令之組合之基於專用硬體之系統實施方塊圖及/或流程圖繪示之各方塊及方塊圖及/或流程圖繪示中之方塊組合。
本發明之各種實施例之描述已出於繪示之目的呈現，但不意在係窮舉的或限於所揭示之實施例。在不脫離所描述之實施例之範疇及精神的情況下，一般技術者將瞭解許多修改及變化。本文使用之術語經選擇以最佳地解釋實施例之原理、優於市場上找到之技術之實際應用或技術改良、或使其他一般技術者能夠理解本文揭示之實施例。
802:步驟
804:步驟
806:步驟
808:步驟
810:步驟
812:步驟

Claims (14)

  1. 一種用於拼接(stitching)來自經配置以一場景之各擷取重疊攝影機視圖(views)之視訊資料之兩個影像感測器之視訊資料之方法，該方法包括：使用該兩個影像感測器擷取該場景之重疊攝影機視圖之視訊資料，各影像感測器具有一三維座標系統(three-dimensional coordinate system)中之一位置，其相對於該三維座標系統中之一原點；偵測對應於該等重疊攝影機視圖之該等攝影機視圖中之一區域中之運動；判定一活動距離，該活動距離係自對應於該三維座標系統中之該原點的一位置至包含該經偵測運動之一活動位置之距離；在該三維座標系統中，將具有一預定形狀之一投影表面定位於具有對應於該經判定活動距離之該三維座標系統中之該原點的一距離之一位置處，其中該投影表面係定位以使該投影表面相交對應於該活動位置之在該三維座標系統中之一位置；將來自該等影像感測器之各者之該視訊資料投影於該投影表面上；及輸出對應於該經投影視訊資料之一二維視訊。
  2. 如請求項1之方法，其中偵測對應於該等重疊攝影機視圖之該等攝影機視圖中之該區域中之運動包含偵測該經擷取視訊之一重疊部分中之移動像素。
  3. 如請求項1之方法，其進一步包括自該等重疊攝影機視圖中之像素資料判定該經偵測運動之該活動位置及在該活動距離之該判定時使用此活動位置。
  4. 如請求項1之方法，其中該活動距離之該判定係基於對應於該等重疊攝影機視圖之該等攝影機視圖中之該區域中之一重疊影像資料中之該經偵測運動之一瞬間時刻(a momentaneous)及將該運動之該位置設定為該活動位置。
  5. 如請求項1之方法，其中該活動距離之該判定包含在一預定時段期間累加對應於該等重疊攝影機視圖之該等攝影機視圖中之該區域中之一重疊影像資料中之運動資料，及接著選擇在此時段期間已累加最多運動之一位置作為該活動位置。
  6. 如請求項1之方法，其中該活動距離之該判定包含比較該經擷取視訊資料中之該活動位置之該位置與包含至該等影像感測器之各者之一座標系統中之位置之距離之一預定表中之對應位置。
  7. 如請求項1之方法，其中該活動距離之該判定包含接收覆蓋該等重疊場景之一雷達信號；將一雷達回應與該活動位置相關；及自該雷達信號擷取至該活動位置之該距離。
  8. 如請求項1之方法，其中該投影表面係一平面。
  9. 如請求項1之方法，其中該投影表面係一圓柱形表面。
  10. 如請求項1之方法，其中該投影表面係一球形表面。
  11. 一種攝影機系統，其包括：兩個攝影機，其各包含一影像感測器，該影像感測器具有一三維座標系統中之一位置，其相對於該三維座標系統中之一原點，且經組態以擷取一場景之重疊攝影機視圖之視訊資料；一預定投影表面，其界定於該三維座標系統中；一運動偵測器，其經組態以偵測對應於該兩個攝影機之該等重疊攝影機視圖之該等攝影機視圖中之一區域中之運動；一處理器，其經組態以判定一活動距離，該活動距離係自對應於該三維座標系統中之該原點的一位置至包含該經偵測運動之一活動位置之距離；一影像投影器，其經組態以自該等攝影機之各者之該視訊資料投影於該投影表面上，其中該投影表面係定位於具有對應於該經判定活動距離之該三維座標系統中之該原點的一距離之一位置處，其中該投影表面係定位以使該投影表面相交對應於該活動位置之在該三維座標系統中之一位置；及一輸出端，其經組態以輸出對應於該經投影視訊資料之一二維視訊。
  12. 如請求項11之攝影機系統，其中該運動偵測器經組態以偵測來自該等攝影機之該視訊資料之重疊部分中之移動像素。
  13. 如請求項11之攝影機系統，其進一步包括一運動累加器，該運動累加器經連接至該運動偵測器以用於累加一預定時段期間之偵測到之運動且其中該處理器經組態以自該等累加之經偵測運動判定該活動距離。
  14. 如請求項11之攝影機系統，其中該影像投影器經組態以將視訊資料投影於一平面投影表面上。
TW108126964A 2018-07-30 2019-07-30 結合來自複數個攝影機之視圖的方法及攝影機系統 TWI764024B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18186340.8 2018-07-30
EP18186340.8A EP3606032B1 (en) 2018-07-30 2018-07-30 Method and camera system combining views from plurality of cameras

Publications (2)

Publication Number Publication Date
TW202020815A TW202020815A (zh) 2020-06-01
TWI764024B true TWI764024B (zh) 2022-05-11

Family

ID=63244387

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108126964A TWI764024B (zh) 2018-07-30 2019-07-30 結合來自複數個攝影機之視圖的方法及攝影機系統

Country Status (6)

Country Link
US (1) US10810847B2 (zh)
EP (1) EP3606032B1 (zh)
JP (1) JP6983837B2 (zh)
KR (1) KR102239530B1 (zh)
CN (1) CN110784641B (zh)
TW (1) TWI764024B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10812770B2 (en) * 2017-09-13 2020-10-20 Canon Kabushiki Kaisha Image processing system, image processing apparatus, image processing method, and program
CN111521281A (zh) * 2020-04-15 2020-08-11 杭州涂鸦信息技术有限公司 红外测温系统及其测温方法
EP3923241B1 (en) * 2020-06-09 2022-04-06 Axis AB Aligning digital images
TWI787638B (zh) * 2020-07-30 2022-12-21 杰悉科技股份有限公司 影像物件追蹤方法
US11228878B1 (en) * 2020-08-31 2022-01-18 Amdocs Development Limited System, method, and computer program for edge management of geographically dispersed sensors
CN112365666A (zh) * 2020-09-09 2021-02-12 北京潞电电气设备有限公司 一种配电室智能安防监控方法及装置
CN112380894B (zh) * 2020-09-30 2024-01-19 北京智汇云舟科技有限公司 一种基于三维地理信息系统的视频重叠区域目标去重方法和系统
CN112288810B (zh) * 2020-10-29 2023-04-07 铜陵有色金属集团股份有限公司 采样定位方法、装置、系统及计算机存储介质
CN112954234A (zh) * 2021-01-28 2021-06-11 天翼物联科技有限公司 一种多视频融合的方法、系统、装置及介质
EP4060982B1 (en) * 2021-03-15 2023-06-28 Axis AB Method and monitoring camera for handling video streams

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229789A (ja) * 2005-02-18 2006-08-31 Toshiba Corp カメラ監視システム及びそれに用いられる映像合成方法、映像合成プログラム
CN106331527A (zh) * 2016-10-12 2017-01-11 腾讯科技（北京）有限公司 一种图像拼接方法及装置
JP2017058843A (ja) * 2015-09-15 2017-03-23 株式会社トプコン 画像処理装置、画像処理方法および画像処理用プログラム
CN108009985A (zh) * 2017-11-24 2018-05-08 武汉大学 一种基于图割的视频拼接方法
US20180139431A1 (en) * 2012-02-24 2018-05-17 Matterport, Inc. Capturing and aligning panoramic image and depth data
TW201820259A (zh) * 2016-11-18 2018-06-01 財團法人工業技術研究院 影像融合裝置及其方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08205134A (ja) * 1995-01-20 1996-08-09 Fujitsu General Ltd 監視カメラ制御装置
JP2001101421A (ja) * 1999-09-30 2001-04-13 Sumitomo Electric Ind Ltd 走行支援装置
WO2002009424A2 (en) * 2000-07-21 2002-01-31 The Trustees Of Columbia University In The City Of New York Method and apparatus for image mosaicing
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US20160267720A1 (en) * 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
CN100373394C (zh) * 2005-10-28 2008-03-05 南京航空航天大学 基于仿生复眼的运动目标的检测方法
JP4979525B2 (ja) * 2007-09-20 2012-07-18 株式会社日立製作所 マルチカメラシステム
JP2009124618A (ja) * 2007-11-19 2009-06-04 Hitachi Ltd カメラ装置、画像処理装置
US8416282B2 (en) 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image
EP2643972A4 (en) * 2010-11-24 2016-03-30 Stergen High Tech Ltd IMPROVED METHOD AND SYSTEM FOR THE CREATION OF THREE-DIMENSIONAL (3D) VISUALIZABLE VIDEO FROM A SINGLE VIDEO STREAM
US9013543B1 (en) * 2012-11-14 2015-04-21 Google Inc. Depth map generation using multiple scanners to minimize parallax from panoramic stitched images
JP2015138427A (ja) * 2014-01-23 2015-07-30 シャープ株式会社 監視装置
US9652667B2 (en) 2014-03-04 2017-05-16 Gopro, Inc. Automatic generation of video from spherical content using audio/visual analysis
CN104301677B (zh) * 2014-10-16 2018-06-15 北京十方慧通科技有限公司 面向大场景的全景视频监控的方法及装置
US20170006219A1 (en) * 2015-06-30 2017-01-05 Gopro, Inc. Image stitching in a multi-camera array
JP6623044B2 (ja) * 2015-11-25 2019-12-18 日立オートモティブシステムズ株式会社 ステレオカメラ装置
KR102460906B1 (ko) * 2016-02-17 2022-11-01 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
KR102236222B1 (ko) * 2016-08-24 2021-04-05 한국전자통신연구원 중첩영역의 제어점들을 이용한 시차 최소화 스티칭 장치 및 방법
US10313686B2 (en) * 2016-09-20 2019-06-04 Gopro, Inc. Apparatus and methods for compressing video content using adaptive projection selection
EP3800891A1 (en) * 2016-10-04 2021-04-07 Ki Baek Kim Image data encoding/decoding method and apparatus
US10313584B2 (en) * 2017-01-04 2019-06-04 Texas Instruments Incorporated Rear-stitched view panorama for rear-view visualization
JP6969121B2 (ja) * 2017-03-17 2021-11-24 株式会社リコー 撮像システム、画像処理装置および画像処理プログラム
US20190289206A1 (en) * 2018-03-15 2019-09-19 Keiichi Kawaguchi Image processing apparatus, image capturing system, image processing method, and recording medium
US20190306420A1 (en) * 2018-03-31 2019-10-03 Takashi Okaki Image processing apparatus, image capturing system, image processing method, and recording medium
KR102258446B1 (ko) * 2018-07-11 2021-05-31 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229789A (ja) * 2005-02-18 2006-08-31 Toshiba Corp カメラ監視システム及びそれに用いられる映像合成方法、映像合成プログラム
US20180139431A1 (en) * 2012-02-24 2018-05-17 Matterport, Inc. Capturing and aligning panoramic image and depth data
JP2017058843A (ja) * 2015-09-15 2017-03-23 株式会社トプコン 画像処理装置、画像処理方法および画像処理用プログラム
CN106331527A (zh) * 2016-10-12 2017-01-11 腾讯科技（北京）有限公司 一种图像拼接方法及装置
TW201820259A (zh) * 2016-11-18 2018-06-01 財團法人工業技術研究院 影像融合裝置及其方法
CN108009985A (zh) * 2017-11-24 2018-05-08 武汉大学 一种基于图割的视频拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 Mohamed A. Helala、Luis A. Zarrabeitia、Faisal Z. Qureshi ,"Mosaic of Near Ground UAV Videos Under Parallax Effects" ,2012 Sixth International Conference on Distributed Smart Cameras (ICDSC), ,2012 <https://faculty.ontariotechu.ca/qureshi/pubs/12-icdsc-c.pdf> *

Also Published As

Publication number Publication date
TW202020815A (zh) 2020-06-01
US20200035075A1 (en) 2020-01-30
JP6983837B2 (ja) 2021-12-17
KR102239530B1 (ko) 2021-04-12
EP3606032A1 (en) 2020-02-05
JP2020031421A (ja) 2020-02-27
US10810847B2 (en) 2020-10-20
CN110784641A (zh) 2020-02-11
KR20200013585A (ko) 2020-02-07
CN110784641B (zh) 2021-09-14
EP3606032B1 (en) 2020-10-21

Similar Documents

Publication Publication Date Title
TWI764024B (zh) 結合來自複數個攝影機之視圖的方法及攝影機系統
US8180107B2 (en) Active coordinated tracking for multi-camera systems
US7583815B2 (en) Wide-area site-based video surveillance system
EP2913796B1 (en) Method of generating panorama views on a mobile mapping system
US20080291278A1 (en) Wide-area site-based video surveillance system
US20180278919A1 (en) System for tracking subject moving within space using stereo cameras
KR20150050172A (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
JP2010504711A (ja) 地理空間モデルにおいて移動しているオブジェクトを追跡する映像監視システム及びその方法
US10564250B2 (en) Device and method for measuring flight data of flying objects using high speed video camera and computer readable recording medium having program for performing the same
KR102151815B1 (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
US10277888B2 (en) Depth triggered event feature
JP2009077092A (ja) マルチカメラシステム
KR102456332B1 (ko) 헤드 장착형 디스플레이 및 접속된 원격 디스플레이에서 시각적으로 유도된 멀미를 감소시키는 방법
KR20150019230A (ko) 복수의 카메라를 이용한 객체 추적 방법 및 장치
WO2018160989A1 (en) Multi-camera system for tracking one or more objects through a scene
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치
JP2017011598A (ja) 監視システム
JP4185271B2 (ja) 位置検出装置及び位置検出プログラム
CN107093193B (zh) 用于借助摄像机构建深度图的方法
KR102598630B1 (ko) 광시야 카메라에 기반한 객체 추적 팬틸트 장치 및 그 동작 방법
Bota et al. Camera motion estimation using monocular and stereo-vision
JP2020005089A (ja) 撮像システム、画像処理装置、画像処理方法およびプログラム
KR102331534B1 (ko) 카메라 시스템 및 카메라 제어 방법
Cika et al. Tracking and speed estimation of selected object in video sequence
JP6837498B2 (ja) ３次元画像をキャプチャおよび生成するためのシステムおよび方法