TWI728244B - 包括視訊攝影機與用戶端裝置的系統以及由其執行的方法 - Google Patents

包括視訊攝影機與用戶端裝置的系統以及由其執行的方法 Download PDF

Info

Publication number
TWI728244B
TWI728244B TW107112550A TW107112550A TWI728244B TW I728244 B TWI728244 B TW I728244B TW 107112550 A TW107112550 A TW 107112550A TW 107112550 A TW107112550 A TW 107112550A TW I728244 B TWI728244 B TW I728244B
Authority
TW
Taiwan
Prior art keywords
image
images
panoramic image
image data
video camera
Prior art date
Application number
TW107112550A
Other languages
English (en)
Other versions
TW201907702A (zh
Inventor
維克多 艾德帕姆
嵩 袁
亞歷山大 瑪汀斯
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201907702A publication Critical patent/TW201907702A/zh
Application granted granted Critical
Publication of TWI728244B publication Critical patent/TWI728244B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本發明實施例提供包括一視訊攝影機及一用戶端裝置之一系統中執行之一方法。該視訊攝影機藉由使用具有部分重疊之視野的複數個影像感測器來同時擷取複數個影像。識別該等影像之重疊部分，且將該等影像拼合以產生一全景影像。當拼合該等影像時，僅將來自該等影像之一者的影像資料包含於重疊部分中，且忽略該等重疊部分中之來自其他影像之影像資料。該全景影像及所忽略之影像資料經編碼且以一經編碼視訊流傳輸至該用戶端裝置中。該用戶端裝置解碼該視訊流，且若該用戶端裝置係客製化的，則其使用在產生該全景影像時被視訊攝影機忽略之影像資料來在對應於該複數個影像之重疊部分的部分中更新該全景影像。

Description

包括視訊攝影機與用戶端裝置的系統以及由其執行的方法
本發明係關於多感測器視訊攝影機之領域。特定言之，本發明係關於使用具有部分重疊之視野的複數個影像感測器來自由一視訊攝影機擷取之複數個影像產生一全景影像。
用於監視一現場的具有彼此相鄰地安裝之多個影像感測器的多感測器視訊攝影機正變得流行(例如，用於監控應用)。自該等多個影像感測器擷取之影像可用於產生該現場之一全景影像。產生此一全景影像涉及諸多處理步驟。通常需要變換來自該等影像感測器之影像以減少來自鏡頭之像差，需要識別來自鄰近影像感測器之影像的重疊，且通常需要處理該等重疊部分以產生自彼此相鄰地安裝之影像感測器擷取之影像的一平滑拼接或混合。 因此，產生一全景影像且(特定言之)為實現一平滑拼接所實施之處理具有非常高之處理要求。高速執行此影像處理(諸如，在一高訊框速率之多感測器監視攝影機中)需要大量處理能力。由於在一視訊攝影機中，處理能力通常為一有限資源，因此減輕一視訊攝影機在產生一全景影像時之處理要求受到關注。
因此，鑒於以上，本發明之一目標在於減輕一視訊攝影機在產生一全景影像之處理要求。 根據本發明之第一態樣，藉由包括一視訊攝影機及一用戶端裝置之一系統中執行之一方法來實現以上目標。該方法包括： 該視訊攝影機藉由使用具有部分重疊之視野的複數個影像感測器來同時擷取複數個影像； 該視訊攝影機將該複數個影像之重疊部分識別為其中該複數個影像之至少兩個影像重疊之部分； 該視訊攝影機藉由將該複數個影像之部分拼合在一起來產生對應於該複數個影像感測器之視野之一結合的一全景影像； 其中，就該複數個影像之各重疊部分而言，該視訊攝影機將來自重疊之該至少兩個影像之一者的影像資料包含於該全景影像中，且該視訊攝影機忽略來自重疊之該至少兩個影像中之另一影像的影像資料； 該視訊攝影機編碼該全景影像及在產生該全景影像時被忽略之影像資料，且將其等以一經編碼視訊流傳輸至該用戶端裝置； 該用戶端裝置接收且解碼該經編碼視訊流；及 若該用戶端裝置經客製化以處置在產生該全景影像時被視訊攝影機忽略之影像資料，則該用戶端裝置使用在產生該全景影像時被視訊攝影機忽略之影像資料來在對應於該複數個影像之重疊部分的部分中更新該全景影像。 根據此方法，用於產生該全景影像之該處理部分留給用戶端。藉由將來自該複數個影像之影像資料之部分拼合在一起來在該視訊攝影機處產生一簡單全景影像。然而，最處理密集之處理部分(即，混合重疊影像部分中之影像資料以實現該複數個影像之一平滑拼接的程序或更先進之拼接技術)留給用戶端。依此方式，減輕該視訊攝影機之處理負擔，且代替地，該監視攝影機可能夠處置由該複數個影像感測器擷取之更高訊框速率之視訊流。 儘管如此，該攝影機側處產生且編碼一簡單全景影像。在其中來自鄰近影像感測器之影像重疊之部分中，當在該攝影機處產生該全景影像時，僅使用來自該等鄰近影像感測器之一者的影像資料，且忽略來自其他鄰近影像感測器之影像資料。為給該用戶端裝置提供用於對來自該複數個影像感測器之影像執行更先進之拼接(諸如混合重疊部分中之影像資料)的建構區塊，在視訊攝影機處產生該全景影像時所忽略之影像資料亦經編碼且發送至該用戶端。 就一些用戶端裝置而言，該視訊攝影機處產生之全景影像已足夠用於其等之用途，或處理能力簡直太受到限制而無法執行任何先進拼接處理。例如，當在一行動裝置或(例如)由一巡邏保全人員所使用之一平板電腦上實施該用戶端時，情況可係如此。此等用戶端裝置(在本文中稱為非客製化裝置)可解碼且顯示在視訊攝影機處產生之全景影像。然而，更先進之用戶端(在本文中稱為客製化用戶端裝置)應能夠受益於額外資訊且使用在產生該全景影像時被該視訊攝影機忽略之影像資料來在該等重疊部分中更新該全景影像。依此方式，一客製化用戶端裝置可藉由(例如)混合該等重疊部分中之來自該複數個影像之影像資料來提高該全景影像之平滑度，即，使個別影像之間的過渡更平滑且無縫。另外，此允許一客製化用戶端裝置選擇如何執行影像資料之混合。因此，不同客製化用戶端裝置可取決於其等之需要而使用不同之混合影像資料之方式。舉例而言，可在用於一監控中心之具有較強處理能力之一先進電腦上實施一客製化用戶端。 如本文中所使用之一全景影像一般意謂包括該複數個影像之組合視圖的一影像。藉由將對應於該等影像感測器之部分重疊之視野的該複數個影像之部分拼合在一起來產生該全景影像。因此，所得全景圖對應於該複數個影像感測器之視野之結合(即，組合)。 視訊攝影機在產生該全景影像時忽略之影像資料一般意謂該影像資料不包含於該全景影像中。 一用戶端裝置經客製化以處置在產生該全景影像時被視訊攝影機忽略之影像資料一般意謂經一用戶端裝置經調適以識別視訊流中之所忽略影像資料且將所忽略之影像資料用於更新所接收之全景影像。 可藉由混合對應於原始影像之重疊部分的全景影像部分中之由該視訊攝影機產生之全景影像之影像資料來在該用戶端中執行該全景影像之更新，該等原始影像之重疊部分具有在產生該全景影像時被視訊攝影機忽略之額外接收之影像資料。依此方式，該用戶端裝置可將原始影像拼接在一起以產生一較平滑之全景影像。如本文中所使用之混合一般意謂形成一加權平均值。更詳細而言，該用戶端裝置可藉由計算該全景影像與該重疊部分之被視訊攝影機忽略之影像資料的一加權平均值來針對對應於該複數個影像之一重疊部分的各全景影像部分更新該全景影像。如本文中所使用之拼接複數個影像意謂該複數個影像組合成一單一影像，且該複數個影像之重疊部分中之影像資料以某種方式組合(即，混合)以實現該複數個影像之間的一平滑過渡。 通常逐像素計算該等重疊部分中之加權平均值。可分像素選擇在計算該加權平均值時所使用之權重。因此，全部重疊部分中之權重可不同。該等權重可以不同方式選擇或計算。在一些實施例中，該等權重係基於該等重疊部分中之影像資料而計算的，而在其他實施例中，該等權重係獨立於該等重疊部分中之影像資料而計算的。 作為後一種情況之一實例，該加權平均值之權重係基於一像素與對應於該複數個影像之一重疊部分的全景影像部分之一周邊的一接近度來分像素選擇的。此將產生該等原始影像之一平滑拼接。例如，假設兩個鄰近感測器之影像重疊，且在對應於該重疊之一全景影像部分中，該全景影像中包含來自該等兩個感測器之一第一者的影像資料，且除該全景影像之外，將該重疊中的該等兩個感測器之另一者之影像資料發送至該用戶端裝置。來源於該第一感測器之影像資料之一權重可為該像素距一邊界(該重疊部分與來自該第一感測器之影像之一非重疊部分之間的一邊界)之距離的一遞減函數。同樣地，來源於該第二感測器之影像資料之一權重可為該像素距一邊界(該重疊部分與來自該第二感測器之影像之一非重疊部分之間的一邊界)之距離的一遞減函數。該等權重可經正規化為處於區間[0,1]中，且一像素之該等權重之總和可等於1。在該情況中，該混合可稱為α混合。 為更進一步提高拼接之平滑度，該加權平均值之權重可為該像素與對應於該複數個影像之一重疊部分的全景影像部分之周邊的接近度之一平滑函數。平滑函數意謂該函數係連續的，且較佳亦為可導的。 根據進一步實施例，重疊部分中之影像資料之低頻內容可依與影像資料之高頻內容不同之方式混合。低頻內容一般意謂影像資料之空間頻率低於一第一臨限值，且高頻內容一般意謂影像資料之空間頻率等於或大於一第二臨限值。該第二臨限值可等於該第一臨限值或大於該第一臨限值。 通常，該等低頻內容表示該影像資料之平滑變動，而該等高頻內容表示該影像資料之不規則變動，諸如雜訊。由於該等低頻內容比該等高頻內容更影響所得全景影像之平滑度，因此混合該等低頻內容通常比混合該等高頻內容更為重要。此可藉由針對高頻及低頻使用不同混合策略來實現。更特定言之，此可藉由針對對應於該複數個影像之一重疊部分的各全景影像部分進行以下步驟來實現： 該用戶端裝置計算該全景影像與該重疊部分之被視訊攝影機忽略之影像資料的一第一加權平均值，其中該第一加權平均值係相對於低於一第一臨限值之空間頻率來計算的； 該用戶端裝置計算該全景影像與該重疊部分之被視訊攝影機忽略之影像資料的一第二加權平均值，其中該第二加權平均值係相對於等於或高於一第二臨限值之空間頻率來計算的，該第二臨限值大於或等於該第一臨限值； 其中藉由將該第一加權平均值及該第二加權平均值合併來在對應於該複數個影像之一重疊部分的各部分中更新該全景影像；及 其中用於計算該第一加權平均值及該第二加權平均值之權重係依不同方式選擇的。 根據例示性實施例，該第一加權平均值之權重係與對應於該複數個影像之重疊部分的全景影像部分之周邊之接近度的一平滑函數，且其中該第二加權平均值之權重係零或一(取決於與對應於該複數個影像之重疊部分的全景影像部分之周邊之接近度)。因此，此將在最關鍵位置處產生低頻之一平滑混合。就高頻而言，不發生混合。 由該複數個感測器擷取之該複數個影像通常係對準的。取決於對該複數個感測器進行之一校準程序所得之校準資料來進行對準。該對準通常對與該視訊攝影機之一特定距離而言係最佳的，但歸因於視差，該對準對其他距離而言係次佳的。因此，可發生兩個鄰近影像感測器在該重疊部分之不同像素位置處描繪該現場中之一物件(位於與該視訊攝影機相距該對準對其而言係次佳的一距離處)之情況。在此等情況中，可期望僅使用來自該等影像感測器之一者的描繪該物件之影像資料以避免在該全景影像中具有該物件之一重影。 更詳細而言，該方法可進一步包括： 該用戶端裝置在對應於該複數個影像之一重疊部分的全景影像之該部分及在產生該全景影像部分時被視訊攝影機忽略之影像資料中識別物件； 其中，若在對應於該複數個影像之一重疊部分的全景影像部分及在產生該全景影像部分時被視訊攝影機忽略之影像資料兩者中均識別到一物件，則針對被識別為屬於該物件之像素，將該全景影像及在產生該部分時被視訊攝影機忽略之影像資料之一者的一權重設定為零。 應瞭解，所識別物件可為一物件之一部分，諸如在對應於該複數個影像之一重疊部分的一全景影像部分中部分描繪且由在產生該全景影像部分時被視訊攝影機忽略之影像資料部分描繪之一物件。 該用戶端裝置不僅可將所接收資料用於更新該全景影像以提供一平滑全景影像，其亦可將所接收資料用於其他用途。例如，在進行該視訊流之法醫分析時(諸如在識別出現於該現場中之一人時)，具有由兩個不同影像感測器擷取之描繪一現場之相同區域的影像資料可為一優勢。 該用戶端裝置亦可將所接收資料用於恢復該複數個影像。此係可行的，因為所提出之方法從某種意義上而言係無損的，除由編碼器實施之壓縮之外，該視訊編碼器未捨棄影像資料。特定言之，來自所有原始影像之非重疊部分及重疊部分之影像資料被表示於該用戶端處接收之資料中。因此，該方法可進一步包括：該用戶端裝置自該全景影像及在產生該全景影像時被忽略之影像資料恢復該複數個影像。 根據進一步實施例，該用戶端裝置可將所接收資料用於導出關於該現場中之物件的深度資訊。歸因於該複數個影像感測器之視差，此係可行的。更詳細而言，該用戶端裝置可基於該全景影像及在產生該全景影像時被視訊攝影機忽略之影像資料來計算對應於該複數個影像之重疊部分的全景影像部分之深度資訊。 如上文所進一步提及，所有用戶端裝置可不經客製化以實施混合或更先進之拼接程序。此等用戶端裝置可僅解碼且顯示所接收之全景影像，且忽略對應於在產生該全景影像時被該視訊攝影機忽略之影像資料的任何額外資料。更特定言之，若該用戶端裝置未經客製化以處置在產生該全景影像時被視訊攝影機忽略之影像資料，則該用戶端裝置可顯示該全景影像。 如上文所進一步提及，該全景影像及以來自該複數個影像之重疊部分之影像資料(其在產生該全景影像時被視訊攝影機忽略)之形式的額外資訊經編碼且以一經編碼視訊流傳輸至該用戶端裝置。由於該經編碼視訊流可由不同類型之用戶端裝置(其可或可不經客製化以處置在產生該全景影像時被視訊攝影機忽略之影像資料)接收，因此該額外資訊之傳輸係柔性的係有利的，使得非客製化裝置仍可根據現有視訊解碼標準解碼且顯示所接收視訊流。 為實現此，可使用標準視訊解碼方案將該全景影像編碼為一視訊流之一視訊訊框。可將該額外資訊(即，不包含於該全景影像中之該等重疊部分之影像資料)編碼為一額外編碼項，該額外編碼項藉由使用時間戳記資訊鏈接至該經編碼視訊流。更詳細而言，該全景影像可經編碼為由該經編碼視訊流中之一時間戳記標記之一視訊訊框，且該視訊攝影機可藉由相同時間戳記標記在產生該全景影像時被忽略之經編碼影像資料。 根據實施例，在產生該全景影像時被忽略之影像資料經編碼為與該全景影像相同之視訊訊框中之額外編碼塊及/或編碼片。依此方式，該額外資訊被包含於與該全景影像相同之視訊訊框中。然而，一非客製化裝置可(例如)藉由將該等額外編碼塊及/或編碼片指示為「不顯示」或藉由將該等額外編碼片及/或編碼塊包含於該訊框之資料中但使用不指示該等額外編碼片及/或編碼塊之存在的一訊框標頭來忽略額外編碼塊及/或編碼片。 替代地，在產生該全景影像時被忽略之影像資料可經編碼為一或多個單獨視訊訊框。更詳細而言，在產生該全景影像時被忽略之該等重疊部分中之影像資料可經編碼為單獨視訊訊框，其等對包括該全景影像之視訊訊框係多餘的。在該等單獨視訊訊框中，所忽略之影像資料通常位於與在該全景影像中之像素位置對應之像素位置處。剩餘像素位置可經編碼為跳過方塊。接著，一非客製化用戶端裝置之一標準視訊解碼器可根本不顯示額外訊框，而一用戶端裝置之一客製化解碼器將被指令以識別此等視訊訊框且將其等用於更新該全景影像。 該一或多個單獨視訊訊框可標記為不顯示訊框。依此方式，實施不顯示訊框可用之一標準的一客製化裝置之一標準解碼器將可輕易地忽略該等單獨視訊訊框之額外資訊。就其中不可使用不顯示訊框之視訊解碼標準而言，可代替地使用一顯示計數值標記該一或多個單獨視訊訊框，該顯示計數值指代該視訊流中之一較早或一稍後位置以用於欺騙該標準解碼器以不顯示該等單獨視訊訊框。 根據本發明之一第二態樣，藉由包括以下之一系統來實現以上目標： 一視訊攝影機，其包括具有部分重疊之視野的複數個影像感測器，該複數個影像感測器經組態以同時擷取複數個影像； 其中該視訊攝影機經進一步組態以： 將該複數個影像之重疊部分識別為其中該複數個影像之至少兩個影像重疊之部分； 藉由將該複數個影像之部分拼合在一起來產生對應於該複數個影像感測器之視野之一結合的一全景影像，其中，就該複數個影像之各重疊部分而言，該視訊攝影機經組態以將來自重疊之該至少兩個影像之一者的影像資料包含於該全景影像中，且忽略來自重疊之該至少兩個影像中之另一影像的影像資料；及 編碼該全景影像及在產生該全景影像時被忽略之影像資料，且將其等以一經編碼視訊流傳輸至一用戶端裝置； 該系統進一步包括： 一用戶端裝置，其經組態以接收及解碼該經編碼視訊流，且使用在產生該全景影像時被視訊攝影機忽略之影像資料來在對應於該複數個影像之重疊部分的部分中更新該全景影像。 第二態樣一般可具有與第一態樣相同之特徵及優點。應進一步注意，除非另有明確陳述，否則本發明係關於全部可能特徵組合。除非另有明確陳述，否則不必以所揭示之確切順序執行本文中所揭示之任何方法之步驟。
現將在下文中參考其中展示本發明之實施例的隨附圖式更全面地描述本發明。將在操作期間描述本文中所揭示之系統及裝置。 圖1繪示一系統100，其包括具有複數個影像感測器103之一視訊攝影機102，及一或多個用戶端裝置104a、104b、104c。視訊攝影機102可為一可見光攝影機、一熱感攝影機或一飛行時間(ToF)攝影機。視訊攝影機102經配置以(例如)經由一網路106與一或多個用戶端裝置通信。該通信可經由有線或無線。 一或多個用戶端裝置104a、104b、104c可為各種類型。在所繪示實例中，用戶端裝置104a係一行動裝置，用戶端裝置104b係一膝上型電腦，且用戶端裝置104c係一電腦。用戶端裝置104a、104b、104c可用於不同用途且亦可具有不同處理能力。例如，一方面，用戶端裝置104a (其為一行動裝置)可由一巡邏保全人員使用，其可經由該行動裝置觀看由視訊攝影機102產生之一全景影像。鑒於一行動裝置之有限處理能力，用戶端裝置104a可不能夠對所接收之全景影像執行任何進一步處理。同時，鑒於行動裝置之小螢幕及使用其之情境，自視訊攝影機102接收之全景影像可足夠用於為保全人員提供由視訊攝影機102之感測器103擷取之視圖之一概觀的用途。另一方面，電腦104c可為一監控中心之一先進電腦。因而，至少與行動用戶端裝置104a比較，其可具有較強處理能力。用戶端裝置104c可經客製化以處理自視訊攝影機102接收之一全景影像，以(例如)使用於產生全景影像之影像之間的過渡更平滑。因此，可將較高品質之一經改良全景影像顯示給監控中心中之操作員。 在下文中，經調適以解碼所接收位元流中之額外資訊(對應於攝影機側處被忽略之複數個影像之重疊部分中的影像資料)且基於額外資訊處理所接收之全景影像的用戶端裝置稱為客製化用戶端裝置。相對而言，未經調適以解碼額外資訊或處理一所接收全景影像之用戶端裝置稱為一非客製化用戶端裝置。因此，在上述實例中，用戶端裝置104a係一非客製化用戶端裝置且用戶端裝置104c係一客製化用戶端裝置。 視訊攝影機102之複數個感測器103具有部分重疊之視野。此在圖2中進一步繪示，圖2展示由視訊攝影機102之複數個感測器103同時(即，在相同時間)擷取之複數個影像A、B、C、D。因此，影像A、B、C、D之各者對應於影像感測器103之一不同者。在此情況中，描繪四個感測器103及四個影像，但應瞭解，感測器之數目可為大於或等於二之任何數目。在所繪示實例中，影像感測器依一一維陣列彼此相鄰地安裝。然而，應瞭解，影像感測器可依其他類陣列圖案安裝，諸如安裝於一二維陣列上或安裝於一球體上。 歸因於感測器之視野重疊，影像A、B、C、D彼此重疊。換言之，複數個影像中存在重疊部分，如由圖2中之陰影線區域所指示。 圖3繪示視訊攝影機102之內部組件。視訊攝影機102包含複數個感測器103、一全景影像產生器302、一編碼器304及一傳輸器306。 圖4繪示一客製化用戶端裝置104c之內部組件。用戶端裝置104c包括一接收器402、一解碼器404及一拼接組件406。用戶端裝置104c亦可包含一顯示器。一非客製化用戶端通常包含一接收器及一解碼器。然而，非客製化用戶端通常不包含一拼接組件。 視訊攝影機102包括各種組件302、304及306，其等經組態以實施視訊攝影機102之功能。類似地，用戶端裝置104c包括各種組件402、404及406，其等經組態以實施用戶端裝置104c之功能。特定言之，所繪示之各組件對應於視訊攝影機102或用戶端裝置104c之一功能。一般而言，視訊攝影機102及用戶端裝置104c可包括經組態以實施組件302、304、306、402、404、406 (且更特定言之，其等之功能)的電路。 在一硬體實施方案中，組件302、304、306、402、404、406之各者可對應於專用於且經特別設計以提供組件之功能的電路。電路可以一或多個積體電路(諸如一或多個特殊應用積體電路)之形式。因此，舉例而言，全景影像產生器302可包括在使用時產生一全景影像之電路。 在一軟體實施方案中，電路可代替地以一處理器(諸如一微處理器或一中央處理單元)之形式，該處理器與儲存於一(非暫時性)電腦可讀媒體(諸如一非揮發性記憶體)上之電腦程式碼指令結合而引起視訊攝影機102及用戶端裝置104c實施本文中所揭示之任何方法。因此，在該情況中，組件302、304、306可各對應於儲存於視訊攝影機102中之電腦可讀媒體上之電腦程式碼指令之一部分，該部分在由視訊攝影機中之處理器執行時，將引起視訊攝影機102實施組件之功能。類似地，因此，組件402、404、406可各對應於儲存於用戶端裝置104c中之電腦可讀媒體上之電腦程式碼指令之一部分，該部分在由用戶端裝置104c中之處理器執行時，將引起用戶端裝置104c實施組件之功能。 應瞭解，亦可具有一硬體及一軟體實施方案之一結合，此意謂組件302、304、306、402、404、406之一些之功能在硬體中實施，且其他功能在軟體中實施。 將結合圖1、圖2、圖3、圖4、圖5及圖7之流程圖來解釋包含視訊攝影機102及用戶端裝置104a、104b、104c之系統100之操作。 在步驟S02中，視訊攝影機102使用複數個影像感測器103擷取複數個影像A、B、C、D。更詳細而言，複數個感測器103各經組態以擷取一現場之一視訊流308a、308b、308c、308d。各視訊流係配置於視訊訊框中之一系列影像。複數個影像感測器103經同步使得其等同時擷取影像。因此，由一第一感測器擷取之視訊流308a之各訊框具有由其他影像感測器擷取之視訊流308b、308c、308d之各者中之一對應訊框。影像A、B、C、D對應於同時由影像感測器104擷取之視訊流308a、308b、308c、308d之訊框。 視訊流308a、308b、308c及308d經輸入至全景影像產生器302。隨著視訊流308a、308b、308c、308d之訊框到達全景影像產生器302，全景影像產生器302可變換且對準圖2中所展示之複數個影像A、B、C、D (其等對應於同時接收之視訊流308a、308b、308c、308d之訊框)。進行該變換及對準以補償來自將現場成像至影像感測器103上之鏡頭的視差(有時稱為桶形失真校正)，且將複數個影像投影至一共同表面上以補償複數個影像不是自一單一位置獲得之事實。此種變換及對準為該技術領域中已知的。更詳細而言，影像感測器103未安裝於相同實體位置中，且通常亦經安裝以沿不同方向觀看。由於期望所得全景影像看起來好像自一單一位置而非自彼此偏離之位置處獲得，因此複數個影像經變換以投影至一共同表面(諸如一圓柱體或一球體)上。針對不同感測器所進行之變換及對準將係不同的。然而，通常針對來源於相同影像感測器103之各訊框進行相同變換及對準。可自影像感測器103之一校準判定擬應用之變換及對準，且接著可將所判定之變換及對準用於所有將來之訊框。 變換及對準之後的影像A、B、C、D在圖5中被繪示為項500。影像A、B、C、D具有重疊部分502a、502b、502c。為繪示起見，重疊部分502a、502b、502c被展示為具有一矩形形狀。然而，應瞭解，歸因於對準及變換，重疊部分通常具有一非矩形形狀。以下描述同樣十分適用於具有一非矩形形狀之重疊部分。此外，應瞭解，變換及對準通常致使影像A、B、C、D之邊緣成為非矩形。因此，可對影像A、B、C、D應用剪裁以恢復如圖5中所繪示之一矩形形狀500。有時可藉由由黑像素(具有值零之像素)填充矩形影像中之「孔」 (即，矩形形狀500內部不具有值之像素)來補全。在各重疊部分502a、502b、502c中，複數個影像A、B、C、D之至少兩者重疊。此意謂：針對各重疊部分502a、502b、502c，存在來自至少兩個影像之可用影像資料。在此實例中，重疊部分502a中存在來自影像A及影像B之可用影像資料，重疊部分502b中存在來自影像B及影像C之可用影像資料，重疊部分502c中存在來自影像C及影像D之可用影像資料。在非重疊部分504a、504b、504c及504d中，僅可用來自影像之一者的影像資料，在此情況中，部分504a中僅可用來自影像A之影像資料，部分504b中僅可用來自影像B之影像資料，部分504c中僅可用來自影像C之影像資料，且部分504d中僅可用來自影像D之影像資料。與圖2中所展示之形狀比較，歸因於變換及對準，重疊部分502a、502b、502c之形狀已改變。 接著，在步驟S04中，全景影像產生器302進行至識別複數個影像A、B、C、D中之重疊部分502a、502b、502c。可藉由使用匹配影像之影像處理(例如，藉由執行影像相關)，或藉由識別且匹配複數個影像中之特徵來識別重疊部分502a、502b、502c。然而，一旦已對影像感測器103進行初始校準，則所有將來之訊框中的重疊部分將係相同的。因此，可基於來自影像感測器103之校準的校準資料來識別重疊部分502a、502b、502c。識別可僅基於校準資料，或可另外使用影像處理以微調源於校準資料之識別。步驟S04亦可包括識別非重疊部分504a、504b、504c及504d。 在步驟S06中，視訊攝影機100之全景影像產生器302產生一全景影像。藉由將複數個影像A、B、C、D之所選擇部分拼合在一起(即，藉由將複數個影像A、B、C、D之所選擇部分並排配置)以形成一全景影像來產生全景影像。特定言之，所有影像A、B、C、D之非重疊部分504a、504b、504c、504d與來自影像A、B、C、D之一些的重疊部分拼合在一起。然而，為節省處理能力，視訊攝影機100中未發生影像資料之混合。此將在展示一全景影像510之圖5中進一步繪示。全景影像510表示複數個影像感測器103之視野之結合。全景影像510包括對應於複數個影像A、B、C、D之非重疊部分504a、504b、504c及504d的部分514a、514b、514c及514d。全景影像510亦包括對應於複數個影像A、B、C、D之重疊部分502a、502b、502c的部分512a、512b、512c。 如先前所描述，各非重疊部分504a、504b、504c及504d中可用來自影像A、B、C、D之一單一者的影像資料。因此，在全景影像510之各對應部分514a、514b、514c及514d中，全景影像產生器302包含來自該單一影像之影像資料。在此情況中，全景影像產生器302在部分514a中包含來自影像A之影像資料，在部分514b中包含來自影像B之影像資料，在部分514c中包含來自影像C之影像資料，在部分514d中包含來自影像D之影像資料。 就重疊部分502a、502b、502c而言，可用來自影像A、B、C、D之諸多者的影像資料。在此實例中，各重疊部分中可用來自兩個影像之影像資料。就全景影像510之對應部分512a、512b、512c而言，全景影像產生器302包含僅來自影像A、B、C、D之一者(影像資料可用)的影像資料。因此，全景影像產生器302針對各重疊部分選擇一影像且在全景影像510之對應部分中包含來自所選擇影像之影像資料。在所繪示實例中，全景影像產生器302在全景影像510之部分512a中包含來自影像A之影像資料，在部分512b中包含來自影像B之影像資料且在部分512c中包含來自影像C之影像資料。因此，為產生全景影像510，此實例中之全景影像產生器302將影像A、B、C、D之非重疊部分及影像A、B、C之重疊部分拼合在一起。接著，當影像A、B、C、D之至少兩者重疊時，僅選擇影像之一者以用於各對應重疊部分，且將其等與影像之非重疊部分拼合在一起。若兩個或兩個以上影像重疊，則可選擇其等之任一者以用於對應重疊部分。因此，當產生全景影像510之部分512a、512b、512c時，全景影像產生器302忽略來自除所選擇影像之外的所有者之影像資料。在此情況中，在產生部分512a時忽略來自影像B之影像資料，在產生部分512b時忽略來自影像C之影像資料，且在產生部分512c時忽略來自影像D之影像資料。在產生全景影像510時被全景影像產生器302忽略之影像資料如圖5中之項520所繪示。項522a、522b及522c分別對應於在產生全景影像之部分512a、512b及512c時被全景影像產生器302忽略之影像資料。 即使全景影像產生器302在產生全景影像510時忽略一些影像資料，全景影像產生器302也不捨棄所忽略之影像資料。相反地，且如圖3中所展示，全景影像產生器302將全景影像510及所忽略之影像資料520轉發至編碼器304。所忽略之影像資料520與(例如)以影像座標之形式的位置資訊一起轉發，其識別全景影像510之對應部分512a、512b、512c。 應瞭解，隨著視訊流308a、308b、308c、308d之新訊框到達全景影像產生器302，重複以上步驟。因此，一全景影像510流及一所忽略之影像資料520流按序列轉發至編碼器304。 隨著編碼器304按序列接收全景影像510及所忽略之影像資料520，在步驟S08中，其進行至編碼全景影像510及所忽略之影像資料520。編碼器304一般可使用標準視訊編碼方案(諸如H.264或H.265)將全景影像510流編碼為一視訊流之視訊訊框。編碼器304進一步將所忽略之影像資料520編碼成一或多個額外編碼項且藉由時間戳記將其等鏈接至所編碼之視訊流。例如，圖5之全景影像510可經編碼為藉由視訊流中之一時間戳記標記之一視訊訊框。對應之經編碼的所忽略之影像資料520可藉由相同時間戳記標記。依此方式，一解碼器可使所忽略之影像資料520與正確全景影像510相關聯。 存在如何產生額外編碼項之不同替代方案，即，所忽略之影像資料520可以不同方式編碼。根據一實施例，所忽略之影像資料520經編碼於與全景影像510相同之視訊訊框中。更詳細而言，所忽略之影像資料520可在全景影像510之對應位置處編碼為額外編碼塊及/或編碼片。舉例而言，所忽略之影像資料522a可在對應於全景影像510之部分512a的位置處編碼為額外編碼塊及/或編碼片。 一視訊訊框一般可包括後接訊框資料(在此情況中，經編碼影像資料)之一訊框標頭。擬編碼之一影像可劃分為水平分隔區(叫做片)。另外或替代地，擬編碼之一影像可劃分為垂直分隔區(叫做塊)。片及/或塊可經單獨編碼及解碼，但仍可包含於相同視訊訊框中。因此，片可視為一訊框之水平獨立編碼及解碼單元，且塊可視為訊框之垂直獨立編碼及解碼單元。片由(例如) H.264及H.265標準支持。塊(及片)由(例如)H.265標準支持。為使一解碼器將不同片及/或塊彼此分離開，可使用一起始碼及一停止碼來識別一片或一塊在訊框資料中之起始及停止。例如，假設一視訊訊框包含兩個塊——塊1及塊2，則其可具有以下形式： 訊框標頭 起始碼 塊1 停止碼 起始碼 塊2 停止碼 為使一解碼器正確組成來自一經編碼視訊訊框之一影像，其亦需要已知不同塊及片在影像中之位置(例如，像素位置方面)。換言之，除傳輸經編碼之塊及片之外，訊框亦載送經編碼塊及片之位置資訊。此位置資料可(例如)包括於起始碼中。 返回至圖5之實例，存在將全景影像510分隔成塊之諸多方式。例如，全景影像510可經編碼為一單一塊。根據另一實例，來源於影像A之部分514a、512a可經編碼為一第一塊，來源於影像B之部分514b、512b可經編碼為一第二塊，來源於影像C之部分514c、512c可經編碼為一第三塊，且來源於影像D之部分514d可經編碼為一第四塊。此等四塊可如上文所解釋般由視訊訊框中之起始碼及停止碼指示。 另外，所忽略之影像資料522a、522b、522c可經編碼於相同訊框中。例如，所忽略之影像資料522a可經編碼為一第一額外塊，所忽略之影像資料522b可經編碼為一第二額外塊，所忽略之影像資料522c可經編碼為一第三額外塊，該第三額外塊被添加在訊框資料之結尾處，即，在表示全景影像510之塊之後。替代地，所忽略之影像資料522a、522b、522c可經編碼於一單一額外塊中，該單一額外塊對應於圖5中之項520之虛線輪廓(其繼而對應於全景影像510之輪廓)。 該等額外塊僅意欲由一客製化解碼器讀取，且因此，其等應以一方式編碼以允許一非客製化解碼器忽視額外塊且仍能夠解碼視訊訊框以解碼全景影像510。此可以諸多方式實現。以一第一方式，額外塊可如上文所描述般由起始碼及停止碼來指示。在該情況中，(若干)起始碼可載送額外塊之位置資訊(例如)以指示所忽略之影像資料522a對應於重疊部分512a之位置，且所忽略之影像資料522b及522c之情況類似。此外，可在訊框標頭中將額外塊標記為「不展示」。此允許一非客製化解碼器忽視額外塊，此係因為標記為「不展示」之塊僅在被另一塊或訊框提及時被解碼(此處並非該情況)。根據一第二替代方式，額外塊可在不使用任何起始碼及停止碼之情況下被包含於訊框中。依該方式，一非客製化解碼器將忽視額外塊，此係因為編碼器正搜尋起始碼以讀取資料。然而，一客製化解碼器可讀取訊框中之所有資料，即使其等未藉由起始碼及停止碼指示。在此情況中，需以與起始碼不同之另一方式(例如，在訊框標頭中)傳達額外塊之位置資訊。 上文主要相對於塊來進行描述，但其同樣非常適用於片。塊較佳在影像感測器水平配置時使用，且片較佳在影像感測器垂直配置時使用。 在其中一重疊部分係非矩形形狀之情況中，可產生包含整個非矩形重疊部分之一片/塊，且根據下文中所描述之內容，來自重疊部分之不具有像素資訊之片/塊的區域經編碼為具有跳過方塊。 根據另一實施例，所忽略之影像資料520經編碼於經編碼視訊流之一或多個視訊訊框中，即，與載送對應全景影像510之訊框分離之視訊訊框中。例如，一或多個額外訊框可包括位於與在全景影像510中之位置對應之位置處的所忽略之影像資料520及跳過方塊。更詳細而言，為編碼單獨訊框，可產生一「替代」全景影像。參考圖5之實例，替代全景影像在非重疊部分514a、514b、514c及514d中具有與全景影像510相同之內容。然而，在重疊部分512a、512b、512c中，藉由所忽略之影像資料522a、522b、522c替代影像資料。可參考全景影像510來編碼對應於非重疊部分514a、514b、514c之替代全景影像之部分，此將導致該等部分經編碼為P型跳過方塊。因此，僅需要編碼所忽略之影像資料522a、522b、522c。 額外視訊訊框可被標記為「不顯示」訊框，或在不可使用「不顯示」訊框之視訊解碼標準中使用一顯示計數值來標記，該顯示計數值指代視訊流中之一較早或一稍後位置以用於欺騙一標準解碼器以不顯示此等影像訊框。然而，一客製化解碼器將被指令以識別此等視訊訊框且將其等用於處理全景影像，而一非客製化解碼器可忽視額外訊框。此將在下文中更詳細描述。 解碼器304將經編碼視訊流轉發至傳輸器306，傳輸器以一位元流之形式將其傳輸至用戶端裝置104a、104b、104c之一或多者。經編碼視訊流在圖3中指示為項310。 在步驟S10中，一用戶端裝置104a、104b、104c使用接收器402接收經編碼視訊流310且使用解碼器404解碼經編碼視訊流310。 若用戶端裝置係一非客製化用戶端裝置，則解碼器通常實施一標準視訊解碼方案，諸如H.264或H.265。當所忽略之影像資料520如上文所描述般編碼時，一非客製化用戶端裝置之一標準解碼器可僅忽略經編碼視訊流中之所忽略之影像資料520且僅顯示由視訊攝影機102中之全景影像產生器302所產生之全景影像510。 一客製化用戶端裝置(諸如用戶端裝置104c)代替地具有一解碼器404，其識別視訊流中之額外資訊——即，在產生全景影像500時被視訊攝影機102忽略之影像資料520。例如，其可識別視訊流之訊框中的額外塊及/或片，或識別如上文所描述般被標記為「不顯示」訊框之額外視訊訊框。 接著，此額外資訊由拼接組件406使用以(例如)更新全景影像510。一般而言，拼接組件406可藉由將部分512a、512b、512c (對應於原始影像A、B、C、D中之重疊部分502a、502b、502c)中之全景影像510與在產生此等部分512a、512b、512c時被忽略之影像資料522a、522b、522c混合來更新全景影像510。通常，混合包含計算一加權平均值。舉例而言，拼接組件406可藉由計算全景影像510之部分512a中之影像資料與所忽略影像資料520之部分522b中之影像資料的一加權平均值來更新全景影像510之部分512a。據此，來自原始影像A及影像B之影像資料將在全景影像510之部分512a中混合。類似地，影像B及影像C之影像資料在部分512b中混合，且影像C及影像D之影像資料在部分512c中混合。 可分像素選擇在計算加權平均值時所應用之權重。例如，可基於與部分512a、512b、512c之邊界的接近度來選擇權重。舉例而言，就來源於影像A之影像資料而言，權重可為距對應於影像A之非重疊部分504a的部分514a之最近距離的一函數。此在圖6中相對於全景影像510之部分512a中之混合來進一步繪示。 圖6繪示全景影像510之部分512a。在此部分中，形成來自影像A及影像B之影像資料的一加權平均值，即，
Figure 02_image001
。權重
Figure 02_image003
係距部分512a之左邊緣(即，距部分512a與514a (對應於影像A之非重疊部分504a)之間的邊界)之距離的一衰減函數。權重
Figure 02_image005
代替地係距該部分之右邊緣(即，距部分512a與514b (對應於影像B之非重疊部分504a)之間的邊界)之距離的一衰減函數。權重總和為一，藉此產生一加權平均值。此處，權重經繪示為距部分512a之邊緣的距離之一線性函數。然而，實際上，函數之確切形式可變動。然而，其較佳係一平滑函數。 根據另一實施例，權重不僅可分像素選擇，但其等亦可取決於空間頻率而不同。例如，可(例如)藉由使用一低通濾波器及一高通濾波器空間過濾影像來將全景影像500之部分512a之影像資料分離成低頻內容及高頻內容，類似地，可將所忽略之影像資料522a分離成低頻內容及高頻內容。低頻一般意謂低於一第一臨限值之頻率，且高頻一般意謂高於或等於一第二臨限值之頻率。第一臨限值及第二臨限值可相等。接著，拼接組件406可計算相對於部分512a及522b之影像資料之低頻內容的一第一加權平均值，及相對於部分512a及522b之影像資料之高頻內容的一第二加權平均值。 可依不同方式選擇在計算第一加權平均值及第二加權平均值時所使用之權重。例如，可根據上文參考圖6所描述之內容選擇在計算第一加權平均值時所使用之權重。在計算第二加權平均值時所使用之權重可經選擇以等於零或一。因此，就高頻而言，不發生混合。舉例而言，再次參考全景影像510之部分512a，就比部分512a之右邊界更接近左邊界之像素而言，應用至影像A之高頻內容的權重
Figure 02_image003
可設定為一，且應用至影像B之高頻內容的權重
Figure 02_image005
可設定為零。相反地，就比部分512a之左邊界更接近右邊界之像素而言，應用至影像A之高頻內容的權重
Figure 02_image003
可設定為零，且應用至影像B之高頻內容的權重
Figure 02_image005
可設定為一。 權重亦可經設定以取決於全景影像510之部分512a、512b、512c中之影像資料及所忽略之影像資料522a、522b、522c。例如，若存在覆蓋原始影像A、B、C、D中之重疊部分502a、502b、502c之一者的一物件或一物件之一部分，則僅使用來自重疊部分中之重疊影像之一者的影像資料可係有益的(至少就被物件覆蓋之像素而言)。歸因於視差，原本存在該物件可在所得影像中重複展示之一風險。因此，拼接組件406可識別全景影像500之部分512a、512b、512c中之物件或物件部分。類似地，拼接組件406可識別對應之所忽略影像資料522a、522b、522c中之物件或物件部分。物件識別可(例如)包含如該項技術中已知般識別影像資料中之邊緣、角或對照點。若拼接組件406在一部分512a、512b、512c及所忽略之影像資料522a、522b、522c之對應片兩者中均識別到一物件或一物件之部分，則針對屬於該物件之像素的全景影像510及所忽略影像資料520之一者，將在如上文所描述般形成加權平均值時所使用之一權重設定為零。 當拼接組件406已更新全景影像510時，可將已更新之全景影像顯示於用戶端裝置之一顯示器上。 雖然以上描述主要係關於更新一全景影像以提高全景影像之平滑度，但應瞭解，一客製化用戶端裝置亦可使用另外接收之資料(即，在產生全景影像時在攝影機側上被忽略之影像資料)。例如，用戶端裝置可自全景影像510及被忽略之影像資料520恢復該複數個影像。根據另一實例，用戶端裝置可使用所接收之全景影像510及所忽略影像資料520以計算對應於原始影像之重疊部分502a、502b、502c的部分512a、512b、512c中之深度資訊。可基於影像A、B、C、D之重疊之差異計算深度資訊。 即使已在藉由使用具有部分重疊之視野的複數個影像感測器同時擷取複數個影像之一視訊攝影機之內文中描述上述方法，然其亦適用於其他情境。例如，可藉由執行平移運動及傾斜運動來移動具有一單一影像感測器之一視訊攝影機以掃描一現場。因此，由此一視訊攝影機擷取之視訊序列包含自稍微不同之位置及/或方向描繪一現場之複數個影像。因此，複數個影像將對應於現場之部分重疊之視野。然而，在此情況中，影像並非同時擷取，而係對應於在不同時間點時擷取之一視訊序列之視訊訊框。上述方法可在加以必要之變更(mutatis mutandis)後適用於依此方式擷取之複數個影像。特定言之，該方法可包括： 該視訊攝影機擷取包括具有部分重疊之視野之複數個影像的一視訊序列； 該視訊攝影機將該複數個影像之重疊部分識別為其中該複數個影像之至少兩個影像重疊之部分； 該視訊攝影機藉由將該複數個影像之部分拼合在一起來產生對應於該複數個影像之視野之一結合的一全景影像； 其中，就該複數個影像之各重疊部分而言，該視訊攝影機將來自重疊之該至少兩個影像之一者的影像資料包含於該全景影像中，且該視訊攝影機忽略來自重疊之該至少兩個影像中之另一影像的影像資料； 該視訊攝影機編碼該全景影像及在產生該全景影像時被忽略之影像資料，且將其等以一經編碼視訊流傳輸至該用戶端裝置； 該用戶端裝置接收且解碼該經編碼視訊流，且若該用戶端裝置經客製化以處置在產生該全景影像時被視訊攝影機忽略之影像資料，則該用戶端裝置使用在產生該全景影像時被視訊攝影機忽略之影像資料來在對應於該複數個影像之重疊部分的部分中更新該全景影像。 將理解，熟習此項技術者可以許多方式修改上文所描述之實施例且仍使用如以上實施例中所展示之本發明之優點。例如，當兩個以上影像在一重疊部分中重疊時，所揭示方法同樣適用。因此，本發明不應限於所展示之實施例而應僅藉由隨附申請專利範圍定義。此外，如熟習此項技術者所瞭解，可組合該等所展示之實施例。
100‧‧‧系統102‧‧‧視訊攝影機103‧‧‧影像感測器104a‧‧‧用戶端裝置/行動裝置104b‧‧‧用戶端裝置/膝上型電腦104c‧‧‧用戶端裝置/電腦106‧‧‧網路302‧‧‧全景影像產生器304‧‧‧編碼器306‧‧‧傳輸器308a至308d‧‧‧視訊流310‧‧‧經編碼視訊流402‧‧‧接收器404‧‧‧解碼器406‧‧‧拼接組件500‧‧‧矩形形狀502a至502c‧‧‧重疊部分504a至504d‧‧‧非重疊部分510‧‧‧全景影像512a至512c‧‧‧部分514a至514d‧‧‧部分520‧‧‧所忽略之影像資料522a至522c‧‧‧所忽略之影像資料A/B/C/D‧‧‧影像S02‧‧‧步驟S04‧‧‧步驟S06‧‧‧步驟S08‧‧‧步驟S10‧‧‧步驟w1、w2‧‧‧權重
將參考隨附圖式(其中相同元件符號將用於類似元件)透過本發明之較佳實施例之以下繪示性及非限制性詳細描述更佳地理解本發明之上文以及額外目標、特徵及優點，其中： 圖1示意性地繪示根據實施例之一系統。 圖2示意性地繪示由一多感測器攝影機擷取之影像。 圖3示意性繪示根據實施例之一視訊攝影機之內部組件。 圖4示意性繪示根據實施例之一用戶端裝置之內部組件。 圖5示意性地繪示根據實施例之由一多感測器視訊攝影機擷取之經變換且對準之影像、由視訊攝影機產生之一全景影像，及在產生全景影像時被視訊攝影機忽略之影像資料。 圖6示意性地繪示根據實施例選擇用於計算一加權平均值之權重。 圖7係根據實施例之一方法之一流程圖。
512a‧‧‧部分
514a‧‧‧部分
514b‧‧‧部分
A/B‧‧‧影像
w1、w2‧‧‧權重

Claims (15)

  1. 一種在一系統(100)中執行之方法，該系統包括一視訊攝影機(102)，該方法包括：該視訊攝影機(102)藉由使用具有部分重疊之視野的複數個影像感測器(103)來同時擷取複數個影像(A、B、C、D)(S02)；該視訊攝影機(102)將該複數個影像(A、B、C、D)之重疊部分(502a、502b、502c)識別為其中該複數個影像之至少兩個影像重疊之部分(S04)；該視訊攝影機(102)藉由將該複數個影像之部分(514a、512a、514b、512b、514c、512c、514d)拼合在一起來產生對應於該複數個影像感測器之該等視野之一結合的一全景影像(510)；其中，就該複數個影像之各重疊部分(502a、502b、502c)而言，該視訊攝影機將來自重疊之該至少兩個影像之一者(A、B、C)的影像資料(512a、512b、512c)包含於該全景影像中，且該視訊攝影機忽略來自重疊之該至少兩個影像中之另一影像(B、C、D)的影像資料(522a、522b、522c)；其中執行該方法之該系統進一步包括一用戶端裝置，且藉由：該視訊攝影機編碼該全景影像(510)及在產生該全景影像時被忽略之該影像資料(522a、522b、522c)，且將其等以一經編碼視訊流(310)傳輸至該用戶端裝置(104a、104b、104c)(S08)；該用戶端裝置(104a、104b、104c)接收且解碼該經編碼視訊流(104)(S10)，且若該用戶端裝置經客製化以處置在產生該全景影像(510)時被該 視訊攝影機(102)忽略之該影像資料(522a、522b、522c)，則該用戶端裝置(104c)使用在產生該全景影像(510)時被該視訊攝影機(102)忽略之該影像資料(522a、522b、522c)來在對應於該複數個影像之該等重疊部分(502a、502b、502c)的部分(512a、512b、512c)中更新該全景影像(510)。
  2. 如請求項1之方法，其中該用戶端裝置(104c)藉由計算該全景影像(510)與該重疊部分之被該視訊攝影機忽略之該影像資料(522a、522b、522c)的一加權平均值來針對對應於該複數個影像之一重疊部分(502a、502b、502c)的該全景影像(510)之各部分(512a、512b、512c)更新該全景影像(510)。
  3. 如請求項2之方法，其中該加權平均值之權重(w1、w2)係基於一像素與對應於該複數個影像之一重疊部分(502a、502b、502c)的該全景影像之該部分(512a、512b、512c)之一周邊的一接近度來分像素選擇的。
  4. 如請求項3之方法，其中該加權平均值之權重(w1、w2)係該像素與對應於該複數個影像之一重疊部分(502a、502b、502c)的該全景影像之該部分(512a、512b、512c)之該周邊的該接近度之一平滑函數。
  5. 如請求項2至4之任一者之方法，其進一步包括：針對對應於該複數個影像之一重疊部分(502a、502b、502c)的該全景影像之各部分(512a、512b、512c)： 該用戶端裝置(104c)計算該全景影像(510)與該重疊部分之被該視訊攝影機忽略之該影像資料(522a、522b、522c)的一第一加權平均值，其中該第一加權平均值係相對於低於一第一臨限值之空間頻率來計算的；該用戶端裝置(104c)計算該全景影像(510)與該重疊部分之被該視訊攝影機(102)忽略之該影像資料(522a、522b、522c)的一第二加權平均值，其中該第二加權平均值係相對於等於或高於一第二臨限值之空間頻率來計算的，該第二臨限值大於或等於該第一臨限值；其中藉由將該第一加權平均值及該第二加權平均值合併來在對應於該複數個影像之一重疊部分(502a、502b、502c)的各部分(512a、512b、512c)中更新該全景影像(510)；及其中用於計算該第一加權平均值及該第二加權平均值之權重係依不同方式選擇的。
  6. 如請求項5之方法，其中該第一加權平均值之該等權重係與對應於該複數個影像之該重疊部分(502a、502b、502c)的該全景影像之該部分(512a、512b、512c)之該周邊的該接近度之一平滑函數，及其中該第二加權平均值之該等權重取決於與對應於該複數個影像之該重疊部分(502a、502b、502c)的該全景影像之該部分(512a、512b、512c)之該周邊的該接近度而為零或一。
  7. 如請求項2至4中任一項之方法，其進一步包括：該用戶端裝置(104c)在對應於該複數個影像之一重疊部分(502a、502b、502c)的該全景影像之該部分(512a、512b、512c)及在產生該全景 影像部分時被該視訊攝影機忽略之該影像資料(522a、522b、522c)中識別物件，其中，若在對應於該複數個影像之一重疊部分的該全景影像之該部分(512a、512b、512c)及在產生該全景影像之該部分時被該視訊攝影機忽略之該影像資料(522a、522b、522c)兩者中均識別到一物件，則針對被識別為屬於該物件之像素，將該全景影像及在產生該部分時被該視訊攝影機忽略之該影像資料之一者的一權重設定為零。
  8. 如請求項1至4中任一項之方法，其進一步包括：該用戶端裝置(104c)自該全景影像(510)及在產生該全景影像時被忽略之該影像資料(522a、522b、522c)恢復該複數個影像(A、B、C、D)。
  9. 如請求項1至4中任一項之方法，其進一步包括：該用戶端裝置(104c)基於該全景影像(510)及在產生該全景影像時被該視訊攝影機忽略之該影像資料(522a、522b、522c)來計算對應於該複數個影像之該等重疊部分的該全景影像之部分(512a、512b、512c)之深度資訊。
  10. 如請求項1至4中任一項之方法，其進一步包括：若該用戶端裝置未經客製化以處置在產生該全景影像時被該視訊攝影機忽略之該影像資料(522a、522b、522c)，則該用戶端裝置(104a)顯示該全景影像。
  11. 如請求項1至4中任一項之方法，其中該全景影像(510)經編碼為由該經編碼視訊流(310)中之一時間戳記標記之一視訊訊框，且其中該視訊攝影機藉由該相同時間戳記標記在產生該全景影像時被忽略之該經編碼影像資料(522a、522b、522c)。
  12. 如請求項11之方法，其中在產生該全景影像(510)時被忽略之該影像資料(522a、522b、522c)經編碼為與該全景影像(510)相同之該視訊訊框中之額外編碼塊及/或編碼片。
  13. 如請求項11之方法，其中在產生該全景影像(510)時被忽略之該影像資料(522a、522b、522c)經編碼為一或多個單獨視訊訊框。
  14. 如請求項13之方法，其中該一或多個單獨視訊訊框被標記為不顯示訊框。
  15. 一種系統(100)，其包括：一視訊攝影機(102)，其包括具有部分重疊之視野的複數個影像感測器(103)，該複數個影像感測器(103)經組態以同時擷取複數個影像(A、B、C、D)；其中該視訊攝影機(102)經進一步組態以：將該複數個影像(A、B、C、D)之重疊部分(502a、502b、502c)識別為其中該複數個影像之至少兩個影像重疊之部分；藉由將該複數個影像(A、B、C、D)之部分(514a、512a、514b、 512b、514c、512c、514d)拼合在一起來產生對應於該複數個影像感測器(103)之該等視野之一結合的一全景影像(510)，其中，就該複數個影像之各重疊部分(502a、502b、502c)而言，該視訊攝影機(102)經組態以將來自重疊之該至少兩個影像之一者(A、B、C)的影像資料(512a、512b、512c)包含於該全景影像中，且忽略來自重疊之該至少兩個影像中之另一影像(B、C、D)的影像資料(522a、522b、522c)；及編碼該全景影像(510)及在產生該全景影像時被忽略之該影像資料(522a、522b、522c)，且將其等以一視訊流(310)傳輸至一用戶端裝置(104c)；該系統進一步包括：一用戶端裝置(104c)，其經組態以接收及解碼該視訊流(310)，且使用在產生該全景影像(510)時被該視訊攝影機(102)忽略之該影像資料(522a、522b、522c)來在對應於該複數個影像之該等重疊部分(502a、502b、502c)的部分(512a、512b、512c)中更新該全景影像(510)。
TW107112550A 2017-05-16 2018-04-12 包括視訊攝影機與用戶端裝置的系統以及由其執行的方法 TWI728244B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??17171354.8 2017-05-16
EP17171354.8A EP3404913B1 (en) 2017-05-16 2017-05-16 A system comprising a video camera and a client device and a method performed by the same
EP17171354.8 2017-05-16

Publications (2)

Publication Number Publication Date
TW201907702A TW201907702A (zh) 2019-02-16
TWI728244B true TWI728244B (zh) 2021-05-21

Family

ID=58772353

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107112550A TWI728244B (zh) 2017-05-16 2018-04-12 包括視訊攝影機與用戶端裝置的系統以及由其執行的方法

Country Status (6)

Country Link
US (1) US10511769B2 (zh)
EP (1) EP3404913B1 (zh)
JP (1) JP6666949B2 (zh)
KR (1) KR102082327B1 (zh)
CN (1) CN108881713B (zh)
TW (1) TWI728244B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10616559B1 (en) * 2018-12-12 2020-04-07 Vmware, Inc. Virtual stereo device redirection for virtual desktops
CN111447403B (zh) * 2019-01-16 2021-07-30 杭州海康威视数字技术股份有限公司 一种视频显示方法、装置及系统
EP3713235B1 (en) * 2019-03-19 2023-08-02 Axis AB Methods and devices for encoding a video stream using a first and a second encoder
WO2021003263A1 (en) * 2019-07-01 2021-01-07 Geomagical Labs, Inc. Method and system for image generation
CN110753217B (zh) * 2019-10-28 2022-03-01 黑芝麻智能科技(上海)有限公司 色彩平衡方法和装置、车载设备以及存储介质
US11423559B2 (en) * 2020-06-30 2022-08-23 Bnsf Railway Company Systems and methods for reconstructing objects using transitional images
WO2022081717A1 (en) * 2020-10-13 2022-04-21 Flyreel, Inc. Generating measurements of physical structures and environments through automated analysis of sensor data
CN112437231B (zh) * 2020-11-24 2023-11-14 维沃移动通信（杭州）有限公司 图像拍摄方法和装置、电子设备及存储介质
EP4060982B1 (en) * 2021-03-15 2023-06-28 Axis AB Method and monitoring camera for handling video streams
WO2023276007A1 (ja) * 2021-06-29 2023-01-05 三菱電機株式会社 映像配信装置、ユーザ端末、プログラム、映像配信システム及び映像配信方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060088286A1 (en) * 2004-10-26 2006-04-27 Sony Corporation Information processing apparatus and method, recording medium, and program
US20120294549A1 (en) * 2011-05-17 2012-11-22 Apple Inc. Positional Sensor-Assisted Image Registration for Panoramic Photography
US20120293607A1 (en) * 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
US20160088287A1 (en) * 2014-09-22 2016-03-24 Samsung Electronics Company, Ltd. Image stitching for three-dimensional video
TW201727439A (zh) * 2015-10-30 2017-08-01 傲思丹度科技公司 用於身體手勢介面及投影顯示器之系統及方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006080739A1 (en) 2004-10-12 2006-08-03 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
US8947502B2 (en) * 2011-04-06 2015-02-03 Qualcomm Technologies, Inc. In camera implementation of selecting and stitching frames for panoramic imagery
JP5359783B2 (ja) * 2009-10-28 2013-12-04 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5663920B2 (ja) * 2010-03-29 2015-02-04 株式会社ニコン 電子機器、およびパノラマ画像表示プログラム
CN102263926A (zh) * 2010-05-31 2011-11-30 鸿富锦精密工业（深圳）有限公司 电子设备及其图像处理方法
US9516225B2 (en) * 2011-12-02 2016-12-06 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting
CN104506826B (zh) * 2015-01-13 2017-09-12 中南大学 一种无有效重叠区域的定点定向视频实时拼接装置
WO2016165016A1 (en) * 2015-04-14 2016-10-20 Magor Communications Corporation View synthesis-panorama
US10148939B2 (en) * 2016-07-19 2018-12-04 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
US20180101934A1 (en) * 2016-10-06 2018-04-12 Macau University Of Science And Technology Device and a method for creating an image
US10194097B2 (en) * 2017-01-13 2019-01-29 Gopro, Inc. Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images
EP3419278B1 (en) * 2017-06-20 2019-09-25 Axis AB A multi-sensor video camera, and a method and processing pipeline for the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060088286A1 (en) * 2004-10-26 2006-04-27 Sony Corporation Information processing apparatus and method, recording medium, and program
US20120294549A1 (en) * 2011-05-17 2012-11-22 Apple Inc. Positional Sensor-Assisted Image Registration for Panoramic Photography
US20120293607A1 (en) * 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
US20160088287A1 (en) * 2014-09-22 2016-03-24 Samsung Electronics Company, Ltd. Image stitching for three-dimensional video
TW201727439A (zh) * 2015-10-30 2017-08-01 傲思丹度科技公司 用於身體手勢介面及投影顯示器之系統及方法

Also Published As

Publication number Publication date
CN108881713A (zh) 2018-11-23
JP2018201197A (ja) 2018-12-20
EP3404913A1 (en) 2018-11-21
US10511769B2 (en) 2019-12-17
JP6666949B2 (ja) 2020-03-18
KR20180125878A (ko) 2018-11-26
KR102082327B1 (ko) 2020-02-27
EP3404913B1 (en) 2019-11-06
TW201907702A (zh) 2019-02-16
US20180338084A1 (en) 2018-11-22
CN108881713B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
TWI728244B (zh) 包括視訊攝影機與用戶端裝置的系統以及由其執行的方法
JP2021044849A (ja) 映像同期装置及び映像同期方法
CN103189796B (zh) 用于形成图像的方法
CN109863754B (zh) 用于直播流化的虚拟现实360度视频相机系统
US9786144B2 (en) Image processing device and method, image processing system, and image processing program
JP4575447B2 (ja) パノラマ画像の動き推定及び補償のために仮想画像領域を生成する方法及び装置
US20180343470A1 (en) Method of using cube mapping and mapping metadata for encoders
WO2012035783A1 (ja) 立体映像作成装置および立体映像作成方法
CN108012155A (zh) 预拼接图像的视频编码方法、视频解码方法和相关的装置
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
CN112365407B (zh) 视角可配置的摄像机全景拼接方法
JP2008225600A (ja) 画像表示システム、画像送信装置、画像送信方法、画像表示装置、画像表示方法およびプログラム
JP2011139368A (ja) 撮像装置の制御装置および制御方法
US20150178898A1 (en) Processing panoramic pictures
US20190104330A1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
WO2013145820A1 (ja) 撮影装置、方法、記憶媒体及びプログラム
US20140111611A1 (en) Method and system for encoding multi-view video content
JP2011101165A (ja) 連動撮影システム
JP4660463B2 (ja) ステレオ画像符号化装置
JP2011205585A (ja) 画像処理装置、画像処理システム、及び画像処理プログラム
JP5694060B2 (ja) 画像処理装置、画像処理方法、プログラム、撮像装置及びテレビジョン受像機
WO2017164798A1 (en) Method, device and program storage unit for live broadcasting of spherical video
JP4404340B2 (ja) 適応形状画像符号化装置および復号装置
KR20200111639A (ko) 영상 스티칭 워크플로우 및 파라미터 제공 방법 및 장치
JP2022110816A (ja) フレーミング評価装置およびプログラム