TWI548276B - 用於在現存的靜態影像中視覺化視頻的方法與電腦可讀取媒體 - Google Patents

用於在現存的靜態影像中視覺化視頻的方法與電腦可讀取媒體 Download PDF

Info

Publication number
TWI548276B
TWI548276B TW100128565A TW100128565A TWI548276B TW I548276 B TWI548276 B TW I548276B TW 100128565 A TW100128565 A TW 100128565A TW 100128565 A TW100128565 A TW 100128565A TW I548276 B TWI548276 B TW I548276B
Authority
TW
Taiwan
Prior art keywords
image
video
existing
conversion parameters
traffic camera
Prior art date
Application number
TW100128565A
Other languages
English (en)
Other versions
TW201215125A (en
Inventor
歐斐克艾耶
陳貝利
Original Assignee
微軟技術授權有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 微軟技術授權有限責任公司 filed Critical 微軟技術授權有限責任公司
Publication of TW201215125A publication Critical patent/TW201215125A/zh
Application granted granted Critical
Publication of TWI548276B publication Critical patent/TWI548276B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops
    • G08G1/137—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops the indicator being in the form of a map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

用於在現存的靜態影像中視覺化視頻的方法與電腦可讀 取媒體
本發明係相關於在現存的靜態影像中視覺化視頻。
除了一些例外情況以外，諸如以操作機動載具為專業者，大體上大部分人們將花在駕駛上的時間視為非生產性的時間。陷於高流量交通處境中的駕駛人所經歷到的情緒惡化與其他影響，可使此種非生產性變得更差。所以，從很久以前便存在在駕駛時避免高流量交通處境的需求。為了滿足此種需求，人們已可由各式各樣可用的交通資訊，來幫助他們避免高流量交通處境或其他希望避免的以交通為基礎的發生事件。例如，許多機動載具導航系統(automobile navigational system)現在提供一些即時交通資訊量測。類似地，做為另一實例，許多以網路為基礎的映射應用程式同樣地提供即時交通資訊。
通常將所提供的交通資訊一般化以較易消化。例如，通常利用廣布的紅、黃和綠顏色編碼提供交通資訊，其中利用綠色來指示低流量交通處境，同時利用紅色來指示高流量交通處境。做為另一實例，通常以旅行預定距離(諸如兩個熟知的交叉點或其他此種地標)所需的平均速度或時間量來提供交通資訊。在此種一般化交通資訊能較易被使用者消化的同時，諸如在使用者全神貫注於操作機動載具時，在一些情況下此種一般化交通資訊可不能夠提供足夠的資訊。
對於那些可期望更詳細交通資訊的情況而言，亦可由在特定位置的機動載具交通即時影像之形式，通常經由通訊耦合至較大的運算裝置網路(諸如廣布的網際網路(Internet)或相當地廣布的全球資訊網(World Wide Web))的視頻攝影機，來提供交通資訊。傳統地，此種交通攝影機係由政府機關維持，諸如州或本地運輸部門，並被架設與置放使得在重要道路或其他大街之特定方向上提供有利觀點(vantage point)。通常，可經由網站，或其他類似的以網路為基礎之介面，以原始交通攝影機影像饋送的形式，來獲得對由此種交通攝影機提供之影像的存取。例如，網站可顯示具有交通攝影機位置的地圖，該交通攝影機位置經由適當的圖示或其他指示元來指示。選擇此種圖示或其他指示元，可展示原始交通攝影機影像饋送(通常在子視窗或其他類似的獨立使用者介面元件中)。
因為對成本與頻寬的考量，通常所利用的交通攝影機可無法提供高品質影像。再者，交通攝影機係設計以提供機動載具交通影像，且不提供背景或周遭環境的影像。因此，使用者在存取交通攝影機影像饋送時時常感到困惑。例如，使用者時常難以決定交通攝影機是面對哪個方向。類似的，使用者時常難以識別正拍攝哪一條道路，因為作為現場、即時、移動中之影像展示的交通攝影機影像饋送展示，在背景上係極大地與所顯示的地圖不同，使用者係從所顯示的地圖中選擇交通攝影機，且所顯示的地圖提供了交通攝影機位置之圖像視覺指示元。
在一具體實施例中，在現存環場影像(panoramas)之背景中對使用者呈現交通攝影機影像饋送，環場影像包含與在交通攝影機影像饋送中所關注之道路相同的道路。此種拼合法可能夠在現存環場影像的較大視覺背景中，觀看由交通攝影機提供的移動與動態交通影像。通常經由架設在專屬載具上的專屬環場攝影機擷取現存環場影像，且通常經由現存以地圖為基礎之網站或其他類似的網路中心介面對使用者呈現，作為選定地圖區域的街景(street-level view)。使用者對於此種街景的熟悉度在與環場影像提供的背景視覺資訊結合後，可讓使用者能夠更簡單地理解並利用呈現於此種環場影像中的移動與動態交通攝影機影像饋送。
在另一具體實施例中，可預處理交通攝影機影像饋送，以決定可應用至交通攝影機影像饋送，以增進交通攝影機影像饋送與現存環場影像之視覺整合的轉換參數。此種預處理可包含識別欲於其中顯示交通攝影機影像饋送的一或多個適當環場影像，並可更進一步包含識別隨時間改變的交通攝影機影像饋送的某些部分，以及隨時間保持靜止的交通攝影機影像饋送的某些部分。
在另一具體實施例中，藉由根據預定轉換參數轉換全體交通攝影機影像饋送並隨後在現存環場影像中顯示全體交通攝影機影像饋送，可將交通攝影機影像饋送整合入一或多個現存環場影像，以使來自交通攝影機的移動與動態視頻被呈現於一或多個環場影像的較大視覺背景中。或者，僅可將移動(或變化)的交通攝影機影像饋送成分過濾並顯示於現存環場影像中。又或者，可將移動(或變化)的交通攝影機影像饋送成分與道路或其他適當背景結構結合，過濾並顯示於現存環場影像中。
在又一具體實施例中，可利用線匹配(line matching)演算法計算轉換參數。此種線匹配演算法可尋求將交通攝影機影像饋送靜止部分之適當方面的線，與一或多個現存環場影像的類似方面匹配。
此發明說明以簡化形式介紹了一些選擇的概念，概念將於下文「實施方式」中更進一步描述。此發明說明並不意為識別所請發明標的的關鍵特徵或必要特徵，亦不意為用以限制所申請發明標的的範圍。
額外的特徵與優點將明顯見於下文參照附加圖式描述的「實施方式」。
下文所述相關於將即時視頻攝影機影像資料(在此稱為「饋送」)整合入通常為環場影像之形式的現存影像，以使源自視頻攝影機的移動視頻被顯示於現存影像之較大影像背景中。首先，可執行預處理而導出轉換參數，可利用轉換參數以視覺地轉換視頻攝影機影像饋送，以使視頻攝影機影像饋送調和進(並契合(fit))一或多個現存環場影像。隨後，可利用預定轉換參數以在一或多個現存環場影像中顯示視頻攝影機影像饋送，諸如經由通常為使用者所利用以存取此種環場影像的使用者介面進行顯示。在載具交通之背景中，可將交通攝影機影像饋送作為整體轉換並整合入一或多個現存環場影像，或可僅將交通攝影機影像饋送之某些部分(諸如移動載具，或諸如移動載具與下層道路)顯示於環場影像中。一種用於導出轉換參數的機制可使用線匹配演算法，線匹配演算法可將來自視頻攝影機影像饋送之靜止部分之適當的線，匹配至一或多個環場影像中之對應線。可經由使用過濾技術來識別適當的線，諸如藉由以動作方向為基礎的過濾，或藉由以預先存在之疊加地圖資料為基礎的過濾來識別適當的線。
為了圖示說明之目的，在此描述的技術指向於呈現於現存環場影像中的交通攝影機影像饋送，現存環場影像係對於網路化地圖介面中街景的背景而收集，並於背景中呈現。然而，此種參照完全僅為示例性，且並不意為將所述機制限制於所提供的特定實例。當然，所述技術係可應用至任何視頻攝影機影像饋送(包含移動與靜態部分兩者)與現存靜態影像的整合，現存靜態影像提供環繞由視頻攝影機影像饋送制定之一或多個元素的較大背景。因此，下文所提及的「交通攝影機」係意為被廣泛地瞭解，以表示任何視頻攝影機，且所提及的「環場影像」係意為被廣泛地瞭解，以應用至任何提供較大視覺背景的靜態影像，因為下文所述係可均等地應用至此等較廣泛的概念，並絕不僅唯一地限制於交通攝影機或環場影像。
雖然不為所需，下文將對於一般的電腦可執行指令背景來描述，諸如由運算裝置執行的程式模組。更詳言之，除非另外指示，否則描述將參照由一或多個運算裝置或周邊設備執行之作業的動作與符號代表。所以，將瞭解到此種動作與作業(有時被稱為被由電腦執行)，包含由處理單元操縱電子訊號，電子訊號以結構化形式表示資料。此操縱轉換資料，或在記憶體中的位置維持資料，操縱由為本發明領域中具有通常知識者所充分瞭解的方式，重配置或改變運算裝置(或周邊設備)之作業。於其中維持資料的資料結構，為具有由資料格式定義之特定性質的實體位置。
一般而言，程式模組包含常式、程式、物件、部分、資料結構與執行特定工作或實施特定抽象資料類型的類似者。再者，在本發明領域中具有通常知識者將認知到，運算裝置不需限於傳統個人電腦，且包含其他運算配置，包含手持式裝置、多處理器系統、以微處理器為基礎或可程式之消費者電子設備、網路個人電腦、微電腦、大型電腦與類似者。類似地，運算裝置不需限於單獨運算裝置，因為機制亦可被實作於分散式運算環境，分散式運算環境中藉由經由通訊網路連結之遠端處理裝置執行工作。在分散式運算環境中，程式模組可位於本地與遠端記憶體儲存裝置中。
現在看到圖示示例性系統100的第1圖，包含用戶端運算裝置130、地圖伺服器運算裝置120與交通攝影機110，以上之每一者經由網路180與彼此通訊耦合。為了圖示說明之目的，在第1圖之示例性系統100中的交通攝影機110，被圖示為放置於在道路170上的跨線橋171上，以使交通攝影機110可提供道路170上載具交通的影像。在第1圖之系統100中，由個別影像141、142、143、144與145視覺地表示的交通攝影機影像饋送140，可藉由通訊而為一或多個運算裝置可用，通訊係經由網路180。在由第1圖之系統100圖示說明的實例中，地圖伺服器運算裝置120可從交通攝影機110接收交通攝影機影像饋送140，如由通訊149圖示說明者。
為了讓使用者(諸如用戶端運算裝置130的使用者)能夠以更有意義，且更易於瞭解之背景接收交通攝影機影像饋送140，地圖伺服器運算裝置120可結合交通攝影機影像饋送140與一或多個現存地圖環場影像150，以對用戶端運算裝置130提供拼合影像160，拼合影像160可包含呈現在地圖環場影像150之一或多者之背景中並覆蓋於背景上的交通攝影機影像饋送140(或交通攝影機影像饋送140的部分)。如將為在本發明領域中具有通常知識者所認知，地圖環場影像150可包含由可在以地圖為基礎之背景中對使用者呈現的方式，安排並組織的環場影像。例如，通常經由網路180(諸如地圖中心網站)而為可用的地圖資訊，可包含可對使用者呈現一些街景之形式的一或多個介面。此種街景通常讓使用者能夠視覺化特定位置(諸如透過更傳統的地圖瀏覽技術來選定的特定位置)，而如同在沿著選定大街步行或駕駛所見者。如將為在本發明領域中具有通常知識者所認知的，可利用地圖環場影像150來提供此種街景。
更詳言之，通常可藉由架設在專屬環場影像擷取載具上的專屬環場攝影機來獲得地圖環場影像150，專屬環場影像擷取載具沿著想要對使用者呈現其街景的特定大街駕駛。因此，地圖環場影像150包含在沿著此種特定大街的連續點拍攝的一系列環場影像，且可藉由連續地顯示環場影像以表示可對使用者呈現的街景，從而讓使用者能夠模擬沿著大街的動作，同時亦能夠模擬轉頭或改變所呈現之景的方向。為了圖示說明此種一系列環場影像之目的，如會出現在地圖上一般，在第1圖之系統100中圖示交叉點159，以及在沿著交叉點159之大街之一者的點拍攝的一系列連續環場影像151、152、153、154與155。環場影像151、152、153、154與155與其他環場影像一樣，可為可通訊耦合至地圖伺服器運算裝置120的地圖環場影像150的部分。
為了圖示說明及解釋之目的，交叉點159可相當於下層道路170與上層跨線橋171的交叉點，交通攝影機110係架設於上層跨線橋171上。因此，環場影像151、152、153、154與155之一或多者，可至少約包含由交通攝影機110擷取的場景。如將詳細描述於下文者，地圖伺服器運算裝置120可識別地圖環場影像150之一或多者，並可將交通攝影機影像饋送140整合入此種環場影像，以提供拼合影像160給用戶端運算裝置130(如由通訊169所圖示說明者)，以使用戶端運算裝置130的使用者在觀看經由地圖環場影像150所呈現之街景時，在此街景中亦可看見當前情況，包含在道路170上的當前交通，如由交通攝影機110經由交通攝影機影像饋送140所呈現者。雖然因為附加圖式的靜止本質而難以圖示說明，拼合影像160意為表示包含移動與動態視頻的拼合影像，諸如由交通攝影機110提供為交通攝影機影像饋送140形式者，以一種方式覆蓋於現存影像或者與現存影像整合，而使現存影像對移動與動態視頻提供較大的視覺背景，且使視頻以移動與動態形式顯示於現存影像中。藉由在現存環場影像背景中呈現交通攝影機影像饋送140，可提供實質上較大的視覺背景給使用者，以瞭解並理解交通攝影機影像饋送140。
此外，如可從個別影像141、142、143、144與145而見者，交通攝影機110在一具體實施例中可為可移動式，以使攝影機擷取的覆蓋範圍可隨時間改變。例如，影像142可表示交通攝影機110在擷取影像141之後已被向下搖鏡(panned)。類似地，影像143可表示交通攝影機110在擷取影像142之後(並當然在擷取影像141之後)已被向上搖鏡。類似的，影像144與145可分別表示交通攝影機110在擷取影像141之後被向右及向左搖鏡。如將於下文更詳細描述者，由地圖伺服器運算裝置120執行的處理，可解決此種交通攝影機110的定向改變。
現看到第2圖，系統200詳細圖示說明可將視頻攝影機饋送與現存環場影像整合，以使視頻攝影機饋送以移動與動態形式顯示在現存環場影像視覺背景中的處理。首先，諸如在預處理階段期間，可取樣交通攝影機影像饋送140一有限時間量，諸如可預先建立的時間量，或從交通攝影機影像饋送獲得足夠視覺資訊量所需的時間量。在一具體實施例中，此種預定時間量可考慮自然光線因素，以使得(例如)可選定預定時間量以避免包含日間影像與夜間影像兩者，或者(作為另一實例)可選定預定時間量以避免包含晨間影像與傍晚影像兩者。若正被取樣的交通攝影機影像饋送140指示，正從其中接收交通攝影機影像饋送之交通攝影機能夠被移動，以使攝影機擷取的覆蓋範圍可隨時間變化，則在一具體實施例中，可首先執行初始影像穩定化，諸如由第2圖之系統200所圖示說明者。更詳言之，如第2圖所圖示，包含變化的覆蓋範圍的一序列影像之每一者(諸如在第1圖之系統100中個別圖示的影像141、142、143、144與145)，可被對準以使每一影像的共同元素重疊。所產生的複合物(composite)隨後可被利用，且來源視頻攝影機的隨後動作單純地被視為對複合物不同部分的隨後擷取。
根據此種複合物，由動作225指示的一種分析，可識別在取樣影像饋送的預定時間量期間內，展示了運動的複合物區域。可利用為在本發明領域中具有通常知識者所熟知的現存影像分析技術，以運動遮罩220的形式識別指示了運動的區域。類似地，根據複合物，由動作235指示的另一種分析，可識別在取樣影像饋送的預定時間量期間內，保持靜止或不變的複合物區域。再次說明，可利用為在本發明領域中具有通常知識者所熟知的現存影像分析技術，來識別此種區域。例如一種此種技術可在取樣影像饋送的預定時間量期間的一些或全體內，將來自交通攝影機影像饋送140的影像平均。此種平均可減少(或實務上為消除)在各種影像圖框中移動的元素，同時強調保持靜止的元素。所產生的平均影像230可包含為交通攝影機影像饋送140部分之不隨時間改變的影像部分。
可與交通攝影機影像饋送140一起，獲得關於交通攝影機110位置210的資訊，以協助對一或多個可能的環場影像選擇。更詳言之，如第2圖之系統200所圖示，攝影機位置210可與一或多個環場影像(諸如環場影像151、152、153、154與155)的位置比較，如動作215所指示。如將為在本發明領域中具有通常知識者所認知，在首先收集此種環場影像時，可類似地記錄環場影像的精確位置，以使環場影像可適當地被顯示，並被與現存地圖整合，諸如(例如)作為連同此種地圖之提供而提供的街景的部分。因此，可由直接明確的方式進行對交通攝影機110位置210，與拍攝一或多個環場影像的位置之間的比較。
動作215可表示從現存環場影像組中對候選環場影像的選擇，可由參考於上文所述之(除其他因子之外)位置元資料(metadata)來告知(inform)此選擇。例如，在一具體實施例中，在距交通攝影機110位置210預定距離內拍攝的所有環場影像可被選定為候選環場影像。在一替代性具體實施例中，沿著適當大街拍攝的環場影像可被選定為候選環場影像。在另一替代性具體實施例中，可由多個因子告知對候選環場影像的選擇，諸如地形、視線或環場影像可能包含的其他因子，而環場影像可能至少在其一部分中包含與提供交通攝影機影像饋送140之交通攝影機110擷取之影像範圍類似之影像範圍。在第2圖中圖示的示例性系統200中，為了圖示說明與解釋之目的，環場影像152、153與154可由動作215，至少部分基於交通攝影機110位置210來選定為候選環場影像，交通攝影機110位置210與一環場影像集合一起被提供為動作215的輸入。
一旦已選定候選環場影像組，可將候選環場影像之一或多者的適當部分，與由交通攝影機影像饋送140提供之影像範圍匹配。在一具體實施例中，可由可相關於候選環場影像之現存地圖資料，告知對候選環場影像之一或多者的適當部分的選擇。例如，如將為在本發明領域中具有通常知識者所認知，使用這些環場影像之街景的通常表示，亦可包含由電腦產生之地圖影像資料的覆蓋物，諸如(例如)指示特定道路的線或其他由地圖所指示的元素。可利用相關於候選環場影像的此種現存地圖資料，以告知欲與由交通攝影機影像饋送140提供之影像範圍匹配的，對候選環場影像之一或多者的適當部分的選擇。更詳言之，攝影機位置210與其他潛在可用之元資料，可一起指示一或多條大街，交通攝影機110係沿著該一或多條大街定向，且該一或多條大街的載具交通係由交通攝影機影像饋送140擷取。相關於候選環場影像之現存地圖資料，隨後可被參照以識別定向於類似方向(或沿著相同大街)之候選環場影像的部分。
在第2圖圖示之示例性系統200中，候選環場影像152、153與154的個別部分252、253與254，可(例如)由參照地圖資料來分別選定，地圖資料圖示為交叉點159的形式，並可相關於候選環場影像。如於先前所指出的，交叉點159可為正提供交通攝影機影像饋送140之交通攝影機110可被放置的交叉點，諸如(例如)由攝影機位置210所指示者。因此，可藉由選定已知為參照地圖資料，而沿著交叉點159之道路的一適當道路被定向之候選環場影像的部分，來分別選定候選環場影像152、153與154的部分252、253與254。
從候選環場影像152、153與154的個別部分252、253與254中選定的部分253，可如動作250所指示，藉由將候選環場影像部分的方面與平均影像230匹配來獲得，平均影像230可由前述方式從交通攝影機影像饋送140產生。例如，在一具體實施例中，可由將部分252、253與254中的線與平均影像230中的相當線匹配，來執行匹配動作250。一種選定欲匹配之線的機制，可為選定在運動方向中(或相當地，在道路方向中)的線。因此，針對平均影像230，可被選定以匹配之來自此影像的線，可參照運動遮罩220來被選定。例如，可被選定以匹配之來自平均影像230的線，可為實質上平行於(或被包含於)運動遮罩220的線。類似地，針對候選環場影像152、153與154的個別部分252、253與254，來自每一部分之欲匹配之線可參照地圖資料而被選定，地圖資料係相關於每一候選環場影像。更詳言之，所選定之線可為實質上平行於道路方向的線，道路方向被相信為交通攝影機110沿其定向的道路，諸如將被相關於每一候選環場影像之覆蓋地圖資料所指示者。
對於候選環場影像152、153與154的個別部分252、253與254之每一者，可將所選定之線與平均影像230的所選定之線匹配，且可基於對哪些線匹配得最精確的決定，來選定所選定部分253。線匹配演算法係為在本發明領域中具有通常知識者所熟知，且因此不更進一步描述。然而，匹配動作250並不限於線匹配。在其他具體實施例中，可利用點、影像區段或資料叢集，來將候選環場影像152、153與154的個別部分252、253與254與平均影像230分別匹配。如在此所利用之，名詞「影像特徵匹配」意為指向在聚集體中的此種具體實施例。此外，儘管在第2圖之系統200圖示說明僅一個環場影像153的選定部分253，但在其他具體實施例中，可對多個環場影像執行下述對於轉換參數260之推導，以使交通攝影機影像饋送140可與多個不同的環場影像整合，雖然如將為在本發明領域中具有通常知識者所認知，對於此種將交通攝影機影像饋送整合入多個不同環場影像之特定一者的每一整合，可計算並利用不同的轉換參數。
一旦選定了環場影像的選定部分253，平均影像230可被轉換與對準至選定部分，以使交通攝影機影像饋送140與環場影像153能夠被結合，選定部分253係從環場影像153獲得。此種對準轉換的結果，如動作265所表示，可為轉換參數260，如將於下文更詳細描述之，隨後可即時應用轉換參數260至交通攝影機影像饋送140，而能夠產生來自交通攝影機110並於現存環場影像之背景中的當前顯示，諸如環場影像153。
如於前述之匹配250的情況中，可類似地利用影像特徵匹配，作為轉換與對準265的部分，以選定最佳轉換參數260。在一具體實施例中，可利用單應性(homography)以執行轉換與對準265。更詳言之，可隨機選定來自平均影像230的線，並可利用單應性來轉換平均影像230，以使隨機選定的線與選定部分253的相當線匹配。隨後，可檢查在經轉換與對準之平均影像230與選定部分253之間，其他未被選定之線契合得有多緊密。可由為在本發明領域中具有通常知識者所熟知的方式，來對契合緊密度評分，且可將此分數與所利用的轉換參數一起儲存。隨後，可再次參照未轉換的平均影像230，以再次隨機地選定不同的線組，並執行另一單應性以轉換平均影像230，以使新隨機地選定的線與選定部分253中的相當線匹配。隨後可再次由與前述相同的方式，決定此轉換的分數，並可與所利用的轉換參數一起儲存該分數。最後，可被選定為最終轉換參數260的轉換參數，可為產生最佳分數而證明在經轉換與對準的平均影像230與選定部分253之間具有最佳契合的那些轉換參數。在其他具體實施例中，可利用除了單應性以外的契合模型，諸如仿射映射(affine mapping)或充分投射(full projection)。
一旦已決定了轉換參數260，可利用轉換參數260來(實質上即時)轉換從交通攝影機110接收的交通攝影機影像饋送140，並將經轉換影像整合入現存地圖環場影像中。更詳言之，且如圖示於第2圖之示例性系統200中，可基於在運動遮罩220中的轉換參數260，過濾與轉換經即時接收之交通攝影機影像饋送140(如動作275所指示)。可利用運動遮罩220來識別欲整合入現存地圖環場影像的交通攝影機影像饋送140的那些部分。隨後，一旦已識別那些部分且已過濾出交通攝影機影像饋送140的剩餘部分，可應用轉換參數260來轉換交通攝影機影像饋送140的剩餘部分。隨後可將所產生之經過濾與轉換的交通攝影機影像饋送270與現存影像結合，如將於下文詳細描述之。再次說明，在附加圖式的靜止本質之下，在第2圖中經過濾與轉換的交通攝影機影像饋送270被圖示說明為單一圖像複合物，但如上文所述，由元件編號270識別的圖像複合物意為表示來自交通攝影機110的移動與動態視頻，不同之處在於現已根據前述轉換被圖像地轉換(諸如於逐圖框或其他為在本發明領域中具有通常知識者所熟知的基礎上)，且將於下文更詳細描述。
如動作285所指示，隨後可將經過濾與轉換的交通攝影機影像饋送270，與先前選定的地圖環場影像153部分253結合。結合動作285可使交通攝影機影像饋送140的影像範圍正確地放置於地圖環場影像153之較大影像範圍中，或更精確而言，可使交通攝影機影像饋送的影像特徵覆蓋於地圖環場影像153之相當的影像特徵上。此種結合可產生拼合影像280，拼合影像280包含現場(或實質上為現場)的交通攝影機影像饋送，如被顯示於地圖環場影像280之部分中的移動與動態視頻，且隨後可對使用者顯示(如動作295所指示)。以此方式，可對使用者提供對於正從交通攝影機110接收之視頻的較大背景。例如對於正瀏覽街景的使用者(諸如可透過以地圖為基礎之網站對使用者呈現街景)，在使用者瀏覽過放置了交通攝影機110的交叉點時，除了此種交叉點的街景以外，可對使用者呈現即時(或約為即時)之疊加於交叉道路影像上的實際移動載具交通影像。類似地，做為另一實例，可對尋求觀看交通攝影機影像饋送140的使用者，在現存地圖環場影像之背景中呈現此種交通攝影機影像饋送，以讓使用者可與環場影像互動，並接收對於所圖示之移動與動態交通攝影機視頻之較佳背景，諸如對交通攝影機110正指向哪條道路以及攝影機正指向哪個方向的較佳瞭解。
現在看到第3圖，在第3圖中圖示的流程圖300圖示說明了示例性預處理系列步驟，其可被執行來導出轉換參數260，如先前於第2圖中圖示者。首先，如第3圖圖示，可於步驟310取樣交通攝影機影像饋送，且可於步驟350獲得交通攝影機位置。作為於步驟310取樣交通攝影機影像饋送的部分，可於步驟315決定正從其中取樣交通攝影機影像饋送的交通攝影機是否為可移動。可例如由決定交通攝影機影像饋送的個別影像圖框之中的影像範圍是否改變，來進行於步驟315中的決定。若於步驟315決定交通攝影機為不可移動，則處理可進行至步驟330與335。或者，若於步驟315決定交通攝影機為可移動，則處理可進行至步驟320，在步驟320從交通攝影機影像饋送接收的影像可被穩定化，諸如以前述之方式。隨後處理可進行至步驟330與335。
如第3圖之流程圖300所圖示說明，步驟330、340與335可平行執行，或以步驟330、340與335之執行順序彼此不相關的方式來執行。於步驟330，可導出在一段時間中的平均影像，該段時間包含至少一些(若非全部)在其期間取樣交通攝影機影像饋送的時間。隨後於步驟340，在一具體實施例中，可利用已知的線偵測技術來偵測於步驟330導出之平均影像的線。於步驟335，可從正被取樣之交通攝影機影像饋送，導出圖示隨時間變化之運動的區域遮罩。
在步驟330、340與335完成時，處理可進行至步驟345，於步驟345，可利用於步驟335導出的運動遮罩來過濾在步驟340偵測到的線(於在步驟330導出的平均影像中)，以使所產生的線為沿著(或約為平行)運動方向的那些線，如由運動遮罩識別者。
於與前述步驟平行且獨立處理的步驟355，可基於在步驟350接收(或獲得)的交通攝影機位置，識別已在接近交通攝影機位置處拍攝的環場影像。於步驟360，於在步驟355識別的環場影像中，可經由利用已知的線偵測技術，在環場影像的一些部分(或全體環場影像)中偵測線。隨後於步驟365，可基於現存地圖資料將於步驟360偵測到的線過濾，現存地圖資料係與選定環場影像整合(並相關)。更詳言之，於步驟360執行的線過濾，可選擇沿著(或為其方向)一或多條道路的線，該一或多條道路被識別為提供交通攝影機影像饋送之交通攝影機沿其定向的道路。
於步驟370，於在步驟345完成過濾線，及在步驟365完成過濾線時，可進行對經過濾線之間的比較，以識別在正被取樣之交通攝影機影像饋送與一或多個預先存在地圖環場影像之至少一些部分之間的最佳匹配。一旦識別到最佳匹配，於步驟370，交通攝影機影像饋送可被契合並對準至經識別環場影像(或環場影像之部分)，諸如經由第4圖圖示之系統400所識別者，且將於下文詳細描述。最後，不相關於所利用以執行將交通攝影機影像饋送與經識別環場影像(或其一部份)契合並對準的實際機制，此種機制的結果可為轉換參數，如第3圖之流程圖300所圖示，在導出轉換參數時，相關之預處理可在步驟375完成。
現看到第4圖，其中圖示的流程圖400圖示說明示例性機制，藉由此機制可導出轉換參數，轉換參數可應用至交通攝影機影像饋送，以使交通攝影機影像饋送能夠視覺上充分地整合入現存地圖環場影像。如前述所指，在第4圖之流程圖400中(當然的，並於第3圖之流程圖300中)參照利用線以執行並估算在交通攝影機影像饋送與一或多個現存地圖環場影像之間之匹配的同時，此種參照僅為示例性，並可類似地利用其他影像特徵來執行此種匹配與估算。
首先，如第4圖之流程圖400所圖示，可於步驟410獲得在欲契合並對準之現存環場影像中的交通攝影機影像。隨後於步驟420，可隨機選定交通攝影機影像中的線。如前述所指，線集合(可於步驟420在其中隨機選定一些線的線集合)可為由運動遮罩所識別的那些線，或其他沿著(或實質上平行於)運動方向的線。隨後於步驟430，可轉換並對準交通攝影機影像，以將隨機選定之線與現存環場影像中的對應線契合。在一具體實施例中，可利用單應性來執行此種轉換。於步驟440，可對現存環場影像中的經轉換並對準之交通攝影機影像之間的全體契合度評分，諸如藉由估算在經轉換並對準之交通攝影機影像與現存環場影像之間，其他線匹配的程度進行評分。於步驟450，可將於步驟430導出並利用之轉換參數，與於步驟440決定之對應分數一起儲存。
於步驟460，可決定是否已達到臨限值。在一具體實施例中，此種臨限值可簡單的為特定的疊代數量，同時在其他實施例中，此種臨限值可為最小分數，最小分數相關於對於在經轉換並對準之交通攝影機影像與現存環場影像之間的契合度之可接收度的臨限位準，或其他類似的臨限值。若於步驟460決定尚未達到適當臨限值，則處理可回到步驟420，於步驟420可隨機選定不同線組，且可對新隨機選定之線重複進行步驟430、440與450之處理。反之，若於步驟460決定已達到適當臨限值，則處理可進行至步驟470，於步驟470可選定產生最佳分數的轉換參數。於步驟470所選定之轉換參數可為相關處理的目標，如步驟375所指出者，亦於先前在第3圖之流程圖300中參照。
現在看到第5圖，其中圖示之方塊圖500圖示說明示例性複合影像組，示例性複合影像組圖示說明三種機制，藉此三種機制可將交通攝影機影像饋送與現存環場影像整合。一如前述，因為附加圖式的靜止本質，拼合510、530與550被圖示為單一圖像複合物，但拼合510、530與550意為表示與靜止影像一起顯示之移動與動態視頻的疊加，或其他結合。因此，在視頻中的各種圖像元素意為被閱讀者瞭解並視覺化為移動與動態圖像元素。此外，如將為在本發明領域中具有通常知識者所認知，所圖示說明的三種機制僅為示例性，並可均等地將其他視覺整合機制應用至交通攝影機影像饋送，而不脫離本文中說明。在一具體實施例中，由拼合影像510所圖示說明，可將經轉換並對準之移動交通攝影機視頻(由淡陰影區域520表示)，疊加於地圖環場影像之選定部分253上。然而，如將為在本發明領域中具有通常知識者所認知，此種表示可缺乏視覺細緻度，且一些使用者可由不好的方式感知此種表示。
因此，在另一具體實施例中，由拼合影像530圖示說明，可僅將被相信為載具交通的那些移動交通攝影機視頻元素(諸如載具531、532、533、534與535)，疊加在地圖環場影像的選定部分253上。雖然此種具體實施例可提供較佳的視覺細緻度，並保持大部分環場影像之連續性，但通常環場影像自身可包含可在擷取環場影像之時存在於道路上之載具交通的靜態影像。因此，如複合影像530圖示，可為環場影像部分之載具541與542，可顯露為佔據與來自交通攝影機影像饋送之載具531、532、533、534與535相同(或約相同)的空間。此外，因為載具531、532、533、534與535為移動與動態視頻的移動元素，他們可顯露為駕駛「穿過」為靜止環場影像部分253之靜態元素的載具541與542，或駕駛「於載具541與542上」。此種顯露與此種視覺行為，可讓一些使用者感到困惑。
因此，在另一具體實施例中，由複合影像550圖示說明，可將移動交通攝影機視頻的部分560疊加在地圖環場影像的選定部分253之上，移動交通攝影機視頻的部分560包含識別為道路的部分，以及於道路上的載具交通。在此種具體實施例中，可在將來自此視頻之移動載具交通疊加在交通攝影機影像饋送之道路上時，遮蔽任何可為環場影像部分之載具。此種具體實施例在一些情況下可在由交通攝影機影像饋送提供之有意義視覺資訊，與由環場影像提供之背景視覺資訊之間，提供約為無縫的視覺整合。例如，此種具體實施例可使來自交通攝影機視頻之移動載具交通，顯露為無縫地在環場影像部分253之中移動。然而，如前述所指，可利用其他整合兩影像的機制，而不脫離前述說明之範圍。
此外，如亦於前述所指，雖然已為了釋明前述說明之目的參照交通攝影機與地圖環場影像，前述說明並不特定限於交通攝影機與地圖環場影像。當然，前述說明可應用至任何將視頻整合入靜態影像的整合。例如，各種公眾與私人個體維護他們自己的視頻攝影機，並提供對來自此種視頻攝影機之影像饋送的存取。此種個體可包含滑雪勝地(ski resort)(滑雪勝地的視頻攝影機可顯示各滑雪坡上的當前情況)、公眾或私人海灘(公眾或私人海灘的視頻攝影機可顯示當前海灘情況)，以及公眾或私人大學(公眾或私人大學的視頻攝影機可簡單地顯示校園的各部分)。可將來自此種視頻攝影機的影像饋送，由相同於前述參照之交通攝影機的方式，整合入現存靜態影像中。例如，滑雪坡、海灘與大學校園通常位於道路邊，且已為了提供映射背景中之街景的目的，擷取了道路的環場影像。因此，可將此種其他視頻攝影機的移動與動態視頻，整合入與前述參照相同的地圖環場影像中。又或者，可將淺視野(narrow-field-of-vision)視頻攝影機(諸如安全攝影機)的移動與動態視頻，整合入為了對淺視野安全攝影機提供較大視覺背景之目的而拍攝的靜態影像中。因此，作為一實例，可在建築物的至少兩側拍攝廣角靜態影像。隨後，可將位於建築物周圍之多重安全攝影機之全體的視頻，顯示於此種廣視野影像之背景中。可見，前述說明可應用至將移動與動態視頻整合入提供較大視覺背景之靜態影像的廣範圍中。
現在看到圖示示例性運算裝置600的第6圖，而前述機制可連同示例性運算裝置600實施。示例性運算裝置600可為在前述參照之附加圖式中圖示說明，並更詳細描述於前述說明的用戶端運算裝置130、地圖伺服器運算裝置120或甚至交通攝影機110的任一者或多者。第6圖之示例性運算裝置600可包含(但不限於)一或多個中央處理單元(CPUs)620、系統記憶體630(可包含RAM 632)以及系統匯流排621，系統匯流排621耦合各種系統元件，包含將系統記憶體耦合至處理單元620。系統匯流排621可為數種匯流排結構類型之任意者，包含使用各種匯流排架構之任意者的記憶體匯流排或記憶體控制器、周邊設備匯流排與本地匯流排。可選地，運算裝置600可包含圖像硬體，諸如用於視覺使用者介面之顯示，圖像硬體包含(但不限於)圖像硬體介面690與顯示裝置691。此外，運算裝置600亦可包含圖像輸入硬體(諸如數位視頻攝影機651)，其可表示交通攝影機110擷取交通攝影機影像饋送所使用的實體硬體。圖像輸入硬體(諸如數位視頻攝影機651)，可經由周邊設備介面650通訊耦合至系統匯流排621。
運算裝置600通常亦包含電腦可讀取媒體，電腦可讀取媒體可包含可被運算裝置600存取的任何可用媒體，並包含揮發性與非揮發性媒體以及可移除式與不可移除式媒體。舉例來說(且不為限制)，電腦可讀取媒體可包含電腦儲存媒體與通訊媒體。電腦儲存媒體包含以任何用於資訊儲存之方法或科技實施的媒體，資訊諸如電腦可讀取指令、資料結構、程式模組或其他資料。電腦儲存媒體包含(但不限於)隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電子可抹拭唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體科技、光碟機(CD-ROM)、數位多功能光碟(DVD)或其他光學磁碟儲存、磁匣、磁帶、磁碟儲存或其他磁性儲存裝置，或可用於儲存所需資訊並可由運算裝置600存取的任何其他媒體。通訊媒體通常將電腦可讀取指令、資料結構、程式模組或其他資料實施為經調變資料訊號，諸如載波或其他運輸機制，並包含任何資訊傳遞媒體。舉例來說(且不為限制)，通訊媒體包含有線媒體與無線媒體，有線媒體諸如有線網路或直接連線連結，無線媒體諸如聲學、無線電(RF)、紅外線與其他無線媒體。亦需將前述之任意者的組合包含在電腦可讀取媒體之範圍中。
系統記憶體630包含為揮發性及(或)非揮發性記憶體的電腦儲存媒體，諸如ROM 631與前述之RAM 632。通常儲存於ROM 631中的基本輸入/輸出系統(BIOS)633，包含(諸如在啟動期間)幫助在運算裝置600中元件之間傳輸資訊的基本常式。RAM 632通常包含可即時被處理單元620存取，及(或)當下正由處理單元620操作的資料及(或)程式模組。舉例來說(且不為限制)，第6圖圖示說明作業系統634，以及其他程式模組635與程式資料636。
運算裝置600亦可包含其他可移除式/不可移除式以及揮發性/非揮發性電腦儲存媒體。舉例來說(且僅為舉例)，第6圖圖示說明硬碟機641，硬碟機641讀取自(或寫入)不可移除式與非揮發性磁性媒體。可用於示例性運算裝置的其他可移除式/不可移除式及揮發性/非揮發性電腦儲存媒體，包含(但不限於)磁帶卡匣、快閃記憶卡、數位多功能光碟、數位視訊磁帶、固態RAM、固態ROM與類似者。硬碟機641通常經由不可移除式記憶體介面(諸如介面640)連接至系統匯流排621。
於上文討論並於第6圖圖示說明之磁碟機，以及與磁碟機相關之電腦儲存媒體，提供對用於運算裝置600之電腦可讀取指令、資料結構、程式模組與其他資料的儲存。例如在第6圖中，硬碟機641經圖示說明為儲存作業系統644、其他程式模組645與程式資料646。注意到這些元件可與作業系統634、其他程式模組635與程式資料636相同或不同。對作業系統644、其他程式模組645與程式資料646給定不同編號，以圖示說明作業系統644、其他程式模組645與程式資料646為不同的複製品。
運算裝置600可操作於使用連接至一或多個遠端電腦之邏輯連結的網路環境中。運算裝置600經圖示說明為經由網路介面或轉接器670(網路介面或轉接器670相應地連接至系統匯流排621)連接至一般網路連結671。在網路環境中，相對於運算裝置600(或運算裝置600的部分或周邊設備)所繪製之程式模組，可被儲存於經由一般網路連結671通訊耦合至運算裝置600的一或多個其他運算裝置的記憶體中。將認知到，所圖示之網路連結僅為示例性，並可使用其他建立在運算裝置之間之通訊鏈結的手段。
如可從前述說明中所見者，已列舉用於整合現場視頻攝影機饋送與現存靜止影像的機制。鑑於在此描述之申請標的之許多變化，申請人將可包含於下列申請範圍及其均等範圍中的所有此種具體實施例，請求視為本發明。
100．．．示例性系統
110．．．交通攝影機
120．．．地圖伺服器運算裝置
130．．．用戶端運算裝置
140．．．交通攝影機影像饋送
141-145．．．個別影像
149．．．通訊
150．．．地圖環場影像
151-155．．．環場影像
159．．．交叉點
160．．．拼合影像
169．．．通訊
170．．．道路
171．．．跨線橋
180．．．網路
200．．．系統
210．．．攝影機位置
215．．．動作
220．．．運動遮罩
225．．．動作
230．．．平均影像
235．．．動作
250．．．匹配動作
252-254．．．候選環場影像部分
260．．．轉換參數
265．．．動作
270．．．交通攝影機影像饋送
275．．．動作
280．．．拼合影像
285．．．動作
295．．．動作
300．．．流程圖
310-375．．．步驟
400．．．系統
410-470．．．步驟
500．．．方塊圖
510．．．拼合影像
520．．．經轉換並對準之移動交通攝影機視頻
530．．．拼合影像
531-535．．．交通攝影機影像饋送之載具
541-542．．．環場影像部分之載具
550．．．複合影像
560．．．移動交通攝影機視頻的部分
600．．．運算裝置
620．．．中央處理單元
621．．．系統匯流排
630．．．系統記憶體
631．．．唯讀記憶體
632．．．隨機存取記憶體
633．．．基本輸入/輸出系統
634．．．作業系統
635．．．程式模組
636．．．程式資料
640．．．不可移除式記憶體介面
641．．．硬碟機
644．．．作業系統
645．．．程式模組
646．．．程式資料
650．．．周邊設備介面
651．．．數位視頻攝影機
670．．．網路介面
671．．．網路連結
690．．．圖像硬體介面
691．．．顯示裝置
前述實施方式在連同於附加圖式一同閱讀時，可被被最佳地瞭解，在附加圖式中：
第1圖為用於將交通攝影機影像饋送，整合入現存環場影像中的示例性系統之方塊圖；
第2圖為將交通攝影機影像饋送結合入現存環場影像的示例性機制之方塊圖；
第3圖為對交通攝影機影像饋送進行示例性預處理，以結合入現存環場影像的流程圖；
第4圖為用於將交通攝影機影像饋送與現存環場影像匹配的示例性機制之流程圖；
第5圖為用於在現存環場影像中顯示交通攝影機影像饋送的示例性機制之方塊圖；且
第6圖為示例性運算裝置之方塊圖。
200．．．系統
210．．．攝影機位置
215．．．動作
220．．．運動遮罩
225．．．動作
230．．．平均影像
235．．．動作
250．．．匹配動作
252-254．．．候選環場影像部分
260．．．轉換參數
265．．．動作
270．．．交通攝影機影像饋送
275．．．動作
280．．．拼合影像
285．．．動作
295．．．動作

Claims (19)

  1. 一種電腦可讀取媒體，該電腦可讀取媒體包含用於將一視頻視覺地整合入至少一個現存靜態影像的電腦可執行指令，該至少一個現存靜態影像提供比該視頻更大的影像範圍，該等電腦可執行指令執行以下步驟：獲得步驟，獲得該視頻的一取樣；選定步驟，選定一或多個現存靜態影像，該一或多個現存靜態影像的影像範圍包含該視頻的一影像範圍的至少一部分，該選定步驟係由相關於該視頻與該等靜態影像兩者之位置元資料(metadata)來告知；識別影像特徵步驟，識別影像特徵，該等影像特徵為該經取樣視頻與該經選定一或多個靜態影像兩者所共有(common)，且該等影像特徵欲被利用來轉換並對準該經取樣視頻至該經選定一或多個靜態影像；以及導出轉換參數步驟，參照該等經識別影像特徵以導出轉換參數，該等轉換參數係用於轉換並對準該視頻以與該至少一個現存靜態影像整合，以使該視頻顯露在該至少一個靜態影像中，且使該視頻之影像特徵覆蓋在該至少一個靜態影像的相當的(equivalent)影像特徵上。
  2. 如請求項1之電腦可讀取媒體，其中該視頻係來自一交通攝影機，且更進一步的，其中該等現存靜態影像為被利用來提供一街景的地圖環場影像。
  3. 如請求項1之電腦可讀取媒體，其中用於執行識別欲被利用來轉換並對準該視頻之該取樣的影像特徵的該識別影像特徵步驟的該等電腦可執行指令，包含用於執行以下步驟之電腦可執行指令：導出一平均影像(average image)，該平均影像包含在該視頻之該取樣全體中保持為靜止的元素；導出一運動遮罩，該運動遮罩識別區域，在該等區域中元素在該視頻之該取樣全體中移動；以及識別在該平均影像中沿著該運動遮罩的影像特徵。
  4. 如請求項1之電腦可讀取媒體，其中用於執行識別欲被利用來轉換並對準該視頻之該取樣的影像特徵的該識別影像特徵步驟的該等電腦可執行指令，包含用於執行以下步驟之電腦可執行指令：識別在該經選定一或多個靜態影像中，沿著相關於該經選定一或多個靜態影像的一道路之覆蓋地圖資料的影像特徵，一交通攝影機沿著該道路而定向，其中該視頻係來自該交通攝影機，且其中該等靜態影像為具有覆蓋地圖資料的地圖環場影像。
  5. 如請求項1之電腦可讀取媒體，其中用於執行導出該等轉換參數的該導出轉換參數步驟的該等電腦可執行指令，包含用於執行以下步驟之電腦可執行指令： 從該等經識別影像特徵中選定一第一影像特徵組；導出步驟，導出轉換參數，以轉換該視頻之該取樣並對準該等經選定靜態影像之至少一者，以使來自該視頻之該取樣並為該第一影像特徵組的部分的影像特徵，被與來自該等經選定靜態影像之該至少一者的對應影像特徵對準；評分步驟，基於對不為該第一影像特徵組的部分之該等經識別影像特徵之其他者，進行之對準的一精確度，評分對於該視頻之該經轉換並對準之取樣與該等經選定靜態影像之該至少一者之間的一全體契合度；對從該等經識別影像特徵中選定的隨後影像特徵組，重複該導出步驟與該評分步驟；以及將產生該全體契合度之一最佳分數的那些轉換參數選定為該等轉換參數。
  6. 如請求項1之電腦可讀取媒體，其中該等影像特徵為線，且更進一步的，其中用於執行導出該等轉換參數的該導出轉換參數步驟的該等電腦可執行指令，包含用於執行以下步驟的電腦可執行指令：利用該等線執行單應性(homography)。
  7. 如請求項1之電腦可讀取媒體，該電腦可讀取媒體更包含用於執行以下步驟之電腦可執行指令：將該視頻之該取樣穩定化為一複合物(composite)，並使該視頻之 該取樣的個別圖框彼此對準，以使每一圖框的共有影像元素重疊。
  8. 如請求項1之電腦可讀取媒體，該電腦可讀取媒體更包含用於執行以下步驟之電腦可執行指令：接收該視頻；使用該等轉換參數來轉換並對準該經接收視頻；以及產生一拼合(amalgamated)影像，該拼合影像包含覆蓋於該等經選定靜態影像之至少一者上的該經轉換並對準視頻的至少一部份。
  9. 一種電腦可讀取媒體，該電腦可讀取媒體包含用於將一視頻視覺地整合入至少一個現存靜態影像的電腦可執行指令，該至少一個現存靜態影像提供比該視頻更大的影像範圍，該等電腦可執行指令執行以下步驟：接收步驟，接收該視頻；轉換並對準步驟，使用轉換參數來轉換並對準該經接收視頻；以及產生步驟，產生一拼合(amalgamated)影像，該拼合影像包含覆蓋於該至少一個現存靜態影像上的該經轉換並對準視頻的至少一部份，其中該至少一個現存靜態影像具有與該至少一個現存靜態影像相關的位置元資料(metadata)，該位置元 資料識別一位置，該位置靠近由與該視頻相關的位置元資料識別的一位置。
  10. 如請求項9之電腦可讀取媒體，其中該視頻係來自一交通攝影機，且更進一步的，其中該至少一個現存靜態影像為被利用來提供一街景的一地圖環場影像。
  11. 如請求項10之電腦可讀取媒體，其中用於執行產生一拼合影像的該產生步驟的該等電腦可執行指令，包含用於執行以下步驟的電腦可執行指令：將除了一道路與在該道路上的載具交通之外的該視頻的部分濾除，並僅將該道路與該載具交通覆蓋至該至少一個現存靜態影像上。
  12. 如請求項9之電腦可讀取媒體，其中用於執行產生一拼合影像的該產生步驟的該等電腦可執行指令，包含用於執行以下步驟的電腦可執行指令：將來自該視頻的靜止影像元素濾除，並僅將來自該視頻的移動影像元素覆蓋至該等經選定靜態影像之該至少一者上。
  13. 一種用於產生一拼合影像的方法，該方法包含將一視頻視覺地整合入一現存靜態影像，該現存靜態影像提供比該視頻更大的影像範圍，該方法包含以下步驟： 獲得步驟，獲得該視頻的一取樣；選定步驟，選定一現存靜態影像，該現存靜態影像的影像範圍包含該視頻的一影像範圍的至少一部分，該選定步驟係由相關於該視頻與該靜態影像兩者之位置元資料(metadata)來告知；識別影像特徵步驟，識別影像特徵，該等影像特徵為該經取樣視頻與該經選定靜態影像兩者所共有(common)，且該等影像特徵欲被利用來轉換並對準該經取樣視頻至該經選定靜態影像；導出轉換參數步驟，參照該等經識別影像特徵以導出轉換參數，該等轉換參數係用於轉換並對準該視頻以與該經選定靜態影像整合，以使該視頻顯露在該經選定靜態影像中，且使該視頻之影像特徵覆蓋在該經選定靜態影像之相當的(equivalent)影像特徵上；接收步驟，接收該視頻；轉換並對準步驟，利用該等轉換參數來轉換並對準該經接收視頻；以及產生步驟，產生該拼合影像，該拼合影像包含覆蓋於該經選定靜態影像上的該經轉換並對準視頻的至少一部份。
  14. 如請求項13之方法，其中該視頻係來自一交通攝影機，且更進一步的，其中該現存靜態影像為被利用來提供一街景的一地圖環場影像。
  15. 如請求項13之方法，其中識別欲被利用來轉換並對準該經取樣視頻之影像特徵的該識別影像特徵步驟，包含以下步驟：導出一平均影像(average image)，該平均影像包含在該視頻之該取樣全體中保持為靜止的元素；導出一運動遮罩，該運動遮罩識別區域，在該等區域中元素在該視頻之該取樣全體中移動；以及識別在該平均影像中沿著該運動遮罩的影像特徵。
  16. 如請求項13之方法，其中識別欲被利用來轉換並對準該經取樣視頻之影像特徵的該識別影像特徵步驟，包含以下步驟：識別在該經選定靜態影像中，沿著相關於該經選定靜態影像的一道路之覆蓋地圖資料的影像特徵，一交通攝影機沿著該道路而定向，其中該視頻係來自該交通攝影機，且其中該經選定靜態影像為具有覆蓋地圖資料的一地圖環場影像。
  17. 如請求項13之方法，其中導出該等轉換參數的該導出轉換參數步驟包含以下步驟：從該等經識別影像特徵中選定一第一影像特徵組；導出步驟，導出轉換參數，以轉換該視頻之該取樣並對準該經選定靜態影像，以使來自該視頻之該取樣並為 該第一影像特徵組的部分的影像特徵，被與來自該經選定靜態影像的對應影像特徵對準；評分步驟，基於對不為該第一影像特徵組的部分之該等經識別影像特徵之其他者，進行之對準的一精確度，評分對於該視頻之該經轉換並對準之取樣與該經選定靜態影像之間的一全體契合度；對從該等經識別影像特徵中選定的隨後影像特徵組，重複該導出步驟與該評分步驟；以及將產生該全體契合度之一最佳分數的那些轉換參數選定為該等轉換參數。
  18. 如請求項13之方法，其中該等影像特徵為線，且更進一步的，其中導出該等轉換參數之該導出轉換參數步驟包含以下步驟：利用該等線執行單應性(homography)。
  19. 如請求項13之方法，該方法更包含以下步驟：將該視頻之該取樣穩定化為一複合物(composite)，並使該視頻之該取樣的個別圖框彼此對準，以使每一圖框的共有影像元素重疊。
TW100128565A 2010-09-14 2011-08-10 用於在現存的靜態影像中視覺化視頻的方法與電腦可讀取媒體 TWI548276B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/881,704 US9594960B2 (en) 2010-09-14 2010-09-14 Visualizing video within existing still images

Publications (2)

Publication Number Publication Date
TW201215125A TW201215125A (en) 2012-04-01
TWI548276B true TWI548276B (zh) 2016-09-01

Family

ID=45806343

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100128565A TWI548276B (zh) 2010-09-14 2011-08-10 用於在現存的靜態影像中視覺化視頻的方法與電腦可讀取媒體

Country Status (10)

Country Link
US (1) US9594960B2 (zh)
EP (1) EP2617007B1 (zh)
JP (1) JP6006215B2 (zh)
KR (1) KR101782670B1 (zh)
CN (1) CN102447886A (zh)
AU (1) AU2011302558B2 (zh)
IN (1) IN2013CN01716A (zh)
RU (1) RU2573239C2 (zh)
TW (1) TWI548276B (zh)
WO (1) WO2012036832A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5733565B2 (ja) * 2011-03-18 2015-06-10 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9200919B2 (en) * 2012-06-05 2015-12-01 Apple Inc. Method, system and apparatus for selectively obtaining map image data according to virtual camera velocity
JP6450064B2 (ja) * 2013-03-18 2019-01-09 任天堂株式会社 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。
CN113203168A (zh) 2013-12-11 2021-08-03 霍尼韦尔国际公司 建筑物自动化控制系统
JP6503881B2 (ja) * 2015-05-20 2019-04-24 株式会社リコー コンテンツ提供システム、情報処理装置、プログラム、コンテンツ再生方法
US9767564B2 (en) 2015-08-14 2017-09-19 International Business Machines Corporation Monitoring of object impressions and viewing patterns
KR102339178B1 (ko) * 2015-08-27 2021-12-14 엘지전자 주식회사 이동단말기 및 그 제어방법
CN105163081B (zh) * 2015-09-02 2018-06-15 广东建设职业技术学院 一种基于异步渲染的实物展示方法及系统
CN105979136B (zh) * 2016-05-06 2019-03-12 安徽伟合电子科技有限公司 一种设备工作动态展示系统
WO2018142496A1 (ja) * 2017-02-01 2018-08-09 株式会社日立製作所 三次元計測装置
CN107147910B (zh) * 2017-05-31 2019-11-22 上海国茂数字技术有限公司 一种全景视频六角形采样方法及装置
CN108007946A (zh) * 2017-12-27 2018-05-08 同方威视技术股份有限公司 安全检查系统和检查方法
CN110430364A (zh) * 2019-08-26 2019-11-08 武汉众果科技有限公司 一种摄影拍照抠图局部动态图合成方法
CN111597986B (zh) * 2020-05-15 2023-09-29 北京百度网讯科技有限公司 用于生成信息的方法、装置、设备和存储介质
JP7314878B2 (ja) * 2020-08-11 2023-07-26 トヨタ自動車株式会社 キャリブレーションシステム、キャリブレーション方法及びキャリブレーションプログラム
US11636682B2 (en) 2020-11-05 2023-04-25 International Business Machines Corporation Embedding contextual information in an image to assist understanding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US20070070069A1 (en) * 2005-09-26 2007-03-29 Supun Samarasekera System and method for enhanced situation awareness and visualization of environments
US20070085913A1 (en) * 2003-10-28 2007-04-19 Koninklijke Philips Electronics N.V. Digital camera with panorama or mosaic functionality
US20070110338A1 (en) * 2005-11-17 2007-05-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
US20080095403A1 (en) * 2006-10-24 2008-04-24 Tdx Llc Electronic traffic monitor

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2101932A1 (en) 1991-12-10 1993-06-11 Dominique Pitteloud Apparatus and methods for automerging images
JP3511892B2 (ja) 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
US7620909B2 (en) 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
US6937266B2 (en) 2001-06-14 2005-08-30 Microsoft Corporation Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
CN1218574C (zh) * 2001-10-15 2005-09-07 华为技术有限公司 交互式视频设备及其字幕叠加方法
US7130446B2 (en) 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US20050033505A1 (en) * 2002-12-05 2005-02-10 Premier Wireless, Inc. Traffic surveillance and report system
JP2004214830A (ja) 2002-12-27 2004-07-29 Iwane Kenkyusho:Kk 一部リアルタイム画像表示装置
US7209601B2 (en) * 2003-07-22 2007-04-24 Omnivision Technologies, Inc. CMOS image sensor using high frame rate with frame addition and movement compensation
US8190003B2 (en) 2004-01-14 2012-05-29 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
US7643066B2 (en) * 2004-02-19 2010-01-05 Robert Bosch Gmbh Method and apparatus for producing frame accurate position data in a PTZ dome camera with open loop control
JP4424031B2 (ja) 2004-03-30 2010-03-03 株式会社日立製作所 画像生成装置、システムまたは画像合成方法。
US9210312B2 (en) * 2004-06-02 2015-12-08 Bosch Security Systems, Inc. Virtual mask for use in autotracking video camera images
US20080291278A1 (en) * 2005-04-05 2008-11-27 Objectvideo, Inc. Wide-area site-based video surveillance system
GB0514715D0 (en) 2005-07-18 2005-08-24 Isis Innovation Combination of images
JP2007102536A (ja) * 2005-10-05 2007-04-19 Fujifilm Corp 顔画像取得方法および装置
GB0523512D0 (en) 2005-11-18 2005-12-28 Applied Generics Ltd Enhancing traffic and navigation information with visual and audio data
JP4740723B2 (ja) * 2005-11-28 2011-08-03 富士通株式会社 画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法
US10454995B2 (en) * 2007-06-11 2019-10-22 Crackle, Inc. System and method for obtaining and sharing content associated with geographic information
US8068693B2 (en) 2007-07-18 2011-11-29 Samsung Electronics Co., Ltd. Method for constructing a composite image
US20090027418A1 (en) * 2007-07-24 2009-01-29 Maru Nimit H Map-based interfaces for storing and locating information about geographical areas
US20090030643A1 (en) * 2007-07-25 2009-01-29 White Timothy J Method for collecting statistics for movie theaters
US20090112452A1 (en) * 2007-10-25 2009-04-30 Gm Global Technology Operations, Inc. Vehicle navigation system with real time traffic image display
US20090122195A1 (en) * 2007-11-09 2009-05-14 Van Baar Jeroen System and Method for Combining Image Sequences
TWI381719B (zh) 2008-02-18 2013-01-01 Univ Nat Taiwan 穩定全幅式視訊之方法
US8237791B2 (en) 2008-03-19 2012-08-07 Microsoft Corporation Visualizing camera feeds on a map
US7921114B2 (en) * 2008-04-10 2011-04-05 Microsoft Corporation Capturing and combining media data and geodata in a composite file
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP2009284394A (ja) 2008-05-26 2009-12-03 Olympus Imaging Corp 撮像装置および撮像方法
US8130257B2 (en) 2008-06-27 2012-03-06 Microsoft Corporation Speaker and person backlighting for improved AEC and AGC
JP4591576B2 (ja) * 2008-08-18 2010-12-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US8238610B2 (en) * 2008-12-18 2012-08-07 University Of Central Florida Research Foundation, Inc. Homography-based passive vehicle speed measuring
US9454847B2 (en) * 2009-02-24 2016-09-27 Google Inc. System and method of indicating transition between street level images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US20070085913A1 (en) * 2003-10-28 2007-04-19 Koninklijke Philips Electronics N.V. Digital camera with panorama or mosaic functionality
US20070070069A1 (en) * 2005-09-26 2007-03-29 Supun Samarasekera System and method for enhanced situation awareness and visualization of environments
US20070110338A1 (en) * 2005-11-17 2007-05-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
US20080095403A1 (en) * 2006-10-24 2008-04-24 Tdx Llc Electronic traffic monitor

Also Published As

Publication number Publication date
CN102447886A (zh) 2012-05-09
US20120062748A1 (en) 2012-03-15
KR101782670B1 (ko) 2017-09-27
EP2617007A4 (en) 2017-12-20
US9594960B2 (en) 2017-03-14
WO2012036832A1 (en) 2012-03-22
AU2011302558B2 (en) 2014-06-19
JP2014502430A (ja) 2014-01-30
EP2617007B1 (en) 2019-10-02
JP6006215B2 (ja) 2016-10-12
AU2011302558A1 (en) 2013-03-21
RU2573239C2 (ru) 2016-01-20
EP2617007A1 (en) 2013-07-24
RU2013111298A (ru) 2014-09-20
KR20130110156A (ko) 2013-10-08
IN2013CN01716A (zh) 2015-08-21
TW201215125A (en) 2012-04-01

Similar Documents

Publication Publication Date Title
TWI548276B (zh) 用於在現存的靜態影像中視覺化視頻的方法與電腦可讀取媒體
JP7480823B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US7386394B2 (en) Navigation and inspection system
EP2261604B1 (en) Computer arrangement for and method of calculating motion vectors using range sensor data
CN101833896B (zh) 基于增强现实的地理信息指引方法与系统
CN107665507B (zh) 基于平面检测实现增强现实的方法及装置
CN107665505B (zh) 基于平面检测实现增强现实的方法及装置
JP2011515760A (ja) カメラフィードの地図上への視覚化
US20150348243A1 (en) Image processing device and method, and program
TW201215118A (en) Video summarization using video frames from different perspectives
CN110136091A (zh) 图像处理方法及相关产品
JP2004265396A (ja) 映像生成システム及び映像生成方法
WO2008082423A1 (en) Navigation and inspection system
US9811889B2 (en) Method, apparatus and computer program product for generating unobstructed object views
CN106131498B (zh) 全景视频拼接方法及装置
Walton et al. Vehicle object retargeting from dynamic traffic videos for real-time visualisation
CA3063007A1 (en) Human-aided geo-rectification of geospatial metadata in video using a graphical interface
CN111220156B (zh) 一种基于城市实景的导航方法
Cho et al. Image-based querying of urban knowledge databases
CN114913064A (zh) 基于结构保持和多对多匹配的大视差图像拼接方法及装置
Salah et al. Multimodal monitoring of cultural heritage sites and the FIRESENSE project