TWI795425B - 用於產生場景之表示的設備及方法 - Google Patents

用於產生場景之表示的設備及方法 Download PDF

Info

Publication number
TWI795425B
TWI795425B TW107127548A TW107127548A TWI795425B TW I795425 B TWI795425 B TW I795425B TW 107127548 A TW107127548 A TW 107127548A TW 107127548 A TW107127548 A TW 107127548A TW I795425 B TWI795425 B TW I795425B
Authority
TW
Taiwan
Prior art keywords
depth
image
placement
camera
sensing camera
Prior art date
Application number
TW107127548A
Other languages
English (en)
Other versions
TW201920985A (zh
Inventor
克莉斯汀 維爾甘
巴特 庫倫
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW201920985A publication Critical patent/TW201920985A/zh
Application granted granted Critical
Publication of TWI795425B publication Critical patent/TWI795425B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

一種設備包含一接收器(401)，其用於接收由一第一深度感測相機擷取之一第一影像及相關聯的第一深度資料。一偵測器(405)在該第一影像中偵測一基準標記物之一影像位置性質，該基準標記物表示一第二深度感測影像相機之一擺置。一擺置處理器(407)回應於該影像位置性質及該第一深度資料之用於該基準標記物之一影像位置的深度資料來判定一相對擺置向量，該相對擺置向量指示該第二深度感測影像相機相對於該第一深度感測相機之一擺置。一第二接收器(403)接收由該第二深度感測影像相機擷取之一第二影像及第二第一深度資料。一產生器(409)回應於至少該第一影像及該第二影像之一組合並基於該相對擺置向量來產生至少部分該場景之該表示。

Description

用於產生場景之表示的設備及方法
本發明係關於一種用於從由複數個深度感測相機擷取之資料產生場景之表示的設備及方法，且特定而言但非排他性地，係關於從此種表示產生用於虛擬實境應用之影像。
傳統上，影像的技術處理及用途已基於二維成像，但在影像處理中正明確地考慮第三維。
例如，已經開發出三維(3D)顯示器，其藉由給觀看者之雙眼提供所看場景之不同視圖來向觀看體驗添加第三維度。此能藉由使用者配戴眼鏡以分離所顯示之兩視圖而實現。然而，由於此被視為對使用者不便利，在許多情景中使用裸視立體(autostereoscopic)顯示器係較佳的，其使用在顯示器處的構件(諸如，柱狀透鏡、或屏障)以分離視圖，並在彼等視圖可個別抵達使用者眼睛的不同方向上傳送彼等視圖。立體顯示器需要兩個視圖，然而裸視立體顯示器一般需要更多視圖(諸如，九個視圖)。
在許多實施例中，產生用於新觀看方向的視圖影像可係所欲的。雖然基於影像及深度資訊產生此種新視圖影像的各種演算法已為人所知，但彼等演算法往往高度相依於所提供(或所導出)之深度資訊的準確度。
實際上，三維影像資訊常常由對應於場景之不同觀看方向之複數個影像提供。具體地說，逐漸將視訊內容(諸如，影片或電視節目)產生成包括某種3D資訊。此種資訊可使用專用的3D或深度感測相機(諸如從略微偏移之相機位置擷取兩個同時影像之相機)來擷取。
然而，在許多應用中，所提供的影像可能不直接對應於期望方向，或可能需要更多影像。例如，針對裸視立體顯示器，需要兩個以上的影像，且實際上經常使用9至26個視圖影像。
為了產生對應於不同觀看方向的影像，可使用視點位移處理(view point shifting processing)。此一般藉由使用單觀看方向的影像連同關聯深度資訊的視圖位移演算法(view shifting algorithm)執行。
基於三維影像處理之應用之特定實例係虛擬實境應用。在一般虛擬實境體驗中，可連續地產生用於例如虛擬實境頭戴裝置的右眼視圖影像及左眼視圖影像以與使用者的移動及定向改變匹配。此類產生動態虛擬實境視圖一般基於處理表示對應於虛擬實境環境的給定場景之3D影像資料。例如，虛擬實境伺服器可基於三維模型或三維影像(諸如，由光強度影像及深度圖或由紋理圖及深度網格表示之影像)產生特定視圖之視圖影像。
對於諸如虛擬實境應用的應用，可例如隨由於虛擬環境中使用者實際上移動或改變觀看方向/定向所引起的這些變化來產生一系列影像，以反映使用者的視圖。在一些應用中，可產生影像以反映觀看者定向的變化，但不支援區中的移動。反映此一場景的視訊經常稱為全向視訊。在其他應用中，亦可支援移動觀看位置以反映虛擬實境環境中的使用者之虛擬移動。反映此一 場景的視訊經常稱為身歷其境式視訊。使用者的當前視圖可由一視圖向量表示，該視圖向量描述針對一視點的相關位置及方向參數。
對於全向視訊，視圖向量通常根據三個自由度(3DoF)、通常藉由提供側傾(yaw)、縱傾(pitch)、及側滾(roll)值(或方位角(azimuth)、仰角(elevation)、及傾斜角(tilt))、或四元表示來描述定向。
對於身歷其境式視訊而言，向量一般描述根據六自由度(6DoF)的定向及位置，一般藉由提供側傾值、縱傾值、側滾值及用於三個空間維度的值。
然而，具體挑戰係當試圖開發及支援靈活視訊及影像應用(支援可變觀看位置及/或觀看方向)時，此係因為這些應用較佳不限於一子組之位置及/或方向，而是理想地支援所有位置及/或方向。例如，對於6DoF身歷其境式視訊，觀看者可從任何位置及任何方向觀看場景。這要求可取得場景之所有部分以及來自所有位置及所有方向的3D資訊。此要求在許多實踐應用(諸如，特別是其中3D資料係基於擷取真實世界場景之應用)中很難或不可能滿足。
物體之位置及方向/定向之組合屬於通常被稱為擺置或姿勢之領域。因而，擺置或姿勢向量可包含六個值/分量，其中每個值/分量描述對應的物體之位置/定位或定向/方向之個別性質。當然，在一些情形中，擺置或姿勢向量可具有更少的分量來表示位置及定向，例如，若認為一或多個分量係固定的(例如，若認為所有物體處於同一高度或係同高的，則四個分量可提供物體之姿勢之全面表示)。
最難以解決之挑戰之一為，如何有效地擷取場景以使得可產生場景之表示，該表示提供足夠的資訊以允許產生具有足夠高品質之適合的視點影像，但仍然允許容易地傳達、儲存、調適、及/或處理該表示。
許多應用基於使用深度感測相機來擷取真實世界場景或環境。此允許擷取視覺性質以及三維資訊。為了足夠準確且完全地擷取場景，常常採用複數個相機且常常是大量相機的使用。在一些應用中，使用10個、20個或甚至更多個相機來提供令人滿意的擷取。
所擷取資訊的使用在不同應用中可能不同。例如，在一些實施例中，所擷取資料可用來發展真實世界場景之三維模型。隨後可藉由從特定視點評估該模型來產生用於提供三維虛擬實境體驗給使用者的視圖影像。在其他應用中，可從所擷取影像及深度資訊，例如藉由選擇最接近的所擷取影像中之一或多者及執行視點偏移以對應於所需視點，來直接產生用於特定視埠或視點之影像。
通常，用於多視圖相機擷取系統之校準包括以下不同態樣：
1.相機感測器中之每一者的固有參數之校準：a)透鏡焦距及失真模型，b)感測器大小、解析度、位置、及定向
2.每個相機之非固有參數之校準，即相機節點相對於彼此的定向及位置。
特定而言，第二點常常很難並且是關鍵的。為了準確地處理所擷取資料，例如以產生用於所需視點之影像，重要的是以足夠高的準確性及 可靠性知道擷取場景之深度感測相機之擺置。特定而言，通常要求準確地知道深度感測相機相對於彼此的相對擺置，以使得可可靠地及準確地組合來自不同深度感測相機之擷取資料，不論是藉由產生中間模型還是藉由從複數個所擷取影像直接產生影像。在許多應用中，對於擺置判定之要求非常嚴苛且難以達成。例如，在許多實踐應用中要求方位角參數之準確性為約1°，或較佳地甚至實質上更低。
在一些應用中，藉由具有已知的擺置參數之相機之仔細、準確、且高度受控的定位及定向，可確保準確的擺置資訊。例如，可使用深度感測相機之固定平台，其中每個相機固定在已知位置且相對於其他相機具有固定的定向。然而，此種方法在許多應用中是不切實際的或甚至不可能的。例如，若使用大量相機且/或若相機遠離彼此，則以高準確度手動測量或限定位置及定向通常是不切實際的。此外，該方法不適合於動態擷取應用，諸如當可動態地添加相機或從擷取系統移除相機，或其中相機中之一或多者可為移動相機時。
已提出藉由引入個別深度感測相機之位置之自動判定來解決此類問題。此可例如藉由使用包括在深度感測相機中之特定位置判定功能(諸如，例如GPS功能)來達成。然而，此不僅要求深度相機感測器包括此功能(在實踐中可能常常並非如此)，而且還往往提供遠不足以精確至確保在不同相機之間的準確判定的結果，尤其對於定向值。
此外已進一步建議，可自所擷取資訊導出擺置資訊。具體而言，已提出：可使用影像匹配在來自不同相機之影像中找到重疊的影像區域，且可進一步使用此來導出關於相機之相對擺置之資訊。然而，該方法往往需要 非常密集的計算，因為影像匹配原則上需要相對於所有其他所擷取影像之所有其他區來考慮一個影像之所有區。此外，已發現該方法往往給出次最佳的且通常相對不準確的結果。例如，難以阻止在不表示同一物體而是表示可能具有類似的視覺性質之不同物體(或從非常不同的方向表示同一物體)之影像區之間的意外匹配。此種失配可能導致錯誤的擺置判定，在使用此擺置資訊來組合來自不同相機之資料時，錯誤的擺置判定可能導致嚴重的錯誤。
因此，用於擷取場景，且特別是用於判定用於擷取深度感測相機之擺置資訊之改良的方法將是有利的。特定而言，允許改良的操作、增加的靈活性、易化的實施、易化的操作、降低的複雜性、降低的資源需求、改良的準確性、更好的擺置判定、及/或改良的效能之方法將是有利的。
因此，本發明尋求單獨或採用任何組合較佳地緩和、減輕、或消除上文提及之缺點的一或多者。
根據本發明之一態樣，提供一種用於從由複數個分布之深度感測相機擷取之一場景之影像產生一場景之至少部分之一表示的設備，該設備包含：一第一接收器，其用於接收由一第一深度感測相機擷取之一第一影像及由該第一深度感測相機擷取之第一深度資料；一偵測器，其用於在該第一影像中偵測一基準標記物之一影像位置性質，該影像位置性質指示該基準標記物在該第一影像中之一位置，且該基準標記物藉由具有相對於一第二深度感測相機的預定擺置差異來表示該第二深度感測影像相機之一擺置；一擺置處理器，其用於回應於該影像位置性質、及該第一深度資料之用於該基準標記物之一影像 位置的深度資料、及該預定擺置差異來判定一相對擺置向量，該相對擺置向量指示該第二深度感測影像相機相對於該第一深度感測相機之一擺置，該相對擺置向量至少是三維的；一第二接收器，其用於接收由該第二深度感測影像相機擷取之一第二影像及由該第二深度感測影像相機擷取之第二深度資料；一產生器，其用於回應於至少該第一影像及該第二影像之一組合，基於該相對擺置向量來產生至少部分該場景之該表示。
本發明可允許對擷取一場景之深度感測相機之擺置的一改良及/或易化的判定，從而允許產生該場景之改良的表示。在許多實施例及情境中，可執行非常準確的擺置判定。
方法在實施例中可促進相機之擺置，且實際上在許多應用中對擺置之嚴格控制或限定將不是必需的。系統可能在許多應用中能夠自動或半自動地適應相機之擺置。常常可達成擷取系統之實質上易化的設置。
方法可允許使用例如動態地引入及/或移除的相機，且或使用在環境中移動的相機，來支援動態變化的擷取組態。
方法在許多實施例及情境中可允許場景之更準確及/或完全的擷取及表示。常常可達成來自具有不同擺置的不同相機之資訊的實質上更準確的組合。
該表示可為描述場景之至少部分之視覺性質的資料表示。通常，資料表示可包括場景之三維資料，諸如，例如深度資訊。
場景之表示可為以下各項中之至少一者：場景之三維模型，及場景之一組一或多個影像。該組影像可對應於與來自不同視點之視埠相對應 的一或多個影像。該表示可被產生為例如紋理圖及相關聯的圖、影像及可能相關聯的深度圖、三維結構及照明資料等。
擺置可能係指位置及/或定向。相對擺置向量可包含一或多個位置值及/或一或多個定向值。在許多實施例中，擺置向量可提供三維位置及/或三維方向指示。
在許多實施例中，相對擺置向量包含至少三個分量，及/或通常可指示第一深度感測相機與第二深度感測相機之間的相對位置及相對定向兩者。
定向可由一或多個分量給出，該一或多個分量選自縱傾、側傾、側滾分量或選自方位角、仰角、及傾斜角分量。
相對擺置向量可指示第一深度感測相機之位置與第二深度感測相機之位置之間的平移。相對擺置向量可指示從第一深度感測相機至第二深度感測相機之方向。
擺置處理器可經配置以基於對基準標記物與第二深度感測相機之間的已知關係之假設來產生相對擺置向量。擺置處理器具體而言可基於基準標記物之擺置與第二深度感測相機之擺置之間的假設關係來產生相對擺置向量。擺置處理器可經配置以基於基準標記物之位置與第二深度感測相機之位置之間的假設關係來產生相對擺置向量。擺置處理器可經配置以基於基準標記物之定向與第二深度感測相機之定向之間的假設關係來產生相對擺置向量。
第一及第二深度感測相機可經配置成具有對應於第一影像及第二影像之視埠的重疊。
第一及第二深度感測相機可為擷取系統之部分，該擷取系統包含複數個空間分布之深度感測相機，其中該等相機具有不同的擺置，諸如不同的位置及/或定向。
相對擺置向量可指示第一深度感測相機與第二深度感測相機之間的位置及/或定向偏移或差異。預定擺置差異指示基準標誌物之擺置與第二深度感測相機之擺置的差異。
根據本發明之可選特徵，產生器經配置以將該表示產生為該場景之來自與第一深度感測相機及第二深度感測相機之視點不同的視點之影像。
方法可提供場景之影像之改良的產生，且特定而言可常常提供場景之更高的品質及/或更好的覆蓋。不同的視點可具有不同的位置及/或定向。
根據本發明之可選特徵，產生器經配置以基於第一深度資料及第二深度資料來組合至少第一影像及第二影像。
此在許多實施例中可提供改良的效能，且可例如允許、改良、及/或促進視點偏移以用於產生來自不同視點之影像。
根據本發明之可選特徵，產生器包含：一接收器，其用於接收用於複數個深度感測相機對之相對擺置向量；一座標處理器，其用於回應於相對擺置向量來判定該複數個相機中之每一者在共同座標系統中之深度感測相機擺置，且其中產生器經配置以回應於在同一座標系統中之所判定相機擺置來產生影像。
方法可允許發展靈活但準確的場景擷取系統。特定而言，方法可允許將許多相機有效地組合成同調擷取系統，該系統提供增強的覆蓋及/或改良的品質。方法特定而言可促進或啟用大量相機之間的交互工作，且可進一步有效地支援例如由於添加或移除相機或由於移動相機而變化的組態。
根據本發明之可選特徵，座標處理器經配置以回應於成本函數之最小化來判定深度感測相機擺置，該成本函數相依於相對擺置向量與對應的擺置向量之間的差異，該等對應的擺置向量係從在共同座標系統中之所判定深度感測相機擺置來判定的。
此可允許特別有效的方法，且可允許對來自大量相機之相對擺置資訊之有效組合以為擷取系統產生同調擺置表示。
在一些實施例中，初始估計的相機擺置可由在不依賴第一影像的情況下判定之擺置資料來判定，諸如，例如GPS位置功能。
根據本發明之可選特徵，進一步包含：一第二偵測器，其用於在該第二影像中偵測一第二基準標記物之一第二影像位置性質，該第二影像位置性質指示該第二基準標記物在該第二影像中之位置，該第二基準標記物藉由具有相對於該第一深度感測相機的第二預定擺置差異來表示該第一深度感測影像相機之一擺置；及一第二擺置處理器，其用於回應於該第二影像位置性質及該第二深度資料中用於該第二基準標記物之一影像位置的深度資料、及該第二預定擺置差異來判定一第二相對擺置向量，該第二相對擺置向量指示該第一深度感測影像相機相對於該第二深度感測相機之一位置，該第二相對擺置向量至少是三維的；且其中該產生器進一步經配置以回應於該第二相對擺置向量來 產生該表示。
此可促進及/或改良場景之表示之產生。
根據本發明之可選特徵，基準標記物之視覺性質指示第二深度感測相機之身份，且偵測器經配置以回應於該視覺性質來判定第二深度感測相機之身份。
此可促進及/或改良場景之表示之產生。其特定而言可促進用於包含大量相機之擷取系統之自動擺置組態判定。
產生器可經配置以回應於偵測到之身份來連結第二影像及相對擺置向量。偵測器可經配置以回應於偵測到之身份、藉由基於所判定之身份自複數個所接收影像選擇第二影像來連結第二影像及相對擺置向量。
根據本發明之可選特徵，相對擺置向量包含至少一個定向值。
此可在許多情境中提供改良的效能。至少一個定向值可為以下各項中之至少一者：側滾值、縱傾值、側傾值、方位角值、仰角值、及傾斜角值。
根據本發明之可選特徵，擺置處理器經配置以回應於基準標記物之旋轉可變視覺性質來判定至少一個定向值。
此在許多情境中允許定向值之可靠的且低複雜性的判定，同時允許使用通常相對低複雜性的基準標記物。
根據本發明之可選特徵，擺置處理器經配置以基於以下之一預定假設來判定相對擺置向量：對於第一深度感測影像相機及第二深度感測影 像相機，至少一個定向參數係相同的。
此在許多情境中可提供改良的效能且可促進實質上降低不確定度之操作。擺置處理器具體而言可經配置以基於以下之一預定假設來判定相對擺置向量：第一深度感測影像相機及第二深度感測影像相機均為同高的/水平的。
根據本發明之可選特徵，設備進一步包含：一擷取處理器，其用於回應於相對擺置向量來判定場景之擷取性質，該擷取性質指示該場景係如何由複數個深度感測相機擷取之影像覆蓋；以及一使用者介面，其用於產生指示該擷取性質之使用者輸出。
設備可提供指示對該場景之覆蓋之使用者回饋，從而例如輔助使用者設置擷取組態。
根據本發明之可選特徵，擷取處理器經配置以判定場景之至少一部分，一擷取品質指示對於該至少一部分指示降低的品質，且擷取處理器用於產生一使用者輸出，該使用者輸出指示用於深度感測影像相機擷取該場景之該至少一部分的擺置。
設備可提供指示對該場景之覆蓋之使用回饋，從而例如藉由指示用於設置相機之有利位置來輔助使用者設置擷取組態。
擷取品質指示具體而言可指示擷取該場景之不同部分的相機之數目。對擷取相機之增加的數目之指示可指示增加的品質。擷取處理器具體而言可經配置以判定該場景之至少一部分，該擷取品質指示對於該至少一部分指示擷取該場景之相機之數目低於臨限值。使用者輸出可指示深度感測影像相 機之擺置，以使得此將擷取該場景之當前由小於臨限的相機擷取之部分。在一些實施例中，臨限可為一個相機。
根據本發明之可選特徵，產生器經配置以回應於第一影像及第二影像之影像匹配來修改相對擺置向量。
此可改良所得表示之準確性，且可改良及/或促進第一影像及第二影像之組合。
根據本發明之可選特徵，產生器經配置以回應於相對擺置向量、第一影像、及第二影像來產生場景之三維模型。
此可提供改良的及/或易化的效能。產生器可經配置以回應於三維模型之評估來產生影像根據本發明之一態樣，提供一種從由複數個分布之深度感測相機擷取之一場景之影像產生一場景之至少部分之一表示的方法，該方法包含：接收由一第一深度感測相機擷取之一第一影像及由該第一深度感測相機擷取之第一深度資料；在該第一影像中偵測一基準標記物之一影像位置性質，該影像位置性質指示該基準標記物在該第一影像中之一位置，且該基準標記物藉由具有相對於一第二深度感測相機的預定擺置差異來表示該第二深度感測影像相機之一擺置；回應於該影像位置性質及該第一深度資料之用於該基準標記物之一影像位置的深度資料、及該預定擺置差異來判定一相對擺置向量，該相對擺置向量指示該第二深度感測影像相機相對於該第一深度感測相機之擺置，該相對擺置向量至少是三維的；接收由該第二深度感測影像相機擷取之一第二影像及由該第二深度感測影像相機擷取之第二深度資料；以及回應於至少該第一影像及該第二影像之一組合，基於該相對擺置向量來產生至少部分該場 景之該表示。
本發明的此等及其他態樣、特徵、及優點將參考下文描述的(一或多個)實施例闡明且將係顯而易見的。
105:影像產生器
401:第一接收器
403:第二接收器
405:偵測器
407:擺置處理器
409:產生器
501:接收器
503:座標處理器
701:擷取處理器
703:使用者介面
N1:深度感測相機
N2:深度感測相機
N3:深度感測相機
N4:深度感測相機
N5:深度感測相機
N6:深度感測相機
N7:深度感測相機
O1:中心物體
O2:中心物體
O3:中心物體
α1:定向
α2:定向
將僅以舉例之方式參考圖式描述本發明的實施例，其中〔圖1〕繪示包含複數個深度感測相機之擷取組態之一實例；〔圖2〕繪示包含複數個深度感測相機之擷取組態的元件之一實例；〔圖3〕繪示包含複數個深度感測相機之擷取組態的元件之一實例；〔圖4〕繪示根據本發明之一些實施例之設備之一實例；〔圖5〕繪示根據本發明之一些實施例之設備之一實例；〔圖6〕繪示包含複數個深度感測相機之擷取組態的元件之一實例；及〔圖7〕繪示根據本發明之一些實施例之設備之一實例。
以下描述專注於本發明之實施例，該等實施例適用於基於由複數個分布之深度感測相機(諸如，通常為包含10個、20個、或甚至更多個相機之擷取系統)擷取之影像(包括視訊)之場景之資料表示的產生。然而，將瞭解，本發明適用於許多擷取系統，包括僅具有幾個擷取該場景之深度感測相機之系統。
圖1繪示擷取系統之一實例，其中相對大量的深度感測相機擷取一場景，該場景在此實例中由三個中心物體O1至O3表示。每個深度感測相 機N1至N7由黑色三角形表示，該黑色三角形亦指示相機之視埠/視角。應注意，雖然圖1繪示使用了八個相機，但是在許多實踐系統中可使用實質上更大數目，且實際上所繪示之八個相機可被視為表示實質上更大數目個相機。
擷取組態中之深度感測相機亦可被稱為組態之節點，且擺置資訊(通常參考共同座標系統)之判定被稱為相機/節點之對齊。通常，節點對齊可在中央伺服器或對齊單元處執行，該中央伺服器或對齊單元可收集該組態中之所有節點/相機之擺置資訊。
在本領域中，用語擺置(placement)及姿勢(pose)被用作位置及/或方向/定向之常見用語。例如物體、相機、頭部、或觀看之位置及方向/定向之組合可被稱為姿勢或擺置。因此，擺置或姿勢指示可包含六個值/分量/自由度，其中每個值/分量通常描述對應的物體之位置/定位或定向/方向之個別性質。當然，在許多情形中，擺置或姿勢可由更少的分量表示，例如，若認為一或多個分量係固定的或不相關的(例如，若認為所有物體處於同一高度或具有水平定向，則四個分量可提供物體之姿勢之全面表示)。在下文中，用語姿勢(pose)用於指代可由一至六個值(對應於最大可能的自由度)表示的位置及/或定向。
大量相機的使用可實質上改良場景之擷取且具體而言可提供額外的資訊、增加的覆蓋等。此可允許場景之資料表示之改良的產生，例如，產生為一組影像或產生為三維模型。然而，為了有效地組合由個別相機提供之資訊，重要的是準確地判定每個相機之具體擺置。因而，每個節點之對齊資料必須準確。在許多實施例中，相機之定向之準確性必須例如為大約僅1°或較佳 地甚至更小。然而，對於許多相機之此種擺置判定及對齊以及高準確性在實踐中常常很難達成。
例如，雖然可使用三維場景結構資訊(諸如，例如由飛行時間或立體相機節點測量的)來對齊多個節點，但是在實踐中通常很難達成準確的結果。例如，在圖1之實例中，存在一個情境，其中對應於節點1(N1)之深度感測相機及對應於節點2(N2)之深度感測相機二者均可擷取場景之三維資訊。對於節點1及節點2處的相機，例如使用對離群值(例如，由於遮擋)穩健的點對齊方法，僅僅基於場景幾何形狀之校準可為可能的。此種校準方法可用來判定旋轉矩陣及平移向量，該平移向量將節點2之座標系統變換成節點1之座標系統。
然而，在試圖將節點1與例如節點3對齊時，此種基於場景之方法很難，因為用於此等節點之相機看見物體1、2、及3之不同側面，其意謂將存在很有限的特徵對應。因此，基於場景之擷取，節點1及節點3之相對擺置並非切實可行的，因為場景之對應特徵很難由兩個相機擷取，或實際上可能無法由該等相機中之一者擷取。
可能的解決方案可為，嘗試所有的節點對且看看每個對的對齊過程有多成功，且隨後僅使用達成了成功對齊的對。在實踐中，此往往將導致若干不同的問題，包括很難僅僅基於場景點來評定對齊過程之品質。
依賴場景結構之另一缺點為，3D場景結構可能無法給對齊過程提供很多資訊且可能無法提供適合的資訊用於匹配不同的相機/節點。例如，若所有在相機之每個視埠中看見的僅僅為平坦的地表面或反射性表面，則沒有 場景結構來實現擺置判定。雖然此可能藉由亦使用影像紋理來判定對齊參數得到減輕，但是其仍然往往會引起不準確及/或不可靠的對齊。
另外，此類方法往往複雜且需要大量資源，且往往不適合於動態變化的擷取組態，諸如其中添加或移除相機的擷取組態。特定而言，其往往不適合於其中使用移動的相機之擷取情境，諸如在無人機上使用一或多個相機之組態。對於許多此類系統，對齊/校準必須不僅即時地而且也以低延遲(通常在20毫秒內)來執行。
可促進對齊/擺置判定之方法係在場景中之各種位置處添加標記物，以使得此等標記物可由相機擷取。其實例繪示在圖2中，該實例可表示具有兩個相機節點之範圍感測相機系統的簡單實例，該等相機節點看到包含單個標記物之場景。兩個節點均看到包括標記物之共同場景，但看不到彼此。然而，僅基於標記物之深度測量及對每個相機之固有參數的知識，相機不能在共同座標系統中定位，因為(1)圍繞平移向量之旋轉係未知的，且(2)平移向量之間的角係未知的。因而不可能合併兩個相機之所擷取3D影像。
為了執行節點1與2之間的對齊，至少三個基準標記物應該是兩個節點所看得見的，因為存在三個未知的參數。然而，此可能不僅因需要添加大量標記物而使擷取操作更加困難且麻煩，而且往往使此等標記物更突兀且引人注目。
在下文中，將使用可在許多實施例中提供改良的效能之特定方法。在實例中，方法不僅僅依賴場景結構，而是基於使用基準標記物，該等基準標記物具體而言與深度感測相機之擺置連結。基準標記物可為置放於成像 系統之視野中以使得其可出現在所產生影像中之一或多者中的物體。基準標記物可由系統用作參考點。
在方法中，基準標記物不僅僅為可在不同影像中偵測及參照之標記物，而是表示深度感測相機之位置。
在大多數實施例中，基準標記物可與深度感測相機處於同一位置，且具體而言每個相機可具備一基準標記物。基準標記物可因而具體而言定位於與深度感測相機基本上相同的位置，且具有直接反映深度感測相機之定向的定向。
基準標記物具有相對於對應的深度感測相機的預定擺置差異。預定擺置差異因而係基準標記物之擺置與深度感測相機之擺置之間的已知/預定差異。預定擺置差異可為擺置偏移。預定擺置差異具體而言可為預定位置偏移(通常在兩個或三個維度中，但是在一些實施例中位置偏移可在僅一個維度中)。預定擺置差異具體而言可為預定定向偏移(通常在一個、兩個或三個維度中)。
在許多實施例中，基準標記物可直接置放於深度感測相機上且預定擺置差異常常可為零，即，基準標記物之擺置與深度感測相機之擺置相同。在其他實施例中，基準標記物例如可貼附於固持相機之三腳架且預定擺置差異反映基準標記物與深度感測相機之間的位置及/或旋轉/定向偏移。
在許多實施例中，預定擺置差異可為例如用於相對於深度感測相機來定位基準標記物之標準化或普遍接受的方法，例如，可規定將基準標記物以與相機相同的定向定位於相機上(例如，貼附於亦具有深度感測相機之 透鏡的表面)。
在其他實施例中，預定擺置差異可在基準標記物之設置及定位期間判定。例如，在給定情境中，使用者可決定將基準標記物貼附於相機下方的三腳架且可例如將預定擺置差異之對應值輸入至系統中以供後續校準過程中使用(例如，可輸入的是將基準標記物貼附於深度感測相機(透鏡)下方20cm處)。
在許多實施例中，基準標記物可與對應的深度感測相機剛性對準。基準標記物可與深度感測相機一起移動，即，深度感測相機之擺置的變化將導致基準標記物之擺置的對應變化(且反之亦然)。基準標記物可相關於/相對於對應的深度感測相機具有固定的位置及/或定向。預定擺置差異在一些實施例中可在校準工作階段之間改變，但是在校準過程開始之前係已知的(或假設係已知的)，該校準過程基於基準標記物來判定對應的深度感測相機之相對擺置。
預定擺置差異具體而言可為假設的預定擺置差異。例如，可規定應將基準標記物定位於深度感測相機上，且因此預定擺置差異將對此進行指示，即，預定擺置差異具體而言可為零。當然，有可能使用者((例如，不知情的助理)可能犯錯且例如將基準標記物放在固持相機之三腳架上。預定擺置差異將仍然反映基準標記物之假設的正確擺置，即，預定擺置差異可仍然為零且將使用(假設的)預定擺置差異來執行校準。在此情況下，預定擺置差異因而反映基準標記物與深度感測相機之間的正確擺置差異，而實際差異可能不同。此可導致判定相機之位置的校準過程(最有可能)產生深度感測相機之錯 誤的、或至少不準確的估計擺置。然而，當然不希望錯誤的結果可能導致其中會犯錯且該過程所基於的假設及前提因此未得到滿足之特定情境。
預定擺置差異具體而言在一些實施例中可為指示基準標記物之擺置與對應的深度感測相機之擺置之間的偏移之擺置差異向量。例如，預定擺置差異可由指示三個位置維度及三個定向維度中的偏移之六值向量表示。
以此方式，對給定基準標記物之擺置之判定因此亦係對對應的深度感測相機之擺置之判定。
如稍後將更詳細地描述，基準標記物在許多實施例中可經設計以使得其可用於每個深度感測相機節點之識別且用於每個節點在單個共同座標系統中之準確對齊。
因而，基準標記物可特別定位於每個相機上或緊鄰每個相機以識別該相機及該相機之擺置二者。基準標記物因此藉由具有相對於深度感測相機的預定擺置差異來表示連結至基準標記物之深度感測相機之擺置。在一些實施例中，基準標記物之擺置與深度感測相機之擺置之間可能存在差異但此差異可為系統已知的，因為此差異係預定差異。因此，若基準標記物之擺置與深度感測相機之擺置之間的差異係已知的，則對基準標記物之擺置之判定固有地亦判定相關聯的深度感測相機之擺置。
不同實施例中可使用具有不同性質之不同基準標記物，且基準標記物可具有各種形狀以用於擺置偵測及節點識別，包括例如：
‧用於定位之球形與用於識別之(簡單)類QR碼之組合，該球形與該類QR碼並列。
‧具有變化的大小之球形，其中大小用作識別物。時間平均化改良了球形大小估計之準確性。
‧具有變化的大小、色彩、及/或圖案之球形，其中此等外觀變化用作識別物。球形識別概率之時間彙總可改良球形大小估計之準確性。
‧如上所述之一組基準標記物，其中標記物之組合獨特地識別相機節點且提供第一相對定向。
‧具有用於識別之獨特時間碼之發光二極體(LED)。取決於相機系統中相機感測器的類型，LED可為白色、RGB、或IR。
方法具體而言可用來發現深度感測相機對之間的相對擺置，且在具有大量相機之實施例中，可以所得的相對擺置隨後用來將所有深度感測相機置放於共同座標系統中的方式針對多個對產生此類相對擺置。
用於深度感測相機/節點對之方法可藉由圖3繪示。實例說明了由兩個節點組成之擷取組態，其中每個節點具有用於識別及對齊之目的之基準標記物。兩個深度感測相機經定位以使得節點在彼此的視線內。因為深度感測相機之感測器看到彼此，所以可在不需要其他外部標記物之情況下判定其相對擺置。若基準標記物指示相機之定向，則可判定一個深度感測相機相對於另一個深度感測相機之相對定向。例如，採取例如節點1之3D單位向量作為起始定向，可使用節點1之固有參數來判定連接兩個節點之線相對於此向量的定向(α1)。最後，可使用節點2之固有參數來判定節點2相對於連接線的定向(α2)。
唯一依舊未知的係該等相機圍繞平移向量之共同旋轉，即， 相機對組態相對於外部環境/共同座標系統之定向。然而，藉由準確地調平相機節點或添加外部基準標記物，亦可判定此定向，且可判定兩個深度感測相機之擺置。
圖4繪示用於使用上述方法從由複數個分布之深度感測相機擷取之場景之影像產生場景之至少部分之表示的設備。
設備包含第一接收器401，其經配置以接收由第一深度感測相機擷取之第一影像及相關聯的第一深度資料。第一接收器401因而可經配置以接收由第一深度感測相機擷取之第一影像及由第一深度感測相機擷取之第一深度資料。例如，可自立體相機(在像差估計之後)或範圍深度感測相機接收影像及相關聯的深度圖。第一深度感測相機具體而言可對應於圖3之節點N1。第一深度資料可為指示第一影像之深度之任何資料。第一深度資料可為深度圖，但亦可為其他深度資料，包括例如由另一影像指示之基於網格之模型或視差資訊。
類似地，設備包含第二接收器403，其經配置以接收由第二深度感測相機擷取之第二影像及相關聯的第二深度資料。第二接收器403因而可經配置以接收由第二深度感測相機擷取之第二影像及由第二深度感測相機擷取之第二深度資料。例如，可自立體相機(在像差估計之後)或範圍深度感測相機接收影像及相關聯的深度圖。第二深度感測相機具體而言可對應於圖3之節點N2。第二深度資料可為指示第二影像之深度之任何資料。第二深度資料可為深度圖，但亦可為其他深度資料，包括例如由另一影像指示之基於網格之模型或視差資訊。
設備可經配置以基於由第一深度感測相機擷取之影像，且具體而言基於在由第一深度感測相機擷取之影像中偵測第二深度感測相機之基準標記物且基於相關聯的深度資料，來判定指示第二深度感測相機之擺置的相對擺置向量。參考位置參數向量進一步係基於預定擺置差異，即，判定係基於對基準標記物相對於第二深度感測相機之擺置的預定知識。在許多實施例中，預定擺置差異可為零，且因而可基於基準標記物之擺置來判定參考位置參數向量，因為基準標記物之擺置及深度感測相機之擺置係相同的。
第一接收器401耦接至偵測器405，該偵測器經配置以在第一影像中偵測基準標記物之影像位置性質。影像位置性質指示基準標記物在第一影像中之位置。
偵測器可具有關於基準標記物之視覺((及可能的深度)性質之資訊且可在影像中搜尋對應於基準標記物之視覺(及可能的深度)性質的物體。在許多實施例中，偵測器405可具有潛在基準標記物之一般視覺性質之先驗資訊，且具體而言可具有所有基準標記物之共同參數的資訊。該偵測器隨後可在影像中搜尋具有此等性質之物體，且若找到該物體，則將判定對應的影像位置。該偵測器可進一步繼續分析基準標記物之特定性質以識別例如基準標記物之定向以及指示該基準標記物所關聯之相機(即，在特定實例中為第二深度感測相機)之身份的性質。
在一些實施例中，偵測器405可另外考慮對應的深度圖之深度值。例如，基準標記物可具有已知的3D幾何形狀/大小，且藉由亦考慮深度圖，且具體而言若此展現出與對於基準標記物所預期之特性相匹配的特性，則 可促進基準標記物之偵測及/或使該偵測更為準確及/或可靠。
可認為偵測器405基於由第一深度感測相機提供之任何資訊來偵測影像位置性質。該偵測器在許多實施例中可僅基於第一影像，但更常見的是，其亦可考慮例如由不同相機之間的像差表示的深度資訊。作為特定實例，基於來自立體相機之輸出，偵測器405可僅使用紋理來偵測左及右影像中之標記物，且使用每個標記物層面上的像差估計來減少假警報(藉由使標記物尺度與像差匹配)。這樣做的一個原因可能是，可用於最終場景表示之全影像密集像差估計演算法過於計算密集以致於無法即時運行。
偵測器405耦接至擺置處理器407，該擺置處理器經配置以判定指示第二深度感測影像相機相對於第一深度感測相機之擺置的相對擺置向量。擺置處理器407進一步基於第一深度資料判定相對擺置向量。
該判定進一步基於預定擺置差異。此可例如藉由評估預定擺置差異向量之值來直接考慮預定擺置差異。在其他實施例中，例如藉由在進一步使用之前使基準標記物之所有所判定位置偏移一給定值，判定方法可固定地包括預定擺置差異。在一些實施例中，已知預定擺置差異為零且對應於基準標記物及深度感測相機之擺置係相同的。在此情況下，藉由針對基準標記物判定相對擺置向量且隨後將其亦用於深度感測相機，可在判定相對擺置向量時固有地包括預定擺置差異。
作為實例，藉由分析基準標記物之影像位置，擺置處理器407可判定相對於相機位置的找到基準標記物之方向，因為此取決於來自相機之方向與對應於此等相機之影像位置之間的映射。因此，影像位置可允許擺置處理 器407計算自第一深度感測相機朝向基準標記物且因而朝向第二深度感測相機之相對方向。
此外，基於第一深度資料，可判定對應於基準標記物之影像物體之估計深度，且從此估計深度，可判定離基準標記物且因而離第二深度感測相機之對應距離。以此方式，可判定自第一深度感測相機至第二深度感測相機之相對方向及距離。
此外，若基準標記物係旋轉變異的，即，圍繞所判定方向之旋轉導致基準標記物在第一深度感測相機看來之不同外觀，則擺置處理器407可在影像中偵測到基準標記物之旋轉。因此，該擺置處理器可判定第二深度感測相機相對於第一深度感測相機之定向，且具體而言判定第二深度感測相機圍繞互連線之旋轉。
因而，在一些實施例中，擺置處理器407可經配置以回應於基準標記物之旋轉變異視覺性質來判定至少一個定向值。旋轉變異視覺性質可例如被提供為具有旋轉不變形狀之基準標記物上之旋轉變異圖案。
擺置處理器407可因而具體而言判定界定第二深度感測相機相對於第一深度感測相機之相對位置及相對定向兩者的相對擺置向量。相對擺置向量具體而言可包含指示相對位置的三個值及指示相對定向的一或多個值。定向例如在一些實施例中可被提供為指示第二深度感測相機在預界定平面中相對於第一深度感測相機之相對旋轉的單個值。
相對擺置向量因此至少提供第一深度感測相機與第二深度感測相機之間的三維位置差異。另外，相對擺置向量將通常包含第二相機之至少 一個定向值。
擺置處理器407可例如經配置以回應於第一深度感測相機之擺置及基準標記物在第一影像中之第一位置的深度值來判定基準標記物之空間位置。例如，可將基準標記物之空間位置判定為第一深度感測相機在第一深度相機之觀看方向/定向上偏移該深度值之位置。隨後可藉由使基準標記物之空間位置偏移該預定擺置差異來判定相對擺置向量。
擺置處理器407耦接至產生器409，該產生器進一步耦接至第一接收器401及第二接收器403。向產生器409饋送相對擺置向量以及第一及第二影像，且通常亦饋送第一及第二深度圖。
產生器409經配置以回應於至少第一影像及第二影像之組合並基於相對擺置向量且通常亦基於第一及第二深度圖來產生場景之至少部分之表示。
在許多實施例中，場景(之部分)之表示可為影像表示，且具體而言可為對應於針對(多個)給定視點之視埠的一或多個影像。例如，基於接收到的第一及第二影像以及相對擺置向量，影像產生器105可產生影像，該影像從兩個相機之間的視點展示場景。在此種情況下，藉由一個影像提供在另一影像中被遮擋住的區域之資訊，兩個影像可例如彼此互補。
更一般而言，相對擺置向量可用來在座標系統中定位第一及第二深度感測相機，視點亦於該座標系統中給出。產生器409隨後可基於第一及第二影像且基於第一及第二深度圖、藉由視圖偏移來產生針對視點之視埠的影像。
作為相對擺置向量之判定及影像之後續產生的特定實例，例如藉由深度圖之每個2×2像素的正方形創建兩個三角形，可首先將兩個深度圖轉換成網格。來自每個相機之影像現在可直接充當紋理來合成在兩個擷取相機之間的新虛擬視點之影像。結果是兩個合成影像，此等合成影像中之每一者從不同擷取相機扭曲。藉由分析存在於圖形引擎(諸如OpenGL或Vulkan)中之所得深度緩衝，可將兩個合成影像合併成最終影像。在扭曲之後對深度緩衝之分析指示必須使用兩個合成視圖中之哪一個。例如，若第一合成影像之深度緩衝比第二合成影像接近相機，則在該像素處必須使用第二合成影像，因為其明顯成像未被遮擋之背景紋理。
在許多實施例中，設備可進一步經配置以同樣執行反操作，即，設備可判定第二相對擺置向量，該第二相對擺置向量指示從第二深度感測相機看的第一深度感測相機之相對擺置。在此種情況下，設備可因此包含第二偵測器，該第二偵測器重複偵測器405之操作但改為試圖在第二影像中偵測表示第一深度感測相機之位置的第二基準標記物。設備可進一步包含第二擺置處理器，該第二擺置處理器重複擺置處理器407之操作以從影像、深度資料、第二基準標記物相對於第一深度感測相機之預定擺置差異、第二影像中之第二預定且偵測到的影像位置判定第二相對擺置向量。將瞭解，第二偵測器及第二擺置處理器可分別由圖4之偵測器405及擺置處理器407實施，重複與判定第一相對擺置向量時相同的操作，但是調換第一及第二影像以及第一及第二深度圖，且偵測第二基準標記物而不是第一基準標記物(在執行個別基準標記物搜尋之情況下)。
在此種情況下，因而執行反操作，其中從第一深度感測相機之視點且從第二深度感測相機之視點二者判定第一及第二深度感測相機之相對擺置。
產生器409在此種實施例中可繼續使用第一及第二所判定相對擺置向量來產生表示，且具體而言產生用於不同視點之影像。作為實例，產生器409可繼續從第一及第二相對擺置向量判定平均相對擺置向量且產生器409隨後可將此平均相對擺置向量用於影像產生。
如先前所提及，擷取組態在許多實施例中可包括大量相機，諸如，例如10個、20個、或甚至多於50個相機。在此種情境中，可針對複數個相機對重複以上針對一相機對所描述的方法，其中相應地產生複數個相互關聯的相對擺置向量。隨後可處理此等相互關聯的相對擺置向量以產生場景之表示，諸如，例如一組影像或在許多實施例中為場景之模型。
在此種系統中，設備可例如自所有深度感測相機接收影像及深度圖。設備隨後可繼續執行以上針對所有相機對所描述的過程。設備具體而言可針對每個對產生兩個相對擺置向量，其中基於該對的每個相機產生一個相對擺置向量(或等效地，不同的方向可被視為不同的對，其中每個對產生一個相對擺置向量)。
在此種系統中，通常不知道哪些相機是其他相機所看得見的且偵測器405可經配置以執行處理來解決此種不確定性。例如，對於給定之第一深度感測相機，可針對可能的其他相機中之每一者處理接收到的第一影像。例如，上載影像及深度圖之每個相機亦可上載對附接至此相機之基準標記物之 描述。對於第一相機，偵測器405隨後可針對所有其他相機依序處理第一影像。該偵測器具體而言可針對給定相機在影像中搜尋基準標記物，該基準標記物具有對應於該給定相機所報告之性質的性質。若未找到匹配，則偵測器405繼續進行至下一個相機。然而，若找到匹配，則第一相機繼續如上所述產生相對擺置向量。在已處理所有潛在相機之後，設備繼續進行至下一個相機且重複該過程。
在許多實施例中，偵測器405可改為例如基於基準標記物之一般視覺(及/或深度)性質對影像進行搜尋以找到可對應於基準標記物之任何影像物體。對於每個偵測到的潛在基準標記物，偵測器405隨後可繼續評估基準標記物之特定性質，該等性質可識別與基準標記物相關聯的相機。例如，特定圖案(例如QR碼)可獨特地識別偵測到的基準標記物/相機。基於此偵測，設備可繼續識別用於偵測到的相機之所接收影像及深度圖。
例如可藉由給每個基準標記物提供獨特外觀(形狀、色彩、圖案等)或藉由使用發送識別碼之主動(例如LED)標記物來實現識別。
以此方式，對於每個節點/相機，可偵測到從該相機可見的其他節點之子集，且隨後可識別並定位該子集。因而，對於每個節點，產生自此相機映射至其他相機的一組相對擺置向量。具體而言，相對擺置向量可包括指示位置差異之平移向量，且另外可包括至少一個定向/方向參數。
該過程因此導致產生通常大量的相對擺置向量，該等相對擺置向量反映相機之相對擺置。基於此等相對擺置向量，產生器409可將該等相機在共同座標系統中對齊。對齊過程具體而言可對於每個節點判定旋轉矩陣及 平移向量，該平移向量將節點置放於共同座標系統中。
如圖5中所繪示，產生器409可包含接收所有所產生之相對擺置向量之接收器501。接收器501耦接至座標處理器503，該座標處理器經配置以基於相對擺置向量判定共同座標系統中之相機擺置。產生器409隨後可由此組態產生場景之表示。例如，可將該表示提供為對齊資料(即，描述所有相機在單個座標系統中之位置之資料)以及所接收影像及深度圖之組合。
圖6繪示可如何對齊第三相機之實例。在該實例中，節點2及3(N2,N3)可能已經對齊，即，其擺置可能係已知的。此外，產生器409可能已知節點1(N1)相對於節點2及3之相對擺置向量。因此，產生器409從節點2或節點3及節點1之3D定向知道節點1之位置，因為節點1看到節點2及3。因此，該實例展示了三個節點之組態，其中節點1看到各自具有用於識別及對齊之目的之基準標記物的兩個其他節點2、3。因為節點2及3二者均可判定其相對於節點1之擺置，來自所有三個節點之3D資料可置放於共同座標系統中。因為節點1看到離節點2及3兩者的距離，所以對節點2及3之相對位置判定之額外檢查/過濾操作係可能的。
可將不同的方法及演算法用於判定深度感測相機在共同座標系統中之擺置。在許多實施例中，座標處理器503可經配置以執行考慮了所有相對擺置向量之聯合最佳化過程。
具體而言，可定義成本函數，其取決於(測量得的)相對擺置向量與對應的(經調整的)相對擺置向量之間的差異，該等對應的(經調整的)相對擺置向量由節點在共同座標系統中之擺置產生。
具體而言，在共同座標系統中，兩個節點之間的經調整的相對擺置向量由此等兩個節點之所分配擺置產生。當擺置改變時，指示所分配擺置之間的差異之經調整的相對擺置向量亦改變。
成本函數可包括此經調整的相對擺置向量與藉由如先前所描述之測量判定之對應的測量得的相對擺置向量之比較。因而，將從兩個相機之所分配擺置產生之經調整的相對擺置向量與兩個相機之測量得的相對擺置向量進行比較，且差異越大，成本函數之值越大。成本函數可包括對於所有相機對之測量得的相對擺置向量中之每一者的比較。
座標處理器503隨後可改變所分配擺置以找到最佳化的分配，對於該分配，成本函數得以最小化，且對應的組態可得到對齊。
將瞭解，用於此種最佳化操作之各種技術及演算法將為技術人員已知的，且因此，為了簡潔起見，本文中未進一步描述該等技術及演算法。
在許多情境中，可藉由其他資訊來輔助最佳化。例如，可基於其他功能，諸如，例如基於來自每個相機中所包括之GPS位置估計之位置資訊，來分配節點/相機之初始位置。
在一些實施例中，擺置處理器407可經配置以基於以下之一預定假設來判定相對擺置向量：對於第一深度感測影像相機及第二深度感測影像相機，至少一個定向參數係相同的。例如，在許多實施例中，擺置處理器407可基於以下假設：第一及第二相機均定位成使得其係同高的且完全水平的。
此種方法可允許擺置處理器407減少未知變數之數目且因此可 促進相對擺置向量之判定。在許多實施例中更重要的是，其可促進節點在共同座標系統中的對齊。具體而言，其可允許更有效率最佳化過程，其中例如可使用更簡單的成本函數。
作為特定實例，假設每個深度感測相機以固定/標稱高度置放於三腳架上且大致同高(例如，在使用傳統的流體中之氣泡方法進行置放期間測量為大致同高的)。因為所有相機處於地表面上方之大致相同(已知)的高度且大致同高，所以可開始迭代搜尋演算法，其中三個定向角中之兩者針對每個相機被初始化為零度且亦處於給定高度。迭代成本最小化演算法因而將更接近最小值且要判定之未知因素更少。此意謂收斂將會更快。此外，吾等可約束解決方案以免太過偏離已知先驗定向及高度。
如先前所描述，在許多實施例中，系統可藉由具體而言係從所擷取影像及深度資訊產生的一或多個影像來產生場景之部分之表示。實際上，在一些實施例中，該表示可簡單地是從所擷取影像及深度資訊且基於使用對齊資訊之組合來產生的該場景之單個影像。例如，可將視圖偏移演算法應用於一個影像，其中未被遮擋之區域由來自基於擺置資訊所選擇的其他相機之影像填滿。以此方式，可產生來自除相機視點以外的其他視點之影像。
作為另一實例，在一些實施例中，產生器409可經配置以基於相對擺置向量且具體而言基於所有相機在共同座標系統中之組態來產生場景之三維模型。
例如，可使用每個相機之每個深度測量來填充預界定之3D體積/陣列。在此填充操作之後，非空像素之集合形成3D體積表示。可將體積之 外表面上之位置轉換成網格以表示3D模型。
取決於個別實施例及應用之偏好及要求，所描述之設備之功能之分布在不同實施例中可能不同。
在一些實施例中，設備可實施為獨立的中央裝置或伺服器，所有相機將所擷取影像及深度資訊傳輸至該中央裝置或伺服器。在其他實施例中，功能可分布於擷取系統中。例如，偵測器405可實施於每個相機中且偵測到的影像位置可被傳達至中央裝置，該中央裝置實施擺置處理器407及產生器409，且該中央裝置因此繼續產生概率值及表示。在另外其他的實施例中，偵測器405及擺置處理器407可實施於每個深度感測相機中且所得的相對擺置向量可被傳輸至產生器409。
因而，主要描述已集中於基於主裝置之網路拓撲，該主裝置收集所有資料且將相機對齊。然而，其他替代方案可例如包括：
‧每個相機具有用於視訊之儲存器，且所有處理(包括校準)係離線執行的(在記錄之後)。
‧相機經由RF(例如WiFi或藍芽)就其基準標記物及具有位置之觀察到的基準標記物進行通信。該等相機一起形成共同座標系統，
‧行動相機(無人機)廣播位置變化。
如圖7中所繪示，設備在一些實施例中可包含用於判定場景之擷取性質之擷取處理器701，其中該擷取性質指示由複數個深度感測相機擷取之影像對該場景之覆蓋。該擷取性質具體而言可指示擷取品質。
將瞭解，擷取品質指示在不同實施例中可能不同，且在不同 實施例中可使用用於評估品質之不同度量或參數。具體而言，在一些實施例中，擷取品質指示可為對該組態之擷取場景之特定部分的相機之數目的指示。例如，若五個以上的相機擷取場景之一特定部分，則擷取品質指示可指示針對場景之該部分之擷取品質處於最大值。若沒有相機擷取場景之一特定部分，則擷取品質指示可指示針對場景之該部分之擷取品質處於最小值。對於1至4個相機擷取場景之該部分，擷取品質指示可指示中間品質等級。因此，擷取品質指示可反映擷取場景之不同部分之相機的數目，且因此可反映，擷取場景之部分之相機越多，擷取品質越好，例如，存在被遮擋的元素之風險越低。
在一些實施例中，擷取品質指示針對場景之不同部分可改變。在一些實施例中，可針對作為整體之場景產生單個擷取品質指示值，例如，產生為擷取場景之部分之相機的平均數目或少於給定數目之相機所覆蓋之場景之比例。
擷取處理器701耦接至使用者介面703，該使用者介面可產生使用者輸出，該使用者輸出指示所判定之擷取性質，且具體而言指示擷取品質指示。
作為低複雜性實例，設備可包含顯示器，使用者介面703可在該顯示器上呈現對總體擷取品質是否可接受的簡單指示。
在一些實施例中，擷取處理器701具體而言可識別場景之部分，擷取品質指示針對該等部分指示擷取之降低的品質。例如，其可識別場景之部分，針對該等部分，沒有相機或僅一個相機已擷取該場景。其隨後可繼續顯示此等部分且可指示新的深度感測相機之擺置以使得可針對場景之該部分改 良此品質。
在許多實施例中，使用者介面703可額外或替代地展示對齊資訊，諸如，特別是深度感測相機在共同座標系統中之位置及定向。
因而，在許多實施例中，使識別及對齊過程之資訊可供使用者獲得，從而允許調整節點之位置或添加節點，以改良擷取組態。
方法具體而言可用來檢查給定相機設置之有效性/效能。
例如，在相機系統之安裝期間，場景中之物體可遮擋另一相機之基準標記物。此可被自動偵測到。亦可能隨後建議安裝該系統的人將下一個相機置放於何處，以使得所有相機可鏈接在一起。提供此種程序，有可能自動偵測給定相機節點組態是否可為適合的。此偵測的基礎可為，判定相機之位置及擺置兩者是否允許全面覆蓋該場景。其亦可基於是否可對齊所有相機，即，是否可針對所有相機判定擺置的偵測。
為了操作者快速設置相機系統，非常有用的是視覺化校準過程之任何問題及藉由移動或添加相機節點來改良品質的任何可能性。
對於成功對齊之相機節點，有可能使用電腦圖形來演現該等相機節點。可使用指示不確定性之(多個)方向的斑點或線或其他圖形來視覺化對齊中的不確定性。適合的視覺化可繪製相機錐體。此可能非常有用，因為其給操作者提供關於相機重疊量的資訊。可藉由使該特定方向上的演現模糊化來指示不確定性。
此視覺化在亦被對齊之裝置(較佳為大視野擴增實境眼鏡)上演現時更為直觀。頭戴式裝置(HMD)例如可配備有相機感測器以擷取相機之 基準標記物。藉由線上對齊，對相機系統之變化的影響可為直接可見的。
基於虛擬實境或擴增實境眼鏡之更先進的使用者介面可視覺化場景之每個部分被擷取的程度。此可涉及產生與實際場景一致的所擷取3D場景之演現。隨後可利用有用的資訊來擴增此演現，諸如：‧陰影，用來指示沒有擷取，‧擷取場景元素(若存在)之感測器之數目，‧給定物體之表面性質，是否有足夠的感測器正在擷取此物體。
在一些實施例中，產生器409可進一步經配置以在基於基準標記物之判定之後修改相對擺置向量，且更具體而言修改共同座標系統中之座標。特定而言，其可基於所擷取影像之間的影像匹配來應用精細調整。
例如，對於第一及第二深度感測相機，基於基準標記物之對齊可導致第一及第二相機之擺置。其隨後可繼續在考慮位置之差異的情況下匹配第一及第二影像。例如，可執行兩個影像至共同中央視點之影像偏移。理想地，此等兩個影像現在應該匹配。然而，在實踐中，將不完全如此，且產生器409在一些情況下可隨後試圖查看該匹配對於擺置向量的微小變化是否更好。若是，則導致最好的影像匹配之經修改的擺置可取代從對基準標記物之考慮所判定之原始擺置。
在許多實施例中，方法可有利地用於動態擷取系統中，諸如，例如視訊擷取系統中，在該視訊擷取系統中例如使用移動的視訊攝影機。在此類系統中，可能亦需要不同相機及影像之間的計時同步。此可例如由具有 相關聯的時間碼之擺置資料、影像等來達成。在許多系統中，例如基於GPS或類似的時間同步，可將所有相機例如時間同步至共同的時間基礎。在此類系統中，可使用時間碼例如來協調將哪些影像用於特定時間瞬間之擺置資料等。
本發明能以包括硬體、軟體、韌體、或彼等之任何組合的任何合適形式實作。本發明可任選地至少部分地實作為在一或多個資料處理及/或數位信號處理器上運行的電腦軟體。本發明之實施例的元件及組件可以任何合適方式實體地、功能地、及邏輯地實作。實際上，功能可以單一單元實作、以複數個單元實作、或實作為其他功能單元的一部分。因此，本發明可以單一單元實作，或可實體地及功能地分布在不同單元、電路、及處理器之間。
雖然本發明已相關於一些實施例描述，未意圖受限於本文陳述的具體形式。額外地，雖然特徵可顯現為結合特定實施例描述，所屬技術領域中具有通常知識者會認知所描述之實施例的各種特徵可根據本發明組合。在申請專利範圍中，用語包含不排除其他元件或步驟的存在。
另外，雖然個別地列舉，複數個構件、元件、電路、或方法步驟可藉由，例如，單一電路、單元、或處理器實作。額外地，雖然個別特徵可包括在不同的申請專利範圍中，可能有有利的組合，且包括在不同申請專利範圍中不暗示特徵的組合係可行及/或有利的。特徵包括在一類別之請求項中並未暗示對此類別的限制，反而指示該特徵可視需要同等地適用於其他請求項。另外，在申請專利範中的特徵次序並未暗示特徵必須以該次序作用的任何具體次序，且方法項中之個別步驟的次序未特別暗示步驟必須以此次序執行。更確切地說，步驟可以任何合適次序執行。此外，單數型參照未排除複數型。因 此，對「一(a)」、「一(an)」、「第一(first)」、「第二(second)」等的參照不排除複數。申請專利範圍中的參考標誌僅提供為闡明實例，不應以任何方式解釋為限制申請專利範圍的範圍。
401‧‧‧第一接收器
403‧‧‧第二接收器
405‧‧‧偵測器
407‧‧‧擺置處理器
409‧‧‧產生器

Claims (15)

  1. 一種用於從由複數個分布之深度感測相機擷取之一場景之影像產生一場景之至少部分之一表示的設備，該設備包含：一第一接收器(401)，其用於接收由一第一深度感測相機擷取之一第一影像及由該第一深度感測相機擷取之第一深度資料；一偵測器(405)，其用於在該第一影像中偵測一基準標記物之一影像位置性質，該影像位置性質指示該基準標記物在該第一影像中之一位置，且該基準標記物藉由具有相對於一第二深度感測相機的一預定擺置差異來表示該第二深度感測相機之一擺置；一擺置處理器(407)，其用於回應於該影像位置性質、及該第一深度資料之用於該基準標記物之一影像位置的深度資料、及該預定擺置差異來判定一相對擺置向量，該相對擺置向量指示該第二深度感測相機相對於該第一深度感測相機之一擺置，該相對擺置向量至少是三維的；一第二接收器(403)，其用於接收由該第二深度感測相機擷取之一第二影像及由該第二深度感測相機擷取之第二深度資料；一產生器(409)，其用於回應於至少該第一影像及該第二影像之一組合並基於該相對擺置向量來產生至少部分該場景之該表示。
  2. 如請求項1之設備，其中該產生器(409)經配置以產生該表示以包含該場景之來自與該第一深度感測相機及該第二深度感測相機之視點不同的一視點之一影像。
  3. 如請求項1之設備，其中該產生器(409)經配置以基於該第一深度 資料及該第二深度資料來組合至少該第一影像及該第二影像。
  4. 如請求項1之設備，其中該產生器(409)包含：一接收器(501)，其用於接收複數個深度感測相機對之相對擺置向量；一座標處理器(503)，其用於回應於該等相對擺置向量來判定該複數個深度感測相機中之各者在一共同座標系統中之深度感測相機擺置，且其中該產生器(409)經配置以回應於在該相同座標系統中之該等所判定相機擺置來產生該影像。
  5. 如請求項4之設備，其中該座標處理器(503)經配置以回應於一成本函數之最小化來判定該等深度感測相機擺置，該成本函數取決於該等相對擺置向量與對應的擺置向量之間的一差異，該等對應的擺置向量係從在該共同座標系統中之所判定深度感測相機擺置來判定的。
  6. 如請求項1至5中任一項之設備，其進一步包含：一第二偵測器，其用於在該第二影像中偵測一第二基準標記物之一第二影像位置性質，該第二影像位置性質指示該第二基準標記物在該第二影像中之一位置，該第二基準標記物藉由具有相對於該第一深度感測相機的一第二預定擺置差異來表示該第一深度感測相機之一擺置；及一第二擺置處理器，其用於回應於該第二影像位置性質及該第二深度資料之用於該第二基準標記物之一影像位置的深度資料、及該第二預定擺置差異來判定一第二相對擺置向量，該第二相對擺置向量指示該第一深度感測相機相對於該第二深度感測相機之一位置，該第二相對擺置向量至少是三維的；且其中該產生器(409)進一步經配置以回應於該第二相對擺置向量來產生該表示。
  7. 如請求項1至5中任一項之設備，其中該基準標記物之一視覺性質 指示該第二深度感測相機之一身份，且該偵測器(405)經配置以回應於該視覺性質來判定該第二深度感測相機之該身份。
  8. 如請求項1至5中任一項之設備，其中該相對擺置向量包含至少一個定向值。
  9. 如請求項8之設備，其中該擺置處理器(407)經配置以回應於該基準標記物之一旋轉變異視覺性質來判定該至少一個定向值。
  10. 如請求項1至5中任一項之設備，其中該擺置處理器(407)經配置以基於一預定假設來判定該相對擺置向量，該預定假設係至少一個定向參數對於該第一深度感測相機及該第二深度感測相機係相同的。
  11. 如請求項1至5中任一項之設備，其進一步包含：一擷取處理器(701)，其用於回應於該相對擺置向量來判定該場景之一擷取性質，該擷取性質指示該場景係如何由該複數個深度感測相機擷取之該等影像覆蓋；及一使用者介面(703)，其用於產生指示該擷取性質之一使用者輸出。
  12. 如請求項11之設備，其中該擷取處理器(701)經配置以判定該場景之至少一部分，一擷取品質指示對於該至少一部分指示一降低的品質，且用於產生一使用者輸出，該使用者輸出指示用於一深度感測影像相機擷取該場景之該至少部分的一擺置。
  13. 如請求項1至5中任一項之設備，其中該產生器(409)經配置以回應於該第一影像及該第二影像之一影像匹配來修改該相對擺置向量。
  14. 如請求項1至5中任一項之設備，其中該產生器(409)經配置以回應於該相對擺置向量、該第一影像、及該第二影像來產生該場景之一三維模 型。
  15. 一種從由複數個分布之深度感測相機擷取之一場景之影像產生一場景之至少部分之一表示的方法，該方法包含：接收由一第一深度感測相機擷取之一第一影像及由該第一深度感測相機擷取之第一深度資料；在該第一影像中偵測一基準標記物之一影像位置性質，該影像位置性質指示該基準標記物在該第一影像中之一位置，且該基準標記物藉由具有相對於一第二深度感測相機的一預定擺置差異來表示該第二深度感測相機之一擺置；回應於該影像位置性質及該第一深度資料之用於該基準標記物之一影像位置的深度資料、及該預定擺置差異來判定一相對擺置向量，該相對擺置向量指示該第二深度感測相機相對於該第一深度感測相機之一擺置，該相對擺置向量至少是三維的；接收由該第二深度感測相機擷取之一第二影像及由該第二深度感測相機擷取之第二深度資料；及回應於至少該第一影像及該第二影像之一組合並基於該相對擺置向量來產生至少部分該場景之該表示。
TW107127548A 2017-08-08 2018-08-08 用於產生場景之表示的設備及方法 TWI795425B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17185271.8A EP3441788A1 (en) 2017-08-08 2017-08-08 Apparatus and method for generating a representation of a scene
EP17185271.8 2017-08-08
??17185271.8 2017-08-08

Publications (2)

Publication Number Publication Date
TW201920985A TW201920985A (zh) 2019-06-01
TWI795425B true TWI795425B (zh) 2023-03-11

Family

ID=59569191

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107127548A TWI795425B (zh) 2017-08-08 2018-08-08 用於產生場景之表示的設備及方法

Country Status (9)

Country Link
US (1) US11218687B2 (zh)
EP (2) EP3441788A1 (zh)
JP (1) JP7059355B6 (zh)
KR (1) KR102535945B1 (zh)
CN (1) CN111194416B (zh)
BR (1) BR112020002452B1 (zh)
RU (1) RU2769303C2 (zh)
TW (1) TWI795425B (zh)
WO (1) WO2019030235A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470323B (zh) * 2018-03-13 2020-07-31 京东方科技集团股份有限公司 一种图像拼接方法、计算机设备及显示装置
EP3703378A1 (en) * 2019-03-01 2020-09-02 Koninklijke Philips N.V. Apparatus and method of generating an image signal
EP3712843A1 (en) * 2019-03-19 2020-09-23 Koninklijke Philips N.V. Image signal representing a scene
GB2584122B (en) * 2019-05-22 2024-01-10 Sony Interactive Entertainment Inc Data processing
US10510155B1 (en) * 2019-06-11 2019-12-17 Mujin, Inc. Method and processing system for updating a first image generated by a first camera based on a second image generated by a second camera
EP3848899B1 (en) * 2020-01-09 2023-01-25 Stryker European Operations Limited Technique of determining a pose of a surgical registration device
TWI784482B (zh) * 2020-04-16 2022-11-21 鈺立微電子股份有限公司 多深度資訊之處理方法與處理系統
WO2021234890A1 (ja) * 2020-05-21 2021-11-25 日本電気株式会社 設置支援装置、設置支援方法、およびプログラム
JP2022089269A (ja) * 2020-12-04 2022-06-16 株式会社日立製作所 キャリブレーション装置およびキャリブレーション方法
DE102021119481A1 (de) 2021-07-27 2023-02-02 Karl Storz Se & Co. Kg Messverfahren und eine Messvorrichtung
US20230095002A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Surgical methods using fiducial identification and tracking
CN116468206A (zh) * 2022-01-11 2023-07-21 大金工业株式会社 设备的维护方法、装置及系统
US20230419635A1 (en) * 2022-06-27 2023-12-28 Shopify Inc. Volumetric permissioning

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090109280A1 (en) * 2007-10-31 2009-04-30 Technion Research And Development Foundation Ltd. Free viewpoint video
TW201205181A (en) * 2010-06-09 2012-02-01 Eastman Kodak Co Video camera providing videos with perceived depth
TW201616443A (zh) * 2014-10-20 2016-05-01 陳金仁 即時影像合成裝置、方法與電腦程式產品
TW201631963A (zh) * 2013-01-30 2016-09-01 高通公司 具有功率有效深度感測器運用之即時三維重建
CN106056664A (zh) * 2016-05-23 2016-10-26 武汉盈力科技有限公司 一种基于惯性和深度视觉的实时三维场景重构系统及方法
US20170094251A1 (en) * 2015-09-30 2017-03-30 Faro Technologies, Inc. Three-dimensional imager that includes a dichroic camera

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7319479B1 (en) * 2000-09-22 2008-01-15 Brickstream Corporation System and method for multi-camera linking and analysis
GB2372656A (en) * 2001-02-23 2002-08-28 Ind Control Systems Ltd Optical position determination
EP2405236B1 (de) * 2010-07-07 2012-10-31 Leica Geosystems AG Geodätisches Vermessungsgerät mit automatischer hochpräziser Zielpunkt-Anzielfunktionalität
US9686532B2 (en) * 2011-04-15 2017-06-20 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
EP2761251B1 (de) * 2011-09-27 2018-05-09 Leica Geosystems AG Vermessungssystem und verfahren zur absteckung eines in einem koordinatensystem bekannten zielpunkts
JP5804892B2 (ja) 2011-10-25 2015-11-04 セコム株式会社 カメラ姿勢算出装置
EP2587450B1 (en) * 2011-10-27 2016-08-31 Nordson Corporation Method and apparatus for generating a three-dimensional model of a region of interest using an imaging system
GB2496591B (en) * 2011-11-11 2017-12-27 Sony Corp Camera Movement Correction
GB2497119B (en) * 2011-12-01 2013-12-25 Sony Corp Image processing system and method
DE102012207931A1 (de) * 2012-01-07 2013-07-11 Johnson Controls Gmbh Kameraanordnung zur Distanzmessung
EP2615580B1 (en) * 2012-01-13 2016-08-17 Softkinetic Software Automatic scene calibration
US8773562B1 (en) * 2013-01-31 2014-07-08 Apple Inc. Vertically stacked image sensor
US10122993B2 (en) * 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
JP6171671B2 (ja) * 2013-07-24 2017-08-02 富士通株式会社 情報処理装置、位置指定方法および位置指定プログラム
JP2015168936A (ja) * 2014-03-05 2015-09-28 キャタピラー エス エー アール エル 作業機械におけるキャブ保護構造
EP3120325B1 (en) 2014-03-21 2018-06-06 Omron Corporation Method and apparatus for detecting and mitigating optical impairments in an optical system
JP2016017913A (ja) * 2014-07-10 2016-02-01 国立大学法人鳥取大学 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム
US20160044301A1 (en) * 2014-08-06 2016-02-11 Dejan JOVANOVICH 3d modeling of imaged objects using camera position and pose to obtain accuracy with reduced processing requirements
WO2016029939A1 (en) * 2014-08-27 2016-03-03 Metaio Gmbh Method and system for determining at least one image feature in at least one image
RU2721177C2 (ru) * 2015-07-13 2020-05-18 Конинклейке Филипс Н.В. Способ и устройство для определения карты глубины для изображения
KR101629610B1 (ko) * 2015-07-27 2016-06-13 주식회사 앤비젼 고해상도 영상 추출을 위한 광경로 변환 유닛, 광경로 변환 모듈, 광경로 변환 방법 및 이 방법을 수행하기 위한 프로그램을 기록한 기록매체, 반도체 기판 패턴 검사 장치
GB2541884A (en) * 2015-08-28 2017-03-08 Imp College Of Science Tech And Medicine Mapping a space using a multi-directional camera
US11073373B2 (en) * 2018-08-22 2021-07-27 Government Of The United States Of America, As Represented By The Secretary Of Commerce Non-contact coordinate measuring machine using a noncontact metrology probe

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090109280A1 (en) * 2007-10-31 2009-04-30 Technion Research And Development Foundation Ltd. Free viewpoint video
TW201205181A (en) * 2010-06-09 2012-02-01 Eastman Kodak Co Video camera providing videos with perceived depth
TW201631963A (zh) * 2013-01-30 2016-09-01 高通公司 具有功率有效深度感測器運用之即時三維重建
TW201616443A (zh) * 2014-10-20 2016-05-01 陳金仁 即時影像合成裝置、方法與電腦程式產品
US20170094251A1 (en) * 2015-09-30 2017-03-30 Faro Technologies, Inc. Three-dimensional imager that includes a dichroic camera
CN106056664A (zh) * 2016-05-23 2016-10-26 武汉盈力科技有限公司 一种基于惯性和深度视觉的实时三维场景重构系统及方法

Also Published As

Publication number Publication date
CN111194416B (zh) 2024-01-23
BR112020002452B1 (pt) 2024-03-05
KR102535945B1 (ko) 2023-05-26
RU2020109861A3 (zh) 2022-01-28
EP3441788A1 (en) 2019-02-13
CN111194416A (zh) 2020-05-22
WO2019030235A1 (en) 2019-02-14
EP3665506A1 (en) 2020-06-17
US11218687B2 (en) 2022-01-04
EP3665506B1 (en) 2022-03-09
RU2769303C2 (ru) 2022-03-30
JP2020529685A (ja) 2020-10-08
US20210152802A1 (en) 2021-05-20
BR112020002452A2 (pt) 2020-07-28
JP7059355B2 (ja) 2022-04-25
RU2020109861A (ru) 2021-09-10
TW201920985A (zh) 2019-06-01
JP7059355B6 (ja) 2022-06-03
KR20200035297A (ko) 2020-04-02

Similar Documents

Publication Publication Date Title
TWI795425B (zh) 用於產生場景之表示的設備及方法
CN104685541B (zh) 用于确定三维对象上注视点的方法和装置
EP2992507B1 (en) Methods for facilitating computer vision application initialization
US7825948B2 (en) 3D video conferencing
KR100513055B1 (ko) 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
EP3394832A1 (en) Depth perceptive trinocular camera system
US20150009295A1 (en) Three-dimensional image acquisition apparatus and image processing method using the same
EP3545675A1 (en) Light field capture and rendering for head-mounted displays
US10560683B2 (en) System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects
CN102196280A (zh) 方法、客户端设备和服务器
GB2477333A (en) Stereoscopic camera system with image processor to transform one of stereoscopic pair to give effect of increased stereo base
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
US20220148207A1 (en) Processing of depth maps for images
CN108346134A (zh) 对着色的三维点云进行图像修复的方法和装置
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
CN116577072A (zh) 设备的标定方法、装置、系统和存储介质
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치
CN112819970B (zh) 一种控制方法、装置及电子设备
CN110766752A (zh) 一种带反光标志点的虚拟现实交互眼镜及空间定位方法
Liu et al. Fusion of depth maps based on confidence
CN116385537A (zh) 一种用于增强现实的定位方法及装置
Goma et al. Introducing the depth transfer curve for 3D capture system characterization
KR20140061217A (ko) 복수의 모바일 장치를 이용하여 3ｄ 이미지를 생성하는 방법 및 장치