TWI536832B - 用於嵌入立體影像的系統、方法及其軟體產品 - Google Patents

用於嵌入立體影像的系統、方法及其軟體產品 Download PDF

Info

Publication number
TWI536832B
TWI536832B TW104123320A TW104123320A TWI536832B TW I536832 B TWI536832 B TW I536832B TW 104123320 A TW104123320 A TW 104123320A TW 104123320 A TW104123320 A TW 104123320A TW I536832 B TWI536832 B TW I536832B
Authority
TW
Taiwan
Prior art keywords
stereo
image
foreground
stereoscopic image
target
Prior art date
Application number
TW104123320A
Other languages
English (en)
Other versions
TW201605241A (zh
Inventor
潘慧
繼章 單
蘇新華
陳家旺
王超
Original Assignee
豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 豪威科技股份有限公司 filed Critical 豪威科技股份有限公司
Publication of TW201605241A publication Critical patent/TW201605241A/zh
Application granted granted Critical
Publication of TWI536832B publication Critical patent/TWI536832B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0092Image segmentation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/003Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Description

用於嵌入立體影像的系統、方法及其軟體產品
本發明係有關於立體影像,特定而言係有關於用於嵌入立體影像的系統及方法。
立體電影,被稱為三維(3D)電影,隨著目前消費者可取得立體電影顯示功能而增加了在電影院和電視的普及性。相對於一電腦產生的場景,真實場景的立體電影或立體靜止影像係使用一立體相機而產生。
立體相機通常由兩個在空間上相互偏移的相機組成,例如,相較於場景,使一個相機處於最左邊的位置而另一個相機處於最右邊的位置。每個相機拍攝同一場景的影像,而記錄的影像的後續分析除了標準的二維影像以外還提供距離資訊。上述配置係模仿雙眼。人類透過比較眼腈接收的視覺資訊來感知距離。雙眼間的距離導致在雙眼形成的影像中的細微差異。大腦處理這種立體像差來決定距場景中各種物體的距離,並提供深度知覺。同樣地,兩個相機彼此相鄰放置並觀看同一場景,由於兩個相機之間的距離而將拍攝出具有細微差異的影像。場景中的物體會出現在影像中稍微不同的位置處。如果相機以一個已知的距離彼此分開,物體在場景中相對於立體相機的三維位置可以從所拍攝的影像透過三角測量來決定。
立體影像或立體視訊可以一二維表示法編碼。例如,使用一二維顯示器,由一最左相機拍攝的場景的左視角是使用與由一最右相機拍攝的相同場景的右視角不同的偏振或色彩來顯示。然後一觀測者穿戴一組具有在左眼和右眼使用不同偏振或彩色傳輸特性的眼鏡觀看二維顯示器。這種眼鏡傳送左視角到左眼和右視角到右眼,從而提供三維的觀看體驗。
在一實施例中,一種用於嵌入立體影像的方法,其包括:(a)將一從由一第一立體相機拍攝的原始立體影像中擷取的前景立體影像從與上述第 一立體相機相關聯的縮放比例轉換成與一第二立體相機相關聯的縮放比例,以形成一轉換的前景立體影像,以及(b)將上述轉換的前景立體影像嵌入由上述第二立體相機拍攝的一目標立體影像中,以形成一嵌入的立體影像。
在一實施例中,一種用於嵌入立體影像的系統,其包括一處理器和一在通訊上耦合於上述處理器的記憶體,其中上述記憶體具有指令,上述指令在由上述處理器執行時,(a)將一從由一第一立體相機拍攝的原始立體影像中擷取的前景立體影像從與上述第一立體相機相關聯的縮放比例轉換成與一第二立體相機相關聯的縮放比例,以形成一轉換的前景立體影像,以及(b)將上述轉換的前景立體影像嵌入由上述第二立體相機拍攝的一目標立體影像中。
在一實施例中,一種軟體產品,其具有儲存在非暫態性電腦可讀媒體中的指令,當上述指令由電腦執行時,會執行用於嵌入立體影像的步驟,其中上述指令包括(a)用於將一從由一第一立體相機拍攝的原始立體影像中擷取的前景立體影像從與上述第一立體相機相關聯的縮放比例轉換成與一第二立體相機相關聯的縮放比例,以形成一轉換的前景立體影像的指令,以及(b)用於將上述轉換的前景立體影像嵌入由上述第二立體相機拍攝的一目標立體影像中的指令。
100‧‧‧系統
111‧‧‧第一立體相機
111L‧‧‧左相機
111R‧‧‧右相機
112‧‧‧第二立體相機
112L‧‧‧左相機
112R‧‧‧右相機
121‧‧‧原始立體影像
122‧‧‧目標立體影像
131、141‧‧‧左視角影像
132、142‧‧‧左視角影像
151‧‧‧前景立體影像
151'‧‧‧轉換的前景
152‧‧‧極近似前景立體影像
153‧‧‧背景
160‧‧‧處理中心
170‧‧‧嵌入的立體影像
180‧‧‧左視角
190‧‧‧右視角
200‧‧‧系統
210‧‧‧處理中心
220‧‧‧處理器
230‧‧‧記憶體
240‧‧‧資料儲存器
242‧‧‧第一立體相機參數
244‧‧‧第二立體相機參數
246‧‧‧影像資料儲存器
248‧‧‧立體像差搜索範圍
250‧‧‧指令
252‧‧‧前景擷取指令
254‧‧‧轉換指令
256‧‧‧嵌入指令
260‧‧‧介面
300‧‧‧方法
302、304、312、314、316、320、330、332、340、350、352、360、362‧‧‧步驟
410‧‧‧前景立體影像
410'‧‧‧轉換的前景立體影像
412、412'、422、432、442‧‧‧左視角影像
414、414'、424、434、444‧‧‧右視角影像
420‧‧‧極近似前景立體影像
422‧‧‧左視角影像
424‧‧‧右視角影像
430‧‧‧背景立體影像
440‧‧‧中間立體影像
500‧‧‧處理中心
510‧‧‧記憶體
520‧‧‧資料儲存器
522‧‧‧色彩分佈模組
530‧‧‧指令
540‧‧‧前景擷取指令
550‧‧‧初始分割指令
552‧‧‧成本函數
555‧‧‧提示
560‧‧‧精細分割指令
562‧‧‧假設
564‧‧‧成本函數
570‧‧‧轉換指令
572‧‧‧像素座標對應
574‧‧‧立體像差對應
580‧‧‧立體像差範圍細化指令
582‧‧‧邊緣匹配指令
590‧‧‧嵌入指令
592‧‧‧裁剪指令
600‧‧‧方法
610、612、620、622、630、632、634、636、638‧‧‧步驟
700‧‧‧方法
710、712、714、716、720、730、740‧‧‧步驟
812、814、816、818、822、824、826、828‧‧‧座標軸
900‧‧‧方法
910、912、914、920、930、940、950、960‧‧‧步驟
1000‧‧‧方法
1030‧‧‧子方法
1010、1020、1040、1050、1060、1070、1080‧‧‧步驟
1110‧‧‧原始立體影像
1112、1112'、1142、1152、1152'‧‧‧左視角影像
1114、1114'、1144、1154、1154'‧‧‧右視角影像
1122、1124‧‧‧前景
1122'、1124'‧‧‧轉換的前景
1120‧‧‧前景立體影像
1130‧‧‧目標立體影像
1132‧‧‧左視角立體影像
1134‧‧‧右視角立體影像
1140‧‧‧轉換的前景立體影像
1150‧‧‧未裁剪、嵌入的立體影像
1150'‧‧‧嵌入的立體影像
1192、1194‧‧‧方向
圖1為根據一實施例顯示一種用於嵌入立體影像的系統。
圖2為根據一實施例顯示另一種用於嵌入立體影像的系統。
圖3為根據一實施例顯示一種用於嵌入立體影像的方法。
圖4顯示與圖3的方法相關聯的示例性的立體影像。
圖5為根據一實施例顯示又一種用於嵌入立體影像的系統。
圖6為根據一實施例顯示一種用於從一立體影像擷取一前景立體影像的方法。
圖7為根據一實施例顯示一種用於將一從由一第一立體相機拍攝的原始立體影像中擷取的前景立體影像從與上述第一立體相機相關聯的縮放比例轉換成與一第二立體相機相關聯的縮放比例的方法。
圖8顯示與圖7的方法相關聯的示例性的立體影像。
圖9為根據一實施例顯示一種用於決定由一第二立體相機拍攝的一目標立 體影像之一極近似前景立體影像的最小立體像差的方法。
圖10為根據一實施例顯示一種用於將一從由一第一立體相機拍攝的原始立體影像擷取的前景立體影像嵌入一由一第二立體相機拍攝的一目標立體影像中的方法。
圖11顯示與圖10的方法相關聯的示例性的立體影像。
圖1顯示了用於嵌入立體影像的一示例性系統100。系統100將一從由一立體相機拍攝的立體影像中擷取的前景立體影像嵌入由另一立體相機拍攝的另一立體影像。具體來說,系統100包括一第一立體相機111、一第二立體相機112和與第一立體相機111和第二立體相機112在通訊上耦合的一處理中心160。第一立體相機包括一左相機111L和一右相機111R。同樣地,第二立體相機112包括一左相機112L和一右相機112R。
在一示例性場景中,第一立體相機111拍攝一由第一立體相機111看到的場景的原始立體影像121。原始立體影像121係以分別由左相機111L和右相機111R拍攝的一二維左視角影像131和一二維右視角影像141表示。第二立體相機112拍攝一由第二立體相機112看到的場景的目標立體影像122。目標立體影像122係以分別由左相機112L和右相機112R拍攝的一二維左視角影像132和一二維右視角影像142表示。雖然圖1顯示了各自以相應的左和右視角影像表示的原始立體影像121和目標立體影像122,第一和第二立體相機111和112可分別以任何本領域中已知的表示形式,例如彩色浮雕(color anaglyph)或表格形式,輸出原始立體影像121和目標立體影像122,而不偏離本發明的範圍。此類表示形式可以包括與由左視角和右視角影像所提供的資訊等同的資訊。
第一立體相機111和第二立體相機112分別將原始立體影像121和目標立體影像122傳送到處理中心160。處理中心160處理原始立體影像121和目標立體影像122,以將原始立體影像121的前景151嵌入目標立體影像122中,而產生一個分別具有左視角影像180和右視角影像190的嵌入的立體影像170。為了能清楚地說明,前景立體影像151僅在右視角影像141中標記。如同上述,嵌入的立體影像170可以使用本領域中已知的其它表示形式來表示,例如表格形式,而不偏離本發明的範圍。
處理中心160在適當的深度將前景151嵌入到目標立體影像122 中,從而提供該組合場景的一個自然的影像。在圖1所顯示的示例性場景中,目標立體影像122包括一個距離第二立體相機112比前景151距第一立體相機111更近的極近似前景立體影像152,以及一個距離第二立體相機112比前景151距第一立體相機111更遠的背景153。為了清楚地說明,極近似前景152和背景153僅在右視角影像142中標記。如將在下面討論的,嵌入的立體影像170顯示了在極近似前景152和背景153之間適當深度位置上的前景151或一轉換的前景151'。此外,嵌入的立體影像170以適當的咬合關係顯示了前景151(或轉換的前景151')、極近似前景152和背景153。
在一實施例中,第一立體相機111具有的特性與第二立體相機112不同,使得原始立體影像121具有與目標立體影像122不同的縮放比例。在此,縮放比例係指(a)左視角影像和右視角影像的二維縮放比例,以及(b)立體影像的深度縮放比例。左視角影像和右視角影像的二維縮放比例係定義為例如,在每個影像像素的場景中基本上垂直於立體相機的光軸的二維距離。在此,立體相機的光軸係指左相機光軸和右相機光軸的平均值。深度縮放比例係定義為例如在一個場景中基本上平行於立體相機的光軸的深度距離,作為左視角影像和右視角影像之間的立體像差的函數。立體像差係為一個特徵在立體影像的左視角影像中的位置和相同特徵在相同立體影像的右視角影像中的位置之間的差。原始立體影像121和目標立體影像122可能在二維縮放比例和深度縮放比例兩者之一中有所不同。
在一實例中,第一立體相機111和第二立體相機112具有不同的視野大小,其將導致在原始立體影像121和目標立體影像122的二維縮放比例上的差別。在另一實例中,第一立體相機111和第二立體相機112具有不同的立體基線。立體相機的立體基線係從左相機到右相機(例如,左相機111L和右相機111R)沿立體相機的光軸的一正交方向的距離。立體相機的光軸係為左相機和右相機的光軸的平均。在此例子中,原始立體影像121的深度縮放比例不同於目標立體影像122的深度縮放比例。在又一實例中,第一立體相機111和第二立體相機112在視野大小和立體基線兩者上皆有不同,使得原始立體影像121和目標立體影像122在二維縮放比例和深度縮放比例兩者上皆有不同。
在系統100的實施例中,其中原始立體影像121和目標立體影像122具有不同的縮放比例,處理中心160將前景立體影像151從原始立體影像 121的縮放比例轉換為目標立體影像122的縮放比例。這種轉換的結果是一個以與目標立體影像122相關聯的深度和二維縮放比例特性表示的轉換的前景151'。因此,嵌入的立體影像170顯示了彷彿由第二立體相機112拍攝的轉換的前景151'。
因此,由系統100和在其中實施的方法產生的嵌入立體影像170提供組合場景的一個自然的立體影像。將原始立體影像121的前景151以適當的二維縮放比例、適當的深度以及對目標立體影像122中的物體的適當的咬合關係嵌入到目標立體影像122中。
圖2顯示了用於嵌入立體影像的一示例性系統200。系統200將由一立體相機拍攝的前景立體影像嵌入到由另一立體相機拍攝的另一立體影像中。系統200包括一處理中心210,其處理原始立體影像和目標立體影像,以從原始立體影像中擷取一前景立體影像,並將前景立體影像以適當的深度、二維尺寸和咬合關係嵌入目標立體影像中。處理中心210係為圖1的處理中心160的一實施例。
在一實施例中,系統200包括圖1的第一立體相機111和第二立體相機112,兩者皆在通訊上耦合於處理中心210的介面260。第一立體相機111拍攝原始立體影像,並將所述原始立體影像傳送到介面260。第二立體相機112拍攝目標立體影像,並且將所述目標立體影像傳送到介面260。系統200係為例如圖1的系統100的一實施例。在某些實施例中,第一立體相機111和第二立體相機112兩者皆校正於前緣平行設置。因此,左相機111L和右相機111R具有平行的、相互偏移的光軸,且兩者僅在一個正交於其平行的、相互偏移的光軸的方向上彼此偏移。同樣地,左相機112L和右相機112R具有平行的、相互偏移的光軸,且兩者僅在一個正交於其平行的、相互偏移的光軸的方向上彼此偏移。
除了界面260,處理中心210還包括一處理器220和一記憶體230。記憶體230包括一資料儲存器240和機器可讀指令250。機器可讀指令250可以在記憶體230的非揮發性和/或非暫態性部分中進行編碼。選擇性地,資料儲存器240包括第一立體相機參數242和第二立體相機參數244。第一立體相機參數242和第二立體相機參數244分別包括分別用於定義原始立體影像和目標立體影像的縮放特性的參數。資料儲存器240更包括一影像資料儲存器246和 一立體像差搜索範圍248。指令250包括前景擷取指令252、轉換指令254和嵌入指令256。
處理器220在通訊上耦合於介面260和記憶體230。處理器220從介面260接收原始和目標立體影像。處理器220在原始立體影像上執行前景擷取指令252,以從中擷取一前景立體影像。選擇性地,處理器220亦可在目標立體影像上執行前景擷取指令252,以從中擷取一極近似前景,如結合圖1所討論的。處理器220在前景立體影像上執行轉換指令254,以將前景立體影像從與第一立體相機111相關的縮放比例轉換為與第二立體相機112相關的縮放比例。處理器220在轉換的前景立體影像和目標立體影像或在從其中擷取的極近似前景和背景立體影像上執行嵌入指令256,以將前景立體影像嵌入目標立體影像中,藉以形成一嵌入的立體影像。此外,處理器220將該嵌入的立體影像經由介面260傳送給使用者或一外部系統,例如一顯示器。處理器220可以儲存原始立體影像、目標立體影像、前景立體影像、極近似前景立體影像和嵌入的立體影像中的一或多者至影像資料儲存器246,並可從影像資料儲存器246中提取上述影像中的一或多者。
圖3顯示了用於嵌入立體影像的一示例性方法300的流程圖。方法300將由一第一立體相機產生的原始立體影像的前景立體影像嵌入由一第二立體相機產生的目標立體影像中。圖1的處理中心160或圖2的處理中心210可以利用方法300來將前景立體影像151(圖1)嵌入目標立體影像122(圖1)中,以產生嵌入的立體影像170(圖1)。方法300的某些步驟以圖1的立體影像圖示。圖4顯示了方法300用於相同實例的相關步驟。圖2以連同圖3和4一起觀看為最佳。
在步驟330中,一前景立體影像係從由第一立體相機拍攝的原始立體影像中擷取。步驟330可以利用本領域中已知的立體影像分割的方法。在步驟330的一實例中,處理器220(圖2)從影像資料儲存器246(圖2)提取原始立體影像121(圖1)或從介面260(圖2)接收原始立體影像121。然後處理器220在原始立體影像121上執行前景擷取指令252,以從由第一立體相機111拍攝的原始立體影像121(圖1)擷取前景151(圖1),進而導致前景立體影像410(圖4)的形成。前景立體影像410係由一左視角影像412和一右視角影像414表示,並包括前景151。為了清楚地說明,前景151僅在右視角影像 414中標記。處理器220將前景立體影像410儲存到影像資料儲存器246中。
在步驟340中,在步驟330中產生的前景立體影像係從與第一立體相機相關聯的縮放比例轉換為與第二立體相機相關聯的縮放比例。此轉換產生一個在立體視圖上相當於目標立體影像的立體視圖的轉換的前景立體影像。在步驟340的一實例中,處理器220從影像資料儲存器246提取前景立體影像410並在前景立體影像410上執行轉換指令254以形成如圖4所示的轉換的前景立體影像410'。轉換的前景立體影像410'係以一左視角影像412'和一右視角影像414'表示,並包括一轉換的前景151'。轉換的前景151'係為前景151以第二立體相機112的縮放比例描繪而成。為了清楚地說明,轉換的前景151'僅在右視角影像414'中標記。處理器220將轉換的前景立體影像410'儲存到影像資料儲存器246中。
在步驟350中,在步驟340產生的轉換的前景立體影像係以適當的深度和大小以及對應產生自同一立體相機的原始和目標立體影像的適當的咬合關係嵌入目標立體影像中。在步驟350的一實例中,處理器220從影像資料儲存器246提取轉換的前景立體影像410',並從影像資料儲存器246中提取目標立體影像122(圖1)(或替代性地從介面260接收目標立體影像122(圖1))。然後處理器220在轉換的前景立體影像410和目標立體影像122上執行嵌入指示256以將轉換的前景151'嵌入目標立體影像122(圖1)中,以形成嵌入的立體影像170(圖1)。
在一實施例中,方法300包括一步驟316,而步驟350包括一步驟352。在步驟316中,一極近似前景立體影像和選擇性的背景立體影像係從目標立體影像中擷取。極近似前景立體影像顯示目標立體影像中距離第二立體相機比原始立體影像的前景距第一立體相機更近的那些物體。背景立體影像顯示目標立體影像中剩餘的部分。步驟316可以利用如在步驟340中使用的相同的方法,但是施加到原始立體影像上。在步驟316的一實例中,處理器220從影像資料儲存器246提取目標立體影像122或從介面260接收目標立體影像。接著,處理器220在目標立體影像122上執行前景擷取指令252以從中擷取一圖4中所示的極近似前景立體影像420。極近似前景立體影像420係由一左視角影像422和一右視角影像424表示,並包括極近似前景152(圖1)。選擇性地,處理器220在目標立體影像122上執行前景擷取指令252,使用從極近似前景立體影 像424收集的資訊,以產生圖4所示的背景立體影像430。背景立體影像430係由一左視角影像432和一右視角影像434表示,並且包括背景153(圖1)。然後處理器220將極近似前景立體影像420以及選擇性地背景立體影像430儲存到影像資料儲存器246中。
雖然圖4所顯示的係由左視角影像和右視角影像表示,前景立體影像410、轉換的前景立體影像410'、極近似前景立體影像420和背景立體影像430亦可以不同的形式表示(例如以彩色浮雕、表格資料或本領域中已知的其它表示法),而不偏離本發明的範圍。
在步驟352中,轉換的前景立體影像係以在目標立體影像的背景和極近似前景之間的深度嵌入所述目標立體影像中。在步驟352的一例子中,處理器220從影像資料儲存器246提取(a)轉換的前景立體影像410'、(b)極近似前景立體影像420和(c)背景立體影像430或目標立體影像122。然後處理器220在(a)轉換的前景立體影像410'、(b)極近似前景立體影像420和(c)背景立體影像430或目標立體影像122上執行嵌入指令256,以產生具有在背景153和極近似前景152之間堆積成層的轉換的前景151'的嵌入的立體影像170。處理器220可以將嵌入的立體影像170儲存到影像資料儲存器246中。
在一選擇性的步驟360中,在步驟350中產生的嵌入的立體影像被輸出。在步驟360的一例子中,處理器220將嵌入的立體影像170經由介面260向使用者或外部系統,例如一顯示器輸出。處理器220可以在嵌入的立體影像170生成後立即將其輸出,或從影像資料儲存器246提取嵌入的立體影像170。
在一實施例中,方法300包括一步驟362,其中嵌入的立體影像的單一視圖(即左視角或右視角)係被輸出。此視圖並不提供立體影像。然而,透過在步驟330、340和350進行的立體影像處理,產生了一個二維的影像,其中原始立體影像的前景係以適當的咬合關係和適當的大小顯示在目標立體影像的場景中。在步驟362的一例子中,處理器220輸出左視角影像180(圖1),其中轉換的前景151'出現在背景153之前並在極近似前景152之後。
步驟340中的前景擷取需要關於前景的深度資訊,以辨別原始立體影像中的哪些物體是前景物體以及目標立體影像中的哪些物體是屬於極近似前景。在一實施例中,方法300包括一步驟320,其中最小立體像差係被接收以用於隨後的步驟340中。此最小立體像差定義第一立體相機和一場景中的物體 之間的最大距離,使得該物體幾乎可被歸類為一前景物體。替代性地,步驟320可提供最大的距離,而相關的最小立體像差可在步驟330中由此推導。在步驟320的一例子中,處理器220透過介面260從一使用者接收一最小立體像差,並將該最小立體像差儲存在立體像差搜索範圍248中。在隨後的步驟340中,處理器220可在執行前景擷取指令252時,從立體像差搜索範圍248中提取最小立體像差。
類似地,選擇性步驟316中極近似前景擷取需要深度資訊來決定在目標立體影像中的哪些物體屬於極近的前景。在一實施例中,方法300包括一步驟332,其中與目標立體影像的極近似前景相關的最小立體像差是從在步驟330收集的前景資訊推導出。由於目標立體影像的極近似前景是由那些距離第二立體相機比原始立體影像的前景物體距離第一立體相機更近的物體所組成,步驟332從原始立體影像的前景的最大立體像差導出與目標立體影像的極近似前景相關聯的最小立體像差。例如,在步驟330中,處理器220將前景立體影像410的最大立體像差儲存到立體像差搜索範圍248中。在步驟332中,處理器220從立體像差搜索範圍248提取前景立體影像410的最大立體像差,並執行轉換指令254以將前景立體影像410的最大立體像差轉換為第二立體相機112的深度縮放比例。這提供了在目標立體影像122中的物體的最小立體像差是否屬於極近似前景152的判定。然後處理器220將此最小立體像差儲存到立體像差搜索範圍248中以供在步驟316中從其中來提取。
在某些實施例中,方法300依賴於被校正於前緣平行設置的立體相機所拍攝的原始和目標立體影像。方法300的這些實施例可以包括步驟302、304、312和314。在步驟302中,第一立體相機校準和校正於前緣平行設置。此校準包括決定內在參數、外在參數和第一立體相機的失真。內在參數表示在第一立體相機內各個相機的特性,例如第一立體相機111的左相機111L。內在特性係為例如焦距和主點位置。外在參數表示第一立體相機中兩個單獨的相機之間位置關係的特徵,例如第一立體相機111的左相機111L和右相機111R之間的位置關係。外在參數係為例如立體基線。第一立體相機的校正係利用校準的內在參數、外在參數和鏡頭失真的值來修改由第一立體相機拍攝的原始影像,以產生似乎是由一立體相機拍攝的立體影像,其中(a)兩個單獨的相機具有相同的內在參數,(b)該兩個單獨的相機沒有鏡頭失真,和(c)核線是水平 的,即平行於立體基線,並且該平行是使得由該兩個相機觀察到的特徵是位於影像中相同的垂直位置上。第一立體相機111的焦距、主點位置和立體基線的校準和校正值可儲存於第一立體相機參數242(圖2)中,以供在步驟340和選擇性的步驟316中由處理器220使用。步驟302可以使用本領域中已知的方法來校準和校正第一立體相機,例如Bouguet演算法(J.-Y. Bouguet,相機校準Matlab工具箱,2010年,http://www.vision.caltech.edu/bougueti/calib_doc/index.html)。
在步驟304中,已校準的第一立體相機拍攝原始立體影像。在步驟304的一例子中,第一立體相機111拍攝原始立體影像121並將原始立體影像121傳送到介面260。
步驟312和314可以分別與步驟302和304相同,除了被應用於第二立體相機和目標立體影像上。第二立體相機112的焦距、主點位置和立體基線的校準和校正值可儲存於例如第二立體相機參數244(圖2)中,以供在步驟340和選擇性的步驟316中由處理器220使用。但第一立體相機可具有與校正的第二立體相機不同的特性。步驟340中的轉換和選擇性步驟332中的選擇性地轉換確保了原始立體影像的前景被以適當的深度和二維大小嵌入到目標立體影像中,以產生自然的嵌入立體影像。
在不脫離本發明之範圍的前提下,如以上所討論的,方法300可以在一對原始和目標立體影像上執行,或重複執行以處理由第一和第二立體相機產生的視訊串流,以產生嵌入的立體視訊串流。
圖5顯示了一個用於嵌入立體影像的示例性的處理中心500。系統500處理分別由第一和第二立體相機拍攝的一原始立體影像和目標立體影像,以將原始立體影像的一前景嵌入目標立體影像中。處理中心500可以在系統200中執行以作為處理中心210(圖2)的一實施例。處理中心500包括處理器220(圖2)、介面260(圖2)和記憶體510。處理器220在通訊上耦合於介面260和記憶體510。記憶體510係為記憶體230(圖2)的一實施例。記憶體510包括資料儲存器520和機器可讀指令530。指令530編碼於記憶體510的一非揮發性/非暫態性部分。資料儲存器520和指令530分別為資料儲存器240(圖2)和指令250(圖2)的實施例。
資料儲存器520包括影像資料儲存器246(圖2)、立體像差搜索 範圍248(圖2)和色彩分佈模組522。選擇性地,資料儲存器520更包括第一立體相機參數242(圖2)和第二立體相機參數244(圖2)。
指令530包括前景擷取指令540、轉換指令570、立體像差範圍細化指令580和嵌入指令590。前景擷取指令540、轉換指令570和嵌入指令590分別為前景擷取指令252(圖2)、轉換指令254(圖2)和嵌入指令256(圖2)的實施例。前景擷取指令540包括(a)具有一成本函數552的初始分割指令550,(b)具有假設562和一成本函數564的精細分割指令560,和(c)提示555。轉換指令570包括像素座標對應572和立體像差對應574。立體像差範圍細化指令580包括垂直邊緣匹配指令582。嵌入指令590包括裁剪指令592。
圖6顯示了用於從立體影像擷取一前景立體影像的一示例性方法600。方法600可在方法300(圖3)中實施以作為步驟330(圖3)和/或步驟316(圖3)的一實施例。此外,處理中心500(圖5)可執行方法600以作為前景擷取指令530。
在步驟610中,原始立體影像係被接收,例如從方法300(圖3)的步驟304中。在步驟612中,一最小立體像差N 0 係被接收,例如從方法300(圖3)的步驟320中。最小立體像差N 0 定義從用於拍攝在步驟610中接收的立體影像的立體相機到能被認為屬於立體影像前景的物體的最大距離。
在步驟620中,執行立體影像的初始分割,以決定一初始的前景立體影像。步驟620可以利用本領域中已知的立體影像分割方法。例如,步驟620可基於從該影像中擷取的提示而從一個立體影像在統計上最佳的前景對背景分割形成上述前景立體影像。這種提示可以包括一或多個立體提示,亦即關於立體像差的資訊、色彩提示,亦即從立體影像擷取的色彩資訊,和對比提示,亦即從立體影像擷取的關於影像對比度的資訊。一最佳化功能,包括一或多種類型的提示,將該最佳化功能進行最佳化,以使用立體影像分割領域中已知的最佳化方法,例如層狀動態規劃和圖切割決定統計上的最可能分割。
在一實施例中,步驟620包括一步驟622,其中立體提示和對比提示係被考慮。關於立體提示,一個以立體像差為基礎的相似性測量係被建構出。對於一個給定的像素p,無論是在立體影像的左視角影像或右視角影像中,一個像素p周圍的鄰域係被考慮。將在該鄰域中的間隔[N 0 .N 1 -1]中具有立體像差的像素數目N F 與在該鄰域中的間隔[0,N 0 ]中具有立體像差的像素數目N B 比較, 其中N I -1係為立體影像所有像素的最大立體像差。比值N F /N B 為像素p的相似性測量。N F /N B 的值越大,該像素p越有可能屬於前景。關於對比提示,相鄰像素對係被考慮。一個由前景像素和背景像素組成的像素對最有可能表現出比一個由兩個前景像素或兩個背景像素組成的像素對更大的相對對比度。在此步驟620的實施例中,最佳化一個合併如上述的立體提示和對比提示兩者的最佳化功能。因此,當最佳化該最佳化功能時,立體提示和對比提示同時被考慮以提供該立體影像在一前景和一背景之間的初始分割。如此決定出的前景表現在一初始前景立體影像中。
在步驟630中,在初始前景立體影像中咬合相關的錯誤係加以減少或消除,以決定在步驟610接收的立體影像的前景立體影像。步驟630用於改善與僅在立體影像的左視角影像或右視角影像中可見的特徵相關聯的像素的前景對背景分類。由於立體像差計算對咬合的像素可能是不可靠的,這樣的像素根據步驟620的實施例或許不能被立體和對比提示正確地評價。
在一實施例中,步驟630包括用於減少或消除在初始前景立體影像中與咬合相關的錯誤的步驟632、634、636和638。步驟632引用初始前景立體影像的右視角影像的左側邊界為正確的假設,因為這個邊界係最有可能無咬合的。同樣地,步驟634引用初始前景立體影像的左視角影像的右側邊界為正確的假設,因為這個邊界係最有可能無咬合的。在步驟636中,一立體影像的色彩分佈模型係利用步驟632和634所引用的假設而產生。色彩分佈模型使得一個包括色彩提示的最佳化功能的建構成為可能。色彩提示類似於對比提示,除了是以色彩為基礎。在步驟638中,在步驟620中執行的初始分割係透過施加一個利用色彩分佈模型、色彩提示和對比提示來決定一前景立體影像的最佳化功能來加以細化。此前景立體影像相比於在步驟620中決定的初始前景立體影像係較少承受與咬合相關的錯誤。
在一實例中,方法600係由處理中心500(圖5)執行方法300的步驟330(圖3)來實行。在步驟610中,處理中心500透過介面260(圖2和5)接收由第一立體相機111(圖1)拍攝的原始立體影像121(圖1),並將原始立體影像121儲存於影像資料儲存器246(圖2和5)。在步驟612中,處理中心500從方法300(圖3)的步驟320中接收最小立體像差N 0 並將該值儲存於立體像差搜索範圍248(圖2和5)。在步驟620中,處理器220從影像資料 儲存器246和立體像差搜索範圍248中提取原始立體影像121和最小立體像差N 0 。處理器220利用成本函數552(圖5)、來自提示555(圖5)中的提示和最小立體像差N 0 在原始立體影像121上執行初始分割指令550(圖5),以決定一初始的前景立體影像。成本函數552可以基於如以上所討論的與步驟622和620相關的立體和對比提示。處理器220將初始的前景立體影像儲存於影像資料儲存器246。在步驟630中,處理器220從影像資料儲存器246中提取初始的前景立體影像,並在前述初始的前景立體影像上執行精細分割指令560(圖5),以減少或消除咬合相關的錯誤。其導致前景立體影像410(圖4)的確定。在步驟632和634中,處理器220執行在步驟636中由處理器220所使用的假設562(圖5),以產生一色彩分佈模型。處理器220將前述色彩分佈模型儲存在色彩分佈模組522(圖5)中。在步驟638中,處理器220使用色彩分佈模組522以及來自提示555的色彩和對比提示來最佳化成本函數564(圖5),以決定前景立體影像410(圖4)。
在另一實例中,方法600係由處理中心500執行方法300的步驟316(圖3)來實行。在步驟610中,處理中心500透過介面260(圖2和5)接收由第二立體相機112(圖1)拍攝的目標立體影像122(圖1),並將目標立體影像122儲存到影像資料儲存器246(圖2和5)中。在步驟612中,處理中心500從方法300(圖3)之步驟332中接收最小立體像差N’ 0 並將該值儲存於立體像差搜索範圍248(圖2和5)。在步驟620中,處理器220從影像資料儲存器246和立體像差搜索範圍248提取目標立體影像122和最小立體像差N’ 0 。處理器220利用成本函數552(圖5)、來自提示555(圖5)中的提示和最小立體像差N’ 0 在目標立體影像122上執行初始分割指令550(圖5),以決定一初始的極近似前景立體影像。成本函數552可以基於如以上所討論的與步驟622和620相關的立體和對比提示。處理器220將初始的前景立體影像儲存於影像資料儲存器246。在步驟630中,處理器220從影像資料儲存器246中提取初始的極近似前景立體影像,並在上述初始的極近似前景立體影像上執行精細分割指令560(圖5),以減少或消除咬合相關的錯誤。其導致極近似前景立體影像420(圖4)的確定。在步驟632和634中,處理器220執行在步驟636中由處理器220所使用的假設562(圖5),以產生一色彩分佈模型。處理器220將前述色彩分佈模型儲存在色彩分佈模組522(圖5)中。在步驟638中,處理器220使用色彩 分佈模組522以及來自提示555的色彩和對比提示來最佳化成本函數564(圖5),以決定極近似前景立體影像420(圖4)。
圖7顯示了用於將一從由一第一立體相機拍攝的原始立體影像中擷取的前景立體影像從與上述第一立體相機相關聯的縮放比例轉換成與一第二立體相機相關聯的縮放比例的一示例性方法700。方法700可在方法300(圖3)中實施以作為步驟340(圖3)的一實施例。此外,處理中心500(圖5)可以實施方法700以作為轉換指令570。
在一選擇性的步驟710中,目標像素的座標與原始像素的座標之間的對應關係被決定。目標像素的座標係指在目標立體影像中的像素的座標,而原始像素的座標係指在原始立體影像中的像素的座標。步驟710產生一個將目標像素的座標表示為原始像素座標的函數的對應關係。此對應關係指定如何轉換前景立體影像以提供一具有適當深度和二維縮放比例的轉換的前景立體影像,以供嵌入到目標立體影像中。
例如,如圖8所示,在原始立體影像121(圖1)的左視角影像131(圖1)中特徵的原始像素的座標(x 1L ,y 1L )和在右視角影像141(圖1)中相同特徵的相應原始像素的座標(x 1R ,y 1R )被分別轉換為目標立體影像122(圖1)的左視角影像132(圖1)的目標像素座標(x 2L ,y 2L )和右視角影像142(圖1)的目標像素座標(x 2R ,y 2R )。座標x 1L y 1L x 1R y 1R x 2L y 2L x 2R y 2R 分別由座標軸812、814、816、818、822、824、826和828指示。
再次參考圖7,在一實施例中,第一和第二立體相機係被校正於前緣平行設置,且選擇性的步驟710包括用於決定目標對原始像素座標的對應關係的連續步驟712、714和716。步驟710可以由處理系統500(圖5)或由另一台電腦來執行。例如,處理器220提取第一立體相機參數242和第二立體相機參數244,並執行轉換指令的一部分,以決定目標對原始像素座標的對應關係。
在步驟712中,執行一原始像素座標的主點轉換。原始像素座標係從第一立體相機的主點位置轉換為第二立體相機的主點位置。考慮在原始立體影像的左視角影像中具有原始像素座標(x 1L ,y 1L )並在原始立體影像的右視角影像中具有相應的原始像素座標(x 1R ,y 1R )的原始立體影像的一個特徵,此特徵為,例如,顯示在左視角影像131(圖1)的座標(x 1L ,y 1L )和在左視角影像132(圖1)的座標(x 1L ,y 1L )的在原始立體影像121(圖1)中的一個特徵。分別在 左視角和右視角的經主點轉換的像素座標(,)和(,)可被表示為 其中,在第一和第二立體相機的主點位置分別為(c x1,c y1)和(c x2,c y2)。
在步驟714中,像素座標(,)和(,)的焦距轉換係被執行,以產生像素座標 其中f 1f 2分別為第一和第二立體相機的焦距。
在步驟716中,一立體基線的轉換係在像素座標(,)和(,)上執行。因為在立體相機中立體基線的變化係與包含於其中的兩個獨立相機中的至少一者的光學中心的變化相關聯,立體基線的變化可能改變咬合關係。因此,直接映射一組像素座標到一立體基線轉換的對應物上並不總是可能的。步驟716假定原始立體影像的前景為平面的並具有一到第一立體相機的不變距離。這在許多應用中係為一良好的近似方式。按照此假定,原始立體影像的前景深度z fg 近似為 其中T 1為第一立體相機的立體基線,α為前景立體影像的最小立體像差,而β為前景立體影像的最大立體像差。因此,目標立體影像的左視角影像的目標像素座標(x 2L ,y 2L )和目標立體影像的右視角影像的目標像素座標(x 2R ,y 2R )可表示為 其中T 2為第一立體相機的立體基線。
在方法700的一實施例中,為了避開非映射像素,前景立體影像到目標立體影像的縮放比例的轉換透過使用一逆轉換來執行,其中原始像素座標以一目標像素座標的函數表示: 此逆轉換對應關係可以作為像素座標對應572(圖5)而被包括在處理中心500(圖5)中。在一實例中,第一立體相機參數c x1c y1f 1T 1係被儲存在第一立體相機參數242(圖2和5)中,而第二立體相機參數c x2c y2f 2T 2係被儲存在第二立體相機參數244(圖2和5)中。然後,處理器220(圖2和5)可以根據轉換指令570(圖5),透過提取第一立體相機參數242、第二立體相機參數244和像素座標對應572來建構原始對目標像素座標的對應關係。在另一實例中,第一立體相機參數c x1c y1f 1T 1以及第二立體相機參數c x2c y2f 2T 2在像素座標對應572中進行編碼。
在一步驟720中,目標立體影像的目標像素係被選擇。例如,處理中心500的處理器220可以從影像資料儲存器246(圖2和5)中提取目標立體影像122(圖1和8)或相關的像素資訊,並執行轉換指令570(圖5)來選擇目標立體影像122的目標像素。在一步驟730中,目標像素立體影像的目標像素座標係被逆轉換為原始像素座標。例如,處理中心500的處理器220在步驟720中選擇出的目標像素上執行像素座標對應572。在一實施例中,步驟730利用以上關於步驟712、714和716所推導出的逆轉換對應關係。在步驟740中, 對屬於從原始立體影像中擷取的前景立體影像的原始像素座標,在步驟720中所選擇的目標像素被以前景立體影像的像素值填充。例如,處理中心500的處理器220從影像資料儲存器246中提取前景立體影像410(圖4),並執行轉換指令570,以評估是否原始立體像素係在前景151(圖1和4)之內。若原始立體像素係在前景151之內,則具有在步驟720中所選擇的目標像素座標之轉換的前景立體影像410'(圖4)的像素被以前景立體影像的對應像素值填充。
步驟720、730和740係重複用於目標立體影像的所有像素,或用於對應於前景立體影像的原始立體像素的目標立體影像的所有像素。步驟720、730和740因此產生轉換的前景立體影像,例如轉換的前景立體影像410'。在一實例中,處理中心500的處理器220因此產生轉換的前景立體影像410',並將轉換的前景立體影像410'儲存於影像資料儲存器246中。
圖9顯示了一示例性方法900,其用於透過細化由第一立體相機拍攝的原始立體影像之前景的最大立體像差的決定,來決定一由第二立體相機拍攝的目標立體影像的極近似前景的最小立體像差。方法900可以在方法300(圖3)作為步驟332(圖3)的一實施例來實施。此外,處理中心500(圖5)可以實施方法900以作為立體像差範圍細化指令580。
在選擇性的步驟910中,目標立體影像的立體像差α 2和原始立體影像的立體像差α 1之間的對應關係被決定。在一實施例中,步驟910包括連續的步驟912和914。在步驟912中,立體像差α 1從第一立體相機的焦距f 1轉換為第二立體相機的焦距f 2,以得到一焦距轉換立體像差α'=(f 2/f 1α 1。在步驟914中,經焦距轉換的立體像差係從第一立體相機的立體基線T 1轉換為第二立體相機的立體基線T 2,以完成α 1α 2的轉換。步驟914假定原始立體影像的前景係平面的並具有一到第一立體相機的不變距離。這在許多應用中係為一良好的近似方式。經轉換的立體像差可以表示為α 2=(T 2/T 1)(f 2/f 1α 1。這種對應關係可被包括在處理中心500(圖5)中以作為立體像差對應574(圖5)。在一實例中,第一立體相機參數f 1T 1係儲存在第一立體相機參數242(圖2和5)中,而第二立體相機參數f 2T 2則係儲存在第二立體相機參數244(圖2和5)中。然後處理器220(圖2和5)可以根據轉換指令570(圖5),透過提取第一立體相機參數242、第二立體相機參數244和立體像差對應574來建構立體像差對應關係。在另一實例中,第一立體相機參數f 1T 1與第二立體相機參 數f 2T 2在立體像差對應574中進行編碼。
在一步驟920中,從原始立體影像擷取的前景立體影像的邊界像素係被識別。例如,處理中心500的處理器220從影像資料儲存器246(圖2和5)中提取前景立體影像410(圖4),並執行立體像差範圍細化指令580的一部分,以識別前景立體影像410的邊界像素。
在一步驟930中,在近水平邊界上的像素係被排除在步驟920中產生的選擇之外,其中水平係指平行於第一立體相機的立體基線的方向。步驟930的目的係使在第一立體相機中的校準誤差的影響減至最小。這樣的校準誤差比起沿著垂直邊界更可能影響沿水平邊界的立體像差計算。因此,步驟930將方法900所考慮的邊界像素的選擇向垂直邊界偏置。在一實施例中,步驟930排除大致位於沿著水平邊界的像素。在另一實施例中,步驟930排除沿著水平多於垂直的邊界的像素。步驟930可在處理中心500中實施以作為垂直邊緣匹配指令582(圖5),使得處理中心500的處理器220可以執行垂直邊緣匹配指令582以細化對在步驟920中所識別的像素的選擇。
在一步驟940中,屬於在步驟930中所產生的選擇的邊界像素之最大立體像差係被決定。例如,處理中心500的處理器220執行立體像差範圍細化指令580的一部分來決定在步驟930中所選擇的邊界像素的最大立體像差。
在一步驟950中,使用第一和第二立體相機之間的一立體像差對應關係,例如在步驟910中決定的對應關係,將在步驟940中決定的最大立體像差從原始立體影像的縮放比例轉換為目標立體影像的縮放比例。例如,處理器220執行立體像差範圍細化指令580的一部分,連同立體像差對應574(圖5)一起,以產生轉換的最大立體像差N 1-1。
在一步驟960中,目標立體影像的極近似前景的最小立體像差係定義為=(N 1-1)+1=N 1。例如,處理中心500的處理器220執行立體像差範圍細化指令580的一部分,以產生最小立體像差。處理器220接著將此值儲存到立體像差搜索範圍248(圖2和5)中。
圖10顯示了一示例性方法1000,其用於將一從由一第一立體相機拍攝的原始立體影像中擷取的前景立體影像嵌入一由一第二立體相機拍攝的目標立體影像中。方法1000可以在方法300(圖3)中作為步驟350(圖3)的一實施例來實施。此外,處理中心500(圖5)可將方法1000作為嵌入指令590 來實施。
在一步驟1010中,從原始立體影像轉換成目標立體影像的縮放比例的轉換的前景係被黏貼到目標立體影像的背景上。例如,處理中心500的處理器220從影像資料儲存器246(圖2和5)提取轉換的前景立體影像410'(圖4)和背景立體影像430(圖4),並且執行嵌入指令590的一部分以將前景151'(圖1和圖4)黏貼到背景立體影像430(圖4)上。如此產生如圖4所示的中間立體影像440。圖4的中間立體影像440係由左視角影像442和右視角影像444表示,其顯示了前景151'層疊於背景153(圖1和4)之上。處理器220接著將中間立體影像440儲存到影像資料儲存器246中。
在一步驟1020中,目標立體影像的極近似前景係被黏貼到在步驟1010中產生的中間立體影像上,以產生嵌入的立體影像。目標立體影像的極近似前景包括在目標立體影像中被拍攝的場景中的物體,前述物體比前景立體影像中的物體距第一立體相機的距離更靠近上述第二立體相機。在步驟1020的一實例中,處理中心500的處理器220從影像資料儲存器246(圖2和5)中提取中間立體影像440(圖4)和極近似前景立體影像420(圖4),並執行嵌入指令590的一部分以將上述極近似前景152(圖1和圖4)黏貼到中間立體影像440(圖4)上。如此產生嵌入的立體影像170(圖1)。處理器220可以將嵌入的立體影像170儲存到影像資料儲存器246中、將嵌入的立體影像170傳送到方法300的步驟360(圖3)中或將嵌入的立體影像170傳送到如下所討論的一選擇性的子方法1030中。如果在目標立體影像中沒有極近似前景,步驟1020則在方法1000中省略,而不偏離本發明的範圍。
在一實施例中,方法1000包括一子方法1030,其消除在嵌入的立體影像中邊界引起的假影,若上述效應出現時。這種邊界引起的假影可能會在原始立體影像的前景延伸到原始立體影像的邊界時的場景中出現。方法1000評估前景立體影像和目標立體影像的範圍並且如果需要的話裁剪嵌入的立體影像,以消除邊界引起的假影。方法1000的此實施例可在方法300(圖3)中作為步驟350(圖3)的一實施例來實施。此外,處理中心500(圖5)可以實施方法1000的此實施例以作為嵌入指令590,以及實施子方法1030以作為裁剪指令592(圖5)。
圖11顯示了示例性立體影像,其顯示方法1000(圖10)所考慮 的邊界引起的假影的一示例性形式,以及方法1000所施加的解決方法。
原始立體影像1110係由左視角影像1112和右視角影像1114表示。左視角立體影像1112包括一前景1122。右視角立體影像1114包括一對應的前景1124。
一前景立體影像1120係由左視角影像1112’和右視角影像1114’表示。左視角立體影像1112'包括一前景1122。右視角立體影像1114'包括一對應的前景1124。前景立體影像1120係使用例如方法300的步驟330(圖3)來產生的。
一目標立體影像1130係由左視角立體影像1132和右視角立體影像1134表示。
一轉換的前景立體影像1140顯示了轉換為目標立體影像1130的縮放比例的原始立體影像1110的前景。轉換的前景立體影像1140係由一左視角影像1142和一右視角影像1144表示,並且係使用例如方法300的步驟340(圖3)來產生。左視角立體影像1142包括一轉換的前景1122',其係為轉換為目標立體影像1130的縮放比例的前景1122。右視角立體影像1114包括一對應的轉換的前景1124',其係為轉換為目標立體影像1130的縮放比例的前景1124。
一未裁剪之嵌入的立體影像1150係由一左視角影像1152和一右視角影像1154表示。未裁剪之嵌入的立體影像1150係從轉換的前景立體影像1140和目標立體影像1130中產生,例如根據方法1000(圖10)的步驟1010和1020。左視角立體影像1152包括嵌入在左視角影像1132中的轉換的前景1122'。右視角立體影像1154包括嵌入在右視角影像1134中的轉換的前景1124'。轉換的前景1122'和1124'係使用例如圖7的方法700來產生。轉換的前景1122'和1124'承受邊界引起的假影而似乎漂浮在場景中。
一嵌入的立體影像1150'係為一未裁剪之嵌入的立體影像1150的裁剪版本,其消除了未裁剪之嵌入的立體影像1150的邊界引起的假影。嵌入的立體影像1150'係由左視角影像1152'和右視角影像1154'表示,其係左視角影像1152和右視角影像1154的裁剪版本。左視角立體影像1152'包括轉換的前景1122',而右視角立體影像1154'包括相應的轉換的前景1124',現在皆不具邊界引起的假影。
圖11中所有的立體影像皆假定係由校正於前緣平行設置的立體 相機所產生,其中立體相機中的兩個單獨相機在平行於上述立體影像的水平軸的方向上彼此偏移。此方向係以水平方向1192表示。因此,如果有的話,核線係平行於水平方向1192,使得在左視角影像中的一特徵從在右視角影像中的同一特徵僅沿水平方向1192偏移。
以下,連同有關圖11的立體影像的實例,對方法1000的子方法1030(圖10)進行說明。在一步驟1040中,子方法1030評估原始立體影像的前景是否延伸到原始立體影像的邊界。若前景延伸到原始立體影像的一或多個邊界,則子方法1030進行至步驟1050,以對這種邊界進行進一步評估。否則子方法1030進行至步驟1060,其中子方法1030將在步驟1020中產生的嵌入的立體影像傳回,以作為方法1000的輸出。
在步驟1040的一實例中,處理器220從影像資料儲存器246提取前景立體影像410(圖4),並執行裁剪指令592的一部分,以評估是否前景1122和前景1124中的一者、兩者或皆無分別延伸到左視角影像1112'和右視角影像1114'的邊界。在前景1122和1124的實例中,前景1122延伸到左視角影像1112'的底部邊界而前景1124延伸到右視角立體影像1114'的底部邊界。因此,在此實例中,子方法1030進行到步驟1050。
在步驟1050中,子方法1030評估是否轉換的前景立體影像延伸到目標立體影像的一或多個邊界,其對應於在步驟1040所識別的各個邊界。例如,若前景延伸到原始立體影像的左視角影像和右視角影像的左側邊界和底部邊界,則步驟1050評估是否轉換的前景延伸到目標立體影像的左視角影像和右視角影像的左側邊界和底部邊界。在一些實施例中,其中轉換的前景立體影像的左視角影像和右視角影像係被建構成具有與目標立體影像的左視角影像和右視角影像相同的範圍,則步驟1050可評估是否轉換的前景延伸到轉換的前景立體影像的相關邊界。若轉換的前景延伸到目標立體影像的邊界,其對應於在步驟1040所識別的邊界,則在步驟1010和1020中產生的嵌入的立體影像無邊界相關的假影,在這種情況下,子方法1030進行到步驟1050。在另一方面,若轉換的前景未延伸到目標立體影像的所有邊界,其對應於在步驟1040所識別的邊界,則子方法1030進行到步驟1060,以減輕與這些邊界中的一者或多者相關聯的邊界相關的假影。
在步驟1050的一實例中,處理器220從影像資料儲存器中提取 轉換的前景立體影像1140,並執行裁剪指令592的一部分來評估(a)轉換的前景1122'是否延伸到左視角影像1142的底部邊界和(b)轉換的前景1124'是否延伸到右視角立體影像1144的底部邊界。在此例子中,左視角立體影像1142和右視角立體影像1144具有分別與目標立體影像1130的左視角立體影像1132和右視角立體影像1134相同的範圍。轉換的前景1122'和1124'皆未延伸到左視角影像1142和右視角影像1144各自的底部邊界。因此,轉換的前景1122'和1124'受邊界相關的假影支配,並似乎懸浮在嵌入的立體影像1150中,從而提供一種不自然的嵌入的立體影像。
在步驟1060中,由步驟1010和1020產生的嵌入的立體影像係被裁剪以排除與邊界引起的假影相關聯的嵌入的立體影像區域。步驟1060裁剪上述嵌入的立體影像,使得與一邊界引起的假影相關聯的邊界被移動到與轉換的前景的邊界重合的位置處。如此在步驟1050中識別的邊界為在右視角和/或左視角影像中的左側、右側、頂部或底部邊界,其限制了前景在前景立體影像中的範圍,但是在目標立體影像中則位於超出轉換的前景影像的範圍處。一未裁剪的嵌入的立體影像具有與邊界引起的假影相關聯的一或數個邊界。每個邊界可以單獨考慮並在步驟1060中被裁剪。
在步驟1060的一例子中,處理器220從影像資料儲存器提取嵌入的立體影像1150,並執行裁剪指令592,以識別在嵌入的立體影像1150中沿一垂直方向1194的垂直位置,在其中轉換的前景1122'和1124'被原始立體影像1110的底部邊界限制。處理器220繼續進行以在相應於轉換的前景1152的限制的垂直位置上裁剪左視角影像1152和右視角影像1154,以產生不包括在此垂直位置之下的資料的裁剪、嵌入的立體影像1150'。
在步驟1060的另一例子中,未在圖11中顯示,原始立體影像1110的前景1122和1124延伸到原始立體影像1110的頂部邊界,而轉換的前景1122'和1124'則未延伸到目標立體影像1130的頂部邊界。在此情況下,嵌入的立體影像1150係被裁剪以產生一裁剪、嵌入的立體影像1150’,其具有不包括在與前景限制相關的垂直位置以上的資料的左視角影像1152'和右視角影像1154'。
在步驟1060的又一實例中,前景1122係由左視角影像1112的左側邊界裁剪和/或前景1124係由右視角影像1114的左側邊界裁剪。在此情況 下,嵌入的立體影像1150在水平位置x crop =max(x 2L ,x 2R )上被裁剪,其中x 2L 係為轉換的前景1122'在左視角影像1152的邊界的位置,而x 2R 係為轉換的前景1124'在右視角影像1154的邊界的位置。座標x 2L x 2R 係根據水平軸1192而定義。此裁剪導致裁剪、嵌入的立體影像1150'具有帶有在位置x crop 上相應的左側邊界的左視角影像1152'和右視角影像1154'。無論是左視角影像1152'或右視角影像1154',兩者皆不會出現與左側邊界相關聯的邊界引起的假影。
在步驟1060的一類似的實例中,前景1122係由一左視角影像1112的右側邊界裁剪和/或前景1124係由右視角影像1114的右側邊界裁剪。在此情況下,嵌入的立體影像1150在水平位置x crop =min(x 2L ,x 2R )上被裁剪,其中x 2L 係為轉換的前景1122'在左視角影像1152的邊界的位置,而x 2R 係為轉換的前景1124'在右視角影像1154的邊界的位置。座標x 2L x 2R 係根據水平軸1192而定義。此裁剪導致裁剪、嵌入的立體影像1150'具有帶有在位置x crop 上相應的右側邊界的左視角影像1152'和右視角影像1154'。無論是左視角影像1152'或右視角影像1154',兩者皆不會出現與右側邊界相關聯的邊界引起的假影。
在步驟1080中,子方法1030回傳在步驟1070中所產生的裁剪、嵌入的立體影像作為方法1000的輸出。例如,處理器220將裁剪、嵌入的立體影像1150'轉發給方法300的步驟360(圖3)。
特徵的組合
如上所述之特徵以及以下申請專利範圍所主張之特徵可以以各種方式組合,而不脫離本發明的範圍。例如,可理解者為,本文所述的一種用於嵌入立體影像的系統或方法的觀點可與本文所述的另一種用於嵌入立體影像的系統或方法的特徵互相結合或交換。下列實例說明上述實施例某些可能的、非限制性的組合。應了解者為,對本文的方法和裝置可以進行許多其他的變化和修改而不脫離本發明的精神和範圍:
(A1)一種用於嵌入立體影像的方法可包括將一從由一第一立體相機拍攝的原始立體影像中擷取的前景立體影像從與上述第一立體相機相關聯的縮放比例轉換成與一第二立體相機相關聯的縮放比例,以形成一轉換的前景立體影像。
(A2)如(A1)所示的方法可更包括將上述轉換的前景立體影像嵌入由上述第二立體相機拍攝的一目標立體影像中,以形成一嵌入的立體影 像。
(A3)如(A2)所示的方法可更包括將上述目標立體影像分割成(a)一極近似前景立體影像,其顯示上述目標立體影像中比上述轉換的前景立體影像中的物體更近的物體以及(b)一背景立體影像,其顯示上述目標立體影像中比上述轉換的前景立體影像中的物體更遠的物體。
(A4)如在(A3)所示的方法中,上述嵌入的步驟可包括在上述極近似前景立體影像和上述背景立體影像之間的深度將上述轉換的前景立體影像嵌入上述目標立體影像中。
(A5)如在(A3)和(A4)所示的方法中,上述嵌入的步驟可包括(a)將上述轉換的前景立體影像黏貼到上述背景立體影像上,以形成一中間立體影像,以及(b)將上述極近似前景立體影像黏貼到上述中間立體影像上,以形成上述嵌入的立體影像。
(A6)如在(A3)到(A5)所示的方法中,上述分割的步驟可包括決定上述前景立體影像的最小立體像差和最大立體像差。
(A7)如在(A6)所示的方法中,上述分割的步驟可包括將上述最小立體像差和上述最大立體像差從與上述第一立體相機相關的縮放比例轉換成與上述第二立體相機相關的縮放比例,以分別獲得轉換的最小立體像差和轉換的最大立體像差。
(A8)如在(A7)所示的方法中,上述分割的步驟可包括從上述目標立體影像擷取(a)上述極近似前景立體影像,其顯示上述目標立體影像中具有大於上述轉換的最大立體像差的立體像差的物體和(b)上述背景立體影像,其顯示上述目標立體影像中具有小於上述轉換的最小立體像差的立體像差的物體。
(A9)如在(A6)到(A8)所示的方法中,上述決定的步驟可包括決定上述最小立體像差和上述最大立體像差作為上述前景立體影像的至少一些邊界像素的立體像差的範圍的極值。
(A10)如在(A6)到(A9)所示的方法中,上述決定的步驟可包括決定上述最小立體像差和上述最大立體像差作為上述前景立體影像的部分邊界的像素的立體像差的範圍的極值,上述部分邊界不包含近水平邊界部分。
(A11)如在(A1)到(A10)所示的方法中,上述轉換的步驟 可包括實施上述原始立體影像的原始像素座標和上述目標立體影像的目標像素座標之間的一座標對應來以上述前景立體影像中對應的像素填充上述轉換的前景立體影像的像素,上述轉換的前景立體影像的像素具有與上述前景立體影像的原始像素座標對應之目標像素座標,其中上述前景立體影像以上述原始像素座標表示而上述轉換的立體影像以上述目標像素座標表示。
(A12)如在(A11)所示的方法中,上述座標對應可以是上述第一立體相機的焦距、基線長度和主點位置以及上述第二立體相機的焦距、基線長度和主點位置的函數。
(A13)如在(A2)到(A10)所示的方法中,上述嵌入的步驟可包括:如果上述前景立體影像延伸至上述原始立體影像的邊界,且上述轉換的前景立體影像並未延伸到上述目標立體影像的相應邊界,則裁剪上述嵌入的立體影像以排除上述嵌入的立體影像中與上述目標立體影像中對應的邊界以外的部分相關聯的區域。
(A14)如(A11)和(A12)所示的方法可更包括將上述轉換的前景立體影像嵌入由上述第二立體相機拍攝的一目標立體影像中,以形成一嵌入的立體影像。
(A15)如在(A14)所示的方法中,上述嵌入的步驟可包括:如果上述前景立體影像延伸至上述原始立體影像的邊界,且上述轉換的前景立體影像並未延伸到上述目標立體影像的相應邊界,則裁剪上述嵌入的立體影像以排除上述嵌入的立體影像中與上述目標立體影像中對應的邊界以外的部分相關聯的區域。
(A16)如在(A1)到(A15)所示的方法中,上述第一立體相機和上述第二立體相機可校正於前緣平行設置。
(A17)如(A1)到(A16)所示的方法可更包括校正上述第一立體相機和校正上述第二立體相機。
(A18)如(A1)到(A17)所示的方法可更包括透過從上述原始立體影像擷取上述前景立體影像來產生上述前景立體影像。
(A19)如在(A18)所示的方法中,上述擷取的步驟可包括使用立體提示、對比提示以及一立體像差搜索範圍來執行上述原始立體影像的初始分割,以決定一初始的前景立體影像。
(A20)如在(A19)所示的方法中,上述擷取的步驟可包括在上述初始的前景立體影像中減少與咬合相關的錯誤,以決定上述前景立體影像。
(A21)如在(A20)所示的方法中,上述減少的步驟可包括引用以下假設中的一或兩者(a)上述初始的前景立體影像的右視角的左側邊界係為正確以及(b)上述初始的前景立體影像的左視角的右側邊界係為正確。
(A22)如在(A21)所示的方法中,上述減少的步驟可更包括利用上述假設的一或二者來決定一色彩分佈模型。
(A23)如在(A22)所示的方法中,上述減少的步驟可更包括使用上述色彩分佈模型、色彩提示和對比提示來細化在上述初始的前景立體影像由咬合所損害的部分中的上述初始分割,以決定上述前景立體影像。
(B1)一種用於嵌入立體影像的系統可包括一處理器以及一在通訊上耦合於上述處理器的記憶體,上述記憶體包括指令,上述指令在由上述處理器執行時,(a)將一從由一第一立體相機拍攝的原始立體影像中擷取的前景立體影像從與上述第一立體相機相關聯的縮放比例轉換成與一第二立體相機相關聯的縮放比例,以形成一轉換的前景立體影像,以及(b)將上述轉換的前景立體影像嵌入由上述第二立體相機拍攝的一目標立體影像中。
(B2)如(B1)所示的系統可更包括上述第一立體相機和上述第二立體相機。
(B3)如在(B2)所示的系統中,上述第一和第二立體相機可被校正於前緣平行設置。
(B4)如在(B2)和(B3)所示的系統中,上述第二立體相機可至少在焦距、基線和主點位置中之一者與上述第一立體相機不同。
(B5)如在(B1)到(B4)所示的系統中,上述記憶體可包括指令,上述指令在由上述處理器執行時,會執行(A3)到(A23)所示方法中的一者或多者的一或多個步驟。
(C1)一種軟體產品可包括儲存在非暫態電腦可讀媒體中的指令,當上述指令在由一電腦執行時,會執行用於嵌入立體影像的步驟,其中上述指令包括用於將一從由一第一立體相機拍攝的原始立體影像中擷取的前景立體影像從與上述第一立體相機相關聯的縮放比例轉換成與一第二立體相機相關聯的縮放比例,以形成一轉換的前景立體影像的指令。
(C2)如在(C1)所示的軟體產品中,上述指令可更包括用於將上述轉換的前景立體影像嵌入由上述第二立體相機拍攝的一目標立體影像中的指令。
(C3)如(C2)所示的軟體產品可更包括用於將上述目標立體影像分割成(a)一極近似前景立體影像,其顯示上述目標立體影像中比上述轉換的前景立體影像中的物體更近的物體以及(b)一背景立體影像,其顯示上述目標立體影像中比上述轉換的前景立體影像中的物體更遠的物體的指令。
(C4)如(C3)所示的軟體產品可更包括用於在上述極近似前景立體影像和上述背景立體影像之間的深度將上述轉換的前景立體影像嵌入上述目標立體影像中的指令。
(C5)如在(C4)所示的軟體產品中,上述用於嵌入的指令可包括用於將上述轉換的前景立體影像黏貼到上述背景立體影像上,以形成一中間立體影像的指令,以及用於將上述極近似前景立體影像黏貼到上述中間立體影像上,以形成上述嵌入的立體影像的指令。
(C6)如(C1)到(C5)所示的軟體產品可更包括用於擷取上述前景立體影像的指令。
(C7)如在(C6)所示的軟體產品中,上述用於擷取上述前景立體影像的指令可包括用於使用立體提示、對比提示以及一立體像差搜索範圍來執行上述原始立體影像的初始分割,以決定一初始的前景立體影像的指令。
(C8)如在(C7)所示的軟體產品中,上述用於擷取上述前景立體影像的指令可包括用於在上述初始的前景立體影像中減少與咬合相關的錯誤,以決定上述前景立體影像的指令。
(C9)如(C1)到(C8)所示的軟體產品可更包括用於從上述目標立體影像擷取上述極近似前景立體影像的指令,其係透過實施用於將上述前景立體影像以上述立體像差搜索範圍中的最小值係大於該前景立體影像的最大立體像差的條件擷取到上述目標立體影像的指令。
(C10)如在(C1)到(C9)所示的軟體產品中,上述轉換的指令可包括用於實施上述原始立體影像的原始像素座標和上述目標立體影像的目標像素座標之間的座標對應來以上述前景立體影像中對應的像素填充上述轉換的前景立體影像的像素的指令,上述轉換的前景立體影像的像素具有與上述前 景立體影像的原始像素座標對應之目標像素座標,其中上述前景立體影像以上述原始像素座標表示而上述轉換的立體影像以上述目標像素座標表示。
(C11)如在(C10)所示的軟體產品中,上述座標對應可以是上述第一立體相機的焦距、基線長度和主點位置以及上述第二立體相機的焦距、基線長度和主點位置的函數。
(C12)如(C1)到(C12)所示的軟體產品可包括用於執行(A3)到(A23)所示方法中的一者或多者的一或多個步驟的指令。
(C13)如(C1)到(C12)所示的軟體產品可在(B1)到(B5)所示系統之一者或多者中被實現或利用,其中上述軟體產品可被儲存於(B1)到(B5)所示系統的記憶體中,而上述軟體產品的指令可被(B1)到(B5)所示系統的處理器執行。
在不脫離本發明的範圍的情況下可以在上述的系統和方法中作出改變。因此,應當注意者為,包含在上述說明並顯示在圖式中的內容應當被解釋為說明性的而非限制性的。以下申請專利範圍旨在覆蓋本文中所描述的一般的和具體的特徵以及本發明的方法和系統的範圍的所有陳述,而本發明的方法和系統的範圍的所有陳述在文義上可以說是落入其間的範圍。
100‧‧‧系統
111‧‧‧第一立體相機
111L‧‧‧左相機
111R‧‧‧右相機
112‧‧‧第二立體相機
112L‧‧‧左相機
112R‧‧‧右相機
121‧‧‧原始立體影像
122‧‧‧目標立體影像
131、141‧‧‧左視角影像
132、142‧‧‧左視角影像
151‧‧‧前景立體影像
151'‧‧‧轉換的前景
152‧‧‧極近似前景立體影像
153‧‧‧背景
160‧‧‧處理中心
170‧‧‧嵌入的立體影像
180‧‧‧左視角
190‧‧‧右視角

Claims (23)

  1. 一種用於嵌入立體影像的方法,包括:將一從由一第一立體相機拍攝的一原始立體影像中擷取的前景立體影像從與該第一立體相機相關聯的縮放比例轉換成與一第二立體相機相關聯的縮放比例,以形成一轉換的前景立體影像;以及將該轉換的前景立體影像嵌入由該第二立體相機拍攝的一目標立體影像中,以形成一嵌入的立體影像。
  2. 如申請專利範圍第1項所述之方法,更包括:將該目標立體影像分割成(a)一極近似前景立體影像,其顯示該目標立體影像中比該轉換的前景立體影像中的物體更近的物體以及(b)一背景立體影像,其顯示該目標立體影像中比該轉換的前景立體影像中的物體更遠的物體;以及該嵌入的步驟包括在該極近似前景立體影像和該背景立體影像之間的深度將該轉換的前景立體影像嵌入該目標立體影像中。
  3. 如申請專利範圍第2項所述之方法,該嵌入的步驟包括:將該轉換的前景立體影像黏貼到該背景立體影像上,以形成一中間立體影像,以及將該極近似前景立體影像黏貼到該中間立體影像上,以形成該嵌入的立體影像。
  4. 如申請專利範圍第2項所述之方法,該分割的步驟包括:決定該前景立體影像的最小立體像差和最大立體像差;將該最小立體像差和該最大立體像差從與該第一立體相機相關的縮放比例轉換成與該第二立體相機相關的縮放比例,以分別獲得轉換的最小立體像差和轉換的最大立體像差;以及 從該目標立體影像擷取(a)該極近似前景立體影像,其顯示該目標立體影像中具有大於該轉換的最大立體像差的立體像差的物體和(b)該背景立體影像,其顯示該目標立體影像中具有小於該轉換的最小立體像差的立體像差的物體。
  5. 如申請專利範圍第4項所述之方法,該決定的步驟包括決定該最小立體像差和該最大立體像差作為該前景立體影像的至少一些邊界像素的立體像差的範圍的極值。
  6. 如申請專利範圍第4項所述之方法,該決定的步驟包括決定該最小立體像差和該最大立體像差作為該前景立體影像之部分邊界的像素的立體像差的範圍的極值,該部分邊界不包含近水平邊界部分。
  7. 如申請專利範圍第1項所述之方法,該轉換的步驟包括實施該原始立體影像的原始像素座標和該目標立體影像的目標像素座標之間的座標對應來以該前景立體影像中對應的像素填充該轉換的前景立體影像的像素,該轉換的前景立體影像的像素具有與該前景立體影像的原始像素座標對應之該目標像素座標,其中該前景立體影像以該原始像素座標表示而該轉換的立體影像以該目標像素座標表示。
  8. 如申請專利範圍第7項所述之方法,該座標對應係為該第一立體相機的焦距、基線長度和主點位置以及該第二立體相機的焦距、基線長度和主點位置的函數。
  9. 如申請專利範圍第1項所述之方法,該嵌入的步驟包括:如果該前景立體影像延伸至該原始立體影像的邊界,且該轉換的前景立體影像並未延伸到該目標立體影像的相應邊界,則裁剪該嵌入的立體影像以排除該嵌入的立體影像中與該目標立體影像中對應的邊界以外的部分相關聯的區域。
  10. 如申請專利範圍第1項所述之方法,該第一立體相機和該第二立體相機係校 正於前緣平行設置。
  11. 如申請專利範圍第10項所述之方法,更包括校正該第一立體相機和校正該第二立體相機。
  12. 如申請專利範圍第1項所述之方法,更包括透過從該原始立體影像擷取該前景立體影像來產生該前景立體影像。
  13. 如申請專利範圍第12項所述之方法,該擷取的步驟包括:使用立體提示、對比提示以及一立體像差搜索範圍來執行該原始立體影像的初始分割,以決定一初始的前景立體影像;和在該初始的前景立體影像中減少與咬合相關的錯誤,以決定該前景立體影像。
  14. 如申請專利範圍第13項所述之方法,該減少的步驟包括引用以下假設中的一或兩者(a)該初始的前景立體影像的右視角的左側邊界係為正確以及(b)該初始的前景立體影像的左視角的右側邊界係為正確。
  15. 如申請專利範圍第14項所述之方法,該減少的步驟更包括:利用該假設的一或二者來決定一色彩分佈模型;以及使用該色彩分佈模型、色彩提示和對比提示來改良在該初始的前景立體影像由咬合所損害的部分中的該初始分割,以決定該前景立體影像。
  16. 一種用於嵌入立體影像的系統,包括:一處理器;以及一記憶體,其在通訊上耦合於該處理器,並包括指令,該指令在由該處理器執行時,(a)將一從由一第一立體相機拍攝的原始立體影像中擷取的前景立體影像從與該第一立體相機相關聯的縮放比例轉換成與一第二立體相機相關聯的縮放比例,以形成一轉換的前景立體影像,以及(b)將該轉換的前景立體影像嵌入由該第二立體相機拍攝的一目標立體影像中。
  17. 如申請專利範圍第16項所述之系統,更包括該第一立體相機和該第二立體相機,該第一和第二立體相機係校正於前緣平行設置,且該第二立體相機至少在焦距、基線和主點位置中之一者與該第一立體相機不同。
  18. 一種軟體產品,其包括儲存在非暫態電腦可讀媒體中的指令,其中該指令在由一電腦執行時,會執行用於嵌入立體影像的步驟,其包括:用於將一從由一第一立體相機拍攝的原始立體影像中擷取的前景立體影像從與該第一立體相機相關聯的縮放比例轉換成與一第二立體相機相關聯的縮放比例,以形成一轉換的前景立體影像的指令;以及用於將該轉換的前景立體影像嵌入由該第二立體相機拍攝的一目標立體影像中的指令。
  19. 如申請專利範圍第18項所述之軟體產品,該用於轉換的指令包括用於實施該原始立體影像的原始像素座標和該目標立體影像的目標像素座標之間的座標對應來以該前景立體影像中對應的像素填充該轉換的前景立體影像的像素的指令,該轉換的前景立體影像的像素具有與該前景立體影像的原始像素座標對應之該目標像素座標,其中該前景立體影像以該原始像素座標表示而該轉換的立體影像以該目標像素座標表示,且其中該座標對應係為該第一立體相機的焦距、基線長度和主點位置以及該第二立體相機的焦距、基線長度和主點位置的函數。
  20. 如申請專利範圍第18項所述之軟體產品,更包括:用於將該目標立體影像分割成(a)一極近似前景立體影像,其顯示該目標立體影像中比該轉換的前景立體影像中的物體更近的物體以及(b)一背景立體影像,其顯示該目標立體影像中比該轉換的前景立體影像中的物體更遠的物體的指令;用於在該極近似前景立體影像和該背景立體影像之間的深度將該轉換的前 景立體影像嵌入該目標立體影像中的指令。
  21. 如申請專利範圍第20項所述之軟體產品,該用於嵌入的指令包括:用於將該轉換的前景立體影像黏貼到該背景立體影像上,以形成一中間立體影像的指令;以及用於將該極近似前景立體影像黏貼到該中間立體影像上,以形成該嵌入的立體影像的指令。
  22. 如申請專利範圍第20項所述之軟體產品,更包括用於擷取該前景立體影像的指令,其包括:用於使用立體提示、對比提示以及一立體像差搜索範圍來執行該原始立體影像的初始分割,以決定一初始的前景立體影像的指令;以及在該初始的前景立體影像中減少與咬合相關的錯誤,以決定該前景立體影像。
  23. 如申請專利範圍第22項所述之軟體產品,更包括用於從該目標立體影像擷取該極近似前景立體影像的指令,其係透過實施用於將該前景立體影像以該立體像差搜索範圍中的最小值係大於該前景立體影像的最大立體像差的條件擷取到該目標立體影像的指令。
TW104123320A 2014-07-17 2015-07-17 用於嵌入立體影像的系統、方法及其軟體產品 TWI536832B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/334,427 US9197874B1 (en) 2014-07-17 2014-07-17 System and method for embedding stereo imagery

Publications (2)

Publication Number Publication Date
TW201605241A TW201605241A (zh) 2016-02-01
TWI536832B true TWI536832B (zh) 2016-06-01

Family

ID=54543033

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104123320A TWI536832B (zh) 2014-07-17 2015-07-17 用於嵌入立體影像的系統、方法及其軟體產品

Country Status (4)

Country Link
US (1) US9197874B1 (zh)
CN (1) CN105282534B (zh)
HK (1) HK1217067A1 (zh)
TW (1) TWI536832B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607394B2 (en) * 2014-11-20 2017-03-28 Lenovo (Beijing) Co., Ltd. Information processing method and electronic device
CN105809618A (zh) * 2014-12-31 2016-07-27 华为终端(东莞)有限公司 一种图片处理方法及装置
US20220197983A1 (en) * 2020-12-17 2022-06-23 Asynchronous Art, Inc, Systems and methods for creating and managing programmable art
JP2022183843A (ja) * 2021-05-31 2022-12-13 キヤノン株式会社 電子機器及びその制御方法及びプログラム及び記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6532022B1 (en) * 1997-10-15 2003-03-11 Electric Planet, Inc. Method and apparatus for model-based compositing
US7236622B2 (en) * 1999-08-25 2007-06-26 Eastman Kodak Company Method for forming a depth image
US7720282B2 (en) * 2005-08-02 2010-05-18 Microsoft Corporation Stereo image segmentation
US8059887B2 (en) * 2006-09-25 2011-11-15 Sri International System and method for providing mobile range sensing
CN101542536A (zh) * 2006-11-20 2009-09-23 汤姆森特许公司 用于合成三维图像的系统和方法
CN101729918A (zh) * 2009-10-30 2010-06-09 无锡景象数字技术有限公司 一种实现双目立体图像校正和显示优化的方法
US8570372B2 (en) * 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
JP2013038614A (ja) * 2011-08-08 2013-02-21 Kunio Goto 映像装置
US8619148B1 (en) * 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
WO2013191689A1 (en) * 2012-06-20 2013-12-27 Image Masters, Inc. Presenting realistic designs of spaces and objects

Also Published As

Publication number Publication date
TW201605241A (zh) 2016-02-01
CN105282534A (zh) 2016-01-27
US9197874B1 (en) 2015-11-24
HK1217067A1 (zh) 2016-12-16
CN105282534B (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
US9438878B2 (en) Method of converting 2D video to 3D video using 3D object models
US9241147B2 (en) External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9445072B2 (en) Synthesizing views based on image domain warping
JP6021541B2 (ja) 画像処理装置及び方法
JP5320524B1 (ja) ステレオ撮影装置
US20170111582A1 (en) Wide-Area Image Acquiring Method and Apparatus
CN106254854B (zh) 三维图像的获得方法、装置及系统
CN105262958B (zh) 一种虚拟视点的全景特写拼接系统及其方法
JP5291755B2 (ja) 立体視画像生成方法および立体視画像生成システム
US20140198182A1 (en) Representation and Coding of Multi-View Images Using Tapestry Encoding
US20140098100A1 (en) Multiview synthesis and processing systems and methods
US9443338B2 (en) Techniques for producing baseline stereo parameters for stereoscopic computer animation
US20120320152A1 (en) Stereoscopic image generation apparatus and method
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
US20130050187A1 (en) Method and Apparatus for Generating Multiple Image Views for a Multiview Autosteroscopic Display Device
WO2012147329A1 (ja) 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体
JP7571032B2 (ja) 3d小惑星ダイナミックマップの生成方法及びポータブル型端末
US9380263B2 (en) Systems and methods for real-time view-synthesis in a multi-camera setup
TWI536832B (zh) 用於嵌入立體影像的系統、方法及其軟體產品
US9602797B2 (en) Stereoscopic image processing apparatus, stereoscopic image processing method, and stereoscopic image processing program
CN108156437A (zh) 一种立体图像处理方法、装置和电子设备
CN113253845A (zh) 一种基于人眼追踪视图显示方法、装置、介质及电子设备
Knorr et al. An image-based rendering (ibr) approach for realistic stereo view synthesis of tv broadcast based on structure from motion
TWI589150B (zh) 3d自動對焦顯示方法及其系統
US20140205023A1 (en) Auxiliary Information Map Upsampling