TWI469623B - 用於區別３維影像與２維影像以及藉由特徵對應決定來識別３維影像格式之存在的方法 - Google Patents

用於區別３維影像與２維影像以及藉由特徵對應決定來識別３維影像格式之存在的方法 Download PDF

Info

Publication number
TWI469623B
TWI469623B TW099142859A TW99142859A TWI469623B TW I469623 B TWI469623 B TW I469623B TW 099142859 A TW099142859 A TW 099142859A TW 99142859 A TW99142859 A TW 99142859A TW I469623 B TWI469623 B TW I469623B
Authority
TW
Taiwan
Prior art keywords
image
sub
format
formats
feature
Prior art date
Application number
TW099142859A
Other languages
English (en)
Other versions
TW201143358A (en
Inventor
Tao Zhang
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of TW201143358A publication Critical patent/TW201143358A/zh
Application granted granted Critical
Publication of TWI469623B publication Critical patent/TWI469623B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

用於區別3維影像與2維影像以及藉由特徵對應決定來識別3維影像格式之存在的方法
本發明係關於一種用於識別三維(3D)影像之方法，且更特定言之，係關於一種用於識別與該3D影像相關聯的一格式之方法，其中使用一特徵對應決定而執行該識別。
本發明係關於同時附上申請且共同讓與其之相同代理人之標題為「Method For Distinguishing A 3D Image From A 2D Image And For Identifying The Presence Of A 3D Image Format By Image Difference Determination」之美國專利申請案代理人檔案第PU090182號，該案之全文係以引用的方式併入本文中。
現今三維(3D)影像具有許多不同的數位格式。不同格式數目連同明顯缺乏用於格式化此等3D影像之標準化引起許多問題，且進一步使辨識此等3D影像的呈現且接著判定如何格式化3D影像以適當地處理及顯示影像變複雜。
大體上，3D內容包含最初產生為分離的立體影像(或視圖)之一對影像或視圖。可在不會引起意義缺失及任何意欲之限制下互換地使用術語「立體影像」與「立體視圖」及術語「影像」與「視圖」各者。可編碼此等影像之各者。為了儲存或散佈或顯示該3D影像，將兩個立體影像之內容組合為一單一影像圖框中。因此各圖框將表示整個3D影像，而非使用，各者在其等自身圖框或檔案中的兩個分離立體影像。沿著圖1之頂列簡單地描繪此3D影像圖框之多種格式。
如自圖1所見，現今存在許多3D影像圖框格式且期望將來將建議額外格式。一些3D影像圖框格式包含左右並排(side-by-side)格式、棋盤圖案(checkerboard pattern)格式、交錯(interlaced)格式、上下排列(top-bottom)格式及基於色彩的格式(諸如一立體彩相(anaglyph))。在圖1中以簡化形式展示所有格式，除該基於色彩的格式之外。在此圖中，以淡陰影描繪一3D影像之該等立體影像或立體視圖之一者，同時以濃陰影描繪與該3D影像相關聯的第二影像或視圖。對於在市場中3D產品之成功而言，支援3D影像之多重圖框格式之能力將係重要的。
藉由依此等單一圖框格式產生3D影像檔案所引起的一問題係未進一步分析之所得單一影像格式可顯現為相似於非立體影像或二維(2D)影像所使用之影像圖框。此外，此等3D影像圖框串流可最初顯現為難以與2D影像圖框串流辨別。當該影像圖框之格式及維數係未知的或未被傳送至一接收器時，對用於接收、處理及顯示該影像圖框串流內容之影像檢視器、視訊播放器、視訊轉換器及類似物出現重要及迄今未解決的問題。
在此技術領域中的先前技術中，尚未展示辨別呈3D格式的一單一立體影像與一非立體單一影像之能力。此外，在此技術領域中的先前技術同樣未能展示識別一影像檔案係呈複數個可能的3D及2D格式的一特定格式。
由本發明之方法藉由透過使用特徵匹配及對應來識別一經接收影像之三維(3D)影像格式之存在而解決在該先前技術中的此等及其他缺點。使用一候選3D格式取樣該經接收影像以自該經接收影像產生兩個子影像。首先，比較此等子影像以決定此等子影像是否係關於結構相似。若該等子影像並非相似，則選擇一新3D格式且重複該方法。若發現該等子影像相似，則在該兩個子影像中偵測特徵且形成介於該兩個子影像中匹配的特徵之間的一對應。計算介於對應特徵之間的位置差。接著使用該等位置差之量及均勻性以決定該格式係2D或3D。若係3D，則決定該等3D格式之哪一3D格式係用於該經接收影像。當決定該經接收影像之格式時，可使用該格式以處理及顯示該經接收影像。
藉由考慮以下詳細描述、結合隨附圖式可輕易理解本發明之教示。
應瞭解，圖式係為了圖解說明本發明之概念且無需係用於圖解說明本發明之僅可能的組態。若可能的話，為了促進理解，相同參考數字已用以指明圖中共同的之相同元件。
本發明有利地提供一種用於識別三維(3D)影像之方法，且更特定言之，提供一種用於識別與3D影像相關聯的格式之方法，其中使用一特徵對應決定來執行該識別。雖然可主要在一視訊解碼器及顯示器環境之背景下描述本發明，但不應將本發明之特定實施例視作限制本發明之範疇。將由熟習此項技術者所瞭解及藉由本發明之教示所瞭解，於實質上任何基於視訊的環境(諸如但不限於電視、轉換編碼、視訊播放器、影像檢視器、視訊轉換器)或任何基於軟體的及/或基於硬體的實施方案中有利地應用本發明之概念以識別3D格式。
可透過使用專用硬體以及能夠執行與適當的軟體相關聯的軟體之硬體而提供圖中所示之多種元件之功能。當由處理器提供功能時，可由一單一專用處理器、由一單一共用處理器或由複數個個別處理器提供該等功能，該複數個個別處理器之一些係可共用的。此外，不應將術語「處理器」或「控制器」之明確使用理解為專指能夠執行軟體之硬體，且可隱含地包含(不限於)數位信號處理器(「DSP」)硬體、用於儲存軟體之唯讀記憶體(「ROM」)、隨機存取記憶體(「RAM」)及非揮發性儲存器。此外，本文所列舉的本發明之原理、態樣及實施例以及本發明之特定實例之所有敘述皆係旨在涵蓋其等之結構等效物及功能等效物兩者。此外，希望此等等效物包含當前已知的等效物以及將來所發展的等效物兩者(即，不管結構如何，開發出執行相同功能的任何元件)。
例如，圖4描繪用於適合執行本發明之方法及本發明之多種實施例之程序之一處理單元400之一實施例之一高階方塊圖。更特定言之，圖4之該處理單元400圖解說明地包含一處理器410以及用於儲存控制程式、演算法、儲存的媒體及類似物之一記憶體420。該處理器410與習知支援電路430(諸如電源供應器、時脈電路、快取記憶體及類似物)以及協助執行儲存於該記憶體420中的軟體常式之電路協作。因此，預想本文討論作為軟體程序的一些程序步驟可在(例如)作為與處理器410協作之電路的硬體內實施以執行多種步驟。該處理單元410亦包含輸入/輸出電路440，該輸入/輸出電路440形成介於與處理單元410進行通信(諸如顯示器及類似物)之多種功能元件之間的一介面。
再次，雖然將圖4之處理單元400描繪為經程式化以執行根據本發明之多種控制功能之一通用電腦，但本發明亦可以硬體(例如，如一特定應用積體電路(ASIC))實施。因此，本文所描述的程序步驟係旨在概括地理解為由軟體、硬體或其等之一組合等效地執行。
因此，熟習此項技術者瞭解，本文所呈現的方塊圖表示具體實施本發明之原理之圖解說明的系統組件及/或電路之概念圖。相似地，應瞭解任何流程圖、流程圖、狀態轉變圖、偽碼及類似物表示實質上可以電腦可讀媒體中及因此由一電腦或處理器所執行的多種程序(無論本文是否明確展示此電腦或處理器)。
根據本發明之多種實施例，已發展一種方法以基於使用自一影像所產生的特徵對應資訊而決定該影像是否呈3D格式或甚至影像是否根本為3D。此外，當已決定影像係一3D影像(而非一2D影像)時，該方法能夠識別影像所展現的是複數個3D格式中的哪一者。應瞭解，呈3D格式的一單一影像包含來自兩個相似但不同的影像或視圖之資訊。因為自不同參考點及不同觀看角度獲取影像，所以此等兩個影像實際上明顯不同。相比之下，一單一2D影像包含來自僅一單一參考點及觀看角度(因此，僅來自一單一視圖)之資訊。本文已決定可利用此等差以展示影像是否係呈3D格式。此外，接著可能決定哪種特定3D格式已應用於該影像。
圖1描繪跨頂列之各種不同3D格式。所展示的該等格式包含交錯格式、上下排列(亦稱為上下(over-under))格式、左右並排格式及棋盤圖案格式。所展示的該交錯格式係用於水平交錯。應暸解，可藉由交錯來自各影像或視圖之交替行(而非交替列)而實現水平交錯之正交格式(即，垂直格式)。此圖中所示之格式表示一例示性清單，而非表示所有已知3D格式之詳盡清單。在圖1中，以淡陰影描繪3D影像之該等立體影像或立體視圖(S1 )之一者，同時以濃陰影描繪與3D影像相關聯的第二影像或視圖(S2 )。
如圖1中所展示，當根據影像之各自格式適當地處理在圖1頂部的影像時，可自在頂部的單一3D影像擷取個別立體影像或視圖S1 及S2 。下文在此應用中將此處理稱為取樣。接著可將此等分離的視圖應用於一視訊處理器及顯示器以用於產生原始3D圖片或圖框以供一使用者觀看。應瞭解各影像S1 及S2 之解析度係不大於整個原始3D影像解析度之一半。關於實體S1 或S2 之影像或視圖之術語係旨在不具任何限制性或不失一般性下意欲為等效。
可根據在左視圖S1 及右視圖S2 之間的一像素級的融合度而將圖1中的3D格式分類成兩個群組。一群組包含融合式3D格式，同時另一群組包含非融合式3D格式。對於融合式3D格式，各像素趨向於被來自左視圖及右視圖兩者之像素所環繞。融合式3D格式之實例係交錯格式(水平或垂直)及棋盤圖案格式。對於非融合式3D格式，各像素趨向於被來自相同視圖的除了視圖邊界處之像素(如從左右並排及上下格式中之S1 /S2 邊界處的像素可見)之外的像素所環繞。左右並排、上下及基於色彩的格式係包含於非融合式3D格式之群組中。所有此等格式已在此項技術中為吾人所熟知。
在圖2中展示該基於色彩的3D格式，諸如利用立體彩相之一格式。對於一立體彩相格式，第一通道(例如，紅色)可表示一視圖及剩餘兩個通道(例如，藍色及綠色)可表示另一視圖。因此，將該第一通道當作係S1 及將一組合(諸如通道二及三之一線性組合)當作係S2 。此僅係該等通道及其他組合之一可能的使用或技術可用以根據本發明之替代實施例取樣相關聯的基於色彩的3D格式。
對於呈3D格式的一單一影像，若使用經設計用於及對應於一候選3D格式G之取樣方法而取樣該單一影像以產生兩個影像(視圖)，則基於用於取樣之該候選格式，此兩個影像可看起來在結構上完全不同或在結構上極其相似。若此兩個影像(視圖)在結構上完全不同，則可斷定該單一影像並非在候選3D格式G中。若此兩個影像在結構上相似，則需要額外努力以識別正確的3D格式。若在兩影像中偵測特徵(諸如點特徵、線特徵及類似物)且若比較該等特徵，則可觀察到兩個影像之間的特徵位移。若兩個影像之間的該特徵位移並非係均勻的及/或其係相當大的，則可將該影像分類成正在依3D候選格式G予以格式化。若以其它方式觀察到該位移，則可將該影像分類成未正在依3D候選格式G予以格式化。
對於圖3中的該方法之一單一2D影像輸入，若取樣該影像以產生兩個視圖S1 及S2 (見圖1及圖2)，則此兩個影像將幾乎係關於內容及深度兩者相同的，惟當該取樣方法係用於融合式3D格式此兩個影像有一極小的均勻位移除外，或當該取樣方法係用於非融合式3D格式時此兩個影像的內容完全不同除外。
在以下描述中，提供關於根據本發明之實施例區別呈3D格式的影像與呈2D格式的影像之一說明。實例係經提供用於格式群組連同兩個格式群組之一混合之一呈現。
首先，假設取樣一經接收影像以產生如圖1及圖2所展示的兩個分離的影像S1 及S2 。此外，假設正使用的取樣技術包含用於融合式3D格式、非融合式3D格式及基於色彩的3D格式之技術。
以下關於圖3詳細例舉根據本發明之一實施例之本發明之格式識別技術之一實例。以下描述關於圖3之在以下描述中所使用的術語。假設存在候選3D格式且若正審視的該影像係呈一特定3D格式，則該特定3D格式係來自候選3D格式。應瞭解，可藉由將新3D格式(即，當前未在候選3D格式之此群組中的格式)添加至候選格式之群組及藉由包含經適當地設計用於及對應於根據本發明之替代實施例之新3D格式之取樣方法而輕易支援新3D格式。將G定義為3D格式群組及該等3D格式相對應取樣方法，使得
G={(G1 ,M1 ),(G2 ,M2 ),...,(GNF ,MNF )}，
其中Gi 係候選3D格式，Mi 係相對應於候選3D格式Gi 之取樣方法，及NF係在候選格式群組中所支援的3D格式之總數目。
圖3中展示一種用於識別3D影像及其相對應格式之方法，其中自候選3D格式群組選擇該格式，該方法開始於步驟300，在在步驟300期間接收一輸入作為一單一影像輸入 O 。期望該單一影像輸入 O 係呈3D格式或呈2D格式。接著該方法進行至步驟301。
在步驟301，假設根據來自該候選格式群組G 的一候選3D格式G i 而格式化該輸入影像 O 。接著根據該輸入影像 O 之預先定義的相對應取樣方法M i 而自該輸入影像 O 產生兩個影像S 1 及S 2 。應瞭解，該輸入影像或所得影像S1 及S2 亦可經受一變換，諸如從彩色變為灰階或相似變換。接著該方法平行進行至步驟302及303。
在步驟302及步驟303中，對影像(視圖)S1 及S2 執行特徵偵測。在步驟302中將自影像S1 所偵測的特徵識別為F1={F1i ∣i=1...n1 }，且在步驟303中將自影像S2 所偵測的所得特徵識別為F2={F2i ∣i=1...n2 }，其中n1 及n2 係在各自的影像中所發現的特徵數目。步驟302及步驟303之各者將該方法之控制轉移至步驟304。
亦預想可使用特徵追蹤而非以上步驟中的特徵偵測及特徵對應。在來自實驗實踐的一實例中，於執行步驟302及步驟303中使用KLT特徵追蹤方法。此等技術係在此項技術中為吾人所熟知且以下在本文所列舉的參考中完全描述此等技術。
在步驟304中，在來自步驟302的所得特徵F1與來自步驟303的F2之間發現特徵對應(匹配)。大體上，在此步驟中特徵對應或匹配程序移除不具有對另一影像中的特徵之對應之一影像中的該等特徵。當自各特徵組F1及F2移除該等特徵時，將S1 中的新的或剩餘的特徵點識別為：
NF1={NF1i ∣i=1...N}，
且將S2 中的新的或剩餘的特徵點識別為：
NF2={NF2i ∣i=1...N}，
其中N 係具有對應之特徵之總數目。指明為(NF1i 、NF2i )的一對識別在S1 及S2 兩者中所發現的一對匹配特徵點。據信特徵對應及匹配係在此項技術中為吾人所熟知且本文將不詳細描述。以引用方式併入本文中及本文以下所列舉的多種參考揭示許多應用於影像特徵之對應及選擇技術。完成此步驟時，將控制轉移至選用之判斷步驟305或當不利用該選用之步驟305時直接轉移至步驟306。
在步驟304中，比較S1 及S2 中的特徵。亦預想用於比較此等特徵之其他技術。例如，一技術將涉及將S1 及S2 中的特徵映射回至 O ，且接著比較 O 中的該等經映射的特徵。另一技術將涉及比較S1 (或S2 )與該輸入影像 O 之間的特徵。在某些情況下，為了建立正確的特徵對應，後者技術可能難以實施。
預想可使用特徵追蹤而執行特徵對應。在圖3之該方法中，已使用特徵偵測及特徵對應計算以發現匹配特徵，如步驟302、303及304中所展示。然而，可替代地將特徵匹配或對應實施為特徵追蹤，如以下所展示。首先，計算S1 中的特徵。其次，將S1 中的特徵用作為S2 中的最初特徵位置以追蹤S2 中的特徵。最後，接著決定S2 中的該等特徵以對應於S1 中的該等特徵。待移除S2 中追蹤的特徵損失。
雖然於本發明之方法之實驗實踐；中使用KLT追蹤方法係，但本文之該方法未採納一特定特徵匹配或對應演算法作為一較佳的技術，此係因為預想許多特徵匹配演算法係由本發明之方法所使用。由Bruce D. Lucas及Takeo Kanade在於1981年《International Joint Conference on Artificial Intelligence》第674至679頁所提及之標題為「An Iterative Image Registration Technique with an Application to Stereo Vision」之一技術論文中及由Carlo Tomasi及Takeo Kanade於1991年4月《Carnegie Mellon University Technical Report CMU-CS-91-132》所公開之標題為「Detection and Tracking of Point Features」之一報告中教示多種特徵追蹤方法(諸如該KLT追蹤方法)。由David Lowe於1999年《Proceedings of the international Conference on Computer Vision》第1150至1157頁中所公開之標題為「Object recognition from local scale-invariant features」之一論文中揭示稱為SIFT方法之一點特徵偵測方法。在由A. Ardeshir Goshtasby之於2005年由Wiley-Interscience所公開之標題為「2-D and 3-D image registration: for medical,remote sensing and industrial applications」之一著作中(尤其在特徵選擇第三章第42至63頁中及特徵對應第四章第63至106頁)描述對於執行特徵對應中有用之多種不同的特徵偵測及匹配方法。此等四種參考之該等教示係清楚地以引用的方式併入本文中。
步驟305係一選用之判斷步驟。若該方法未採用步驟305，則控制直接自步驟304轉移至步驟306。在步驟305中，使用該等特徵對應以判定S1 及S2 是否係在結構上及內容上相似。已自實驗實踐判定當S1 中的大多數特徵在S2 中具有對應時，該等結構相似。因此，沿「是」分支將該控制轉移至步驟306。另一方面，當S1 中的大多數特徵在S2 中不具有對應時，據信該等結構並非相似。因此，沿「否」分支將該控制轉移至步驟308。雖然如用於修飾術語「對應」之術語「大多數」本質上可能似乎係一般的，但已決定其包含大於或等於50%(換言之，至少一半)之至少所有值。
應瞭解在判斷步驟305的該方法對影像S1 及S2 執行影像處理操作以決定S1 及S2 是否為不同的影像，即，非相似影像。將「不同的影像」之概念理解為意謂著S1 及S2 是來自一單一影像之不同部分且意謂著S1 及S2 在結構上是完全不同的。在步驟305，若決定S1 及S2 在內容上及結構上是不同的(非相似的)，則將該控制轉移至步驟308。否則，將該方法控制轉移至步驟306。
許多其他技術可用以決定S1 及S2 是否在結構上相似或(相反地)是否在結構上不同。雖然用於執行此決定之一些方法可能是複雜的，但應瞭解存在簡單的方法。以下描述用於決定該等結構是否相似或不同之兩種例示性方法。在上文所描述的一此技術中，比較S1 及S2 中的特徵點。若比較時S2 中缺失S1 中的大多數經偵測的特徵(諸如點特徵)，則可判定該兩個影像在結構上為不同。相反地，若當比較時在S2 中發現S1 中的大多數經偵測的特徵(諸如點特徵)，則可作出該兩個影像在結構上相似之一決定。另一技術使用影像差。若S1 及S2 在結構上相似，則其等之影像差E=S1 -S2 (或反之亦然，或甚至差之絕對值)將為最小及稀疏且實質上空白。另一方面，若S1 及S2 在結構上不相似(即，若S1 及S2 不同)，則影像E中之差極大且所得影像E為密集。因此，當以此技術形成影像E時，可使用非空白像素之稀疏度或密度以作出相似性決定。可使用非空白像素總數目相對於像素總數目之一比率以展示關於結構之實質相似性及實質差。
對於立體影像及視訊，可在不損失一般性之情況下假設左視圖與右視圖(即，S1 與S2 )之間的強度改變係相對小的。因此，對於步驟305可使用直方圖相似性以決定結構相似性。雖然直方圖相似性並不總是相對應於不具有完全精確度之結構相似性或識別不具有完全精確度之結構相似性，但直方圖相似性確實通常識別出並不相似的影像對。可藉由由B所表示的巴氏(Bhattacharyya)方法量測直方圖相似性。此方法亦指稱為巴氏距離。
巴氏方法或巴氏距離已在統計領域為吾人所熟知。定義此方法之原始紙稿由A. Bhattacharyya書寫且在1943年出版的Bull. Calcutta Math. Soc.第35卷第99-100頁中題為「On a Measure of Divergence Between Two Statistical Populations Defined by their Probability Distributions」。
在統計中，巴氏距離係用以量測離散概率分佈之相似性。通常其係用以量測分類等級之可分離性。對於在相同域X內的離散概率分佈p及q，可如下定義巴氏距離：DB(p,q)=-ln(BC(p,q))，其中且其中BC(p,q)係巴氏係數。對於連續分佈，通常將該巴氏係數定義為BC(p,q)=∫
為了展示相似性決定，使用直方圖展示一簡單實例十分有用。在此實例中，計算一影像的直方圖。對於具有0至255之間的強度之一灰階影像，將強度範圍0至255分成N個像素格(bin)。當影像中之像素展示為具有一值v時，該像素識別為屬於像素格v/N。接著將像素格數量累加1。對該影像中的所有像素重複此步驟以產生實際影像直方圖。直方圖實際上表示該影像之強度分佈。自兩個影像或視圖S1 及S2 產生兩個直方圖p及q。接著直方圖相似性簡單地決定此兩個直方圖係如何酷似或相似。若該兩個影像相似，則直方圖將相似。應瞭解直方圖中之相似性並非總是意謂著結構相似性。
在步驟302中，使用巴氏方法的相似性檢查可實現為如下的臨限值比較：若B小於臨限值，則影像在結構上相似；否則，影像在結構上不相似。在一實例中，已將該臨限值設定為0.04。透過試誤法之實驗性實踐定義臨限值。可使用其他技術來決定此臨限值。此時，上文所示之臨限值已為迄今為止測試的大體上所有影像提供極佳結果。
應清楚，相對於最初所描述使用缺失的特徵以決定兩個影像是否相似的簡單相似性檢查，以上所提議的該等相似性檢查提高該方法之複雜度。
在步驟306中，計算介於一對應對中的特徵之間的一位置差以決定位置差DX及DY。假設一特徵點NF1i 之位置係(xi1 ,yi1 )且對應特徵點之NF2i 位置係(xi2 ,yi2 )。接著將成組之位置差描述為：
DX={DXi=xi1 -xi2 ∣i=1...N}及
DY={DYi =yi1 -yi2 ∣i=1...N}。
透過縱座標(y-值)及橫座標(x-值)之簡單減法發展該等位置差。用以識別2D格式及3D格式之特徵點之位置差之計算係遠遠簡單於此等特徵點之稀疏深度資訊之計算，其中深度資訊接著將用以識別3D格式。在相機之固有參數及關於攝影中相機之姿勢資訊係未知之情況下，難以計算深度資訊，尤其係在一單一影像中。因此，即使其他技術係已知的及可應用的，但用於此步驟之較佳技術係位置差之計算。完成此步驟時，將控制直接轉移至判斷步驟307。
應瞭解雖然用以計算該等位置差之DX及DY之差操作涉及簡單的減法，但已預想亦可使用絕對值差計算該等位置差。
在判斷步驟307中，分析該等位置差DX及DY以決定該位置差是否係均勻的且小的。若發現該位置差係均勻的且小的，則輸入影像並非在正於該方法之此反覆中所測試的候選3D格式Gi 中。此時，沿「是」分支將控制轉移至步驟308。若發現該位置差並非係均勻的且小的，則輸入影像係在正依於該方法之此反覆中所測試的候選3D格式Gi 予以格式化。此時，沿「否」分支將控制轉移至步驟309。
應瞭解，在步驟307中存在能夠分析該等位置差之許多熟知技術。適合本文使用之一例示性技術利用一啟發式臨限值αx 及αy ，其中通常在像素中量測α。在此例示性技術中，單獨比較表示為max(abs(DX))及max(abs(DY))之該位置差之絕對值之最大值與其等各自之臨限值αx 及αy 。若該位置差小於或等於該臨限值，則決定該位置差係均勻的且小的，即，來自判斷步驟307之「是」分支。否則，決定厚度即不是均勻的亦不是小的，即，來自判斷步驟307之「否」分支。
在自實驗實踐之另一實例中，在步驟307中可能使用該等位置差之均值及方差或其他統計，諸如標準偏差。
當將控制轉移至判斷步驟308時，程序檢查是否已測試所有可能的候選3D格式Gi (i =1,2,...NF)。若已測試所有候選格式，則決定輸入影像O 係一2D影像且將程序控制轉移至步驟309。若尚未測試所有候選格式G，則決定輸入影像O 係一2D影像且將程序控制轉移至步驟301，則將程序控制轉移至步驟301，其中對該程序之下一反覆選擇一新候選格式Gi 。
融合式格式、非融合式格式及基於色彩的格式以及以上所提及的經混合的格式之各者需要特定於該格式之一取樣技術，使得可適當地擷取該兩個影像。圖1及圖2描繪用於以不同3D格式自一單一影像產生兩個影像(視圖)。該等取樣方法係簡單明瞭的且在此項技術中為吾人所熟知且本文將不作進一步詳細描述。
例如，在水平交錯格式中，對應取樣方法反覆地擷取影像S1 的一條線(即，像素之水平列)且接著擷取影像S2 的下一條線。在產生影像S1 及S2 中維持來自原始單個影像的線順序。在此取樣技術之一替代實現中，預想成對地將線分組，使得擷取S1 的兩條連續線且接著擷取影像S2 的下兩條連續線。預想對於此取樣技術的其他替代實現。
對於垂直交錯格式，相對應取樣方法反覆地擷取影像S1 的一條線(即，像素之垂直行)且接著擷取影像S2 的下一條線。在產生兩個影像S1 及S2 中維持來自原始單個影像的線順序。對於此取樣技術，以相似於水平交錯技術所提及的替代之方式預想此取樣技術的替代實現。
對於棋盤圖案格式，相對應取樣技術自影像S1 的奇數列擷取奇數像素及自影像S1 的偶數列擷取偶數像素的同時亦自影像S2 的奇數列擷取偶數像素及自影像S2 的偶數列擷取奇數像素。以一類似方式，可實現此技術以擷取交替像素群組，而非個別像素。
非融合式3D格式的取樣較簡單，原因在於取樣器僅僅在單一影像中之S1 及S2 介面處使S1 及S2 分離。例如，對於左右並排格式，可自單個影像之左側(半邊)獲取S1 ，而自單個影像之右側(半邊)獲取S2 。對於取樣上下排列格式，採取相似方法。
如上文所討論，以所得影像或視圖S1 僅含有來自一視圖之像素及影像S2 含有來自另一視圖之像素的方式執行取樣。亦預想，對相同通道(諸如YUV檔案中之Y通道或RGB檔案中之G通道)執行取樣。或者，亦可自一或多個不同通道進行取樣本。當該影像係呈灰階時，通常自僅有的通道取樣像素。然而，當該一影像係呈色彩時(諸如具有RGB通道之ne)，可對三個通道之任意者或所有三個通道之部分執行該取樣。例如，在交錯格式中，可取樣通道R以得到影像S1 ，且可取樣通道G以獲得影像S2 ；或可取樣通道R以獲得影像S1 ，同時取樣通道B以獲得影像S2 等等。
本文所描述的基於特徵對應的方法已展示為如圖3中的一反覆個別方法。亦應預想本發明之一方法之又另一實施例允許批次處理(而非反覆處理)，使得同時計算所有候選3D格式之資訊。在此批次處理實施例中，可基於所計算的所有資訊決定方法判斷(例如，3D對2D及特定3D格式)。
據信視圖S1 及S2 之次序係不重要的。即，在不影響該方法之結果之情況下該等視圖可彼此交換。取樣方法之一般需求係所得影像S1 應包含僅來自一視圖之像素且所得影像S2 應包含僅來自另一視圖之像素。
預想在不悖離本發明之精神之情況下可交換圖3之該方法中的某些步驟之操作次序。特定言之，預想可交換步驟302至304之群組及選用之步驟305之次序，使得在決定該等影像S1 及S2 是否相似之後執行該特徵偵測及該特徵匹配/對應/追蹤步驟。
在以上所識別的共同待審相關專利申請案中，所揭示的該方法利用依賴於影像差之一技術。此技術係根本上不同於本文所描述的依賴於特徵對應之技術。基於特徵對應的方法偵測特徵且建立介於經偵測的特徵之間的逐個對應。相比之下，為了進行適當操作，基於影像差的方法並非依賴於特徵。
已描述一種用於識別3D影像格式之方法之多種實施例(該等實施例係旨在圖解說明性的且非限制性的)，應注意鑑於以上教示可由熟習此項技術者作出修改及變動。因此應瞭解可在本發明之範疇及精神之內的所揭示的本發明之特定實施例中做出改變。雖然先前係針對本發明之多種實施例，但在不悖離本發明之基本範疇之情況下可設計本發明之其他及進一步實施例。
400．．．處理單元
410．．．處理器
420．．．記憶體
430．．．支援電路
440．．．輸入/輸出電路
圖1及圖2描繪複數個例示性3D影像格式；
圖3描繪根據本發明之一實施例用於當受測試的一影像圖框中存在特定3D影像格式時識別特定3D影像格式之存在中使用之一流程圖用於；及
圖4描繪適合執行本發明之方法及本發明之多種實施例之程序之一處理單元之一實施例之一高階方塊圖。
(無元件符號說明)

Claims (14)

  1. 一種用於在一經接收影像中識別三維(3D)影像格式之存在之方法，該方法包括：使用對應於自複數個3D格式所選擇的一候選3D格式之一取樣方法而自該經接收影像產生第一子影像及第二子影像；偵測在該第一子影像及該第二子影像中的至少一特徵；決定在該第一子影像中的至少一特徵與該第二子影像中的至少一特徵之間的一對應；計算介於對應於該第二子影像中之該至少一特徵的該第一子影像中之該至少一特徵之間的位置差；其中，若決定該等位置差係均勻的且小於或等於一臨限值，則決定是否已將該複數個3D格式之各3D格式選擇為一候選3D格式；且若已選擇該複數個3D格式中的所有3D格式，則將該經接收影像識別為呈二維(2D)格式；及若未選擇該複數個3D格式中的所有3D格式，則將先前未自該複數個3D格式選擇之一3D格式選擇為該候選3D格式且使用該先前未選擇的3D格式而重複該產生步驟及該計算步驟；且其中，若決定該等位置差並非係均勻的且決定其大於該臨限值，則將該經接收影像識別為正依用以作出此決定之一候選3D格式予以格式化。
  2. 如請求項1之方法，其中該決定一對應包括：在一子影像中所偵測的該等特徵與在另一子影像中所偵測的特徵之特徵追蹤。
  3. 如請求項2之方法，其中該特徵追蹤包含一KLT追蹤方法。
  4. 如請求項1之方法，其中該決定一對應包括：特徵匹配及特徵對應。
  5. 如請求項1之方法，其中該複數個3D格式包括自融合式3D格式、非融合式3D格式、及基於色彩的3D格式之群組中所選擇的格式。
  6. 如請求項1之方法，其中該方法進一步包括：比較該第一子影像及該第二子影像以決定該第一子影像及該第二子影像是否在結構方面為相似；其中自該比較，若決定該第一子影像及該第二子影像在結構上並非相似，則決定是否已將該複數個3D格式之各3D格式選擇為一候選3D格式；及若已選擇該複數個3D格式中的所有3D格式，則將該經接收影像識別為係呈二維(2D)格式；及若未選擇該複數個3D格式中的所有3D格式，則將先前未自該複數個3D格式選擇之一3D格式選擇為該候選3D格式且使用該先前未選擇的3D格式而重複該產生步驟及該計算步驟；及若自該比較，決定該第一子影像及該第二子影像係在結構上相似，則執行偵測在該第一子影像及該第二子影像之各者中的一或多個特徵之步驟。
  7. 如請求項6之方法，其中該結構包含結構及內容兩者。
  8. 如請求項1之方法，其進一步包含用於根據該經識別格式顯示該經接收影像之處理。
  9. 如請求項1之方法，其中該產生第一子影像及第二子影像進一步包括：濾除待於複數個通道之一單一通道中的該第一子影像及該第二子影像之各者，使得該第一子影像之該單一通道相同於該第二子影像之該單一通道。
  10. 如請求項6之方法，其中該比較該第一子影像及該第二子影像以決定該第一子影像及該第二子影像是否在結構方面為相似包括：比較該第一子影像中的至少一特徵點與該第二子影像中的至少一對應特徵點。
  11. 如請求項10之方法，其中該比較該第一子影像及該第二子影像以決定該第一子影像及該第二子影像是否在結構方面為相似進一步包括：偵測該第一子影像及該第二子影像之各者中的一或多個特徵。
  12. 如請求項6之方法，其中該比較該第一子影像及該第二子影像以決定該第一子影像及該第二子影像是否在結構方面為相似進一步包括：評估該邊緣圖中的非空白像素相對於該邊緣圖中的像素總數目之一比率作為結構相似性之一量測。
  13. 一種用於在一經接收影像中識別三維(3D)影像格式之存在之裝置，其包括：使用對應於自複數個3D格式所選擇的一候選3D格式之一取樣方法而自該經接收影像產生第一子影像及第二子影像之構件；用於偵測在該第一子影像及該第二子影像中的至少一特徵之構件；用於決定在該第一子影像中的至少一特徵與該第二子影像中的至少一特徵之間的一對應之構件；用於計算介於對應於該第二子影像中的該至少一特徵之該第一子影像中的該至少一特徵之間的位置差之構件；其中，若決定該等位置差係均勻的且小於或等於一臨限值，則決定是否已將該複數個3D格式中的各3D格式選擇為一候選3D格式；及若已選擇該複數個3D格式中的所有3D格式，則將該經接收影像識別為呈二維(2D)格式；及若未選擇該複數個3D格式中的所有3D格式，則將先前未自該複數個3D格式選擇之一3D格式選擇為該候選3D格式且使用該先前未選擇的3D格式而重複該產生步驟及該計算步驟；且其中，若決定該等位置差並非係均勻的且決定其大於該臨限值，則將該經接收影像識別為正依用以作出此決定之一候選3D格式予以格式化。
  14. 一種具有用於由一處理系統執行之電腦可執行指令之電腦可讀媒體，當執行用於在一經接收影像中識別三維(3D)影像格式之存在之該等電腦可執行指令時，其等引起該處理系統進行以下步驟：使用對應於自複數個3D格式所選擇的一候選3D格式之一取樣方法而自該經接收影像產生第一子影像及第二子影像；偵測在該第一子影像及該第二子影像中的至少一特徵；決定在該第一子影像中的至少一特徵與該第二子影像中的至少一特徵之間的一對應；計算介於對應於該第二子影像中的該至少一特徵之該第一子影像中的該至少一特徵之間的位置差；其中，若決定該等位置差係均勻的且小於或等於一臨限值，則決定是否已將該複數個3D格式之各3D格式選擇為一候選3D格式；且若已選擇該複數個3D格式中的所有3D格式，則將該經接收影像識別為呈二維(2D)格式；及若未選擇該複數個3D格式中的所有3D格式，則將先前未自該複數個3D格式選擇之一3D格式選擇為該候選3D格式且使用該先前未選擇的3D格式而重複該產生步驟及該計算步驟；且其中，若決定該等位置差並非係均勻的且決定其大於該臨限值，則將該經接收影像識別為正依用以作出此決定之一候選3D格式予以格式化。
TW099142859A 2009-12-09 2010-12-08 用於區別３維影像與２維影像以及藉由特徵對應決定來識別３維影像格式之存在的方法 TWI469623B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2009/006454 WO2011071467A1 (en) 2009-12-09 2009-12-09 Method for distinguishing a 3d image from a 2d image and for identifying the presence of a 3d image format by feature correspondence determination

Publications (2)

Publication Number Publication Date
TW201143358A TW201143358A (en) 2011-12-01
TWI469623B true TWI469623B (zh) 2015-01-11

Family

ID=42309630

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099142859A TWI469623B (zh) 2009-12-09 2010-12-08 用於區別３維影像與２維影像以及藉由特徵對應決定來識別３維影像格式之存在的方法

Country Status (4)

Country Link
US (1) US8773430B2 (zh)
EP (1) EP2510499A1 (zh)
TW (1) TWI469623B (zh)
WO (1) WO2011071467A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008106185A (ja) * 2006-10-27 2008-05-08 Shin Etsu Chem Co Ltd 熱伝導性シリコーン組成物の接着方法、熱伝導性シリコーン組成物接着用プライマー及び熱伝導性シリコーン組成物の接着複合体の製造方法
US9565415B2 (en) 2010-09-14 2017-02-07 Thomson Licensing Method of presenting three-dimensional content with disparity adjustments
US8587518B2 (en) * 2010-12-23 2013-11-19 Tektronix, Inc. Disparity cursors for measurement of 3D images
JP5817639B2 (ja) * 2012-05-15 2015-11-18 ソニー株式会社 映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置
TWI464692B (zh) * 2012-07-03 2014-12-11 Wistron Corp 操作物辨識方法、操作物深度資訊建立方法及電子裝置
ITTO20120602A1 (it) 2012-07-09 2014-01-10 Sisvel Technology Srl Method for transforming an image descriptor based on a gradient histogram and relative image processing apparatus.
US9361540B2 (en) 2012-08-15 2016-06-07 Augmented Reality Lab LLC Fast image processing for recognition objectives system
CN103996015B (zh) * 2013-09-26 2016-09-07 深圳市云立方信息科技有限公司 一种对3d图像识别的方法及装置
CN104519330B (zh) * 2013-09-26 2018-04-06 深圳市云立方信息科技有限公司 一种对3d视频识别的方法及装置
US9613575B2 (en) * 2014-03-17 2017-04-04 Shenzhen China Star Optoelectronics Technology Co., Ltd Liquid crystal display device and method for driving the liquid crystal display device
EP2977931A1 (en) * 2014-07-24 2016-01-27 Universität Zürich Method for tracking keypoints in a scene
US10506255B2 (en) * 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
DE102018113822A1 (de) * 2018-06-11 2019-12-12 Seefront Gmbh Konvertieren eines Bildstroms mit stereoskopischen Bildinhalten

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1661404B1 (en) * 2003-08-21 2007-10-17 ARM Norway AS Differential encoding using a 3d graphics processor
TW200822703A (en) * 2006-11-03 2008-05-16 Quanta Comp Inc Stereoscopic image format transformation method applied to display system
TWM368088U (en) * 2009-04-07 2009-11-01 Chunghwa Picture Tubes Ltd Integrated electro chromic 2D/3D display device

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793371A (en) * 1995-08-04 1998-08-11 Sun Microsystems, Inc. Method and apparatus for geometric compression of three-dimensional graphics data
US6858826B2 (en) * 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
EP1024672A1 (en) * 1997-03-07 2000-08-02 Sanyo Electric Co., Ltd. Digital broadcast receiver and display
JP3514947B2 (ja) * 1997-06-05 2004-04-05 シャープ株式会社 ３次元画像処理装置及び３次元画像処理方法
JP2001236525A (ja) * 2000-02-23 2001-08-31 Sony Corp 情報処理装置および方法、情報処理システム、並びに記録媒体
US20040030741A1 (en) * 2001-04-02 2004-02-12 Wolton Richard Ernest Method and apparatus for search, visual navigation, analysis and retrieval of information from networks with remote notification and content delivery
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JPWO2003092303A1 (ja) 2002-04-25 2005-09-08 シャープ株式会社 マルチメディア情報生成装置およびマルチメディア情報再生装置
US6791541B1 (en) * 2002-07-11 2004-09-14 Microporous Products, L.P. Three-dimensional image system
JP4093833B2 (ja) * 2002-09-25 2008-06-04 シャープ株式会社 電子機器
CN101841728B (zh) * 2003-04-17 2012-08-08 夏普株式会社 三维图像处理装置
DE102005041249A1 (de) 2005-08-29 2007-03-01 X3D Technologies Gmbh Verfahren zur Erzeugung räumlich darstellbarer Bilder
US8619121B2 (en) 2005-11-17 2013-12-31 Nokia Corporation Method and devices for generating, transferring and processing three-dimensional image data
US8126260B2 (en) 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
KR101167246B1 (ko) * 2007-07-23 2012-07-23 삼성전자주식회사 ３차원 콘텐츠 재생 장치 및 그 제어 방법
KR101386810B1 (ko) 2007-09-07 2014-04-17 삼성전자주식회사 3차원 영상을 판별하기 위한 장치 및 방법
JP2010062695A (ja) * 2008-09-02 2010-03-18 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9083958B2 (en) * 2009-08-06 2015-07-14 Qualcomm Incorporated Transforming video data in accordance with three dimensional input formats
US8878912B2 (en) * 2009-08-06 2014-11-04 Qualcomm Incorporated Encapsulating three-dimensional video data in accordance with transport protocols

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1661404B1 (en) * 2003-08-21 2007-10-17 ARM Norway AS Differential encoding using a 3d graphics processor
TW200822703A (en) * 2006-11-03 2008-05-16 Quanta Comp Inc Stereoscopic image format transformation method applied to display system
TWM368088U (en) * 2009-04-07 2009-11-01 Chunghwa Picture Tubes Ltd Integrated electro chromic 2D/3D display device

Also Published As

Publication number Publication date
EP2510499A1 (en) 2012-10-17
US20120235996A1 (en) 2012-09-20
US8773430B2 (en) 2014-07-08
TW201143358A (en) 2011-12-01
WO2011071467A1 (en) 2011-06-16

Similar Documents

Publication Publication Date Title
TWI469623B (zh) 用於區別３維影像與２維影像以及藉由特徵對應決定來識別３維影像格式之存在的方法
TWI428008B (zh) 用於辨別三維影像和二維影像以及藉由影像差異測定來識別三維影像格式的呈現之方法與裝置
CN108475433B (zh) 用于大规模确定rgbd相机姿势的方法和系统
US8611641B2 (en) Method and apparatus for detecting disparity
US9445071B2 (en) Method and apparatus generating multi-view images for three-dimensional display
EP3311361B1 (en) Method and apparatus for determining a depth map for an image
US8441521B2 (en) Method and apparatus for determining view of stereoscopic image for stereo synchronization
RU2382406C1 (ru) Способ улучшения карты диспарантности и устройство для реализации способа
CN105574838B (zh) 多目相机的图像配准和拼接方法及其装置
TW201214335A (en) Method and arrangement for multi-camera calibration
Jung et al. Depth map estimation from single-view image using object classification based on Bayesian learning
KR20070061094A (ko) 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법
CN104144334B (zh) 用于立体视频内容的字幕检测
WO2014180255A1 (zh) 一种数据处理方法、装置、计算机存储介质及用户终端
US20120050485A1 (en) Method and apparatus for generating a stereoscopic image
CN105791795B (zh) 立体图像处理方法、装置以及立体视频显示设备
CN107578419B (zh) 一种基于一致性轮廓提取的立体图像分割方法
EP2932710B1 (en) Method and apparatus for segmentation of 3d image data
JP2015035799A (ja) 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム
Lin et al. A 2D to 3D conversion scheme based on depth cues analysis for MPEG videos
Jorissen et al. Multi-view wide baseline depth estimation robust to sparse input sampling
EP2932466B1 (en) Method and apparatus for segmentation of 3d image data
Gallagher Detecting anaglyph images with channel alignment features
Rzeszutek et al. Efficient automatic depth estimation for video
KR102267442B1 (ko) 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법