TW201710931A - 光場資料庫中資料擷取之方法及裝置 - Google Patents

光場資料庫中資料擷取之方法及裝置 Download PDF

Info

Publication number
TW201710931A
TW201710931A TW105119021A TW105119021A TW201710931A TW 201710931 A TW201710931 A TW 201710931A TW 105119021 A TW105119021 A TW 105119021A TW 105119021 A TW105119021 A TW 105119021A TW 201710931 A TW201710931 A TW 201710931A
Authority
TW
Taiwan
Prior art keywords
image
light field
data
sample
images
Prior art date
Application number
TW105119021A
Other languages
English (en)
Inventor
赫根 史都德
尼烏斯 塞巴特
塞德里克 泰伯特
Original Assignee
湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯姆生特許公司 filed Critical 湯姆生特許公司
Publication of TW201710931A publication Critical patent/TW201710931A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本發明係為一種用於光場資料庫中資料擷取之方法及裝置(10)，裝置(10)之獲取單元(11)獲取一樣本資料，一運算單元(12)係從光場資料庫之各四維(4D)光場資料中判定複數個二維(2D)影像，及根據樣本資料之幾何參數及2D影像之幾何參數，使樣本資料與判定之2D影像匹配。根據匹配結果，選擇2D影像中之一者作為目標影像，及擷取從其中判定目標影像之4D光場。

Description

光場資料庫中資料擷取之方法及裝置
本發明一般相關光場資料庫中資料擷取的方法及裝置，此外亦相關適合此一方法及裝置的電腦可讀取媒體。
本領域中熟知使用樣本影像及基於影像之間的相似性在二維(2D)影像資料庫中搜尋及擷取2D影像，相似性係視需要可基於不同方面，例如，在資料庫中搜尋顯示在樣本影像中的樣本物件，及擷取影像顯示物件類似於樣本物件以作為搜尋結果。擷取方法通常計算資料庫中影像的特徵，並將此等特徵與一樣本影像或樣本資料作比較以找出類似影像。特徵例如可包括彩色直方圖、邊緣及特徵點，搜尋的效能通常取決於特徵分析的品質及穩健。
穩健特徵的計算有現存議題及問題解決，首先，從模糊影像中計算及擷取可靠特徵如邊緣或特徵點係困難的。用於包括有透明(或局部透明)物件的影像，將因透明或半透明物件後方可見到背景而使彩色直方圖、邊緣檢測及特徵點檢測變差。散佈物件如樹具有枝幹及葉片將曝露深度範圍既大且在空間上散佈，此外，在多個影像之中用於從不同視點見到的物件，幾何失真及光度失真將使影像擷取困難。
場景的四維(4D)光場係已引進作為影像擷取的替代性選擇，4D光場例如係可藉由全光相機或相機網格來擷取，及允許擷取在快照後重聚焦，估算擷取中場景的深度，及其他許多彈性編輯選項用於擷取資料。可從相同場景的4D光場資料中計算多個傳統2D影像，計算的2D影像(所謂的光場影像)可在視點、觀察方向、解析度、視野深度、焦點平面等方面不同。例如，在參考文獻[I]中描繪從光場中計算重聚焦2D影像的方法，其中在影像平面中使相機感測器的原始影像來的子影像在空間上偏移及後續加以彙總。
可期待將在不久的將來取得及使用更多光場資料，用於光 場資料搜尋及擷取的技術及解決方法亦將成為使用者必需。
本發明的目的為揭示在包括有4D光場資料的光場資料庫中擷取資料的解決方法，尤其使用該解決方法以搜尋資料庫中類似一給定樣本資料的光場資料。
根據一實施例，揭示一種在光場資料庫中擷取資料的方法，光場資料庫包括4D光場資料。該方法包括：獲取一樣本資料；從光場資料庫的各4D光場資料中判定複數個二維(2D)影像，各2D影像係在至少一幾何參數中不同於另一2D影像；根據樣本資料的幾何參數及2D影像的幾何參數，使樣本資料與判定的2D影像匹配；基於匹配結果，選擇2D影像中的一者作為目標影像；及擷取從其中判定目標影像的4D光場資料。幾何參數包括以下項目中的至少一者：解析度、視點、觀察方向、焦點平面、樣本影像與2D影像的視差，及樣本資料及2D影像中擷取的影像物件。樣本資料可視需要係2D影像樣本或光場資料樣本。
較佳地，從光場資料庫判定的2D影像包括以下項目中的至少一者：子孔徑視野、重聚焦影像、全聚焦影像、剪裁影像、未上色影像、去雜訊影像，及使用光場資料庫之修改視點、修改視差或修改深度圖的合成影像。
較佳地，使樣本資料與判定的2D影像匹配包括在從光場資料庫的同一光場資料中判定的多個2D影像之中使用一幾何連結，幾何連結表示在多個2D影像的幾何參數之中的關係。
在一實施例中，樣本資料係一光場資料樣本。該方法尚包括：從光場資料樣本判定複數個2D影像樣本，各2D影像樣本係在至少一幾何參數中不同於另一2D影像樣本；及根據2D影像樣本的幾何參數及光場資料庫中所判定2D影像的幾何參數，使樣本資料的2D影像樣本與光場資料庫中判定的2D影像匹配。
較佳地，此方法實施例尚包括：從複數個2D影像樣本中選擇具最高清晰度的2D影像樣本，或選擇在前視野顯示一目標樣本物件的2D影像樣本，作為光場資料樣本的代表性樣本；及根據代表性樣本的幾何參數及光場資料庫中所判定2D影像的幾何參數，使代表性樣本與光 場資料庫中判定的2D影像匹配。
根據一實施例，揭示一種配置用以從光場資料庫中擷取資料的裝置，該裝置包括一獲取單元及一運算單元，獲取單元係配置用以獲取一樣本資料，運算單元係配置用以從光場資料庫的各4D光場資料中判定複數個二維(2D)影像，各2D影像係在至少一幾何參數中不同於另一2D影像；根據樣本資料的幾何參數及2D影像的幾何參數，使樣本資料與判定的2D影像匹配；基於匹配結果，選擇2D影像中的一者作為目標影像；及擷取從其中判定目標影像的4D光場資料。幾何參數包括以下項目中的至少一者：解析度、視點、觀察方向、焦點平面、樣本資料與2D影像的視差，及樣本資料及2D影像中擷取的影像物件。
較佳地，運算單元尚配置用以在從光場資料庫的同一光場資料中判定的多個2D影像之中使用一幾何連結，幾何連結表示多個2D影像的幾何參數之中的關係。
在一實施例中，樣本資料係一光場資料樣本，運算單元尚配置用以從光場資料樣本中判定複數個2D影像樣本，各2D影像樣本係在至少一幾何參數中不同於另一2D影像樣本；及根據2D影像樣本的幾何參數及光場資料庫中所判定2D影像的幾何參數，使樣本資料的2D影像樣本與光場資料庫中判定的2D影像匹配。
較佳地，運算單元尚配置用以從複數個2D影像樣本中選擇具最高清晰度的2D影像樣本，或選擇在前視野顯示一目標樣本物件的2D影像樣本，作為光場資料樣本的代表性樣本；及根據代表性樣本的幾何參數及光場資料庫中所判定2D影像的幾何參數，使代表性樣本與光場資料庫中判定的2D影像匹配。
而且，一種電腦可讀取儲存媒體具有指令儲存其中以用於光場資料庫中的資料擷取，當電腦執行該等指令時，令電腦用以：獲取一樣本資料；從光場資料庫的各4D光場資料中判定複數個二維(2D)影像，各2D影像係在至少一幾何參數中不同於另一2D影像；根據樣本資料的幾何參數及2D影像的幾何參數，使樣本資料與判定的2D影像匹配；基於匹配結果，選擇2D影像中的一者作為目標影像；及擷取從其中判定目標影像的4D光場資料。幾何參數包括以下項目中的至少一者：解析度、 視點、觀察方向、焦點平面、樣本資料與2D樣本的視差，及樣本資料及2D影像中擷取的影像物件。
電腦可讀取儲存媒體可係非暫態依電性或不變性儲存媒體，如硬碟、光學(或磁性)碟片(或帶)、固態記憶裝置等，因此儲存媒體有形具體實現可由電腦或處理裝置執行的一指令程式，用以執行本文所描述程式步驟。
所揭示方法利用光場資料庫包含擷取場景有關的豐富資訊的洞察力，光場資料庫及其提供的視覺資訊的使用可克服傳統影像資料庫的數個缺點，例如可搜尋及擷取在不同深度的目標物件以及局部透明物件及局部散佈物件。此外，亦可在光場資料庫中搜尋由不同視點見到的物件，當使用幾何連結時，甚至能使搜尋及擷取提升且更有效率。
10‧‧‧裝置
11‧‧‧獲取單元
12‧‧‧運算單元
13‧‧‧儲存單元
20‧‧‧樣本資料獲取步驟
21‧‧‧2D影像判定步驟
22‧‧‧匹配步驟
23‧‧‧目標影像選擇步驟
24‧‧‧4D光場資料擷取步驟
25‧‧‧2D影像樣本判定步驟
26‧‧‧代表性樣本選擇步驟
27‧‧‧使用幾何連結步驟
為較佳理解本發明，以下將參考附圖以詳細說明所揭示解決方法，當然解決方法係不限於揭示的示範實施例，亦可將特定特徵適當地結合及/或修改，並不背離本發明如後附申請專利範圍所界定的範疇，圖中：圖1係以示意圖描繪一裝置示範實施例，配置用以擷取光場資料庫中的資料；圖2係以流程圖描繪一較佳方法實施例用於光場資料庫中的資料擷取；圖3係以流程圖描繪另一較佳方法實施例用於光場資料庫中的資料擷取；圖4係以流程圖描繪又一較佳方法實施例用於光場資料庫中的資料擷取。
在說明中使用的”光場”一詞應理解為如本領域通常所定義，意即，4D視訊資料包括(在任何瞬間)一空間場景中在每一方向行進的每一點的所有光線有關的角度及空間資訊，並例如可藉由全光視訊相機、視訊相機陣列或其他任何合適相機裝置來擷取。尤其在本說明中光場可理解為用於一場景所擷取資料的全體或理解為該全體的子集，其允許用以產生光場的2D影像資料。
圖1示意地描繪一裝置10的示範實施例，配置用以從包括有4D光場資料的光場資料庫中擷取資料，該裝置包括一獲取單元11、 一運算單元12，及一可選儲存單元13。
獲取單元11係配置用以獲取一樣本資料，可由使用者透過裝置10的使用者輸入(未顯示)或一外部輸入元件以獲取該樣本資料。替代地，可從一可用資料庫中獲取樣本資料，例如可將該資料庫儲存在儲存單元13中。儲存單元13可係任何可行及合適的記憶元件，可整合到裝置10中或增補到該裝置。亦可視需要將光場資料庫(其中擷取4D光場資料)儲存在儲存單元13中。
運算單元12係配置用以從光場資料庫的各4D光場資料中判定複數個2D影像，所判定2D影像中的每一者係在至少一幾何參數中不同於另一2D影像。運算單元12尚配置用以根據樣本資料的幾何參數及所判定2D影像的幾何參數，使獲取的樣本資料與判定的2D影像匹配，用以基於匹配結果，選擇2D影像中的一者作為目標影像，及用以擷取從其中判定目標影像的特定4D光場資料。
在一實施例中，運算單元12尚配置用以在從光場資料庫的同一光場資料中判定的多個2D影像之中使用一幾何連結。幾何連結表示在多個2D影像的幾何參數之中的關係。
以下將較詳細說明裝置10的操作，連同所揭示光場資料庫中資料擷取的方法，當然，裝置10可視需要包括其他任何額外或替代元件以用於所揭示方法實施例的實作。
圖2示意地描繪一較佳方法實施例用於光場資料庫(包括有4D光場資料)中的資料擷取。參考到圖1，以下將使用裝置10的示範實施例以詳細說明該方法實施例，應瞭解該方法係可實施在本領域習知及可用的其他任何合適系統或裝置。
如以上說明，光場資料庫較佳係儲存在裝置10的儲存單元13中，替代地，亦可將光場資料庫儲存在一外部記憶元件中，裝置10可存取到該外部記憶元件並從中擷取光場資料。光場資料庫包括4D光場資料。
裝置10的運算單元12從光場資料庫的各4D光場資料中判定21複數個2D影像，2D影像中的每一者係在至少一幾何參數中不同於另一2D影像。較佳地，幾何參數包括以下項目中的至少一者：解析度、 視點、觀察方向、焦點平面、樣本資料與2D影像的視差，及樣本資料及2D影像中擷取的影像物件。視需要亦可將判定的2D影像儲存在儲存單元13中。
裝置10的獲取單元11獲取20一樣本資料，樣本資料原則上定義一搜尋或擷取查詢，及視需要可係2D影像、3D影像、光場資料等。此外，較佳在樣本資料中顯示或擷取至少一樣本物件。
接著運算單元12係根據樣本資料的幾何參數及2D影像的幾何參數以使樣本資料與判定的2D影像匹配。基於匹配結果，運算單元12選擇23 2D影像中的一者作為目標影像，及因此擷取24 4D光場資料(從其中判定目標影像)作為擷取結果。
所揭示方法利用光場資料庫包含此等光場所擷取場景有關豐富資訊的洞察力，因此將樣本資料與光場資料庫所含不同視覺資訊的最大值作比較及匹配係有利且較佳的，為要正確且精確地評估樣本資料與光場資訊之間的相似性，及藉此達到擷取結果提升。
從光場資料庫的各光場資料所判定21的2D影像，其本質係各有不同，例如，2D影像可係子孔徑視野，其各自特徵為一特定觀察方向。2D影像可係重聚焦影像或全聚焦影像，其中將全部影像內容聚焦。亦可從光場資料中判定及計算其他類型的影像，如剪裁影像、未上色影像、去雜訊影像、深度圖、視差圖或其他任何類型的影像。
較佳地，從光場資料庫的光場資料所判定21的2D影像包括以下項目中的至少一者：子孔徑視野、重聚焦影像、全聚焦影像、剪裁影像、未上色影像、去雜訊影像，及使用光場資料庫的修改視點、修改視差或修改深度圖的合成影像。
參考到圖3，在一實施例中，獲取20的樣本資料本身係一光場資料樣本，因此該方法尚包括從光場資料樣本中判定25複數個2D影像樣本，其中2D影像樣本中的每一者係在至少一幾何參數中不同於另一2D影像樣本。此步驟較佳係藉由裝置10的運算單元12來執行，因此，運算單元12係根據2D影像樣本的幾何參數及光場資料庫中所判定2D影像的幾何參數，使樣本資料的2D影像樣本與光場資料中判定的2D影像匹配22。
較佳地，該方法尚包括從複數個2D影像樣本(係從給定光場資料樣本中判定)中選擇26一代表性2D影像樣本，此選擇步驟同樣較佳由運算單元12來執行。此選擇係基於以下想法：通常利用影像以最佳地完成資料庫中影像的擷取或影像中所顯示物件的擷取。物件或物件的至少一部分係清楚地顯示在影像中且可最佳地辨識，如具有高清晰度或從較佳視點中觀察。因此，較佳的是所選擇代表性2D影像樣本係具最高清晰度的2D影像樣本，及/或在前視野顯示(或最清晰或最佳表現)一目標樣本物件的2D影像樣本。例如，當2D影像樣本中的一者在前視野顯示一個人的臉部且具有高清晰度時，此2D影像樣本因此係將係好候選者用於對應光場資料的代表性2D影像樣本。因此，運算單元12使代表性樣本與光場資料庫中判定的2D影像匹配以用於光場資料庫中的資料擷取。
參考到圖4，在另一實施例中，該方法尚包括在多個2D影像之中使用一幾何連結，該等2D影像係從光場資料庫的同一光場資料中判定。幾何連結表示在多個2D影像的幾何參數之中的關係。幾何連結較佳允許用以定出多個2D影像的次序，例如，幾何連結可將多個2D影像組織成次序表或網格。一維網格或次序表例如可係具有焦距的焦點堆疊為幾何參數，及二維網格例如可係具有不同觀察方向的多個視野組成的網格，其中觀察方向向量的坐標係幾何參數。在填充網格前，一搜尋策略判定將比較及匹配的各別下一2D影像，藉由使用幾何連結，不再需要匹配及檢視從光場資料庫中判定的所有可能2D影像，及藉此加快光場資料庫中的搜尋及擷取。
在一實施例中，使用27焦點堆疊的幾何連結，其係根據多個2D影像中的每一者在焦點平面與影像平面之間的距離，描繪在一序列中的多個2D影像的焦點平面。
所揭示方法的此實施例尚包括以下步驟用於光場資料庫中的各光場資料：使樣本資料與多個2D影像中的第一2D影像及第二2D影像匹配，及分別計算第一特徵距離及第二特徵距離。接著使用所計算的第一特徵距離及第二特徵距離以判定對應到焦點堆疊的匹配策略，匹配策略的範例係提供如下。較佳地，匹配策略的判定包括遞迴地使樣本資料與從光場資料庫的各光場資料中所判定多個2D影像的子集匹配。例如，在 與第一2D影像及第二2D影像匹配後，選擇一第三2D影像與樣本資料匹配，及匹配結果係有助於匹配策略的判定。換句話說，根據計算的特徵距離及匹配策略遞迴地執行匹配及計算步驟，為要選擇23多個2D影像中的一候選2D影像，其具有最小特徵距離。後續地，基於匹配結果及幾何連結的使用，選擇光場資料的候選影像中的一者作為目標影像，後面接著擷取24從其中判定目標影像的4D光場資料。
藉由利用焦點堆疊的幾何連結，運算單元12可使用一系統擷取策略以使樣本資料與光場資料庫來的此等多個2D影像匹配，一匹配策略範例係提供如下。
作為開始，使樣本資料與有序焦點堆疊中具有第一索引(I1)的第一2D影像匹配，第一索引例如對應到焦點平面與影像平面之間在平均焦距的焦點平面，及因此計算特徵向量作為結果的第一距離(D1)，接著使樣本資料匹配到具有有序焦點堆疊中第二索引(I2)的第二2D影像，及計算特徵向量對應的第二距離(D2)。
若D2<D1，則記錄中將D2保持為最小特徵距離，且可預期索引越大則特徵距離越小。接著合理地使樣本資料與具有第三索引(I3)的第三影像匹配22，第三索引係在I2後面及等於I2加上I1與I2之間的間距，接著將作為結果的特徵距離D3與D2作比較，看何者較小。
若D2≧D1，則樣本資料係匹配到具有第三索引(I3)(介於I1與I2之間)的第三影像，亦匹配到具有第四索引(I4)(小於I1)的第四影像。可理解到此係用於相同目的為找出作為結果的最小特徵距離，及因此利用最小特徵距離以選擇23一最佳2D影像作為目標影像。
在另一實施例中，使用27一合併深度圖的幾何連結，合併深度圖係相關從光場資料庫的各光場資料中判定的全聚焦影像，全聚焦影像顯示所擷取場景聚焦良好，無關於場景中不同物件的深度。
藉由將多個視差圖合併成單一合併深度圖以產生及計算在此使用的合併深度圖，該等視差圖係相關從光場資料庫的同一光場資料中判定的多個2D影像。多個視差圖中的每一者通常係由多個2D影像中的二相異者(其係以不同視點來擷取相同場景或相同物件)來計算。合併深度圖的各像素指出在全聚焦影像的對應像素可見到的物件的深度。視需要 視差圖及合併深度圖亦可使用其他任何用於光場資料的可行方法及技術來產生，如焦點堆疊上的失焦深度。
在此實施例中，特別判定21一全聚焦2D影像用於光場資料庫的各4D光場資料，各全聚焦2D影像顯示所擷取場景聚焦良好，無關於場景中不同物件的深度。此外，亦產生相關各全聚焦影像的深度圖。
因此，所揭示方法尚包括以下步驟用於光場資料庫的各光場資料：使樣本資料與判定的全聚焦影像匹配22，及判定全聚焦影像中與樣本資料具有最高相似度的一幾何位置。此匹配步驟可能包括幾何運算如樣本資料的規模變更及旋轉。藉由使用全聚焦影像，由於無失焦模糊，因此匹配及比較係有效率且省時。接著使用27相關對應全聚焦影像的合併深度圖，明確用以辨識全聚焦影像中所判定位置的深度。用於各光場資料，因此可選擇多個2D影像中的一候選2D影像，其係與所判定位置的深度具有一焦點平面的2D影像或在所判定位置的深度上具有一焦點平面的2D影像。
接著計算樣本資料與各光場資料的各候選2D影像之間的特徵距離，後續地，選擇23具有最小特徵距離的候選2D影像作為目標影像，後面接著擷取24從其中判定目標影像的4D光場資料。
在此實施例中，可實施搜尋，與焦點堆疊的大小無關，因此加快光場資料庫中的搜尋及擷取。
視需要，可根據本領域中任何可用或習知技術以執行特徵距離的計算，例如在參考文獻[II]中說明的方法。
在又一實施例中，可使用特徵描述符及/或特徵袋方法以執行樣本資料與光場資料庫來的2D影像的匹配22。
參考文獻
[I] R. Ng等人，”利用手持全光相機之光場攝影術(Light field photography with a hand-held plenoptic camera)”，史丹福大學電腦科學技術報告CSTR，2005年4月；[II] K.E.A van de Sande等人，”評估顏色描述符用於物件及場景辨識(Evaluating color descriptors for object and scene recognition)”，IEEE圖形分析及機器智慧學報，32(9)，第1582-1596頁，2010年。
20‧‧‧樣本資料獲取步驟
21‧‧‧二維(2D)影像判定步驟
22‧‧‧匹配步驟
23‧‧‧目標影像選擇步驟
24‧‧‧四維(4D)光場資料擷取步驟

Claims (14)

  1. 一種在光場資料庫中擷取資料之方法，該光場資料庫包括有四維(4D)光場資料，該方法包括有：- 獲取(20)一樣本資料；- 從光場資料庫之各4D光場資料中判定(21)複數個二維(2D)影像，各2D影像係在至少一幾何參數中不同於另一2D影像；- 根據樣本資料之幾何參數及2D影像之幾何參數，使樣本資料與判定之2D影像匹配(22)；- 基於匹配結果，選擇(23)2D影像中之一者為目標影像；及- 擷取(24)從其中判定目標影像之4D光場資料；其中幾何參數包括以下項目中之至少一者：解析度、視點、觀察方向、焦點平面、樣本資料與2D影像之視差，及樣本資料及2D影像中擷取之影像物件。
  2. 如申請專利範圍第1項之方法，其中樣本資料係一2D影像樣本。
  3. 如申請專利範圍第1項之方法，其中樣本資料係一光場資料樣本，該方法包括有：- 從光場資料樣本中判定(25)複數個2D影像樣本，各2D影像樣本係在至少一幾何參數中不同於另一2D影像樣本；及- 根據2D影像樣本之幾何參數及光場資料庫中所判定2D影像之幾何參數，使樣本資料之2D影像樣本與光場資料庫中判定之2D影像匹配(22)。
  4. 如申請專利範圍第3項之方法，尚包括有：- 從複數個2D影像樣本中選擇(26)具最高清晰度之2D影像樣本，或選擇其中在前視野顯示一目標樣本物件之2D影像樣本，作為光場資料樣本之代表性樣本；及- 根據代表性樣本之幾何參數及光場資料庫中所判定2D影像之幾何參數，使代表性樣本與光場資料庫中判定之2D影像匹配(22)。
  5. 如先前申請專利範圍中任一項之方法，其中從光場資料庫中判定之2D影像包括以下項目中之至少一者：子孔徑視野、重聚焦影像、全聚 焦影像、剪裁影像、未上色影像、去雜訊影像，及使用光場資料庫之修改視點、修改視差或修改深度圖之合成影像。
  6. 如先前申請專利範圍中任一項之方法，其中樣本資料與所判定2D影像之該匹配(22)包括：- 在從光場資料庫之同一光場資料所判定多個2D影像之中使用(27)一幾何連結，其中幾何連結表示在多個2D影像之幾何參數之中之關係。
  7. 如申請專利範圍第6項之方法，其中幾何連結係一焦點堆疊，其係根據多個2D影像中每一者之焦點平面與影像平面間之距離，描繪在一序列之多個2D影像之焦點平面，該方法尚包括有以下步驟用於光場資料庫之各光場資料：- 使樣本資料與多個2D影像中之第一2D影像匹配(22)，及計算第一特徵距離；- 使樣本資料與多個2D影像中之第二2D影像匹配(22)，及計算第二特徵距離；- 基於所計算之第一特徵距離及第二特徵距離，判定一匹配策略；及- 根據匹配策略，選擇(23)多個2D影像中之候選2D影像，其具有最小特徵距離；及- 基於匹配結果及幾何連結之使用，選擇(23)候選影像中之一者作為目標影像。
  8. 如申請專利範圍第7項之方法，其中判定匹配策略包括遞迴地使樣本資料與從光場資料庫之各光場資料所判定多個2D影像之子集匹配。
  9. 如申請專利範圍第6項之方法，其中幾何連結係一合併深度圖，相關從一光場資料中判定之全聚焦影像，該方法尚包括有以下步驟用於光場資料庫之各光場資料：- 判定(21)一全聚焦2D影像：- 產生相關全聚焦影像之合併深度圖；- 使樣本資料與全聚焦影像匹配(22)，用以判定一與樣本資料具有最高相似度之位置；- 使用(27)合併深度圖以識別所判定位置之深度；- 選擇(23)多個2D影像中之候選2D影像，其與所判定位置之深度具 有一焦點平面；及- 計算樣本資料與候選影像間之特徵距離；及- 選擇(23)候選影像中之一者作為目標影像，其具有最小特徵距離。
  10. 一種用於光場資料庫中資料擷取之裝置(10)，光場資料庫包括有四維(4D)光場資料，該裝置包括有：- 一獲取單元(11)，配置用以獲取一樣本資料；- 一運算單元(12)，配置用以從光場資料庫之各4D光場資料中判定(21)複數個二維(2D)影像，各2D影像係在至少一幾何參數中不同於另一2D影像；根據樣本資料之幾何參數及2D影像之幾何參數，使樣本資料資料與判定之2D影像匹配(22)；基於匹配結果，選擇(23)2D影像中之一者作為目標影像；及擷取(24)從其中判定目標影像之4D光場資料；其中幾何參數包括有以下項目中之至少一者：解析度、視點、觀察方向、焦點平面、樣本資料與2D影像之視差，及樣本資料及2D影像中擷取之影像物件。
  11. 如申請專利範圍第10項之裝置，其中樣本資料係一光場資料樣本，及其中運算單元(12)尚配置用以從光場資料樣本中判定(25)複數個2D影像樣本，各2D影像樣本係在至少一幾何參數中不同於另一2D影像樣本；及根據2D影像樣本之幾何參數及光場資料庫中所判定2D影像之幾何參數，使樣本資料之2D影像樣本與光場資料庫中判定之2D影像匹配(22)。
  12. 如申請專利範圍第11項之裝置，其中運算單元(12)尚配置用以從複數個2D影像樣本中選擇(26)具最高清晰度之2D影像樣本，或選擇其中在前視野顯示一目標樣本物件之2D影像樣本，作為光場資料樣本之代表性樣本；及根據代表性樣本之幾何參數及光場資料庫中所判定2D影像之幾何參數，使代表性樣本與光場資料庫中判定之2D影像匹配(22)。
  13. 如申請專利範圍第10至12項中任一項之裝置，其中運算單元(12)尚配置用以 在從光場資料庫之同一光場資料所判定多個2D影像之中使用(27)一幾何連結，其中幾何連結表示在多個2D影像之幾何參數之中之關係。
  14. 一種電腦可讀取儲存媒體，具有指令儲存其中，該等指令用於光場資料庫中資料擷取，光場資料庫包括有四維(4D)光場資料，當一電腦執行該等指令時，令電腦用以：- 獲取(20)一樣本資料；- 從光場資料庫之各4D光場資料中判定(21)複數個二維(2D)影像，各2D影像係在至少一幾何參數中不同於另一2D影像；- 根據樣本資料之幾何參數及2D影像之幾何參數，使樣本資料與判定之2D影像匹配(22)；- 基於匹配結果，選擇(23)2D影像中之一者作為目標影像；及- 擷取(24)從其中判定目標影像之4D光場資料；其中幾何參數包括有以下項目中之至少一者：解析度、視點、觀察方向、焦點平面、樣本資料與2D影像之視差，及樣本資料及2D影像中擷取之影像物件。
TW105119021A 2015-06-17 2016-06-17 光場資料庫中資料擷取之方法及裝置 TW201710931A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP15305941.5A EP3107007B1 (en) 2015-06-17 2015-06-17 Method and apparatus for data retrieval in a lightfield database

Publications (1)

Publication Number Publication Date
TW201710931A true TW201710931A (zh) 2017-03-16

Family

ID=53489907

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105119021A TW201710931A (zh) 2015-06-17 2016-06-17 光場資料庫中資料擷取之方法及裝置

Country Status (6)

Country Link
US (2) US10726067B2 (zh)
EP (1) EP3107007B1 (zh)
JP (1) JP2017010549A (zh)
KR (1) KR20160149160A (zh)
CN (1) CN106257454A (zh)
TW (1) TW201710931A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107995424B (zh) * 2017-12-06 2020-06-16 太原科技大学 基于深度图的光场全聚焦图像生成方法
CN108615221B (zh) * 2018-04-10 2020-12-01 清华大学 基于剪切二维极线平面图的光场角度超分辨率方法及装置
KR102365735B1 (ko) 2018-11-06 2022-02-22 한국전자통신연구원 플렌옵틱 영상 처리 장치, 그것을 포함하는 플렌옵틱 영상 처리 시스템 및 그것의 객체 분할 방법
CN112711965B (zh) * 2019-10-24 2023-12-05 深圳市优必选科技股份有限公司 一种绘本识别方法、装置及设备
CN111427166B (zh) * 2020-03-31 2022-07-05 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416240B1 (en) * 2012-04-02 2013-04-09 Google Inc. Determining 3D model information from stored images
CN107346061B (zh) * 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9124831B2 (en) * 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9075826B2 (en) * 2013-05-16 2015-07-07 Hewlett-Packard Development Company, L.P. Image matching

Also Published As

Publication number Publication date
US20160371304A1 (en) 2016-12-22
EP3107007A1 (en) 2016-12-21
KR20160149160A (ko) 2016-12-27
US20200349187A1 (en) 2020-11-05
CN106257454A (zh) 2016-12-28
EP3107007B1 (en) 2020-05-20
JP2017010549A (ja) 2017-01-12
US10726067B2 (en) 2020-07-28

Similar Documents

Publication Publication Date Title
Desingh et al. Depth really Matters: Improving Visual Salient Region Detection with Depth.
Zhu et al. Occlusion-model guided antiocclusion depth estimation in light field
Konrad et al. 2d-to-3d image conversion by learning depth from examples
US9426449B2 (en) Depth map generation from a monoscopic image based on combined depth cues
Tao et al. Depth from combining defocus and correspondence using light-field cameras
US20200349187A1 (en) Method and apparatus for data retrieval in a lightfield database
US20160180188A1 (en) Method for detecting salient region of stereoscopic image
TW201222288A (en) Image retrieving system and method and computer program product thereof
FR3009635A1 (fr) Procede de recherche d&#39;une image similaire dans une banque d&#39;images a partir d&#39;une image de reference
Yeh et al. Relative features for photo quality assessment
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN107578419B (zh) 一种基于一致性轮廓提取的立体图像分割方法
CN110120012A (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
CN112991419B (zh) 视差数据生成方法、装置、计算机设备及存储介质
Li et al. Multi-view inpainting for rgb-d sequence
Jorissen et al. Multi-view wide baseline depth estimation robust to sparse input sampling
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
San et al. Stereo matching algorithm by hill-climbing segmentation
US11270120B2 (en) Visual object insertion classification for videos
TWI768231B (zh) 資訊處理裝置、記錄媒體、程式產品以及資訊處理方法
Li et al. Improving PMVS algorithm for 3D scene reconstruction from sparse stereo pairs
Hollick et al. Creation of 3D models from large unstructured image and video datasets
KR101797360B1 (ko) 초점 정도 비율을 이용하는 깊이 추출 방법 및 깊이 추출 카메라 시스템
KR101740572B1 (ko) Sift에서 기울어진 물체 인식률 향상을 위한 참조 이미지의 프로젝션 방법
Liu et al. An Improved Image Stitching Method Based on Vision-Inertial Fusion