TWI687086B - 時間一致可靠度傳遞系統 - Google Patents

時間一致可靠度傳遞系統 Download PDF

Info

Publication number
TWI687086B
TWI687086B TW107129205A TW107129205A TWI687086B TW I687086 B TWI687086 B TW I687086B TW 107129205 A TW107129205 A TW 107129205A TW 107129205 A TW107129205 A TW 107129205A TW I687086 B TWI687086 B TW I687086B
Authority
TW
Taiwan
Prior art keywords
image
current
time
item
previous
Prior art date
Application number
TW107129205A
Other languages
English (en)
Other versions
TW202008777A (zh
Inventor
侯信宇
吳思憲
張大方
陳良基
Original Assignee
國立臺灣大學
奇景光電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣大學, 奇景光電股份有限公司 filed Critical 國立臺灣大學
Publication of TW202008777A publication Critical patent/TW202008777A/zh
Application granted granted Critical
Publication of TWI687086B publication Critical patent/TWI687086B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0077Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0085Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種時間一致可靠度傳遞系統,包含視差圖緩衝器,提供先前的視差圖;可靠度傳遞單元,根據目前的第一影像、目前的第二影像、先前的第一影像及先前的視差圖,以產生能量函數;及視差產生單元,根據能量函數以產生目前的視差圖。

Description

時間一致可靠度傳遞系統
本發明係有關一種影像處理,特別是關於一種時間一致可靠度傳遞(temporally consistent belief propagation)系統。
由於自動車、三維互動與擴增實境(AR)等應用的蓬勃發展,準確的深度資訊的要求變得更為重要。為了獲得環境的視差圖(disparity map),因而有許多複雜演算法的提出,以增進效能。
可靠度傳遞(BP)技術可成功解決影像立體匹配(stereo matching)的問題。然而,於進行視訊(video)的立體匹配時,直接使用可靠度傳遞演算法於每一訊框(frame),通常於時間上會產生不一致的視差圖。
因此亟需提出一種新穎機制,解決傳統方法對於立體視訊資料集所產生的缺失,並解決傳統方法所引起的問題,例如因先前遮蔽(occluded)區域所形成的誤差傳遞(error propagation)。
鑑於上述,本發明實施例的目的之一在於提出一種時間一致可靠度傳遞系統,有效達到時間一致與即時(real-time)可行度。
根據本發明實施例,時間一致可靠度傳遞系統包含視差圖緩衝器、可靠度傳遞單元及視差產生單元。視差圖緩衝器提供先前的視差圖。可靠度傳遞單元根據目前的第一影像、目前的第二影像、先前的第一影像及先前的視差圖,以產生能量函數。視差產生單元根據能量函數以產生目前的視差圖。
第一圖顯示本發明實施例的時間一致可靠度傳遞(temporally consistent belief propagation)系統100的方塊圖,第二圖顯示相關於第一圖的時間一致可靠度傳遞方法200的流程圖。時間一致可靠度傳遞方法200的執行順序不限定於第二圖所示。本實施例的時間一致可靠度傳遞系統(以下簡稱為系統)100可使用數位影像處理器來實施。
在本實施例中,系統100可包含視差圖(disparity map)緩衝器11,用以儲存並提供先前(時間t-1)的視差圖D t-1 l(步驟21)。視差圖緩衝器11可包含記憶體,例如靜態隨機存取記憶體(SRAM)或動態隨機存取記憶體(DRAM)。
本實施例的系統100可包含(時間一致)可靠度傳遞(BP)單元12,其根據目前(時間t)的第一影像(或訊框(frame))I t l(例如左影像)、目前的第二影像I t r(例如右影像)、先前的第一影像I t-1 l及先前的視差圖D t-1 l,以產生能量函數(energy function)E。
本實施例的可靠度傳遞單元12可包含資料項(data term)單元121,其根據目前的第一影像I t l與目前的第二影像I t r,以產生資料項E d(步驟22)。第三A圖例示目前的第一影像I t l與目前的第二影像I t r,針對包含有像素p及相鄰像素的區塊(patch或block)進行立體匹配(stereo matching)。在一實施例中,可使用絕對差和(sum of absolute differences, SAD)以量測目前的第一影像I t l與目前的第二影像I t r之間的相似度。根據所進行的立體匹配,可得到相對於視差Δx的資料項E d,如第三B圖所例示。
在一實施例中,使用可適性支撐權重(adaptive support-weight, ASW)方法以產生資料項E d,揭示於卡金·勻(Kuk-Jin Yoon)等人所提出的“使用可適性支撐權重於對應搜尋(Adaptive support-weight approach for correspondence search)”,刊於美國電機電子工程師學會(IEEE)圖樣分析與機器智慧會刊(Transactions on Pattern Analysis and Machine Intelligence (TPAMI)),第28卷,第4號,第650~656頁,2006年,其內容視為本說明書的一部份。
根據本實施例的特徵之一,系統100可包含光流(optical flow)單元13,用以對目前的第一影像I t l與先前的第一影像I t-1 l執行光流法(步驟23)。第四A圖例示目前的第一影像I t l與先前的第一影像I t-1 l,針對目前的第一影像I t l當中包含有中心像素p及相鄰像素的區塊(patch或block)B進行相似匹配,用以在先前的第一影像I t-1 l的預設視窗當中,找到至少一相似區塊B’,其中心像素為p’。在一實施例中,可使用絕對差和(SAD)以量測目前的第一影像I t l與先前的第一影像I t-1 l之間的相似度。值得注意的是,也可於先前的第一影像I t-1 l當中,找到二或多個相似區塊(例如區塊B’與B1’,其中心像素分別為p’與p1’)。
根據本實施例的另一特徵,可靠度傳遞單元12可包含時間一致項(temporal consistency term)單元122,其根據先前的視差圖D t-1 l與光流單元13的執行結果,以產生能量函數E的時間一致項E t(步驟24)。
時間一致項單元122首先於先前的第一影像I t-1 l當中,得到至少一相似區塊B’的中心像素p’的視差。如果是考量二或多個相似區塊(例如B’與B1’),則可得到中心像素p’與p1’的個別視差的加權和(weighted sum),作為所得到的視差。根據所得到的視差,可得到相對於視差Δx的時間一致項E t,如第四B圖所例示。時間一致項E t可懲罰(punish)遠離(先前的)視差值D t-1 l(p’)的視差。在這個例子中,時間一致項E t侷限於預設範圍內,例如(-T f,+T f)),用以增進強健性(robustness),其中T f為預設截止因子(truncated factor)。此外,時間一致項E t的斜率(的絕對值)可根據先前的區塊與目前的區塊之間的相似度來決定。藉此,先前的區塊與目前的愈相似,則斜率愈大,表示懲罰度(penalty)愈大。
在一實施例中,時間一致項E t可表示為:         E t(p, Δx, p’)=W f(B, B )·min(|Δx-D t-1 l(p’)|, T f)
Figure 02_image001
其中B代表目前的區塊,其中心像素為p,B’代表先前的區塊,其中心像素為p’,W f代表可適性權重(adaptive weight),α代表預設參數,用以平衡立體匹配的成本與先前訊框提示(cue),min()為最小值函數,取二輸入當中的最小值作為輸出。
根據本實施例的又一特徵,可適性權重W f可根據相似分數(similarity score)S來決定,該相似分數S代表先前的區塊與目前的區塊之間的非相似度(unlikelihood)。相似分數S可根據目前的第一影像I t l與先前的第一影像I t-1 l來決定。藉此,愈相似(或相似分數S愈小)則表示可適性權重W f愈大。換句話說,先前的區塊與目前的區塊之間愈相似,則時間一致項E t愈大,因此使得能量函數E(及其視差值或視差圖)於時間上可達到平滑。相反的,先前的區塊與目前的區塊之間愈相異(亦即,可適性權重W f愈小),表示不匹配或發生遮蔽(occlusion),較小的可適性權重W f可降低能量函數E(及其視差值或視差圖),因而避免錯誤被傳遞至下一訊框。
在本實施例中,將資料項E d與時間一致項E t相加以產生能量函數E(步驟25),其可表示如下: E(p, Δx)=E d(p, Δx)+E t(p, Δx, p’) 其中p代表像素,Δx代表視差值,p’代表以光流法得到的先前的訊框相應於像素p的像素。
第五圖例示資料項E d與時間一致項E t,將其相加以產生能量函數E。決定最小能量函數所在的視差Δx,亦即,像素p的視差,D t l(p)=min(E d(p, Δx)+E t(p, Δx, p’))。值得注意的是,本實施例的時間一致項E­ t係加至能量函數E中,而非如傳統系統係對能量函數進行比例縮放。藉此,較強的資料項E d即可得到維持。
在一實施例中,可靠度傳遞單元12可選擇的包含平滑項(smoothness term)單元123,其根據目前的第一影像I t l(的相鄰像素之間的色差),以產生能量函數E的平滑項(或稱為成對(pairwise)項)E s。在本實施例中,可使用截止線性模型(truncated linear model)以產生平滑項E s,揭示於佩德羅·費爾杉瓦(Pedro F Felzenszwalb)等人所提出的“使用有效可靠度傳遞於早期視覺(Efficient belief propagation for early vision)”,刊於電腦視覺國際期刊(International Journal of Computer Vision (IJCV)),第70卷,第1號,第41~54頁,2006年,其內容視為本說明書的一部份。平滑項E s還可包含一權重,其可根據相鄰像素之間的色差來設定。
如果產生有平滑項E s,則將資料項E d、平滑項E s與時間一致項E t相加以產生能量函數E(步驟25),可表示如下: E(p, Δx)=E d(p, Δx)+E s(p, Δx)+E t(p, Δx, p’)
本實施例的系統100可包含視差產生單元14,其根據(可靠度傳遞單元12所產生的)能量函數E,以產生目前的視差圖D t l(步驟26)。在本實施例中,使用贏者全取(winner-takes-all)方式以產生目前的視差圖D t l
根據上述實施例,將時間一致項E t加至能量函數E,以提供時間一致性。本實施例可藉由時間一致項E t(而非對資料項E d直接進行比例縮放)以維持代表的資料項E d。時間一致項E t可包含可適性權重W f,其根據先前的區塊與目前的區塊之間的相似度來決定。此外,相較於傳統系統需要先前的訊框與目前的訊框,本實施例僅需要先前的影像I t-1 l,因此可達成即時(real-time)的應用。
以上所述僅為本發明之較佳實施例而已,並非用以限定本發明之申請專利範圍;凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾,均應包含在下述之申請專利範圍內。
100           時間一致可靠度傳遞系統 11             視差圖緩衝器 12             可靠度傳遞單元 121           資料項單元 122           時間一致項單元 123           平滑項單元 13             光流單元 14             視差產生單元 200           時間一致可靠度傳遞方法 21             提供先前的視差圖 22             產生資料項(與平滑項) 23             執行光流法 24             產生時間一致項 25             將資料項與時間一致項(與平滑項)相加以產生能量函數 26             產生視差圖 I t-1 l先前的第一影像 I t l目前的第一影像 I t r目前的第二影像 D t l目前的視差圖 D t-1 l先前的視差圖 E d資料項 E t時間一致項 E s平滑項 E              能量函數 p, p’, p1’    像素 Δx           視差 B, B’, B1’  區塊 T f截止因子
第一圖顯示本發明實施例的時間一致可靠度傳遞系統的方塊圖。 第二圖顯示相關於第一圖的時間一致可靠度傳遞方法的流程圖。 第三A圖例示目前的第一影像與目前的第二影像。 第三B圖顯示相對於視差的資料項。 第四A圖例示目前的第一影像與先前的第一影像。 第四B圖顯示相對於視差的時間一致項。 第五圖例示資料項與時間一致項,將其相加以產生能量函數。
100           時間一致可靠度傳遞系統 11             視差圖緩衝器 12             可靠度傳遞單元 121           資料項單元 122           時間一致項單元 123           平滑項單元 13             光流單元 14             視差產生單元 I t-1 l先前的第一影像 I t l目前的第一影像 I t r目前的第二影像 D t l目前的視差圖 D t-1 l先前的視差圖 E d資料項 E t時間一致項 E s平滑項 E              能量函數

Claims (10)

  1. 一種時間一致可靠度傳遞系統,包含:一視差圖緩衝器,提供先前的視差圖;一可靠度傳遞單元,根據目前的第一影像、目前的第二影像、先前的第一影像及該先前的視差圖,以產生能量函數;及一視差產生單元,根據該能量函數以產生目前的視差圖;其中該可靠度傳遞單元包含一時間一致項單元,用以產生該能量函數的時間一致項,該時間一致項之值的變動相對於視差僅侷限於預設範圍內,藉以懲罰遠離先前視差值之視差。
  2. 根據申請專利範圍第1項所述的時間一致可靠度傳遞系統,其中該可靠度傳遞單元包含:一資料項單元,根據該目前的第一影像與該目前的第二影像,以產生資料項。
  3. 根據申請專利範圍第2項所述的時間一致可靠度傳遞系統,其中該資料項單元對該目前的第一影像與該目前的第二影像進行立體匹配,以產生相對於視差的該資料項。
  4. 根據申請專利範圍第2項所述的時間一致可靠度傳遞系統,更包含:一光流單元,對該目前的第一影像與該先前的第一影像執行光流法。
  5. 根據申請專利範圍第4項所述的時間一致可靠度傳遞系統,其中該光流單元對該目前的第一影像與該先前的第一影像進行相似匹配,用以在該先前的第一影像的預設視窗當中,找到至少一相似區塊。
  6. 根據申請專利範圍第4項所述的時間一致可靠度傳遞系統,其中該 時間一致項單元根據該先前的視差圖與該光流單元的執行結果,以產生該能量函數的時間一致項。
  7. 根據申請專利範圍第6項所述的時間一致可靠度傳遞系統,其中該時間一致項單元於該先前的第一影像當中,得到至少一相似區塊的中心像素的視差,據以得到相對於視差的該時間一致項。
  8. 根據申請專利範圍第7項所述的時間一致可靠度傳遞系統,其中該時間一致項的斜率係根據先前的區塊與目前的區塊之間的相似度來決定,其中該先前的區塊與該目前的愈相似,則斜率愈大。
  9. 根據申請專利範圍第6項所述的時間一致可靠度傳遞系統,其中該能量函數係將該資料項與該時間一致項相加而得到。
  10. 根據申請專利範圍第6項所述的時間一致可靠度傳遞系統,其中該可靠度傳遞單元包含:一平滑項單元,根據該目前的第一影像的相鄰像素之間的色差,以產生該能量函數的平滑項。
TW107129205A 2018-07-19 2018-08-22 時間一致可靠度傳遞系統 TWI687086B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/040,294 US10803606B2 (en) 2018-07-19 2018-07-19 Temporally consistent belief propagation system and method
US16/040,294 2018-07-19

Publications (2)

Publication Number Publication Date
TW202008777A TW202008777A (zh) 2020-02-16
TWI687086B true TWI687086B (zh) 2020-03-01

Family

ID=69162951

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107129205A TWI687086B (zh) 2018-07-19 2018-08-22 時間一致可靠度傳遞系統

Country Status (3)

Country Link
US (1) US10803606B2 (zh)
CN (1) CN110740308B (zh)
TW (1) TWI687086B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116710963A (zh) * 2021-03-03 2023-09-05 谷歌有限责任公司 实时有源立体匹配

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8509496B2 (en) * 2006-08-11 2013-08-13 DigitalOptics Corporation Europe Limited Real-time face tracking with reference images
US8798358B2 (en) * 2010-09-02 2014-08-05 Edge 3 Technologies, Inc. Apparatus and method for disparity map generation
US8855408B2 (en) * 2011-11-30 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for recovering depth information of image
US9659372B2 (en) * 2012-05-17 2017-05-23 The Regents Of The University Of California Video disparity estimate space-time refinement method and codec

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599547B2 (en) * 2005-11-30 2009-10-06 Microsoft Corporation Symmetric stereo model for handling occlusion
CN101689299B (zh) * 2007-06-20 2016-04-13 汤姆逊许可证公司 用于图像的立体匹配的系统和方法
CN102077246A (zh) * 2008-06-24 2011-05-25 汤姆森特许公司 利用运动补偿进行图像的深度提取的系统和方法
KR101669840B1 (ko) * 2010-10-21 2016-10-28 삼성전자주식회사 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법
US8737723B1 (en) * 2010-12-09 2014-05-27 Google Inc. Fast randomized multi-scale energy minimization for inferring depth from stereo image pairs
TWI475515B (zh) * 2011-04-13 2015-03-01 Univ Nat Taiwan 產生立體影片之深度圖的方法
KR20130084850A (ko) * 2012-01-18 2013-07-26 삼성전자주식회사 시차 값을 생성하는 영상 처리 방법 및 장치
CN103237228B (zh) * 2013-04-28 2015-08-12 清华大学 双目立体视频的时空一致性分割方法
CN104469337A (zh) * 2013-09-25 2015-03-25 联咏科技股份有限公司 视差计算方法及其立体匹配系统
US20170127039A1 (en) * 2015-11-02 2017-05-04 Mediatek Inc. Ultrasonic proximity detection system
CN106780543B (zh) * 2017-01-13 2019-06-28 深圳市唯特视科技有限公司 一种基于卷积神经网络的双框架估计深度和运动方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8509496B2 (en) * 2006-08-11 2013-08-13 DigitalOptics Corporation Europe Limited Real-time face tracking with reference images
US8798358B2 (en) * 2010-09-02 2014-08-05 Edge 3 Technologies, Inc. Apparatus and method for disparity map generation
US8855408B2 (en) * 2011-11-30 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for recovering depth information of image
US9659372B2 (en) * 2012-05-17 2017-05-23 The Regents Of The University Of California Video disparity estimate space-time refinement method and codec

Also Published As

Publication number Publication date
CN110740308A (zh) 2020-01-31
TW202008777A (zh) 2020-02-16
US10803606B2 (en) 2020-10-13
CN110740308B (zh) 2021-03-19
US20200027220A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
Long et al. Multi-view depth estimation using epipolar spatio-temporal networks
CN111833393A (zh) 一种基于边缘信息的双目立体匹配方法
JP5160640B2 (ja) 画像のステレオ・マッチングのためのシステム及び方法
JP5561781B2 (ja) 2d画像データを立体画像データに変換する方法およびシステム
KR101502362B1 (ko) 영상처리 장치 및 방법
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
CN110049303B (zh) 立体图像的视觉风格化
GB2564642A (en) Methods and apparatuses for panoramic image processing
EP3182369B1 (en) Stereo matching method, controller and system
US20190095694A1 (en) Apparatus and method for performing 3d estimation based on locally determined 3d information hypotheses
Jung et al. Consistent stereo matching under varying radiometric conditions
WO2020187339A1 (zh) 一种裸眼3d的虚拟视点图像生成方法及便携式终端
GB2567245A (en) Methods and apparatuses for depth rectification processing
US20230362347A1 (en) Real-Time Novel View Synthesis With Forward Warping And Depth
JP2018181047A (ja) 三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラム
CN106952304A (zh) 一种利用视频序列帧间相关性的深度图像计算方法
CN104537668A (zh) 一种快速视差图像计算方法及装置
WO2020184174A1 (ja) 画像処理装置および画像処理方法
CN110706332B (zh) 一种基于噪声点云的场景重建方法
TWI687086B (zh) 時間一致可靠度傳遞系統
JP2009530701A5 (zh)
JP2009530701A (ja) 深度マップを画像から判定する方法、深度マップを判定する装置
Hua et al. Hi-Map: Hierarchical Factorized Radiance Field for High-Fidelity Monocular Dense Mapping
Wu et al. Joint view synthesis and disparity refinement for stereo matching
CN113344989B (zh) 一种NCC和Census的最小生成树航拍图像双目立体匹配方法