TW201607296A - 快速產生影像景深圖的方法及影像處理裝置 - Google Patents

快速產生影像景深圖的方法及影像處理裝置 Download PDF

Info

Publication number
TW201607296A
TW201607296A TW103127056A TW103127056A TW201607296A TW 201607296 A TW201607296 A TW 201607296A TW 103127056 A TW103127056 A TW 103127056A TW 103127056 A TW103127056 A TW 103127056A TW 201607296 A TW201607296 A TW 201607296A
Authority
TW
Taiwan
Prior art keywords
video frame
depth map
image processing
nth
panoramic
Prior art date
Application number
TW103127056A
Other languages
English (en)
Inventor
吳俊輝
鄭青峯
Original Assignee
國立臺灣大學
光寶科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣大學, 光寶科技股份有限公司 filed Critical 國立臺灣大學
Priority to TW103127056A priority Critical patent/TW201607296A/zh
Priority to US14/748,386 priority patent/US20160042519A1/en
Publication of TW201607296A publication Critical patent/TW201607296A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一種快速產生影像景深圖的方法，其令一影像處理裝置取得一動態影像的第n個視訊框的一全景深圖，並找出該動態影像的第(n+m)個視訊框與第n個視訊框之間相異的區域，其中m≧1，且針對第(n+m)個視訊框之與第n個視訊框相異的區域，產生一部分景深圖，再將第(n+m)個視訊框的該部分景深圖與第n個視訊框的全景深圖合併，以產生第(n+m)個視訊框的一全景深圖，藉此達到快速產生影像景深圖的目的。

Description

快速產生影像景深圖的方法及影像處理裝置
本發明是有關於一種影像景深圖產生方法，特別是指一種快速產生影像景深圖的方法。
近年來，電影及電視都朝著提供立體視訊的方向發展，目前的做法是利用既有視角的影像以及相對應的景深圖來合成虛擬視點上的立體影像。因此，影像的景深圖在立體視訊研究中扮演著不可或缺的角色。景深圖是一張灰階圖，用來表示影像上每個畫素所對應到的景深值，亦即呈現出相機到物件之間的距離資料。習知產生景深圖的技術需要取得多張具視差的影像進行分析，且每張影像需要整個做影像處理，導致處理速度十分緩慢。因此，當拍攝動態影像而需要每秒顯示多個視訊框(video frame)時，則必需採用更強運算能力的處理器或者是只能減少處理的視訊框數量，而前者會導致處理成本的增加，後者將使應用景深圖所產生的立體視訊品質受到影響。
因此，本發明的目的即在於提供一種快速產生影像景深圖的方法及應用該方法的影像處理裝置。
於是，本發明快速產生影像景深圖的方法，應用在一影像處理裝置中，並包括：(A)該影像處理裝置取得一動態影像的第n個視訊框的一全景深圖；(B)該影像處理裝置的一差異比對模組找出該動態影像的第(n+m)個視訊框與該第n個視訊框之間相異的區域，其中m≧1；(C)該影像處理裝置的一景深圖產生模組針對該第(n+m)個視訊框之與該第n個視訊框相異的區域，產生一部分景深圖；及(D)該影像處理裝置的一景深圖合併模組將該第(n+m)個視訊框的該部分景深圖與該第n個視訊框的全景深圖合併，以產生該第(n+m)個視訊框的一全景深圖。
較佳地，在步驟(A)中，是由該影像處理裝置的該景深圖產生模組針對該第n個視訊框的全部區域進行影像處理，以產生該全景深圖。
或者，較佳地，在步驟(A)中，是由該差異比對模組找出該第n個視訊框與該動態影像的第(n-1)個視訊框之間相異的區域，並由該景深圖產生模組針對該第n個視訊框之與該第(n-1)個視訊框相異的區域，產生一部分景深圖，再由該景深圖合併模組將該第n個視訊框的該部分景深圖與該第(n-1)個視訊框的全景深圖合併，而產生該第n個視訊框的該全景深圖。
較佳地，該景深圖產生模組是針對該第(n+m)個視訊框之與該第n個視訊框相異的區域以及該區域周圍 的畫素，產生該第(n+m)個視訊框的該部分景深圖。
較佳地，該影像處理裝置包括一儲存該動態影像、該全景深圖及該部分景深圖的儲存單元，以及一與該儲存單元電耦接的影像處理單元，且該景深圖產生模組、該差異比對模組及該景深圖合併模組是被預先載置於該影像處理單元，並由該影像處理單元控制並執行的軟體或韌體程式。
此外，本發明實現上述方法的一種影像處理裝置，包括一儲存單元及一影像處理單元。該儲存單元儲存一包含連續的複數個視訊框的動態影像；該影像處理單元與該儲存單元電耦接，並取得該動態影像的第n個視訊框的一全景深圖，且從該儲存單元取出該動態影像的第n個視訊框和第(n+m)個視訊框，並判別兩者之間相異的區域，其中m≧1，以針對該第(n+m)個視訊框之與該第n個視訊框相異的區域，產生一部分景深圖，再將該第(n+m)個視訊框的該部分景深圖與該第n個視訊框的該全景深圖合併，以產生該第(n+m)個視訊框的一全景深圖。
較佳地，該影像處理單元是針對該第n個視訊框的全部區域進行影像處理，以產生該第n個視訊框的該全景深圖。
或者，較佳地，該影像處理單元是找出該第n個視訊框與該動態影像的第(n-1)個視訊框之間相異的區域，並針對該第n個視訊框之與該第(n-1)個視訊框相異的區域，產生一部分景深圖，再將該第n個視訊框的該部分 景深圖與該第(n-1)個視訊框的全景深圖合併，而產生該第n個視訊框的該全景深圖。
較佳地，該影像處理單元是針對該第(n+m)個視訊框之與該第n個視訊框相異的區域以及該區域周圍的畫素，產生該部分景深圖。
較佳地，該影像處理單元包含一景深圖產生模組、一差異比對模組及一景深圖合併模組，該景深圖產生模組產生該第n個視訊框的該全景深圖以及該第(n+m)個視訊框的該部分景深圖，該差異比對模組比對並判別該第n個視訊框和該第(n+m)個視訊框之間相異的區域，該景深圖合併模組將該第(n+m)個視訊框的該部分景深圖與該第n個視訊框的該全景深圖合併，以產生該第(n+m)個視訊框的該全景深圖。
本發明藉由先取得動態影像中在前的一視訊框的一全景深圖，並針對在後的該視訊框與在前的該視訊框之間有差異的區域，產生相對應的部分景深圖，並將在後的該視訊框的部分景深圖與在前的該視訊框的全景深圖合併，即可迅速地產生在後的該視訊框的一全景深圖，確實達到本發明的功效與目的。
1‧‧‧影像處理裝置
2‧‧‧攝影裝置
11‧‧‧儲存單元
12‧‧‧影像處理單元
121‧‧‧景深圖產生模組
122‧‧‧差異比對模組
123‧‧‧景深圖合併模組
Dn‧‧‧第n個視訊框的全景深圖
P(n+1)‧‧‧第(n+1)個視訊框的部分景深圖
D(n+1)‧‧‧第(n+1)個視訊框的全景深圖
V‧‧‧區域
本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是本發明影像處理裝置的一實施例的電路方塊圖；圖2是本發明快速產生影像景深圖的方法的一實施例的 流程圖；圖3是動態影像的第n個視訊框及其全景深圖Dn的示意圖；圖4是動態影像的第(n+1)個視訊框及其部分景深圖P(n+1)的示意圖；及圖5是本實施例將全景深圖Dn與部分景深圖P(n+1)合併，以產生第(n+1)個視訊框的全景深圖D(n+1)的示意圖。
參見圖1及圖2所示，是本發明快速產生影像景深圖的方法的一較佳實施例，該方法被應用並實現在一影像處理裝置1中，它可與一攝影裝置2，例如光場相機或攝影機整合在一起，或者獨立於攝影裝置2之外，例如設置在一與攝影裝置2電耦接的電腦(圖未示)中，以處理由攝影裝置2輸出的影像。
且如圖1所示，本實施例的影像處理裝置1主要包括一儲存單元11及一與儲存單元11電耦接的影像處理單元12。其中儲存單元11儲存或暫存由相機或攝影機拍攝取得的一動態影像，該動態影像包含連續的複數個視訊框(video frame)，即影像畫面。影像處理單元12包含一景深圖產生模組121、一差異比對模組122及一景深圖合併模組123，其被預先載置於影像處理單元12中，並以被影像處理單元12控制並執行的軟體或韌體程式實現。
且為了產生動態影像的每一視訊框相對應的一景深圖，如圖2的步驟S1，首先影像處理單元12由儲存單 元11儲存的動態影像中取出第n個(例如n=1)視訊框，並執行景深圖產生模組121，使產生第n個視訊框的一全景深圖Dn，如圖3所示，並儲存在儲存單元11中。其中景深圖產生模組121可以採用台灣第103110698號申請案所提出的方法或者現有的技術來產生該全景深圖，且由於產生景深圖之技術並非本案重點，故於此不詳述其產生景深圖的處理過程。
接著，影像處理單元12會根據第n個視訊框的全景深圖產生動態影像的第(n+m)個視訊框的一全景深圖D(n+m)，其中m≧1。例如m=1時，影像處理單元12則產生第(n+1)個視訊框的全景深圖，而若第(n+1)個(即m=1)或第(n+2)個(即m=2)視訊框相較於第n個視訊框內容沒有明顯的差別或變動時，則影像處理單元12可以直接以第n個視訊框的全景深圖做為第(n+1)個或第(n+2)個視訊框的全景深圖，並根據第n個視訊框的全景深圖產生第(n+2)個(即m=2)或第(n+3)個(即m=3)視訊框的全景深圖。亦即下一個視訊框的全景深圖不一定根據其前一個視訊框的全景深圖而產生，也可以視情況根據其前m(m>1)個視訊框的全景深圖而產生。
因此，假設影像處理單元12要根據第n個視訊框的全景深圖產生第(n+1)個視訊框的全景深圖，則如圖2的步驟S2，影像處理單元12由儲存單元11中取出動態影像的第n個及第(n+1)個視訊框，並執行差異比對模組122找出第(n+1)個視訊框與第n個視訊框之間相異(有差異)的 區域V，亦即找出第(n+1)個視訊框的畫素值與第n個視訊框的畫素值相異的區域V，且該區域V的畫素值與第n個視訊框差異的程度(相異值)達到一預設值，然後，如圖2的步驟S3，影像處理單元12執行景深圖產生模組121，使針對第(n+1)個視訊框之與第n個視訊框相異的區域V以及該區域周圍的畫素，產生相對應的一部分景深圖P(n+1)，如圖4所示。
最後，如圖2的步驟S4，影像處理單元12執行景深圖合併模組123，將第(n+1)個視訊框的該部分景深圖與第n個視訊框的該全景深圖合併，如圖5所示，亦即以第(n+1)個視訊框的該部分景深圖取代第n個視訊框的全景深圖中，對應於第(n+1)個視訊框之與第n個視訊框相異的區域之部分景深圖，而產生第(n+1)個視訊框的一全景深圖D(n+1)，並儲存於儲存單元11中。
而且，值得一提的是，當n≠1，例如n=2或2以上時，亦即第n個視訊框不是動態影像的第1個畫面時，影像處理單元12可以先取出動態影像的第(n-1)個和第n個視訊框，並執行差異比對模組122，找出第n個視訊框與該動態影像的第(n-1)個視訊框之間相異的區域，並執行景深圖產生模組121針對第n個視訊框之與第(n-1)個視訊框相異的區域，產生一部分景深圖，再執行景深圖合併模組123將第n個視訊框的部分景深圖與第(n-1)個視訊框的全景深圖合併，以產生第n個視訊框的全景深圖。
因此，影像處理單元12即可重覆上述步驟S2 ，找出第(n+2)個(m=2)視訊框之與第(n+1)個視訊框相異的部分區域，再執行步驟S3，針對該部分區域產生相對應的一部分景深圖後，再執行步驟S4，將第(n+2)個視訊框的部分景深圖與第(n+1)個視訊框的全景深圖合併，即可得到第(n+2)個視訊框的全景深圖。
藉此，由於在連續的動態影像中，下一個視訊框的背景相較於前一個視訊框幾乎變動很少或差異不大，因此只需針對下一個視訊框中少數有變動的區域產生相對應的部分景深圖，再將其與前一個視訊框的全景深圖合併，即可快速地產生下一個視訊框的全景深圖，而能大大地降低影像處理單元12產生影像景深圖的運算時間。
也因此，影像處理裝置1不但只需使用一般運算能力的影像處理器，而不致造成影像處理成本增加外，而且影像處理單元12能夠針對動態影像中的每一個視訊框迅速地產生相對應的全景深圖，而不致因受限於處理速度而減少要處理的視訊框數量，使得後續應用該等景深圖所產生的立體視訊品質不致受到景深圖數量減少的影響。
綜上所述，上述實施例的影像處理裝置1藉由先取得連續動態影像中在前的一視訊框的一全景深圖，並針對在後的該視訊框與在前的該視訊框之間有差異的區域，產生相對應的部分景深圖，並將在後的該視訊框的部分景深圖與在前的該視訊框的全景深圖合併，即可迅速地產生在後的該視訊框的一全景深圖，確實達到本發明的功效與目的。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
S1~S4‧‧‧步驟

Claims (10)

  1. 一種快速產生影像景深圖的方法，應用在一影像處理裝置中，並包括：(A)該影像處理裝置取得一動態影像的第n個視訊框的一全景深圖；(B)該影像處理裝置的一差異比對模組找出該動態影像的第(n+m)個視訊框與該第n個視訊框之間相異的區域，其中m≧1；(C)該影像處理裝置的一景深圖產生模組針對該第(n+m)個視訊框之與該第n個視訊框相異的區域，產生一部分景深圖；及(D)該影像處理裝置的一景深圖合併模組將該第(n+m)個視訊框的該部分景深圖與該第n個視訊框的全景深圖合併，以產生該第(n+m)個視訊框的一全景深圖。
  2. 如請求項1所述的快速產生影像景深圖的方法，在步驟(A)中，是由該影像處理裝置的該景深圖產生模組針對該第n個視訊框的全部區域進行影像處理，以產生該全景深圖。
  3. 如請求項1所述的快速產生影像景深圖的方法，在步驟(A)中，是由該差異比對模組找出該第n個視訊框與該動態影像的第(n-1)個視訊框之間相異的區域，並由該景深圖產生模組針對該第n個視訊框之與該第(n-1)個視訊框相異的區域，產生一部分景深圖，再由該景深圖合 併模組將該第n個視訊框的該部分景深圖與該第(n-1)個視訊框的全景深圖合併，而產生該第n個視訊框的該全景深圖。
  4. 如請求項1所述的快速產生影像景深圖的方法，其中該景深圖產生模組是針對該第(n+m)個視訊框之與該第n個視訊框相異的區域以及該區域周圍的畫素，產生該第(n+m)個視訊框的該部分景深圖。
  5. 如請求項1、2、3或4所述的快速產生影像景深圖的方法，其中該影像處理裝置包括一儲存該動態影像、該全景深圖及該部分景深圖的儲存單元，以及一與該儲存單元電耦接的影像處理單元，且該景深圖產生模組、該差異比對模組及該景深圖合併模組是被預先載置於該影像處理單元，並由該影像處理單元控制並執行的軟體或韌體程式。
  6. 一種影像處理裝置，包括：一儲存單元，儲存一包含連續的複數個視訊框的動態影像；及一影像處理單元，與該儲存單元電耦接，並取得該動態影像的第n個視訊框的一全景深圖，且從該儲存單元取出該動態影像的第n個視訊框和第(n+m)個視訊框，並判別兩者之間相異的區域，其中m≧1，以針對該第(n+m)個視訊框之與該第n個視訊框相異的區域，產生一部分景深圖，再將該第(n+m)個視訊框的該部分景深圖與該第n個視訊框的該全景深圖合併，以產生該第(n+m) 個視訊框的一全景深圖。
  7. 如請求項6所述的影像處理裝置，其中該影像處理單元是針對該第n個視訊框的全部區域進行影像處理，以產生該第n個視訊框的該全景深圖。
  8. 如請求項6所述的影像處理裝置，其中該影像處理單元是找出該第n個視訊框與該動態影像的第(n-1)個視訊框之間相異的區域，並針對該第n個視訊框之與該第(n-1)個視訊框相異的區域，產生一部分景深圖，再將該第n個視訊框的該部分景深圖與該第(n-1)個視訊框的全景深圖合併，而產生該第n個視訊框的該全景深圖。
  9. 如請求項6所述的影像處理裝置，其中該影像處理單元是針對該第(n+m)個視訊框之與該第n個視訊框相異的區域以及該區域周圍的畫素，產生該部分景深圖。
  10. 如請求項6所述的影像處理裝置，其中該影像處理單元包含一景深圖產生模組、一差異比對模組及一景深圖合併模組，該景深圖產生模組產生該第n個視訊框的該全景深圖以及該第(n+m)個視訊框的該部分景深圖，該差異比對模組比對並判別該第n個視訊框和該第(n+m)個視訊框之間相異的區域，該景深圖合併模組將該第(n+m)個視訊框的該部分景深圖與該第n個視訊框的該全景深圖合併，以產生該第(n+m)個視訊框的該全景深圖。
TW103127056A 2014-08-07 2014-08-07 快速產生影像景深圖的方法及影像處理裝置 TW201607296A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103127056A TW201607296A (zh) 2014-08-07 2014-08-07 快速產生影像景深圖的方法及影像處理裝置
US14/748,386 US20160042519A1 (en) 2014-08-07 2015-06-24 Method and image processing device for efficient image depth map generation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103127056A TW201607296A (zh) 2014-08-07 2014-08-07 快速產生影像景深圖的方法及影像處理裝置

Publications (1)

Publication Number Publication Date
TW201607296A true TW201607296A (zh) 2016-02-16

Family

ID=55267777

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103127056A TW201607296A (zh) 2014-08-07 2014-08-07 快速產生影像景深圖的方法及影像處理裝置

Country Status (2)

Country Link
US (1) US20160042519A1 (zh)
TW (1) TW201607296A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108377327B (zh) * 2016-11-03 2020-01-10 深圳市掌网科技股份有限公司 全景相机以及深度信息获取方法
CN110400344B (zh) * 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法和装置
CN111833285B (zh) * 2020-07-23 2024-07-05 Oppo广东移动通信有限公司 图像处理方法、图像处理装置及终端设备
CN112750157B (zh) * 2020-08-11 2023-09-12 腾讯科技（深圳）有限公司 一种深度图像生成方法及装置
US11847788B2 (en) * 2021-04-15 2023-12-19 Himax Technologies Limited Depth processor

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582866B2 (en) * 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
KR20130114420A (ko) * 2012-04-09 2013-10-18 한국전자통신연구원 2차원 동영상의 3차원 동영상으로의 변환 방법 및 장치
JP2015019204A (ja) * 2013-07-10 2015-01-29 ソニー株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
US20160042519A1 (en) 2016-02-11

Similar Documents

Publication Publication Date Title
US10469821B2 (en) Stereo image generating method and electronic apparatus utilizing the method
TWI538512B (zh) 調整對焦位置的方法及電子裝置
US9554113B2 (en) Video frame processing method
BR112017014647A2 (zh) Image processing method and apparatus
US20170127039A1 (en) Ultrasonic proximity detection system
JP2015035658A (ja) 画像処理装置、画像処理方法、および撮像装置
US11222409B2 (en) Image/video deblurring using convolutional neural networks with applications to SFM/SLAM with blurred images/videos
TW201607296A (zh) 快速產生影像景深圖的方法及影像處理裝置
US20170310943A1 (en) Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3d cameras
US8922627B2 (en) Image processing device, image processing method and imaging device
JP2013042301A (ja) 画像処理装置、画像処理方法及びプログラム
RU2010105103A (ru) Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции
CN113875219B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20220182595A1 (en) Optical flow based omnidirectional stereo video processing method
JP2016504828A (ja) 単一のカメラを用いて３ｄ画像を取り込む方法およびシステム
TWI613904B (zh) 立體影像產生方法及使用此方法的電子裝置
JP2012195797A (ja) パンフォーカス画像生成装置
TWI508554B (zh) 基於光場相機的影像對焦處理方法及其系統
TWI504936B (zh) 影像處理裝置
JP6306952B2 (ja) 中間視点画像生成装置、中間視点画像生成方法及びコンピュータプログラム
US20160063331A1 (en) Vehicle event data recorder and operation method thereof
US10210624B2 (en) Method for determining depth for stereoscopic reconstruction of three dimensional images
JP2016036081A (ja) 画像処理装置、方法及びプログラム並びに記録媒体
JP2013192152A (ja) 撮像装置、撮像システムおよび画像処理方法
US20110267434A1 (en) Camera device, arrangement and system