TWI474286B - 以色彩為基礎之立體影像產生方法及裝置 - Google Patents
以色彩為基礎之立體影像產生方法及裝置 Download PDFInfo
- Publication number
- TWI474286B TWI474286B TW101124168A TW101124168A TWI474286B TW I474286 B TWI474286 B TW I474286B TW 101124168 A TW101124168 A TW 101124168A TW 101124168 A TW101124168 A TW 101124168A TW I474286 B TWI474286 B TW I474286B
- Authority
- TW
- Taiwan
- Prior art keywords
- color
- image
- pixel
- partition
- value
- Prior art date
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Description
本發明係關於影像處理技術，更係關於立體影像合成技術。
隨著三維(three dimension，3D)電影的風行，立體影像產生技術已逐漸成為影像處理技術的重要課題。
習知技術常以二維(two dimension，2D)影像搭配對應的深度圖的方式產生立體影像。在理想的情況下，深度圖應記錄2D影像中每個像素的深度值，如此一來即可產生失真最少的的立體影像。然而，深度圖的產生必須依靠深度攝影機，由於深度攝影機尚未普及，因此，基於成本考量，深度攝影機所建構的深度圖其像素尺寸常常遠小於2D影像的像素尺寸。在此情況下必須使用特殊的技術將較為多數的2D影像像素對應至較為少數的深度值像素。習知的技術常將畫面中屬於同一物件的影像區域對應至相同或相近之深度值。然而，此類做法在搜尋物件邊界時常涉及繁複的迭代(iteration)運算，不但處理耗時，亦需複雜且價格昂貴的硬體成本。
因此，需要一種能夠以節省運算資源、降低硬體成本的方式，將較小像素尺寸的深度圖對應至較大像素尺寸的2D影像之立體影像產生技術。
本發明提供一種以色彩為基礎之立體影像產生方法。該方法包括：接收一影像以及對應該影像之深度圖，其中該深度圖之像素尺寸小於該影像之像素尺寸；依據該深度圖之像素位置將該影像分割成複數個對應的影像分區，其中各影像分區具有一代表色；將該影像之一像素之色彩值，與該像素所屬之影像分區及其鄰近的影像分區之代表色之色彩值進行比對，以找出與該像素色彩差異最小之影像分區；以及以該色彩差異最小之影像分區對應於該深度圖之深度值為該像素之深度值。
一種以色彩為基礎之立體影像產生裝置，用以接收一影像以及對應該影像之深度圖，其中該深度圖之像素尺寸小於該影像之像素尺寸；依據該深度圖之像素位置將該影像分割成複數個對應的影像分區，其中各影像分區具有一代表色；將該影像之一像素之色彩值，與該像素所屬之影像分區及其鄰近的影像分區之代表色之色彩值進行比對，以找出與該像素色彩差異最小之影像分區；以及以該色彩差異最小之影像分區對應於該深度圖之深度值為該像素之深度值。
下文為介紹本發明之最佳實施例。各實施例用以說明本發明之原理，但非用以限制本發明。本發明之範圍當以後附之權利要求項為準。
為了避免習知技術以物件邊界為基礎合成立體影像所帶來耗時的影像處理流程以及複雜昂貴的硬體成本，本發明提供另一種以色彩為基礎的立體影像產生方法及裝置。下文將配合第1圖至第5圖說明本發明的各種實施例。
第1圖係依據本發明一實施例之立體影像產生方法流程圖。本發明之立體影像產生方法100係以影像之色彩為基礎，包括：在步驟S102中，接收一影像以及對應該影像之深度圖；在步驟S104中，依據該深度圖之像素位置將該影像分割成複數個對應的影像分區，其中各影像分區具有一代表色；在步驟S106中，將該影像之一像素之色彩值，與該像素所屬之影像分區及其鄰近的影像分區之代表色之色彩值進行比對，以找出與該像素色彩差異最小之影像分區；在步驟S108中，以該色彩差異最小之影像分區對應於該深度圖之深度值為該像素之深度值；以及最後，在步驟S110中，根據該影像的該些像數以及該些像數之深度值產生對應該影像的另一視角影像以形成一立體影像。
第2圖係本發明立體影像產生方法之步驟S102中所接收的影像及深度圖之示意圖。步驟S102所接收的影像202可為一般傳統的彩色攝影機所拍攝的的二維影像，具有複數個像素，而每個像素皆有一色彩值。舉例而言，該色彩值可以RGB值表示。為方便說明，影像202之像素尺寸(或稱解析度)為M×N個像素。步驟S102所接收的深度圖204可由深度攝影機拍攝而得。在一般情況下，為了確保深度
圖204與該影像202相對應，深度攝影機應與前述彩色攝影機架設或校正在同一位置，並對相同的場景進行拍攝。深度圖204可為一灰階圖，具有複數個像素，而每個像素可由一灰階值表示深度攝影機與所攝物件的距離(該距離即所謂的深度值)。值得注意的是，在本發明的應用領域中，不論是基於成本考量抑或受限於深度攝影機本身的解析度，深度圖204之像素尺寸(或稱解析度)係較影像202為小。為方便說明，深度圖204之像素尺寸為m×n個像素，其中m<M，而n<N。
第3圖係本發明立體影像產生方法之步驟S104中影像之分割示意圖。請一併參照第2圖。原影像202具有M×N個像素，然而，在步驟S104之後，將依據深度圖204之像素位置而被分割成m×n個影像分區。換言之，分割後的每個影像分區將由M/m列及N/n行之像素所構成。本發明之步驟S104更包括賦與各個影像分區一代表色。賦與影像分區代表色之方法包括下列幾種：(1)直接以各個影像分區中特定相對位置之像素之色彩值為該各個影像分區之代表色；(2)將各個影像分區中所有像素之色彩值進行內插運算，並以該內插值做為各個影像分區之代表色；以及(3)將各個影像分區中所有像素之色階進行統計，並以多數像素之色彩值做為各個影像分區之代表色。其中，方法(3)更包括先將RBG空間轉換成YUV空間，再以亮度值進行統計的做法。這些方法僅為方便說明，熟悉本技藝人士可適當變更或組合前述方法以決定各影像分區的代表色，本發明不必以前述方法為限。如第3圖所示，在取出各影像分區
之代表色後，本發明可得到一降尺度(down-scaled)影像302。
第4圖為本發明立體影像產生方法之步驟S106中的影像202、降尺度影像302以及深度圖204。舉例來說，影像202上一像素P具有一色彩值，以RGB色彩值表示為(Rp，Gp，Bp)。該像素P屬於(對應於)降尺度影像302上的影像分區A0，而該影像分區A0之代表色為(R0，G0，B0)。在一實施例中，與影像分區A0相鄰的為影像分區A1~A8，其代表色之色彩值分別為(R1，G1，B1)~(R8，G8，B8)。本發明在步驟S106中會將前述像素P之色彩值(Rp，Gp，Bp)與影像分區A0~A8之代表色之色彩值為(R0，G0，B0)~(R8，G8，B8)進行比對，藉以找出與該像素色彩差異最小之影像分區。此實施例以九個影像分區A0~A8為例僅為方便說明，在其他實施例中，本發明不必以此為限，熟悉本技藝人士可依本發明之精神自行定義相鄰的影像分區數目及排列方式。在第4圖中，深度圖204上對應至降尺度影像302的影像分區A0~A8的深度值分別為D0~D8。
值得注意的是，關於前述步驟S106，本發明更提供幾種比對色彩差異的方法。在一實施例中，顏色差異最小者為像素與影像分區間色彩夾角最小者。詳細地說，可由計算前述的像素P之色彩值(Rp，Gp，Bp)與一影像分區AX之代表色的色彩值(RX，GX，BX)兩者間的內積值達成，其中內積值最大之影像分區即為與該像素色彩差異最小之影像分區。在另一實施例中，顏色差異最小者為與影像分區間色彩距離最近者。詳細地說，可透過計算前述的像素
P之色彩值(Rp，Gp，Bp)與一影像分區AX之代表色的色彩值(RX，GX，BX)兩者在色彩空間(例如RBG色彩空間)上的距離值達成，其中距離值最小之影像分區即為與該像素色彩差異最小之影像分區。在其他實施例中，找出顏色差異最小的方法為可為前述兩方法之組合，舉例而言，可將前述的內積值除以前述的RBG空間距離值之後具有最大值之影像分區視為顏色差異最小的影像分區。
最後，請參照第4圖，假設步驟S106所找到與該像素P之色彩差異最小的影像分區為影像分區A1，則本發明在步驟S108中會以該影像分區A1對應於該深度圖204之深度值D1做為該像素P之深度值。如此一來，重覆前述之流程可找到影像202中所有像素之深度值；在經過步驟S110後，即可合成出一完整的立體影像。由於本發明運算簡單，所以透過本發明合成立體圖不僅可大幅減低影像處理器的負擔，還可降低立體影像之製作成本。本發明以色彩為基礎之做法在實際應用上皆能獲得減少鋸齒影像產生之優越效果。
除了前述的立體影像產生方法，本發明另提供一種立體影像產生裝置。第5圖係依據本發明一實施例之立體影像產生裝置示意圖。本發明之立體影像產生裝置500包括一影像接收單元502、一深度圖接收單元504、一降尺度單元506、一色彩比對單元508、一深度值對應單元510以及一立體影像合成單元512，可分別執行前述立體影像產生
方法100之步驟S102~S110。其中，該影像接收單元502係用以用以接收一影像，而該一深度圖接收單元504用以接收對應該影像之深度圖。如前文所述，本發明中深度圖之像素尺寸小於該影像之像素尺寸。該降尺度單元506係耦接至該影像接收單元502以及該深度圖接收單元504，可依據該深度圖之像素位置將該影像分割成複數個對應的影像分區，並賦與各影像分區一代表色。該色彩比對單元508係耦接至該降尺度單元508及影像接收單元502，可將該影像之一像素之色彩值，與該像素所屬之影像分區及其鄰近的影像分區之代表色之色彩值進行比對，藉以找出與該像素色彩差異最小之影像分區。該深度值對應單元510係耦接至該色彩比對單元508以及深度值接收單元504，可以該色彩差異最小之影像分區對應於該深度圖之深度值做為該像素之深度值。最後，該立體影像合成單元512可根據來自該深度對應單元510之深度值以及該影像接收單元502的該影像以產生對應該影像的另一視角影像以形成一立體影像。
如同先前實施例，降尺度單元506賦與各影像分區代表色的方法包括下列幾種：(1)直接以各個影像分區中特定相對位置之像素之色彩值為該各個影像分區之代表色；(2)將各個影像分區中所有像素之色彩值進行內插運算，並以該內插值做為各個影像分區之代表色；以及(3)將各個影像分區中所有像素之色階進行統計，並以多數像素之色彩值做為各個影像分區之代表色。其中，方法(3)更包括將RBG空間轉換成YUV空間，再以亮度值進行統計的做法。本發
明不必以此為限。
此外，在一實施例中，色彩比對單元508係將與像素的色彩夾角最小的影像分區視為顏色差異最小的影像分區。詳細地說，色彩比對單元508可計算前述的像素P之色彩值與一影像分區之代表色的色彩值兩者間的內積值，並將內積值最大之影像分區視為與該像素色彩差異最小之影像分區。在另一實施例中，色彩比對單元508係將與像素的色彩距離最近的影像分區視為顏色差異最小的影像分區。詳細地說，色彩比對單元508可計算像素之色彩值與一影像分區之代表色的色彩值兩者在色彩空間(例如RBG色彩空間)上的距離值，並將距離值最小之影像分區視為與該像素色彩差異最小之影像分區。在其他實施例中，找出顏色差異最小的方法為可為前述兩方法之組合，舉例而言，可將前述的內積值除以前述的空間距離值之後具有最大值之影像分區視為顏色差異最小的影像分區。熟悉本技藝人士可參照前文的立體影像產生方法了解並實施本發明之立體影像產生裝置，為了節省篇幅，本文將不再贅述本發明立體影像產生裝置的其他細節。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何熟習此項技藝者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧立體影像產生方法
S102~S106‧‧‧步驟
500‧‧‧立體影像產生裝置
502‧‧‧影像接收單元
504‧‧‧深度圖接收單元
506‧‧‧降尺度單元
508‧‧‧色彩比對單元
510‧‧‧深度值對應單元
512‧‧‧立體影像合成單元
第1圖係依據本發明一實施例之立體影像產生方法流程圖。
第2圖係本發明立體影像產生方法之步驟S102中所接收的影像及深度圖之示意圖。
第3圖係本發明立體影像產生方法之步驟S104中影像102之分割示意圖。
第4圖為本發明立體影像產生方法之步驟S106中影像102、降尺度影像302以及深度表104。
第5圖係依據本發明一實施例之立體影像產生裝置示意圖。
100‧‧‧立體影像產生方法
S102~S110‧‧‧步驟
Claims (18)
- 一種以色彩為基礎之立體影像產生方法，包括：接收一影像以及對應該影像之深度圖，其中該深度圖之像素尺寸小於該影像之像素尺寸；依據該深度圖之像素位置將該影像分割成複數個對應的影像分區，其中各影像分區具有一代表色；將該影像之一像素之色彩值，與該像素所屬之影像分區及其鄰近的影像分區之代表色之色彩值進行比對，以找出與該像素色彩差異最小之影像分區；以及以該色彩差異最小之影像分區所對應於該深度圖之深度值為該像素之深度值。
- 如申請專利範圍第1項所述之以色彩為基礎之立體影像產生方法，其中顏色差異最小之影像分區係與該像素之色彩夾角最小之影像分區。
- 如申請專利範圍第2項所述之以色彩為基礎之立體影像產生方法，更包括透過計算該像素之色彩值與各影像分區之代表色之色彩值兩者間的一內積值，以找出與像素之色彩夾角最小之影像分區。
- 如申請專利範圍第1項所述之以色彩為基礎之立體影像產生方法，其中顏色差異最小之影像分區係與該像素之色彩距離最近之影像分區。
- 如申請專利範圍第4項所述之以色彩為基礎之立體影像產生方法，更包括透過計算該像素之色彩值與各影像分區之代表色之色彩值兩者在一色彩空間中的一距離 值，以找出與該像素之色彩距離最近之影像分區。
- 如申請專利範圍第1項所述之以色彩為基礎之立體影像產生方法，其中顏色差異最小之影像分區係與該像素之色彩夾角最小、且色彩距離最近之影像分區。
- 如申請專利範圍第1項所述之以色彩為基礎之立體影像產生方法，其中，決定各影像分區之代表色的方法更包括：以各個影像分區中特定相對位置之像素之色彩值為各個影像分區之代表色。
- 如申請專利範圍第1項所述之以色彩為基礎之立體影像產生方法，其中，決定各影像分區之代表色的方法更包括：將各個影像分區中所有像素之色彩值進行內插運算，並以該內插值做為各個影像分區之代表色。
- 如申請專利範圍第1項所述之以色彩為基礎之立體影像產生方法，其中，決定各影像分區之代表色的方法更包括：將各個影像分區中所有像素之色階進行統計，並以多數像素之色彩值做為各個影像分區之代表色。
- 一種以色彩為基礎之立體影像產生裝置，包括：一影像接收單元，用以接收一影像；一深度圖接收單元，用以接收對應該影像之深度圖，其中該深度圖之像素尺寸小於該影像之像素尺寸；一降尺度單元，耦接至該影像接收單元以及該深度圖接收單元，用以依據該深度圖之像素位置將該影像分割成 複數個對應的影像分區，並賦與各影像分區一代表色；一色彩比對單元，耦接至該降尺度單元，用以將該影像之一像素之色彩值，與該像素所屬之影像分區及其鄰近的影像分區之代表色之色彩值進行比對，以找出與該像素色彩差異最小之影像分區；以及一深度值對應單元，耦接至該色彩比對單元，用以以該色彩差異最小之影像分區對應於該深度圖之深度值為該像素之深度值。
- 如申請專利範圍第10項所述之以色彩為基礎之立體影像產生裝置，其中該色彩比對單元係將與該像素的色彩夾角最小的影像分區視為顏色差異最小的影像分區。
- 如申請專利範圍第11項所述之以色彩為基礎之立體影像產生裝置，其中該色彩比對單元透過計算該像素之色彩值與各影像分區之代表色之色彩值兩者間的一內積值，以找出與像素之色彩夾角最小之影像分區。
- 如申請專利範圍第10項所述之以色彩為基礎之立體影像產生裝置，其中該色彩比對單元係將與該像素的色彩距離最近的影像分區視為顏色差異最小的影像分區。
- 如申請專利範圍第13項所述之以色彩為基礎之立體影像產生裝置，其中該色彩比對單元透過計算該像素之色彩值與各影像分區之代表色之色彩值兩者在一色彩空間中的一距離值，以找出與該像素之色彩距離最近之影像分區。
- 如申請專利範圍第10項所述之以色彩為基礎之立體影像產生裝置，其中該色彩比對單元係將與該像素的 色彩夾角最小、且色彩距離最近的影像分區視為顏色差異最小的影像分區。
- 如申請專利範圍第10項所述之以色彩為基礎之立體影像產生裝置，其中該降尺度單元係以各個影像分區中特定相對位置之像素之色彩值為各個影像分區之代表色。
- 如申請專利範圍第10項所述之以色彩為基礎之立體影像產生裝置，其中該降尺度單元係將各個影像分區中所有像素之色彩值進行內插運算，並以該內插值做為各個影像分區之代表色。
- 如申請專利範圍第10項所述之以色彩為基礎之立體影像產生裝置，其中該降尺度單元係將各個影像分區中所有像素之色階進行統計，並以多數像素之色彩值做為各個影像分區之代表色。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW101124168A TWI474286B (zh) | 2012-07-05 | 2012-07-05 | 以色彩為基礎之立體影像產生方法及裝置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW101124168A TWI474286B (zh) | 2012-07-05 | 2012-07-05 | 以色彩為基礎之立體影像產生方法及裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201403548A TW201403548A (zh) | 2014-01-16 |
| TWI474286B true TWI474286B (zh) | 2015-02-21 |
Family
ID=50345602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW101124168A TWI474286B (zh) | 2012-07-05 | 2012-07-05 | 以色彩為基礎之立體影像產生方法及裝置 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI474286B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080247670A1 (en) * | 2007-04-03 | 2008-10-09 | Wa James Tam | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images |
| TW200842758A (en) * | 2007-02-16 | 2008-11-01 | Qualcomm Inc | Efficient 2-D and 3-D graphics processing |
| TW200937344A (en) * | 2008-02-20 | 2009-09-01 | Ind Tech Res Inst | Parallel processing method for synthesizing an image with multi-view images |
| US7995835B1 (en) * | 2002-10-02 | 2011-08-09 | Paul V Darbee | Method and apparatus for altering two-dimensional images using three-dimensional information |
| TW201216681A (en) * | 2010-10-06 | 2012-04-16 | Univ Nat Cheng Kung | Depth images production apparatus and image production method thereof |
-
2012
- 2012-07-05 TW TW101124168A patent/TWI474286B/zh active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7995835B1 (en) * | 2002-10-02 | 2011-08-09 | Paul V Darbee | Method and apparatus for altering two-dimensional images using three-dimensional information |
| TW200842758A (en) * | 2007-02-16 | 2008-11-01 | Qualcomm Inc | Efficient 2-D and 3-D graphics processing |
| US20080247670A1 (en) * | 2007-04-03 | 2008-10-09 | Wa James Tam | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images |
| TW200937344A (en) * | 2008-02-20 | 2009-09-01 | Ind Tech Res Inst | Parallel processing method for synthesizing an image with multi-view images |
| TW201216681A (en) * | 2010-10-06 | 2012-04-16 | Univ Nat Cheng Kung | Depth images production apparatus and image production method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201403548A (zh) | 2014-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9241147B2 (en) | External depth map transformation method for conversion of two-dimensional images to stereoscopic images | |
| US9532018B2 (en) | Projection system, device and method for the output of calibration projection scenes | |
| CN107274338B (zh) | 用于深度图的低等待时间变形的系统、方法和装置 | |
| JP6094863B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
| RU2690757C1 (ru) | Система синтеза промежуточных видов светового поля и способ ее функционирования | |
| KR20140088200A (ko) | 예제 유사 이미지와 연관된 예제 근사 깊이-맵을 사용하여 입력 이미지에 대한 깊이-맵 생성 | |
| JP5704975B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
| KR20110032157A (ko) | 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법 | |
| US10349040B2 (en) | Storing data retrieved from different sensors for generating a 3-D image | |
| WO2014083752A1 (ja) | 別視点画像生成装置および別視点画像生成方法 | |
| US20110080463A1 (en) | Image processing apparatus, method, and recording medium | |
| TWI820246B (zh) | 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品 | |
| WO2018052100A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
| KR20180000696A (ko) | 적어도 하나의 라이트필드 카메라를 사용하여 입체 이미지 쌍을 생성하는 방법 및 장치 | |
| KR20170025214A (ko) | 다시점 깊이맵 생성 방법 | |
| KR20150028474A (ko) | 3차원 영상의 색상 보정방법 | |
| US8977043B2 (en) | Method of image depth estimation and apparatus thereof | |
| CN110580684A (zh) | 一种基于黑白-彩色双目相机的图像增强方法 | |
| TWI474286B (zh) | 以色彩為基礎之立體影像產生方法及裝置 | |
| TWI531213B (zh) | 應用於裸視３ｄ顯示之影像轉換方法與模組 | |
| US10257488B2 (en) | View synthesis using low resolution depth maps | |
| WO2012153378A1 (ja) | 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム | |
| TW201318407A (zh) | 立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體 | |
| JP2012150614A (ja) | 自由視点画像生成装置 |