TWI443600B - 影像處理的方法與相關裝置 - Google Patents

影像處理的方法與相關裝置 Download PDF

Info

Publication number
TWI443600B
TWI443600B TW100115846A TW100115846A TWI443600B TW I443600 B TWI443600 B TW I443600B TW 100115846 A TW100115846 A TW 100115846A TW 100115846 A TW100115846 A TW 100115846A TW I443600 B TWI443600 B TW I443600B
Authority
TW
Taiwan
Prior art keywords
image
depth value
superimposed
dimensional depth
processing module
Prior art date
Application number
TW100115846A
Other languages
English (en)
Other versions
TW201246121A (en
Inventor
Kun Nan Cheng
Original Assignee
Mstar Semiconductor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mstar Semiconductor Inc filed Critical Mstar Semiconductor Inc
Priority to TW100115846A priority Critical patent/TWI443600B/zh
Priority to US13/216,823 priority patent/US8903162B2/en
Publication of TW201246121A publication Critical patent/TW201246121A/zh
Application granted granted Critical
Publication of TWI443600B publication Critical patent/TWI443600B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Description

影像處理的方法與相關裝置
本發明是有關於一種影像處理的方法與相關裝置,且特別是有關於一種依據影像三維深度值而由影像中分離出影像物件並進行應用的方法與相關裝置。
為增進靜態及/或動態影像的品質、資訊、內容與趣味,影像處理與合成已被廣泛運用。舉例而言,影像去背(background removing)就是一種常用的影像處理。影像去背的目的是將影像中重要的前景獨立擷取為影像物件,使前景能和較不重要的背景分離。
在習知技術中,影像去背多以色度鑲疊(chroma keying)技術來進行。在進行色度鑲疊時,形成前景的主要物體會被放置於單色(藍色或綠色)的背景下,讓前景與單色背景一併被擷取至影像中。然後,經由影像後製,就可將顏色已知的單色背景去除,將前景的影像擷取為前景影像物件。然後,前景影像物件便可以和另行製作的背景影像疊加合成在一起,成為新的影像資料。另一習知影像去背技術則是依據前景與背景間的邊緣及/或顏色差異來將前景影像物件從背景中分離出來。
然而,前述習知技術尚有應用上的缺點。若前景影像中有某些部份的顏色近似或相同於背景的顏色,就會在去背時被去除,使前景影像不完整。此外,若前景影像較為複雜,以及/或者和背景的邊緣不明顯,均會使習知技術難以從影像中正確分辨出前景影像物件。
本發明係提供一種依據三維深度值進行影像處理的技術,可利用三維深度值將一動態或靜態影像的前景擷取為影像物件,以方便後續的影像處理,例如說是影像合成。
本發明的目的之一是提供一種影像處理的方法,包括:接收一影像,為影像的各部份分別取得對應的三維深度值,並依據影像各部份所對應的三維深度值而將該影像的一部份擷取為一影像物件(第一影像物件)。取得一第二影像物件後,進行一疊加處理,將第一影像物件與第二影像物件合成於一合成影像中。
一實施例中,可對第一影像物件及/或第二影像物件進行前處理,再於疊加處理時將前處理後的第一影像物件及/或前處理後的第二影像物件合成於合成影像中。前處理可以是對影像物件的縮放、調整其顏色、亮度、對比及/或銳利度,以及/或者調整其所對應的三維深度值及/或距離值。
疊加處理中包括一疊加優先權處理、一疊加覆蓋區處理以及一疊加後處理。進行疊加優先權處理時,依據第一影像物件與第二影像物件所對應的三維深度值及/或距離值分別提供一對應的疊加順序。進行疊加覆蓋區處理時,依據第一影像物件與第二影像物件所對應的疊加順序將第一影像物件與第二影像物件疊加合成至合成影像中。例如,若第一影像物件的距離值比第二影像物件的距離值更位於前方,可保留第一影像物件,將第二影像物件中與第一影像物件重疊的部份去除,以將第一影像物件疊合覆蓋於第二影像物件之上。
進行疊加後處理時,針對第一影像物件與第二影像物件的疊加結果作細微的處理;舉例而言,將第一、第二影像物件的疊合邊緣作混色、抗鋸齒(anti-aliasing)及/或羽化(feathering)處理,使兩者疊合的影像看起來更自然。
第一及/或第二影像物件可由影像擷取而得。此影像可以是一三維影像,各部份分別對應一視差偏移量;依據影像各部份對應的視差偏移量,可為影像的各部份分別取得對應的三維深度值。
本發明的又一目的是提供一種影像處理的裝置,包括一深度值模組、一分離模組、選擇性設置的前處理模組與一疊加處理模組。深度值模組為一影像的各部份分別取得對應的三維深度值;分離模組依據影像各部份所對應的三維深度值而將影像的一部分擷取為一影像物件。前處理模組對影像物件進行前處理。疊加處理模組對影像物件進行疊加處理;其包括一疊加優先權處理模組、一疊加覆蓋區處理模組與一疊加後處理模組,分別進行疊加優先權處理、疊加覆蓋區處理與疊加後處理。
為了對本發明之上述及其他方面有更佳的瞭解,下文特舉較佳實施例,並配合所附圖式,作詳細說明如下:
由於左眼與右眼看到同一個物件時,左眼與右眼的呈現的影像會有些許不同,而人體的大腦即根據雙眼看到的影像來建立三維(3D)影像。請參考第1A圖,其係依據本發明一實施例而以一攝影機MS攝取一三維影像的示意圖。攝影機MS設有左鏡頭CL與右鏡頭CR;對於一個與攝影機MS相隔距離值Y1的物體OB1,左鏡頭CL將物體OB1擷取為左影像PL中的成像IL1,右鏡頭CR則將物體OB1擷取為右影像PR中的成像IR1。根據左影像PL與右影像PR,可形成一三維影像,其中,左影像PL與右影像PR之成像IL1與成像IR1間有一視差偏移量X1。當要播放三維影像時,左影像PL與右影像PR被分別呈現至觀賞者的左右眼,透過成像IL1與IR1間的視差偏移量X1,即可使觀賞者看到物體OB1的三維影像。
類似地,對一個與攝影機MS相隔距離值Y2的物體OB2而言,左鏡頭CL將物體OB2擷取為左影像PL中的成像IL2,右鏡頭CR則將物體OB1擷取為右影像PR中的成像IR2;左影像PL與右影像PR之成像IL2與IR2間有一視差偏移量X2,如第1B圖所示。應特別注意的是,相較於物體OB1,物體OB2與攝影機MS距離較遠(即距離值Y2大於Y1),則成像IL2與IR2間的視差偏移量X2小於成像IL1與IR1間的視差偏移量X1。
根據上述的特性,發展出一種三維深度值(3D depth)的概念。由第1A圖與第1B圖可知,比對形成三維影像的左影像IL與右影像IR各部份的視差偏移量,就可得知物體與攝影機MS間的距離。假設第1A圖的左影像PL被定義為一參考影像(reference image),則左影像PL與右影像PR中物體OB1之成像IL1與IR1間之視差偏移量X1之正值,即為成像IL1與IR1之三維深度值。同理,在第1B圖中,當左影像PL同樣被定義為一參考影像,左影像PL與右影像PR中物體OB2之成像IL2與IR2間之視差偏移量X2之正值,即為成像IL2與IR2之三維深度值。反之,在第1A圖及第1B圖中,若定義右影像PR為參考影像,則成像IL1與IR1之三維深度值即為視差偏移量X1之負值,成像IL2與IR2之三維深度值則為視差偏移量X2之負值。如第1C圖所示,在左右影像IL與IR間比對出成像IL1與IR1之三維深度值,就可得知物體OB1與攝影機MS之間的距離值Y1。同理,比對左右影像IL與IR中的成像IL2與IR2,就可由成像IL2與IR2之三維深度值得知物體OB2與攝影機MS間的距離值Y2。換言之,依據三維深度值,可得知物體OB1與攝影機MS之間距離較近,物體OB2與攝影機MS間距離較遠。
依據第1C圖所示三維深度值之原理,即可將影像PL與PR中物體OB1的成像和物體OB2的成像區分為前景與後景。詳細來說,依據三維深度值,可得知物體OB1與攝影機MS之間距離較近,物體OB2與攝影機MS間距離較遠,而可判斷物體OB1的成像IL1與IR1為前景,物體OB2的成像IL2與IR2為後景。據此,即可將物體OB1之成像IL1與IR1由影像PL與PR中擷取出來成為前景影像物件,而達成影像去背景的功能。
請參考第2圖與第3圖;第2圖為一依據本發明一實施例的裝置10之功能方塊圖,第3圖係一依據本發明一實施例之裝置10的運作示意圖。裝置10為一影像處理的裝置,設有一深度值模組12、一分離模組14、前處理模組16與28,與一疊加處理模組18。疊加處理模組18中則包括一疊加優先權處理模組20、一疊加覆蓋區處理模組22與一疊加後處理模組24。
在裝置10中,深度值模組12接收一影像資料Pi_A的輸入,影像資料Pi_A可包括動態或靜態、二維或三維的影像;深度值模組12會為影像的各部份分別取得對應的三維深度值與距離值,而分離模組14就可依據影像各部份所對應的三維深度值與距離值而將影像的一部分擷取為一影像物件。以第3圖為例,影像資料Pi_A可包括由左影像PL與右影像PR形成的三維影像,深度值模組12會針對此三維影像中各部份取得對應之三維深度值,以為各部份提供距離值,並使分離模組14得以依據三維深度值及距離值而將前景區分出來,例如說是依據第1C圖之原理來將前景的成像IL1與IR1擷取為影像物件Iob1;影像物件Iob1對應於距離值Yob1,此距離值You1就關聯於距離值Y1。
除了依據第IC圖之原理,由攝影機MS分別攝取左影像PL及右影像PR,以取得物體OB1及OB2之三維深度值外,於本發明另一實施例中,若影像資料Pi_A本身就關聯於一測距裝置所偵測的距離值,深度值模組12也可利用測距裝置偵測的距離值輔助產生三維深度值,使得本發明得據以分離該影像資料Pi_A中之前景。以第3圖舉例說明,在一實施例中,當物體OB1與OB2的xy平面分佈位置被擷取為影像資料Pi_A中的成像I1與I2時,測距裝置30亦一併測量出物體OB1與OB2在平面法線(即z軸)的距離值Ys1與Ys2,使成像I1與I2分別關聯於距離值Ys1與Ys2。而深度值模組12就可依據距離值Ys1與Ys2訂定成像I1與I2的三維深度值,而分離模組14便可據此將前景的成像I1分離出來,作為影像物件Iob1。測距裝置30可以是雷射、紅外線、聲波、超音波及/或電磁波的測距裝置。
在另一實施例中,影像資料Pi_A可以是虛擬三維模型經由電腦繪圖的算圖(rendering)所得到的,電腦繪圖亦可一併提供三維模型的距離值(例如深度對應圖,depth map)或者關聯於距離值的參數,而深度值模組12就可以利用電腦繪圖所提供的距離值或者關聯於距離值的參數輔助產生三維深度值,使分離模組14可將影像資料Pi_A中的前景擷取為獨立的影像物件。
在分離模組14擷取出影像物件後,本發明實施例可透過前處理模組16對影像物件進行前處理。前處理可以是對影像物件的縮放、調整其顏色、亮度、對比及/或銳利度,以及/或者調整其所對應的三維深度值及/或距離值。
類似於深度值模組12的運作,本發明實施例亦可包含深度值模組26為另一影像資料Pi_B提供對應的距離值。影像資料Pi_B可以是一被疊合的影像物件;以第3圖舉例說明,影像資料Pi_B可以是影像物件Iob2,對應於距離值Yob2,而前處理模組28可對其進行前處理,類似於前處理模組16對影像物件Iob1進行的前處理。
取得影像資料Pi_A、Pi_B的影像物件與對應的距離值後,疊加處理模組18便可在疊加參數的控制下進行影像物件的疊加處理,將影像資料Pi_A與Pi_B的影像物件合成,以產生一合成影像;此合成影像可以是二維或三維、靜態或動態的影像。進行疊加處理時,疊加處理模組18中的疊加優先權處理模組20進行疊加優先權處理,依據各影像物件所對應的三維深度值及距離值分別提供一對應的疊加順序。疊加覆蓋區處理模組22進行疊加覆蓋區處理,依據各影像物件對應的疊加順序將各影像物件疊加合成至合成影像中。疊加後處理模組24進行疊加後處理,將疊加覆蓋區處理模組22的疊加結果作細微的處理,例如說是將影像物件的疊合邊緣作混色、抗鋸齒及/或羽化處理,使合成影像看起來更自然。
以第3圖為例來說明疊加處理的運作。在得到影像物件Iob1、Iob2各自的三維深度值與對應距離值Yob1與Yob2後,疊加優先權處理模組20會依據該些三維深度值與距離值訂定疊加的優先權與順序;例如,比較影像物件Iob1的三維深度值及距離值Yob1與影像物件Iob2的三維深度值及距離值Yob2,可得知影像物件lob1較影像物件lob2更位於前方,故影像物件Iob1的疊加順序優先於影像物件Iob2。當疊加覆蓋區處理模組22將影像物件Iob1與Iob2疊加至一二維的合成影像Po時,疊加順序優先的影像物件Iob1會被完整保留,而在疊加順序較低的影像物件Iob2中,若疊加的影像物件Iob1與被疊加的影像物件Iob2有部份重疊(如重疊部份Iovlp),便可將影像物件Iob2中重疊的部份去除,以將影像物件Iob1疊合覆蓋於影像物件Iob2之上。
同理,影像疊合的輸出也可以是三維影像,例如說是由左右影像PRo與PLo合成的三維影像。疊加處理模組18可為左右影像PRo與PLo分別進行疊加覆蓋區處理與疊加後處理。在本發明的一種實施例中,左影像PRo中的影像物件Iob1來自左影像PL中的成像IL1,右影像PLo中的影像物件Iob1則由右影像PR中的成像IR1形成。同理,若另一影像資料Pi_B亦包括三維影像的左右影像,則左影像PRo中的影像物件Iob2可由影像資料Pi_B的左影像形成,右影像PLo中的影像物件Iob2則由影像資料Pi_B的右影像形成。
在其他實施例中,影像資料Pi_B可為二維影像,則此情況下,若欲輸出影像為二維影像,影像物件Iob1可以直接疊合覆蓋在二維影像元件Iob2上,不需考慮其三維深度值及距離值Yob2。因此於此例中深度值模組26是選擇性設置的,其可被省略。在另一實施例中,影像資料Pi_B亦為二維影像,但欲輸出影像為三維影像,則可賦予影像元件Iob2一預設之三維深度值,並以影像資料Pi_B作為三維影像之左右影像,用以與其他影像元件疊合,以形成三維之輸出影像。該三維深度值之賦予,可參考影像資料Pi_A之三維深度值,亦可令使用者輸入。詳言之,假設於此例中三維深度值越大,表示該影像元件被置於越前方,則當影像資料Pi_B係作為一背景使用時,其所對應之影像物件Iob2被賦予一小於所有其他影像元件所對應之三維深度值之值,作為其三維深度值。或者,使用者亦可手動輸入影像資料Pi_B之三維深度值,以調整影像元件Iob2與影像元件Iob1於輸出三維影像上之相對距離。在另一實施例中,影像資料Pi_A及/或Pi_B亦可以是動態影像。動態影像由複數個圖框形成,裝置10可以針對每一圖框的影像進行影像物件的擷取與疊加。
應特別注意的是,二影像資料Pi_A及影像資料Pi_B之疊合僅為一例,本發明並不限於處理二筆影像資料,而可同時處理及疊合複數筆不同類型之影像資料,以輸出各種不同類型之影像資料。
在裝置10中,前處理模組16與28可依照影像物件疊加合成的需求調整影像物件。舉例而言,前處理模組16可縮短距離值Yob1,並對應地將影像物件Iob1放大,在合成的影像中使影像物件Iob1的位置更向前。以及/或者,前處理模組16也將影像物件Iob1的亮度增加以突顯影像物件Iob1。相對地,前處理模組28則可將影像物件Iob2的亮度降低,將其模糊化以減少其銳利度,使合成影像呈現出淺景深的效果。應注意前處理模組16與28是選擇性設置的,前處理模組16及/或28可以省略。
裝置10中的各模組可以用硬體、韌體及/或軟體來實現。深度值模組12與26可以是同一模組,前處理模組16與28亦可以是同一模組。
本發明的應用可舉例說明如下。本發明可應用於電影的拍攝,影像資料Pi_A與Pi_B可以是分別拍攝的,再運用裝置10的運作原理疊加合成。本發明亦可應用於照片的影像處理與影像編輯。再者,本發明亦可運用於視訊電話、視訊會議及/或網路攝影播放;舉例而言,可用三維攝影機MS(第1圖)拍攝視訊參與者以形成影像資料Pi_A,並利用本發明技術將參與者的影像與背景分離,再與另一影像資料Pi_B的背景疊加合成。本發明還可運用於旅遊業、多媒體應用、體育、教育事業、娛樂及或遊戲。例如說,以三維攝影機MS拍攝使用者,將使用者影像由背景分離出來,再與遊戲的虛擬背景疊加合成。
總結來說,相較於習知技術,本發明係運用三維深度值來進行前景與背景的分離,使前景能被獨立運用,使影像處理更精確、更方便,也使影像內容更為豐富多元。
綜上所述,雖然本發明已以較佳實施例揭露如上,然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾。因此,本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10...裝置
12、26...深度值模組
14...分離模組
16、28...前處理模組
18...疊加處理模組
20...疊加優先權處理模組
22...疊加覆蓋區處理模組
24...疊加後處理模組
30...測距裝置
Pi_A、Pi_B...影像資料
MS...攝影機
CL-CR...鏡頭
OB1-OB2...物體
IR1-IR2、IL1-IL2、I1-I2...成像
PR-PL、PRo-PLo、Po...影像
Y1-Y2、Ys1-Ys2...距離值
Yob1-Yob2...三維深度值
X1-X2...視差偏移量
Iob1、Iob2...影像物件
Iovlp...重疊部份
第1圖係依據本發明一實施例而以一攝影機攝取三維影像的示意圖。
第2圖係依據本發明一實施例的影像處理裝置。
第3圖係依據本發明一實施例而進行影像處理的示意圖。
10...裝置
12、26...深度值模組
14...分離模組
16、28...前處理模組
18...疊加處理模組
20...疊加優先權處理模組
22...疊加覆蓋區處理模組
24...疊加後處理模組
Pi_A、Pi_B...影像資料

Claims (26)

  1. 一種影像處理的方法,包含:接收至少一第一影像及至少一第二影像,為每一該第一影像的至少一部份取得對應的至少一三維深度值;依據該三維深度值,將每一第一影像的該部份擷取為一第一影像物件,以產生一第一疊加物件;依據每一該至少一第二影像的至少一部分取得一第二影像物件,以產生一第二疊加物件;以及將該至少一第一疊加物件與該至少一第二疊加物件進行一疊加處理以產生一合成影像。
  2. 如申請專利範圍第1項所述的方法,其中每一第一影像由複數影像畫面所產生,該複數影像畫面各包含相同之複數物件;以及為該每一第一影像的該至少一部份分別取得對應的該至少一三維深度值之步驟係分別計算每一該複數物件於該複數影像畫面之間的複數至少一位移,以取得相關於該複數物件之複數三維深度值;其中,該每一第一影像的該每一部份係相關於該複數物件之一。
  3. 如申請專利範圍第1項所述的方法,更包含接收對應於該每一第一影像之該至少一部分之一感測距離;以及為該每一第一影像的該至少一部份取得對應的該三維深度值之步驟係根據該對應於該至少一部分之該感測距離,分別取得對應的該三維深度值。
  4. 如申請專利範圍第1項所述的方法,其中該每一第一影像為一電腦繪圖,其提供對應於該至少一部分之至少一關聯於距離值之參數;以及為該每一第一影像的該至少一部份取得對應的該三維深度值之步驟係根據該對應於該至少一部分之該至少一關聯於距離值之參數,分別取得對應的該三維深度值。
  5. 如申請專利範圍第1項所述的方法,其中將該每一第一影像的該部份擷取為該第一影像物件,以產生該第一疊加物件之步驟包含:對該每一第一影像物件進行一前處理,以分別產生該第一疊加物件;其中,該前處理包括調整該複數第一影像物件之大小、顏色、亮度、銳利度或者三維深度值。
  6. 如申請專利範圍第1項所述的方法,其中依據該每一第二影像的該至少一部分取得該第二影像物件,以產生該第二疊加物件之步驟包含:對該每一第二影像物件進行一前處理,以分別產生該第二疊加物件;其中,該前處理包括調整該複數第二影像物件之大小、顏色、亮度、銳利度或者三維深度值。
  7. 如申請專利範圍第1項所述的方法,其中依據該每一該至少一第二影像的該至少一部分取得該第二影像物件,以產生該第二疊加物件之步驟包含:為該每一第二影像的該至少一部分取得對應的至少一三維深度值,而將該每一第二影像的該至少一部分擷取為一第二影像物件。
  8. 如申請專利範圍第7項所述的方法,其中該疊加處理包含:依據該至少一第一影像物件與該至少一第二影像物件所對應的複數三維深度值,分別對該至少一第一疊加物件與該至少一第二疊加物件提供對應的複數優先權重,相關於一疊加順序;以及進行一疊加覆蓋區處理,依據該疊加順序將該至少一第一疊加物件與該至少一第二疊加物件疊加合成至該合成影像中。
  9. 如申請專利範圍第1項所述的方法,更包含為該至少一第二影像物件分別指定對應的至少一三維深度值。
  10. 如申請專利範圍第9項所述的方法,其中為該至少一第二影像物件分別指定對應的至少一三維深度值之步驟包含:參考該第一影像物件對應之該三維深度值而指定該第二影像物件對應之該三維深度值。
  11. 如申請專利範圍第9項所述的方法,其中為該至少一第二影像物件分別指定對應的至少一三維深度值之步驟包含:參考一手動輸入設定資訊而指定該第二影像物件對應之該三維深度值。
  12. 如申請專利範圍第9項所述的方法,其中該疊加處理包含:依據該第一影像物件與該第二影像物件所對應的複數三維深度值,分別對該第一影像物件與該第二影像物件提供對應的複數優先權重,相關於一疊加順序;以及進行一疊加覆蓋區處理,依據該疊加順序將該至少一第一疊加物件與該至少一第二疊加物件疊加合成至該合成影像中。
  13. 如申請專利範圍第1項所述的方法,其中該疊加處理更包含對該合成影像進行一疊加後處理,包含對該至少一第一疊加物件與該至少一第二疊加物件之複數邊緣進行混色、抗鋸齒及羽化處理。
  14. 一種影像處理的裝置,包含:一深度值模組,用於為一第一影像的至少一部份取得對應的至少一三維深度值;一第一影像處理模組,用於依據該三維深度值,將該第一影像的該部份擷取為一第一影像物件,以產生一第一疊加物件;一第二影像處理模組,用於依據一至少一第二影像取得一第二影像物件,以產生一第二疊加物件;以及一疊加處理模組,將該至少一第一疊加物件與該至少一第二疊加物件進行一疊加處理以產生一合成影像。
  15. 如申請專利範圍第14項所述的裝置,其中每一第一影像由複數影像畫面所產生,該複數影像畫面各包含相同之複數物件;以及該第一影像處理模組係分別計算每一該複數物件於該複數影像畫面之間的複數至少一位移,以取得相關於該複數物件之複數三維深度值;其中,該每一第一影像的該每一部份係相關於該複數物件之一。
  16. 如申請專利範圍第14項所述的裝置,更包含接收對應於該每一第一影像之該至少一部分之一感測距離;以及該第一影像處理模組係根據該對應於該至少一部分之該感測距離,分別取得對應的該三維深度值。
  17. 如申請專利範圍第14項所述的裝置,其中該每一第一影像為一電腦繪圖,其提供對應於該至少一部分之至少一關聯於距離值之參數;以及該第一影像處理模組係根據該對應於該至少一部分之該至少一關聯於距離值之參數,分別取得對應的該三維深度值。
  18. 如申請專利範圍第14項所述的裝置,其中該第一影像處理模組包含:一前處理模組,用以對該每一第一影像物件進行一前處理,以分別產生該第一疊加物件;其中,該前處理包括調整該複數第一影像物件之大小、顏色、亮度、銳利度或者三維深度值。
  19. 如申請專利範圍第14項所述的裝置,其中該第二影像處理模組包含:一前處理模組,用以對該每一第二影像物件進行一前處理,以分別產生該第二疊加物件;其中,該前處理包括調整該複數第二影像物件之大小、顏色、亮度、銳利度或者三維深度值。
  20. 如申請專利範圍第14項所述的裝置,其中,該第二影像處理模組包含一擷取模組,用以為該第二影像的至少一部分取得對應的至少一三維深度值,而將該第二影像的該至少一部分擷取為一第二影像物件。
  21. 如申請專利範圍第20項所述的裝置,其中,該疊加處理模組包含:一疊加優先權處理模組,用以依據該至少一第一影像物件與該至少一第二影像物件所對應的複數三維深度值,分別對該至少一第一疊加物件與該至少一第二疊加物件提供對應的複數優先權重,相關於一疊加順序;以及一疊加覆蓋區處理模組,用以依據該疊加順序將該至少一第一疊加物件與該至少一第二疊加物件疊加合成至該合成影像中。
  22. 如申請專利範圍第14項所述的裝置,更包含一深度值指定模組,用以為該至少一第二影像物件分別指定對應的至少一三維深度值。
  23. 如申請專利範圍第22項所述的裝置,其中,該深度值指定模組係參考該第一影像物件對應之該三維深度值而指定該第二影像物件對應之該三維深度值。
  24. 如申請專利範圍第22項所述的裝置,其中,該深度值指定模組係參考一手動輸入設定資訊而指定該第二影像物件對應之該三維深度值。
  25. 如申請專利範圍第22項所述的裝置,其中,該疊加處理模組包含:一疊加優先權處理模組,用以依據該至少一第一影像物件與該至少一第二影像物件所對應的複數三維深度值,分別對該至少一第一疊加物件與該至少一第二疊加物件提供對應的複數優先權重,相關於一疊加順序;以及一疊加覆蓋區處理模組,用以依據該疊加順序將該至少一第一疊加物件與該至少一第二疊加物件疊加合成至該合成影像中。
  26. 如申請專利範圍第14項所述的裝置,其中該疊加處理模組更包含:一疊加後處理模組,用以對該合成影像進行一疊加後處理,包含對該至少一第一疊加物件與該至少一第二疊加物件之複數邊緣進行混色、抗鋸齒及羽化處理。
TW100115846A 2011-05-05 2011-05-05 影像處理的方法與相關裝置 TWI443600B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100115846A TWI443600B (zh) 2011-05-05 2011-05-05 影像處理的方法與相關裝置
US13/216,823 US8903162B2 (en) 2011-05-05 2011-08-24 Method and apparatus for separating an image object from an image using three-dimensional (3D) image depth

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100115846A TWI443600B (zh) 2011-05-05 2011-05-05 影像處理的方法與相關裝置

Publications (2)

Publication Number Publication Date
TW201246121A TW201246121A (en) 2012-11-16
TWI443600B true TWI443600B (zh) 2014-07-01

Family

ID=47090274

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100115846A TWI443600B (zh) 2011-05-05 2011-05-05 影像處理的方法與相關裝置

Country Status (2)

Country Link
US (1) US8903162B2 (zh)
TW (1) TWI443600B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI637348B (zh) * 2013-04-11 2018-10-01 緯創資通股份有限公司 影像顯示裝置和影像顯示方法
TWI564841B (zh) * 2014-10-20 2017-01-01 陳金仁 即時影像合成裝置、方法與電腦程式產品
US10771907B2 (en) * 2014-12-11 2020-09-08 Harman International Industries, Incorporated Techniques for analyzing connectivity within an audio transducer array
JP6544978B2 (ja) * 2015-04-15 2019-07-17 キヤノン株式会社 画像出力装置およびその制御方法、撮像装置、プログラム
CN105187709B (zh) * 2015-07-28 2018-08-14 努比亚技术有限公司 一种实现异地拍摄的方法及终端
US11652978B2 (en) * 2017-01-05 2023-05-16 Eys3D Microelectronics, Co. Depth map generation device
JP7128036B2 (ja) * 2018-06-07 2022-08-30 ルネサスエレクトロニクス株式会社 映像信号受信装置、及び映像信号受信方法
JP7204504B2 (ja) * 2019-01-29 2023-01-16 株式会社Subaru 対象物確認装置
US11373391B2 (en) * 2020-03-16 2022-06-28 Novatek Microelectronics Corp. Image processing device, image processing system and image processing method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105074A1 (en) * 2002-08-02 2004-06-03 Peter Soliz Digital stereo image analyzer for automated analyses of human retinopathy
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
DE602005013752D1 (de) * 2005-05-03 2009-05-20 Seac02 S R L Augmented-Reality-System mit Identifizierung der realen Markierung des Objekts
DE102009031732B3 (de) * 2009-07-04 2010-11-25 Sick Ag Entfernungsmessender optoelektronischer Sensor
US20110211749A1 (en) * 2010-02-28 2011-09-01 Kar Han Tan System And Method For Processing Video Using Depth Sensor Information

Also Published As

Publication number Publication date
US8903162B2 (en) 2014-12-02
TW201246121A (en) 2012-11-16
US20120281905A1 (en) 2012-11-08

Similar Documents

Publication Publication Date Title
TWI443600B (zh) 影像處理的方法與相關裝置
EP2603834B1 (en) Method for forming images
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
Kuster et al. Gaze correction for home video conferencing
JP5547854B2 (ja) 携帯型装置で捕捉される多重画像からの肖像画像合成
US20120294521A1 (en) Method for 3d video content generation
JP6289811B2 (ja) 映像処理装置及び方法
US20120274626A1 (en) Stereoscopic Image Generating Apparatus and Method
JP2009282979A (ja) 画像処理装置及び画像処理方法
JP5183277B2 (ja) 立体画像表示装置
KR101711684B1 (ko) 3d 아바타 출력 장치 및 방법
JP2010531102A (ja) 色フィルタで立体画像を生成し表示する方法および装置
JP2003219271A (ja) 多地点仮想スタジオ合成システム
CN105847676A (zh) 一种图像处理方法及装置
JP2011013993A (ja) 画像表示装置および方法並びにプログラム
JP5820985B2 (ja) 立体画像処理装置および立体画像処理方法
CN102780855B (zh) 影像处理的方法与相关装置
JP2006186795A (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
CN106303694A (zh) 一种多媒体幻灯片制备的方法
TWI516120B (zh) 產生全景影像的方法及其影像擷取裝置
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
KR20190053565A (ko) 스티칭 장치를 이용한 생방송 스티칭 방법
JP2010033246A (ja) 画像合成装置および方法ならびにプログラム
Ra et al. Decoupled Hybrid 360° Panoramic Stereo Video
JP6439285B2 (ja) 画像処理装置、撮像装置および画像処理プログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees
MM4A Annulment or lapse of patent due to non-payment of fees