TW201208349A - Method and apparatus for converting 2D image into 3D image - Google Patents

Method and apparatus for converting 2D image into 3D image Download PDF

Info

Publication number
TW201208349A
TW201208349A TW100121625A TW100121625A TW201208349A TW 201208349 A TW201208349 A TW 201208349A TW 100121625 A TW100121625 A TW 100121625A TW 100121625 A TW100121625 A TW 100121625A TW 201208349 A TW201208349 A TW 201208349A
Authority
TW
Taiwan
Prior art keywords
image
pixel
depth information
brightness
depth
Prior art date
Application number
TW100121625A
Other languages
English (en)
Inventor
Burm-Suk Seo
Young-Su Heo
Original Assignee
Iist Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iist Co Ltd filed Critical Iist Co Ltd
Publication of TW201208349A publication Critical patent/TW201208349A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion

Description

.201208349 =像;以及顧產生的深度映像錢人影像上執行—第—視 ’以產生左眼影像、右眼影像與再生影像之至少其中之一。 之裝ί達=之:明另提出一種將二維影像轉換為三維影像 像呈有、’用以將—具有多個晝素值的輸入影 該在輸人影像上執行—第—視差處i程ί域以= 左眼衫像、右眼影像與再生影像之至少其中之一。 發明ίΙΓ=,配合所附的圖式詳加說明,當更容易瞭解本 U之目的、技_谷、特點及其所達成之功效。 【實施方式】 以上有關於本發_内容制,與以τ的實施方式_以示範與 轉本發_精神與顧,並域供本發_專财請制更進一步 的解釋。«本發日_徵、實作與功效,_合圖式作較佳實施例 詳細說明如下。 本發明所揭示將二維影像轉換為三維影像之方法及其裝置,主要 係利用-種視差處理規則(陶llax_p聰sslngruie)。更進一步來 :兒’本剌所揭示之轉換方法及其轉換裝置更可藉由在—二維的輸入 影像上進行多次視域雜序,赠該二_人影像轉換為三維影像。 -方面而言,本發明揭示之將二維影像轉換為三維影像之方法包 括以下步驟:將-具有翅畫素韻輸人f彡像轉換為具有多個亮度值 的売度影像;根據亮度影像,產生—具有深度資訊的深度映像(de帅 _);以及细產生的該深度映像在輸人影像上執行—第—視差處理 程序’以產生至少-左眼影像、—右眼影像與—再生影像。 5 201208349 在本實施射,當贿第—懸歧程柄,本發_由 有N個晝素的深度資訊(depth inf麵如),其中n大於或等於2 且N包含當下正在處理的畫素個數,當下正在處理的晝素之書辛值即 可用來取代__素(㈣㈣的嫌。並且,本發明係根 據《有N健⑽深度資訊來蚊出雜遲晝素。於此,本發明定 義延遲畫素為:配置於當下正在處理的晝素前的M個晝素,其中Μ為 大於零之整數。 根據本發明之實施例’魏影像唯有在第—晝素上執行正視差的 時候’方會在影像背景部分往右延遲;相對地,左眼影像唯有在第二 畫素上執行貞視差的辆’方會在影像物件部分往左延遲。 除此之外’本發明在_深度映像於輸人影像上執行第一視差處 理程序之後’更包括:卿-第二視差處理程序,以產生左眼影像或 右眼影像。 在本實施例中,當執行第二視差纽程序時,本發明藉由計算具 有N個畫素的深度資訊(depth inf〇rmati〇n),其中N包含當下正在 處理的晝素健,當下正在歧的晝素之畫素值即可时取代一延遲 畫素(delay pixel)㈣素值。並且,第二視差處理程序$的延遲晝 素係與該具有N個晝素的深度資訊i被決定。並且,第二視差處理 程序中的延遲畫素之畫素㈣大於第—視差處理程序中的延遲畫素之 晝素值。 參考同-深度資訊,在左眼影像上執行第一視差處理程序而取得 之延遲畫素,係糾於在右《彡像域行第二視差處理鱗而取得之 6 .201208349 延遲晝素。 根據本發明之實施例,深度資訊可以是〇或者1,且輸入影像會 根據包含有四個不同晝素之深度資訊而執行上述之視差處理程序。 其中,轉換輸入影像的步驟包括有:將輸入影像中的晝素值轉換 為亮度值。 產生深度映像的步驟包括有:利用一常數間隔(c〇nstant interval)在亮度影像中進行取樣’以獲取一取樣影像;計算取樣影 像的總平均亮度;將取樣影像分割為一上區域與一下區域,並計 算上區域的平均亮度〜抓;以及根據總平均亮度^rOT4i與上區域的平均 亮度,產生輸入影像之深度映像。 根據本實施例,當總平均亮度/大於上區域的平均亮度〜灯 時’為避免畫素亮度W"·)大於總平均亮度〜_,深度資訊係定為〇 ; 為避免畫素免度从,·/·)小於總平均亮度^咖’深度資訊係定為1。 當總平均亮度/w小赴區_平均亮度〃騰時,為避免晝素亮 度㈣)小於總平均亮度〜,深度資訊係定為q ;為避免晝素亮度 从,力大於總平均亮度/W,深度f訊係定為卜 其中,為了錢-特定晝素與下—4素之間的亮度值差異超過一 預定範圍·,產生深度映像的步驟更包括有:將娜定晝素後的D個畫 素之深度資訊皆設為〇或丨,且D為正整數。 產生深度資訊的步驟包括:將深度映像中為〇或者i的深度資訊 切分為G小2及3 ;使用-遮罩柔化該些為Q小2、3的深度資訊; 以及將晝素巾具有G至h 5 _深度映資訊重設為G,並將晝素中具 201208349 有1.5至3間的深度資訊重設為】。 僅有當深度資对所包含的】餘紅述方式侧時,輸入影像 之標題的深度資訊才會被重設至1。 另-方面而言,本發明揭示之將二維影像轉換為三維影像之方法 包括以下步驟:利用二維輸人影像中各畫素的亮度值,產生—具有〇 或1之;罙度資訊的深度映像;以及糊產生的該深度映像在輸入影像 上執行視差處理程序,以產生一左眼影像或一右眼影像。, 根據本個之實_ ’右眼影像唯有在第―畫素上執行正視差的 時候,方會在影像㈣部分往右延遲;相對地,左眼影像唯有在第二 晝素上執行負視差的時候,方會在影像物件部分往左延遲。
在本實施例巾’當執行視差處理程料,本發_由計算具有N
個晝素的深度資訊(depth inf〇rmati〇n),其中N大於或等於2,且N 包含當下正在處_畫素贿,訂正錢理的晝权畫素值即可用 來取代-延遲畫素(delaypixei)的畫素值。並且,本發明係根據該 具有N個晝素的深度資絲決定出該延遲畫素。於此,本發明定義延 遲晝素為:配置於當下正在處理的晝素前的M個晝素,其中M係為大 於零之整數。 參考同-深度資訊,在左眼影像上執行第一視差處理程序而取得 之延遲畫素,係不同於在右眼影像上執行第二視差處理而取得之延遲 晝素。並且’輸入影像係根據具有N個畫素之深度資訊而執行上述之 視差處理程序。 其中’產生深度映像的步驟包括有:將輸人影像中的晝素值轉換 8 201208349 為免度值,湘_常數間隔在亮度影像巾進行取樣,以獲取—取樣影 像;計算取鄉像的總平均亮度〜;將取樣雜分縣—上區域與 -下區域’並计算上區域的平均亮度% :以及根據總平均亮度"匪與 上區域的平均亮度〜册,產生輸入影像之深度資訊。 根據本實施例’當總平均亮度^^大於上區域的平均亮度〜 時’為避免晝素亮度从』大於總平均亮度外_,深度資訊係定為〇 ; 為避免晝素亮度从,·/)小於總平均亮度/W,深度資訊係定為卜 當總平均亮度〜小於上區域的平均亮度‘時,為避免畫素亮 度心〇’,/)小於總平均亮度〜,深度資訊係定為〇;為避免晝素亮度 &(’,·/)大於總平均亮度心_,深度資訊係定為j。 其中,為了避免-特定晝素與下一晝素之間的亮度值差異超過一 預定範圍’產《度映像的步驟更包括有:將該特定晝素後的D個畫 素之深度資訊皆設為G 4 1,其中D為正整數:將為^丨㈣深度資 訊切分為〇、卜2及3 ;使用一遮罩柔化該些為〇、卜2、3的深度資 訊;以及將晝素中具有G至1.5間的深度資訊重設為〇,並將畫素中 兵有1_ 5至3間的深度資訊重設為1。 僅有當S度資訊巾所包含的丨餘據上述方式排晴,輸入影像 之標題的深度資訊才會被重設至1。 又一方面而言,本發明揭示之將二維影像轉換為三維影像之裝置 包括:-亮度轉換區域,用以將-具有多個晝素值的輸入影像轉換為 具有多個亮度值的亮度影像;一深度映像(depthmap)區域,係根據 亮度影像,產生一具有深度資訊的深度映像;以及一再生影像區域, 9 201208349 係利用產娜嫩彳_爾均^帛—爾理程序,以 產生至少-左眼影像、—右眼影像與—再生影像。 在本實施财’當在魏册域行㈣纽程料,再生 區域藉由在第-晝素上執行正視差,以將第—晝素往右延遲。當在左 眼影像上執行視錢雜料,再生影像區域藉由在第二晝素上執行 負視差,以將第二畫素往左延遲。 並且,藉由計算具有N個晝素的深度資訊⑷帅ω。喊㈣, 其中N大於或等於2 ’且N包含當下正在處理的畫素健,再生影像 區域可利时下正在處理的畫素之晝素值來替換延遲畫素(仏Υ Pixel)的晝素值。本發明更根據該具#N個畫素的深度資訊來決定出 該延遲畫素。於此,本發蚊舰遲晝絲:配置於#下正在處理的 畫素前的Μ個畫素,其中μ為大於零之整數。 參考同-深度資訊,在左眼影像上執行第一視差處理程序而取得 之延遲晝素’係不同於在右眼影像上執行第二視祕理而取得之延遲 畫素。並且,輸入影像係根據具有Ν個畫素之深度資訊而執行上述之 視差處理程序。 亮度轉換區域係將輸入影像中的多個畫素值轉換為亮度值。 深度映像區域包括:一取樣區,係利用一常數間隔在亮度影像中 進行取樣,以獲取一取樣影像;一亮度計算區,用以計算取樣影像的 總平均亮度仏、分割取樣影像為一上區域與一下區域,並計算上區 域的平均亮度心^ ;以及一深度映像產生區,係根據總平均亮度//ra7^與 上區域的平均亮度〜《7·,產生輸入影像之深度資訊。 201208349 根據本實施例’當總平均亮度zw大於上區域的平均亮度"· 時,為避免晝素亮度咖·)大於總平均亮度一,深度資訊係定為〇; 為避免晝素⑨度从’·/)小於總平均亮度,深度資訊係、定為卜 當總平均統/W小於上區域的平均亮度〃騰時,為避免晝素亮 度从W)小於總平均亮度;W,深度資訊係定為Q ;為避免晝素亮度 ,力大於總平均亮度,深度資訊係定為i。 其中,為了避免一特定晝素與下一晝素之間的亮度值差異超過一 預定範圍’深度映像產生㈣㈣特定晝素後的D個畫素之深度資訊 皆設為0或1,且D為正整數。 根據本發明之實施例,深度映像產生區將為〇或丨的深度資訊切 分為0、1、2及3 ’並且使用一遮罩柔化該些為〇、丨、2、3的深度資 訊。之後,再將晝素中具有0至1. 5間的深度資訊重設為〇,將晝素 中具有1.5至3間的深度資訊重設為1。 僅有當深度資訊中所包含的1係依據上述方式排列時,深度映像 產生區才會將對應輸入影像之標題的深度資訊重設至1。 本發明揭示之將二維影像轉換為三維影像之方法,主要係將二維 (two-dimensiona卜2D)影像,例如:RGB影像,轉換為三維 (three-dimensional,3D)影像’並且根據二維影像產生一再生影像。 5月參閱第1圖與第2圖,其中第1圖係為根據本發明第一實施例 將二維影像轉換為三維影像之方法的步驟流程圖,第2圖係為根據第 1圖所示之步驟流程圖,其中用以取得取樣影像時之示意圖。 如第1圖所示,在步驟S100中,本發明首先將一二維輸入影像中 201208349 各畫素(pixel)的畫素值(pixel vaiue)轉換為亮度值⑽咖咖 -般而言,各種座標系統,例如:CMY座標系統、RGB座標系統、 HIS座標系統、丽座標系統等,皆可被使用作為顏色座標系統。以下 為便於解釋本發明之技術思想’係以RGB座標系統或丽座標系統作 為本發明之齡座標H但並_赚林發明之發明齡。熟習 此項技術躺者當可根據本發騎揭示之技術概,自行顧於其他 之顏色座標系統上,皆隸屬於本發明之發明範圍。 根據本發明之實施例,將輸人影像中各t素时素值轉換為亮度 值的步驟,係根據下面的公式(1)來轉換, 公式(1):
其中,A力係為轉換後之亮度值,从".)、撕)與从刀係分別 為輸入影像中各自代表R、G、β元素的亮度值;心)_單位祕 的一脈衝訊號(impulse signal)。 如公式(1)所示,則輸/ 度值。因此,如第2圖所示, 之亮度影像200。 則輸入影射各晝素的晝錄时被轉換為亮 所示’輸入·係_換為—具有多個亮度值 在步驟S102中,
驟,以獲得一取樣 12 201208349 影像施。因此’取樣影像2G2中同樣地會包括—些具有亮度值的佥 素。 — 根據本發社實施例,本判係·隔在亮度影像· 中輯取樣,以使得取樣影像2G2可同樣保有取樣前之原亮度影像_ 的特性。藉此,取樣影請之亮度分佈細卩可與亮度影請之 亮度分料性維持一致。換句話說,取樣影像202的統計亮度標準差 亦會與to度影像2GG的統計亮度標準差相同。 值得注意的是,根據本發明之實施例,在此取樣步驟中所取樣的 畫素個數與常數職並_以_本發明,使用者可自行決定之。 接著,在步驟聰中,本發明係根據取樣影像搬產生輸入影像 的一深度映像。 在v驟S1Q6中’本發明係藉由在步驟§刚中產生的深度映像, 在輸入影像上執行-視差處理程序,以獲得—再生影像。其中,關於 步驟刪齡驟薦陳明,統合圖式詳細說明如下。 首先,本發明針對步驟S104進行說明。 第3圖係為根據本發明之實施例,其中用以分割一物件時之示意 圖/、中為了避免物件之垂直維度心哪㈤過高, 本發明可假設物件係置於—相對遠的距離外。為了避免物件之垂直維 度過低,本發明亦可假設物件係置於—相對近的距離内。 如第3圖所示’本發明係將第2圖中的取樣影像202分割為-上 區域300與τ區域。接著,本發明開始計算取樣影像2〇2之總平均 亮度〜以及上區域_之平均亮度^。 13 201208349 另一方面’當輸入影像200中晝素的亮度值心落在總平均亮度 /w與平均亮心·的邊界上時’深度映狀深度資訊可能會因此而 產生急遽的變化,進而引起影像的亮度閃爍(flickering);為了避免 此-問題的發生,本發明係根據下面的公式⑵與公式(3)以重設 亮度值,即針對亮度層'級進行量子化(quantizati〇n)的動作。在本 實施例中,亮度值係設定為具有256種層級(level)。 公式(2):當〜2224,令七=224 ;當 192$心<224,令4=192 ; 當 160^<192 令\=160;當 128^<160,令心=128;當 96^<128, 々 5V 96 ’ 4 64各<sv<96 ’ 令5^=64 ;當 32$5V<64,令5^=32 ;以及當 心<32,令心=16。 a 式(3). S 2 224 ’ 令"rOT4i =224 ;當 192 ^ 〈224,令 芦_.=192 ’ 當 160‘W<192,令//臟=160 ;當 128Sp_ <160 令, /W=128 ;當 96❼職 <128,令/w=96 ;當 64$;/臟<96,令 =64;當 32<64,令=32;以及當外_<32,令/=16。 爾後’本發明續根據量子化後的總平均亮度與上區域3〇〇之 平均亮度產生具有深度資訊之深度映像》 根據本發明之實施例,本發明係將對應物件部分(object)之晝 素的深度資訊設為0 ;而將對應背景部分(background)之晝素的深 度資訊設為1。 詳細而言,當總平均亮度大於上區域300之平均亮度^_.時 (即/½^ )’本發明係將畫素的深度資訊設為0,以避免畫素的 201208349 亮度值心(i,y)大於總平均亮度^^ (即心(,,y) #rOT4i )。本發明並將畫 素的深度資訊設為1,以避免畫素的亮度值心(!_,/)小於總平均亮度#71^ (即 飄)。 至於,當總平均亮度〜^小於上區域300之平均亮度^時(即 ) ’本發明係將晝素的深度資訊設為0,以避免畫素的亮度 值心α»小於總平均亮度"·(即&〇·,/)<〜07Mi )。本發明並將晝素的深 度資訊設為1,以避免晝素的亮度值A(i,y)大於總平均亮度外⑽,(即 w,y) /W)0 因此,本發明係根據上述之方法逐次應用在輸入影像中的每個畫 素上’以藉此獲得一深度映像(depth map)。由此可見’在本實施例 中之深度映像係由〇或1的深度資訊所組成。至於,在本發明之其他 實施例當中,深度映像當然也可由〇、丨、2或3的深度資訊來組成, 本發明將容後詳述。 以下,本發明接著針對步驟S106進行說明。 在本實施例卜本發明係根據先前產生的深度映像,在輸入影像 上進行視差處理的料,以獲得—左眼f彡像與—右眼影像。 當在右眼影像上執行視差處理時,本發明藉由在晝素上執行正視 差,以將對應的該晝素往右延遲。 當在左眼影像上執行視差處理時,本發明藉由在晝素上執行負視 差,以將對應的該晝素往左延遲。 、 根據本發明之-實施例,#執行視差處理程料,本發 算具有N個晝素的深度資訊,其中N大於或等於2 … 15 201208349 2理的畫素個數,本發明即可糊當下正在處理的畫終畫素值來 二遲晝素的畫素值。並且,本發明係根據該具有n個畫素的深度 來1夫定出該延遲晝素。於此,本發明定義延遲晝素為:配置於當 下正在理的畫素前❹個晝素,其中Μ係為大於零之整數。 根據本發明之另―實關,為了避免ν個畫麵最麟度資訊被 2置為1,本發明係藉由在晝素上執行正視差處理,以將畫素往右延 /同樣地’為了避免Ν個晝素的最終深度資訊被設置為G,本發明 係藉由在晝素上執行貞視差處理,以將畫餘左延遲。 接著’本發明係以以下的範例來解釋上述之視差處理程序。其中, N可以a又置為四,即以四個畫素為以下之解釋範例之用。 表一:適於左眼影像之視差處理規則 深度映像 延遲畫素 1110 延遲2 1100 延遲3 0010 延遲4 預設值 延遲1 表二:適於右眼影像之視差處理規則 深度映像 延遲畫素 0001 延遲2 0011 延遲3 201208349 1111___ 延遲4 預设值 延遲1 表三:視差處理結果 輸入 D1 D2 ~~~ _ D3 D4 D5 D6 D7 影像 1 1 1 1 0 0 0 左眼 — - 一 D4 D4 D7 影像 延遲 延遲 延遲 延遲 1 2 3 1 右眼 一 - 一 D1 D5 ’ 一 D6 D7 影像 延遲 延遲 延遲 延遲 4 1 1 1 再生 — - - D4 D5 D4 D7 影像 请同時參閱表-絲三,若輪人影像之喊映像為llu時,預設 的延遲1將會被左崎像之視錢理規财的D4所取代。在此,延遲 1指的是對應當下正在處理的晝素,在此也就是D4。換言之,若輪入 影像之深度資訊為1111時’ D4的晝素值將會被保留。 接著考慮畫素D5,包含D5連續四個畫素之深度資訊係為li1〇。 因此,深度資訊中的延遲2將會被左眼影像之視差處理規則中的恥所 取代。在此’延遲2指的是在D5左邊的一畫素,因此D4的晝素值亦 會被D5的畫素值所取代。 接著考慮晝素D6 ’包含D5連續四個晝素之深度資訊係為11〇〇。 17 201208349 因此’深度資訊中的延遲3將會被左眼影像之視差處理規則中的郎所 取代。在此,延遲3指的是在D5左邊二個的晝素,因此])4的晝素值 亦會被D6的晝素值所取代。 綜上所示,左眼雜即是轉上述之方法而稍產生的。因此, 同樣地根據相_原則,右㈣像即可根據上絲二所示之右眼視差 處理規則而產生之,故在此不再重新資述。 根據本發明之實施例,再生影像即可根據上魅生之左眼影像與 右眼影像而得。換言之,再生影像中各晝素之畫素值係包含表三中左 眼影像與右眼影像之晝素值。因此,藉由輸出再生影像,本發明即達 成轉換二維影像為三維影像之目的。 根據本發明之另-實施例’本發_可_在不額外輸出再生影 像的情況下,直接藉由左眼影像與右眼影像而產生—三維影像。 簡而言之,本發明所揭示將二維影像轉換為三維影像之方法,首 先先產生-包含G或1之深度資訊的深度映像,織根據該深度映像、 左眼視差處理制與右·絲理_,分職輸人影像上執行視差 處理裎序,赠得-左㈣像與—右目_卜其中,在執行視差處理 的過程中’各畫素的輯_會根據深㈣簡排顺合方式而決定 之。 在上述之示範例當中,本發明係以畫素個數為4 (即㈣為解釋 之用’ N當然也可為其他數值,並_嫌定本發明之發明範圍。 根據本發明之又-實施例,本發明將二維影像轉換為三維影像之 方法亦可透過一次以上的視差處理程序來實現之。 201208349 舉例來說’在此又-實施财,本發明可先依據前述之視差處理 規則進行-次視差處理(以下簡稱為第—縣處理程序),鎌再進行 再-次的視差處理(以下簡稱為第二視差處理程序)。 就應用層面上而言’第二視差處_序係類似於第—視差處理程 序’但二者仍有不同。其不同之處在於,第二視差處理程序中畫素的 延遲值會比第-視差處理程序巾晝素的延遲值來得高。 舉例來說’在第-視差處理程序中的深度資訊為liiQ,在第二視 差處理程序巾’其晝素的延遲值可能增加到2或者3。 因此,根據本發明所揭示之轉換方法,相較於只執行一次視差處 理的例子’錄行縣處雜相缝越㈣,三_彡像之立體效果 與办像品質也將隨之提高。 換句話說,熟習此項技術領域者,當挪據本發明所教示之内容, 自行蚊增加視差處理程序的次數(例如:三次、四次或以上),以大 幅提高三維影像之影像品f。唯f提醒岐,隨著進行視差處理程序 的-入數增加,晝素的延遲值也必須隨之增加。 其次,本發明提出之將二維影像轉換為三維影像之方法更可包括 處理影像標題的步驟。-般而言,由於影像中的標題部分皆是由少數 幾個畫素所構成,因此當本發明在執行上述的視差處理程序時,標題 可能會因絲毀損。為了解決此—問題,本發蚊可包括步驟:當深 度資财所包3的1係依據上述既定順序排列時,輸人影像之標題的 深度資訊才會被重設至卜否則即設置影像標題 續請參閱第4圖至第7圖所示,其中第4圖係為根據本 = 月第二 201208349 實施例將二維影像轉換為三維影像之方法的步驟流程圖。第5圖係為 根據本發明實_ ’肋分轉像邊界之綠圖。第6 _為根據本 發明實施例,用以柔化物件與移除干擾之遮罩的示意圖。第7圖係為 根據本發明實施例在柔化物件與雜干之實驗數據結果示意圖。 如第4圖所示’在步驟S400中,本發明首先將二維輸入影像中各 畫素的畫素值轉換為亮度值,以獲取一亮度影像。 在步驟S402中,本發明藉由在亮度影像中進行取樣晝素的步驟, 以獲得一取樣影像。 在步驟S404中,本發明細取樣影像之位移,並且將輸入影像分 割為多個區域。 在步驟S406中,本發明根據一邊界條件產生一第一深度映像。 在步驟S408中,本發明藉由在第-深度映像上進行柔化物件與移 除干擾,以產生-第二深度映像。於此,第二深度映像即對應於本發 明前述之第一實施例中的深度映像。 在步驟S410中,最後,本發明利用產生之第二深度映像,在輪入 影像上執行視差處理程序,以獲得最終輸出之三維影像。 以上所述之各個步驟,除了步驟S4〇6與步驟S4〇8以外,其餘步 驟皆同本發明第-實施例所言,故在此不再重述。以下本發明僅針對 步驟S406與步驟S408詳細說明之。 首先,本發明針對步驟S406進行說明。 本發明所揭示之將二維影像轉換為三維影像之方法,主要係根據 第一實施例所述之亮度值,來分割輸入影像之區域(上區域咖與下 201208349 區域)。然而,由於當輸人影像中的邊界若糊顯時,物件將無法被精 確的分割。因此,本發明所揭示之方法,更可包括有用以黯物件邊 界之步驟。 如第5圖所示’ ^ 了避免晝素5〇〇與畫素5〇2之間的亮度值差異 超過-預定細,本發鴨將晝素5QQ之後的κ健素,包括各晝素 504與各晝素506 ’其深度資訊皆設置為0或卜其中Κ為正整數。 舉例來說,各晝素504之深度資訊可設置為丨,以避免γ2大於 (Υ0+16),各晝素504之深度資訊可設置為〇,以避免(γ2+16)小於 Υ0。 換句s舌說,當景>像中具有亮度值突然變化的區域,該區域即為影 像之一邊界。因此,本發明係藉由在亮度值突有變化的區域上執行上 述的步驟’以藉此釐清影像中的邊界區域》 以下,本發明接著針對步驟S408進行說明。 在本實施例中’本發明係將第一深度映像中具有〇或1的深度資 訊分割為具有0、1、2與3的深度資訊。然而,深度資訊的值並不限 定於0、1、2或3 ’熟習此項技術領域者可自行設計之。 舉例來說,當晝素亮度&小於總平均亮度〃(即心〈外〇7^ )時, 本發明係將深度資訊設為0,以避免心<(//TO7:4i/2);並且,本發明係將 深度資訊設為1,以避免A /2)。 至於,當畫素亮度心大於總平均亮度夂(即& //tow )時,本 發明係將深度資訊設為2,以避免心<((255+/^^)/2);並且,本發明 係將深度資訊設為3,以避免心((255+/^^)/2)。 21 201208349 之後’本發明係利用第6圖所示之遮罩㈣輯得柔化之第二果
度映像。詳細而言,本發明係將畫素中具有〇至L 5間的深度資Z 設為0,並將畫素中具有5至3間的深度資訊重設為i。藉此,第二 深度映像即可被設置為如同本發明第—實施靖述之深度映像 由0與1所組成。 續請參考第7圖所示之實驗數據結果示意圖,如第7圖所示,本 發明藉由在第-深度映像上執行柔化物件與消除干擾後所得到之影 像’相較於未進行柔化物件與消除干擾者,可具有較佳之影像品質。 除此之外’藉由在第-深度映像上執行柔化物件與消除谓後所得到 之影像,其邊界區域也較為顯著,易於分辨。 第8圖係為根據本發明實施例將二維影像轉換為三維影像之裝置 的方塊示意圖。 如第8圖所示,此轉換裝置8〇〇包含有一控制器81〇、一儲存區 域812、-免度轉換區域814、-深度映像區域816與一再生影像區域 818。 儲存區域812可用以儲存輸入影像(通常為一原始影像)、左眼影 像、右眼影像、或再生影像其中之至少一個。 亮度轉換區域814用以將輸入影像中各晝素的畫素值轉換為亮度 值,藉此取得對應的一亮度影像。 深度映像區域816用以針對輸入影像進行視差處理程序,其包括 有一取樣區820、一亮度計算區822以及一深度映像產生區824。 取樣區820係利用常數間隔在亮度影像中進行取樣,以獲取取樣 22 201208349 影像。 亮度計算區822係計算取樣影像的總平均亮度、分割取樣影 像為上區域與下區域、並且計算上區域300的平均亮度…町。 冰度映像產生區824係根據總平均亮度外與上區域3〇〇的平均 亮度外細· ’產生輸入影像之深度映像。 根據本發明之另一實施例,深度映像產生區824亦可用以處理並 釐清原始輸入影像中的邊界區域,然後再產生輸入影像之深度映像。 根據本發明之又一實施例,深度映像產生區824更可將深度映像 中為0或1的資訊切分為〇、1、2及3,並且使用一遮罩柔化該些為〇、 1、2、3的深度映像’以獲得一新的深度映像。 根據本發明之又一實施例,深度映像產生區824更可針對影像中 的標題進行額外的處理程序。 再生影像區域818係利用產生的新深度映像在輸入影像上執行視 差處理程序,以產生左眼影像、右眼影像與再生影像。 控制器810用以控制轉換裝置800中各個構件之運作。 綜上所述,為了使貴審查委M能更進—步瞭解本發明為達成預定 目的所採取之技術 '手段錢功效,以上係為㈣本發明之詳細說明 與附圖,相信本發明之目的、特徵與特點,當可由此得一深入且具體 之瞭解,然而所附之圖式與以上之示範例僅提供解釋本發明技術思想 之參考與說明之用,並非用來對本發明加以限制者。 【圖式簡單說明】 第1圖係為根據本發明第-實施例將二維影像轉換為三維影像之方法 23 201208349 的步驟流程圖。 第2圖係為根據第 之示意圖。 圖所示之步誠糊,其中㈣取得取樣影像時 第3圖係為根據本發明之實施例,其中用以分割—物件時之示意圖。 第4圖係為根據本發明第二實施例將二維影像轉換為三維影像:方法 的步驟流程圖。 第5圖係為根據本發明實施例,用以分離影像邊界之示意圓。 第6圖係為根據本發明實施例,用以柔化物件與移除干擾之遮罩的示 意圖。 ’ 第7圖係為根據本發明實施例在柔化物件與移除干擾後之實驗數據結 果示意圖。 第8圖係為根據本發明實施例將二維影像轉換為三維影像之裝置的方 塊示意圖》 【主要元件符號說明】 200 亮度影像 202 取樣影像 3〇〇 上區域 500 畫素 502 晝素 504 畫素 506 畫素 600 遮罩 800 轉換裝置 810 控制器 812 儲存區域 814 亮度轉換區域 816 深度映像區域 24 201208349 818 再生影像區域 820 取樣區 822 亮度計算區 824 深度映像產生區 201208349 (本說明書格式、廉皮七主... ※申請案號:…,,※記號部分請勿填寫) X φ古奢g · \ ' m C· 21 ※咖分類:(贿·叫 一、 發明名稱:(中文/英文) 將二維影像轉換為三維影像之方法及其裝置
METHOD AND APPARATUS FOR CONVERTING 2D INTO 3D IMAGE U JD Ο ο 二、 中文發明摘要: -種將二維影像轉換為三維影像之方法及其裝置,此種轉換 包括^下步驟:將-具有多個畫素值的輸人影像轉換為具有多個亮戶 值的免度影像;根據亮度影像,產生—具有深度資訊的深度映像= 及利用產生的深度映像在輸人影像上執行―第—視差處雜序,以產 生左眼影像、右眼影像與再生影像之至少其一。當執行視差處理程序 時’此種轉換方法係藉由計算具有N個晝素的深度資訊,其中N大於 或等於2,且N包含當下正在處理的晝素個數,即可利用當下正在處 理的晝素之晝素值來取代延遲畫素的晝素值。並且,根據該具有N個 晝素的深度貧訊以決定出該延遲晝素。於此,延遲畫素係定義為配置 於當下正在處理的畫素前的Μ個晝素,且μ為大於零之整數。 三、英文發明摘要: A method and an apparatus for converting 2D image into 3D image are disclosed. The method includes converting an input image having pixel values into a brightness image having brightness values, generating a depth map having depth information from the brightness image, and generating at least one of a left eye image, a right eye image and a reproduction image by first parallax-processing the input image using the generated depth map.

Claims (1)

  1. 201208349 畫素之晝素值係大於該第一視差處理程序中的該延遲畫素之晝素 值。 5、 如請求項2所述之將二維影像轉換為三維影像之方法,其中參考 同/溧度資訊,在該左眼影像上執行該第一視差處理程^而取得 之該延遲畫素,係不同於在該右眼影像上執行該第二視差處理程 序而取得之該延遲晝素。 6、 如請求項5所述之將二維影像轉換為三維影像之方法,其中該深 度資訊包含0或1,且該輸入影像係根據四個不同之該深度資訊 而執行該第一視差處理程序或第二視差處理程序。 7、 如請求項1所述之將二維影像轉換為三維影像之方法,其中轉換 該輸入影像的步驟包括有:將該輸入影像中的該些畫素值轉換為 該些亮度值;以及產生該深度映像的步驟包括有: 利用一常數間隔在該亮度影像中進行取樣,以獲取一取樣影像; 計算該取樣影像的一總平均亮度Prom ; 將3亥取樣影像分割為一上區域與一下區域,並計算該上區域的一 平均亮度〃^胃' ;以及 根據該總平均亮度〜^與該上區域的該平均亮度產生該輪 入影像之該深度資訊,其中, 當該總平均亮度^大於該上區域的該平均亮度^胃時,為避免 畫素亮度5^,刀大於該總平均亮度’該深度資訊係定為〇,為 避免晝素亮度心仏力小於該總平均亮度,該深度資訊係定為 1 ; ® 5亥總平均贵度内03^小於該上區域的該平均亮度〜^時,為避免 晝素亮度心(〃刀小於該總平均亮度,該深度資訊係定為〇,為 避免晝素亮度心^,·/)大於該總平均亮度,該深度資訊係定為 1。 8、 如請求項7所述之將二維影像轉換為三維影像之方法,其中產生 該深度映像的步驟更包括:為了避免一特定畫素與下一畫素之間 27 201208349 的亮度值差異超過一預定範圍,將該特定晝素後的D個晝素之深 度資訊皆設為0或1,且D為正整數。 9、 如請求項7所述之將二維影像轉換為三維影像之方法,其中產生 該輸入影像之深度資訊的步驟更包括: 將該深度映像中為〇或1的深度資訊切分為〇、1、2、及3 ; 使用一遮罩柔化該些為〇、1、2、3的該深度資訊;以及 將畫素中具有0至1.5之間的該深度資訊重設為〇,並且將晝素 中具有1·5至3之間的該深度資訊重設為j。 10、 如請求項1所述之將二維影像轉換為三維影像之方法,其中僅 有當該深度資訊中所包含的1係依據一特定方式排列時^輸入 影像之標題的深度資訊才會被重設至1^ 11、 一種將二維影像轉換為三維影像之方法,包括以下步驟: 利用-輸人影像中錄畫素的亮度值,產生具有G或i之深度資 訊的一深度映像;以及 利用產生的該深度映像,在該輸人影像上執行一視差處理程序, 以產生-左眼影像或-右眼影像,其中當在一第一晝素上執行該 右眼影像之正視差時H晝素雜右延遲,當在—第二晝素 上執行該左眼影像之負視差時,該第二畫素係往左延遲。旦” 12、 如明求項11所狀將二維影轉換為三轉像之方法,其中談 視差處理程序更包括步驟: 八勺人 計算具有N個晝素的深度資訊,其中N大於或等於2,n包含 正在處理的畫素個數;以及 田 Hi下^在處理的畫素之畫素值取代一延遲晝素的晝素值,並 ^ ^具有N個晝素的深度資訊決定該延遲晝素,其中該延遲晝 =為配置於當下正在處_晝讀的Μ個晝素,m為大於〇之 考同一深«訊,在該左爾 ==== 28 201208349 得之該延遲晝素,係不同於在該右眼影像 程序而取得之該延遲晝素,且人f 』視差處理 冰度資訊而執行該視差處理程序。 置京之 14、如睛求項12所述之將二維影像轉換為三維影像之方法, 生該深度映像的步驟更包括: ,、Τ產 =該輸入影像中的該些畫素值轉換為具有多個亮度值的—亮度影 像, 利=-常數間隔在該亮度影像巾進行取樣,峨取_取樣影像; 计鼻該取樣影像的一總平均亮度 “TOTAL ; 將該取樣影像分割為-上區域與—下區域,並計算該上區域的一 平均亮度仏樹;以及 根據該總平均亮度/W_上區域_平均亮度〜,產生該輸 入影像之該深度資訊,其中, 當該總平均亮度/^m大於該上區域的該平均亮度 M PART 時,為避免 晝素壳度心(;,力大於該總平均亮度,該深度資訊係定為〇,為 避免晝素壳度\〇’7)小於該總平均亮度//rom,該深度資訊係定為 1 ; 當該總平均亮度仏0况小於該上區域的該平均亮度^時,為避免 晝素免度心(^’)小於該總平均亮度P7Om,該深度資訊係定為〇,為 避免晝素亮度心^·/)大於該總平均亮度Azom,該深度資訊係定為 1 ° 15、如請求項14所述之將二維影像轉換為三維影像之方法,其中產 生該深度映像的步驟更包括: 為了避免一特定晝素與下一晝素之間的亮度值差異超過一預定範 圍’將該特定晝素後的D個晝素之深度資訊皆設為0或1,且D 為正整數; 將該深度映像中為〇或1的該深度資訊切分為〇、1、2及3 ; 使用一遮罩柔化該些為〇、丨、2、3的該深度資訊;以及 29 201208349 將畫素中具有G至1. 5之間的該深度資訊重設為Q,並且 中具有1. 5至3之間的該深度資訊重設為1。 里” I6有!Il^H2所述之將二維影像轉換為三維影像之方法,其中僅 ΪΓ = 所包含的丨係錢-特定方賴_,該輸入 影像之標題的深度資訊才會被重設至卜 輸入 17、一種將二維影像轉換為三維影像之裝置,包括: 一亮度轉換(I域,用以將具衫個晝素 有多個亮度值的-亮度影像; 以象轉換為具 =映=域,係根據該亮度影像’產生具有深度資訊的-深 二再J影係利用產生_罙度映像,在該輸 仃一第一視差處理程序,以產生一左 孓上钒 生影像其中之至少-個。.纟m眼影像與-再 18二如=求項17所述之將二維影像轉換為三維影像之裝置,盆中者 執行視差處理程序時,該再生影像區域係藉^ ’糾生f彡像區域係藉由在一: —不上執行負視差,以將該第二晝素往左延遲。 =如請求項18所述之將:維縣轉換為三維影像之裝置 2且?二 =有/個f的深度資訊,其中Ν大於或等: =素值取代-延遲晝素的錄值,並根_ 的^ 其中該延遲畫素係為配置於St 理的晝素刖的Μ個晝素,μ為大於〇之整數。 20=請求項19所述之將二維影像轉換為三維影像之裝置,其 仵之親遲直素,係不同於在該右眼影像上執行 理程序而取得之該延遲畫素,且該輸入影像係根據具有^個畫^ 201208349 之深度資訊而執行該第一視差處理程序或第二視差處理程序。 21、 如請求項17所述之將二維影像轉換為三維影像之裝置,其中該 7C度轉換£域係將该輸入影像中的該些晝素值轉換為該此^度 值,該深度映像區域包括: 取樣Q,係利用一常數間隔在該贵度影像中進行取樣,以獲取 一取樣影像; ^ 一亮度計算區,用以計算該取樣影像的一總平均亮度叫〇撕、分割 該取樣影像為一上區域與一下區域,並計算該上區域的一平均亮 度"/w ;以及 一深度映像產生區,係根據該總平均亮度#707^與該上區域的該平 均亮度,產生該輸入影像之深度資訊,其中, 當該總平均亮度#扣7^大於該上區域的該平均亮度 M PART 時,為避免 晝素亮度心(W)大於該總平均亮度,該深度資訊係定為〇,為 避免畫素壳度,力小於該總平均亮度,該深度資訊係定為 1 ; ' 當該總平均免度小於該上區域的該平均亮度^時,為避免 畫素党度从刀小於該總平均亮度該深度資訊係定為〇,為 避免晝素壳度心(心)大於該總平均亮度//ro7;4i,該深度資訊係定為 1 ° 22、 如請求項21所述之將二維影像轉換為三維影像之裝置,其中為 了避免一特定晝素與下一晝素之間的亮度值差異超過一預定範 圍,該深度映像產生區係將該特定晝素後的D個晝素之深度資訊 皆設為0或1,且D為正整數。 23、 如請求項21所述之將二維影像轉換為三維影像之裝釁,其中該 深度映像產生區係將該深度映像申為〇或1的該深度資訊切分為 0、1、2及3 ;使用一遮罩柔化該些為〇、丨、2、3的該溧度資訊; 以及將畫素中具有〇至1.5之間的該深度資訊重設為〇,並且將 晝素中具有1.5至3之間的深度資訊重設為!。 31 201208349 24、 如請求項21所述之將二維影像轉換為三維影像之裝置,其中僅 有當該深度資訊巾所包含的丨係依據—特定方式侧時,該輸入 影像之標題的深度資訊才會被重設至1。 25、 如請求項Π所述之將二維影像轉換為三轉 右眼影像係m素上執行疏差_候m中这 延遲,該左眼影像係在-第二畫素域像背景 候,方會在影像物件部分往左延遲。 、現差的時 32 201208349 八、圖式:
TW100121625A 2010-06-21 2011-06-21 Method and apparatus for converting 2D image into 3D image TW201208349A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100058791A KR101198320B1 (ko) 2010-06-21 2010-06-21 2차원에서 3차원으로의 영상 변환 방법 및 장치

Publications (1)

Publication Number Publication Date
TW201208349A true TW201208349A (en) 2012-02-16

Family

ID=44908153

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100121625A TW201208349A (en) 2010-06-21 2011-06-21 Method and apparatus for converting 2D image into 3D image

Country Status (6)

Country Link
US (1) US20120087570A1 (zh)
EP (1) EP2398247A3 (zh)
JP (1) JP2012019513A (zh)
KR (1) KR101198320B1 (zh)
CN (1) CN102333229A (zh)
TW (1) TW201208349A (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US8897596B1 (en) 2001-05-04 2014-11-25 Legend3D, Inc. System and method for rapid image sequence depth enhancement with translucent elements
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
JP2012253666A (ja) * 2011-06-06 2012-12-20 Sony Corp 画像理装置および方法、並びにプログラム
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
CN109685885B (zh) * 2017-10-18 2023-05-23 上海质尊电子科技有限公司 一种利用深度图转换3d图像的快速方法
CN112069864A (zh) * 2019-06-11 2020-12-11 杭州萤石软件有限公司 3d静脉图像确定方法、装置及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003257611A1 (en) * 2002-08-20 2004-03-11 Kazunari Era Method and device for creating 3-dimensional view image
KR100505334B1 (ko) * 2003-03-28 2005-08-04 (주)플렛디스 운동 시차를 이용한 입체 영상 변환 장치
US20060023197A1 (en) * 2004-07-27 2006-02-02 Joel Andrew H Method and system for automated production of autostereoscopic and animated prints and transparencies from digital and non-digital media
CN101271578B (zh) * 2008-04-10 2010-06-02 清华大学 一种平面视频转立体视频技术中的深度序列生成方法
JP4591548B2 (ja) * 2008-06-04 2010-12-01 ソニー株式会社 画像符号化装置及び画像符号化方法
CN102150433B (zh) * 2008-09-18 2014-04-09 松下电器产业株式会社 立体视觉影像再现装置及立体视觉影像显示装置
JP5024632B2 (ja) * 2008-09-19 2012-09-12 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN101702781A (zh) * 2009-09-07 2010-05-05 无锡景象数字技术有限公司 基于光流法的2d转3d方法
JP5402483B2 (ja) * 2009-10-02 2014-01-29 株式会社Jvcケンウッド 擬似立体画像作成装置及び擬似立体画像表示システム

Also Published As

Publication number Publication date
KR20110138733A (ko) 2011-12-28
CN102333229A (zh) 2012-01-25
JP2012019513A (ja) 2012-01-26
KR101198320B1 (ko) 2012-11-06
US20120087570A1 (en) 2012-04-12
EP2398247A3 (en) 2013-05-29
EP2398247A2 (en) 2011-12-21

Similar Documents

Publication Publication Date Title
TW201208349A (en) Method and apparatus for converting 2D image into 3D image
TWI343207B (en) Device and method for obtain a clear image
Cheng et al. A novel 2Dd-to-3D conversion system using edge information
JP5587894B2 (ja) 深さマップを生成するための方法及び装置
US9525858B2 (en) Depth or disparity map upscaling
TWI485646B (zh) 圖轉換方法、圖轉換設備、及用於圖轉換的電腦程式產品
JP5665135B2 (ja) 画像表示装置、画像生成装置、画像表示方法、画像生成方法、及びプログラム
TW200842759A (en) Rendering 3D video images on a stereo-enabled display
TW200824427A (en) Arrangement and method for the recording and display of images of a scene and/or an object
WO2015013851A1 (zh) 一种虚拟视点合成方法及系统
CN107071379A (zh) 显示延迟增强的方法及便携式装置
TW201114244A (en) Method for generating a 3D image
TW200825979A (en) Method capable of automatically transforming 2D image into 3D image
TW200824424A (en) Adjusting apparatus for enhancing the contrast of image and method thereof
JP2012120057A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2013033463A (ja) 画像処理方法、画像処理システム
TW463133B (en) Color image processing method and apparatus thereof
Fan et al. Three-dimensional auto-stereoscopic image recording, mapping and synthesis system for multiview 3D display
CN106028020A (zh) 一种基于多方向预测的虚拟视角图像空洞填补方法
JP2022533754A (ja) ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品
CN106530231A (zh) 一种基于深层协作表达的超分辨率图像的重建方法及系统
CN103026387B (zh) 用于从单一的图像生成多视图像的方法
TW201250629A (en) Method and apparatus for adjusting 3-D images converted from 2-D images
TW201101227A (en) Image transformation method adapted to computer programming product and image display device
KR101451236B1 (ko) 3차원 영상 변환 방법 및 그 장치