TW201225635A - Image processing device and method, and stereoscopic image display device - Google Patents

Image processing device and method, and stereoscopic image display device Download PDF

Info

Publication number
TW201225635A
TW201225635A TW100131277A TW100131277A TW201225635A TW 201225635 A TW201225635 A TW 201225635A TW 100131277 A TW100131277 A TW 100131277A TW 100131277 A TW100131277 A TW 100131277A TW 201225635 A TW201225635 A TW 201225635A
Authority
TW
Taiwan
Prior art keywords
image
parallax
dimension
depth
images
Prior art date
Application number
TW100131277A
Other languages
English (en)
Other versions
TWI456976B (zh
Inventor
Daisuke Takama
Ryoichi Tsuzaki
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201225635A publication Critical patent/TW201225635A/zh
Application granted granted Critical
Publication of TWI456976B publication Critical patent/TWI456976B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)

Description

201225635 六、發明說明: 【發明所屬之技術領域】 本揭示係相關於產生立體顯示用的複數個視差影像之 影像處理裝置及影像處理方法,以及依據複數個視差影像 來執行立體顯示之立體影像顯示裝置。 【先前技術】 近來,如圖1 5所示,第一拍攝區1 1 1和第二拍攝區 112係配置在水平方向上之3D相機101已進入生產。藉 由使用3D相機101來拍攝,可獲得具有水平方向上的視 差之左視差影像1 5 1 L和右視差影像1 5 1 R。依據水平方向 上之視差影像151L及151R,能夠藉由立體影像顯示裝置 來顯示立體影像。 爲了藉由立體影像顯示裝置來執行立體顯示,建議有 觀看者使用眼鏡之眼鏡型;及觀看者可不戴上眼鏡之下以 裸眼立體觀看物體之無眼鏡型。作爲眼鏡型的代表例子, 具有使用具有左眼快門和右眼快門的快門眼鏡之快門眼鏡 型。在快門眼鏡型中,以框序方式快速將左眼視差影像和 右眼視差影像交替顯示在2D顯示面板上。另外,當根據 各個視差影像的顯示時序將左眼快門和右眼快門交替切換 時,只有左眼視差影像入射到觀看者的左眼,而只有右視 差影像入射到觀看者的右眼,藉以獲得立體。 另一方面,作爲無眼鏡型的代表例子,具有視差屏障 型和雙凸透鏡型。在視差屏障型或雙凸透鏡型之例子中, -5- 201225635 立體用的視差影像(在2視角時之右眼視差影像和左眼視 差影像)被空間分割且顯示在2D顯示面板上,藉由視差 分割區在水平方向上將視差影像視差分割,如此執行立體 。在視差屏障型之例子中,使用被形成有視差分割區的縫 隙開口之視差屏障。在雙凸透鏡型之例子中,使用平行配 置複數個圓柱形對切透鏡之雙凸透鏡作爲視差分割區。, 圖17圖解根據視差屏障型的立體影像顯示裝置之一 般組態的例子。立體影像顯示裝置具有視差屏障20 1面向 2D顯示面板202的前表面之組態。根據視差屏障201的 一般結構,遮蔽來自2D顯示面板2 02的顯示影像光之遮 蔽區2 1 1與透射顯示影像光之條紋開口區(縫隙區)2 1 2 交替配置在水平方向上。右眼視差影像R和左眼視差影像 L交替配置在水平方向上之合成影像顯示在2D顯示面板 202上。在視差屏障型之例子中,經由視差屏障201觀看 顯示在2D顯示面板202上之合成影像。如此,在觀看者 從預定位置和預定方向觀看立體影像顯示裝置之例子中, 能夠經由縫隙區2 1 2分開輸入不同的視差影像光到觀看者 的左眼5L和右眼5R。以此方式,在觀看者從預定位置和 方向觀看立體影像顯示裝置之例子中,感知立體影像。爲 了實現立體,需要放映不同的視差影像給左眼5L和右眼 5R。如此,需要至少右眼影像和左眼影像之兩視差影像。 在使用三或多個視差影像之例子中,可實現多重視覺。 【發明內容】 -6- 201225635 在上述各種立體影像顯示裝置中,需要使用至少具有 水平方向上的視差之視差影像,以正常執行立體顯示。如 圖15所示,在藉由3D相機.101於第一拍攝區111和第 二拍攝區1 1 2配置在水平方向上之狀態中執行拍攝的例子 中,因爲獲得具有水平方向上的視差之左視差影像1 5 1 L 和右視差影像1 5 1 R,所以能夠照原樣使用它們作爲立體 顯示用的影像資料。然而,例如,如圖1 6所示,在將3 D 相機101設定在垂直方向上的同時而第一拍攝區Π1和第 二拍攝區112配置在垂直方向上之狀態中執行拍攝的例子 中,獲得只具有垂直方向上的視差之上視差影像151U和 下視差影像151D。在只具有垂直方向上的視差之此種影 像中,在立體影像顯示裝置中未正常執行立體顯示。 日本未審查專利申請案出版號碼2009-239389揭示從 複數個視差影像產生具有不同視差之內插影像以便改變立 體影像的深度感之技術。在日本未審查專利申請案出版號 碼2009-239389所揭示之技術中,能夠改變視差量。然而 ,所產生的內插影像之視差的方向與原有視差影像的方向 相同。如此,在原有視差影像爲如圖1 6所獲得一般之只 具有垂直方向上的視差之上視差影像151U和下視差影像 1 5 1 D的例子中,難以正常執行立體顯示。 希望提供甚至在所獲得的視差影像具有不同於想要的 方向之方向的視差之例子中,仍能夠獲得具有想要的方向 之視差的視差影像之影像處理裝置、影像處理方法、及立 體影像顯示裝置。 201225635 一些實施例係相關於形成影像之方法。方法包括依據 來自第一視角之場景的第一影像和來自第二視角之場景的 第二影像來第一產生深度影像。第一和第二視角係沿著第 一維移位。方法亦包括依據深度影像來產生分別對應於第 三和第四視角之第三影像和第四影像。第三和第四視角係 沿著不同於第一維之第二維移位。 一些實施例係相關於諸如非短暫的電腦可讀取儲存媒 體等電腦可讀取儲存媒體,具有儲存在其上的指令,當執 行時,指令執行形成影像之方法。方法包括依據來自第一 視角之場景的第一影像和來自第二視角之場景的第二影像 來產生深度影像。第一和第二視角係沿著第一維移位。方 法亦包括依據深度影像來產生分別對應於第三和第四視角 之第三影像和第四影像。第三和第四視角係沿著不同於第 —維之第二維移位。 一些實施例係相關於影像處理系統。影像處理系統包 括深度資訊計算單元,被組構以依據來自第一視角之場景 的第一影像和來自第二視角之場景的第二影像來產生深度 影像。第一和第二視角係沿著第一維移位。影像處理系統 亦包括視差影像產生單元,被組構以依據深度影像來產生 第三影像和第四影像,對應於第三和第四視角之第三和第 四影像係沿著不同於第一維之第二維移位。 根據揭示中之影像處理裝置、影像處理方法、或立體 影像顯示裝置,因爲立體顯示的深度量係依據具有第一方 向上的視差之複數個第一視差影像所計算,以及依據深度
-8 - 201225635 量來產生具有不同於第一方向上的第二方向上之視差的複 數個第二視差影像,所以例如,甚至在由不同於想要的方 向(例如、水平方向)之方向上(例如、垂直方向)的 3D相機所擷取之視差影像的例子中,仍能夠將它們轉換 成具有想要的方向上之視差的視差影像。如此,能夠獲得 適於立體顯示之視差影像。 【實施方式】 下面,將參考附圖說明揭示的實施例。 [組態例子] 圖1爲根據揭示的實施例之視差影像處理裝置2和立 體影像顯示裝置3的組態之例子圖。圖2A至2F爲圖1 之視差影像處理裝置2中的視差影像產生處理之槪要圖。 首先,將參考圖1主要說明視差影像處理裝置2和立體影 像顯示裝置3。在圖1中,視差影像處理裝置2和立體影 像顯示裝置3可具有不同組態,但是視差影像處理裝置2 的功能可包括在立體影像顯示裝置3中。 立體影像顯示裝置3依據輸出自視差影像處理裝置2 之視差影像資料來顯示立體影像(圖2F中之左視差影像 51L和右視差影像51R),且包括顯示訊號處理電路31 和顯示面板3 2。並未特別限制立體影像顯示裝置3的立 體顯示方法。可使用諸如快門眼鏡型等眼鏡型,或者可使 用諸如視差屏障型或雙凸透鏡型等無眼鏡型。依據輸出自 -9- 201225635 視差影像處理裝置2之視差影像資料,顯示訊號處理電路 31根據立體影像顯示裝置3的立體顯示方法來產生影像 ,及將其顯示在顯示面板32上。顯示面板32包括諸如液 晶顯示面板、電發光型的顯示面板、或電漿顯示器等等 2D顯示器。複數個像素以2D方式排列在顯示面板32的 顯示螢幕上。在顯示面板上32的顯示螢幕上,根據立體 影像顯示裝置3的立體顯示方法來執行影像顯示。 在視差影像處理裝置2中,由具有配置在不同位置上 之第一拍攝區11和第二拍攝區12的3D相機1所擺取之 來自第一拍攝區11的第一成像資料和來自第二拍攝區12 的第二成像資料被輸入作爲複數段第一視差影像資料。在 此實施例中,例如,藉由將3D相機1設定在如圖2A所 示之垂直方向上,由配置在垂直方向的狀態中之第一拍攝 區11和第二拍攝區12所擷取的具有垂直視差之上視差影 •像5 1 U和下視差影像5 1 D被輸入到視差影像處理裝置2 作爲第一成像資料和第二成像資料。 視差影像處理裝置2包括深度資訊計算區20和視差 影像產生區23。深度資訊計算區20包括立體匹配區21 和視差量計算區22。各別區的功能例如可包括CPU (算 術處理單元)、記錄算術處理的程式之記錄媒體、算術處 理用的記憶體、影像資料用的資料儲存記憶體等等之組合 〇 依據具有第一方向上(垂直方向)的視差之複數個第 —視差影像(上視差影像5 1 U和下視差影像5 1 D ),深度
-10- 201225635 資訊計算區20計算由複數個第一視差影像 顯示的深度量。深度資訊計算區20爲每一 複數個第一視差影像之影像匹配處理,以爲 差影像之間共同的影像部中之各個像素計算 量;以及依據第一方向視差量,爲共同影像 素計算深度量。立體匹配區21執行影像匹 像匹配處理之後,視差量計算區22依據影 第一方向視差量,及計算深度量。 依據由深度資訊計算區20所計算之深 像產生區23產生具有不同於第一方向的第 平方向)之視差的複數個第二視差影像(左 和右視差影像51R)。依據如指示立體中的 量之間的關係之圖5或圖7所示的預定轉換 像產生區23從深度量計算第二方向上之視 複數個第二視差影像。 [視差影像產生處理的槪要] 將參考圖2A至2F說明視差影像處理 差影像產生處理的槪要。藉由使用如圖2A 在垂直方向上之3D相機1的拍攝所獲得之 上之垂直視差的上視差影像5 1 U和下視差| 被輸入到視差影像處理裝置2,作爲複數段 資料(參考圖2B)。在視差影像處理裝置 訊計算區20爲每一像素執行有關上視差影, 所表示之立體 像素執行有關 複數個第一視 第一方向視差 部中之各個像 配處理。在影 像資料來計算 度量,視差影 二方向上(水 視差影像5 1 L 視差量與深度 函數,視差影 差量,以產生 裝置2中之視 所示一般設定 具有垂直方向 杉像51D例如 第一視差影像 2中,深度資 像5 1 U和下視 -11 - 201225635 差影像51D之影像匹配處理,以爲上視差影像51U和下 視差影像5 1 D之間共同的影像部中之各個像素計算垂直 視差量(參考圖2C )。然後,依據垂直視差量,深度資 訊計算區20爲共同影像部中之各個像素計算深度量(參 考圖2D)。作爲影像匹配處理的技術,例如,可使用”藉 由適應性視窗的立體匹配方法”(電子、資訊、及通訊工 程師學會(IEICE) 、D-II、第J74-D-II冊,第6號,第 669-677頁(1991 ))。另外,當計算深度量時,例如, 可產生深度影像(距離影像),以用影像資料的形式保留 資料在深度量上。例如,在當例如由3D相機1拍攝物體 時,由3 D相機1所測量之距離上的資訊存在之例子中, 可依據到物體的距離以及深度資訊計算區20所計算之垂 直視差量來產生深度影像。到物體的距離可由對準影像中 的焦點之點(具有最高對比之部位)來決定。 依據深度資訊計算區20所計算之深度量,視差影像 產生區23產生具有第二方向上(水平方向)的視差之複 數個第二視差影像(左視差影像5 1 L和右視差影像5 1 R ) (參考圖2E及2F)。此時,依據如指示立體中的視差量 與深度量之間的關係之圖5或圖7所示的預定轉換函數, 視差影像產生區23從深度量計算水平視差量。當所產生 的左視差影像5 1 L和右視差影像5 1 R輸入到立體影像顯 示裝置3時,立體影像顯示裝置3可依據視差影像資料來 執行一般立體影像顯示。
-12- 201225635 [視差量與深度量之間的關係] 圖3A及3B爲視差量與深度量之間的 3A及3B中,槪要圖解立體視差影像(左視 右視差影像5 1 R )的顯示位置與立體之間的 像的視覺(立體效果或深度感)根據視差量 。若左視差影像5 1 L和右視差影像5 1 R配 上(顯示面板32中的影像顯示表面)之同 ,及像素量爲零,則由觀看者的左眼5L和 到影像顯示表面上之同一像素位置,如此實 像相同。在此例中,所顯示的影像未具有視 觀看到真實影像。另一方面,圖3A及3B 像5 1 L和右視差影像5 1 R被顯示有視差之例 在圖3A中,在參考表面上(影像顯示 差影像5 1 R配置在相對於左視差影像5 1 L 種例子中,例如,左視差影像5 1 L的視差量 相對於右視差影像51R的正(+)方向。在 中,觀看者以立體方式觀看接近影像顯示表 P 1。在此例中,獲得看起來好像影像向前側 果。例如,在看起來好像影像突出到前面之 量可被決定作正(+)方向。在此例中,正< 深度量之絕對値越大,獲得看起來好像影像 立體效果越大。 另一方面,在圖3 B中,左和右影像的 3 A的情況顛倒。也就是說,在圖3 B中,在 關係圖。在圖 差影像5 1 L和 關係。立體影 的差異而改變 置在參考表面 一像素位置中 右眼5R觀看 質上與2D影 差,及觀看者 圖解左視差影 子。 表面),右視 的左側。在此 可被定義成在 圖3 A之例子 面之虛擬影像 突出之立體效 狀態中的深度 :+ )方向中的 更向前突出之 顯示位置與圖 影像顯示表面 -13- 201225635 上,右視差影像5 1 R配置在相對於左視差影像5 1 L的左 側上。在此種例子中’例如’左視差影像5 1 L的視差量可 被定義成在相對於右視差影像51R的負(-)方向。在圖 3B之例子中,觀看者以立體方式觀看在深度上遠離影像 顯示表面之虛擬影像P2。在此例中,獲得相對參考表面 具有深度感之立體效果。例如,在深度感存在之狀態中的 深度量可被決定作負(_)方向。在此例中,當負(·)方 向上的深度量之絕對値變大,獲得具有深度感之立體效果 〇 另外,視差量與深度量之間的關係有賴於顯示器的尺 寸和觀看距離。圖4圖解顯示表面的尺寸爲3.7英吋之例 子中的深度量之特有例子。另外,圖5圖解水平方向上的 視差量與如圖4所示之觀看距離的例子中之深度量之間的 轉換函數之例子。在圖4及5中,從觀看者之眼睛5L及 5R的中心位置到參考表面(顯示表面)之距離被設定成 3 5 cm。觀看者的左眼5L和右眼5R之間的間隔(眼睛之 間的距離)被設定成6.5 cm。 圖6圖解顯示表面的尺寸爲40英吋之例子中的深度 量之特有例子。另外,圖7圖解水平方向上的視差量與如 圖6所示之觀看距離的例子中之深度量之間的轉換函數之 例子。在圖6及7中,從觀看者之眼睛5L及5R的中心 位置到參考表面(顯示表面)之距離被設定成3 00 cm。 觀看者的左眼5L和右眼5R之間的間隔(眼睛之間的距 離)被設定成6.5 cm。 201225635 (加權) 依據如圖5至7所示之預定轉換函數’視差影像產生 區23可從深度量計算水平方向上的視差量。然而’視差 影像產生區23可藉由預定加權函數來改變由預定轉換函 數所表示的視差量與深度量之間的關係,以依據改變之後 的轉換函數來計算水平方向上的視差量。如此’當產生水 平方向上的視差影像51L及51R時,能夠調整將適合於 立體影像顯示裝置3之顯示面板32的尺寸或觀看者的偏 好之立體效果。例如,在根據觀看者的偏好之立體顯示的 例子中,能夠指定強和弱給向前突出量或深度感。能夠將 下面加權給予變成參考的視差量與深度量之間的關係(圖 5至7所示之預定轉換函數)。1至5的此加權指示函數 的一例子,亦可應用其他函數。 1. 線性轉換 2. 平行轉換 3 .強調突出側(向前側)之轉換 4.強調深度側之轉換 5 .1至4的組合 圖8圖解由圖5之轉換函數所表示的視差量與深度量 之間的關係由預定加權函數線性轉換之例子。在圖8之深 度量分佈與視差量分佈的圖中,縱軸中的N數字表示各 個視差影像的像素數目。在圖8中,圖示有關原有視差量 分佈來直線轉換分佈的擴展寬度(半値寬度)卻不改變中 -15- 201225635 心位置之例子。另外,圖解對應於視差量分佈之深度量分 佈。尤其是,圖示有執行線性轉換’以便有關原有視差量 分佈和深度量分佈之分佈的擴展寬度變小之例子,以及執 行線性轉換,以便有關原有視差量分佈和深度量分佈之分 佈的擴展寬度變大之例子。在擴展寬度變小之例子中’顯 示具有比原始低的立體效果(突出感和深度感)之立體影 像。在擴展寬度便大之例子中,顯示具有比原始高的立體 效果(突出感和深度感)之立體影像。 圖9圖解由圖5之轉換函數所表示的視差量與深度量 之間的關係由預定加權函數平行轉換之例子。在圖9中’ 圖示由平行轉換改變(偏移)整個分佈位置卻未改變原有 視差分佈量的整個形狀之例子。另外’圖示對應於視差量 分佈之深度量分佈。尤其是,圖示有朝有關原始視差量分 佈和深度量分佈之突出側執行平行轉換的例子,以及朝有 關原始視差量分佈和深度量分佈之深度側執行平行轉換的 例子。 圖10圖解由圖5的轉換函數所表示之視差量與深度 量之間的關係被預定加權函數轉換以便強調相對於原有視 差量分佈和深度量分佈向前突出感之例子,以及其關係被 轉換以便強調深度感之例子。 [視差影像產生方法的特定例子] 圖1 1 A至1 1 C圖解視差影像產生區23中之視差影像 產生方法的第一例子。在第一例子中,視差影像產生區 -16- 201225635 23首先產生複數個第一視差影像(上視差影像51U和下 視差影像51D)的平均影像51A(參考圖11A及11B)。 然後,依據由深度資訊計算區20所計算之深度量’視差 影像產生區23添加第二方向(水平方向)上的視差到平 均影像5 1 A,以產生複數個第二視差影像(左視差影像 51L和右視差影像51R)(參考圖11C)。 圖12A及12B圖解視差影像產生區23中之視差影像 產生方法的第二例子。在第二例子中,首先’視差影像產 生區23使用複數個第一視差影像(上視差影像51U和下 視差影像5 1 D )中之一特定第一視差影像(例如’上視差 影像5 1 U )照原樣作爲複數個第二視差影像(左視差影像 5 1 L和右視差影像5 1 R )中之一特定第二視差影像(例如 ,左視差影像5 1 L )。然後’依據深度資訊計算區2 G所 計算之深度量,視差影像產生區23添加第二方向(水平 方向)上之視差到特定第二視差影像,藉以產生除了特定 第二視差影像之外的第二視差影像(例如’右視差影像 5 1 R )。 圖1 1 A至1 1 C之第一方法的有利點在於,能夠例如 依據3D相機1中的第一拍攝區Π與第二拍攝區12之間 的中心位置來指定水平視差,藉以獲得具有拍攝者預期的 畫面視角之立體影像。不利點在於影像處理量增加’因爲 產生平均影像51A。圖12A及12B之第二方法的有利點 在於,因爲以一減少藉由影像處理在水平方向上所產生之 影像的數目’所以能夠降低影像處理量。然而’不利點在 -17- 201225635 於立體影像會被產生有不同於拍攝者的期望之畫面視角, 因爲一垂直視差影像照原樣留著。 圖13 A至13E圖解視差影像產生區23中之視差影像 產生方法的第三例子。在第三例子中,首先,視差影像產 生區2 3使用複數個第一視差影像(上視差影像5 1 U和下 視差影像5 1 D )中之一特定第一視差影像(例如、上視差 影像5 1 U )照原有影像狀態中的樣子作爲複數個第二視差 影像(左視差影像5 1 L和右視差影像5 1 R )中之一特定第 二視差影像(例如、左視差影像5 1 L )(參考圖1 3 A、 13B、及 13E )。 另一方面,依據深度資訊計算區20所計算之深度量 ,視差影像產生區23添加第二方向(水平方向)上的視 差到特定第一視差影像,藉以依據特定第一視差影像產生 除了特定第二視差影像之外的第二視差影像(例如,依據 上視差影像51U之右視差影像52)(參考圖13A及13B )。另外,依據由深度資訊計算區20所計算之深度量, 視差影像產生區23添加第二方向(水平方向)上的視差 到除了特定第一視差影像以外的第一視差影像(例如,下 視差影像5 1 D ),藉以依據不同的第一視差影像產生除了 特定第二視差影像之外的第二視差影像(例如、依據下視 差影像5 1D之右視差影像5 4 )。在此例中,例如,在產 生依據下視差影像5 1 D之左視差影像5 3之後,視差影像 產生區23依據下視差影像51D產生右視差影像54(參考 圖13C及13D)。藉由合成依據特定第一視差影像之另一
-18- 201225635 第二視差影像(例如、依據上視差影像5 1 U之右視差影 像52 )與依據另一第一視差影像之另一第二視差影像( 例如、依據下視差影像51 D之右視差影像54)所獲得的 影像被使用作爲另一最後的第二視差影像(例如,右視差 影像51R)(參考圖13B、13D、及13E)。 圖14A至14C圖解視差影像產生區23中之視差影像 產生方法的第四例子。在圖11A至13E中,兩水平視差 影像51L及51R被產生作爲複數個第二視差影像,但是 可產生三或多個第二視差影像。如此,能夠產生多重視野 的視差影像。在圖14A至14C之例子中,藉由使用圖 11A至11C之產生方法之技術來產生三或多個第二視差影 像。視差影像產生區23首先產生複數個第一視差影像( 上視差影像5 1 U和下視差影像5 1 D )的平均影像5 1 A (參 考圖14A及14B )。然後,依據深度資訊計算區20所計 算之深度量,視差影像產生區23添加第二方向(水平方 向)上的視差到平均影像5 1 A,藉以產生三或多個第二視 差影像(例如、四個多重視差影像5 1 -1、5 1 -2、5 1 -3、及 51-4)(參考圖14C)。另外,可藉由使用圖12A至13E 之產生方法的技術來產生三或多個第二視差影像。 [效果] 根據本實施例之影像處理裝置2,因爲立體顯示的深 度量係依據具有第一方向(垂直方向)上的視差之複數個 第一視差影像(垂直方向上的視差影像5 1 U及5 1 D )所計 19 - 201225635 算,以及依據深度量產生具有不同於第一方向之第二方向 (水平方向)上的視差之複數個第二視差影像(水平方向 上的視差影像5 1 L及5 1 R )’所以例如甚至在藉由使用不 同於想要方向(水平方向)之方向上(垂直方向)的3D 相機1來拍攝所獲得之視差影像(垂直方向上之視差影像 5 1 U及5 1 D )的例子中,仍能夠將它們轉換成具有想要的 方向上的視差之視差影像(水平方向上之視差影像5 1 L及 5 1 R )。如此能夠獲得適於立體顯示之水平方向上的視差 影像5 1 L及5 1 R。 <其它實施例> 此揭示並不侷限於上述實施例,及可具有各種修改。 例如,在上述實施例中,例示化從垂直方向上之視差 影像5 1 U及5 1 D產生水平方向上之視差影像5 1 L及5 1 R 的情況。然而,此揭示可廣泛應用到不同於第一方向的第 二方向上之視差影像係從第一方向上的任意視差影像所產 生之情況。例如,在傾斜方向執行拍攝之例子中,水平方 向上之視差影像5 1 L及5 1 R可從傾斜方向上之視差影像 所產生。另外,與上述實施例相反,此揭示可被應用到垂 直方向上之視差影像5 1 U及5 1 D係從水平方向上之視差 影像5 1 L及5 1 D所產生之例子。 本揭示包含有關日本專利局於2010、9、16所發表的 日本優先權專利申請案JP 2010-208181所揭示之主題的 主題’藉以倂入其全部內容做爲參考。 -20- 201225635 精於本技藝之人士應明白,只要在附錄的申請專利範 圍或其同等物之範疇內,可依據設計要求和其他因素出現 各種修改、組合、子組合、和變化。 【圖式簡單說明】 圖1爲根據揭示的第一實施例之視差影像處理裝置和 立體影像顯示裝置的組態之例子的方塊圖; 圖2A至2F爲圖1之視差影像處理裝置中的視差影 像產生處理之槪要的說明圖; 圖3A及3B爲視差量與深度量之間的關係之說明圖 » 圖4爲顯示表面的尺寸爲3.7英吋之例子中的深度量 之說明圖; 圖5爲顯示表面的尺寸爲3.7英吋之例子中的視差量 與深度量之間的轉換函數之例子的說明圖; 圖6爲顯示表面的尺寸爲40英吋之例子中的深度量 之說明圖; 圖7爲顯示表面的尺寸爲40英吋之例子中的視差量 與深度量之間的轉換函數之例子的說明圖; 圖8爲由圖5的轉換函數所表示之視差量與深度量之 間的關係由預定加權函數線性轉換之例子的說明圖; 圖9爲由圖5的轉換函數所表示之視差量與深度量之 間的關係由預定加權函數平行轉換之例子的說明圖·, 圖10爲由圖5的轉換函數所表示之視差量與深度量 -21 - 201225635 之間的關係被預定加權函數轉換以強調向前突出感之例子 ,以及被轉換以強調深度感之例子的說明圖; 圖1 1 A至1 1 C爲圖1之視差影像處理裝置的視差影 像產生區中之視差影像的產生方法之第一例子的說明圖; 圖12A及12B爲圖1之視差影像處理裝置的視差影 像產生區中之視差影像的產生方法之第二例子的說明圖; 圖13A至13E爲圖1之視差影像處理裝置的視差影 像產生區中之視差影像的產生方法之第三例子的說明圖; 圖14A至14C爲圖1之視差影像處理裝置的視差影 像產生區中之視差影像的產生方法之第四例子的說明圖; 圖15爲3D相機中之第一拍攝例子的說明圖; 圖1 6爲3 D相機中之第二拍攝例子的說明圖;以及 圖1 7爲根據視差屏障型之立體影像顯示裝置的橫剖 面圖。 【主要元件符號說明】 P 1 :虛擬影像 P2 :虛擬影像 R :右眼視差影像 L :左眼視差影像 5 L :左眼 5 R :右眼 1 :三維相機 2 :視差影像處理裝置
-22- 201225635 3 :立體影像顯示裝置 11 :第一拍攝區 12 :第二拍攝區 20 :深度資訊計算區 21 :立體匹配區 22 :視差量計算區 23 :視差影像產生區 31:顯示訊號處理電路 32 :顯示面板 1 0 1 :三維相機 1 1 1 :第一拍攝區 1 1 2 :第二拍攝區 5 1 A :平均影像 5 1 L :左視差影像 5 1 R :右視差影像 5 1 U :上視差影像 5 1 D :下視差影像 5 1 - 1 :多重視差影像 5 1-2 :多重視差影像 5 1 - 3 :多重視差影像 5 1 - 4 :多重視差影像 1 5 1 L :左視差影像 1 5 1 R :右視差影像 1 5 1 U :上視差影像 -23- 201225635 52 : 53 : 54 : 1 5 1 D 201 : 202 : 2 11: 212 : 右視差影像 左視差影像 右視差影像 1 =下視差影像 視差屏障 二維顯示面板 遮蔽區 縫隙區 -24

Claims (1)

  1. 201225635 七、申請專利範圍: 1. —種形成影像之方法,該方法包含: 依據來自第一視角之場景的第一影像和來自第二視角 之場景的第二影像來產生深度影像’該第一和第二視角係 沿著第一維移位;以及 依據該深度影像來產生分別對應於第三和第四視角之 第三影像和第四影像,該第三和第四視角係沿著不同於該 第一維之第二維移位。 2. 根據申請專利範圍第1項之方法,其中,該第一維 垂直於該第二維。 3. 根據申請專利範圍第2項之方法,其中,該第一維 爲垂直維,而該第二維爲水平維。 4. 根據申請專利範圍第1項之方法,另包含沿著該第 二維顯示具有視差之該第三和第四影像。 5 .根據申請專利範圍第1項之方法,另包含: 匹配該第一和第二影像的一或多個部位,以決定該第 一和第二影像的該一或多個部位之間的位置視差, 其中,該深度影像係依據該位置視差所產生。 6 .根據申請專利範圍第1項之方法,其中,至少部分 依據映射深度値到移位之轉換函數來產生該第三和第四影 像。 7.根據申請專利範圍第6項之方法,其中,該第三和 第四影像被產生,使得該第三影像的至少一部分沿著該第 二維從該第四影像之對應的至少一部分移位至少部分依據 -25- 201225635 該轉換函數的量。 8. 根據申請專利範圍第7項之方法’其中’該第三影 像的該至少一部分從該第四影像之該對應的至少一部分移 位之該量係至少部分依據顯示該第三和第四影像之顯示的 尺寸來決定。 9. 根據申請專利範圍第7項之方法’其中’該第三影 像的該至少一部分從該第四影像之該對應的至少一部分移 位之該量係至少部分依據由使用者可選擇的設定來決定。 10. —種電腦可讀取儲存媒體,具有儲存在其上的指 令,當執行時,該指令執行形成影像之方法’該方法包含 依據來自第一視角之場景的第一影像和來自第二視角 之場景的第二影像來產生深度影像,該第一和第二視角係 沿著第一維移位;以及 依據該深度影像來產生分別對應於第三和第四視角之 第三影像和第四影像,該第三和第四視角係沿著不同於該 第一維之第二維移位。 1 1 ·根據申請專利範圍第1 0項之電腦可讀取儲存媒體 ,其中,該第~維垂直於該第二維。 12.根據申請專利範圍第11項之電腦可讀取儲存媒體 ,其中,該第一維爲垂直維,而該第二維爲水平維。 1 3 .根據申請專利範圍第1 〇項之電腦可讀取儲存媒體 ,其中,該方法另包含沿著該第二維顯示具有視差之該第 三和第四影像。 S -26- 201225635 14. 根據申請專利範圍第1 0項之電腦可讀取儲存媒體 ,其中,該方法另包含: 匹配該第一和第二影像的一或多個部位,以決定該第 一和第二影像的該一或多個部位之間的位置視差, 其中,該深度影像係依據該位置視差所產生。 15. 根據申請專利範圍第10項之電腦可讀取儲存媒體 ,其中,至少部分依據映射深度値到移位之轉換函數來產 生該第三和第四影像。 16·—種影像處理系統,包含: 深度資訊計算單元,被組構以依據來自第一視角之場 景的第一影像和來自第二視角之場景的第二影像來產生深 度影像,該第一和第二視角係沿著第一維移位;以及 視差影像產生單元,被組構以依據該深度影像來產生 分別對應於第三和第四視角之第三影像和第四影像’該第 三和第四視角係沿著不同於該第一維之第二維移位。 17. 根據申請專利範圍第16項之影像處理系統’其中 ,該第一維垂直於該第二維。 18. 根據申請專利範圍第17項之影像處理系統’其中 ,該第一維爲垂直維,而該第二維爲水平維。 1 9.根據申請專利範圍第1 6項之影像處理系統’另包 含: 立體影像顯示裝置’被組構以沿著該第二維顯示具有 視差之該第三和第四影像。 2 0.根據申請專利範圍第1 6項之影像處理系統’另包 -27- 201225635 含: 立體匹配單元,被組構以匹配該第一和第二影像的— 或多個部位,以決定該第一和第二影像的該一或多個部位 之間的位置視差, 其中’該深度影像係依據該位置視差所產生,
TW100131277A 2010-09-16 2011-08-31 影像處理裝置及方法,及立體影像顯示裝置 TWI456976B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010208181A JP5450330B2 (ja) 2010-09-16 2010-09-16 画像処理装置および方法、ならびに立体画像表示装置

Publications (2)

Publication Number Publication Date
TW201225635A true TW201225635A (en) 2012-06-16
TWI456976B TWI456976B (zh) 2014-10-11

Family

ID=45817326

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100131277A TWI456976B (zh) 2010-09-16 2011-08-31 影像處理裝置及方法,及立體影像顯示裝置

Country Status (5)

Country Link
US (1) US9154765B2 (zh)
JP (1) JP5450330B2 (zh)
KR (1) KR20120030005A (zh)
CN (1) CN102404592B (zh)
TW (1) TWI456976B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI566576B (zh) * 2014-06-03 2017-01-11 宏碁股份有限公司 立體影像合成方法及裝置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102427542B (zh) * 2011-09-28 2014-07-30 深圳超多维光电子有限公司 一种立体图像处理方法、图像处理装置和相应的终端设备
WO2013108285A1 (ja) * 2012-01-16 2013-07-25 パナソニック株式会社 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
CN103235478B (zh) * 2012-12-19 2017-04-12 乔楠 用于环幕立体摄像的系统、设备、图像处理方法及装置
US9462257B2 (en) * 2013-03-14 2016-10-04 Google Technology Holdings LLC Method and apparatus for two-dimensional to three-dimensional image conversion
TWI508526B (zh) 2013-10-01 2015-11-11 Wistron Corp 產生視角平移影像之方法及其可攜式電子設備
JP2017069926A (ja) * 2015-10-02 2017-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US10846826B2 (en) * 2016-04-06 2020-11-24 Sony Corporation Image processing device and image processing method
TWI602420B (zh) * 2016-10-06 2017-10-11 晶睿通訊股份有限公司 立體視覺影像校正方法及其影像擷取裝置
JP6810009B2 (ja) * 2017-09-29 2021-01-06 トヨタ自動車株式会社 視差算出装置
JP7143092B2 (ja) * 2018-03-12 2022-09-28 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、および画像処理方法
JP2025098796A (ja) * 2023-12-20 2025-07-02 上海中航光電子有限公司 立体画像表示装置及び画像生成装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031565A (en) * 1993-06-18 2000-02-29 Gte Internetworking Incorporated Stereo radiography
JP3126575B2 (ja) * 1993-12-28 2001-01-22 シャープ株式会社 立体視用3次元画像生成装置
JPH10191397A (ja) * 1996-12-27 1998-07-21 Sanyo Electric Co Ltd 意図適応型の2次元映像を3次元映像に変換する装置
US6466207B1 (en) * 1998-03-18 2002-10-15 Microsoft Corporation Real-time image rendering with layered depth images
JP4610799B2 (ja) * 2001-06-25 2011-01-12 オリンパス株式会社 立体観察システム、及び内視鏡装置
JP4253493B2 (ja) * 2001-10-31 2009-04-15 オリンパス株式会社 光学観察装置及びこれに用いる立体画像入力光学系
US7101334B2 (en) 2001-10-31 2006-09-05 Olympus Corporation Optical observation device and 3-D image input optical system therefor
US20060203085A1 (en) * 2002-11-28 2006-09-14 Seijiro Tomita There dimensional image signal producing circuit and three-dimensional image display apparatus
JP2006033570A (ja) * 2004-07-20 2006-02-02 Olympus Corp 画像生成装置
JP2006221603A (ja) * 2004-08-09 2006-08-24 Toshiba Corp 3次元情報復元装置、3次元情報復元方法および3次元情報復元プログラム
US20070165942A1 (en) * 2006-01-18 2007-07-19 Eastman Kodak Company Method for rectifying stereoscopic display systems
KR100924432B1 (ko) * 2007-12-06 2009-10-29 한국전자통신연구원 다시점 영상의 인식 깊이감 조절 장치 및 방법
JP4608563B2 (ja) 2008-03-26 2011-01-12 富士フイルム株式会社 立体画像表示装置および方法並びにプログラム
KR100938194B1 (ko) * 2008-07-28 2010-01-21 재단법인대구경북과학기술원 객체 검출 방법 및 객체 검출 장치
KR101502597B1 (ko) * 2008-11-13 2015-03-13 삼성전자주식회사 고심도 입체 영상 표시가 가능한 디스플레이 장치 및 방법
ES2537073T3 (es) * 2008-11-18 2015-06-02 Panasonic Corporation Dispositivo de reproducción, método de reproducción y programa para reproducción estereoscópica
JP2012513605A (ja) * 2008-12-22 2012-06-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動立体視表示装置
JP4987890B2 (ja) * 2009-02-05 2012-07-25 株式会社東芝 立体画像描画装置、立体画像描画方法、立体画像描画プログラム
EP2293586A1 (en) * 2009-08-04 2011-03-09 Samsung Electronics Co., Ltd. Method and system to transform stereo content
EP2474167A4 (en) * 2009-09-01 2014-12-10 Prime Focus Vfx Services Ii Inc SYSTEM AND PROCESS FOR TRANSFORMING TWO-DIMENSIONAL IMAGES TO THREE-DIMENSIONAL IMAGES
JP2011176800A (ja) * 2010-01-28 2011-09-08 Toshiba Corp 画像処理装置、立体表示装置及び画像処理方法
US20110249889A1 (en) * 2010-04-08 2011-10-13 Sreenivas Kothandaraman Stereoscopic image pair alignment apparatus, systems and methods
JP5186715B2 (ja) * 2010-06-14 2013-04-24 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI566576B (zh) * 2014-06-03 2017-01-11 宏碁股份有限公司 立體影像合成方法及裝置

Also Published As

Publication number Publication date
CN102404592A (zh) 2012-04-04
KR20120030005A (ko) 2012-03-27
CN102404592B (zh) 2015-07-01
JP2012065174A (ja) 2012-03-29
US20120069004A1 (en) 2012-03-22
US9154765B2 (en) 2015-10-06
TWI456976B (zh) 2014-10-11
JP5450330B2 (ja) 2014-03-26

Similar Documents

Publication Publication Date Title
TW201225635A (en) Image processing device and method, and stereoscopic image display device
JP6308513B2 (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
US8503764B2 (en) Method for generating images of multi-views
US9338426B2 (en) Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
CN101796548B (zh) 立体图像生成装置和立体图像生成方法
EP2659680B1 (en) Method and apparatus for providing mono-vision in multi-view system
JP5625979B2 (ja) 表示装置および表示方法ならびに表示制御装置
US20160150226A1 (en) Multi-view three-dimensional display system and method with position sensing and adaptive number of views
TWI504232B (zh) 3d影像處理裝置
TWI462569B (zh) 三維影像攝相機及其相關控制方法
CN102368824B (zh) 视频立体转换方法
KR100893381B1 (ko) 실시간 입체영상 생성방법
JP2017525197A (ja) 立体視ビデオ生成
JP7805995B2 (ja) 視聴者に合わせて調整された立体画像表示
JP6490107B2 (ja) 立体視ビデオズーミング
JP6608852B2 (ja) 立体視深度調節及び焦点調節
JP5864996B2 (ja) 画像処理装置、画像処理方法、及びプログラム
TWI511524B (zh) 裸眼立體顯示系統及方法
Haga et al. Capturing multiview 3D using a lenticular lens
KR20150041225A (ko) 영상 처리 방법 및 장치
TW201424341A (zh) 可自動調整影像顯示深度的立體顯示裝置及方法
Min et al. Three-dimensional electro-floating display system based on integral imaging technique
Lu Computational Photography
JP2012060512A (ja) 多眼撮像装置およびプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees