201125352 六、發明說明： 【發明所屬之技術領域】 本發明係關於一種影像畫面校正之技術，尤其是涉及 校正立體影像的畫面，以便在顯示裝置上正確顯示出立體 的影像的方法。 【先前技術】 用於顯示立體影像的立體顯示裝置可分為裸眼可視型 以及配戴眼鏡型，前者可讓使用者裸眼直接觀察到立體影 像，故使用上較為方便。而在裸眼可視型的技術中，則以 採用柱狀鏡（lenticular lens)技術的顯示方式廣為製造廠商 接受。 請參閱第一圖，在表層塗佈柱狀鏡的立體影像顯示裝 置丨6即為一種可裸眼直視立體影像的設備，當使用者利用 立體影像照相機10 (如内建多鏡頭組之具備立體取像功能 的多鏡頭照相機或攝影機等）擷取複數個分別代表不同視 角的多張影像晝面（frame) 12及Μ後，以數值矩陣方式 储存’當使用者欲在立體影像顯示裝置16顯示出立體影像 18時’立體影像顯示裝置16表面的柱狀鏡會將不同視角的 影像晝面，分別投射於使用者不同觀看角度的兩眼，因而 讓使用者產生立體視感，藉此而從立體影像顯示裝置16的 螢幕看到立體影像18。 立體影像顯示裝置16上所塗佈的柱狀鏡具有特定的排 列方式及排列方向，若要.在立體影像顯示裝置16上正確顯 不立體輸出的效果，不僅拍攝時須注意拍攝方向，且亦須 依照柱狀鏡預定的排列方向來顯示，方能呈現出立體效果。' 4/22 201125352 右長裝㈣有預定的輸入方向，例如以左 拍攝時握持影_取裝置的角度“ 收到影像擷取裳置所_的影像時，都二 置接 不例外，請來= = 與立體影像顯示裝置16亦 和13被押取一田複數個不同視角的影像畫面11 Η 3翻取時，即使影像畫面_物件係 持立體影像擷取裝置拍攝而得，缺 田杈 成立體影像15内的物件在螢幕上；$出及顯不，造 際的物件相較，立體$傻15 φ ;’： 11不正確（與實 使物件以正確的顯=但若為了 柱狀㈣投射讓❹者產生讀視感 ^法，過 立體效果無法呈現。 于立月且办像15的
【發明内容J 本發明之目的係為了提供—種 顯，’以及可以校正立體影像顯示==像之 用以使顯轉置可正確地顯示立體影像。：1不4置， 為了達到上述目的，本發明 正方法，包括：接收複數個影像“影像自動校 影像到一立體影像顯贫〃 、，成的一原始立體 差；接著，频_始讀影間具有像 像在立體影像顯示褒置之—_料，原始立體影 為使用者自立體影像顯示裝置觀看影像的 5/22 201125352 的;像=的像差之一像差值。再根據上述資料旋轉所述 根壚傻j ’使影像畫面之顯示方向與拍攝方向相同，及 正立轉之影像畫面_像差，以產生一校 絲像；最後再於顯示裝置顯示該校正立體影像。 為了達到上述目的，本發明更提供 =像的立體影像峨，包括··-影像接 一顯示單元。影像接收單元用以接收由具有像 理二處的一原始立體影像並交由微處理器處 方向分析槿3向分析模組及一像差運算模組： 顯夭f置之分析該原始立體影像之一拍攝方向與該 向的差異，以產生一旋轉方向，原始 同"_算模_=之:==拍=相 轉方向及該像差值，在影像對據旋 像，以根據顯示元再接收校正立體影 藉由本發二::姆出校正卿 晝面被擷取日夺白段’不論多個視角的影像 角的影像金面於山 ％立體影像顯示裝置將不同视 躲上時’都能以正確的顯示方向i 【實施方式】 的立==:;=的-種可自動校— 立體影像顯示震置3係二的方塊圖。本實施例所述的 視或電腦顯示器，料緣鏡或設置了光柵的電 置的體積通常較為龐大，因 6/22 201125352 此其擺置方向錢_定，t見的方式是财平方向的長 度大於垂直方向的寬度的橫幅來擺置（本文以下皆稱為橫 向；而水平方向的長度小於垂置方向的寬度的方向則稱為 直向）。 立體影像齡1置3中包括了 1像触料30、- 微處理器32及i示單元34 ;微處理器％更包括了一方 向分析模組320、一像差運算模組322、-校正模組324和
-傳輸模組326。影像接收單元％係如連接或 IEEE1；394 II狀排的-貪料傳輸埠，用以連接立體影像操取 裝置（圖标）’以接收立體影像_^置所擷取到的原始 立體影像。 每個原始立體影像當中包括了顯示不同視角書面的複 數個影像晝面’本實例中係以兩個影像晝面為例說明。由 於係從不同視角練晝面，因此原始立體影像巾的每個影 像晝面的内容不會完全相同，二個影像晝面之間具有一像 也就是-立體影像巾的同—物件（如動植物、山岳或 築物）’在組成所述立體影像的兩個影像晝面中的位 同。其位置的差異可透過像素比對而獲得。 由於人眼係為水平分佈，因此立體影像顯示農置 立體影像亦應為由具有水平方向之像差的. 所組成，以便經過與水平像差垂置、或以一 一 設置的柱狀鏡折射後’使左右眼分別接收兩個視^的主 面，而正確地觀制具讀感的立體影像。為此，ς 像擷取裝置亦多在橫向水平設置二個鏡頭，以二 ，影像到立體影像顯示褒置3 8夺，即以橫 ^ 口 輸入方向，傳輸具有水平像差的原始立體 ，、，、預δ又的 7/22 201125352 ，而，使用者使用立體影像掏取裝置榻取影 可 尨根據被拍攝的物件的特性不同 攝方向)，在此 錢二==並：；橫向傳輸到觸像顔 細虞拍攝方向顯示立辭體::象顯:裝置3則無法正 站立全身圖，但仍以橫掏取一人體的 出人員橫躺的全身ϋ。 早％ 4上射顯不 交二接收到原始立體影像後， 析模組320用以分析原始立取〜/政處理器32的方向分 體影像顯干奘w 1 a办像的拍攝方向與輸入到立 隨〜悚顯不農置3的顯示方 體影像被拍攝時，使用者握持影刀析原始立 顯示方向相異的直向、或與顯 ⑽t向係為與 立體影像的拍攝方向原本即 7同的檢向。若原始 裝置3之後的顯干”、、軼向，輪入到立體影像顯示 八^ 卩為拍攝方向，财向分健細· 刀析原始立體影像中的物件後，心刀析模組320 拍攝方向已符合顯示單元3#，述原始立體影像的< 之像差，即可將分析後的立旦:’、不肖、且具有水平方向 到顯示單元34,透過顯示單^像透過傳輸模組汹傳送 差的影像晝面，使用者可直 上的柱狀射具水平像 到正確的立體影像。 财立辟雜示裝置3上看 然而，若原始立體影像的 被傳送到立體影像顯示裝置 ^向為直向’而以横向 中物件的特徵進行分析後:向分析模組32〇根據影像 方向與其輸人到立體影麵=出原始立體影像的拍攝 又罝3的顯示方向不相符， 201125352 並進一步透過辨別影像中物件的特徵，八 像被拍攝時的拍攝方向，以便旋轉原^^原始立體影 體影像的拍攝方向與顯示單元顯=像’使得立 以正確的方向顯示。 I 員不方向相同，讓物件 像差運异模組322則用以計算組成原始立雕旦 個影像晝面之間水平像差的像差值，以便根據 像差值’使旋轉後的影像晝面仍保有水平方° ^ 轉前的影像晝面雖然也具有水&⑽二°旋 影像晝面旋轉為直向後’原本水平方向的像差= 垂置方向的像差，使得立體影像 =夂 角的⑽畫面給㈣者的魏，使用 到立體影像。因此，像差運算模組奶 ^^ =;ί值，據此消除旋轉後之影:畫 方向的像差’再產线轉後之影像畫面間的水平 亦即使得直向顯示㈣像晝面具有水平方向的像差。， 方，分析模組320分析影像晝面所需旋轉的方向和角 由像差運异模組322重新計算旋轉後之影像晝面應 生的水平像差後，由校正模組324根據上述的旋: 和像差值，並·旋轉後之影像畫面的像素排列方= 產生-校正立體影像’所述的校正立體影像做據 體影像被拍攝的方向顯示，在本實施例切為直向顯^， 並且在二個直向顯示的影像畫面之間具有水平方向 差，以透過傳輸模組326輸出，傳送到顯示單元％， 向擺置的顯示單元34 _L顯示出直向的校正立體影像。 #第四圖顯示本發明所提供的一種立體影像自^力校正方 法第一實施例的流程圖，請同時參照第三圖所示之方塊 9/22 201125352
圖。所述的^交正方法係可在立激影像顯示裝置3中實行。 首先由立體影像顯示据i岑q社丨 > …H 朴立Μ傻_崎像4面所組成的 原體像（_，树施例中的原始立體影像由-個 影像畫面所組成，而影傻蚩古卜τ f滑田一 1U 斷原始立體影像的拍攝方= 中广物r跑分析並判 的減nl )’亚判斷原始立體影像 的拍攝方向疋否與立體影像顯示褒置3顯 向相同（S405)，所述的拍托古心及4b 純的顯不方 取立料㈣/^攝方向係指立體影像擷取裝置擷 ΐ影像擷取裝置的方向。若拍攝方 ί;Γ: ΐ例如立體影像顯示裝置3係以橫向顯 ㈣m J 拍攝’則判斷出立體影 像颌不裝置3所接收到的立體影像不需 ，可直接透過傳輸模組326輸出到顯示單干 ⑽由顯示單元％上所設置的柱狀鏡將具有水 產生立體視感。 石民肀 但若方向分析模組32〇分析後，判斷出立體影像 裝置3所接收到的原始立體影像的顯 = 不符」，原始立體影像的拍攝方向及其顯; =，计具原始立體影像應旋轉的角度（S4〇7)，例如將以 向:攝=卻以橫向輸入立體影像顯示裝置 影像中之物件的特徵，判斷 體 件，此以付合原拍攝方向的角度顯示。 汁异出原始立體影像應旋轉的方向和角度 步由像差運算模組322來計算立體影像中的二個 10/22 201125352 面’經旋轉後所應調整的像差（S409)。所述的調整像差係 先根據二個影像晝面中的每一像素一一比對，或根據影像 晝面中的每一物件進行比對，計算出二個影像畫面之間存 在的像差比例，再根據此比例，將原影像畫面之間的垂直 像差轉變成為水平像差。 原始立體影像旋轉前，二個影像畫面所具有的水平像 差’可以使得觀看者具有立體視感，但隨著影像晝面的旋 轉’當原始立體影像的顯示方向從橫向旋轉為直向以符合 • 減方向後，原本橫向擺置所具有的水平像差也會跟著旋 轉而變成垂置像差，在此情況下，僅能對水平方向像差進 行^射的顯示單元3 4就無法使具有垂直方向像差的影像畫 面分別投射到左、右眼，也就無法產生觀看立體影像的感 覺。 待應旋轉的方向、角度，以及應調整的像差都已計算 出後，便由校正模組324控制原始立體影像中的二個影像 畫面，根據計算出來的旋轉方向和角度旋轉二個影像晝面 • ( S411 )’再將旋轉後的影像晝面根據像差比例調整出水平 的像差（S413)，同時還調整旋轉後之影像畫面的像素排列 方式，以產生校正立體影像。最後，再透過傳輸模組326 將校正立體影像輸出到顯示單元3 4 ( S 415 )，以呈現符合拍 攝方向、且具立體視感的立體影像。 第五圖再提供一種立體影像自動校正方法第二實施例 的流程圖，並請同時參照第三圖之方塊圖及第六圖所示之 示意圖，以利理解。立體影像顯示裝置3同樣先接收由二 個具有像差的影像晝面所組成的原始立體影像6 〇 ( s 5 〇 i ); 接著由方向分析模組320根據其中一個影像晝面，開始辨 11/22 201125352 識影像中的物件特徵⑽3)。例如：根據五官、 :顏的情況，辨識影像中的人或動植物之物 識影像!是否有天空、海洋、河収山岳、地4二 或辨“像巾的物件是否有_物、車輛、告示牌、 等附者於地的物件；以及其他可以識別影像丘別 方式：辨識影像畫面中的物件，以判 :: 辨識:法亦可經由本技術領域中之人士依照不同二= 則推算而得，在此即不多加贅述。 、/ 當根據上述或其他類似的方法識 後，即_該等物件在影像晝面中的位置，二2= 的輪廓，再根據所圈示之物件的特 = 面的拍攝方向_)。所述的物件皆具有-像Ϊ 即每-物件受地心引力之吸引而具有的—固亦 ，如人體_有方向料頭在軀體和四肢上方、建絲 種演算方式來辨識出物件的方 攝方向。例如：若在影像畫面 /肺衫像的拍 而原始立體影像中的天空及山岳係水平ς =物= 原始立體影像旋轉至天处 j即了知應將 向。上述的辨識手段係;正確的拍攝方 中的像素和物件進行運算而得。以第六圖;斤矛象:面 ===_物::= 判斷出影像畫_=後，就_據拍_ 12/22 201125352 和齡方向的差距’由方向分析模組32G計算原始立體影 像^疋轉的方向和角度，以及由像差運算模組322根據旋 轉則之影像晝面的像差，計算旋轉後之二個影像晝面應產 生的像^ (S5Q7)。校正模組324根據上述的計算結果，將 原始立脰衫像的—個影像晝面加以旋轉如第六圖所示， 使拍攝方向與顯示方向相同（S5G9)，再調整像差的位置與 比例（S511 ) ’以產生校正立體影像64。最後再將校正後的 杈正立體影像傳送到顯示單元34加以輸出（S513)。 —第七圖提供的是本發明的另一種立體影像顯示裝置3a 貝把例的方塊圖，與第三圖所示之實施例的差別在於，第 七圖所不的立體影像顯示裝置3a更包括-方向感測.單元 36，所述的立體影像顯示裝置如係可為一可攜式顯示裝 置，例如同時具有擷取立體影像及顯示立體影像功能的立 體照相機。 所述的方向感測單元3 6係如一陀螺儀或重力加速度感 測裔（G-sensor)，可用來感測立體影像顯示裝置如被握持 的方向。由於可攜式顯示裝置比電視或電腦螢幕等顯示裝 置輕巧，因此使用者可握持在手中，任意轉換立體影像顯 不裝置3a的擺置方向，以便從不同角度觀看立體影像。然 而，為了得知使用者握持立體影像顯示裝置3a的方向，因 此必須依靠立體影像顯示裝置3a中的方向感測單元36來 感測立體影像顯示裝置3a的擺置方向。 在本實施例中，方向分析模組320除了分析原始立體 衫像的拍攝方向之外，還接收方向感測單元36所偵測到的 立體影像顯示裝置知的擺置方向，根據擺置方向判斷原始 立體影像是否需要旋轉。由於立體影像顯示裝置如具有觀 13/22 201125352 t的特定方向性要求，因此當轉動立體影像顯示敬置3a 時，不僅像差?I要校正，組成立體影像的 面 晝素排列的方式也需—併調整，方能觀看到』 下請同時參閱第八A到第八c圖之示意圖。舉例 : = ='如第八A圖所示以直向拍攝，在觸 ==?直向擺置而觀看立體影像時，因拍攝方 向與顯不方向（直幅）相同（參閱第八户圖），因此並不需 要旋轉影像’但仍需要交由像差運算模組322將第八 中垂置方向的像差校正為如第八B圖中直向顯示時的水= 像差’並根據調整後的水平像差重新排列二個影像晝面的 像素排列方式；而當立體影像顯示裝置3 a改為如第八C圖 之橫向擺置時（-般係為預設之擺置方向），則同時需要; 向分析，組320旋轉原始讀影像的方向及像差運算模組 計算出影像旋轉後的水平像差，且同時要根據旋轉方向 凋整不同視角的影像畫面的像素排列順序。 ,舉例而言’假設第八A圖所呈現出的立體影像8〇係由 影像畫面P及影像晝面N中的像素所合成，在原本辭像 晝面P中有三個相鄰影像像素，依序分別為 P1(RP1，GP1，BP1)、PVRpABp2)與，而影像 畫面N中亦有三個相鄰影像像素，依序分別為 N1(Rni,Gn1,Bni) ' N2(RN2,Gn2BN2)|^ N3(RN3,GN3}Bn3) > 列組合後所產生的立體影像中，三個像素的排列方 依序可能為(RP1,GNI，BP1)、（Rn2，Gp2，Bn2)及(Rp3，GN3，Bp3)，葬 :乂呈現出如第八A圖具垂置相差的晝面。當要改為如第乂 圖或八C圖所呈現具水平相差的立體晝面時.，為了配合 顯不裝置3a的特定觀看方向性’除了將垂直相差改變為水 14/22 201125352 :相差外，還需將二個影像晝面的像 ，第八B圖中’立體影像的像 4(RN1,0Pi,BN^(R 〇N2；Bp2M(Rn3j^ 方式，以利使用者在相同的顯示裳置知 都可看到立體影像。 个丨』们月度 換言之，雖立體影像係由二個以上的影像書面組
Si歹 =:用:個以上影像晝面中的像_上係 乂錯排列“為使用者所視之立體影像；更進 ί立體影像係由超過二個影像晝面所合成時，立體影像中 ::象娜Β值即分別從各個影像晝面中相二 值中選取’例如：以六個影像畫面合成為:個立 =象㈣的其中之一;立體影 值為六個影像畫面中第—個像素的G值的豆中之… 依此類推。而像素·的方式和财受觸示裝置 置的柱狀棱鏡排列的方向、顯示I置使者 = ==視角的影像畫面的數量的影響= = 向和順序係視顯示裝置的設計而定，在此 萬以上的3外’―個影像晝面中通常都包括數百 僅係為說明簡便之故，僅™ 像8〇m324再根據不同的校正需求調整原始立體影 :影像84的校正立體影像82或第八c圖的校正立 下，tb&iL ^便在立體影像顯隸置％不同擺置方向之 體影像Γ據影像被拍攝的方向顯示出具立體感的立 15/22 201125352 第九圆為本發明所提供的立體影像自動校正方法第三 f施例的難圓。在立卿_示裝置無由二個具有像 差的影像畫面組成之原始立體影像後（漏），接收使用者 所輸入的一指示以旋轉原始立體影像（S903)，直到原始立 ff像，攝方向與立體影像顯示裝置的顯示方向相符。 妒触再運算出二個影像畫面的縣值，並根據原 ΐϋ缚被旋轉的方向與角度，運算出旋轉後之原始立 j像在正確的顯示方向上應產生的水平像差（娜），校 正I，且再依據像差運算模組算出的像差 =象為校正讀影像⑽7)，並輸出到顯= 體景 L 象以供使用者透過顯示單元上的柱狀鏡接收到立 與第五圖所示第二方法實施例不同之處在於，本實施 顯tr並非透過方向分析模組根咖 轉，一則可減輕了微處理器處理資料、觸 =像的負擔’同時也提供一種可依使用者個人 擇 特定景f觀看角度的選㈣式，使収具雜。選擇 紅合上述各實施例之說明，本發明已揭示 =„正立體影像的技術手段，透過辨識立體= 中物、景色等物件的顯示方向，判斷 方向，藉以使立體影像以其被拍攝的方向= 立體影像錢示裝置上輸出顯示财向 體影像之特定方向，調整合成立體影像之“ ，的影像像差’使得顯示裝置所顯示的立 ^ 2 物件被拍攝的方向，並且維持立體視感。白月b付合 16/22 201125352 、、:而”上述各實施例當中之項目及元件，僅係為闡述 凡:明所舉之例示，並無自限所請求保護之範圍之意圖。 進4-ί本發明之精神及根據本發明所揭示之技術手段，而 于U巾田之修飾或改變者，亦屬本發明所保護之範疇。 【圖式簡單說明】 第 一圖：習知之立體影像擷取及顯示示意圖； 楚一 〜圖：習知之立體影像擷取及顯示示意圖； 笛一 二圖：本發明所提供一種可自動校正立體影像的立體 影像顯示裝置第一實施例的方塊圖； 四圖：本發明所提供一種立體影像自動校正方法;第一 實施例之流裎圖； 第Τ 五圖：本發明所提供一種立體影像自動校正方法第二 實施例之流桎圖； Α六圖：本發明所提供一種立體影像校正示意圖； 第七圖·本發明所提供一種可自動校正立體影像的立艘 ^ 影像顯示裝置第二實施例的方塊圖； 第八A到八C圖：立體影像顯示裝置顯示立體影像之系 意圖；及 第九圖：本發明所提供一種立體影像自動校正方法第彡 實施例之流程圖。 【主要元件符號說明】 (習知技術） 10立體影像照相機 影像畫面 17/22 201125352 15立體影像 16立體影像顯示裝置 17, 18立體影像 (本發明） 3, 3a立體影像顯示裝置 30影像接收單元 32微處理器 320方向分析模組 322像差運算模組 324校正模組 326傳輸模組 34顯示單元 36方向感測單元 60, 62, 64立體影像 80, 82, 84立體影像 S401-S415流程步驟 S501-S513流程步驟 S901-S909流程步驟 18/22