TW200841704A - Arrangement and method for the recording and display of images of a scene and/or an object - Google Patents

Description

200841704 九、發明說明： 【發明所屬之技術領域】 本發明係關於一種用以記錄並顯示一場景及/或物件之 影像的配置及方法，特別為適用於顯示記錄影像以供空間 感知（perception)。本發明係更關於傳輸影像以供空間感知 的方法。 【先前技術】

目岫，本質而言，存在用以記錄3D影像資訊之三種 基本不同的方法、及關連的配置： (1)古典立體（stereo)相機，由二個類似的相機所組成， 各者為針對於左與右影像。不過，針對於高解析度的顯示， 冋解析度的相機系統係需要。關於多通道系統，中間視圖 之内插（inte_ati〇n)_要。此係、致使假影㈣也叫為特 別可見於中間的視圖。 ()一種多視圖（multiview)；N機系統之運用。優於立體 相機之優點係關於多通道系統之正確影像複製。特別是， 亚無内插係需要。一個缺點係實施(例如：八個)相機之對 準於彼此所需要的極大努力。另-個缺點係涉及於數個相 機之運用的提高成本，此外為引起[隹及於數個相 # Λ 卜為引起更進一步的問題，諸如： 色位準、色調值及/或幾何特性，因此必須為平衡。 猎者此種方法所將操縱的高資料率係亦為缺點。、 (3)-種深度（depth)相機之運用。在此， 及連同一種深度感測器之運 種矽色相機 兑將……旦 運用係作成，深度感測器係登錄 錄的％景之(概括為巨大的)深度資訊。除了深度感 6 200841704 測器為相當昂貴的事實之外，其缺點係在於：經常為未確 貫運作，及/或無於準確度與速度之間的可接受折衷係達 成。孩種方法係需要概括的外插（extrap〇lati〇n)，其中y特 別是於外部視圖的假影係無法為排除，且概括而言，包圍 的（occluding)假影係無法被隱藏。 。^ 【發明内容】

本發明係基於問題為陳述一種新穎的方式，藉著最小 可能努力以記錄真實的場景及/或物件且隨後將复為二維式 顯示於二或多個視圖以供空間感知。本發明之另、二：問題 係找到一種用於傳輸影像以供空間感知之適合方法。 物件根=發明’上述問題係藉著一種用以記錄場景及/或 勿件之衫像且將其顯示以供空間感知的配置而解 配置係包含下列構件·· 影像； 第-種相機型式之至少一個主要相機，用以記錄 影像 說一彻铱—仏、 m ^ it m 種相機型式係於至少-個參數為不同； -一影像轉換裝置，配置在該等相機之 收及處理初始影像資料，於其他處 2用以接 係竇杆一、、梁泠十至W / 此衫像轉換裝置 、-,X或差“dlsPa出y)辨識，針對於此，僅 相同相機型式之相機所記錄的彼等影像 ^ 、”、、 二個衛星相機所記錄的彼等者）係運 x二^至少 --犯影像顯示裝置，連接…為像；及 示影像資料以π4 μ衫像轉換裝置，顯

“間感知而無需特殊的檢視輔助，該3D 7 200841704 影像頒示裝置係顯示該場景及/或物件之至少二個視圖 然而，該3D影像顯示裝置係亦可同時或於平均時間 而顯示3、4、5、6、7、8、9或甚至更多個視圖。特別: 於剛才提及之所謂的“多視圖（muUi_view)” 3d型式之= 像顯示裝f，4或更多個視圖被顯示，本發明之特別= 係藉著相當少（例如：三或四個）相機而為有效（亦即：其為 可能）’以提供相較於運用的相機數目之更多個視圖。 主要與衛星相機係通常（但非強制）於其品質為不同。 該主要相機係多半為高品f的相貞，而運用的衛星相機係 可為較低品質者(例如：工業用相機)且因此(於其他來數之 中）多半為（但非強制）具有較低的解析度。於此情形，其次， 第二相機型式係具有相較於第一者之較低的解析度:、：二 種相機型式係亦可（至少）於内建的成像晶片為不同。— 本質而言，本發明之優點係在於：除了古典立體相機 糸統（在此：本質為二個相同的高解析度相機所組成）之外’ 一^三相«統係運用’較佳為由—個中央之高解析度的 相卜與其分別配置於主要相機之左右側的較低解析度的 二個附加相機所組成。因此，舉例而纟 於衛星相機之間。 要相機係配置 較佳而言，主要相機係配置於衛星相機之間。於相機 ^ 、/、、阜（千仃或指向於一共同焦點）係可變於 慣例的極限内。更多&於_ 此舉係致能1特生相機之運用係可為有利，由於 、、別疋於衫像資料之後續處理期間的誤解之 更進一步的降低。 ^ 200841704 根據本發明之實施例，7 m Ύ因此為有利的是： _精確而言，—個主男j扪疋 (形式1+2”）； 钱與二個衛星相機係設置 個衛星相機係設置 -精確而言，一個主要相機與三 (“形式 1+3”）；或 ^ — -精確而言，一個主要如 (“形式1 + 5”）。 钱與五個衛星相機係設置 本發明之概念係顯明為亦 ,,, 匕括其他的實施例，例如： 數個主要相機或更多個衛星相機之運用。 所有相機係可為平行配置 可沪的η ·、，db计人 ^才日向於一共同焦點。亦為 了此的疋·亚非其全部者係指 _ ^ 〇於一共同焦點（收斂角度 該寻相機之光學軸係可位在於一 ^ ^ , y 1 口平面或於不同平面，物 鏡之中心點係較佳為配置 w 一… 直線或於一（較佳為等腰或等邊） 二角形。針對於應用之特殊 點孫介叮4 月形’该專相機的物鏡之中心 -占係亦可相對於彼此為間 形成-不等邊：角：：相4的距離(物鏡中心點係 相機（即Λ古一Λ 為可能的是：所有（至少三個） 為不π 丨#主要與衛星相機)係於至少一個參數 為不同，例如：其解析度。 隹、# m Μ Μ荨相械係可同步化為關於變 居、、光圈快門、聚隹、笙發 '、、、44、以及關於個別的畫面（即：於 口己錄之取佳可能的畫面正 、片 v化° 5亥等相機係可固定於 ㈣角立ί或相對於彼此為可移動；於相機間的基座距離與 收斂角度之設定係均可為自動。 可為有利的是：提供配接系統以利 衛星相機至主耍相嬙 u疋特別疋该專 主要相枝。以此方式，普通相機係可隨後轉換 9 200841704 成為-3D相機。然而，亦為可行的是：藉由變更一附加

的主要相冑，轉換一現存的立體相機系統成為其符合本發 明之一 3D相機。 X 甚者，束路徑（較佳為在種種相機之物鏡的前方）係可 設有附加的光學元件，例如：一或數個半透明的面鏡。舉 例而言，此係使得可能配置二個衛星相機各者為相對於主 要相機而旋轉9G纟’俾使所有三個相機之相機本體係配 置以使得其物鏡中心點為水平式較接近在一起，相較於若 所有二個相機係配置為直接並排而所將為者，於後者的情 形，相機本體之尺寸係將需要物鏡中心點之某個較大的^ 7。於旋轉90度的二個衛星相機之群集，配置在相對於 發射自該等衛星相機物鏡的主要光線為角度約45产之丰 ^面鏡係將依循反射位置，而配置在相對於發^該主 要相機物鏡的主要光線 依循於透射位置。角度…5度之同-個面鏡係 點係IS:: ’ ί要相機與至少二個衛星相機之物鏡中心 ’、乂 、等腰二角形，例如：於形式“ 1+2”中。 針對於形式“ 1+3” ，可Α古 之物鏡中心點係形成一：二:疋：三個衛星相機 於此产开，“ -角开乂，較佳為於-等腰三角形。 之内’該三角形係假定為包括其側邊。置以二角形 再者，於形式“】+ V，山 與主要相機係光學切置2’可能的A:-個衛星相機 影像於本⑼對於彼此，俾使其均記錄一 B 由’至少一個半透明面鏡係較佳配置 200841704 於该一個相機之間。 μ二ii:’該二個其他的衛星相機係較佳配置為血並 關：:!相機之衛星相機以-起形成一直線或:二與其 其他貫施例係亦可實施，諸如例如：一:角形。 具有四個衛星相機之一四邊开 :工1+4” ， (例如：於其面積之中心及位於該四邊形之内 ‘〜，，，且有二)的一要相機；或甚至是-形式 ... 或更多個衛星相機之一圓形。 之至少三個視圖=係產生該記錄的場景或物件 M T對於该至少三倘i目闰+立L 登錄的深度戋差里 ^ 生，除了所 主要# i# 一卜，影像轉換裝置係運用由至少一個 主要相機所記錄的影像與由 ^個 的至少:、=Γ 所提供者。相當可能的是··產^ 曰 視圖之一者係仍相等於該等輸入3傻夕一土 於最簡單的情形，影像轉換裳置係可甚至僅:運用:: 視圖。要相枝所記錄的影像與關聯的深度資訊以產生該等 藉著書面::二:有主/相機)與所有衛星相機係較佳為 許度而―記^同步化於最大為每24小時_個畫面之容 衛星::Γ特定實施例’亦可為有用以運用黑白相機作為 的^械，且較佳為隨後自動指定一色調值至由其所產生 之影==亦可藉由一種用以記錄並顯示場景及/或物件 的方法而解決，包含下列步騾·· 200841704 _產生至少—個n元組（n_tuPle)的影像，n>2，至w、_ 個影像係具有不同的解析产· ^ 一' -轉移該影像資料至一影像轉換裝置，其 一整流、一色彩調整、一噗许七i s Μ ^ 峻设， /衣度或I異辨識、及自該η元知 的η個或小於η個影像盥、、吳库 ，且 ^ 乂 與，木度或差異辨識值之更多視圖沾 後績產生係實施，產i ^ $ I、 . β的 座生的至少一個視圖係非為精確相 產生的η元組的影像之任一 寺於 於深度或差異辨識而運用锚或甘θ 士 α 节种對 两叩建用僅為其具有相同解析度之 的該等影像； 几組 酼後產生至少三個不同的視圖或影像之一組 據一 3D影像顯示裝置 抑 很 衣罝之3D顯不器的參數指定，用於办 呈現而無需特殊檢視辅助，·及 二曰〕 二最後呈現該組合的30影像於該3〇顯示器。 深度或差異辨識係運用且右 %用八有相荨的解析度之影像，哕 解析度係具有相較於提供的 μ .a 杈仏的所有其他解析度之最低總像素 数目〇 自η元組的影像與深度或差異辨識資料之 Γ度辨識與後續產生係可實施，例如：藉由產生-種堆疊 (stack)結構且將其投射至期望的視圖。 一種堆疊結構之產生伤 ^ 係T由其他可應用的深度或差異 辨識演算法所取代，辨、 ^ _識的咏度或差異值係運用以供產生 d主的視圖。概括而言，一 A w 禋堆噓結構係可對應至於不同 的（虛擬）平面之圖像元素的一層結構。 若是由具有不同影像解析度之不同型式的相機所組成 12 200841704 之-種3D相機系統係運用，可能為在影像資料轉移至影 像轉換裝置之後而先實施—尺寸適應。此舉之結果係均具 有相同的解析度之影像。此係可對應至該等相機之最高解 析度，而較佳為等於最低解析度的相機者。隨後，相機影 像係整流，即：其幾何失直在χ ^ 1 /、戏叼夭異係修正（若具有透鏡失真、相機 未對準欠焦差異、等等）。尺寸適應係亦可實行於整流過 程内。隨後，-色彩調整係實施，例如：如由ΜΗ於 西疋2004年史丹福大學技術學刊cstr 2〇〇4·〇2 3/則4 侧4之文獻“針對於不昂貴的影像感測器陣列之色彩校 ^及 A. LLie 與 G. Welcl^ICCV2〇〇R文獻“確保於 之色彩一致性，，所揭示。特別而言，相機影像之 ^周以度值係匹配，使得其為於相等或至少為可相比的位 ^針對因此提供的影像諸，用於深度㈣之堆疊結構 ^ 弟_步驟而堆疊於彼此的頂端之 輸入影像（僅為具有相同解析度- 逐㈣·… 析度之n 70組的影像）係彼此為 :〇lne-by-丨㈣比較。而，逐行的比較係可能作成於一 ^ 巧頁扪右该4相機係非配置於水平的 千面。右位在於彼此的頂端之像素係具有相同的 ， 此係將儲存；若其具有不同的色調值，此等者係均 存。然後，諸行係相對於彼此而位移為於相反方向之= 的步級㈣)(例如”/4或1/2個像素)；在’疋 較的纟士罢後五；烛士 ^ "及之後，比 γ、Γζ之-:的：：：此過程之結束時，具有座標X、 影像…：;! 得到，χ肖γ係對應於輸入 素 而ζ#代表於視圖間的相對位移之程度。 13 200841704 因此，若二或三個相機丰 fi ^ ^ ffh hl· ¢- 、 刀別為總是二或三行係相 = 及位移。亦為可能運用超過二個（例如：： 個）相機且仍僅為組合她 > 一 再次匹配.〜、疋一仃，於此情形，比較係必須為 丹-人匹配。若二或多行丰 ^ - a 、較，存在較少許多的模糊性， # ^ , 乂 , '、象之一仃的比較。於堆疊結構之隨 後取佳化，任務係本質為在於 、冊除取不可能的組合，倘若 ΓΓ:::元素的模糊代表。此外，此係促成資料： V。進一步的減少係逵成 _ Μ 一土 違成右一南度輪廓曲線係得出自其 餘的70素以得到於一離散 不π拖+你 離政冰度千面（Ζ座標）之色調值的一 不杈糊成像。通常跟隨者係 ^ , *且、、、口構之投射至期望視圖。 至 >、一個視圖係應產生，1一 一 ’、者係可此仍為等於輸入影像 之-者’概括而言’此係考慮其為運用於後之特定 3〇影像顯不裝置而達成。提供 风Μ、的不同視圖之後續的組合係 對應至3D顯示器之參數指定。 一旦該堆疊結構為已經產生，或在巾請專利範圍第2〇 :員所述的步驟之後，深度係針對於η元組的至少三個原始 影像而確定’較佳為於深度圖之形式。較佳而言，具有不 同的解析度之至少二個深度圖係產生。 再者，纟η元組的原始影像與個別關聯的深度為已經 運达之後，較佳而言’重建係藉由深度圖以逆投射η元組 的影像至堆疊空間而實行，使得堆疊結構係重建，且其1 不同的視圖係可藉由投射而自其產生。自提供的影像資料 凡組的影像、深度資訊）以產生視圖之其他方法係亦為可 14 200841704 甚者，具有個別關聯深度之n _ 輸至3D影像顯 凡、、且的原始影像係可傳 所述的重建係可先t且然後如於申請專利範圍第17項 概括而言，n 一 z 所產生’例如:數:單::::二如:藉由- 3D相機系統 替代而言，於用㈣組成之—種多相機系統。 上述方法，可能為/二3己錄亚顯示場景及/或物件之影像的 較佳而言’―深度圖 ：像。於此情形， 該三個深度圖之:異辨識步驟係可省略。較佳而言， 實施例二者係:解析度為不同。於-個較佳 析度為192〇xl_像素且 /、者係具有（全彩）解 咖咖（或贈X768)像辛而一 f係具有（全彩）解析度為 —«^64〇χ36〇 析度之影像係於空間嶋對)象素具， 體圖之間的一立體圖。 、/、他一個影像的立 運用的3D影像顯示裝 間而顯示2、3、4、5、6、卜8 為同&或於平均時 特別是關於J:習猶為“ >、 或甚至更多個視圖。 置$ 3D_顯示裝置之^驻 置，…或多個視圖為顯示，本發 ：置…裝 亦即：藉著相當少(例如：三個)原、點係有效， 像的數目之更多個視圖係可提供以供空間顯：較：原始影 土所述，根據一種無需特殊檢：外，如 景，像顯示襄置之3D顯示器的參數指定:二呈：之- 主^ 一個不同視 15 200841704 圖或影像的組合係可含有不僅是自於空間 不同點之視圖的組合。 亦為於時間的 :發::之另一個重要優點係事實在於 取之後，深度係關於原始影像而確定。迻成：：構的 具有-極為有效率的資料轉移格式，亦· 貝枓係 原始影像、或視圖)加上n個深 口'“象(例如： 一咨東L、玄1么土 又貝σΜ較佳為n=3)，佶π 需:因達成，其為顯著較低於若是所有視圖為轉i: Lt 種用於堆疊結構重建的單元與用於堆&士 =至期望視圖的單元、或其為不同方式實行視圖；； 之其他種類的單元係必須整合至3D影像顯示裝置。建 針對於上述的步驟’可能為運用差異而取代深度。此 外’原則上，術語“投射（pr〇jecti〇n)”係在此可亦 為位移。 、誠然，不㈣前述者之其他的深度或差異辨識方法係 可運用，以偵測自η元組（n>2)的影像之深度或差異、及/ 或產生自此η元組的影像之進一步的視圖。舉例而言，該 等替代方法或部分方法係描述於下列的文獻：Ta〇，Η•與 Sawhney，Η·之“通用匹配準則與基於色彩分段式立體”， 於電腦視覺應用研討會期刊（WACV2000)，第246_253頁， 西元2000年12月；Μ· Lin與C_ Tomasi之“具有自層級 立體的包圍之表面”，史丹福大學技術學刊，西元2002 年’準備中；C· Lawrence Zitnick、Sing Bing Kang、Matthew Uyttendaele、Simon Winder、與 Richard Szeliski 之“運用 層級代表之高品質的視訊圖内插法”，於電腦圖像與互動 16 200841704 技術之國際會議’ ACM SIGGRAPH 2004,美國加州洛杉 石幾’第 600-608 頁；及 ’ S. M. Seitz 與 c. R· Dyer 之“視 圖漸變（morphing)，， ，SIGGRAPH 96 期刊，西元！年， 第21-30頁。 藉由根據本發明之方法，原則上，可能的是：產生的 影像係轉移至影像轉換裝置。甚者，由該影像轉換裝置所 產生的各個影像之所有視圖係可轉移至3D影像顯示裝置。 於-個有利的實施例，本發明係包含—種㈣傳輸3D 資訊的方法，供後續顯示為詩空間感知而無需特殊檢視 輔助，基於至少三個不同的視圖’其+ :開始自其描述一 物件或場景之不同檢視角度的特徵之 你（ 、主夕一個η元組的影 似且;^)，至少二個η元組的影像係具有不同的解析度， /木度係確定為針對於至少三個影像， 一 个且然後，至少三個η το組的影像以及個別深度資訊（較 值、以# 、住為於/朱度圖之形式）係 傳达於一傳輸通道。 於一較佳實施例，該η元組的爭德总 一 〆—μ - 旧〜像係四元組的影像 (η-)，二個影像係較佳為具有相同 #呈右^上 解析度而弟四個影像 係具有較面的解析度，且第四個影像係較佳 於該傳輸通道之影像，使得例如一個言 ^步；’、迗 較低解析度影像係連同該深度資訊而傳送。X影像與二個 資4:堇\至少二個深度圖係可能於解析度為不同。深声 貝成係僅為由具有相同解析度之 ^ 令电 凡、、且的影像所確定。 亦為可能的是：由確定的深度資兮 鲈古銥k由 貝戒’深度係亦針對於 車乂同解析度之至少一個影像而產生。 於 17 200841704 於根據本發明之方法以及傳輪方法的又一個發展，由 具^最低現有解析度之n元組的影像所確定之深度資訊係 可藉由較高解析度的至少一個影像之邊緣辨識而轉變成為 李父南的解析度。此係特別為有助於若是例如於上述的形式 “1+2” 、 “1+3” 、與“1 + 5” ，高解析度的主要相機係 變焦於種種的場景細節及/或物件，即：記錄於一放大倍數。 於此if形’亦無絕對需要以改變衛星相機之變焦設定。而， 2對於主要相機之對應深度資訊的解析度係如上所述而提 回’使得期望的視圖係可產生為具有《分的品質。 ^進一步的發展係提供大* n元組的影像與關聯的深度 :Λ以連續處理’使得移動影像之空間顯示係成為可能。 取後’於此情形’亦為可能實行該等大量η元組的影像之 空間與時間濾波。 傳輸通這係可為例如一數位τν訊號、網際網路、或 ^ DVD (HD、SD、藍光、等等）。作為一壓縮標準， 係可為有利運用。 亦為有利的是，若該三個深度圖之至少二者係具有不 同的解析度。舉例而言，於一個較佳實施例，許3個影像 係可提供’其一者係具有（全彩）解析度A 192〇xl080像素， =二者係具有（全彩）解析度為·㈣以ι〇24χ768)像 二’而相關的深度圖係分別具有960x540像素與64〇χ36〇 ^ 512Χ384)像素。具有較高解析度之影像係於空間關係 μ於位於其他二個影像的立體圖之間的一立體圖。 運用的3D影像顯示裝置係可較佳為同時或於平均時 18 200841704 間而顯示2、3、4、5、6、7、8、9或甚至更多個視圖。 特別是於其習稱為“多視圖，，3D影像顯示裝置之前述的彼 尊者’ 4或多個視圖為顯示’本發明之特別優點係有效， 亦即：藉著相當少（例如：三個）原始影像，相較於原始影 像數目之更多個視圖係可提供。自傳送之η元組的影像以 及於不同視圖的個別深度資訊(至少二個η元組的影像為具 有不同的解析度）之重建係實行於例如下述的方式：於—個 三維座標系統，各個影像之色彩資訊(觀察自—適 係配置於由屬於該影像的個別深度f訊所標示之深度位 置:此係產生其具有體機像素（立體像素之一 的三維體積，直可驻山占此 ^ …、了精由虛擬的相機或藉由平行的投射而成 、 圖或方向。以此方式，超過三個視圖係可有 利為重新產生自所傳送的資訊。針對於 的重建演算法係同樣為可能。 像之其他 不論此舉，傳送的資訊係可於—種極為通用 =建’例如：作為(立體)視圖、χ :: 體像素。該箄爭德故斗、〆 ^〜像、或立 如·！^ °式極有利於特殊30呈現方法，諸 士 ·體積（voiume) 3D顯示器。 ^ 一 r甚者於由本發明所提出的所有傳輸形式，可铲僂、、， 兀（meta-)資訊於 了犯傳达 為補充該等影像之資訊=咖伐㈣叫 田/么 戍/數）、或透明性或輪廓資訊。 取< 本發明之問題係可藉由一種傳輸3D次 後績顯示用於办門 7 1寻氰3D負訊以供 於工間感知的方法所解決而無需特殊檢視輔 19 200841704 ::至少三個不同視圖，藉此，#始自其描述-物件 或：二之不同檢視角度的特徵之至少—個^元組的影像且 Π> ，冰度係針對於至少三個影像而確定 一 疋，且至少三饱 元,：影像以及個別的深度資訊(較佳為於深度圖之- 係Ik後為傳送於一傳輸通道。 旦〈像，n 70組的影像係三元組的影像（n=3)，三個 二:'有相同的解析度。然而’亦為可能的是，例如： f / i ,係3由们相機係各自產生5《6個影像，使得深度資 編五讀或六元組的影像所確定，或至 、 個影像所確定，且5或6 -二 後為傳# ^s θ 豕—者以及其深度圖係隨 後為傳运’甚至是具有個別影像及/ 低的附加機率。 口而鮮析度之降 【實施方式】 卜^mi之一種配置係本質為由一種30相機系統 4轉換裝置2、與_3D影像顯 =丨所示，相機系統i係含有三個衛星相機=: ” 個主要相機13 ;影像轉換裝置2俜含# ^ 流單元U、一色彩調整單元 係3有-整 單元&用於最佳化堆疊〜之用於建立堆疊結構之-堆疊結構至期望視圖之一;=一且…4、及用於投射 早凡2 5，且，3 D影傻顧+酤班， 係含有—影像組合單元31、及—3D |_32y3〇^ 係顯不一場景或物件之至少二個視圖以 現不 3D顯示器32亦可運作於例如3、4、5、6、7\ 至更多個視圖之基8、9或甚 礎作為—個實例，型式“空間視圖19 20 200841704 央寸（Spatial View 】Q ι.πγ^Ιλ、，，a 19lnCh)之—種犯顯示器32係合適， 其係同時顯示5個不同的視圖。 週 圖2係顯示根攄太菸明

像本^明之另一個配置。在此，該種3D 相 Λ係含有一主要相· 13、一第—衛星相機U、 及弟：術生相機15。影像轉換裝置2係含有一整流單元 21、一色彩調整^ ^ • 正早兀22、用於建立堆疊結構之一單元23、 用於最佳化堆疊結構之罝 構之早70 24、用於投射堆疊結構至期 · 早兀25、及用於確定深度之一單元26，·且， 如於圖2所顯示，3d旦< 傻鹿-壯m "冓之-單元…“象』不哀置3係含有用於重建堆疊 /^、―影像組合單元3卜及-3D顯示器32。 根才於圖2所顯示的實施例，3〇相機系統！係由—主 要相機13、與二個衛星相機14、^ 係具有高解析倍率之一高σ所 、 目幾13 间0口貝的相機，而二個衛星相機 ' I又有較低的解析倍率。通常，相對於彼此之相機 位置係於間距盘對·進么I^ 传… 為可^於已知極限内，使得立體影像 、付。於整流早元21，相機影像係作整流’即：透鏡 f真:相機旋轉、變焦距差異、等等之補償係作成。色彩 凋整單兀22係跟隨在整流單元2丨之 士 / 之色調/亮度值係平衡至一乒同位 ，5己錄影像 係铲、…… -门位丰。因此修正的影像資料 係饋达至早儿23以建立該堆疊結構。 原則上，逐行㈣#Hne)的比較係由輸入影 斤作成’但是僅為衛星相機（根據圖2之14、15或根據 =1之14、15、⑹之彼等者。根據圖3之比較係基於僅 -仃各者之比較。於第一個步驟，前二行係置放一者於 21 200841704 另一者之頂端而具有相同的γ座標， .^ π _ "其根據圖3為對應於 =面〇。比㈣逐個像素（Pixel_by_pixel)而作成，如於圖3 所不’比較之結果係根據現存的比較平面而儲存為—Z座 標，像素為置於彼此的頂端之一種過程係維持其色調值， 若其為相等；若為否，並無色調值係儲存。於第二個步驟， 諸行係各者位移為％個像素之增量，如於圖3所示，該像 素係指定至平φ i，或下一個比較係作成於平面】，其結 果係儲存於平面1 (Z座標）。如自圖3所可看出，比較^ 概括為作成而直到平面7,且接著為平面·】直到平面_7, 各者係儲存作為於個別的平面之_ z座標。平面之數目係 對應於出現的最大深度資訊’且可為取決於影像内容而變 化。因此建立為具有XYZ座標的三維結構係意指的是：針 對於各個像素，於視圖之間的相對位移程度係經由相關的 Z座標而儲存。如於圖6所示，相同的比較係基於圖丄所 示的實施例而作成，除了三行為因此在此相較之外。於圖 6—與圖3之間的簡單比較係顯示的是：三行之比較係涉及 實質為較少的誤解。因，㈣的是進行具有超過二行之 比較。建立的堆疊結構（亦藉由目前輸人影像為不再個別存 在之事實所區別）係饋送至隨後之用於最佳化堆疊結構的單 元24。在此，影像元素之模糊描㈣視為具有目標以刪除 其歸因於不大可能的組合之該等誤差，使得一修正組的資 ::係根據圖4或圖7而產生。於下_個步驟，儘可能為淺 薄或平滑之一高度輪廓曲線係由其餘的元素而建立，藉以 達成於一離散的深度平面（Z座標）之色調值的不模糊成^。 22 200841704 結果係t別為顯示於圖5與圖8。根據圖5之結果係饋送 至用於投二堆疊結構至期望視圖的單元25,如於圖1所示。 在此’堆疊結構係投射至於空間之-界定平面。該(即：各 個）期望視圖俏絲i # T > ^ 士 Θ係經由该平面之角度而產生，如可見於圖9。 概括而° :至少—個視圖係產生為非確實等於相機系統i 所吕己錄的影像之任—者。產生的所有視圖係

換I、置：之輸出璋，且可因此為轉移至隨後…;IS 不裝置3以供立妒s招•站丄^ 丑呈見，猎由納入的影像組合單元31， 3D顯示器32之給定的參數指定而組 合0 圖2係說明另一種選用的方式，用於傳輸 料至-影像顯示裝置3。在此，用於確定深度 ; 在用於最佳化堆疊結構的翠元24之後（虛線）。確定 〜^度係產生一特別有效率的資料轉移袼式。此係因為 僅有二個影像舆三個深度^ ^ .、、、 ^ ^ ~得秒較佳為於MPEG-4 格式。根據圖2’3D影像顯示裝置3係設有於輸入側之— :於重建堆疊結構的單隨後的影像組合單元31、 興：㈣不器32。於用於重建堆疊結構的單元30,接收 的影像與深度係可藉由逆招 摊…。 特別有效率重新轉換成為 心、4，使传該堆疊結構係可作成可利用於隨後之用於 投射堆豐結構至期望視圖的單 ； 25 °進一步的程序係接著 為相同於圖丨所示的形式者’保留優點在於 視圖係㈣作轉移，尤其是Μ元25為整合於扣顯= 32。此取後提及的選用方式係 ° 』刼用於根據圖1之實施 23 200841704 例，假定的是：情況係因此為匹配。 31 為了較佳的瞭解’圖1Q係顯示-種現有技術的方法（日 本專利JP 08-3316〇5號）之示意圖，該種方法係產生四個 影像或視圖之-影像組合，適用於不具有特殊的檢視輔助 之空間呈現於—3D顯示器，例如：基於—種適合的透鏡 或障壁技術。針對該㈣，四個影像或視圖係已經根據適 用於3D顯示器32之影像組合結構而組合於影像植合翠元 r 最後，圖η係根據本發明之傳輸方法的示意圖。於一 MPEG-4資料串流，總共3個彩色影像與3個深度影像（或 因此為移動影像之串流）係傳輸。為了特別優點，彩色声像 串流之-者係具有解析度為192Gxl_像素，而盆他二者 係具有解析度為⑽x72G像素（或1Q24x768像素）。 的珠度影像（或深度影像串流）之各者係傳輸為具有水平解 析度的一半者與垂直解析度的—半者，即：分別為960x540 像素與640X360 (或512x384)像素。於最簡翠的情形，深 度影像係由灰階影像所組成，例如：具有每個像素為… 或1〇24個可能的灰階，各個灰階係代表-個深度值。 於另一個實施例，最高的解析度之彩色影像係將呈有 例如為4096x4096像辛，日苴从〜么〜 像京且其他衫色影像係將具有2048χ 2:48或1()24xl〇24像素。相關的深度影像（或深度影像串 、-)係傳輸為具有水平解析度的一半者與垂直解析度 t。此形式者係將為有μ，若相同資料記錄係用於特別言 解析度的立體呈現(例如：於具有左與右影像之3D電影J) 24 200841704 但是具有至少 以及用於3D顯示器之較低解析的呈現 二個視圖為呈現。 【圖式簡單說明】 本發明係已經藉由關於圖 於上文，其中： 式之實施例而更為詳細描述

圖1係說明根據本發明之 〜I置之原理的略圖，且有一 個主要相機與三個衛星相機； 八 圖2係具有一個主要相機與二個衛星相機的形式； 圖3係說明二行對於彼此之逐步的位移、與Z座標之 產生的示意圖； 圖4係相較於圖3藉由模糊性消除之最佳化的示意圖; 圖5係相較於圖4藉由元素減少至一不模糊的高度輪 廓曲線之最佳化的示意圖； 圖6係說明三行對於彼此之逐步的位移、與z座標之 產生的示意圖； 圖7係相較於圖6藉由模糊性消除之最佳化的示意圖； 圖8係相較於圖7藉由元素減少至一不模糊的高度輪 廓曲線之最佳化的示意圖； 圖9係說明自最佳化設計之一視圖投射的示意圖； 圖1 〇係說明四個影像之一影像組合的示意圖，適用於 不具有特殊檢視輔助之空間顯示（現有技術）；及 圖11係說明根據本發明之傳輸方法的示意圖。 【主要元件符號說明】 1 相機系統 25 200841704 2 影像轉換裝置 3 3D影像顯示裝置 13 主要相機 14 第一衛星相機 15 第二衛星相機 16 第三衛星相機 21 整流單元 22 色彩調整單元 23 用於建立堆疊結構的單元 24 用於最佳化堆疊結構的單元 25 用於投射堆疊結構至期望視圖的單元 26 用於確定深度的單元 30 用於重建堆疊結構的單元 3 1 影像組合單元 32 3D顯示器 26

Claims (1)

1. 200841704 十、申請專利範圓·· 二:：::景及/或物件之影像且將其…供 錄影像卜種相機型式之至少-個主要相機⑴)…記 一第二種相機型式之至少二個 記錄影像，該等相機型ϋ李 ，1 5)，用以 子相械型式係於至少一個參數為不同· 一影像轉換裝置（2)，配置 罝隹°系寺相機之下游，接收及 處理初始影像資料，於其他處 °茨衫像轉換裝置（2)係 運用僅為由相同相機型式之相機（較佳為由該至少二個衛星 相機（14,1 5))所記錄的彼等影像而無其餘影像以實行—深度 或差異辨識；及 一 3D影像顯示裝置（3) ’連接至該影像轉換裝置（2)， 顯示該提供的影像資料以供空間感知而無需特別輔助，該 3D影像顯示裝置（3)係顯示至少二個視圖。 2.如申請專利範圍第丨項之配置，其特徵在於：該二 種相機型式係至少於將記錄之影像的解析度為不同。 3·如申請專利範圍第1項之配置，其特徵在於：該二 種相機型式係至少於内建式成像晶片為不同。 4 ·如申清專利範圍苐1至3項任一項之配置，其特徵 在於·精確而言，一個主要相機（13 )與二個衛星相機（丨4，丨5) 係設置。 5 ·如申凊專利範圍第1至3項任一項之配置，其特徵 在於：精確而言，一個主要相機（13)與三個衛星相機 27 200841704 (14，15，16)係設置。 6.如申請專利範圍第丨至3項任一項之配置，其特徵 在於··精確而言，一個主要相機（13)與五個衛星相機係設 i。 ° 7·如申請專利範圍第丨至3項任一項之配置，其特徵 在於··第二種相機型式係具有相較於第一種相機型式之較 低的解析度。 8·如申請專利範圍第4項之配置，其特徵在於··該主 要相機（13)係配置於衛星相機（14，15)之間。 9·如申請專利範圍第丨至3項任一項之配置，其特徵 在於·至少一個部分透明面鏡係配置於該主要相機（13)與 所有衛生相機（14,15)之物鏡各者的前方。 〇·士申明專利範圍第5項之配置，其特徵在於：該三 们術生相機（14,15,16)之物鏡的中心點係形成三角形，較佳 為一等腰三角形。 η·如申請專利範圍帛1G項之配置，其特徵在於：該 主要相機(13)之物鏡的中心點係配置在該三角形内，該三 角形係瞭解為包括其側邊。 a 12.如中請專利範圍第5項之配置，其特徵在於固 俯星相機（14或 或16)與主要相機（13)係光學式配置為相 對於彼此，俾传复& ，、句§己錄一影像於本質相同的光軸，為此 至夕個部分透明面鏡係較佳為配置於該二個相機 之間。 士申°月專利範圍帛12項之配置，其特徵在於：該 28 200841704 二個其他的衛星相機係配置為與其關聯於主要相機⑽之 該衛星相機（14或15或16)以—起形成_直線或三角形。

   14·如申請專利範圍第1至3項任―項之配置，其特徵 在於：該影像轉換裝置⑺係產生該記錄的場景或物件之至 少二個視圖，且針對於產生此等至少二個視圖，除了辨識 的深度或差異之外，該影像轉換裝置⑺係運用由至少一個 主要相機(13)所記錄的影像與由衛星相機(14，⑺所記錄的 至少再-個影像而無須為所提供的所有相機之影像。 15.如申請專利範圍f 14項之配置，其特徵在於：產 生的至少三個視H係仍相等於該等輸人影像之一 者。 16. 如申請專利範圍第…項任一項之配置，其特徵 在於：該主要相機或所有主要相機〇3)、與所有衛星相機 (14,15)係藉著畫面準確同步化於最大為每24小時為 個畫面之一容許度而記錄。 17. —種用以記錄並顯示場景及/或物件之影像的方 法，包含下列步驟： 產生至少一個η元組的影像，n>2，至少二個η元組 的影像係具有不同的解析度； 轉移該影像資料至一影像轉換裝置〇，其中，接著， 一整流、一色彩調整、一深度或差異辨識、及自該η元組 的η個或小於η個影像與自該深度或差異辨識資料之更多 視圖的後續產生係實施，產生的至少一個視圖係非為精確 相等於產生的η元組的影像之任一者，且該影像轉換裝置（2) 29 200841704 係針對於/木度或差異辨識而運用僅為其具有相同解析度之 η元組的該等影像； Ik後產生至少二個不同的視圖或影像之一組合，根據 - 3D影像顯示裝置（3)之3D顯示器（32)的參數指定，用於 空間呈現而無需特別輔助；及 最後呈現該組合的3D影像於該3D顯示器（32)。 18·如申請專利範圍第17項之方法，其特徵在於：針 f 對於〆木度或差異辨識，相等的解析度之彼等影像係運用， -解析度係具有相車父於提供的所有其他解析度之最低總像 素數目。 19.如申請專利範圍第18項之方法，其特徵在於：針 對於深度辨識，一種堆疊結構係建立，藉由一 η元組的先 前處理初始影像資料之逐行的比較，精確而言，僅為其具 有相同解析度之η元組的彼等影像之逐行的比較，俾使具 有相同Υ座標之η元組的不同影像之彼等諸行係先重合置 放於彼此的頂端且接莫_諠 LU ά- Λ {, 接耆弟一比杈係作成，比較結果係儲 存於一行，俾使重合的相等色調值係儲存，而不同的色調 值係刪除，隨後係諸行於相反方向之位移為較佳％至2個 像素之指定的增量，在各個增量後的結果係類似於第一比 較而儲存於更多行；使得在針對於各個像素所作的比較之 後的結果為，Ζ座標係提供關於視圖相對於彼此的位移之 程度。 20.如申請專利範圍第19項之方法，其特徵在於：在 該堆疊結構之建立後’最佳化係作成以使得模糊性係消 30 200841704 除，且/或元素減少至— η如申靖專未卜 核糊的高度輪廊曲線係實施。 m r明專利乾圍第 在該堆疊結構之建立後：之方法’其特徵在於： 的步驟之後，該深度^申請專利範圍第20項所述 …十對於n元組的至少二 而確定，較佳為於深度圖之形式。 7一们原始景“象 22·如申請專利範圍第21項之方法，其 η元組的原始影像與相關於其的個別深度之轉移後：1 建係藉由深度圖以逆投又之轉移後，-重 施，使得該堆疊結構# ^的視圖至堆疊空間而實 投射而自其產生。建，且不同視圖係可隨後為藉由 23.如申請專利範圍第17項之方 生的影像係傳送至該影像轉換裝置⑺。 在於.產 由二:：請專利範圍第17項之方法，其特徵在於··， 由该衫像轉換裝置（2)之各 曰 至3D影像顯示裝置（3)。和像所產生的所有視圖係傳送 25·如申請專利範圍第21頊之方、车甘& 有相關於其的個別深卢之：法、、特徵在於：具 影像顯示裝置(3)，1=::的原始影像係傳送至3D ()且然後如於申請專利範圍第22項 的重建係首先實施。 、 26·如中請專利範圍第17項之方法其特徵在於：該 η兀、、且的影像係藉由一 3d相機系統所產生。 ，如申請專利範圍第17項之方法，其特徵在於：該 n 7L組的影像係藉由一電腦所產生。 28.如申請專利範圍第21項之方法，其特徵在於：解 31 200841704 析度為不同& 的至少二個深度圖係產生。 •如申凊專利範圍第〗7至2〇 徵在於··由且 貝任—項之方法，其特 _ /、有提供的最低解析度之n ， 之深度資訊得驻ώ 、、且的影像所確定 凡係猎由較高解析度的 而轉變成為較高的解析度。 一個g像之邊緣辨識 30.如申請專利範圍第17至 徵在於··大i n - & ^ 貝任項之方法，其特 八里η兀組的影像與相關的 使得移動影像之处門 又貝讯係連績處理， 之二間顯不係成為可能。 3 L一種用以傳輸3D資訊的方、、未7 空間感知而盔供後續顯示為用於 特徵在於··開妒白甘4_. 少—個不同的視圖，其 〕口自其4田述一物件式土日旦 特徵之至少一個、料戍场-之不同檢視角度的 们η兀組的影像且n>2， 影像将且古丁 主乂 一個η 7〇組的 確定且:的解析度，針對於至少三個影像的深度係 佳為於深度圖之:：;元組的影像以及個別深度資訊(較 7式）係傳送於一傳輸通道。 32.如申請專利範圍第3ι項之 …且的影像係四元組的影像(η:特徵在於：該 有相同的解析度，而第四個影像伟且;固= 象係較佳為具 -,^ 如1冢係具有較尚的解析度且較 佺為屬於其傳送於該傳冑通道之影像。 33·如申請專利範圍第31或32 該三㈣n1 # 、 / /、、徵在於· 王夕一者係具有不同的解析度。 34·如申請專利範圍第 岑後一 u t 1項之方法，其特徵在於··該 如像貝料與深度資訊係產生於MPEG_4格式。 35·如申請專利範圍第31項之方法，其特徵在於：該 32 200841704 深度資訊係僅為由其具有相同的㈣度之η Μ㈣h 像所確定。 ^ 1如申請專利範圍第35項之方法，其特徵在於 該確定的深度資訊，亦針對於較高解析度之至少 的深度係產生。 I 37.如中請專利範㈣3i項之方法，其特徵在於：由 一有提供的最低解析度之n元組的影像所確定之深产次 訊係藉由較高解析度的 又貝 為較高的解析度。 “象之邊緣辨識而轉變成 旦n38」t申t專利範圍第31項之方法，其特徵在於：大 里η凡、、且的影像與相關的深度資訊係連續處理，使得移 影像之空間顯示係成為可能。 ^使付移動 9 ·如申清專利範圍第 箄大詈η — , ^ S項之方法，其特徵在於：訪 、 凡、、且的影像係受到空間與時間濾波。 40. 一種傳輸3D資訊的方法，供 感知而無需特殊輔Μ | 仏後、、、員顯不為用於空間 在於：開始自复#. 冋的視圖，其特徵 之至少叫固m组的影像且η>2，深声=視角度的特徵 少三個影像，且鈇德，石丨— 又係確定為針對於至 ^f ^ ^ 4 ^ ^^ ^"J ^ 41. 如中請專通道。 η元組的影像係三元組的影像(η,/，：徵在於：該 的解析度。 —個衫像係具有相同 33