TW200824427A - Arrangement and method for the recording and display of images of a scene and/or an object - Google Patents

Arrangement and method for the recording and display of images of a scene and/or an object Download PDF

Info

Publication number
TW200824427A
TW200824427A TW096128967A TW96128967A TW200824427A TW 200824427 A TW200824427 A TW 200824427A TW 096128967 A TW096128967 A TW 096128967A TW 96128967 A TW96128967 A TW 96128967A TW 200824427 A TW200824427 A TW 200824427A
Authority
TW
Taiwan
Prior art keywords
image
images
camera
depth
cameras
Prior art date
Application number
TW096128967A
Other languages
English (en)
Other versions
TWI347774B (en
Inventor
Alexander Schmidt
Jens Meichsner
Ronny Billert
Original Assignee
Visumotion Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visumotion Gmbh filed Critical Visumotion Gmbh
Publication of TW200824427A publication Critical patent/TW200824427A/zh
Application granted granted Critical
Publication of TWI347774B publication Critical patent/TWI347774B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/133Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Description

200824427 九、發明說明: 【發明所屬之技術領域】 不場景及/或物件影像 針對空間感知所紀錄 種用於空間感知之影 本發明係關於一種用以紀錄並顯 (視訊框)之配置及方法,特別適用於 的影像之顯示。本發明進一步關於一 像的傳送之方法。 【先前技術】
目前對紀錄3D影像資訊而言 同之方法以及相關聯之配置·· 本質上有三種基本不 機,由一左_右的兩個相似的 度解析之顯示來說,還是需要 道系統而言,則需要内插中間 ’可看見其人為因素。 第一種為傳統的立體相 照相機所構成。然而,就高 高解析之相機系統。就多頻 圖像。特別是在中間的圖像 第二種為多圖像相機系…统的使肖。其相較於立體相機 的優點為針對多頻道,修正影像之再生。特別的是,並不
2要内插。不利的是其需要實施諸如八台相機彼此位置的 I:確杈準之極大努力。另一個缺點為涵蓋使用數台相機而 增加的成本,此外,尚須承擔另外的問題,諸如因而所需 要平衡的不同白色位階、色調數值/幾何圖案資料。同樣也 必須認知其中一個缺點為這種方法需要管理非常高的資料 率之事實。 ^ 貝" π弟三種則是深度相機的使用。此意謂連帶著深度感測 的知色相機之使用,其標示著通常大量且為所要紀錄的 場景之深度資訊。除了深度感測器相對較為昂貴之事實 6 200824427 外,其缺點為這些感測器一般 或無法實施準確度wow =龍料地運用、及/ -般的外插,在㈣間可接受的折衷方案。需要 而且-^ 不能夠特地排除掉人為因I, 而且一般來說’所吸收的人為因素並不能掩蓋。 。 【發明内容】 本發明基於發現一種以最 景及/或物件並且宜後因m 努力來紀錄即時場 二…广4因工間感而以兩個或者更多圖像將之 ::: 方式問題。本發明的另-個問題為發現適用 間感知影像之方法。根據本發明 = 錄影像的第-種相機型式之主要相機、至少二二紀 型式之附屬一te)相機、以及在: 置 一用以接收與處理初始影像資料的影像轉換裂 的3D旦Γ像一 Γ示空間感知影像資料而無顯示至少三個圖像 第-種:褒置之特殊觀視附屬之3D影像顯示農置, 車弟—種相機型式則因至少一個參數而有所不同, 二;:ίΓ析度。然而’該3D影像顯示裝置同樣也 更多之回3者以平均時間地顯示4、5、6、7、8、9或者 ㊉夕圖像。特別是在最近命名而稱為,,多圖像,,3D型气 =顯Ί置中’本發明具體的優點乃是以相對較少(諸如 的來取得可能㈤viz效應’以提供較相機數目為多 附屬、=提:三個相機,亦即至少一台主要相機以及兩台 三者至少兩台主要相機以及一台附屬相機。主 200824427 要與附屬相機一般品質不同 ± ^ is m ^ - 疋以大多數而言, 主竭為南品質之相機,而 (例如,工聿用相媸、门 成〗」月匕疋口口貝較差 *用相機)’因此除了其他參數之外 不一疋全部皆具有較低之 數仁 統立體相機系統之優點為在此本二二;本發明而非傳 相機所槿出“ a社此本貝由兩台相同的高解析度 ㈣所構成,使用—種三個相機之系统,較佳由 咼品質相機以及兩台較 σ 、 平乂他解析度而分別配置於 右的外加相機所構成。換古 、 ·工 相機之門,, 、D 主要相機較佳配置於附屬 ::之間。相機之間的距離以及其校準(不是平行便是對準 同之焦距)可於之慣例限制範圍内變化。另外的附屬相 機之使料具有致使誤料—步料 影像資料其後的處理期間中。所有的相機:可以 :r:r來配置。同樣也有可能並非所有的= 平面或/、㈣、距(會聚角)°相機之光學轴可以在於一個 ί Ι/ΓΛ平面上’物鏡之中心點較佳配置成—直線或 者於一(較佳為等腰或者等邊)= w ,, 理角形上。就特殊的應用狀 況::’相機物鏡的中心點同樣也可以彼此不等距來間隔 點:成一不等邊三角形)。進-步有可能所有 一 °)相機(亦即所有現有的主要與附屬相機)因至少 ==所不同,諸如因其解析度所致。相機應該同 步化於、交焦鏡頭、光圈值' 隹距辇 L …、 寻’乃至於各別的視訊 m、亦即峰中實物至視訊框之同步化)。相機可以固定於 《〖生的位置或者彼此可相對移動;相機之間的基 本距離以及會聚角兩者之設定可以 Θ ^^的。 8 200824427 可能的優點為提供轉接器系統特別地輔助附屬相機固 疋於主要相機之行為。以如此之方式,普通的相機之後便 月b夠轉換成為一種3D相機。然而同樣也是可行的是,遵 妝本發明藉由翻新改進所附加的主要相機,將現有的立體 相機系統轉換成為3D相機。
Ο 再者’較佳在於各相機物鏡之前的光束路徑能夠以額 外的光學構件來提供之,諸如半透鏡。此使諸如配置相對 於主要相私轉動9〇度的兩附屬相機其中每台成為可能的, 致使如果全部三台相機以肩並肩緊鄰地配置,以其物鏡中 心點於水平上彼此盡其所能更為靠近之如此方式來配置全 部三個相機之主體,在此狀況下,相機主體的尺寸將需要 物鏡中^點較大的某一間隔。在具有兩個轉動列度的附 屬相機之群集中,相對於從附屬相機物鏡所顯現的主光線 以大約45度所配置的半透鏡將位於反射位置之後,反之 同樣相對於從附屬相機物鏡所顯現的主光線以45度所配 置的相同鏡將位於傳輸位置之後。 較佳的是,主要相機以及至少兩個附屬相機的物鏡中 心點會形成一等腰三角形。 就特別的實施例而t,蚀田w j + 士成 U ^ ° 使用黑白相機來充當附屬相機 同樣也疋有用的’而且可以你甘你&去》A zu j以於其後自動指定一色調數值, 較佳地給與附屬相機所產生的影像。 同樣也藉由種用以紀錄並顯示場景及/或物件影像之 方法來解決此一問題,包含的步驟為: 產生至〃個n元之影像,其中,至少兩個影像 9 200824427 具有不同的解析度, •將影像資料轉移至一影像轉換裝置,其後實施矯正、 色彩调整、深度或像差識別、以及隨後從η元之影像與深 度或像差識別數值產生另外的圖像,而產生至少一個並不 準確等於任一個所產生的η元影像之圖像, -隨後針對空間之呈現,根據3D影像顯示裝置3d顯 不的參數之指定,產生至少三個不圖像或者影像之組合, 而不用特別的觀視輔助,以及最後 -將所組合的3D影像呈現於3D顯示器上。 諸如藉由產生一種堆疊結構、並且將此堆疊結構投射 於所需的圖像上,便能夠實施深度識別以及其後從η元影 像產生另一些圖像及深度。 可以藉由其他可應用的深度或像差識別演算法來替代 堆疊結構之產生,只要所識別的深度或像差數值用於產生 所需的圖像即可。
一般而言,堆疊結構可以相應於不同(虛擬)平面中圖 解構件之疊層架構。 如果使用由具有不同解析度的不同型式相機所構成的 扣相機系、统,則首先需要在影像資料轉移至影像轉換裝置 之後實施尺寸調整。此種結果即為全部皆具有相同解析度 之影像。此可以相應於相機的最高解析度,但最好等於最 :解析度的相機者。隨後’矯正相機之影像,㈣修正其 幾何失真(若有的話’鏡頭失真、相機失去校準、變焦鏡頭 I異等等之補償)。在橋正處理程序内同樣也可以執行尺寸 200824427 調整。隨後立即實施色彩調整,諸如Joshi,N•於2004年 史丹福大學技術報告CSTR 2004-02 3/3 1/04 4/4/04的,,低價 影像感測器陣列之色彩校正”、以及A· LLie與G. Welch 於ICCV 2005的”確保多相機色彩一致性,,刊物所教導的。 斗寸別的是’匹配相機影像色調/亮度數值,致使其於相等或 者至少可比得上之準位上。針對因此所提供的影像資料,
建立深度識別的堆疊結構。在此一處理中,第一步驟所堆 疊於彼此頂部上的輸入影像彼此逐列相比較。寧願以傾斜 的方向,也許便能夠從事此種線態比較;如果相機並非配 置於一水平面,則此將是有利的 --------π 口「丄 π 映像點具有相同的色調數值,則將之保留,如果其具有不 同的色調數值’則皆不保留。此後,以相反的方向:、藉由 預定的步驟(例如1/4或者1/2的映像點)將其列彼此取代. 每個步驟之後,再次保留比較的結果。在此一處理的最後, 便會得到具有座標X、與2的三維堆疊結構,其中又與γ 相應於輸入影像的映像點座標’ @ ζ則代表圖像之間相對 位移的程度。因此’如果使用兩台或者三台相冑,則分別 直會有兩列或者三列彼此相比較與相取代。同樣也可以 使用超過兩台,諸如三台相冑’並且仍一直只組合兩列, 在此狀況下,I比較必須再次匹配。如果比較三列 則所具有的不明確情形會遠少於僅比較㈣人影像的 兩列者。在其後的堆疊結構最佳化中,其工作 '、 除於堆疊内影像構件不明確 π 、貝在於刪 人。M up 中最沒#可能的組 料之減少。如果從所剩餘的構件取得 11 200824427 南度外觀曲線用以得到離散深度平面(z座標)中色調數值 清楚的影像,則實行進一步的減少。通常於此之後者為堆 S結構於所需圖像上之投影。應該產生至少兩個圖像,其 中一個可能仍等於其中一個輸入影像。然而,此通常著眼 於以此後所使用的特別3D影像顯示來從事之。所提供的 不同圖像隨後的組合相應於3D顯示之參數指定。 f 另一遙擇可能在上述用以紀錄並顯示場景及/或物件之 方法中藉由私細來產生影像。在此一狀況下,較佳的是 針對每個影像來產生-種深度映圖(depth map),致使能夠 爷略矯正、色彩調整、以及深度或像差識別步 是,至少三張深度映圖其中兩張具有不同之解析度。在較 佳實施例中,可以提供n=3的影像,其中—者具有 1920x1080映像點之(全彩)解析度,而其他兩者則呈有 之二了 ^與64〇X360映像點。具有較高解析度 像之間的二===在其他兩影像的立體圖 , 斤矛用的3 D影像顯示裝置能夠座六杜 地同時或者在平均時間下顯示4、 ’置趨佳 多的圖像。以已知AR # 7、8、9或者更 〇知為多圖像3D影像顯千姑里> r 特別的是,本發明Μ ”、、/、、置之如此裝置 (諸如三個)之原有旦:的優點取仔之效應即為以相對較少 影像數目之圖像。藉由如此方式,較;多於原有 觀視輔助,針對空間表示而根據3D影像顯;?;不之需特別 示參數指定,至少_ # 像頒不裒置之3D顯 至夕二個不同圖像或影像之组合可包含有不 12 200824427 只來自空間中的不同點而同樣亦是即時的圖像組合。 本發明另一個重要的優點為在堆疊結構最佳化之後針 對每個原有影像判斷深度之事實。依照n影像(例如,原有 影像或圖像)加上η深度影像(較佳的是n==3)所產生的資料 具有極為有效的資料轉移格式viz,致使如果轉移所有的 圖像’則貫施顯著地較慢於所需的資料率。所以,堆疊結 構重建單TL以及將堆疊結構投影於所需圖像之單元必須整 合於3 D影像顯示裝置之中。 就上这的步驟而言,可能使用替代深度的像差。藉由 此方式,專有名詞,,投影,,在此於原理上同樣也可以意謂著 種純位移。當然,除了前述一者之外,能夠使用其他的 深度或像差識別方法從n元影像(以n>2來說)刪除深度或 者像差、及/或從此種n元影像來產生進一步的圖像。如此 可選擇方法或部分方法說明於諸如”Ta〇,Η•與Sawhney, Η· ·全球匹配準則以及顏色分割基之體視系統,於電腦視 像應用論壇(WACV2000)之論文集,第246-253頁,2000 年十二月’’、”M. Un與C· Tomasi ··來自分層體視系統之咬 合面。史丹福大學技術報告,2002年,準備中,,、” C. Lawrence Zitnick, Sing Bing Kang5 Matthew Uyttendaele, Simon Winder,Richard Szeliski :使用分層表示之高品質視訊圖 像内插,電腦製圖法與互動技術,ACM SIGGRAPH 2004, 加州洛杉磯,第 600-608 頁,,、”S· Μ· Seitz 與 C. R. Dyer : 圖像多形體混合,SIGGRAPH 96論文集,1996年,21-30” 之刊物中。 13 200824427
在有利的實施例中,本發明包含一種基於至少三個不 同圖像用以傳輸3D資訊以為之後顯示空間感而無特別觀 視輔助之方法,在此方法中,開始從至少一個以物件或場 厅、不同觀視角度為特徵的n元影像(以n>2來說),針對各 個影像判斷或者表達其深度,並且之後將n元影像隨同個 別的深度資成(在深度映像中的)轉移至一傳輸頻道中,此 η兀影像至少兩個(或者全部)影像具有不同之解析度。傳 輸頻運可以是諸如一種數位τν訊號、網際網路或 DVD(HD、SD、BlueRay等等)。作為一種壓縮標準,能夠 使用MPEG-4較具優勢。 倘若二個深度映圖其中至少兩個具有不同的解析度則 同樣也是有利的。例如,在較佳實施例中,可以提供 的衫像,其中一者具有192〇χ1〇8〇映像點之(全彩)解析度, 而兩者則具有1280χ72〇映像點之(全彩)解析度,反之有所 關聯的深度映圖分別具有96〇χ54〇與64〇χ36〇映像點。具 有較高解析度之影像以空間意涵來說,相應於落在其他兩 影像的立體圖像之間的立體圖像。所利用& 3d影像顯示 裝置能夠較佳地同時或者在平均時間下顯示4、5、6、7、 或者更多的圖像。以上所提已知為多圖像3d影像顯 不裝置之如此裝置特別的是,本發明特別的優點所取得之 ,應viz·即為以相對較少(諸如三個)之原有影€,便能夠 提供超過原有影像數目之圖冑。執行從與不同圖像中個別 深度資訊(至少兩^ n元影像具有不同之解析度)所傳輸的 η元影像之重冑,諸如使用以下之方式:在三維座標系統 14 200824427 中,將各個影像之色彩資訊-從適當的方向所觀察的-配置 於猎由屬於影像的個別深度資訊所標示之深度位置中。此 :生:有體積映像點(立體像素)之彩色三維體積, 由:虛擬相機或者平行投影,從不同的立體圖或方向將之 。以此種方式’能夠有利地從所傳輸的資訊重新產生 ·;過三個的圖像。圖像或影像其他的重建演算法同樣也可 如此,所傳輸的資訊仍是可能以極為普通的 方式來重建的,例如斷声 3D m ㈣層切㈣像或立體像素。對特殊的 表不方法,諸如體積3D顯示而言,便 , 像格式。 疋雨要如此的影 再者,於本發明所提的所有傳輸 訊以諸如所謂npha頻道另 了 了將後故資 像的資訊,諸如n>2 $像 J 可以是補充影 ^ 像的幾何條件(例如,相& P , 機茶數)、或者透明度或外形輪廓線。才目對角度,相 【實施方式】 一種根據本發明之配置 一影像轉換裝置2、以—、 —相機系統1、 圖1所示,立體相機争,:广影像顯示裝置3所構成。如 左…,影像轉 調整單元22、_用以建☆2包卜綠正單元h、一色彩 佳化堆疊結構之單元24、堆$結構之單元23、—用以最 需圖像上之單元25 M及一用以將堆4結構投影於所 組合單元以及一 It影像顯示裝置3則包含一影像 心益32,其中3D顯示器^顯 15 200824427 示至少三個物件場景之圖像,以 器32同樣也能夠基於所聲稱的4:5…見之用。3D顯示 多之圖像進行工作。例如 、6、7、8、9或者更 -哭π B人 間圖像19吋,,樣式之3D顯 不四3 2乃疋合適的。圖2 _ ; .、、…、根據本發明之另一種配置。 在此,3D相機系統1包 / · ^ 主要相機13、一第一附属 (satellite )相機 14、以及一 奸¥ 2 1入 弟一附屬相機15。影像轉換 衣置2包含一尺寸調整單元2〇、_ _ 靖正單兀21、一耷忽 調整單兀22、一用以建立堆疊 少 且、、°構之早兀23、一用以备 佳化堆疊結構之單元24、以b # 1» 取 早 以及依判斷深度26之單元26, 而如圖2所示的,3D影像顯示裝置 — 罝3 一用以重建堆疊結構 3 0之早兀3 0、一用以將堆疊结 且、、口構才又影於所需圖像上之單 元35、-影像組合單元31、以及_3d顯示器仏 根據圖所示的實施例,立體相機系、统丨包含兩個相同 的相機⑴、⑺,具有相等的解析能力,致使所紀錄 像資料能夠直接施加至矯正單元 〜 根據圖所示的實施 例,3相機系統1由一台主要相機13以及兩台附屬相機14、 15所構成’主要相機13具有高品質的解析能力,反之兩 附屬相機U、15 %具有較低之解析能力。照例,相機彼 此相對之位置在已知的限制内間隔與校準上乃是可變的, 致使能夠取得有立體感的影像。將相機〇3、Μ、Μ)所纪 錄的影像資料施加至如圖2所示的尺寸調整單元2 〇。在此Ζ 附屬相機14、15的影像解析度匹配於主要相機13之= 度,致使所有影像皆具有相同之解析度。在下游所配置的 矯正單元21中,矯正其相機之影像,亦即從事鏡頭失真 16 200824427 之補償、相機轉動、變焦差等等。色彩調整單元22跟隨 在矯正單元21之後。在此,將所紀錄的影像之色彩/亮度 平衡於共同的準位。此時將因而所修正的影像資料饋至用 以建立堆疊結構的單元23。逐列地將輸入影像彼此相比 較。圖3所示的比較乃是基於圖!所示的立體相機系統丄 之實施例,同時在此僅從事各兩列之比較。在第一步驟中, 首先以相同的Y座標將兩列其中之一置於另一者之上端, 此根據圖3,相應於平面〇。將逐個映像點做一比較,並 且如圖3所示,根據目前所在的比較平面,將比較之結果 儲存為Z座標’在其中之一處理程序中,位於彼此頂端的 映像點如果相同,則保留其色調數值;如果不$,則不儲 存色調數值。在第二步驟中,將其線以1/2映像點之增量 位移’各如圖3所示’將映像點分至平面,或者在平面工 中進行下-次的比較,其結果儲存於平面(z座標)。如同 攸圖3所能夠看到的是’廣泛進行比較直至平面7,並且 之後從平面-i i至平面_7’每個將儲存為個別平面中的z 座標。平面的數目相㈣所存在的最大深度資訊,並且極 ^端視影像内容而^。因此以ΧΥΖ座標所建立的三維架 =著就每個映像點而言,經由有所關聯的“標來儲 存=之間相對位移的程度。在圖6,基於圖2所示的實 她例進行相同樣的比較,在 、 3 ^ pe αα _ 河廿—列之比較。圖ό與圖 曰’的間早比較結果顯示三列的 解。孕乂貫貝含有較少的誤 由此時於’以超過兩列進行比較為其優點。將同樣也是藉 、輸入影像不再各別出現之事實所區別出來而建立的 17 200824427 堆疊結構饋至隨後用以最佳化堆疊結 w '^乎7〇 24。冰从 交準ί識別影像構件之模糊敘述,藉以刪除因不可能的 且口 ^成之如此錯誤,致使根據圖4或圖7產生一已修 正之貧料組。在下一步驟中,從所剩餘 : ,次千為度輪廓曲線,藉以在離散深度平 軚)中,實施色調數值之清晰成像。 0 * /、、、、°果分別顯示於圖5 圖8。此時將根據圖5所得之結果饋至圖ι所 將堆疊結構投影至所需圖像之上的^ Μ 結㈣於空間中所界定之平面上。經由平面之角= 所而的圖像’如圖9中所能看到的。通常,產生至少—個 不準確等於相機系統j所紀錄的任何影像。所產生 白、王口P圖像皆會呈現在影像轉換裝置2之輸出蜂,並且因 而能夠轉移至隨後用以立體感呈現之3D影像顯示裝置3. =精由所結合的影像組合單元31 ’根據所給定的扣顯 不杰32之參數指定,將不同的圖像組合。 圖2闡述用以傳輸所處理的資料至3d影像顯示裝置3 =另—種方式。在此,用以判斷深度之單元%在用以最 U堆®結構的單$ 24之後。判斷影像深度之行為會產 生特別有效的資料轉移格式。此乃是由於只有轉移三個影 像以及二個深度影像所致,在MPEG-4格式中尤佳。根據 圖=,在輸入侧,提供3D影像顯示裝置3設有一用以重建 結構之單元30、一隨後的影像組合單元3卜以及一 3D j不,32。在用以重建堆疊結構之單元30 +,II由逆投 d更月b夠極有效地將所@收到的影|以及深度重新轉換成 18 200824427 為堆疊結構,致使堆疊結構能夠有效用於隨後用以將堆疊 結構投影於所需圖像上之單& 35。進—步的處理程序則等 同於圖1所Μ述的描述,優點為並非所有的圖像皆需要轉 移。 為了較佳地了解,圖10顯示現有技術水準之方法(jp 〇8-3娜)概要闡述圖,用以產生四個影像之影像組合, 適用於3D顯示之空間呈現,而不需特別的觀視辅助,例 如基於適用的雙透鏡或者屏蔽技術。就其目的而言,根據 適用於3D顯示器32之影像組合架構,在影像組合單元η 中,已經組合了四個影像或者圖像。 取後,圖11為根據本發明的傳輸方法之概要闡述圖。 在MPEG-4之資料流中’傳輸總共3種色彩的影像 個深度影像(或者所謂的移動影像流)。就特別的優點而言, 其中一種色彩影像流具有192〇χ1〇8〇映像點之解析度,反 之另外兩者則具有128Gx72G映像點之解析度。每個有所 關聯的洙度影像(或者深度影像流)皆以半水平以及半垂直 解析度來傳輸之’亦即分別為则x54G映像點以及64〇χ⑽ 映像點。在最簡單的實例中,深度影像由灰度影像所構成, 例如每映像點256或1〇24可能的灰階,每個灰階代 深度數值。 在另一個實施例中,最高解析度彩色影像將會具有諸 如4096x4G96映像點,而另—個彩色影像% % # # 2048x2048或者1024χ1〇24映像點。有所關聯的深度影 者深度影像流)以半水平以及半垂直解析度來傳輸之。2 19 200824427 所紀錄的相同資料用於特別 如,在具有右與左影像 又的立體感之呈現(例 …現之則示器之上 此種方式將具有其優點。 v所要壬現的圖像, 【圖式簡單說明】 圖;:闊述根據本發明的配置構造之概略圖, 圖2 ·具有一台主要相幽 機兩台附屬相機之描述, 圖3 ·兩列彼此逐步更替 圖4:相較於圖3,/由肖::生之概要闡述, 圖5:相較於圖4 |:由者之作最佳化圖示’ 線之最佳化㈣,θ心構件成為明確高度輪廓曲 圖6 :三列彼此逐步更替 圖7 :較於圖6,藉由消 圖8:相較於圖7,藉由 線之最佳化圖示, 以及Ζ座標產生之概要闡述, 除不明確者之作最佳化圖示, 減少構件成為明確高度輪廓曲 圖9:來自最佳化圖示的圖像投影之概要闡述, 圖10:四個影像組合之概要閣述,適用於空間顯示而 無特別觀視輔助(現有技術水準),以及 圖11 :為根據本發明的傳輸方法之概要闡述。 【主要元件符號說明】 1 相機系統 2 影像轉換装置 3 3D影像顯示裝置 11 右側相機 20 200824427 12 左側相機 13 主要相機 14 第一附屬相機 15 第二附屬相機 20 尺寸調整單元 21 矯正單元 22 色彩調整單元 23 建立堆疊結構之單元 24 最佳化堆疊結構之單元 25 將堆疊結構投影至所需圖像上之單元 26 判斷深度之單元 30 重建堆疊結構之單元 3 1 影像組合單元 32 3D顯示器 35 將堆疊結構投影至所需圖像上之單元

Claims (1)

  1. 200824427 十、申請專利範圍: i一種用以紀錄以及顯示場景及/或物件影像(視訊框) 之配置,包含: 至少—台第-種相機型式之主要相機(13),用於影像
    ••至少一台第二種相機型式之附屬相機(14、15),用於 影像之紀錄’《中相機型式因至少一個參數而有所不同: 而且提供總共至少三台之相機(―台主要相機以及兩台附屬 相機、或者兩台主要相機以及一台附屬相機); -一影像轉換裝置(2),配置於相機之下游,接收 處理初始影像資料;以及 W -一 3D影像顯示裝置(3),連接至影像轉換裝置(2), 以空間感知顯示所提供的影像,而不用特別的觀視輔助: 3D影像顯示裝置(3)係顯示至少三個的圖像。 2·如申請專利範圍第丨項所述之配置,其特徵為· 兩種相機型式至少因所要紀錄的影像解析度而 曰。 有所不 3·如申請專利範圍第丨項所述之配置,其特徵為· 兩種相機型式至少因内建成像晶片而有所不$同:· 4·如申請專利範圍第i項所述之配置,其特徵為· 精確地設置一台主要相機⑴)以及兩台附屬相機〇4 5.如申吻專利範圍第1項所述之配置,其特徵為 精確地設置-台主要相機(13)以及四台附屬相機。· 22 15)。 200824427 6·如申請專利範圍第1項所述之配置,其特徵為: 影像轉換裝置(2)產生所紀錄的每個場景影像至少三個 之圖像。 7·如申請專利範圍第6項所述之配置,其特徵為: 所產生的至少三個圖像之一仍等於輸入影像。 8.如申請專利範圍第4項所述之配置,其特徵為: 主要相機(13)配置於附屬相機(14、15)之間。 9 ·如申請專利範圍第1項所述之配置,其特徵為: 主要相機(13)以及所有的附屬相機(14、15)係以視訊框 準確同步化進行紀錄。 !〇·如申請專利範圍第!項所述之配置,其特徵為: 至少一個部分透明之鏡係配置於主要相機(13)以及所 有附屬相機(14、1 5)的每個物鏡之前。 1 1 ·如申請專利範圍第i項所述之配置,其特徵為: 主要相機(13)以及至少兩個附屬相機(14、15)的物鏡中 心點係形成一等腰三角形。 12· —種用於紀錄以及顯示場景及/或物件影像之方 法’包含以下之步驟·· -產生至少一個η元之影像,且n>2,且至少兩個影像 係具有不同的解析度, -將影像資料轉移至一影像轉換裝置(2),其後實施續 正、色彩調整、深度或像差識別、以及隨後從η元之影像 與》朱度或像差識別資料產生另外的圖像,進而產生至少〜 個亚不準確等於任一個所產生的η元影像之圖像, 23 200824427 -隨後針對空間之呈現,根據3D影像顯示裝置(3)之3D 顯示器(32)的參數之指定,產生至少三個不圖像或者影像 之組合,而不用特別的觀視輔助,以及 -最後將所組合的3D影像呈現於3D顯示器(32)上。 13·如申請專利範圍第12項所述之方法,其特徵為: 如果使用一台主要相機(13)以及具有不同於主要相機 (I3)的解析度之兩台或四台附屬相機,則在矯正之前實施 一種尺寸調I,致使在(寸調整之後,戶斤彳的影像皆具有 相同之解析度。 14·如申請專利範圍第12或13項所述之方法,其特徵 為: 、
    就深度識別而言,以首先將具有相同γ座標的不同相 機影像列置於纟此頂冑的暫#器中i且先進行比較之如此 方式:藉由逐列比較所預先處理$ η元初始影像資料來建 立堆疊結構,而將不同的色調數值刪除,藉由較佳為Μ 至2映像點之特定增量以相反方向之列位移則跟隨於里 後’在每個增量儲存^另-列之後的結果類似於第—次的 比較;致使如同在針對每個映像點所進行的比較之後_ 果,Ζ座標提供有關於圖像彼此相對位移程度之資訊。、、、D 15.如申請專利範圍第14項所述之方法,其特徵 在堆疊結構建立之後,以消除不明確者之方^ :佳化’以及/或者針對清楚的高度輪廓曲線實施構件:: 其特徵為: 16.如申請專利範圍第12項所述之方法 24 200824427 判斷每個原有影 在堆豐結構投影至所需圖像上之後 像之深度。 17·如申請專利範圍第15項所述之方法,其特徵為: ^在原有影像以及與其有所關聯的各別深度轉移之後, 藉由深度影像’而以圖像逆投影成為堆疊空間來實施重 建,致使將消失的堆疊結構重建。 18·如申請專利範圍第12項所述之方法,其特徵為: 將所產生的影像轉移至影像轉換裝置(2)。 \9.如申請專利範圍第12項所述之方法,其特徵為: 藉由影像轉換裝置(2)所產生的所有圖像係轉移至3D 影像顯示裝置(3)。 20·如申請專利範圍第16項所述之方法,其特徵為: 將具有各別與其相關的深度之原有影像轉移至影 像顯不裝置(3),之後先根據申請專利範圍第1 5項,實施 21.如申請專利範圍第12項所述之方法,其特徵為· 藉由3D相機系統產生影像。 … 22·如申請專利範圍第12項所述之方法,其特徵為: 藉由電腦產生該些影像。 ' 23·如申請專利範圍第22項所述之方法,其特徵為: 針對每個影像產生一深度映圖,致使能夠省略終 色彩調整、以及深度或相差識別步驟。 门 24·如申請專利範圍第23項所述之方法,其特徵為· 產生至少兩張不同解析度的深度映圖。 25 200824427 25· 一種傳輸3D資訊之太、1 圖像、針對其德顧-办、法,其係基於至少三張不同 其特徵為·· ^ 、、丁工間感知目的,而不需特別觀視輔助, 場景圖像之不同角二 '像開始’ n>2 ’其特徵為物件或者 且於里後在^ #斷或者描料個影像之深度,並 %具後在傳輸頻道中傳 (在深度映圖),而至返同各別的深度資訊 2“由1 兩個n元影像具有不同之解析度。 η开史你达 k之方法,其特徵為: 兀〜像為一種三重影像(n=3)。 27. 如申請專利範圍第26項所述之方法,其 二張深度映圖其中至少兩張具有不同之解析产?、、. 28. 如中請專利範圍第25至27項所 ^ 徵為: 万去,其特 以MPEG4袼式來產生影像資料以及深度資訊。
    十一、圖式: 如次頁 26 200824427
    ® ® 函画
TW096128967A 2006-11-22 2007-08-07 System and method for the recording and display of images of a scene and/or an object TWI347774B (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006055641A DE102006055641B4 (de) 2006-11-22 2006-11-22 Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes
PCT/DE2007/000786 WO2008064617A1 (de) 2006-11-22 2007-04-27 Anordnung und verfahren zur aufnahme und wiedergabe von bildern einer szene und/oder eines objektes

Publications (2)

Publication Number Publication Date
TW200824427A true TW200824427A (en) 2008-06-01
TWI347774B TWI347774B (en) 2011-08-21

Family

ID=38596678

Family Applications (2)

Application Number Title Priority Date Filing Date
TW096128967A TWI347774B (en) 2006-11-22 2007-08-07 System and method for the recording and display of images of a scene and/or an object
TW096143841A TW200841704A (en) 2006-11-22 2007-11-20 Arrangement and method for the recording and display of images of a scene and/or an object

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW096143841A TW200841704A (en) 2006-11-22 2007-11-20 Arrangement and method for the recording and display of images of a scene and/or an object

Country Status (5)

Country Link
US (2) US8330796B2 (zh)
EP (3) EP2095625A1 (zh)
DE (1) DE102006055641B4 (zh)
TW (2) TWI347774B (zh)
WO (2) WO2008064617A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI459233B (zh) * 2008-06-27 2014-11-01 Sony Ericsson Mobile Comm Ab 由一具有相機及顯示器之裝置執行的方法及用於模擬影像之反射之裝置
US9344703B2 (en) 2008-09-30 2016-05-17 Panasonic Intellectual Property Management Co., Ltd. Recording medium, playback device, system LSI, playback method, glasses, and display device for 3D images
CN106686364A (zh) * 2014-07-09 2017-05-17 歌尔科技有限公司 一种头戴式可视设备和视频系统

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080114169A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 3차원 영상 표시방법 및 이를 적용한 영상기기
KR101387366B1 (ko) * 2007-06-27 2014-04-21 삼성전자주식회사 다시점 입체 영상 표시 장치 및 영상 표시 방법
KR20090055803A (ko) * 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
KR101420684B1 (ko) * 2008-02-13 2014-07-21 삼성전자주식회사 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
DE102008023501B4 (de) 2008-05-09 2011-04-14 Visumotion Gmbh Verfahren und Anordnung zur synchronen Aufzeichnung von mindestens zwei Videodatenströmen unterschiedlicher Formate
US20100135640A1 (en) * 2008-12-03 2010-06-03 Dell Products L.P. System and Method for Storing and Displaying 3-D Video Content
WO2010087751A1 (en) * 2009-01-27 2010-08-05 Telefonaktiebolaget Lm Ericsson (Publ) Depth and video co-processing
US8520020B2 (en) * 2009-12-14 2013-08-27 Canon Kabushiki Kaisha Stereoscopic color management
KR101214536B1 (ko) * 2010-01-12 2013-01-10 삼성전자주식회사 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라
US8687044B2 (en) 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
KR101647408B1 (ko) * 2010-02-03 2016-08-10 삼성전자주식회사 영상 처리 장치 및 방법
DE102010020925B4 (de) 2010-05-10 2014-02-27 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung
US20120050495A1 (en) * 2010-08-27 2012-03-01 Xuemin Chen Method and system for multi-view 3d video rendering
KR20120020627A (ko) * 2010-08-30 2012-03-08 삼성전자주식회사 3d 영상 포맷을 이용한 영상 처리 장치 및 방법
JP2012124704A (ja) * 2010-12-08 2012-06-28 Sony Corp 撮像装置および撮像方法
KR101852811B1 (ko) * 2011-01-05 2018-04-27 엘지전자 주식회사 영상표시 장치 및 그 제어방법
JP5058354B1 (ja) * 2011-04-19 2012-10-24 株式会社東芝 電子機器、表示制御方法及びプログラム
US9161010B2 (en) 2011-12-01 2015-10-13 Sony Corporation System and method for generating robust depth maps utilizing a multi-resolution procedure
CN104685860A (zh) * 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
DE102012109481A1 (de) 2012-10-05 2014-04-10 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US10067231B2 (en) 2012-10-05 2018-09-04 Faro Technologies, Inc. Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner
US9386298B2 (en) * 2012-11-08 2016-07-05 Leap Motion, Inc. Three-dimensional image sensors
CN104969238B (zh) 2013-01-15 2019-06-18 移动眼视力科技有限公司 车辆和用于车辆的成像系统
US10484661B2 (en) * 2013-08-06 2019-11-19 Sony Interactive Entertainment Inc. Three-dimensional image generating device, three-dimensional image generating method, program, and information storage medium
CN104567758B (zh) * 2013-10-29 2017-11-17 同方威视技术股份有限公司 立体成像系统及其方法
US9756316B2 (en) * 2013-11-04 2017-09-05 Massachusetts Institute Of Technology Joint view expansion and filtering for automultiscopic 3D displays
US9967538B2 (en) 2013-11-04 2018-05-08 Massachussetts Institute Of Technology Reducing view transitions artifacts in automultiscopic displays
TWI530909B (zh) 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法
DE102014013677B4 (de) 2014-09-10 2017-06-22 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und unterteiltem Display
US9602811B2 (en) 2014-09-10 2017-03-21 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US9671221B2 (en) 2014-09-10 2017-06-06 Faro Technologies, Inc. Portable device for optically measuring three-dimensional coordinates
US9693040B2 (en) * 2014-09-10 2017-06-27 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
DE102014013678B3 (de) 2014-09-10 2015-12-03 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und Steuerung durch Gesten
US20160173869A1 (en) * 2014-12-15 2016-06-16 Nokia Corporation Multi-Camera System Consisting Of Variably Calibrated Cameras
US9621819B2 (en) 2015-07-09 2017-04-11 Chunghwa Picture Tubes, Ltd. Electronic device and multimedia control method thereof
TWI613904B (zh) * 2016-06-17 2018-02-01 聚晶半導體股份有限公司 立體影像產生方法及使用此方法的電子裝置
US10469821B2 (en) * 2016-06-17 2019-11-05 Altek Semiconductor Corp. Stereo image generating method and electronic apparatus utilizing the method
JP6636963B2 (ja) * 2017-01-13 2020-01-29 株式会社東芝 画像処理装置及び画像処理方法
DE102017120956A1 (de) 2017-09-11 2019-03-14 Thomas Emde Einrichtung zur audio/visuellen Aufzeichnung und Wiedergabe von Bildern/Filmen
US20200014909A1 (en) 2018-07-03 2020-01-09 Faro Technologies, Inc. Handheld three dimensional scanner with autofocus or autoaperture
DE102019109147A1 (de) * 2019-04-08 2020-10-08 Carl Zeiss Jena Gmbh Bildaufnahmesystem und verfahren zum aufnehmen von bildern
US11039113B2 (en) * 2019-09-30 2021-06-15 Snap Inc. Multi-dimensional rendering
CA3168799A1 (en) * 2020-01-21 2021-07-29 Proprio, Inc. Methods and systems for augmenting depth data from a depth sensor, such as with data from a multiview camera system
US11503266B2 (en) * 2020-03-06 2022-11-15 Samsung Electronics Co., Ltd. Super-resolution depth map generation for multi-camera or other environments
CN112995432B (zh) * 2021-02-05 2022-08-05 杭州叙简科技股份有限公司 一种基于5g双记录仪的深度图像识别方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08201941A (ja) 1995-01-12 1996-08-09 Texas Instr Inc <Ti> 3次元画像形成方法
EP0759255B1 (en) * 1995-03-08 2001-05-02 Koninklijke Philips Electronics N.V. Three-dimensional image display system
JP3096613B2 (ja) 1995-05-30 2000-10-10 三洋電機株式会社 立体表示装置
US6055012A (en) 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US6023291A (en) * 1996-10-16 2000-02-08 Space Systems/Loral, Inc. Satellite camera attitude determination and image navigation by means of earth edge and landmark measurement
US6052124A (en) 1997-02-03 2000-04-18 Yissum Research Development Company System and method for directly estimating three-dimensional structure of objects in a scene and camera motion from three two-dimensional views of the scene
US6271876B1 (en) * 1997-05-06 2001-08-07 Eastman Kodak Company Using two different capture media to make stereo images of a scene
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
EP1418766A3 (en) * 1998-08-28 2010-03-24 Imax Corporation Method and apparatus for processing images
GB2343320B (en) 1998-10-31 2003-03-26 Ibm Camera system for three dimentional images and video
JP2000321050A (ja) 1999-05-14 2000-11-24 Minolta Co Ltd 3次元データ取得装置および3次元データ取得方法
CN1166207C (zh) 1999-05-27 2004-09-08 皇家菲利浦电子有限公司 对视频信号进行编码的方法、装置及采用该装置的摄像机
US6198505B1 (en) 1999-07-19 2001-03-06 Lockheed Martin Corp. High resolution, high speed digital camera
CA2436596C (en) * 2000-01-25 2005-10-25 4D-Vision Gmbh Method and arrangement for the three-dimensional display
KR100375708B1 (ko) * 2000-10-28 2003-03-15 전자부품연구원 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
US6573912B1 (en) * 2000-11-07 2003-06-03 Zaxel Systems, Inc. Internet system for virtual telepresence
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US7224382B2 (en) * 2002-04-12 2007-05-29 Image Masters, Inc. Immersive imaging system
CA2386560A1 (en) * 2002-05-15 2003-11-15 Idelix Software Inc. Controlling optical hardware and dynamic data viewing systems with detail-in-context viewing tools
JP4229398B2 (ja) 2003-03-28 2009-02-25 財団法人北九州産業学術推進機構 3次元モデリング・プログラム、3次元モデリング制御プログラム、3次元モデリング・データ伝送プログラム、記録媒体および3次元モデリング方法
US7532225B2 (en) * 2003-09-18 2009-05-12 Kabushiki Kaisha Toshiba Three-dimensional image display device
US7525541B2 (en) * 2004-04-05 2009-04-28 Actuality Systems, Inc. Data processing for three-dimensional displays
JPWO2005124687A1 (ja) 2004-06-16 2008-04-17 国立大学法人 東京大学 光学式モーションキャプチャシステムにおけるマーカトラッキング方法、光学式モーションキャプチャ方法及びシステム
US7468745B2 (en) 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
DE102004061998A1 (de) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
JP4488996B2 (ja) * 2005-09-29 2010-06-23 株式会社東芝 多視点画像作成装置、多視点画像作成方法および多視点画像作成プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI459233B (zh) * 2008-06-27 2014-11-01 Sony Ericsson Mobile Comm Ab 由一具有相機及顯示器之裝置執行的方法及用於模擬影像之反射之裝置
US9344703B2 (en) 2008-09-30 2016-05-17 Panasonic Intellectual Property Management Co., Ltd. Recording medium, playback device, system LSI, playback method, glasses, and display device for 3D images
CN106686364A (zh) * 2014-07-09 2017-05-17 歌尔科技有限公司 一种头戴式可视设备和视频系统
CN106686364B (zh) * 2014-07-09 2019-02-15 歌尔科技有限公司 一种头戴式可视设备和视频系统

Also Published As

Publication number Publication date
EP2800350A3 (de) 2014-11-12
DE102006055641A1 (de) 2008-05-29
TW200841704A (en) 2008-10-16
EP2095625A1 (de) 2009-09-02
TWI347774B (en) 2011-08-21
DE102006055641B4 (de) 2013-01-31
WO2008061490A2 (de) 2008-05-29
US20090315982A1 (en) 2009-12-24
WO2008061490A3 (de) 2008-08-28
US20100134599A1 (en) 2010-06-03
WO2008064617A1 (de) 2008-06-05
EP2106657A2 (de) 2009-10-07
US8330796B2 (en) 2012-12-11
EP2800350A2 (de) 2014-11-05

Similar Documents

Publication Publication Date Title
TW200824427A (en) Arrangement and method for the recording and display of images of a scene and/or an object
KR100950046B1 (ko) 무안경식 3차원 입체 tv를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법
US20100085423A1 (en) Stereoscopic imaging
JP2017532847A (ja) 立体録画及び再生
KR20180003535A (ko) 라이더 스테레오 융합 실사 3d 모델 가상 현실 비디오
US20120182403A1 (en) Stereoscopic imaging
US20060082574A1 (en) Image processing program for 3D display, image processing apparatus, and 3D display system
CN104023220A (zh) 实时的多视图合成器
WO2015161541A1 (zh) 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法
WO2010075726A1 (zh) 立体全景视频流生成方法、设备及视频会议方法和设备
KR20130107840A (ko) 실감 파노라마 영상 생성을 위한 3d 데이터 포맷 생성/소비 장치 및 방법
CN102547356A (zh) 图像处理装置、图像处理方法和程序
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
JP2003187261A (ja) 3次元画像生成装置、3次元画像生成方法、立体画像処理装置、立体画像撮影表示システム、立体画像処理方法及び記憶媒体
KR101933037B1 (ko) 360도 동영상에서의 가상현실 재생 장치
US10453244B2 (en) Multi-layer UV map based texture rendering for free-running FVV applications
TW201125355A (en) Method and system for displaying 2D and 3D images simultaneously
WO2012137454A1 (ja) 立体映像出力装置及び立体映像出力方法
TW201445977A (zh) 影像處理方法及影像處理系統
JP6128748B2 (ja) 画像処理装置及び方法
WO2020184174A1 (ja) 画像処理装置および画像処理方法
EP1668919B1 (en) Stereoscopic imaging
Knorr et al. Stereoscopic 3D from 2D video with super-resolution capability
CN102026012A (zh) 平面视频立体化转换深度图生成方法和装置
Gurrieri et al. Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees