TW201205181A - Video camera providing videos with perceived depth - Google Patents

Description

201205181 六、發明說明： 【發明所屬之技術領域】 本發明係關於一種用於自使用單點透視影像攝取裝置所 攝取之視訊提供具有感知深度之視訊的方法。 【先前技術】 一場景之立體影像通常係藉由組合具有該同一場景之不 同透視的兩個或兩個以上影像而產生。通常，用一影像攝 取裝置同時地攝取立體影像，該影像攝取裴置具有被分離 達一距離以提供場景之不同透視的兩個（或兩個以上）影像 攝取裝置。然而，此立體影像攝取方法需要具有兩個（或 兩個以上）影像攝取裝置的更複雜之影像攝取系統。 已提議用於產生立體視訊之方法，其中使用單一影像攝 取裝置以攝取包含視訊影像時間序列之視訊，且接著修改 該視訊以產生具有感知深度之視訊。在!^· CafareU，Jr.之 名為「Quasi-stereoscopic systems」的美國專利 2 865,988 中，揭示一種方法，其中自用單點透視影像攝取裝置所攝 取之視訊提供具有感知深度之視訊。具有感知深度之視訊 係藉由向檢視者之左眼及右眼展示視訊影像而產生，其中 向左眼及右眼所展示之視訊影像之時序相差怪定圖框位移 (frame offset)，使得一隻眼睛在時間序列上比另一隻眼睛 更早地接收視訊影像◦由於在場景内攝影機之位置及物件 之位置通常隨著時間而變化，故時間感知差被檢視者之大 腦解譯為深度。然而，因為在場景中影像攝取裝置及物件 之運動量通常隨著時間而變化，所以深度感知常常不一 154555.doc 201205181 致0

Dasso 之名為「Electronic three-dimensional viewing system」的美國專利5,701，154亦自用單點透視影像攝取裝 置所攝取之視訊提供具有感知深度之視訊。具有感知深度 m 之視讯係藉由在被呈現給檢視者之左眼及右眼之視訊之間 具有恒疋圖框位移（例如，一至五個圖框）的情況下向檢視 者之左眼及右眼提供視訊而產生。在此專利中，被呈現給 左眼及右眼之視讯影像的不同之處亦可在於：被呈現給一 隻眼睛之視訊影像相較於被呈現給另一隻眼睛之視訊影像 可被移位部位（location)、擴大或增亮以進一步增強感知深 度。然而，在具有恆定圖框位移的情況下，深度感知將歸 因於在視訊攝取期間存在之變化運動而再次不一致。 在 Nattress之名為「System for combining a sequence of images with computer-generated 3D graphics」的美國專利 申請公開案2005/0168485中，描述一種用於組合影像序列 與經電腦產生三維動晝之系統。此專利申請案之方法包 括：當攝取序列中之每一影像時量測影像攝取裝置之部 位，以使更易於識別影像攝取裝置之透視且藉此使更易於 組合經攝取影像與動晝中之經電腦產生影像。 一種用於用單點透視影像攝取裝置所攝取之視訊至具有 感知深度之視訊之攝取後轉換的方法被揭示於Naske等人 之名為「Methods and systems for 2D/3D image conversion and optimization」的美國專利申請公開案2〇〇8/〇〇85〇49 中。在此方法中，將依序視訊影像彼此進行比較以判定在 154555.doc 201205181 場景中之運動方向及速率。產生第二視訊’第二視訊相較 於經攝取視訊具有圖録移，其巾#在依序視訊影像彼此 之比較中偵測到快速運動或垂直運動時減少圖框位移以避 免假影。然而，在場景中攝影機及物件之運動量將仍隨著 寺門而變化，且因此，深度感知將仍不一致且將隨著在視 訊攝取期間存在之運動而變化。 在美國專利申請公開案2009/0003654中，使用影像攝取 裝置之經量測部位以自已用影像攝取裝置在不同部位中所 攝取之影像對判定範圍映射（range map)。 仍然需要自用單點透視影像攝取裝置所攝取之視訊提供 具有感知*度之視訊’纟中當在場景中存在影像攝取裝置 或物件之不-致運動時，具有感知深度之視訊具有改良型 影像品質及改良型深度感知。 【發明内容】 本發明表示—種用於提供具有感知深度之-視訊之視訊 影像攝取裝置，該視訊影像攝取裝置包含： -影像感測器，其用於攝取視訊圖框； :光學系統’其用於將一場景自一單點透視成像至該影 一資料儲存系統， 一視訊影像序列； 其用於儲存藉由該影像感測器攝取之 一位置感測裝 影像攝取裝置之 一儲存構件， 置，其用於針對該視訊影像序列而感測該 一相對位置； 其用於與經儲存視訊影像序列相關聯地將 154555.doc 201205181 該影像攝取裝置之該經感測相 料儲存系統上； 一資料處理器； 對位置之一指示儲存於該資 -記憶體系統’其以通信方式連接至該資料處理器且儲 存經組態以使該資料處理器藉由如下步驟來提供具有感知 深度之一視訊的指令： 回應於該影像攝取裝置之該經儲存相對位置來選擇視訊 影像立體像對；及 提供具有感知深度之-視訊’該視訊包括該等視訊影像 立體像對之一序列。 本發明具有如下優點：可使用用單點透視影像攝取裝置 所攝取的場景之視訊影像來提供具有感知深度之視訊影 像。具有感知深度之視訊係回應於影像攝取裝置之相對位 置而形成，以便提供感知深度之更一致的感覺。 本發明具有如下另外優點：當偵測到與產生具有感知深 度之視訊影像不一致的影像攝取裝置之運動時，可提供不 具有感知深度之影像。 【實施方式】 參看以下圖式來更好地理解本發明之實施例。 產生具有感知深度之影像會需要以使得檢視者之左眼及 右眼檢視不同透視影像的方式來呈現具有不同透視之兩個 或兩個以上影像。對於立體影像之最簡單狀況，以立體像 對之形式向檢視者呈現具有不同透視之兩個影像，其中立 體像對包含用於檢視者之左眼的影像及用於檢視者之右眼 154555.doc 201205181 的影像°具有感知深度之視訊包含被依序地呈現給檢視者 之一系列立體像對。 本發明提供—種用於自使用僅具有單點透視之視訊影像 裝置所攝取之視訊產生具有感知深度之視訊的方法。 通常’藉由具有—個電子影像攝取單元之視訊影像攝取裝 &供單透視，該電子影像攝取一 一個影像感測器1而，本發明同等地適用於具有一個以 j電子影像攝取單元、—個以上透鏡或-個以上影像感測 器之視訊影像攝取裝i，其限制條件$ : 一：欠使用僅一個 電子衫像攝取單元或僅—個透鏡及—個影像感測器以攝取 視訊。 參看圖1，在一特定實施例令，展示視訊影像攝取裝置 〇之組件’纟中組件係酉己置於提供結構支撐及保護之本體 中。本體可變化以滿足特定使用及式樣考慮之要求。安裝 於視訊影像攝取裝置10之本體中的電子影像攝取單元14至 少具有取像透鏡16及與取像透鏡16對準之影像感測器18。 來自場景之光沿著光徑20傳播通過取像透鏡丨6且照在影像 感測器18上’從而產生類比電子影像。 所使用之影像感測器類型可變化，但在一較佳實施例 中，影像感測器為固態影像感測器。舉例而言，影像感測 器可為電荷耦合裝置（CCD)、CM0S感測器（CM〇s)或電荷 庄入裝置（CID)。通常，電子影像攝取單元14將亦包括與 影像感測器18相關聯之其他組件。典型影像感測器18附有 充當時鐘驅動器（在本文中亦被稱為時序產生器（timing 154555.doc 201205181 generator))、類比信號處理器（ASP)及類比轉數位轉換器/ 放大器（A/D轉換器）之分離組件。此等組件常常連同影像 感測器18被併入至單一單元中。舉例而言，用允許將其他 組件整合至同一半導體晶粒上之程序來製造CMOS影像感 測器。 通常’電子影像攝取單元14用三個或三個以上彩色通道 來攝取影像。當前較佳的是’將單一影像感測器1 8連同彩 色濾光片陣列予以使用’然而’亦可使用多個影像感測器 及不同類型之濾光片。合適濾光片為熟習此項技術者所熟 知’且在一些狀況下併有影像感測器丨8以提供一體式組 件0 來自影像感測器18之每一像素的電信號係與到達該像素 之光的強度及允許該像素積聚或整合來自入射光之信號的 時間長度兩者有關。此時間被稱為整合時間（integrati〇n time)或曝光時間（exposure time) 〇 整合時間係藉由可在打開狀態與關閉狀態之間切換的快 門22控制《快門22可為機械的、機電的，或可被提供為電 子影像攝取單元14之硬體及軟體之邏輯功能。舉例而言， 一些類型之影像感測器18允許藉由重設影像感測器18且接 著在稍後某一時間讀出影像感測器丨8來電子地控制整合時 間。當使用CCD影像感測器時，可藉由在非感光性區域中 所提供之光屏蔽暫存器下移位所積聚之電荷來提供整合時 間之電子控制。此光屏蔽暫存器可用於所有像素（如在圖 框轉移裝置CCD中），或可呈在像素列或行之間的列或行 t 154555.doc 201205181 之形式（如在線間轉移裝置CCD*)。合適裝置及程序為熟 習此項技術者所熟知。因此，時序產生器24可提供針對影 像感測器18上之像素而控制何時發生整合時間以攝取影像 的方式。在圓1之視訊影像攝取裝置1〇中，快門22及時序 產生器2 4聯合地判定整合時間。 總體光強度及整合時間之組合被稱為曝光。曝光與影像 感測器18之敏感性及雜訊特性之組合判定在經攝取影像中 所提供之信雜比。可藉由光強度及整合時間之各種組合來 達成等效曝光。儘管曝光係等效的，但光強度及整合時間 之特定曝光組合可基於場景之特性或關聯信雜比而比用於 攝取場景之影像的其他等效曝光較佳。 儘管圖1展示若干曝光控制元件，但一些實施例可能不 包括此等元件中之一或多者，或可存在用於控制曝光之替 代性機構。視訊影像攝取裝置1〇可具有對所說明之特徵的 替代性特徵。舉例而言，亦充當光闌之快門為熟習此項技 術者所熟知。 在所說明之視訊影像攝取裝置1 〇中，遽光片總成2 6及光 圈2 8修改影像感測器1 8處之光強度。每一者可為可調整 的。光圈28使用機械光闌或可調整光圈（未圖示）以阻擋光 徑20中之光來控制到達影像感測器丨8之光的強度。光圈之 大小可為連續地可調整的、步進式的，或以另外方式變 化。作為一替代例，光圈28可移入及移出光徑20。濾光片 總成26可同樣地變化。舉例而言，濾光片總成26可包括一 組不同中性密度濾光片，該等中性密度濾光片可旋轉或以 154555.doc •10· 201205181 移入光徑。其他合適濾光月總成及光圈為熟習此 項技術者所熟知。 視讯影像攝取裝置】〇且右風 八有先予系統44，光學系統44包括 =鏡此亦可包括用以幫助操作者編製待攝取影像的 =景器之組件（未圖示）。光學系統柯採取許多不同形 ^舉例而言’取像透鏡16可與光學取景器完全地分離或 ，括具有提供於内部顯示器上方之目鏡的數位取景器， =部顯不器中，在影像攝取之前及之後連續地展示預覽 其中。:預覽影像通常為經連續地攝取之較低解析度 ❼取景Θ透鏡早①及取像透鏡16亦可共用—或多個組

牛此等及其他替代性光學系統之細節為熟習此項技術者 所熟知。出於方便起貝，I . 趣見通*在下文中關於具有可用以檢 視場景之預覽影像之攝影機上數位取景器顯示器％或影像 顯不器48的實施例（通常進行此情形以在用諸如數位視訊 攝&機之&像攝取裝置進行攝取之前編製影像）來論述光 學系統44。 取像透㈣可為簡單的，諸如，具有單一焦距及手動聚 焦或固定焦點，但此情形不係較佳的。在圖i所示之視訊 影像攝取裝置10中，取像透鏡16為馬達化變焦透鏡，其中 一透鏡元件或多個透鏡元件係藉由變焦控制件（zoom c〇ntr〇l)50而相對於其他透鏡元件被驅動。此情形允許改 變透鏡之有效焦距。代替或結合光學變焦，亦可使用數位 變焦（數位影像之數位擴大）。取像透鏡咐可包括透鏡元 件或透鏡群組（未圖示），可藉由巨集控制件（macro 154555.doc 201205181 C〇ntr〇l)52而自光徑插入或移除該等透鏡元件或透鏡群 組，以便提供巨集（緊密聚焦（cl〇sef〇cus))能力。 視訊影像攝取裝置1G之取像透鏡16亦可為自動聚焦。舉 例而σ自動聚焦系統可提供使用被動式自動聚焦或主動 式自動聚焦或該@者之組合的聚焦。#看圖！，取像透鏡 16之多個聚焦元件（未分離地圖示）中之—者係藉由聚焦控 制件（focus C〇ntrol)54驅動，以將來自場景中之特定距離的 光聚焦至影像感測器18上。自動聚焦系統可藉由用不同透 鏡聚焦設定來攝取預覽影像而操作，或自動聚焦系統可具 有測距儀56，測距儀56具有將與自視訊影像攝取裝置⑺至 %景之距離有關之信號發送至系統控制器66的一或多個感 測兀件。系統控制器66進行預覽影像或來自測距儀之信號 的聚焦分析，且接著操作聚焦控制件54以移動取像透鏡16 之。亥或忒·#可聚焦透鏡元件（未分離地說明）。自動聚焦方 法在此項技術中係熟知的。 視訊影像攝取裝置1〇包括用以量測場景之亮度的構件。 可藉由分析預覽影像中之像素碼值或經由使用亮度感測器 58而進行焭度量測。在圖！中，將亮度感測器兄展示為一 或多個分離組件。亦可將亮度感測器58提供為電子影像攝 取單元μ之硬體及軟體之邏輯功能。亮度感測器58可用以 提供表示場景之光強度的一或多個信號以用於選擇一或多 個影像感測器18之曝光設定《作為一選項，來自亮度感測 器58之信號亦可提供色彩平衡資訊。可用以提供場景照明 及色彩值中之一者或此兩者且與電子影像攝取單元14分離 154555.doc 201205181 之合適亮度感測器58的實例被揭示於美國專利4,887，出 中。 ’ 可藉由自動曝光控制件（aut〇exp〇sure 來判定暖 光。自動曝光控制件可實施於系統控制器66内且可選自^ 項技财已知之自動曝光控制件，其實例被揭示於美國專 利5,335,041中。基於待成像場景之亮度量測（如藉由亮度 感測器58提供，或如藉由自預覽影像中之像素值之量測提 供）’電子成像系統通常使用自冑曝光控制處理以判定將 得到具有輕亮度及良好信雜比之影像的有效曝光時間 %。在本發明中，ϋ由自動曝光控制件判定之曝光時間％ 係用於攝取預覽影像，且接著可經修改以用於基於場景亮 度及預期運動模糊（m()tion blur)來攝取存權影像攝取，其 中存檔影像為在已基於本發明之方法界定攝取條件（包括 曝光時間）之後所攝取的最終影像。熟習此項技術者應認 識到，曝光時間愈短，則運動模糊愈少，且更多雜訊將存 在於存檔影像中。 圖1之視訊影像攝取裝置10視情況包括閃光單元6〇，閃 光單元60具有電子控制型閃光燈61(諸如，氙閃光管或 LED)。通常，當使用視訊影像攝取裝置1〇以攝取靜態影像 時，將僅使用閃光單元60 ^可視情況提供閃光感測器62, 其在存檔影像攝取期間回應於自場景所感測之光而輸出信 號’或在存槽影像攝取之前經由預閃光而輸出信號。在藉 由專用閃光控制件63來控制閃光單元之輸出時使用閃光感 測器k號’或依據控制單元65而使用閃光感測器信號。或 154555.doc •13· 201205181 者’閃光輸出可基於其他資訊（諸如，聚焦距離）而固定或 反化可將閃光感測器62及亮度感測器58之功能組合於攝 取單元及控制單元之單一組件或邏輯功能中。 IV像感測器1 8接收場景之影像（如藉由取像透鏡^ 6提供） 且將該影像轉換為類比電子影像。可藉由影像感測器驅動 器來操作電子影像感測器18。可以多種攝取模式來操作影 像感測器18 ’該等攝取模式包括各種格化健存配置 (binmng arrangement)。格化儲存配置判定是使用像素以 個別地收集經光電產生電荷，藉此在攝取期間以完全解析 度而細作，或是將像素與鄰近像素電連接在一起，藉此在 攝取期間以較低解析度而操作。格化儲存比率描述在攝取 期間電連接在-起之像素的數目。較高格化儲存比率指示 更多像素在攝取期間電連接在一起，以對應地增加經格化 儲存像素之敏感性且縮減影像感測器之解析度。典型格化 儲存比率包括（例如）2χ、3x、6x及9x。以格化儲存型樣被 格化儲存在一起之鄰近像素的分佈亦可變化。通常，類似 色彩之鄰近像素被格化儲存在一起以使色彩資訊保持一致 (如藉由影像感測器提供）^本發明可同等地應用於具有其 他類型之格化儲存型樣的影像攝取裝置。 控制單元6 5控制或調整曝光調節元件及其他攝影機組 件、促進影像及其他信號之轉移，且執行與影像有關之處 理。圖！所示之控制單元65包括系統控制器66、時序產生 器24、類比信號處理器68、類比轉數位（A/D)轉換器8〇、 數位信號處理器70，及各種記憶體（Dsp記憶體72&、系統 154555.doc • 14· 201205181 記憶體72b、記憶體卡72c(連同記憶體卡介面83及插口 82) 及程式記憶體72d；^用於控制單元65之元件的合適組件為 熟習此項技術者所知。可如所列舉來提供此等組件或可 藉由單一實體裝置或藉由較大數目個分離組件來提供此等 組件。系統控制器66可採取經適當組態微電腦（諸如，具 有RAM用於資料操縱及通南程式執行之嵌入式微處理器） 的形式。控制單元65之修改係實務的，諸如，在本文中之 別處所描述之修改。 時序產生器24以時序關係向所有電子組件供應控制信 號。將個別視訊影像攝取裝置10之校準值儲存於校準記憶 體（未分離地說明）（諸如，EEPROM)中，且供應至系統控 制器66。使用者介面（下文所論述）之組件連接至控制單元 65，且藉由使用執行於系統控制器66上之軟體程式之組合 而起作用。控制單元65亦操作各種控制件以及關聯驅動器 及記憶體，包括變焦控制件5〇、聚焦控制件54、巨集控制 件52、顯示控制器64 ’及用於快門22、光圈28、濾光片總 成26、取景器顯示器76及狀態顯示器74之其他控制件（未 圖示）。 視訊影像攝取裝置10可包括用以提供補充於經攝取影像 資訊或預攝取貪讯之資訊的其他組件。此等補充資訊組件 之實例為圖1所說明之定向感測器78及位置感測器79。定 向感測器78可用以感測視訊影像攝取裝置1〇是被定向於風 厅、模式中或是被定向於肖像模式中。位置感測器79可用以 感測視訊影像攝取裝置1〇之位置。舉例而言，位置感測器 154555.doc -15- 201205181 79可包括用於感測攝影機之位置中之移動的一或多個加速 度計。或者’位置感測器79可為自全球定位系統衛星接收 信號以判定絕對地理部位的GPS接收器。用以提供補充資 訊之組件的其他實例包括即時時鐘、慣性位置量測感測 器，及用於鍵入使用者標題或其他資訊之資料鍵入裝置 (諸如’小鍵盤或觸摸式螢幕）。 應理解，可以為熟習此項技術者所熟知之多種方式來修 改所展示及描述之電路。亦應理解，或者，可將此處在實 體電路方面所描述之各種特徵提供㈣體功能或軟體功能 或該兩者之組合。同樣地’可方便地組合或共用在本文中 被說明為分離單元之組件Q可將多個組件提供於分散式部 位中。 藉由類比信號處理器68及A/D轉換器8〇而將來自影像感 測器18之初始電子影像放大^類比轉數位地轉換為數位 電子影像’接著使用DSP記憶體72a而在數位信號處理器 中處理數位電子影像，謂數位電子影像儲存於系統記憶 ㈣或可卸除式記憶體卡72c申。信號線(被說明為資： 匯流排81)電子地連接影像感測器18、系統控制器Μ、數 位信號處理器70、影像顯示器48及其他電子組件；且提 用於位址及資料信號之路徑。 /、 §己憶體」指代提供於半導體記憶體或磁性記憶體或复 類似者中的實體記憶體之-或多個合適大小之邏輯單元了 Dm己憶體72a、系、統記憶體72b、記憶體卡仏及程式 體72d可各自為任何類型之隨機存取記憶體。舉例而言f 154555.doc 201205181 記憶體可為内部記憶體（諸如，快閃epr〇m記憶體），或者 為可卸除式記憶體（諸如，緊密快閃記憶體卡），或此二者 :組合。可提供可㈣式記憶體卡72c以用於存檔影像儲 子可卸除式記憶體卡72c可為任何類型，諸如，插入至 插口 82中且經由記憶體卡介面83而連接至系統控制器66之 緊密快閃（C〇mpact Flash ; CF)或安全數位 gital ’ SD)型卡。所利用的其他類型之儲存器包括（但不 限於）pC卡或多媒體卡（MMC)。 控制單元65、系統控制器66及數位信號處理器7〇可藉由 儲存於用&影像儲存之同一實體記憶體中的軟體予以控 制，但較佳的是，控制單元65、數位信號處理器7〇及系統 控制益66係藉由儲存於專用程式記憶體72d中（例如，儲存 於ROM或EPR0_體記憶體中）之_予以㈣。亦可提 供β憶體之分離專用單元以支援其他功能。經储存有經攝 取影像之記憶體可固定於視訊影像攝取裝置附或為可 卸除式的’或為此兩者之組合。所使用之記憶體類型及資 訊儲存之方式（諸如，光學的或磁性的或電子的）對於本發 月之功Α並;f重要。舉例而言，可㈣式記憶體可為軟性 磁碟、CD、DVD、+式磁冑，或快閃記憶體卡或記憶體 棒。可卸除式記憶體可用於以數位形式將影像記錄轉移至 現訊影像攝取裝置1〇及自視訊影像攝取裝置轉移影像記 錄，或彼等影像記錄可作為電子信號而（例如）經由介面電 缓或無線連接進行傳輸。 在此實施例中，除了系統控制器66以外，數位信號處理 I54555.doc •17· 201205181 器70亦為兩個處理器或控制器中之—者。儘管在多個控制 器及處理器當中攝影機功能控制之此分割係典型的，但可 以各種方式組合此等控制器或處理器，而不影響攝影機之 功能操作及本發明之應用。此等控制器或處理器可包含一 或夕個數位h號處理器裝置、微控制器、可程式化邏輯裝 f，或其他數位邏輯電路。儘管已描述此等控制器或處理 器之組合，但應顯而易見，一個控制器或處理器可執行所 有所需功能。所有此等變化皆可執行相同功能。 在所說明實施射，控制單祕及數位㈣處理器7〇根 據永久性地儲存於程式記憶體72d中且被複製至系統記憶 體72b以供在影像攝取期間執行之軟體程式來操縱記 :隐體72a中之數位影像資料。控制單元“及數位信號處理 裔70執;fx為實踐影像處理所必要之軟^。亦可以與其他影 像攝取裝置（諸如，數位攝影機）中之方式相同的方式來修 改數位影像以增強數位影像。舉例而言，可藉由數位信號 處理器70來處理數位影像以提供内插及邊緣增強。電子存 檔影像之數位處理可包括與樓案轉移有關之修改，諸如， JP_縮及㈣格式化。亦可以為熟習此項技術者所熟知 之方式而向後設資料提供數位影像資料。 系統控制器66基於儲存於程式記憶體了^令之軟體程式 來控制影像攝取裝置之總體操作，程式記憶體72d可包括 快閃EEPR0M或其他非揮發性記憶體。此記憶體亦可用以 儲存校準資料、使用者設定選擇，及當切斷影像攝取裝置 時必須保留之其他資料L制祕藉由如下步驟來控 154555.doc 201205181 制影像攝取序列：指導巨集控制件52、閃光控制件63、聚 焦控制件54、變焦控制件50及如先前所描述之攝取單元組 件之其他驅動器；指導時序產生器24操作影像感測器丨8及 關聯元件；及指導控制單元65及數位信號處理器7〇處理經 攝取影像資料。在攝取及處理影像之後，將儲存於系統記 憶體72b或DSP記憶體72a中之最終影像檔案經由主機介面 84而轉移至主機電腦、儲存於可卸除式記憶體卡72c或其 他儲存裝置上，且在影像顯示器48上顯示給使用者。主機 介面84提供至個人電腦或其他主機電腦之高速連接以用於 轉移供顯不、儲存、操縱或印刷之影像資料。此介面可為 啦El394或USB2.〇串列介面，或任何其他合適數位介 面。在該方法中，以數位形式的影像之轉移可在實體媒體 上進行，或作為經傳輸電子信號而進行。 在所說明之視訊影像攝取裝置1G中，經處理影像被複製 至系統記憶體72b中之顯示緩衝器，且經由視訊編碼器％ 而被連續地讀出以產生用於預覽影像之視訊信號。此信號 係藉由顯示控制器64或數位信號處理器赠理且在攝影機 上影像顯示器48上呈現為預覽影像，或可直接自視訊影像 攝取裝置1〇輸出以供顯示於外部監視器上。視訊影像在視

Dfl景」象攝取裝置丨〇用於視訊攝取的情況下係存檔的，且在 作為預覽影㈣用於在靜態存㈣像攝取之前進行取景或 影像編製的情況下係非存檔的。 視訊影像躲裝㈣具有㈣者介面，錢者介面向操 作者提供輸出且接收操作者輸人。❹者介面包括-或多 154555.doc •19- 201205181 個使用者輸人控制件93及影像顯示器48。可以触、搖臂 開關搖桿、旋轉式撥號盤、觸摸式榮幕及其類似者之形 式提供使用者輸入控制件93。使用者輸入控制件93可包括 影像攝取按紐、控制透鏡單元之變㈣「移向目標/移離 目標」（z〇〇m in/out)控制件，及其他使用者控制件。 使用者介面可包括一或多個顯示器或指示器以向操作者 呈現攝影機資訊，諸如，曝光位準、剩餘曝光、電池狀 態、閃光狀態，及其類似者。取而代之或另外，影像顯示 器48亦可可用以顯示非影像資訊，諸如，攝影機設定。舉 例而言，可提供圖形使用者介面（GUI)，包括呈現選項選 擇之選單及用於檢查經攝取影像之再檢視模式。影像顯示 器48及數位取景器顯示器76兩者皆可提供相同功能，且可 消除影像顯示器48及數位取景器顯示器76中之一者或另一 者。視訊影像攝取裝置10可包括揚聲器，揚聲器用於呈現 與視訊攝取相關聯之音訊資訊，且代替描繪於狀態顯示器 74、影像顯示器48或此兩者上之視覺警告，或除了描繪於 狀態顯示器74、影像顯示器48或此兩者上之視覺警告以 外’揚聲器亦可提供音訊警告。使用者介面之組件連接至 控制單元，且藉由使用執行於系統控制器66上之軟體程式 之組合而起作用。 電子影像最終傳輸至影像顯示器48，影像顯示器48係藉 由顯示控制器64操作。可使用不同類型之影像顯示器48。 舉例而言，影像顯示器48可為液晶顯示器（LCD)、陰極射 線管顯示器，或有機電致發光顯示器（〇LED)。影像顯示 154555.doc -20- 201205181 以便可容易地為攝影者 器48較佳地安裝於攝影機本體上 所檢視。 作為將影像展示於影像顯示器48上之部分，視訊影像攝 =裝置财修改影像以用於至特定顯示器之校準。舉例而 言’可提供修改每-影像以在影像顯示器48以及電子与像 攝取單元14之影像感測器18及其他組件的灰度、色域:白 點方面適應不同能力的變換。較佳的是，選擇影像顯示器 4。8,以便准許展示整個影像；然而，可使用更有限之顯示 器在後者狀況下’影像之顯示包括切掉影像之部分或對 比度位準或影像中資訊之某一其他部分的校準步驟。 亦應理解’本文巾所描述之視訊影像攝取裝置1G不限於 ㈣特徵組’惟如藉由中請專利範圍界定除外。舉例而 言’視訊影像攝取裝置！阿為專用視關影機，或可為能 夠攝取視訊序列之數位攝影機，其可包括本文中未詳細地 論述之多種特徵中之任—者，諸如，可拆卸透鏡及可互換 透鏡。視訊影像攝取裝置1〇亦可為攜帶型或位置固定型， 且可提供與錢有關或錢之—或多個其他功能^舉例而 言，視訊影像攝取裝置10可為行動電話攝影機，或可以某 一其他方式提供通信功能1樣地，視《彡像攝取裝置10 可匕括電驷硬體及電腦化設備。視訊影像攝取裝置1 〇亦可 包括多個電子影像攝取單元14。 圖2A展示視訊影像攝取裝置210及其關聯視野215的說 明，其中三個物件（錐形物件22〇、球形物件23〇及矩形塊 狀物件240)位於視野215中。該等物件經定位成與影像攝 154555.doc -21- 201205181 取裝置相隔不同距離。圖2B展示視野215之經攝取影像圖 框250(如藉由來自圖2A之視訊影像攝取裝置210攝取）的說 明。錐形物件位置260、球形物件位置270及矩形物件位置 280分別指示在如圖2A中所見之視野215中錐形物件220、 球形物件23 0及矩形塊狀物件240之位置》 圖3A及圖4A展示視野215如何隨著視訊影像攝取裝置 210在各攝取之間移動而改變。圖3A展示經攝取影像圖框 3 5 0的說明’其對應於針對在各攝取之間視訊影像攝取裝 置210之橫向移動d的視野改變。在此狀況下，視野215改 變為視野315 ’從而在經攝取影像圖框35〇内導致新物件位 置（錐形物件位置360、球形物件位置370及矩形塊狀物件 位置380)。 儘官該等物件（錐形物件220、球形物件230及矩形塊狀 物件240)之相對部位在視野内皆被橫向地移位達相同距 離，但因為視野在場景中具有角形邊界，所以在經攝取影 像中物件之位置改變受到物件與視訊影像攝取裝置2丨〇相 隔之距離影響。結果，比較圖2B與圖把會展示在經攝取 影像中物件之位置針對影像攝取裝置之橫向移動如何改 變。 為了更清楚地觀測物件位置之改變（被稱為差異），圖5A 展示來自圖2B之經攝取影像圖框250與來自圖⑼之經攝取 影像圖框350的影像覆疊55〇。錐形物件22〇具有大錐形物 件差異555，此係因為其最接近於視訊影像攝取裝置2ι〇。 矩形塊狀物件240具有小矩形塊狀物件差異565，此係因為 154555.doc •22· 201205181 其最遠離於視訊影像攝取裝置21(^球形物件23〇具有令等 球形物件差異560，此係因為其具有自視訊影像攝取裝置 210之中等距離。 圖4A展示經攝取影像圖框45〇的說明，其對應於針對在 各攝取之間視訊影像攝取裝置21〇之旋轉移動r的視野改 變。對於視訊影像攝取裝置21 〇之此旋轉移動，視野2丨5改 變為視野415 ^在此狀況下，該等物件皆移動達相同角 量，其在經攝取影像圖框中顯現為所有物件橫越影像之橫 向移動。比較圖2B與圖4B會展示出物件被移位至錐形物 件位置460、球形物件位置470及矩形塊狀物件位置48〇。 為了更清楚地觀測物件位置之改變，圖5B展示來自圖 2B之經攝取影像圖框250與來自圖叩之經攝取影像圖框 450的影像覆疊580。在此狀況下，錐形物件22〇具有錐形 物件差異585 ’矩形塊狀物件240具有矩形塊狀物件差異 595 ’且球形物件230具有球形物件差異59〇，該等差異之 量值皆大致相等。 向檢視者之左眼及右眼呈現具有不同透視之影像以產生 深度感知為熟習此項技術者所熟知^同時地或以交替方式 向檢視者呈現立體像對影像之多種方法係可用的且在此項 技術中係熟知的’ δ玄等方法包括：基於偏光之顯示器；雙 凸透鏡顯示器；障壁顯示器；基於快門-眼鏡之顯示器； 立體圖顯示器，及其他者。根據本發明所形成的具有感知 深度之視訊可顯示於此等類型之立體顯示器中之任一者 上。在一些實施例中，視訊影像攝取裝置可包括用於直接 154555.doc •23· 201205181 在視訊影像攝取裝置上檢視具有感知深度之視訊的構件。 舉例而言’雙凸透鏡陣列可安置於影像顯示器48(圖1)上方 以使能夠直接檢視具有感知深度之視訊。如在此項技術中 所熟知’立體影像對中之左影像及右影像之行可接著經交 錯且顯示於雙凸透鏡陣列後方，使得左立體影像及右立體 影像藉由雙凸透鏡陣列而被引向檢視者之各別左眼及右眼 以提供立體影像檢視。在一替代性實施例中，可將立體影 像對編碼為立體圖影像以供直接顯示於影像顯示器4 8上。 在此狀況下’使用者可直接使用具有用於每一眼睛之互補 彩色濾光片的立體圖眼鏡來檢視具有感知深度之視訊。 本發明提供一種用於藉由自用單點透視視訊影像攝取裝 置210所攝取之視訊序列選擇立體像對來產生包含立體像 對之具有感知深度之視訊的方法。該方法之一特徵在於： 每一立體像對中之視訊影像係選自經攝取視訊序列，使得 每一立體像對中之視訊影像藉由經攝取視訊序列中之數個 視訊影像而分離，使得該等立體像對提供所要透視差以提 供感知深度。㈣該等立體像對中之視訊影像之視訊影像 的數目被稱為圖框位移。 當根據本發明來選擇立體像對之視訊影像時 ，考慮影像

藉由增加圖框位移來增加立體像對中 之視訊影像之間的橫 154555.doc -24- 201205181 向移動d或基線而增加。在此情境中，視野ψ <不同物件 的感知深度將與物件自視訊影像攝取裝置21〇 〈貫際距離 相一致，此係因為更接近於影像攝取裝置之物件相較於更 遠離於視訊影像攝取裝置210之物件將展現更客 ' - 夕是異。（有 時將差異稱為立體失配或視差》)圖5 Α中說明針對視1影 • 像之間的橫向移動隨距離而變的此差異變化。 與此對比，在視訊攝取期間影像攝取裝置之旋轉移動 (諸如，圖4A所示之旋轉移動）將提供一感知深度，該感知 深度不與物件自影像攝取裝置之實際距離相一致，此係因 為影像攝取裝置之純旋轉移動不提供對場景之新透視。相 反地’其僅僅提供不同視野。結果，更接近於視訊影像攝 取裝置210之物件將在立體像對中展現與更遠離於視訊影 像攝取裝置210之物件相同的差異。可在圖5B中看到此效 應’圖5B展示分別來自圖2B之經攝取影像圖框250與圖4B 之經攝取影像圖框450的影像覆疊580。如早期所敍述，不 同物件之差異針對影像攝取裝置之此旋轉移動係相同的。 由於場景中之所有物件皆具有相同差異，故包含具有圖框 位移之視訊影像（其中影像攝取裝置旋轉地移動）的立體像 對將不展現感知深度。 ' 在各視訊影像攝取之間影像攝取裝置之垂直移動在立體 像對中不產生將提供深度感知之差異。此效應係歸因於檢 視者之眼睛被水平地分離之事實。包括垂直差異之立體影 像對檢視起來不舒服，且因此將被避免。 在一些實施例中，當自用具有單點透視之視訊影像攝取 154555.doc •25· 201205181 裝置所攝取之視訊產生具有感知深度之視訊時，亦考慮在 場景中物件之局域運動，此係因為立體像對巾之不同視^ ㈣將會在不同時間被攝取。在—些狀況下，局域運動; 提供對場景中之物件之不同透視（相似於影像攝取裝置之 =動）’使付包含存在局域運動之視訊影像的立體像對可 提供深度感知。此情形對於橫向地發生之局域運動而言係 成立的。 本發明提供一種用於在經攝取單點透視視訊内選擇視訊 影像以形成具有感知深度之視訊之視訊影像立體像對的方 法。該方法包括在單點透視視訊之攝取期間搜集影像攝取 裝置之運動追蹤資訊，以針對每一視訊影像而判定影像攝 取裝置之相對位置，連同在攝取之後視訊影像之分析以識 別視訊影像之間的運動。藉由使用影像攝取裝置之運動追 蹤資訊及在攝取之後視訊影像之分析，可識別多種運動類 型，包括：橫向運動、垂直運動、旋轉運動、局域運動及 其組合。亦可判定運動速度。本發明使用經識別運動類型 及運動速度以選擇構成具有感知深度之視訊的立體像對中 之視訊影像之間的圖框位移。 對於在視訊攝取期間視訊影像攝取裝置210之恆定橫向 移動速度的最簡單狀況，可在選擇立體像對之視訊影像時 使用恆定圖框位移。舉例而言，為了在針對立體像對所選 擇之視訊圖框之間提供2〇 mm基線’可識別視訊影像攝取 裝置210已移動達20 mm之距離的視訊圖框。（基線為立體 像對之攝影機位置之間的水平位移。）在以3 0個圖框/秒所 154555.doc -26· 201205181 攝取之視》iL(其中影像攝取裝置以100 mm/sec之橫向速度 移動）中，圖框位移將為6個圖框以提供大約2〇 mm之基 線。對於視訊影像攝取裝置21〇之橫向移動速度在視訊攝 取期間變化的狀況，圖框位移回應於移動速度變化而變化 以在立體像對中提供恆定基線。舉例而言’若移動速度減 慢至50 mm/sec ’則圖框位移增加至12個圖框，且相反 地’若移動速度增加至200 mm/sec，則圖框位移減少至3 個圖框。在一些實施例中’可設定基線以對應於人類觀察 者之眼睛之間的正常距離，以便提供自然觀看之立體影 像。在其他實施例中，可由使用者選擇基線值以提供所要 程度之感知深度’其中更大基線值將提供更大感知深度且 更小基線值將提供更小感知深度。 對於視訊影像攝取裝置210之純垂直移動的狀況，通常 應在選擇立體像對之視訊影像時使用小圖框位移（或根本 無圖框位移），此係因為垂直差異將不被感知為深度，且 在具有垂直差異之情況下所產生的立體像對檢視起來不舒 服。在此狀況下，圖框位移可為（例如）零至兩個圖框，其 中為零之圖框位移指示出同一視訊影像用於立體像對中之 兩個視訊影像，且立體像對不向檢視者提供任何感知深 度，但檢視起來更舒服。 在視訊影像攝取裝置210之純旋轉移動的狀況下，通常 應出於相似於垂直移動狀況之原因而使用小圖框位移，此 係因為旋轉差異將不被感知為深度。在此狀況下，圖框位 移可為（例如）零至兩個圖框。 154555.doc -27- 201205181 田存在局域運動時，可基於如藉由影像攝取裝置之運動 追蹤判疋的總體運動（全域運動）、單獨地基於局域運動或 土於總體運動與局域運動之组合來選擇圖框位移。在任何 下隨著局域運動之橫向速度增加，圖框位移縮減 (如先w針對& &橫向移動速度之狀況所描述）。相似地， 右局域運動主要係由垂直運動或旋轉運動組成，則圖框位 移亦縮減。 ^本發明使用視訊影像攝取裝置210之移動的運動追蹤資 Λ以識別視Λ影像之間的橫向移動及垂直移動。在一些實 J中使用位置感測器來攝取運動追縱資訊連同視訊。 舉例而。’可藉由加速度計來搜集此運動追蹤資訊，其中 在加速度方面提供資+ + 供貧枓且藉由在時間上之積分而將該資料 轉換為速度及位置。在其他實施例中，可藉由分析經攝取 視a孔圖框以估計視兮孔县5 Υ金姐^ &井职 T祝Λ景/像攝取裝置210之運動來判定運動 追蹤資訊。 可自使用陀螺儀所收集之運動追蹤資訊或者藉由視訊 像之为析來判定在視訊攝取期間影像攝取裝置之旋轉 動。陀螺儀可直接在角速度方面提供影像攝取裝置之旋 速度資訊。在分析視訊影像以判定影像攝取裝置之旋轉 動的狀況下，將料視訊影像彼此進行比較關定在視 ㈣中物件之相對位置。藉由自圖框速率因子分解隨視 影像攝取之間的時間而變的物件㈣改變Μ㈣ 中物件之相對位置轉換為以像素/秒為單位的影像移動; 度。視訊影像中之不同物件之均一影像移動速度為旋轉彳 154555.doc •28· 201205181 動之標誌。 亦可使用藉由比較依序視訊影像巾之物件部位而對視訊 影像之分㈣衫視訊f彡賴取裝置加之局域運動及橫 向或垂直移動。在此等狀況下，在視訊影像之間物件之移 動係非均#冑於物件之局域運動的狀況（諸如，人移 動通過場景），物件將在不同方向上且以不同影像移動速 度而移動。對於視訊影像攝取裝置21〇之橫向或垂直移 動，物件將取決於物件與視訊影像攝取裝置21〇相隔多遠 而在相同方向上且以不同影像移動速度而移動。 表1為自運動追蹤資訊及視訊影像分析之組合連同所得 技術所識別之運動類型的概述，該技術用以判定立體像對 之圊框位移（如藉由本發明之一實施例提供）。自表i中之資 訊可看出，運動追蹤資訊及視訊影像分析兩者皆對於能夠 區分可存在於視訊攝取期間或可存在於場景中之不同類型 之移動及運動係有用的。 在一些實施例中’視訊影像攝取裝置210可能不包括位 置感測器（諸如，加速度計）。在此狀況下，影像分析仍可 &供有助於選擇圖框位移之資訊，但在一些狀況下，也許 不可能區別不同類型之攝影機運動。通常，將較佳的是， 當針對在攝影機運動類型中存在顯著不確定性的狀況時使 用小圖框位移’以便避免使用者之不舒服檢視情境。 154555.doc •29· 201205181 表1 :經識別運動及在立體像對之間的所得圖框位移 來自影像分析 之運動 來自位置感測器 之運動 攝影機運動類型 圖框位移 均一橫向 無運動 旋轉 小位移 均一橫向 橫向 橫向 基於經感測位置 垂直 無運動 旋轉 小位移 垂直 垂直 垂直 小位移 均一橫向 垂直 垂直 小位移 垂直 橫向 橫向 基於經感測位置 快速 快速 快速 小位移 快速 緩慢 旋轉 小位移 緩慢 快速 旋轉 小位移 垂直及橫向 橫向 旋轉 小位移 垂直及橫向 垂直 旋轉 小位移 均一橫向 垂直及橫向 旋轉 小位移 垂直 垂直及橫向 旋轉 小位移 局域變化橫向 無運動 局域 基於影像分析 局域變化橫向 橫向 橫向及局域 基於影像分析及 經感測位置 局域變化垂直 無運動 局域 基於影像分析 局域變化垂直 橫向 橫向及局域 基於影像分析及 經感測位置 局域變化 垂直 垂直及局域 小位移 圖6A為根據本發明之一實施例的用於形成具有感知深度 之視訊之方法的流程圖。在選擇基線步驟610中，由使用 者選擇將在立體像對中提供所要程度之深度感知的基線 615。基線615呈立體像對中之視訊影像之間的橫向位移距 離的形式，或呈立體像對中之視訊影像中之物件之間的像 154555.doc -30- 201205181 素位移的形式。 來摄^ 步驟62G中’用單點透視視訊影像攝取裝置 2 =視訊影像64G序列。在—較佳實施例中，亦使用位 感測Μ同㈣式攝取運動追蹤資訊⑵連同視訊影像 〇40 0 “斤運動追蹤資訊步驟630中，分析運動追蹤資訊625 視訊攝取程序_特性化攝影機運動635。在-些實 施例中’攝影機運動635為視訊影像攝取裝置之移動類型 及速度的表示。 在分析視訊影像步驟645中，分析視訊影像640且將其彼 此進行比較以特性化場景中之影像運祕〇。影像運動650 為影像移動類型及影像移動速度的表示，且可包括全域影 像運動及局域影像運動兩者。 可藉由逐像素地或逐區塊地使在視訊影像中對應物件之 相對。Ρ位相關進行視訊影像之比較。纟中，逐像素相關提 供更準確之影像移動速度，但緩慢且需要高計算能力，且 逐區塊相關提供移動速度之較不準確之量測，但需要較少 計算能力且更快速。 '亦可藉由充分利用與Μ P E G視訊編碼方案相關聯之演算 進订一種比較視訊影像以判定移動類型及影像移動速度之 極有效率方法。MPEG為用於編碼經壓縮視訊資料之風行 標準，且依賴於I圖框、P圖框及B圖框之使用。〗圖框為框 内編碼型，亦即，其可在不對其他圖框進行任何參考的情 況下予以重新建構。P圖框為自最後Ϊ圖框或p圖框之正向 154555.doc -31· 201205181 預測型，亦即，其不可能在無另一圖框（J或P)之資料的情 況下予以重新建構。B圖框為自最後/下一J圖框或p圖框之

正向預測型及反向預測型兩者，亦即，存在為重新建構B 圖框所必要之兩個其他圖框。p圖框及B圖框被稱為框間編 碼型圖框。 圖9展示MPEG編碼型圖框序列之實例。p圖框及B圖框 具有與其相關聯之區塊運動向量，其允許MPEG解碼器在 將I圖框用作起始點的情況下重新建構圖框。在]^]?£；(3_1及 MPEG-2中，此等區塊運動向量係在16><16像素區塊（被稱 為巨集區塊）上予以§十算且表示為水平運動分量及垂直運 動分量。若在巨集區塊内之運動係對立的，則p圖框及8圖 框亦可框内編碼實際場景内容，而非區塊運動向量。在 MPEG-4中，巨集區塊可具有變化之大小且不限於16><16像 素。 在一較佳實施例中，可使用與MPEG P圖框及6圖框相關 聯之區塊運動向量以判定視訊序列中之全域影像運動及局 域影像運動。全域影像運動將通常與視訊影像攝取裝置 210之運動相關聯。可自MPEG運動向量減去如自p圖框及 B圖框所判定（或者，如自運動追蹤資訊025所判定）的與視 訊影像攝取裝置210相關聯之全域影像運動以提供局域影 像運動之估計。 緊接著，使用判定圖框位移步驟6 5 5以回應於經判定攝 影機運動635及影像運動650連同基線615來判定待用以形 成立體影像對之圖框位移660。在一較佳實施例中，使用 154555.doc -32· 201205181 攝’v機運動635及影像運動65〇之移動類型及移動速度連同 表!以判定待用於經攝取視訊，之每一視訊影像的圖框位 移°舉例而言’若來自位置感測器之運動（攝影機運動635) 經判定為對應於橫向運動且來自影像分析之運動（影像運 動650)經判定㈣—橫向運動，則可斷定，攝影機運動類 型為松向且可基於來自纟置感測器之經感測位置來判定圖 框位移。 在一些實施例中，藉由識別攝影機之橫向位置已被移位 達基線615的圖框來判定圖框位移。在其他實施例中， 針對特定圖框而判定橫向速度Vx，且相應地判定圖框位 移。在此狀況下’可藉由如下方程式而自基線〜判定待 選擇圖框之間的時間差At : △t = Axb/Vx ⑴ 可接著使用如下方程式而自圖框速率Rf判定圖框位移 ANf : ANf =RfAt = RfAxb/Vx ⑺ 緊接著，使用形成具有感知深度之視訊步驟665來形成 具有感知深度之視訊670。具有感知深度之視訊67〇包括立 體視訊圖框序列，每一立體視訊圖框包含一立體影像對。 可藉由使第1個視訊圖框F(i)與被分離達圖框位移F(i+ANf) 之視訊圖框成對來形成第i個立體視訊圖框s(i)之立體影像 對。較佳地，若攝影機移動至右邊，則應將第丨個圖框用 作立體像對中之左影像；若攝影機移動至左邊，則應將第 i個圖框用作立體像對中之右影像。可接著使用為熟習此 154555.doc -33- 201205181 項技術者所知之任何方汰&故 法而將具有感知深度之視訊670儲 存於立體數位視訊槽案中。可由使用者使用此項技術中已 X㈣彡像顯示器技術（諸如’早期所評論之技術 (例如’基於偏光之顯示器，其與具有用於左眼及右眼之 ，交偏光濾光片的眼鏡耦接；雙凸透鏡顯示器；障壁顯示 器基於陕門-眼鏡之顯示器；及立體圖顯示器，其與具 有用於左眼及右眼之互補彩色遽光片的眼鏡耗接））來檢視 經儲存之具有感知深度之視訊67〇。 圖6B中展示本發明之—#代性實施例。在此狀況下，使 用關於圖6A所描述之相同步驟來判定圖框位移66〇。然 而，在此狀況下，使用儲存具有立體像對後設資料之視訊 步驟675以儲存可用以在稍後時間形成具有感知深度之視 訊的資訊，而非形成及儲存具有感知深度之視訊67〇 ^此 步驟儲存經攝取視訊影像64〇連同後設資料，後設資料指 示應將何些視訊圖框用於立體像對，從而形成具有立體像 對後a又資料之視訊6 8 0 «在一些實施例中，與視訊一起予 以儲存之立體像對後設資料僅僅為每一視訊圖框之經判定 圖框位移。可將特定視訊圖框之圖框位移儲存為與該視訊 圖框相關聯之後設資料標籤。或者，可將圖框位移後設資 料儲存於與視訊檔案相關聯之分離後設資料檔案中。當需 要顯示具有感知深度之視訊時，可使用圖框位移後設資料 以識別應被用以形成立體影像對之伴侣視訊圖框。在替代 性實施例中’立體像對後設資料可為圖框號碼或其他適當 圖框識別符，而非圖框位移。 154555.doc -34- 201205181 圖6B所示之方法具有如下優點：其相對於圖^之實施 例減少視訊檔案之權案大小，同時保留提供具有感知深度 之3-魔訊的能力。亦可在習知2_D視訊顯示器上檢視視訊 檔案，而無需執行任何格式轉換。因為圖框位移之槽案大 小相對小，所間框位移資料可與經攝取視訊之後設資料 一起予以儲存。 通常，使用位置感測器以提供運動追蹤資訊 625(圖6Α)。在本發明之一些實施例中，可藉由一可卸除 式記憶體卡提供位置感測器79，該可卸除式記憶體卡包括 -或多個加速度計或陀螺儀連同用以將位置f訊或運動追 蹤資訊提供至視訊影像攝取裝置21()之立體轉換軟體。此 方法使有可能將位置感測器提供為—任選附件，該任選附 件用以使視訊影像攝取裝置21G之基礎成本保持儘可能地 低，同時仍使視訊影像攝取裝置21q能夠用於產生具有感 知深度之視訊（如被描述為本發明之一先前實施例）乂可將 可卸除式記憶體卡用作圖i中之記憶體卡72c之替換物。在 -些實施例中’可卸除式記憶體卡僅僅充當位置感測器， 且將位置資料及某-其他形式之運動追蹤資訊提供至視訊 影像攝取t置210中之處理器。在其他組態中，可卸除式 記憶體卡亦可包括處理器連同適當軟體以用於形成具有感 知深度之視訊。 圖7為具有内建式運動追蹤裝置之可卸除式記憶體卡7ι〇 的說明。適於此使用之運動追蹤裝置可以3軸加速度計（其 大小為3.Gx5.GxG.9匪)及3軸陀螺儀（其大小為44χ7 5χ1」 154555.doc -35- 201205181 mm)之形式購自ST Micr(^圖7展示sd可卸除式記憶體卡 710與上述3軸陀螺儀72〇及3軸加速度計730之相對大小。 圖8展示具有内建式運動追蹤裝置之可卸除式記憶體卡 710的方塊圓，可卸除式記憶體卡71〇包括為在卡可卸除式 記憶體卡内部形成具有感知深度之視訊影像所需要的組 件。如參看圖7所描述，可卸除式記憶體卡71〇包括陀螺儀 720及加速度計730，陀螺儀720及加速度計730攝取運動追 蹤資訊625。使用一或多個類比轉數位（A/D)轉換器85〇以 數位化來自陀螺儀720及加速度計730之信號。可視情況將 運動追蹤資訊625直接發送至視訊影像攝取裝置21〇之處理 器以用於形成具有感知深度之視訊影像或用於其他應用。 將藉由視訊影像攝取裝置21〇攝取之視訊影像64〇以與運動 追蹤資訊625同步之方式儲存於記憶體86〇中。 亦可將用於經由圖6A或圖6B中之流程圖之步驟而實施 經攝取視訊影像640之轉換以形成具有感知深度之視訊67〇 的立體轉換軟體830儲存於記憶體86〇中或某一其他形式之 儲存器（諸如，ASIC)t。在一些實施例中，可在可卸除式 記憶體卡710與在視訊影像攝取裝置上之其他記憶體之間 共用s己憶體860之部分。在一些實施例中，立體轉換軟體 830接受使用者輸入87〇以在用於產生具有感知深度之視訊 與用於指定各種選項（諸如，基線615)的各種模式之間進行 選擇。通常，可經由用於如圖丨所示之視訊影像攝取裝置 10的使用者輸入控制件93而供應使用者輸入87〇。立體轉 換軟體830使用處理器840以處理經儲存視訊影像64〇及運 154555.doc •36· 201205181 動追蹤資訊625,以產生具有感知深度之視訊 ㈣可在可卸除式記憶體卡川内部，或者，可為在視訊^ 像攝取裝置内部之處理器。具有感知深度之視訊670可儲 存於記憶體_中，或可儲存於在視訊影像攝取裝置上或 在主機電腦上之某一其他記憶體中。 在-些實施例中，可將位置感測器提供為使用有線或盔 線連接而與視訊影像攝取裝置㈣通信之外部位置感測附 件。舉例而言，外部位置感測附件可為含有全球定位系統 接收器之㈣器瑜（dGngle)，全球定位系統接收器可使用 USB或藍芽連接而連接至視訊影像攝取裝置2iq。外部位 置感測附件可包括用於處理經接收信號且與視訊影像攝取 裝置210通信之軟體。外部位置感測附件亦可包括用於經 由圖6A或圖6B中之流程圖之步驟而實施經攝取視訊影像 640之轉換以形成具有感知深度之視訊67〇的立體轉換軟體 830 〇 在-些實施例中’可制影像處理以在形成具有感知深 度之視訊步驟6 6 5中調整立體影像對中之視訊圖框中之一 者或此兩者以提供改良型檢視體驗。舉例而言，若偵測到 視訊影像攝取裝置210垂直地移動或在攝取兩個視訊圖框 的時間之間傾斜，則該等視訊圖框中之一者或此兩者可垂 直地移位或經旋轉以更好地對準視訊圖框。可使用運動追 蹤資訊625以判定移位及旋轉之適當量，在將移位或旋轉 應用於視訊圖框的狀況下’通常將需要剪裁視訊圖框，使 得經移位/經旋轉影像填充圖框》 154555.doc •37· t 201205181 【圖式簡單說明】 圖1為視訊影像攝取裝置的方塊圖； 圖2A為在視野中具有三個物件之視訊影像攝取裳置的說 明； 圖2B為將用來自圖2A之視訊影像攝取裝置所攝取之影 像的說明； 圖3A為圖2A之視訊影像攝取裝置的說明，其中已藉由 橫向地移位視訊影像攝取裝置而改變視野； 圖3B為將用來自圖3A之視訊影像攝取裝置所攝取之影 像的說明； 圖4A為圖2A之視訊影像攝取裝置的說明，其中已藉由 旋轉視訊影像攝取裝置而改變視野； 圖4B為將用來自圖4A之視訊影像攝取裝置所攝取之影 像的說明； 圖5A為來自圖2B及圖3B之覆疊影像的說明，其展示影 像之立體失配； 圖5B為來自圖2B及圖4B之覆疊影像的說明，其展示影 像之立體失配； 圖6 A為根據本發明之一實施例的用於形成具有感知深度 之視訊之方法的流程圖； 圖6B為根據本發明之一另外實施例的用於形成具有感知 深度之視訊之方法的流程圖； 圖7為具有内建式運動追蹤裝置之可卸除式記憶體卡的 說明； ^ 154555.doc • 38 - 201205181 圖8為具有内建式運動追蹤裝置之 珥陈式§己憶體+ 方塊圖’可卸除式記憶體卡包括為在卡 的 世卞了卸除式記憶體卡 内部形成具有感知深度之視訊影像所需要的組件；及 圖9為經受MPEG編碼之視訊圖框序列的示意圖。 【主要元件符號說明】 10 視訊影像攝取裝置 14 電子影像攝取單元 16 透鏡 18 影像感測器 20 光徑 22 快門 24 時序產生器 26 據光片總成 28 光圈 44 光學系統 48 影像顯示器 50 變焦控制件 52 巨集控制件 54 聚焦控制件 56 測距儀 58 亮度感測器 60 閃光系統 61 閃光燈 62 閃光感測器 154555.doc •39· 201205181 63 閃光控制件 64 顯示控制器 65 控制單元 66 系統控制器 68 類比信號處理器 70 數位信號處理器 72a 數位信號處理器（DSP)記憶體 72b 系統記憶體 72c 記憶體卡 72d 程式記憶體 74 狀態顯示器 76 取景器顯示器 78 定向感測器 79 位置感測器 80 類比轉數位（A/D)轉換器 81 資料匯流排 82 插口 83 記憶體卡介面 84 主機介面 86 視訊編碼 93 使用者輸入控制件 210 視訊影像攝取裝置 215 視野 220 錐形物件 154555.doc -40- 201205181 230 球形物件 240 矩形塊狀物件 250 經攝取影像圖框 260 錐形物件位置 270 球形物件位置 280 矩形塊狀物件位置 315 視野 350 經攝取影像圖框 360 錐形物件位置 370 球形物件位置 380 矩形塊狀物件位置 415 視野 450 經攝取影像圖框 460 錐形物件位置 470 球形物件位置 480 矩形塊狀物件位置 550 影像覆疊 555 錐形物件差異 560 球形物件差異 565 矩形塊狀物件差異 580 影像覆疊 585 錐形物件差異 590 球形物件差異 595 矩形塊狀物件差異 154555.doc -41 - 201205181 610 選擇基線步驟 615 基線 620 攝取視訊步驟 625 運動追蹤資訊 630 分析運動追蹤資訊步驟 635 攝影機運動步驟 640 視訊影像 645 分析視訊影像步驟 650 影像運動 655 判定圖框位移步驟 660 圖框位移 665 形成具有感知深度之視訊步驟 670 具有感知深度之視訊 675 儲存具有立體像對後設資料之視訊步驟 680 具有立體像對後設資料之視訊 710 可卸除式記憶體卡 720 陀螺儀 730 加速度計 830 立體轉換軟體 840 處理器 850 類比轉數位（A/D)轉換器 860 記憶體 870 使用者輸入 154555.doc -42-

Claims (1)

1. 201205181 七、申請專利範圍： 1. 一種用於提供具有感知深度之一視訊之視訊影像攝取裝 置，其包含： 一影像感測器’其用於攝取視訊圖框； 一光學系統，其用於將一場景自一單點透視成像至該 影像感測器上； 一資料儲存系統，其用於儲存藉由該影像感測器攝取 之一視訊影像序列； -位置感測裝置’其用於針對該視訊影像序列而感測 該影像攝取裝置之—相對位置； 儲存構件’其用於與經儲存視訊影像序列相關聯地 將騎像攝取裝置之該經感測相對位置之—指示儲存於 該資料儲存系統上； 一資料處理器； 一記憶體系統，以捅产 、通指方式連接至該資料處理器且 儲存經組態以使該資料處 感知深度之-視訊的^ 由如T㈣來提供具有 〜於u攝取裝置之該經儲存 視訊影像立體像對；及 木、擇 使用S亥等視訊影像 知深度之-視訊。冑像對之一序列來提供具有感 2.如請求们之視訊影像攝取 句衽_ +Α , 并甲6哀位置感測裝詈 包括力口速度計、—陀螺 —』裒置 置。 置或王球疋位系統裝 154555.doc 201205181 3.如請求項1之視訊影像攝取裝置，其中可自該視訊影像 攝取裝置卸除該位置感測裝置。 4·如請求項3之視訊影像攝取裝置，其中該可卸除式位置 感測裝置經格式化以裝配於一可卸除式記憶體卡插座 内。 5.如請求項3之視訊影像攝取裝置，其中該可卸除式運動 追蹤裝置進一步包括該記憶體系統，該記憶體系統儲存 經組態以使該資料處理器提供該具有感知深度之視訊的 指令。 6.如請求項1之視訊影像攝取裝置，其中該位置感測裝置 係在該視訊影像攝取裝置外部，且使用一有線或無線連 接而與該視訊影像攝取裝置通信。 7·如請求項丨之視訊影像攝取裝置，其中該等視訊影像立 體像對係藉由識別該影像攝取裝置之該經感測相對位置 已改變達一指定距離的視訊影像對予以選擇。 8.如請求項7之視訊影像攝取裝置，纟中該指定距離為在 一水平方向上之一距離。 9.如請求項7之視訊影像攝取裝置，其中#該影像攝取 置，該經感測相對位置指示在一垂直方向或一旋轉方 上忒影像攝取裝置之運動時，該指定距離減少。 10· =求項7之視訊影像攝取裝置，其中當該影像攝取 ^經感測相對位置指示在—經界^範圍外部 攝取裝置之運動時，該指定距離減少至零。 ， π·如請求们之視訊影像攝取農置，其中經組態以使該 154555.doc 201205181 料處理器提供具有感知深度之一視訊的該等指令進一步 包括分析該經攝取視訊影像序列以判定在該場景中物件 之移動’且其中該等視訊影像立體像對之該選擇係進一 步回應於該等經判定物件移動。 12. 13. 14. 15. 16. 17. 如請求項11之視訊影像·攝取裝置，其中在該場景中物件 之該移動係藉由使在該經攝取視訊影像序列中對應物件 之相對位置相關予以判定。 如請求項11之視訊影像攝取裝置，其中該等視訊影像立 體像對之該選擇包括： 回應於該視訊影像攝取裝置之該經儲存相對位置來判 定該等視訊影像立體像對之圖框位移； 當該物件移動經判定為在一經界定範圍外部時，減少 該等圖框位移；及 使用該等經減少圖框位移來選擇視訊影像立體像對。 如請求項13之視訊影像攝取裝置，其中當物件移動之量 係在-經界定㈣外料，該等圖框位移減少至零。 如請求们之視訊影像攝取裝置，其中該具有感知深度 之視訊係藉由與該經储存視訊影像序列相關聯地儲存該 等視訊㈣立體像對之間的圖框㈣之-指^予以提 ，其中圖框位移之該指 儲存該經攝取視訊影像 如請求項15之視訊影像攝取裝置 示係作為後設資料而儲存於用以 序列之一數位視訊檔案中。 其中該專圖框位移之 如明求項15之視訊影像攝取裝置， 154555.doc 201205181 該指示儲存於一數位後設資料檔案中，且其中該數位後 設資料檔案係與用以儲存該經攝取視訊影像序列之一數 位視訊檔案相關聯。 18.如請求項！之視訊影像攝取裝置，其中該具有感知深度 之視訊係藉由儲存每一視訊圖框之影像立體像對予以提 供。 19_如請求項1之視訊影像攝取裝置，其中該具有感知深度 之視訊係藉由儲存適於用具有用於左眼及右眼之互補彩 色遽光片之眼鏡進行檢視的立體圖影像予以提供。 20.如請求項19之視訊影像攝取裝置，其進一步包括： 一彩色影像顯示器；及 用於將該等立體圖影像顯示於該彩色影像顯示器上之 構件。 21·如請求項1之視訊影像攝取裝置，其進一步包括： 一影像顯示器，其具有安置於其上以用於立體影像檢 視之一雙凸透鏡陣列；及 用於將該具有感知深度之視訊顯示於該影像顯示器上 之構件。 154555.doc