TW201244457A - 3D video camera and associated control method - Google Patents

3D video camera and associated control method Download PDF

Info

Publication number
TW201244457A
TW201244457A TW100114159A TW100114159A TW201244457A TW 201244457 A TW201244457 A TW 201244457A TW 100114159 A TW100114159 A TW 100114159A TW 100114159 A TW100114159 A TW 100114159A TW 201244457 A TW201244457 A TW 201244457A
Authority
TW
Taiwan
Prior art keywords
image
camera
depth
eye image
eye
Prior art date
Application number
TW100114159A
Other languages
English (en)
Other versions
TWI462569B (zh
Inventor
Kun-Nan Cheng
Original Assignee
Mstar Semiconductor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mstar Semiconductor Inc filed Critical Mstar Semiconductor Inc
Priority to TW100114159A priority Critical patent/TWI462569B/zh
Priority to US13/190,658 priority patent/US9177380B2/en
Publication of TW201244457A publication Critical patent/TW201244457A/zh
Application granted granted Critical
Publication of TWI462569B publication Critical patent/TWI462569B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

201244457
1 W/4WFAMY 六、發明說明： 【發明所屬之技術領域】 本發明是有關於一種三維影像攝相機（以下簡稱3D 攝相機）及其相關控制方法，且特別是有關於利用不同4級 的複數個鏡碩所組成的3D攝相機及其相關控制方法。 【先前技街] 由於3D電影的帶動之下’其相關產品，例如3D電 視機，開始蓬勃發展。然而，由於3D影片來源有限，因 此出現2D轉3d的影像處理技術’其目的即為增加3D影 片數量供3D電視機播放。另一方面，3D攝影機以及3D 照相機的出現，也增加了 3D影片的數量。以下的描述皆 以3D攝相機來作說明，而3D攝相機可以是3D攝影機或 者照相機。 一般來說，現今市場上的3D攝相機採用二個完全相 同等級的鏡碩，並且模擬人的雙眼來記錄影像資料。請參 、、、第1圖’其所纟會示為習知3D攝相機的成像流程示意圖。 其中’左鏡碩120可包括左透鏡(L)122、左感光元件124 ; 右鏡頭130可包括右透鏡(R)132、右感光元件134。而左 透鏡(L)122可將物件100成像於左感光元件124上，並輸 出左感光信號；右透鏡(R)132可將物件1〇0成像於右感光 %件134上’並輸出右感光信號。 之後’左2D影像處理電路126會處理左感光元件124 輪出的左感光信號並成為一左眼影像128 ;右2D影像處 埋電路136會處理右感光元件134輸出的右感光信號並成 2〇1244457my 為一右眼影像138。接著，3D攝相機中的儲存裝置（未繪 示）即可儲存左眼影像Π8以及右眼影像138的資料，用以 製作3D影片。其中，左眼影像128以及右眼影像138可 為單一張圖片，或者是連續的影像；再者，左眼影像128 以及右眼影像138具有相同的解析度。 由以上的描述可知，習知3D攝相機在產生左眼影像 128以及右眼影像138時係利用二組完全相同等級的鏡 頭，並且利用個別的影像處理電路產生左眼影像128以及 右眼影像138。而左眼影像128以及右眼影像138在產生 過程中不會互相影響。
當3D電視機在放映3D影片時，3D電視機中的控制 電路會依序將左眼影像126傳遞至使用者的左眼，並將右 眼影像136傳遞至使用者的右眼，據此，使用者可觀賞3D 影像。 一般來說，鏡頭的透鏡係由多個光學元件組成，並可 由光圈來控制鏡頭的進光量；感光元件可為光耦合元件 (CCD)或者互補式金氧半光感測單元(CMOS sensor)。透鏡 的複雜程度與感光元件的解析度與成像能力皆是鏡頭等 級的指標，等級較高的鏡頭其成本當然較高。由於習知3D 攝相機皆是利用的二個完全相同等級的鏡頭來產生左眼 影像126以及右眼影像136，因此具有較高成本。 【發明内容】 本發明的目的是提出一種3D攝相機及其相關控制方 法。利用不同規格（等級）的二個鏡頭所所組成的3D攝相 4 201244457
1 W/463FAMY 機，可以產生二張不同品質的影像，並且組合成為相同品 質的左眼影像以及右眼影像。 本發明係有關於一種三維影像攝相機，包括：一第一 鏡頭，用以提供一第一感光信號；一第二鏡頭，用以提供 一第二感光信號；以及一影像處理單元，用以接收該第一 感光信號及該第二感光信號據以產生一第一眼影像、一第 一比對影像；其中，該影像處理單元根據該第一眼影像以 及該第一比對影像產生一 3D深度資料。 本發明更提出一種三維攝相機的控制方法，包括下列 步驟：根據一第一感光信號獲得一第一眼影像；根據一第 二感光信號獲得一第一比對影像；以及，根據該第一眼影 像及該第一比對影像產生一 3D深度資料。 為了對本發明之上述及其他方面有更佳的暸解，下文 特舉較佳實施例，並配合所附圖式，作詳細說明如下： 【實施方式】 由於左眼與右眼看到同一個物件時，左眼與右眼的呈 現的影像會有些許不同，而人體的大腦即根據雙眼看到的 影像來建立三維(3D)影像。請參照第2a與第2b圖，其所 繪示為雙眼觀看物體時，個別眼睛的成像示意圖。 當一個物體在很接近雙眼的正前方位置I時，左眼看 到的物件會在左眼視野影像的右側，而右眼所看到的物件 會在右眼視野影像的左侧。當物件繼續遠離雙眼時，左眼 與右眼看到的物件會逐漸的往中央接近。假設物件在位置 II時，左右眼所看到的影像完全相同，亦即物件在影像的 正中央’此位置π即可視為一參考距離。當物體繼續遠離 雙眼時’左眼看到的物件會在左眼視野影像的左側，而右 眼所看到的物件會在右眼視野影像的右侧β 根據上述的特性’即發展出一種3D深度(3D depth) 的概念。請參照第3a、3b、3c、3d圖，其所繪示為利用雙 眼同時看到的影像決定物件位置的方法。而以下的描述僅 以水平方向進行。 假設左眼看到的左眼視野影像如第3a圖所示，影像 中菱形物件302L在的左侧、圓形物件3〇4L在右側、三角 形物件306L在中央；而右眼看到的右眼視野影像如第3b 圖所示’影像中菱形物件302r在右侧、圓形物件3〇4R在 左側、二角形物件3〇6R在中央。因此，如第3c圖所示即 可獲彳于二個物件與眼睛之間的距離關係。亦即，圓形物件 304最接近眼睛、三角形物件3〇6在參考位置上、菱形物 件304最遠離眼睛。 如第3d圖所示’假設第3a圖的左眼視野影像被定義 為一參考影像(reference image)，則第3b圖中與第3a圖中 兩影像中相同物件之間因視差/視野所造成的水平距離即 為兩影像間之3D深度。很明顯地，三角形物件306L與 306R在參考位置上所以三角形物件3〇6的3E)深度為〇， 亦即左右眼的視野影像中，三角形物件306的水平位置相 同。同理，左眼視野影像中圓形物件204L位於右侧，而 右眼視野影像中圓形物件204R位於左侧，因此圓形物件 204的3D深度為負值的dl。同理，左眼影像中菱形物件 204L位於左侧，而右眼視野影像中菱形物件2〇4R位於右 6 201244457
I W /40JFAMY 側，因此菱形妨1 ^ 心物件204的3D深度為正值的d2。 田然’如果將第3b圖的右眼視野影像定義為參考影 像則接近眼睛的物件之3D深度為正值，遠離眼睛的物 件之3D深度為負值。 /二維立體視覺效果的影像晝面即利用此3D深度概念 而形成。因此，本發明的三維（3D)攝相機及其相關控制方 法即利用上述的3D深度概念來加以實現。 清^照第4圖’其所繪示為本發明一實施例之3D攝相 機不思圖。其中’ 3D攝相機的二個鏡頭420、430規格不 相同。舉例來說，左鏡頭係為一主鏡頭420，可為較佳等 級的鏡頭，右鏡頭係為一輔鏡頭43〇可為較差等級的鏡 頭。本實施例中等級較差的鏡頭可能其解析度會較低，影 像尺寸規格不相同，品質比較差，或是僅具有單色成像， 但是具有成本較低的優勢。 本貫施例之主鏡頭420包括主透鏡(p)422、主感光元 件424，右鏡頭430包括輔透鏡(s)432、辅感光元件434。 而主透鏡(P)422可將物件400成像於主感光元件424上， 並輸出主感光彳§號；輔透鏡(S)432可將物件400成像於輔 感光元件434上’並輸出輔感光信號。 根據本發明的貫施例’由於左鏡頭係為主鏡頭420， 右鏡頭係為輔鏡頭430，因此影像處理單元45〇接收主咸 光信號以及辅感光信號。而根據主感光信號產生一左眼影 像428並且作為參考影像；再者’根據辅感光信號產生一 第一比對影像(comparison image);由於，相較於來考影 像，此實施例之第一比對影像的解析度較低，因此影像大 7 201244457 J也車乂 j再者’為了要有—較佳的位置比較基礎，因此 需進行縮放㈣ing)，使得第—比對影像成為與參考影像 目=大小H比對影像，並且利用第二比對影像以及 :::來獲得一 3D深度資料；最後，本實施例可根據 參考衫像以及3D深度資料重建-右眼影像438。 的喪老〜Γ鏡頭43G的成像規格或品質和主鏡頭420產生 、>衫不一致，因此，此實施例中第一比對影像或第 財考料(核麟似贿比較而 獲传3D冰度貝料。當獲 欠 路彻即根據m 後’影像處理電 433 ；^ 428^^ ik 428 > 生的右眼影像438和原有的左眼影 ^ 糸進一步提供使用者清晰的3D成像。 處理單^照f 5 ^其所㈣為本發明另—實施例之影像 不思圖。影像處理電路45〇包括 二：象處理電路452、先期處理電路;:象= 由於1鏡頭=主3=建=元458。根據本發明的實施例， 影傻卢_…見頭420，右鏡頭係為輔鏡頭430，主 泉老㉟451接收主感光信號成為—左眼影像並作為 右影像處理電路452接收右感光信號成為一第 放笛一 。先期處理電路454根據左眼影像的大小來縮 ，者’ 3D深度產生器铜接收相同大小的第二比對 攝5 像(參考影像）’並且計算出3D深度資料並傳 重建單元458。最終，3D重建單元458即根據左 8 201244457
i W /463HAMY 眼影像（參考影像）以及3D深度資料來重建右眼影像，並且 輸出左眼影像以及右眼影像。 以下利用第6a至第6e圖來詳細解釋本發明的控制方 法。如第6a圖所示’主影像處理電路451產生的一左眼 影像例如來說可具有高解析度以及高品質，並且作為參考 影像；其中’菱形物件302L在左侧、圓形物件304L在右 侧、二角形物件306L在中央。而辅影像處理電路452產 生第6b圖所示的第一比對影像，可能具有較低解析度； 其中，菱形物件302R在右側、圓形物件3〇4R在左側、三 角形物件306R在中央。 因此，先期處理電路454即根據左眼影像的大小來放 大第:比對影像進而成為第6c圖所示的第二比對影像， 使得第二比對影像與左眼影像具有相同的大小。很明顯 地，由於先期處理電路454縮放了第一比對影像，因此第 二比對影像的規格或品質與左眼影像不—致，因此不 作為右眼影像。 $ 接著’ 3D冰度產生$ 456即可比對左眼影像與第二 比對影像中各物件之間的距離，並且產生 _ 3D深度資料。 T不的 = ’3D重建單元458主要利用左眼影像以及3 來重建右眼影像。如第6e圖所示，將左眼影像中 鬥^物件304L向左移動dl的距離而成為右眼影像 圓形物件304R，；將左眼影像中的菱形物件胤向右移= 们的距離而成為右眼影像中的菱形物件3·，；而 像中的三角形物件胤不需移動即成為右眼影㈣的= 201244457 角形物件306R，。 很明顯地，由於左眼影像係為高 據3D深度資料移動左眼影像中的各種物二此根 眼影像具有與左眼影像相_高品 ^形成的右 請參照第7圖，其所繪示為本發日;二 法流程圖。首先，根據主鏡頭輸出的主〜、控制方 眼影像並作為參考影像(步驟s術）;' ==號，第一 威光信號獲得第-比對影像(步称S70^=頭=^輔 比對影像成為第二比對影像，使得第接者’細放第一 像具有相同的大小(步驟S706); 像與參考影 與參考影像· - 3D _(倾S7()8) 深度與參考影像來线—第二眼影像(步驟s7i〇)。 根據上述的實施例，由於左眼影像(參考影像㈤第二 比對影像中的物件簡單，因此3D深度產生器456可以直 接利用物件之間的距離來進行比較並獲得3〇深度。 3D深度產生器456計算以產生3D深度資料的方法可 如下所述。3D深度產生器456可各別將左眼影像（參考影 像）與第二比對影像切割為複數個區塊(B1〇ck)，左眼影像 的複數區塊和第二比對影像的複數區塊是互相對應的，並 利用互相對應的區塊來進行比較（例如為距離運算），並進 而獲得各個區塊3D深度(block base 3D depth)作為3d深 度資料。此外’在另一實施例中，更可以利用内插法 (interpolation) ’藉由每個區塊3D深度，進一步求得更細 部的子區塊3D深度（sub-block base 3D depth)作為最終的 3D深度資料。當然，最小的區塊單位即為一個像素。也 201244457
i W /403FAMY 就是說，利用内插法可獲得每個像素的3D深度，而3D 重建單元即可利用左眼影像（參考影像）以及每個像素3D 深度(pixel base 3D depth)來獲得高品質以及高解析度的右 眼影像。 請參照第8圖，其所繪示為本發明影像處理單元的另 一實施例示意圖。與前一實施例的差異在於增加了一 3D 深度内插單元457，用以接收3D深度產生器輸出之區塊 3D深度資料，並輸出子區塊3D深度資料至3D重建單元。 而子區塊3D深度資料可以為像素3D深度資料。 實際上，由於左右眼睛在觀測相同的物件時，有些區 域無法同時被左右眼睛所觀察到。如第8圖所示，3D重 建單元458可再接收第二比對影像，並將左眼影像無法還 原的小部份區域利用擷取第二比對影像來重建完成。當 然，上述的小部份區域如果沒有利用3D重建單元來進行 重建，通常觀察者也不易察覺。 由以上的說明可知，本發明係運用在具有主鏡頭與輔 鏡頭的3D攝相機系統。利用不同等級的鏡頭來重建相同 影像品質以及解析度的左眼影像以及右眼影像。因此，可 以降低3D相機的成本，或者，利用一高價值的單鏡頭攝 相機搭配一般單鏡頭的攝相機，即可合成一 3D影片。 再者，本發明的實施例可以有一些其他的變化。舉例 來說，先期處理電路可以將左眼影像（參考影像）進行縮放 處理，使得縮放處理後的參考影像與輔鏡頭輸出的影像具 有相同大小。如此，3D深度產生器即可據以產生3D深度 資料，而3D重建單元更可以根據縮小後的參考影像以及 201244457γιΥ · 3D深度資料來重建另一眼影像。 ㈣二ί卜2發明也可以利用相同解析度但&光學特性不 來作Α為輔鏡頭。舉例來說，利用相同解析度的單 電二亦g f鏡頭。如1^，本發明更可以省略先期處理 用3D深戶ΡΓΓ。要進行縮放輔鏡頭輪出的影像’並直接利 於主θ頭L $來接收主鏡頭與輔鏡頭輸出的影像。由 鏡頭輸出的影像解析度大小相同，因此3〇 =二可直接進行比對左眼影像以及第-比對影 =二〇深:秦或者，利用相同解析度的鏡頭 對影像進 :=r後的第一 據匕，具有相同解析度的主 中，其3D深度產生器比麵兮曾規辅鏡碩的一貫施例 影像據以產生—區塊3D J匕”景^象以及該第一眼 單位。 X的最小區塊皁位可以像素為 眼影像另:」力 攝相機也㈣
氏办像的月匕力（亦即不需要3D 以僅:存左眼影像(參考 像(參考二:::放二’扣攝相機僅需要輸出左眼影
電視），當外部的播放單元中且右^的播放早4例如3D 根據左眼影像(參考影像）以及、=建單元時，即可以 像，並且將左眼影像以及右眼影1^度資料來重建右眼影 另外，由上述說明可知3D，序呈現在螢幕上。 D冰度資料也可以用來作為 201244457
1 W7463PAMY 判斷物件與攝相機之間的距離參數。也就是說，利用二個 鏡頭即可以進行物件與攝相機之間的距離偵測。此方式可 以近一步的應用於遊戲機的動作偵測。 請參照第9圖，其所繪示為應用本發明的一種體感遊 戲機。體感遊戲機包括一遊戲主機820、以及一體感偵測 單元830。其中，體感偵測單元830包括一主鏡頭832與 一輔鏡頭834。其中，體感偵測單元830可拍攝使用者 850,並據以建立3D深度資料並獲得使用者位置與體感偵 測單元830之間的距離。於遊戲進行中，主鏡頭832可拍 攝使用者的晝面並且呈現在電視機810或者可與朋友分 享。 除此之外，主鏡頭832與輔鏡頭834所產生的影像更 可進一步地產生3D深度資料傳遞至遊戲主機820。當使 用者的手或者腳在動作時，相關位置的3D深度資料會對 應地改變，因此，遊戲主機820即可將3D深度資料的變 化作為一控制信號，並於電視機810上產生對應的畫面。 或者，體感偵測單元830更可作為手勢操作的電視機 之輸入裝置。當然，更可以利用體感偵測單元830來偵測 車輛、飛行器、船隻、機器人、與附近物件之間的距離， 並做出正確的判斷。 再者，利用本發明更可以實現多視角的同步3D攝相 機。請參照第10圖，其所繪示為多視角的同步3D攝相機 示意圖。多視角的同步3D攝相機910包括二個主鏡頭 921、928、以及六個辅鏡頭923〜927同時拍攝物件900。 利用第一主鏡頭921可直接產生第一眼影像931，利 13 201244457 ‘ 、
* τ? / -rv-»* nMY 用第二主鏡頭928可直接產生第八眼影像938。再者，利 用輔鏡頭922〜927可生相對應的多個比對影像。接著，利 用本發明的影像處理技術，根據用第一眼影像931或者第 八眼影像938即可以產生第二眼影像932、第三眼影像 933、第四眼影像934、第五眼影像935、第六眼影像936、 第七眼影像937。 當電視機接收到第一影像931〜第八影像938之後， 即可區分為七組雙眼影像。由左而右依序為第一組雙眼影 像包括第一眼影像931與第二眼影像932 ;第二組雙眼影 像包括第二眼影像932與第三眼影像933 ;第三組雙眼影 像包括第三眼影像933與第四眼影像934 ;第四組雙眼影 像包括第四眼影像934與第五眼影像935 ;第五組雙眼影 像包括第五眼影像935與第六眼影像936 ;第六組雙眼影 像包括第六眼影像936與第七眼影像937 ;第七組雙眼影 像包括第七眼影像937與第八眼影像938。 如此一來，當電視機前由左至右坐了七個使用者，電 視機即可控制七組雙眼影像至相對應的七個使用者，俾使 每個使用者皆巧*看到不同視角的物件9〇〇。 當然，第10圖的多視角的同步3D攝相機910不須 限定主鏡頭的數目’例如：僅利用一個主鏡頭並搭配多輔 鏡頭也可以遠成多視角的同步3D攝相機910。 利用本發明更可以實現360度環形攝相機。請參照第 11圖，其所繪系為360度環形攝相機示意圖。360度環形 攝相機950包括四個主鏡頭962〜968、以及八個輔鏡頭 971〜978同時拍攝36〇度的景象。 201244457
1 W7463PAMY 運用相同的原理，利用第一主鏡頭962可直接產生第 一眼影像981，利用第二主鏡頭964可直接產生第四眼影 像984,利用第三主鏡頭966可直接產生第七眼影像987， 利用第四主鏡頭968可直接產生第十眼影像990。再者， 利用辅鏡頭971〜978可生相對應的多個比對影像。接著， 利用本發明的影像處理技術，根據用第一眼影像981、第 四眼影像984、第七眼影像987、或者第十眼影像990即 可以產生第二眼影像982、第三眼影像983、第五眼影像 985、第六眼影像986、第八眼影像988、第九眼影像989、 第十一眼影像991、第十二眼影像992。 因此，根據第一影像981〜第十二影像992，即可播放 360度的環形影像。 因此，本發明的優點是提出一種3D攝相機及其相關 控制方法。利用不同規格（等級）的二個鏡頭所所組成的3D 攝相機，可以產生二張不同品質的影像，並且組合成為相 同品質的左眼影像以及右眼影像，並成為3D影片。 綜上所述，雖然本發明已以較佳實施例揭露如上，然 其並非用以限定本發明。本發明所屬技術領域中具有通常 知識者，在不脫離本發明之精神和範圍内，當可作各種之 更動與潤飾。因此，本發明之保護範圍當視後附之申請專 利範圍所界定者為準。 【圖式簡單說明】 第1圖所繪示為習知3D攝相機的成像流程示意圖。 第2a與第2b圖所繪示為雙眼觀看物體時個別眼睛的 15 201244457 , 成像示意圖。 第3a、3b、3c、3d圖所繪示為利用雙眼同時看到的 影像決定物件位置的方法。 第4圖所繪示為本發明3D攝相機示意圖。 第5圖所繪示為本發明影像處理單元示意圖。 第6a至第6e圖釋本發明的控制方法之解釋圖示。 第7圖所繪示為本發明3D影像的控制方法流程圖。 第8圖所繪示為本發明影像處理單元的另一實施例 示意圖。 第9圖所繪示為應用本發明的一種體感遊戲機。 第10圖所繪示為多視角的同步3D攝相機示意圖。 第11圖所繪示為360度環形攝相機示意圖。 【主要元件符號說明】 100 ： 物件 120 ： 左鏡頭 122 ： 左透鏡 124 ： 左感光元件 126 ： 左2D影像處理電路 128 ： 左眼影像 130 ： 右鏡頭 132 ： 右透鏡 134 ： 右感光元件 136 ： 2D影像處理電路 138 ： 右眼影像
201244457 TW7463PAMY 302、 302L、302R : 菱形物件 304、 304L、304R : 圓形物件 306、 306L、306R : 三角形物件 400 ： 物件 420 ： 主鏡頭 422 ： 主透鏡 424 ： 主感光元件 428 ： 左眼影像 430 ： 輔鏡頭 432 ： 輔透鏡 434 ： 輔感光元件 438 ： 右眼影像 450 ： 影像處理單元 451 ： 主影像處理電路 452 ： 輔影像處理電路 454 ： 先期處理電路 456 ： 3D深度產生器 457 ： 3D深度内插單元 458 ： 3D重建單元 810 ： 電視機 820 ： 遊戲主機 830 ： 體感偵測單元 832 ： 主鏡頭 834 ： 輔鏡頭 850 ： 使用者 17 201244457
/1Y 900 ： 物件 910 : 多視角同步3D攝 921、 928 : 主鏡頭 922〜927 : 輔鏡頭 931 ： 第一眼影像 932 : 第二眼影像 933 ： 第三眼影像 934 ： 第四眼影像 935 ： 第五眼影像 936 ： 第六眼影像 937 ： 第七眼影像 938 ： 第八眼影像 950 ： 360度環形攝相機 962〜968: 主鏡頭 971〜978 : 輔鏡頭 981 : 第一眼影像 982 ： 第二眼影像 983 ： 第三眼影像 984 ： 第四眼影像 985 ： 第五眼影像 986 ： 第六眼影像 987 ： 第七眼影像 988 ： 第八眼影像 989 ： 第九眼影像 990 ： 第十眼影像 201244457
1 W7463PAMY 991:第十一眼影像 992 ：第十二眼影像

Claims (1)

  1. 201244457 y 七、申請專利範圍： 1. 一種三維影像攝相機，包括： 一第一鏡頭，用以提供一第一感光信號； 一第二鏡頭，用以提供一第二感光信號；以及 一影像處理單元，用以接收該第一感光信號及該第二 感光信號據以產生一第一眼影像、一第一比對影像； 其中，該影像處理單元根據該第一眼影像以及該第一 比對影像產生一 3D深度資料。 2. 如申請專利範圍第1項所述之3D攝相機，其中， 該影像處理單元更利用該第一眼影像及該3D深度資料產 生一第二眼影像。 3. 如申請專利範圍第2項所述之3D攝相機，其中該 3D攝相機更包括一第三鏡頭，並可據以產生一第三比對 影像，使得該影像處理單元據以產生一第三眼影像。 4. 如申請專利範圍第3項所述之3D攝相機，其中該 3D攝相機係為一多視角同步3D攝相機或者一 360度環形 攝相機。 5. 如申請專利範圍第1項所述之3D攝相機，更包括 經由參考該第一眼影像據以處理該第一比對影像而獲得 一第二比對影像；其中，該3D深度資料係比較該第一眼 影像及該第二比對影像而獲得。 20 201244457 TW7463PAMY ▲ 6.如巾請專利範圍第5項所述之犯攝相機， 對影像包括對該第—比對影像進行縮放處^ 影像處範圍第5項所述之3D攝相機，其中該 生該處理電路，用以接收該第—感光信號以產 一第二影像處理電路， 生該第一比對影像； 用以接收該第二感光信號以產 /一先期處理電路，用以接收該第一眼影像與該第一比 對影像，以產生該第二比對影像；以及 、^ 3D深度產生器，用以接收並比較該第二比對影像 以及該第—眼影像據以產生該3D深度資料。 ,8.如申請專利範圍第7項所述之31)攝相機，其中該 影像處理電路更包括： _ 3D重建單元，用以接收該第一眼影像與該深 度資料據以產生該第二眼影像。 ^ 9.如申請專利範圍第1項所述之3D攝相機，其中該 影像處理電路包括： 上一第一影像處理電路，用以接收該第一感光信號以產 生該第一眼影像； 21 201244457 , 一第二影像處理電路，用以接收該第二感光信號以產 生該第一比對影像； 一先期處理電路，用以接收該第一眼影像與該第一比 對影像，以產生該第二比對影像； 一 3D深度產生器，用以接收並比較該第二比對影像 以及該第一眼影像據以產生一區塊3D深度(block base 3D depth)，作為該3D深度資料。 10. 如專利申請範圍第9項所述之3D攝相機，更包 括： 一 3D深度内插單元，接收該區塊3D深度並進行一 内插運算後獲得一子區塊3D深度，作為該3D深度資料。 11. 如申請專利範圍第9項所述之3D攝相機，其中 該區塊3D深度係為一以像素為單位的3D深度資料。 12. —種三維（3D)攝相機的控制方法，包括下列步 驟： 根據一第一感光信號獲得一第一眼影像； 根據一第二感光信號獲得一第一比對影像； 根據該第一眼影像及該第一比對影像產生一 3D深度 資料。 13.如申請專利範圍第12項所述之3D攝相機的控 22 201244457 1 W7463PAMY 制方法’更包括利用該第— 一第二眼影像。 眼影像及該3D深度資料產生 制方本圍第13項所述之3D攝相機的控 制方法，其中更包括下列步驟： 根據第二鏡頭獲得—第三比對影像；以及 根據該第三比對影像與該第―眼影像獲得—第三眼 不夕1琴。 ⑹申料利範圍帛14項所述之3D攝相機的控制 t、/該3〇攝相機係為—多視角同步3D攝相機或者 一 360度環形攝相機。 .如申請專利範圍帛12項所述之3D攝相機的控 炎更包括經由處理該第—比對影像獲得—第二比對 私像’，、中’該3D深度資料係比較該第一眼影像及該第 二比對影像而獲得。 、17.如申請專利範圍第16項所述之3D攝相機的控 制方法’其中處理該第—比對影像包括對該第—比對影像 進行縮放處理或去色處理。 、 、18. *申請專利範圍帛12項所述之3〇攝相機的控制 方法，其中該3D攝相機係為一體感偵測單元，可輸出該 3D深度資料與該參考信號至—遊齡機，使得該遊戲^ 23 201244457, , v\Y 機根據該3D深度資料的變化作為一控制信號，並於一電 視機上產生對應的畫面。 19. 如申請專利範圍第12項所述之3]〇攝相機的控制 方法，其中，根據該第二比對影像與該第一眼影像計算出 一 3D深度資料更包括下列步驟： 將該第二比對影像分為複數個比對區塊； 將該第一眼影像區分為複數個第一區塊； 比較該複數比對區塊與對應之該複數第一區塊之複 數距離以獲得一區塊3D深度作為該3D深度資料。 20. 如申請專利範圍第19項所述之3D攝相機的控制 方法’更包括以下步驟： 對該區塊3D深度進行内插運算並獲得該3D深度資 料中的一子區塊3D深度以作為該3D深度資料。 21. 如申請專利範圍第19項所述之3D攝相機的控制 方法，其中該區塊3D深度係為一像素3D深度。 24
TW100114159A 2011-04-22 2011-04-22 三維影像攝相機及其相關控制方法 TWI462569B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100114159A TWI462569B (zh) 2011-04-22 2011-04-22 三維影像攝相機及其相關控制方法
US13/190,658 US9177380B2 (en) 2011-04-22 2011-07-26 3D video camera using plural lenses and sensors having different resolutions and/or qualities

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100114159A TWI462569B (zh) 2011-04-22 2011-04-22 三維影像攝相機及其相關控制方法

Publications (2)

Publication Number Publication Date
TW201244457A true TW201244457A (en) 2012-11-01
TWI462569B TWI462569B (zh) 2014-11-21

Family

ID=47021032

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100114159A TWI462569B (zh) 2011-04-22 2011-04-22 三維影像攝相機及其相關控制方法

Country Status (2)

Country Link
US (1) US9177380B2 (zh)
TW (1) TWI462569B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817575A (zh) * 2015-11-30 2017-06-09 聚晶半导体股份有限公司 影像捕获设备及其产生深度信息的方法与自动更正的方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170155889A1 (en) * 2015-11-30 2017-06-01 Altek Semiconductor Corp. Image capturing device, depth information generation method and auto-calibration method thereof
KR102166158B1 (ko) * 2018-12-19 2020-10-15 (주)이머시브캐스트 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템
CN110209273B (zh) * 2019-05-23 2022-03-01 Oppo广东移动通信有限公司 手势识别方法、交互控制方法、装置、介质与电子设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6384859B1 (en) * 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
US6022274A (en) * 1995-11-22 2000-02-08 Nintendo Co., Ltd. Video game system using memory module
JP2998791B2 (ja) * 1996-10-31 2000-01-11 日本電気株式会社 三次元構造推定装置
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US6927769B2 (en) * 2000-11-21 2005-08-09 Vrex, Inc. Stereoscopic image processing on a computer system
JP2003018619A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 立体映像評価装置およびそれを用いた表示装置
JP4440067B2 (ja) * 2004-10-15 2010-03-24 キヤノン株式会社 立体表示のための画像処理プログラム、画像処理装置および立体表示システム
WO2006084385A1 (en) * 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
US7982777B2 (en) * 2005-04-07 2011-07-19 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
KR100653965B1 (ko) 2005-08-01 2006-12-05 심재용 휴대용 단말기의 서로 다른 카메라를 이용한 3차원입체영상 처리 장치
US7573475B2 (en) * 2006-06-01 2009-08-11 Industrial Light & Magic 2D to 3D image conversion
US7534962B2 (en) * 2006-06-23 2009-05-19 Delphi Technologies, Inc. Non-halogenated heavy metal free vehicular cable insulation and harness covering material
ATE546951T1 (de) * 2007-11-09 2012-03-15 Thomson Licensing System und verfahren zur tiefenabbildungsextraktion unter verwendung von auf regionen basierender filterung
JP2009135686A (ja) 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP4959535B2 (ja) * 2007-12-13 2012-06-27 株式会社日立製作所 撮像装置
US9165199B2 (en) * 2007-12-21 2015-10-20 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
JP5238429B2 (ja) * 2008-09-25 2013-07-17 株式会社東芝 立体映像撮影装置および立体映像撮影システム
US8270752B2 (en) * 2009-03-17 2012-09-18 Mitsubishi Electric Research Laboratories, Inc. Depth reconstruction filter for depth coding videos
EP2236980B1 (en) * 2009-03-31 2018-05-02 Alcatel Lucent A method for determining the relative position of a first and a second imaging device and devices therefore
JP2010278878A (ja) * 2009-05-29 2010-12-09 Fujifilm Corp 立体画像表示装置及びその表示画像切替方法
DE102009023896B4 (de) * 2009-06-04 2015-06-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erfassen einer Pflanze
WO2011060385A1 (en) * 2009-11-13 2011-05-19 Pixel Velocity, Inc. Method for tracking an object through an environment across multiple cameras
KR101652393B1 (ko) * 2010-01-15 2016-08-31 삼성전자주식회사 3차원 영상 획득 장치 및 방법
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
TW201133124A (en) * 2010-03-24 2011-10-01 Acer Inc Apparatus and method for capturing three-dimensional image
KR20110116325A (ko) * 2010-04-19 2011-10-26 삼성전자주식회사 영상 처리 장치 및 그 방법
KR101697184B1 (ko) * 2010-04-20 2017-01-17 삼성전자주식회사 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
KR101665567B1 (ko) * 2010-05-20 2016-10-12 삼성전자주식회사 3차원 뎁스 영상 시간 보간 방법 및 장치
US20110304618A1 (en) * 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images
US20120089392A1 (en) * 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817575A (zh) * 2015-11-30 2017-06-09 聚晶半导体股份有限公司 影像捕获设备及其产生深度信息的方法与自动更正的方法

Also Published As

Publication number Publication date
TWI462569B (zh) 2014-11-21
US20120268572A1 (en) 2012-10-25
US9177380B2 (en) 2015-11-03

Similar Documents

Publication Publication Date Title
CN1934874B (zh) 用于个人电子装置的三维获取和显像系统
CN101783967B (zh) 信号处理设备、图像显示设备、信号处理方法和计算机程序
TWI523488B (zh) 處理包含在信號中的視差資訊之方法
US8503764B2 (en) Method for generating images of multi-views
CN103348682B (zh) 在多视图系统中提供单一视觉的方法和装置
CN102209254B (zh) 一种一维集成成像方法和装置
US9438886B2 (en) Parallax scanning methods for stereoscopic three-dimensional imaging
JP2013192229A (ja) ２次元／３次元デジタル情報取得及び表示装置
KR20110124473A (ko) 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
WO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
CN102789058A (zh) 立体图像生成装置和立体图像生成方法
US9933626B2 (en) Stereoscopic image
KR20120090507A (ko) 집적 영상 방식의 입체 영상 표시 장치
IJsselsteijn et al. Human factors of 3D displays
Date et al. Highly realistic 3D display system for space composition telecommunication
TW201244457A (en) 3D video camera and associated control method
CN103220544B (zh) 一种主动离轴平行式立体成像方法
CN101908233A (zh) 产生用于三维影像重建的复数视点图的方法及系统
TWI572899B (zh) 擴充實境成像方法及其裝置
JP2012134885A (ja) 画像処理装置及び画像処理方法
CN102769763B (zh) 三维影像摄相机及其相关控制方法
CN103227929B (zh) 立体影像处理装置及立体影像处理方法
TWM667285U (zh) 應用於空間影片(Spatial Video)檔案轉換之裸視立體顯示裝置
CN102769763A (zh) 三维影像摄相机及其相关控制方法
KR100652204B1 (ko) 입체 영상 표시 방법 및 그 장치

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees