TW201207768A - Combining data from multiple image sensors - Google Patents

Description

201207768 六、發明說明： 【發明所屬之技術領域】 本發明大體而言係關於結合來自多個影像感測器之 料。 , 本申請案主張2010年4月5日申請之美國臨時申請案第 61/320,940號、2010年4月14日申請之美國臨時申請案第 6^24,259號、2〇1()年6月28日中請之美國臨時中請案第 61/359,312號及2G1G年11月U日申請之美國臨時巾請案第 61/412,755號中之每一者的權利，且該等申請帛中之每一 者以引用的方式併入本文中。 【先前技術】 技術之進步已產生更小且更強大之計算器件。舉例而 言’當前存在多種攜帶型個人計算器件，包括無線計算器 件諸如攜帶型無線電話、個人數位助理（pDA)及傳呼器 件’其體積小、重量輕且易於由使用者搆載。更特定言 之，攜帶型無線電話（諸如，蜂巢式電話及網際網路協: (IP)電話)可經由無線網路傳達語音及資料封包。此外，許 夕此等無線電活包括併入於其中之其他類型之器件。舉例 而吕，無線電話亦可包括數位靜態相機及數位視訊相機。 又，此等無線電話可處理可執行指令，包括可用以存取網 際”周路之軟體應用程式（諸如，網賴覽器應用程式）。 另外’無線器件可執行三維（3D)應用程式。在3D應用程 式中’通常使用至少兩個影像感浪】器自-場景俘獲深度資 訊。來自兩個影像感測器之圖框資料經結合且處理以推斷 155245.doc 201207768 距離資訊且用以建構3D表示。結合來自該等感測器中之每 一者之影像資料通常涉及執行圖框同步及行时，此可導 致同步及對準挑戰。另夕卜，當源感測器以不同頻率或相位 提供資料時，滤波來自多個感測器之影像資料且交錯此影 像資料可為更加複雜的。有效地同步來自多個感測器之資

料且有效地處理該資料以減小總影像處理系統成本及複雜 性將為有利的D 【發明内容】 ，在多個相機陣列應用中，來自多個感測器中之每一者之 影像資料待在一行位準下同步且處理。揭示一種用以結合 來自多個感測器之資料之影像處理系統，其中同步且處理 來自一第-影像感測器及一第二影像感測器之影像資料。 藉由同步且結合來自一藉由該第一影像感測器所產生之第 -資料串流的第一資料與來自一藉由該第二影像感測器所 產生之第二資料串流的第二f料來產生同步資料行。影像 =號處理H經組態以處理自—結合器所接收之該等同步資 料行且將經處理圖框輸出至一顯示器。 在一特定實施财，揭示—财法。該方法包括將一共 同控制信號提供至待同步之多個影像感測器。該方法進一 步=括接收來自該多個影像感測器中之一第一影像感測器 之第—資料行，接收來自該多個影像感測器中之一第二 影像感測器之-第二資料行，及結合該第_資料行與該第 一資料行以產生一同步資料行。 在另-特定實施例中，揭示一種裝置。該裝置包括一第 155245.doc

S -4 201207768 一輸入端，該第一輸入端經組態以經由一共同控制信號接 收來自待同步之多個影像感測器中之一第一影像感測器的 一第一資料行。該裝置進一步包括：一第二輸入端，該第 二輸入端經組態以接收來自該多個影像感測器中之一第二 影像感測器的一第二資料行；及一結合器，該結合器耦接 至該第一輸入端及該第二輸入端，其中該結合器經組態以 結合該第一資料行與該第二資料行以產生一同步資料行。 在另一特定實施例中，揭示一種方法。該方法包括將一 共同控制信號提供至多個影像感測器。該多個影像感測器 中之每一者係回應於該共同控制信號以產生影像資料。該 方法進一步包括接收來自該多個影像感測器中之每一者之 同步資料輸出，結合來自該多個影像感測器中之每一者之 該同步資料輸出以產生一同步資料行，及經由一影像處理 器之單一相機輸入將該同步資料行提供至該影像處理 器。 在另一特定實施例中，揭示一種裝置。該裝置包括—感 貝J器同步器，S亥感測器同步器經組態以將一共同控制信號 提供至多個影像感測器。該多個影像感測器中之每一者係 回應於該共同控制信號以產生影像資料。該褒置進-步包 括-，合H ’該結合器經組態以結合自該多個影像感測器 之每者所接收之同步資料輸出，以產生待經由一影像 處理盗之—單—相機輸人提供至該影像處理器的-同步資 料行。 在另-特定實施例中，揭示一種方法，法包括將一 155245.doc 201207768 共同控制信號提供至多個影像感測器。該多個影像感測器 中之每一者係回應於該共同控制信號以產生影像資料。該 方法進一步包括接收來自該多個影像感測器中之每一者之 同步資料輸出。 在另一特定實施例中，揭示一種方法。該方法包括在多 個影像感測器處接收一共同控制信號。該多個影像感測器 中之每一者係回應於該共同控制信號以產生影像資料。該 方法進一步包括產生來自該多個影像感測器中之每一者之 同步資料輪出。 在另一特定實施例中，揭示一種裝置。該裝置包括一感 測器同步器，該感測器同步器經組態以將一共同控制信號 提供至多個影像感測器以使該多個影像感測器產生影像資 ;斗該裝置進-步包括-感測器資料介面，該感測器資料 "面經組態以接收來自該多個影像感測器中之每—者之同 步資料輸出。 在另一特定實施例中，揭示一種方法。該方法包括在具 有用於-單-相機之-輸人的__影像處理器處接收影像資 料之行。該影像資料之每-行包括來自一藉由一第一相機 所俘獲之第一影像的第一行資料及來自一藉由一第二相機 所俘獲之第二影像的第二行資料。該方法進—步包生 一輸出圖框，該輸出圖框具有對應於該第一 乐 影像之行資料 的一第m具有對應於該第二影像之行資料的—第二 區段。該第一區段及該第二區段經組態以用以產生三: (3D)影像格式或3D視訊格式》 —' 155245.doc 201207768 另特疋貫施例中，揭示一種裝置。該裝置包括一影 像，理器’該影像處理器具有用單-相機之-輸入。 二’以像處理器經組態以經由該輸入接收影像資料之行。該 j資料之每—行包括來自一藉由—第—相機所俘獲之第 二像的第—行資料及來自—藉由—第二相機所俘獲之第 一影像的第二行資料。該影像處理器經組態以產生—輸出 圖框’該輸出圖才匡具有對應於該第一影像之行資料的一第 -區段且具有對應於該第二影像之行資料的—第二區段。 該第-區段及該第二區段經組態以用以產生三維㈤)影像 格式或3D視訊格式。 在-較實施例中，揭示—種將來自多個感測器之資料 結合成—圖框之方法。該方法包括接收來自_第一影 測器之一第一資料串ϋg t自 -S/ JA ^ Ψ，ί1接收采自—第二影像感測器之一 第二資料串流，及結合來自該第—資料串流之資料盘來自 該第二資料串流之資料以產生一圖柩。該方法進一步包括 在-影像信號處理器處處理該圖框以產生—經處理圖框及 輸出該經處理圖框以用於顯示。該第__影像感測器及該第 二影像感測器中之每-者直接回應於該影像信號處理器。 在另-特定實施例中，揭示一種裝置。該裝置包括：一 第-影像感測器’ It第一影像感測器經組態以產生一第一 資料串流—第二影像感測器H影像感測器經組態 以產生-第二資料串流；及一結合器，該結合器經組態以 結合來自該第-資料串流之第—資料與來自該第二資料串 流之第二資料以產生-圖框。該襞置進一步包括一影像信 155245.doc 201207768 號處理器該影像信號處理器經組態以處理該圖框且將一 經處理圖框輪出至-顯示器。該第-影像感測器及該第二 衫像感測器中之每一者直接回應於該影像信號處理器。 在另特疋實施例中，揭示一種方法。該方法包括接收 來自一第-影像感測器之—影像之第—影像f料，接收來 自第一影像感測器之一影像之第二影像資料，及同步在 衫像資料獲取期間該第—影像感測器及該第二影像感測器 的逐行曝丨豸第—影像感測器與該第二影像感測器彼此 獨立°該同步可為逐行的·!·可為逐圖框的。 在另肖疋實施例中，揭示一種裝置。該裝置包括一記 憶體緩衝器。該記憶體緩衝器包括用以經由每一圖框之串 流傳輸以-確定性次序對準進人串流的―區段及在串流之 間的一可程式化間隙區段。 有：二ί疋實施例中’揭示-種方法。該方法包括在具 有用於一早一相播> . —輸入的一影像處理器處接收 ^之多個列。該影像資料之每1包括來自藉由= 所伴獲之-第-影像之—列的資料及來 機所俘獲之-第二影像之-列的資料。該方法亦包= 具有二維（3D)影像格式㈣視訊格式n 應於該第-料及該第二影像。 “輸出對 在另一特定實施例中 像處理器’該影像處理 該裝置亦包括一結合器 多個列發送至該影像處 ’揭示-種裝置。該裝置包括一影 器具有用於一單一相攙 ' 早相機之一輸入。 理 該結合器經組態以將影像資料之 器。該影像資料之每-列包括來 155245.doc 201207768 自藉由—第—相機所俘獲之―第—影像之-㈣第-資料 及來自藉由-第二相機所俘獲之—第二影像之—列的第二 貝枓。該影像處理器經組態以產生—具有三維⑽影像格 式或職訊格式之輸出。該輪出對應於該第—影像及該第 一影像。 猎由所揭示實施例中之至少一者所提供的一特定優點在 於，一皁一影像信號處理器可用以同步且控制來自多個影 像感測器之影像資料。另一特定優點在於，在串流之間具 有間隙提供將影像信號處理器中之經結合串流處理為一單 —圖框的靈活性’且藉由後續的基於區塊之處理來避免串 肌之污染(亦即’右間隙與基於最大區塊之處理相等，則 串流之污染得以避免）。 本發月之其他態樣、優點及特徵將在審閱包括以下章節 之完整申請案之後變得顯而易見：圖式簡單說明、實施方 式及申請專利範圍。 【實施方式】 參看圓1 ’ &繪用以結合來自多個感測器之資料之影像 處理系統的特定說明性實施例且將其一般地指定為100。 〜像處理系統1〇〇包括多相機模組1〇2、感測器模組刚， 及單相機aa >1模組1〇6。在__特定實施例巾，感測器模組 104可包括複數個感測器，諸如圖2及圖3之感測器2〇2及 2〇4 ’其中该複數個感測器中之每一者經組態以產生包括 影像之多個資料行的資料串流。單相機模組1〇6可包括具 有單相機輸入之影像處理器，諸如圖2及圖3之影像處理 155245.doc -9. 201207768 ㈣8。將多個感測器之影像資料串流之逐行影像資料結 合成同步資料行⑽使得影像處理器能夠執行用於多相機 處理之格式化，即使該影像處理器具有單一相機輸入仍如 此 '结果，與使用單獨處理器用於每一相機或使用具有多 個相機輸人之處理器的系統相比較，系統⑽可以減小之 成本來貫施。 參看圖2，描繪用以結合來自多個感測器之資料之影像 處理系統的特定說明性實施例且將其一般地指定為2〇〇。 影像處理系統200包括第一感測器2〇2及第二感測器2〇4。 影像處理系統200進一步包括結合器2〇6、影像信號處理器 或視訊前端208,及感測器同步器23〇β影像信號處理器 208可耦接至顯示器件（未圖示）。結合器2〇6包括一或多個 行緩衝器216。影像處理系統2 〇 〇可整合於至少一個半導體 晶粒中。 第一感測器202經組態以產生第一資料串流，說明為第 一影像資料串流212。第一影像資料串流212包括第一資料 行222。第二感測器2〇4經組態以產生第二資料串流，說明 為第二影像資料串流214❶第二影像資料串流214包括第二 資料行224。第一感測器202及第二感測器204可為實質上 類似的影像感測器，第一感測器2〇2與第二感測器2〇4彼此 獨立且接收來自感測器同步器230之共同控制信號234。感 測器同步器230經組態以接收控制/資料信號232且將共同 控制信號234輸出至第一感測器202及第二感測器204，從 而使得第一感測器2〇2及第二感測器2〇4能夠產生緊密地對 155245.doc -10· 201207768 舉例而言，資料串流212、214可

準之資料串流212、214。舉你 具有實質上;I 實施例中， 232。

214之資料。在一特定實施例中， 行緩衝器216經組態以對 準第一資料（諸如，來自第一感測器2〇2之第一資料行222) 與第二資料（諸如，來自第二感測器2〇4之第二資料行 224)。在一特定實施例中，結合器2〇6係回應於儲存於行 緩衝器216内之資料且將行資料218提供至影像信號處理器 208。在一特定實施例中，行資料218可包括複數個列，其 中每一列為來自每一感測器202、204之對應列之結合，諸 如關於圖6所描述。 影像信號處理器208經組態以處理行資料21 8且產生經處 理行資料240。在一特定實施例中，經處理行資料240可作 為經處理圖框資料提供。儘管已展示兩個感測器，但應理 解’其他實施例可包括兩個以上感測器。舉例而言，圖3 福繪包括兩個以上感測器之實施例300。第N感測器305經 、址態以產生第N資料串流，說明為第N影像資料串流3 15。 第N影像資料串流315包括第N資料行325。第N感測器305 可實質上類似於第一影像感測器202及第二影像感測器 204 ’且可接收來自感測器同步器230之共同控制信號 155245.doc 11 201207768 234，從而使得第一感測器2〇2、第二感測器2〇4及第n感測 器305能夠產生緊密地對準之資料串流212、214、315。舉 例而言，資料串流212、214、315可具有實質上相同的時 序特性，諸如頻率及相位。結合器2〇6係回應於第一影像 資料串流212、第二影像資料串流214及第n影像資料串流 315。結合器206經組態以在行緩衝器216内結合來自第一 影像資料串流212、第二影像資料串流214與第N影像資料 串流315之資料。 因為自經共同地控制之類似感測器（例如，圖2之2〇2、 2〇4，或圖3之2〇2、2〇4、3〇5)所接收之資料具有實質上相 同的頻率及相位，所以在影像資料之單一影像行内可發生 在結合器206處所接收之資料串流之間的同步。在一特定 實施例中，行緩衝器216可針對未對準之最差狀況定尺寸 (亦即，若同步未對準為三行，則行緩衝器212應被定大小 以緩衝至少六行）。結果，可使用單一影像信號處理器有 效地處理經結合資料。因此，與多處理器系統相比較（例 如，向每一感測器指派一處理器），總影像系統成本及複 雜性可減小。 參看圖4，描繪圖2之影像處理系統2〇〇之所選擇部分4〇〇 的特定說明性實施例。影像處理系統之部分4〇〇包括第一 感測器202、第二感測器204及感測器同步器230。在一特 定實施例中，第一感測器2〇2及第二感測器2〇4為接收來自 感測器同步器230之相同起動或重設信號及相同時脈輸入 的相同感測器或幾乎相同感測器。舉例而言，第一感測器 155245.doc -12· 201207768 202及第二感測器204可各自接收來自感測器同步器2儿之 共同控制資料/信號。在—特定實施例中，控制資料"言號 可包括控制時脈信號404、控制資料信號4〇6、相機時脈信 號408及相機重設信號41〇。控制資料/信號4〇4至“ο可經 由順應兩導線晶片間通信協定（tw〇 wire inteMhip communication protoc〇丨）之介面形成且傳輸，諸如積體電 路間(I2C)多主控串列電腦匯流排。或纟，控制資料/信號 404至41〇可根據順應以下各者之規範的介面形成且傳輸： 數位相機模組與行動電話引擎之間的串列介面（諸如，相 機串列介面（CSI))、周邊器件（相機）與主機處理器（基頻、應 用程式引擎）之間的介面（諸如，相機串列介面2(csi_2》、數 位相機模組與行動電㈣擎之間的並列介面（諸如，相機 並列介面（CPI)) ’或其他控制介面。 第-感測器202可經組態以將第一時序資料42〇及第一咸 測器影像資料422發送至如圖2或圖5中之系統中所說明之 結合器206。類似地’第二感測器綱可經組態以將第二時 序資料430及第二感測器影像資料432發送至圖2或圖5之結 合器206。 在操作期間，自時序觀點，第__感測器搬及第二感測 器204各自在相同或幾乎相同之條件中操作。舉例而言， 第一感測器2 0 2及第二感測器9 γμa ± 么叫益204各自接收相同控制時脈信 號404、相同控制資料信號4〇fi ,e ^ t 现06、相同相機時脈信號408及 相同相機重設信號41 〇 »因A笛 r¥ , U馬第—感測器202及第二感測器 2〇4為相同的或幾乎相同的，所 J J所以第一感測器202及第二感 155245.doc 13 201207768 測器204在相同時序條件下實質上類似地操作。舉例而 言，來自第一感測器202之資料輸出與來自第二感測器2〇4 之資料輸出具有實質上相同的頻率及相位。為了說明，來 自第一感測器202及第二感測器204之資料輸出之間的相位 差可小於相位差之單-水平行’從而使得單1像信號處 理器能夠用以同步且控制來自該兩個影像感測器2〇2、 之影像資料。 參看圖5，描繪用以結合來自多個感測器之資料之影像 處理系統的特定說明性實施例之方塊圖且將其一般地指定 為500。系統500包括第一影像感測器2〇2、第二影像感測 器204、結合器206、感測器同步器23〇及影像信號處理器 208。系統500進一步包括暫存器介面51〇及時脈管理器件 512。在一特定實施例中，暫存器介面51〇可在感測器同步 器230内。或者，暫存器介面51〇可為獨立模組。在—特定 實施例中，系統500可進一步包括精簡型輸出格式器 5〇6(以陰影展示）以及輸送封包化器及格式器（transp〇饩 packer and formatter)508(以陰影展示）〇 在一特定實施例中，結合器206經組態以接收來自第一 感測器202之第一時序資料420及第一感測器影像資料 422。結合器206亦經組態以接收來自第二感測器2〇4之第 二時序資料430及第二感測器影像資料432。結合器2〇6經 進一步組態以接收來自時脈管理器件5 12之時脈信號526。 結合|| 2 0 6使用第一時序資料4 2 0、第一感測器影像資料 422、第二時序資料430及第二感測器影像資料432來產生 155245.doc

S 201207768 提供至影像信號處理器扇之同步資料行 器208處理該同步資料粁 /像L唬處理 “ 經處理之資料行資嵙 將該經處理之資料行資料提供至另一組件 ，。可 件。因此’來自多個感測器之影像資料可心：至：示器 . 呈現㈣於在顯示器件處顯示。 〜、處理且 - 纟-特定實施例中，第一 S夺序資料42〇 脈相關聯，第-感測器影像資料422可;;像素時 關聯，第二時序資料430可與 、大小相 二感測器影像資料咖第了脈相關聯，且第 I、弟一像素大小相關聯。合 器406結合第一時序資料42〇 田名口合 ^ 感測器影像資料422、 ::ΓΓ 感測器影像資料432以產生同步資 科订時1-影像資料之第一行及第二影像資料之對2 結合成單一影像行。在一 、&仃 大小可為第-影像資料之中’該單-影像行之 2大小的貫質上兩倍（例如’第—像素大小或第二像素大 2兩倍）’且經結合之單一影像行之像素時脈的速率 广像素時脈或第二像素時脈之速率的實質上兩倍(例 :具有為第-像素時脈頻率或第二像素時脈頻率之兩 L的時脈頻率）。戶斤吝也+ η止·— 斤產生之同步貧料行經由結合器時序資 1 208號528及結合器影像資料信號別發送至影像信號處理 —特疋實施例中’藉由結合器206所產生之同步資料 订可提供至精簡型輸出格式器5〇6以產生經格式化資科， ^格式化資料在提供至影像信號處理器濱之前提供至 J55245.doc •15· 201207768 輸送封包化器及格式器508。 在—特定實施财，精簡型輸出格式㈣6接收結合器 時序資料信號528及結合器影像資料信號別以產生經格式 化資料。經格式化資料可包括輸出格式器時序資料信號 536、輸出格式器影像資料信號538、輸出格式器靜置資料 信號（output formatter stats data signal)54〇、輸出格式器開 始資料信號542’及輸出格式器有效資料信號⑷。在—特 定實施例中，輸送封包化器及格式器5〇8接收來自精簡型 輸出格式器506之經格式化資料536至544，且產生包括輸 送時序資料信號546及輸送影像f料信號M8之輸送資料串 流。 在一特定實施例中，暫存器介面51〇可輕接至影像信號 處理器208且编接至時脈管理器件512。在一特定實施例 。中，暫存器介面510可接收來自時脈管理器件512之時脈信 〇 且可耗接至暫存器匯流排5 72。時脈管理器件5 12經 、且態以接收第二時序資料信號430且輸出時脈信號526。在 特疋實施例中，時脈信號526為第二時序資料信號430之 頻率的實質上兩倍，以使得結合器2〇6能夠在結合來自多 個感測器之並行資料之同時維持®框處理速率。 因為來自經共同地控制之類似感測器之資料輸出具有實 質上相同的頻率及相位，所以可在影像資料之單一影像行 内發生資料串流之間的同步。因此，可使用能夠存取影像 資料之單—行的單一影像信號處理器有效地處理經結合資 料。 155245.doc

S -16- 201207768 翏看圖6，插繪贫一心 串流與第二影像感影I感測器之輸出端處的第-資料 以形成同步資料行第一貢枓串流經結合 指定為6〇〇。帛、 狀圖解表示且將其-般地 弟—感測器（諸如，圖2夕筮-, 對應於影像之第 ®之第-感測器202)產生 測器（諸如，圖2之^ 第—資料串流6〇2。第二感 影像資料的第Sr—生對應於影像之第二 料與來自第^ = 來自第—資料串流6〇2之資 端資料串流_。之資料經結合以形成資料輸出 在 特疋貫'施例中，楚 -影像資料之第一^ 6〇2包括與影像之第 包括與影像之第-&像"聯的貪料’且第二資料串流604 資_=^^：相_資料。第-二行帝引估 订索引值之行資料610、具有第 二：行資料612、具有第三行㈣值之行資料 及具有第四行索引值之行資料616 6㈣括第-資料,流之行資料的對應行資第料:= 第一行索引值之對應行資料㈣、具有第二行索引值之對 應行資料⑵、具有t行索引值之對應行資料心^ 有第四行索引值之對應行資料626。 八 資料輸出端資料串流606包括影像之第_影像資料的第 一行與影像之第二影像資料之對應行的結合。如所說明， 第一資料串流602與第二資料串流6〇4經交錯以形成資料輸 出端資料串流606。舉例而言，資料輸出端資料串流的6包 括具有第一行索引值之經結合行資料63〇、且 ^ 八，弟二行索 155245.doc 17 201207768 引值之經結合行資料632,及具有第三行索引值之經結合 行資料634。經結合行資料63〇包括行資料61〇及對應行資 料620。經結合行資料632包括行資料612及對應行資料 622。經結合行資料634包括行資料614及對應行資料624。 可藉由在行緩衝器（諸如，圖2之行緩衝器216)内結合對應 行而產生每一經結合行630至634。 在一特定實施例中，來自第一資料串流6〇2之資料與來 自第二資料串流604之資料經結合以產生形成圖框66〇的複 數個同步資料行。圖框660可包括複數個列642，其中每一 列對應於一行索引值且儲存包括具有該行索引值之第一影 像資料行及具有该行索引值之第二影像資料對應行的同步 資料行。舉例而言，圖框660之第一列可包括經結合行資 料630,圖框660之第二列可包括經結合行資料㈣，圖框 660之第三列可包括經結合行資料634，等等。每一同步影 像資料行形成圖框660之部分，使得圖框66〇中之資料= 準。 以匹配來自該等影像感測器之影像資料之讀取次序的列 6=次序來描繪圖框_(亦即，來自影像感測器之頂部行 (行索引1)之經結合資料在圖框66〇之頂部行中，且來自影 像感測器之下一行（行索引2)之經結合資料在圖框660之下 一行中）。或者，在其他實施例中，圖框66〇之列可能不匹 配〜像資料之讀取次序’且可替代地對應於影像資料之任 何其他次序。舉例而言，圖框66〇之頂部列可對應於行索 引2,而圖框660之下一列可對應於行索引丨。圖框66〇可為 155245.doc

S •18· 201207768 可程式化的，俥徂姑铋c 心誓““該4列642中之每-者可經程式化以對 應於影像資料之行索引值中的任一者。 像實施例中，第—影像資料之第一行61〇與第一 聯，且第Λ如僮每行之像素之數目）及第一像素時脈相關 像素時脈相關跔“ 一 ”弟一像素大小及第一 第 V __2、6G4之第—感測器及 乐一感測器經組竑以垃讲 告第…* 時脈信號及共同重設信號。 田第-影像-貝料之第一行6 結合成單m 肖弟一衫像資枓之對應行620 ^’胃單—影像行之大小影像資 枓之第-行61〇或第二影像 ：影像貧 上兩倍，且經結合之單一 a:如62°之大小的實質 ^ = # ^r 〜像仃之像素時脈信號（例如， 素時脈信號）具有為第-像素時脈信號或第二像素 言，經結合行資料的時脈速率。舉例而 t , ’ 〇、有為仃資料61〇之影像大小之實 質上兩倍或對應行資料62〇之影像大小之 實 像大小。類似地，經結合行資料630之像素時。的影 有為與行資料㈣相關聯之第一=脈頻率可具 暂l· + a匕 豕I時脈k唬之頻率的眘 之頻對應行資料62〇相關聯之第：像素時脈n 貝負上兩倍的頻率，使得經結合行 素時脈頻率可與第三像素時腺信號相關聯 ^像 信號具有為第一像素時脈或第二像素 =素時脈 兩倍的頻率。 两半之貫質上 或者，在來自具有相等行大小之三個影 料經結合的實施中，同+ 心’、彳态之行資 ⑯"'Α何為行大小之實質 155245.doc -19- 201207768 上二倍’且像素時脈速率可為個別感測器之像素時脈速率 之貫質上二倍。在可具有不相等大小之任意數目個感測器 之一般狀況下’同步行大小可設定為大於或等於經結合之 行大小的總和，且像素時脈速率可經設定以使得輸出行頻 寬等於或大於輸入頻寬之總和。 可在影像信號處理器（諸如，圓2之影像信號處理器208) 處處理圖框660，以產生經處理圖框65〇。經處理圖框65〇 包括：包括來自第一影像感測器（諸如，圖2之感測器2〇2) 之第一影像資料的第一區段652、包括來自第二影像感測 器（諸如，圖2之感測器204)之第二影像資料的第二區段 654,及間隙區段656。間隙區段656可包括安置於第一區 段652與第二區段654之間的非影像資料。 在-特定實施例中，第-區段652包括第一影像資料之 一行，且第二區段654包括帛二影像資料之對應行。在一 特定實施例中，間隙區段656可用於邊緣濾波且可包括 寬度為大致五個像素之黑色間隙。作為另一實例，間隙區 段656可添加在多個行之間，且具有等於内插核心 (interpolation kernel)之大小戎雜士 岁 ^ )入J次錯由影像信號處理器應用於 圖框650之最大二維濾波器之大小的大小。 在一特定說明性實施例中，可自第—區段…或第二區 段654收集—自動曝I自動聚焦及自W平衡之统 計，第-區段652或第二區段654中之任一者可為來自各別 感測器中之一者的完整影像。因此， 用於自動曝光、自動 ^焦及自動白平衡之統計可自最终影像之—半（例如，第 155245.doc

S •20- 201207768 一區段652)收集且可應用於兩個感測器，此係由於兩個感 測器正接收實質上相同的時序資訊。因而，來自多個感測 器之資料輸出具有實質上相η a貝上相冋的頻率及相位，使得可在影 像之影像資料之一影像行内發生同步。 圖框650可儲存於記憶體中，該記憶體整合於至少—個 半導體晶粒中。圖框650可儲存於記憶體中，該記憶體併 入至遠如以下各者之消鲁并丨 為費i電子器件中：機上盒、音樂播 放器、視訊播放器、娛樂單元、導航器件、通信器件、個 人數位助理（職）、固定位置資料單元及電腦。該等電子 器件可利用影像處理方法，包括處理來自多個感測器之影 像資料的3D應用程式。 看圖^繪第—影像感測器之輸出端處的第-資料 串流與第二影像感测器之輸出端處之第二資料串流經結合 以开）成同步資料行的笛_总 的第一貫施例之圖解表示且將其一般地 指定為700。第一咸也丨。。，a 感測益（諸如，圖2之第一影像感測器2〇2) 產生對應於影像之笛 像之第—影像資料的第一資料_流702。第 -感測(諸如，m 之第二影像感測器204)產生對應於影 像之第二影像資料的笛_次n λ ▲ 的第一貝料串流704。來自第一資料串 流7 0 2之資料盘央白结# 第二資料串流7〇4之資料經結合以形 資料輸出端資料串流7〇6。 一=特疋實知例中，第__資料串流繼包括與影像之第 勺Γ ^資料之第—行相關聯的資料，Α第二資料串流704 包括與影像之第-a & 衫像資料之對應行相關聯的資料。第_ 資料串流702包括具有第一行索引值之行資料71〇、具有第 155245.doc •21- 201207768 二行索引值之行資料712、具有第三行索引值之行資料 714，及具有第四行索弓丨值之行資料716。第二資料串流 704包括第一資料串流之行資料的對應行資料，包括具有 第一行索引值之對應行資料72〇、具有第二行索引值之對 應行資料722、具有第三行索引值之對應行資料724，及具 有第四行索引值之對應行資料726。 資料輸出端資料串流706包括影像之第一影像資料的第 一灯與影像之第二影像資料之對應行的結合。如所說明， 第一資料串流702及第二資料串流7〇4與間隙區段7〇8交錯 以形成資料輸出端資料串流7〇6。舉例而言，資料輸出端 資料串流706之所說明部分包括具有第-行索引值之經結 α行資料730、具有第二行索引值之經結合行資料732，及 具有第三行索引值之經結合行資料734。經結合行資料730 包括藉由間隙區段7〇8與對應行資料72〇分離之行資料 Η0。經結合行資料732包括藉由間隙區段7〇8與對應行資 料722分離之行資料712。經結合行資料734包括藉由間隙 Q& 708與對應行資料724分離之行資料714。可藉由在行 =器（諸如，圖2之行緩衝器216)㈣合對應行與對應行 曰的間隙區段708而產生每-經結合行730至734。 自定實施例中’來自第一資料串流7〇2之資料與來 個π:資：串流7〇4之資料結合以產生形成圖框740的複數 =資料行。圖框74。可包括複數個列742，其中每一列 钭索引值’且健存具有該行索引值之第一影像資 儲存具有該行索引值之第二影像資料對應行。舉 I55245.doc

S -22 201207768 例而言，圖框740之第一 740之第二列可包括經結4=^合^料73()’圖框 可包括經結合行資料734,等了二 準。 寺荨，使#圖框740令之資料對 在—特定實施例中，坌 像素大小⑽如，每行之像料之第—行710與第一 聯，且第-旦’德咨 。之數目）及第一像素時脈相關 :第1像資料之對應 像素時脈相闕聯4生資 ㈣幻、及第- 第二咸.¾丨串流702、704之第一感測器及 4 = g以接收共料脈信號及共同重設信號。 二：像：料之第一行71。與第二影像資料 ^成早-影像行時，該單—影 料之第一行7 』马第衫像貝 兩卜Μ 像貝料之對應行720之大小的大致 如， I像仃之像素時脈信號（例 像辛B^信號）具有為第—像素時脈信號或第二 像素時脈信號之時脈祙產 ' 大致兩倍的時脈速率。舉例而 ^經結合行資料730可具有為行資料川之影像大小之大 兩倍或對應行資料720之影像大小之大致兩倍的影像大 :。類似地’經結合行資料73〇之像素時脈頻率可具有為 與行資料710相關聯之第一像素時脈信號之頻率的大致兩 倍或與對應行資料720相關聯之第二像素時脈信號之頻率 的大致兩倍的頻率’使得經結合行資料73〇之像素時脈頻 率可與第三像素時脈信號相關聯，第三像素時脈信號具有 為第-像素時脈或第二像素時脈之頻率之大致兩倍的頻 率。 155245.doc -23- 201207768 每一間隙區段708可包括非影像資料。在一特定實施例 中，藉由間隙區段708所形成的在圖框74〇中之非影像資料 區域可用於邊緣濾波。間隙區段7〇8可包括寬度為大致五 個像素之黑色間隙。在其他實施例中，每—間隙區段7〇8 具有等於内插核心之大小或藉由影像處理器（諸如’圖2之 影像處理器208)應用於圖框740之最大二維濾波器之大小 的大小。可藉由該影像處理器處理圖框74〇以產生扣影 像。 / 參看圖8，描繪說明來自第一感測器之第一資料串流與 來自第二感測器之第二資料串流之間的兩行相位差之相位 圖之第一實施例的圖解表示且將其一般地指定為8〇〇。第 一感測器（諸如，圖2之第一感測器2〇2)產生第一資料串 流，第一資料串流包括第一感測器第一行資料8〇2、第一 感測器第二行資料804，及第一感測器第三行資料8〇6。第 一感測器（諸如，圖2之第二感測器204)產生第二資料串 流，第二資料串流包括第二感測器第一行資料812、第二 感測器第二行資料814，及第二感測器第三行資料810。來 自第一資料串流之資料與來自第二資料串流之資料經結合 以形成經結合行82〇。在圖8中所說明之特定實施例中，說 明第一行資料、第二行資料及第三行資料。或者，可產生 任何數目個行資料（例如’如圖6及圖7中所說明之720個 行）。 在圖8之特定實施例中，在第一資料串流之資料與第二 _ 节之資料之間存在兩行相位差。舉例而言，藉由結 155245.doc

S -24- 201207768 合器（諸如，圖2之結合器216)可在第—紅 仃相位期間接收第 一感測器第一行資料802 ’可在第二行相 丁相位期間接收第一 感測器第二行資料804，且可在第三行相 订相位期間接收第一 感測器第三行資料806及第二感測器第—a ^ 仃資料812。因 而，在第一感測器第一行資料802與第二感測器第一行資 料812之間存在兩行相位差。 經結合行820包括影像之第一影像資料的第一行與影像 之第二影像資料之對應行的結合。如所說明，第一資料串 流與第二資料串流經交錯以形成經結合行82〇。舉例而 舌，經結合行820包括具有第一感測器第一行資料及第 二感測器第一行資料812之經結合行資料822，具有第一感 測器第二行資料804及第二感測器第二行資料之經結合 行資料824’及具有第-感測器第三行資料嶋及第二感測 器第三行資料816之經結合行資料826。可藉由在行緩衝器 (諸如，圖2之行緩衝器216)内結合對應行而產生每一經結 合行822至826。行緩衝器可經組態以在同步資料行（例 如’經結合行資料822)被產生之前緩衝自第一影像感測器 所接收之下一資料行（例如，第一感測器第二行資料8〇4)的 至少一部分。因而’來自多個感測器之具有兩行相位差之 資料輸出可經結合，使得可在影像之影像資料之一影像行 内發生同步。 參看圖9 ’描繪說明來自第一感測器之第一資料串流與 來自第二感測益之帛二冑料串流之間的一行相位差之相位 圖之第一實施例的圖解表示且將其一般地指定為9〇〇。第 155245.doc -25- 201207768 -感測器(諸如，圖2之第一感測器2〇2)產生第一資料串 流，第-資料串流包括第一感測器第一行資料9〇2、第一 感測器第二行資料904、第一感測器第三行資料刪，及第 -感測器第四行資料908。第二感測器(諸#，圖2之第二 感測器綱）產生第二資料串》，第二資料串流包括第二感 測器第-行資料912、第二感測器第二行資料914、第二感 測器第三行資料916’及第二感測器第四行資料叩。來自 第-資料串流之資料與來自第二資料串流之資料經結合以 形成經結合行920。在圖9中所說明之特定實施例中，說明 第-行資料、第二行資料、第三行資料及第四行資料。或 者，可產生任何數目個行資料（例如，如圖6及圖7中所說 明之720個行）。 /圖9之特定實施例中，在第_資料串流之資料與第三 資料串流之資料之間存在一行相位差。舉例而言，藉由社 合器(諸如，圖2之結合器216)可在第—行相位期間接收第 -感測器第-行資料902,且可在第二行相位期間接收第 -感測器第二行資料904及第二感測器第-行資料912。因 而，在第-感測器第-行資料902與第二感測器第_行資 料912之間存在一行相位差。 經結合行920包括影像之第-影像資料的第一行與影像 之第二影像資料之對應行的結合。如所說明，第一資料串 流與第二資料串流經交錯以形成經結合行92〇。舉例而 言，經結合行920包括具有第一感測器第一行資料9〇2及第 二感測器第一行資料912之經結合行資料922，具有第一感 •26· 155245.doc

S 201207768 測器第二行資料904及第二感測器第二行資料914之經結合 行資料924，具有第一感測器第三行資料9〇6及第二感測器 第三行資料916之經結合行資料926，及具有第一感測器第 四行資料908及第二感測器第四行資料918之經結合行資料 928。可藉由在行緩衝器（諸如，圖2之行緩衝器216)内結合 對應行而產生每一經結合行922至926。因而，來自多個感 測器之具有一行相位差之資料輸出可經結合，使得可在影 像之影像資料之一影像行内發生同步。 參看圖10，描繪說明用於複數個感測器中之每一者之紅 綠藍（RGB)資料且說明同步資料行的圖解表示且將其一般 地指定為1000。在圖1〇中所說明之實施例中，第一感測器 (諸如，圖3之第一感測器202)產生第一資料串流，第一資 料串流包括第一感測器第一行資料1〇〇2、第一感測器第二 仃資料1004，及第一感測器第三行資料1〇〇6。第二感測器 (諸如，圖3之第二感測器204)產生第二資料串流，第二資 料串流包括第二感測器第一行資料1〇12、第二感測器第二 行資料1014,及第二感測器第三行資料1〇16。第三感測器 (諸如，圖3之第N感測器305)產生第三資料串流，第三資 料爭流包括第三感測器第一行資料1〇22、第三感測器第二 行資料1024,及第三感測器第三行資料1〇26。來自第一資 料串μ之資料、來自第二資料串流之資料與來自第三資料 串流之資料經結合以形成經結合行1〇2〇。 作為一說明性實例，根據拜耳濾波器圖案（Bayer fiUer 1022中之每一者包括

Pattern) ’ 第一行資料 1002、ι012、 155245.d〇c -27. 201207768 交替之紅色及綠色像素值，第二行資料1004、1G14、1024 中之每者包括交替之綠色及藍色像素值，且第三行資料 1〇〇6、1〇16、1()26中之每—者包括交替之紅色及綠色像素 值。 如所說明’第一資料串流、第二資料串流與第三資料串 流經交錯以形成經結合行資料串流丨〇2〇。舉例而言，經結 s行資料串仇1020包括具有第一感測器第一行資料1 〇〇2、 第二感測器第一行資料1〇12及第三感測器第一行資料1〇〇2 之經結合行資料1040，具有第一感測器第二行資料1004、 第二感測器第二行資料1014及第三感測器第二行資料1〇24 之經結合行資料1〇5〇，及具有第一感測器第三行資料 1〇〇6、第二感測器第三行資料1016及第三感測器第三行資 料1026之經結合行資料1060。可藉由在行緩衝器（諸如， 圖3之行緩衝器216)内結合對應行而產生每一經結合行 1040至1〇6〇。每一經結合行1040至1060可包括自待在影像 4吕號處理器（諸如，圖3之影像信號處理器208)處解馬赛克 的其各別感測器行資料所讀取之原始像素（例如，r、G及 B)值。因而，來自多個感測器之資料輸出可經結合，使得 可在影像之影像資料之一影像行内發生同步。 儘管圖10將原始像素值說明為包括根據拜耳濾波器圖案 之RGB資料’但在其他實施例中，來自該等感測器之行資 料可能不包括拜耳RGB像素值。舉例而言，作為說明性非 限制實例，該等感測器可替代地提供：亮度、藍色色差色 度、紅色色差色度（YCbCr)值；青、黃、綠及洋紅（CYGM) 155245.doc

S 201207768 值；紅、綠、藍及翠綠（RGBE)值；紅、綠、藍及白 (RGB W)值，或任何其他類型之值。或者或另外，該等嘎 測器中之一或多者可實施全色胞元（panchr〇lnatic ceU)、残 光器之群組之上的微透鏡、垂直彩色濾光片，或能夠逐行 讀出原始影像資料之任何其他感測器技術。 參看圖11，描繪說明與具有多個感測器之裝置相關聯的 信號時序之時序圖的特定實施例且將其一般地指定為 1100 »該等信號包括第一感測器之圖框有效（FV)信號11〇2 及行有效（LV)信號1104，第二感測器之FV 1106及LV 1108，及第三感測器之ρν 1110及LV 1112。在一特定實施 例中’第一感測器、第二感測器及第三感測器可為圖3之 第一感測器202、第二感測器204及第三感測器305。亦結 合經結合之行有效/資料信號1116及行負載（LL)信號1118來 說明經結合之圖框有效信號1 Π 4 » 在一特定實施例中，信號1114至1118對應於與圖框（諸 如’藉由結合器所產生之圖6之圖框660)之一或多個同步 資料行相關的信令，且信號1102至1112對應於在該結合器 處所接收之信令。如所說明，自第一感測器接收第一行資 料1120、第二行資料1122及第三行資料1124，自第二感測 器接收第一行資料1130、第二行資料1132及第三行資料 1134 ’且自第三感測器接收第一行資料1140、第二行資料 1142及第三行資料1144。 在第一行資料1120及第一行資料1140之前自第二感測器 接收第一行資料1130。將第一行資料1130與第二行資料 155245.doc •29· 201207768 1120之接收之間的相位差說明為第一相位差118〇。在第三 感測器之第一行資料1140之前接收第一感測器之第一行資 料1120，且將第一感測器之第一行資料112〇與第三感測器 之第一行資料1140之接收之間的相位差說明為第二相位差 1182。來自該等感測器中之每一者之行資料可遵循對應圖 框有效彳§號之上升緣’從而指示經由影像資料行所接收之 資料為來自每一特定感測器的有效行資料，如所說明，經 結合之圖框有效行1114保持低位準’從而指示非有效資 料’直至諸如在圖2之結合器206處已接收第一行資料 1120、1130及1140中之每一者之後為止。在已接收第一行 1120、1130及1140中之每一者之後，經結合之圖框有效信 说1114上升以指示行有效信號1116上之有效資料。結合在 LL行1118上所確證之有效信號產生第一同步資料行115〇。 在產生第一同步行資料1150之後’經結合之圖框有效信號 1114保持於有效狀態中，而ll信號1118返回至非有效狀 態’在此之後於產生第二同步資料行1160後，LL信號1118 即返回至有效狀態，在產生第二同步資料行丨丨6〇之後產生 第三同步資料行1170。 參看圖12，描繪說明來自第一感測器之第一資料串流、 來自第二感測器之第二資料串流與來自第三感測器之第三 資料串流之間的三行相位差之相位圖之第一實施例的圖解 表示且將其一般地指定為12〇〇。第一感測器（諸如，圖3之 第一感測器202)產生第一資料串流，第一資料串流包括第 —感測器第一行資料1202、第一感測器第二行資料1204、 155245.doc

S •30· 201207768 第一感測器第三行資料丨206，及第一感測器第四行資料 1208。第二感測器（諸如，圖3之第二感測器2〇4)產生第二 資料串流，第二資料串流包括第二感測器第一行資料 1212、第二感測器第二行資料1214、第二感測器第三行資 料1216，及第二感測器第四行資料1218。第三感測器（諸 如，圖3之第N感測器305)產生第三資料串流，第三資料串 流包括第三感測器第一行資料丨222、第三感測器第二行資 料1224、第二感測器第三行資料丨226，及第三感測器第四 行資料1228。來自第一資料串流之資料、來自第二資料串 μ之-貝料與來自第二資料串流之資料經結合以形成經結合 行1220❶在圖12中所說明之特定實施例中，說明第一行資 料、第二行資料、第三行資料及第四行資料。或者，可產 生任何數目個行資料（例如’如圖6及圖7中所說明之72〇個 行）0 在特疋貫施例中，在第一資料串流之資料 Λ 串流之資料與第三資料串流之資料之間存在三行相位差 舉例而言，藉由結合器（諸如，圖2之結合器216)可在第 行相位期間接收第三感測器第—行資料1222,可在第二 相位期間接收第-感測器第—行資料12〇2及第三感測器 二行資料而，可在第三行相位期間接收卜感測器第 仃貧料_第三感測器第三行資料㈣，且可在第四 相位期間接收第一感測器第三行資料、第二感測器 一行資料1212及第三感測器第四行資料測。因而，在 -感測器第-行資_、第二感測器第一行資料ΐ2ΐ2 155245.d〇c -31 - 201207768 第三感測器第一行資料1222之間存在三行相位差。 經結合行mo包括影像之第—影像資料的第—行與影像 之第二影像資料之對應行，與影像之第三影像f料的结 合。如：說明，第一資料串流、第二資料串流與第三資料 串流經交錯以形成經結合行122〇。舉例而言，經結合行 1220包括具有第—感測器第-行資料12G2、第二感測器第 一行資料1212及第三感測器第一行資料1222之經結合行資 料1232，具有第一感測器第二行資料1204、第二感測器第 二行資料1214及第三感測器第二行資料1224之經結合行資 料1234，及具有第一感測器第三行資料12〇6、第二感測器 第三行資料1216及第三感測器第三行資料1226之經結合行 資料1236。可藉由在行緩衝器（諸如，圖3之行緩衝器216) 内結合對應行而產生每一經結合行1232至1236。因而，來 自多個感測器之具有三行相位差之資料輸出可經結合，使 得可在影像之影像資料之一影像行内發生同步。 參看圖13，描繪用以結合來自多個感測器之資料以產生 3 D資料之影像處理系統的特定說明性實施例且將其一般地 指定為1300。影像處理系統1300包括第一影像感測器13〇2 及第一影像感測器1304。影像處理系統13〇〇進一步包括結 合器1306及影像處理器1308。影像處理器1308耦接至顯示 器件1310。結合器1306包括至少一個行緩衝器1312。影像 處理系統1300可整合於至少一個半導體晶粒中。 第一影像感測器13 02經組態以產生第一資料串流，說明 為第一影像資料串流1314 ’且第二影像感測器13〇4經組態 •32· 155245.doc

S 201207768 以產生第一資料串流，說明為第二影像資料串流丨3丨6。在 一特定實施例中，第一影像資料串流1314可與第二影像資 料串流1316非同步。第一影像感測器13〇2及第二影像感測 器1304可為實質上類似的影像感測器，第一影像感測器 1302與第二影像感測器13〇4彼此獨立且可接收來自處理器 (例如，結合器1306或影像處理器13〇8)之共同控制信號以 產生緊密地對準之影像資料_流1314、1316。舉例而言， 影像資料串流1314、13 16可具有實質上相同的時序特性， 諸如頻率及相位。因為該共同控制信號可藉由處理器（諸 如）經由圖2之信號同步器23〇產生，所以影像感測器 13〇2、13〇4中之每一者可直接回應於該單一處理器且藉由 該單一處理器控制。儘管已展示兩個影像感測器13〇2、 1304，但應理解，兩個以上影像感測器可供影像處理系統 1300使用。 結合器1306係回應於第一影像資料串流1314及第二影像 資料串流1316。結合器1306經組態以在行緩衝器1312内結 合來自第一影像資料串流1314之資料與來自第二影像資料 串流13 16之資料。在一特定實施例中，行緩衝器1312經組 態以使來自第一影像感測器1302之第一資料與來自第二景^ 像感測器1304之第二資料對準。在一特定實施例中，結人 器1306係回應於儲存於行緩衝器13 12内之資料且將圖枢資 料1318提供至影像處理器1308。在一特定實施例中，圖框 資料1318可包括影像資料之複數個列，其中每—列為來自 每一感測器1302、1304之對應列的結合，諸如關於圖3所 155245.doc •33· 201207768 描述。 影像處理器1308經組態以處理圖框資料13 18且將經處理 圖框資料1320輸出至顯示器件1310。經處理圖框資料1320 可具有3D影像格式或3D視訊格式。 顯示器件13 1 0回應於接收經處理圖框資料13 20而呈現且 顯示影像資料。因此，來自多個影像感測器之影像資料可 經結合、處理且接著呈現以用於在顯示器件131〇處顯示。 在一特定實施例中’顯示器件丨3 1 〇可與影像處理器丨3〇8解 耦以不直接回應於影像處理器丨3〇8。舉例而言，顯示器件 1310可為與影像處理器13 08分離之器件。 因為自經共同地控制之類似影像感測器13〇2、13〇4所接 收之資料可具有實質上相同的頻率及相位，所以可在影像 資料之單一影像行内發生資料串流1314、1316之間的同 步。在一特定實施例中，行緩衝器丨3丨2可針對未對準之最 差狀況定尺寸（亦即，若同步未對準為三行，則行緩衝器 13 12應經定大小以儲存至少六行）。結果，可使用單一影 像處理器1308有效地處理經結合資料。因此，與多處理器 系統相比較（例如，向每一感測器指派一處理器），總影像 系統成本及複雜性可減小。 多個實施例可經組態以提供3 D /立體影像及/或視訊資 料。舉例而言，在一種此類實施例中，第一影像感測器 1302及第二影像感測器1304可並排地定位，以便提供左/ 右（立體）影像。藉由結合器1306所提供之信號被接收且可 藉由影像處理器13〇8處理以產生3D影像。使用者命令可允 155245.doc •34· 201207768 許影像處理器_接收且處理來自僅單_感測器（ 第一影像感測器13〇2或第二影像感測器⑽）之資料，以 替代於產生3D影像而產生二維（2D)影像。 厂' 具有用於單一相機之輸入的影像處理器(諸如，影像處 理器1308)能夠藉由使用由結合器13〇6所提供之來自兩個 相機之經結合資料來處理可用於3D處理的資料。影像處理 器1308可接收來自結合器讓或來自儲存來自 之影像資料之記憶體㈣像㈣。在_種此類實施例中， 影像處理器1308將所接收之影像資料處理為2d影像/視訊 資料’使得藉由影像處理器丨之後續處理基於來自影像 處理器1308之經處理資料提供3D立體影像/視訊串流。或 者，影像處理器1308可經組態以基於所接收之影像資料直 接提供3D立體影像/視訊串流。在—實施例中，3β俘獲系 統包含實施為第一積體電路之結合器13〇6及實施為第二積 體電路之影像處理器13〇8。第一積體電路與第二積體電路 可（例如）藉由争列、並列或I2C匯流排中之一或多者連接。 結合影像資料串流1314、1316以產生圖框資料1318使得 影像處理器1308能夠執行用於多相機3D處理之格式化，即 使影像處理器1308具有單—相機輸入仍如此。結果，與使 用單獨處理器用於每一相機或使用具有多個相機輸入之處 理器的系統相比較，系統13〇〇可以減小之成本來實施。 參看圖14，描繪說明具有用以結合來自多個影像感測器 之資料之影像處理系統的行動器件的各種實施例之圖解表 示且將其一般地指定為14〇〇。在14〇2處所說明之特定實施 155245.doc -35- 201207768 =，：動器件包括具有兩個鄰近相機之陣列的影像處理 夕二·處所說明之特定實施例中，行動器件包括具 有以同軸（m-nne)組態配置 ' !所2 :數目個相機可以同轴組態配置。在“。6 歹特定實施例中，行動器件包括具有3x3相機陣 列的影像處理系統。在】彻處所說明之特定實施例中，行 動^件包括具有5X5相機陣列的影像處理系統。或者，任 何數目個相機可以二維陣列配置。 參看圖15，說明藉由多個相機或影像感測器所俘獲之影 像之陣列的實例且將其一般地指定為测。如圖Η中所說 明’藉由-相機所俘獲之影像可與藉由其他相鄰相機所俘 獲之影像重疊。在將藉由該等相機中之每一者所俘獲的影 像結合成單一影像時，影像重疊可為有用的。在圖15中所 說月之特疋實施例中’陣列15〇〇對應於相機或影像感測器 之4 4陣列。或者，任何數目個相機可以二維陣列配置（例 如，如圖18及圖19中所說明之5χ5陣列）。 每-相機俘獲陣列15〇〇之單一相機影像。在圖Η中所說 明之實施例中，陣列15〇〇為4χ4陣列。因而，陣列Η⑼包 括第-列15G2、第二列15〇4、第三列咖及第四列测。 此外’陣列_包括第一行151〇、第二行1512、第三行 及第四行15 16。作為一說明性實例，可藉由對應於第 一列1502及第四行1516之相機俘獲單一相機影像Μ”。單 相機景/像15 18可與藉由相鄰胞元之其他相機所俘獲之相 機〜像重疊》在對應於第一列15〇2及第四行i5i6之相機之 155245.doc

S •36· 201207768 狀況下’相鄰胞元之相機可包括對應於第一列15〇2及第三 行1514之相機、對應於第二列1504及第三行1514之相機， 或對應於第二列15〇4及第四行1516之相機。舉例而言，單 一相機影像重疊1520可與藉由對應於第一列15〇2及第四行 1516之相機所俘獲之單一相機影像1508相關聯。圖15說明 列1502至1508中之每一者的每一相機及行151〇至1516中之 母一者的每一相機之絕對對準的理論狀況。因而，與藉由 對應於相鄰列（例如，第二列15〇4)之相機所俘獲的影像之 影像重疊可相同於與藉由對應於相鄰行（例如，第三行 1 5 14)之相機所俘獲的影像之影像重疊。 可依特定水平解析度（rH_res」）俘獲個別影像。為了說 明，水平解析度1 522可與藉由對應於第一列丨5〇2及第四行 1516之相機所俘獲之單一相機影像1518相關聯。圖15說明 在每一相機具有相同水平解析度1522之情況下影像重疊之 理論狀況。因而，可基於個別相機之水平解析度丨522與一 列_胞元之數目（「η」）的結合而計算總水平解析度 1524(亦即’在列1502至1508中之每一者中的像素之數 目）。在圖15之4x4陣列1500之狀況下，在每一列中存在四 個胞元（亦即’與行1510至1516中之每一者相關聯的胞 元）。總水平解析度1524可考量影像重疊。舉例而言，總 水平解析度1524可計算為H_res*n-overlap*(n-2)，其中 「overlap(重疊）」指示鄰近影像之重疊像素的數目。可執 行類似計算以判定總垂直解析度。 圖15說明具有相同影像重疊之每一相機之絕對對準的理 155245.doc •37- 201207768 二=個別相機所俘獲之影像之間的影像重疊 像=眘說明藉由多個相機或影像感測器所俘獲之影 的實例且將其一般地指定為_。如圖16中所說 二=相機所俘獲之影像可與藉由其他相鄰相機所俘 =1疊:在將藉由該等相機中之每-者所俘獲的影 說明之W像時，影像重疊可為有用的。在圖16中所 :·疋實施例中’陣列1600對應於相機或影像感測器 Χ4Ρ列。或者，任何數目個相機可以二維陣列配置。 圖16說明歸因於機械約束’達成在列或行上相機之絕對對 準（如圖15中所說明）可能並非可行的。 陣列1600之每一影像可具有其自己之旋轉刪、移位 1604及傾斜（未圖示）。一或多個定位容限1祕可與每一影 象相關聯定位谷限丨嶋可包括旋轉容限、移位容限、傾 斜容限或其結合。在將藉由該等相機中之每一者所俘獲的 景/像、”。a成單影像時，影像重疊可為有用的。圖】6說明 在、.’σ σ該等影像時所使用之影像重疊可考量由與建置器件 相關聯之機械約束引^的每—影像之旋轉⑽2、移位】⑽ 及傾斜。一旦器件被建置，則影像重疊可為已知且穩定 的因❿，影像重疊可經量化且可在賴後階段校正。 參看圖17，說明相機陣列及與該陣列相關聯之電連接的 特疋實施例且將其一般地指定為丨7〇〇。圖丨7說明陣列丨7〇〇 之每一相機具有第一類型之介面（亦即，資料介面17〇2)及 第一類型之介面（亦即，控制介面丨7〇4)。在圖丨7中所說明 155245.doc •38· 201207768 之實施例中，陣列1700包括3x3相機陣列。或者，陣列 1700可包括以4x4陣列配置之相機（例如，圖15及圖16之陣 列1500、1600) ’或以二雄陣列配置之任何其他數目個相 機。 資料介面1702可包括串列資料匯流排（例如，行動產業 處理器介面（Mobile Industry Processor Interfaee)或標準行 動成像架構介面（Standard Mobile Imaging Architecture interface))。圖π中之資料介面17〇2係與陣列17〇〇之第一 列1706、陣列1700之第二列17〇8及陣列17〇〇之第三列i7i〇 相關聯。與資料介面1702相關聯之行可用以收集待並列地 處理的來自列1706至171〇中之每一者中之相機的資料。作 為一說明性實例，針對高達5百萬像素（mpix)之解析度及 每秒十個圖框，可能需要四根導線（例如，差分資料及時 脈）。 在圖17之說明性3x3陣列17〇〇中，該等列^“至口⑺中 之每一者包括陣列ποο之第一行1712中的相機、陣列17〇〇 之第二行1714中的相機，及陣列17〇〇之第三行1716中的相 機。因此，資料介面1702可用以收集待並列地處理的來自 九個相機的資料。 控制介面1704可包括用以同步陣列17〇〇中之所有相機之 行。舉例而言，控制介面行可與時脈、重設及nc通信相 關聯。在圖17之說明性3x3陣列1700中，控制介面17〇4可 用以同步陣列1700之九個相機。 參看圖18，說明相機陣列處理系統之特定實施例且將其 155245.doc -39- 201207768 二般地指定為1800。纟所得影像資料結合成最終影像之 前，陣列1802中之所有相機可回應於共同控制信號，對準 且處理在圖1 8中所說明之實施例中，陣列丨8〇2包括5x5 相機陣列。或者’陣列1802可包括以二維陣列配置之任何 其他數目個相機（例如，圖17之3><3陣列17〇〇)。 陣列1 8 0 2中之所有相機可用使用單一〗s p管線之並行影 像感測器支撐的方法來同步。此外，相機之每一列可使用 對準方法來對準。亦即，影像之一列可被收集、以相同次 序對準’且發送以用於處理為具有大小inline之單一行， 其中η為一列中之相機的數目且Hne(行）為一相機之水平大 小（亦即，如圖15中所描述之rH_res」）。圖18中所說明之 5x5陣列1802包括第一列18〇4、第二列18〇6、第三列 1808、第四列181〇及第五列1812。此外，5χ5陣列18〇2包 括第一行1814、第二行1816、第三行1818、第四行182〇及 第五行1822。該等列1804至1812中之每一者可在視訊前端 (VFE)組件處針對顏色並列地處理，且可在圖形處理器或 圖形處理單元（GPU)組件處處理該等列1804至1812中之每 一者以對準且修整一列中之每一個別影像。在修整及對準 之後，可執行GPU處理以將列1804至1812中之全部結合在 一起’從而產生最終影像。 第一列1804可與第一對準區塊1824相關聯，第二列18〇6 可與第二對準區塊1826相關聯，第三列1808可與第三對準 區塊1 8 2 8相關聯’第四列1810可與第四對準區塊18 3 〇相關 聯’且第五列1812可與第五對準區塊1832相關聯。為了說 155245.doc •40- 201207768 明，第-對準區塊1824可經調適以收集來自第一列篇中 之每相機（亦即，陣列1802之五個行1814至1822中之五 個相機）的〜像資料行。第一對準區塊！ 824可經調適而以 相同次序對準該等影像資料行且發送該等影像資料行以用 於處理為單—行°第—對準區塊1824可經調適以將用於處 理為早—行之影像資料行發送至第-V F E組件1 8 3 4以針對 顏色進仃處理’諸如關於圖2、圖3及圖5之結合器206所描 述一可基於相機之數目(亦即，五個相機)及第一列刚4中 之母相機的水平大小（亦即，如圖15中所描述之 「H_res」）來判定該單一行之大小。 —第一對準區塊1826可經調適以收集來自第二列Μ%中之 母，i目機之影像，以相同次序對準該等影像，且將用於處 理為早一仃之影像發送至第二VFE組件1836。第三對準區 塊ms可經調適以收集來自第三列^麵中之每一相機之影 像育，行’以相同次序對準該等影像資料行，且將用於處 為單行之影像資料行發送至第三VFE組件1838。第四 準區鬼183G可經調適以收集來自第四列18附之每一相 機v像資料行’以相同次序對準該等影像資料行，，且將 用於處理為單—行之影像資料行發送至第四VFE组件 1請：二五對準區塊1832可經調適以收集來自第五列i8i2 母才目機之影像資料行，以相同次序對準該等影像資 vH將心處理為單―行之影像資料行發送至第五 VFE 組件 1842。 v 控制同步區掄1 5Μ4-Γ » 鬼1844可用以按類似於感測器同步器23〇之 155245.doc -41 - 201207768 方式同步陣列贈之該等相機中之每一者（亦即，在圖a 之說明性5X5陣列1802的狀況下為二十五個相機)。在一特 定實施例中，控制同步區塊1834可實施圖17之控制介面 17〇4。控制同步區塊1844可以通信方式耦接至陣列⑽2之 該等相機中之每一者且至VFE組件1834至1842中的每一 者。陣列18G2中之所有相機之同步可允許高解析度上之滾 動快門（rolling shutter)的使用。由於所有相機可同時讀' 出，故滾動快門效應可減小（隨著陣列之大小卜舉例而 言，在圖18之5><5陣列_中，二十五個相機之同步可減 小與互補金氧半導體（CM0S)相機相關聯之滾動快門效 應。 第一 VFE組件1834可以通信方式耦接至第一 GPU組件 18 4 6以對準且修整第一列丨8 〇 4中之每一個別影像（亦即， 藉由五個行1814至1822中之相機所俘獲之五個影像）。第 二VFE組件1836可以通信方式耦接至第二Gpu組件1848以 對準且修整第二列1806中之每一個別影像。第三VFE組件 1838可以通彳§方式耦接至第三Gpu組件丨85〇以對準且修整 第三列1808中之每一個別影像。第四VFE組件184〇可以通 信方式耦接至第四GPU組件1852以對準且修整第四列丨8 1 〇 中之每一個別影像。第五VFE組件1842可以通信方式耦接 至第五GPU組件1854以對準且修整第五列1812中之每一個 別影像。GPU組件1846至1854中之每一者可以通信方式叙 接至GPU處理組件1856，GPU處理組件1856經調適以將列 1804至1812中之全部結合在一起，從而產生最終影像。 155245.doc

S •42· 201207768 在圖18中所說明之實施例中，對準區塊1824至1832中之 每一者係與其自己之VFE組件及其自己之gpu修整及對準 組件相關聯。因此，圖18說明該等列18〇4至1812中之每一 者可使用單獨VFE組件針對顏色並列地處理，且可使用單 獨GPU組件處理該等列1804至1812中之每一者以對準且修 整一特定列中之每一個別影像。或者，對準區塊i 824至 183 2中之每一者可與單一 VFE組件及單一 gpu修整及對準 組件相關聯（參見圖19) » 參看圖19，說明相機陣列處理系統之特定實施例且將其 一般地指定為19 0 0。在結合成最終影像之前，陣列19 〇 2中 之所有相機可經同步，對準且處理。在圖19中所說明之實 施例中’陣列1902包括5x5相機陣列。或者，陣列19〇2可 包括以二維陣列配置之任何其他數目個相機。圖丨9說明單 一 VFE組件及單一 GPU修整及對準組件可用以處理陣列 1902之所有列’而非圖18中所說明之多個vFE組件及gpu 修整及對準组件。 圖19中所說明之5x5陣列1902包括第一列19〇4、第二列 1906、第三列1908、第四列1910及第五列1912。此外， 5x5陣列1902包括第一行1914、第二行1916、第三行 1918、第四行192〇及第五行1922。第一列1904可與第一對 準區塊1924相關聯’第二列1906可與第二對準區塊1926相 關聯’第三列1908可與第三對準區塊1928相關聯，第四列 1910可與第四對準區塊193〇相關聯，且第五列1912可與第 五對準區塊1932相關聯。為了說明，第一對•準區塊1924可 155245.doc -43 - 201207768 經調適以收集來自第-列1904中之每一相機（亦即，陣列 ⑽2之五個行1914至1922中之五個相機）之影像資料行。 第-對準區塊1924可經調適而以相同次序對準該等影像 資料行且發送該等影像資料行以用於處理為單—行。=二 對準區塊1926可經調適以收集來自第二列觸中之每一^ 機之影像資料行，以相同次序對準該等影像資料行，且發 送該等影像資料行以用於處理為單―行^三對準 經調適以收集來自第三列19咐之每—相機之影像 資枓订，以相同次序對準該等影像資料行，且發送 像資料行以用於處理為單一行。第四對準區線193〇可經調 適以收集來自第四列1910中之每一相機之影像資料行，以 相同次序對準該等影像資料行，且發送該等影像資料行以 用於處理為卓' —行。莖$誓+唯re* ία 〇平仃¥五對準區塊！ 9 3 2可經調適以 自第五列1912中之每一相機之影像資料行，以相同次序對 = 等影像資料行以用於處理為 在圖19中所說明之實施例中，對準區塊1924至1932中之 每一者可經調適以將用於處理之其影像發送至單—卿组 件1934以針對顏色進行處理。該單一 vfe組件⑼理 自五個對準區塊㈣至1932所發送之五行中之每處 上文所提，可基於一4* , '特疋列中之相機的數目（亦即，五個 相機）及該特定列中之每-相機的水平大小（亦即，如圖15 中所描述之「H一res」）來判定來自特定對準區塊之單一行 的大小°因而’藉由圖19之單一 VFE組件1934所處理之多 155245.doc 201207768 個行的大小可為藉由圖18iVFE組件1834至1842中之一者 所處理的單一行之大小的五倍。 控制同步區塊1936可用以同步陣列1902之該等相機中之 每一者’諸如將共同控制信號提供至一或多個列19〇4至 - 1912中之相機。控制同步區塊1936可以通信方式耦接至陣 . 列1902之該等相機中之每一者且至該單一 VFE組件1934。 陣列1902中之所有相機之同步可允許高解析度上之滾動快 門的使用。由於所有相機可同時讀出，故滾動快門效應可 減小（隨著陣列之大小）。舉例而言，在圖丨9之5 x 5陣列 1902中，二十五個相機之同步可減小與CMOS相機相關聯 之滾動快門效應。 單一 VFE組件1934可以通信方式耦接至單一 GPU組件 1938以對準且修整該等列19〇4至1912中之每一者中之每— 個別影像。因而，與藉由圖18iGPU對準及修整組件1846 至1854中之每一者所處理的五個影像相比較，圖19之單— GPU組件1938可對準且修整二十五個影像。單一gpu組件 1938可以通信方式耦接至gpu處理組件194〇，GPU處理組 件1940經調適以將列19〇4至1912中之全部結合在一起，從 • 而產生最終影像。 • 圖20說明包括經組態以聚焦入射光2004之主透鏡2〇〇2及 以陣列2006配置之多個相機的高解析度數位相機系統 2000 »藉由結合在陣列2006中之該等相機中之每一者處所 俘獲的影像，高解析度影像可產生為複合（或「馬賽克」） 影像。舉例而言，陣列2006之該等相機中之每一者可為 155245.doc •45- 201207768 CMOS型相機或電荷耦合器件（CcD)型相機。主透鏡2002 可將所俘獲場景聚焦至平面2008(被稱作主透鏡2002之 「焦平面」或陣列2006中之相機的「物平面」），且陣列 2006中之每一相機可俘獲總影像之一部分。陣列2〇〇6之每 一相機具有一視場，該視場在平面2008處部分地重疊其相 鄰者之視場。此重疊可使得由陣列2006中之相鄰相機所拍 攝的影像能夠在逐列基礎上對準且在後續處理期間「拼 接」在一起’且可提供用於該陣列内之相機之非理想位置 及對準的容限（諸如關於圖16所描述）。 可藉由在逐列基礎上對準來自陣列2〇〇6之該等相機之影 像資料而產生複合影像。舉例而言，圖2〇之陣列so%包括 具有三個列之3x3陣列。陣列2006之一特定列（「陣列 列」）内的每—相機可包括具有以行及列配置之光伯測器 的影像感測器（「感測器行」及「感測器列」）。一陣列列 内之相機可經定位以使得感測器列實質上對準。為了說 明，一陣列列中之每一相機的第一感測器列與同一陣列列 中之每隔一個相機之相機的第一感測器列實質上對準。 在影像俘獲期間，自-陣列列中之每—相機讀取 像資料之第-感測器列，且將其提供至影像處理電 如關於圖17至圖19所描述）。根據該陣列列 之位置合併來自第一感測器列的影 ：相機 的影像資料為來自較大相機之影像資料之二=併 處理經合併之影像資料。讀取、合併第二式來 像感測器列，且將其提供至影像 二及後續影 “象處理電路以處理為複合影 155245.doc •46· 201207768 像之列。每一陣列列可與其他陣列列並列地處理。 圖20之配置可提供高解析度相機之便宜替代。舉例而 言’可使用主透鏡後方之二十個5百萬像素（mpix)之CMOS 相機來建置100 mpix相機。因為可使用多個CMOS相機來 執行影像俘獲’其中每一相機俘獲影像之一部分，所以與 俘獲整個影像之單一 100 mpiX2 CMOS相機相比較，「滾動 快門」假影可減少。 參看圖21 ’描繪多相機模組之實施之特定實施例且將其 一般地指定為2100。系統2100說明安裝於汽車上之多相機 模組，諸如如圖i至圖5中所說明之多相機模組。多相機模 組可經組態以產生用於格式化為三維影像或視訊資料之同 步行資料圖框，諸如關於圖6至圖7所描述。藉由將多相機 模組安裝至汽車之後部，可獲得三維視圖以在倒車的同時 在内部顯示器（未圖示）上向汽車之操作者提供深度感覺。 應理解，多相機模組可安裝至任何類型之車輛，而不限於 汽車。 ' 參看圖22 ’描繪將來自多個感測器之資料結合成同步資 料行之方法的特定說明性實施例之流程圖且將其一般地指 疋為2200。作為一說明性實例，方法2200可由圖2之系 統、圖3之系統、圖5之系統或其任何結合執行。 .、則Ϊ 2二可將共同控制信號提供至待同步之多個影像感 而t ’該共同控制信號可包括共同時脈信號及 Μ號’諸如圖4中所描繪之共同控制信號彻至 4 1 〇 〇 155245.doc •47· 201207768 在2204 ’可接收來自該多個影像感測器中之第一影像感 以器之第資料仃。在22〇6，可接收來自該多個影像感測 器中之第二影像感測器之第二資料行。舉例而言，第一感 測器及第二感測器可為圖2之感測器202、204。 在2208 ’該第-資料行與該第二資料行可為經結合行以 產^同步資料行。舉例而言，方法謂可包括在逐行基礎 上交錯自第一影像感測器所接收之第一資料串流與自第二 影像感測ϋ所接收之第二資料串^如關於圖5中所說明 之結合第-感測器影像資料422與第二感測器影像資料432 的結合器406所描述，可形成同步資料行。 同步資料行可形成圖植（諸如，圖6之圖框66〇)之部分。 該圖框可包括：包括爽白笛 „ , 來自第一影像感測器之第一影像資料 的第一區段（例如，第一區 匸^652)、包括來自第二影像感測 器之第二影像資料的第二區段（例如，第二區段㈣），及包 括安置於第一區段與贫_[^1+5^|_ 、第一 Q段之間的非影像資料的間隙區 段（例如’間隙區段656)。在其他實施例中，該圖框可能不 包括第-區段與第二區段之間的間隙區段。 可在完成接收第二資料行之前完成接收第-資料行，且 可在完成接收第：資料行之後產生同步資料行。作為一實 例，在已接收第二感測器第一行資料812之後產生圖8之經 結合資料行822 ^ 、 在具有兩個以上影像感測器之實施例中，可自該多個影 像感測器中之第三影像感測器接收第三資料行，諸如圖u 中所說明。第三資料行可與第-資料行及第二資料行結合 I55245.doc

•48· 201207768 以產生同步資料行，諸如圖u之第一同步資料行115〇。 參看圖23，描繪將共同控制信號提供至多個影像感測器 且經由影像處理器之單一相機輸入將同步資料行提供至影 像處理器之方法的特定說明性實施例之流程圖，且將其一 般地指定為2300。作為說明性非限制實例，方法2300可在 圖2、圖3及圖5之系統中之一或多者處執行。 在2302，可將共同控制信號提供至多個影像感測器。該 多個影像感測器中之每一者可回應於該共同控制信號以產 生影像資料。舉例而言’可藉由耦接至該多個影像感測器 中之每一者的感測器同步器（諸如，圖2之感測器同步器 230)來提供該共同控制信號。為了說明，該感測器同步器 可經由下列介面來耦接至該多個影像感測器中之每一者積 體電路間（I2C)控制介面；順應相機串列介面（csi)規範之 介面；或順應相機並列介面（cpi)規範之介面。 在2304，可接收來自該多個影像感測器中之每一者之同 步資料輸出。可自該多個影像感測器中之第一影像感測器 接收第一資料行，且可自該多個影像感測器中之第二影像 感測器接收第二資料行。可在完成接收第二資料行之前完 成接收第-資料行，且可在完成接收第二資料行之後產生 同步資料行，諸如在圖8中在已接收第二感測器第_行資 料812之後所產生的經結合資料行822。 在2306，可結合來自該多個影像感測器中之每一者之同 步資料輸出以產生同步資料行。舉例而言，圖2之結合器 206可在逐行基礎上交錯自第一影像感測器2〇2所接收之第 155245.doc -49- 201207768 一資料串流與自第二影像感測器204所接收之第_达M丄 乐一資料串 流。 在2308 ’可經由影像處理器之單一相機輸入將該同步資 料行提供至影像處理器。該同步資料行可形成具有多個列 之圖框（諸如，圖6之圖框660)的部分。舉例而古， ° 成圖框 可包括：包括來自第一影像感測器之第一影像資料的第一 區段、包括來自第二影像感測器之第二影像資料的第二區 段’及第一區段與第二區段之間的間隙區段。 參看圖24 ’描繪將共同控制信號提供至多個影像感測器 且接收來自該多個影像感測器中之每一者的同步資料輸出 之方法的特定說明性實施例之流程圖，且將其一般地指定 為 2400。 在2402，可將共同控制信號提供至多個影像感測器。該 多個影像感測器中之每一者係回應於該共同控制信號以產 生影像資料》舉例而言，可藉由耦接至該多個影像感測器 中之每一者之感測器同步器來提供該共同控制信號，感測 器同步器諸如圖2至圖5之感測器同步器23〇、圖18之控制 同步區塊1844、圖19之控制同步區塊1936或其任何結合。 在2404，可接收來自該多個影像感測器中之每一者之同 步資料輸出。該同步資料輸出可包括自第一影像感測器所 接收之第一資料行及自第二影像感測器所接收之第二資料 订。作為說明性非限制實例，來自第一影像感測器之每一 所接收資料行與來自第二影像感測器之每一對應資料行之 間的相位偏移可為實質上恆定的，諸如圖9之一行相位 155245.doc 201207768 差、圖8之兩行相位差或圖12之3行相位差。 參看圖25，描繪在多個影像感測器處接收共同控制信號 且產生來自該多個影像感測器中之每一者的同步資料輸出 之方法的特定說明性實施例之流程圖，且將其一般地指定 為 2500 〇 在2502，可在多個影像感測器處接收共同控制信號。該 多個影像感測器中之每一者係回應於該共同控制信號以產 生影像資料。舉例而言，可自耦接至該多個影像感測器中 之每一者的感測器同步器接收該共同控制信號，感測器同 步器諸如圖2至圖5之感測器同步器23〇、圖以之控制同步 區塊1844、圖19之控制同步區塊1936或其任何結合。 在2504，可產生來自該多個影像感測器中之每一者之同 步資料輸出。該同步資料輸出可包括自第一影像感測器所 接收之第-資料行及自第二影像感測器所接收之第二資料 行。作為說明性非限制實例，來自第一影像感測器之每一 所接收資料行與來自第二影像感測器之每—對應資料行之 間的相位偏移可為實質上恆定的，諸如圖9之一行相位 差、圖8之兩行相位差或圖12之3行相位差。 參看® 26 在具有用於單—相機之輸人的影像信號 處理器處結合來自多個感測器之資料之方法的特定說明性 實施例之流程圖，且將其一般地指定為26〇〇。 在2602’可在具有用於單—相機之輸人的影像處理器處 接收影像諸之行。該影像資料之每-行可包括來自藉由 第-相機所俘獲之第—影像的第—行資料及來自藉由第二 155245.doc •51· 201207768 相機所俘獲之第二影像的第二行資料。作為—說明性非限 制實例，该影像處理器可包括圖2至圖3或圖5之影像信號 處理器2〇8、圖13之影像處理器1308、圖18之鞭1834至 1842、圖以咖咖至⑽，或其任何結合。 可在該影像處理器處自㈣至第—相機且至第二相機之 結合器接收影像資料之行。可使㈣合器同步來自第—相 =之第-影像資料及來自第：相機之第：影像資料的逐行 唄出，以產生影像資料之每-行。舉例而t，該結合器可 為圖2至圖3或圖5之結合器2〇6、圖13之結合^鳩、圖a 之資料對準區塊1824至1832、圖19之資料對準區塊1924至 1932 ’或其任何結合。 在604 了產生輸出圖框，該輸出圖框具有對應於該第 一影像之行資料的第一區段且具有對應於該第二影像之行 資料的第二區段。該第一區段及該第二區段可經組態以用 以產生二維（3D)影像格式或3D視訊格式。 在一特定實施例中’處理該輸出圖框以產生3D影像資 料，且將該3D影像資料發送至顯示器件。在另一實施例 中’處理該輸出圖框以產生3D視訊資料，且將該3D視訊 資料發送至顯示器件’諸如圖13之顯示器件131〇。為了說 明’該顯示器件可為通信器件、相機、個人數位助理及電 腦中之至少一者之組件。 參看圓27，描繪將來自多個感測器之資料結合成圖框之 方法的說明性實施例之流程圖且將其一般地指定為2700。 作為一說明性實例，方法27〇〇可由圖2之系統、圖5之系統 155245.doc

S -52· 201207768 或其任何結合執行。 在2702,可自第—影像感測器（諸如，圖2之第— 2〇2)接收第一資料串流。第—資料串流（諸如，圖2之第一 影像資料串流212、圖6之第—資料串流咖，或圖5之時序 貧料信號420及影像資料信號422)可對應於影像之第 像資料°在2704’可自第二影像感測器（諸如，圖2之第: 感測器綱)接收第二資料串流。第二資料串流（諸如，圖2 之第二影像資料串流214、圖6之第二資料串流604,或圖5 之時序信號資料430及影像資料信號432)可對應於 第二影像資料。 在2706,可結合來自第一資料串流之資料與來自 料串流之資料。舉例而言，結合器（諸如，圖2之結合器 2〇6或圖5之結合器咖）可結合來自第—資料串流之第―夺 像資料與來自第二資料串流之第二影像資料且產生所得圖 框。為了說明，第-資料串流可包括與第一影像資料之第 -行相關聯的資料，包括具有第一行索引值之行資料、呈 有第二行索引值之行資料等等。第二資料串流可包括對應 於第-資料串流之行資料的行資料，包括具有第一行索引 值之對應行資料及具有第二行索引值之對應行資料等等。 來^第一貝料串流之具有第一行索引值的行資料與來自第 二資料串流之具有對應第—行索引值的行資料可彼此附加 或結合以形成單-影像行。該程序可針對每—行索引值重 複以產生所得圖框（諸如，圖6之圖框66〇)。在一特定實施 例中，該圖框可包括複數個列，#中每__列對應於—行索 155245.doc -53- 201207768 引值’且儲存具有該行索引值之第一影像資料行，且儲存 具有該行索引值之第二影像資料對應行。在-特定實施例 中’虽第-影像資料之第—行與第二影像資料之對應行社 合成Ί像行時，該單—料行之A小為第—影像㈣ 之第—打或第二影像資料之對應行之大小的實質上兩倍。 在2708，可在影像信號處理器處處理該圖框以產生經處 理圖框°在—特定實施例中，該影像信號處理器可為圖二 之影像信號處理器鹰或圖5之影像信號處理器細，且該 經處理圖框可為圖2之經處理圖框24〇或圖6之經處理圖： 650。在一特定實施例中，該經處理圖框可包括：包括來 自第一影像感測器之第一影像資料的第一區段（諸如，第 一區段652)、包括來自第二影像感測器之第二影像資料的 第二區段（諸如，第二區段654)，及間隙區段（諸如，圖6之 間隙區段656)。該間隙區段可包括安置於第一區段與第二 區段之間的非影像資料。在一特定實施例中，該第一區段 可包括第一影像資料之行，且該第二區段可包括第二影像 資料之對應行。 在2 710，可輸出該經處理圖框以在顯示器件處顯示。在 -特疋實施例中，該第—影像感測器及該第二影像感測器 各自直接回應於該影像信號處理器，且該顯示器件可與該 影像信號處理器解耦。 參看圖28，描繪同步第一影像感測器與第二影像感測器 之方法的說明性實施例之流程圖且將其一般地指定為 2800。作為—說明性實例，方法28〇〇可在圖2之系統2〇〇、 155245.doc •54· 201207768 圖5之系統600或其任何結合處執行β 在2802，可自第一影像感測器接收影像之第一影像資 料。在-特定實施例中’第一影像感測器可為圖2:第一 感測器202。在2804，可自第一影像感測器接收與第一影 像資料相關聯之第一資料串流。在一特定實施例中，第一 資料串流可由影像感測器產生，且可為圖2之第一影像資 料串流212、圖6之第一資料串流6〇2, <圖5之時序資料信 號420及影像資料信號422。 在2806，可自第二影像感測器接收該影 料。在-特定實施财，第二影像感測器可相 感測器204。在2808’可自第二影像感測器接收與第二影 像資料相關聯之第二資料串流在―特定實施例中，第二 貝料_流可由影像感測器產纟，且可為圖2之第二影像資 料串抓214、圖6之第二資料串流6()4，{圖5之時序資料信 號430及影像資料信號432。 在2810 ’可同步在影像資料獲取期間該第—影像感測器 及該第二影像錢器之逐行曝光。在—特定實施例中，該 同步可在包括結合|§(諸如，圖2之結合器2〇6或圖5之結合 ^裹)之主機處影像之影像資料獲取期間發生^在一特定 實施例中’㈣-影像感測器與該第二影像感測器彼此獨 立舉例而吕，圖2之第—感測器202及第二感冑器204經 由控制U 232直接回應於影像信號處理器，以在保持 彼此獨立的同時具有類似時序特性。在2812，可交錯第-資料串流與第二資料串流。在—特定實施例中，該第一資 155245.doc -55- 201207768 料串流與該第二資料串流可在逐行基礎上交錯。舉例而 言’來自第一資料串流之具有第一行索引值的行資料與來 自第二資料串流之具有對應第一行索引值的行資料可彼此 附加以形成經交錯之單一影像行。 因此，可使用單一影像信號處理器有效地處理經結合資 料。因此，與向每一感測器指派一處理器之多處理器系統 相比較，總影像系統成本及複雜性可減小。 參看圖29，描繪結合來自多個影像感測器之資料以產生 3D影像資料之方法的第—說明性實施例之流程圖且將其一 般也才曰定為2900。作為一說明性實例，方法2剛可由圖^ 之系統執行。 万法包括：在㈣2,同步來自第-相機及第二相機 第一影像資料之逐行讀出以產生影像資料的多個列。來 第-相機之第—影像資料可為來自圖& :的^像資料串流⑽，且第二影像資料可為來自圖 之第二衫像感测器13 0 4的影像資料串流! 3 ) “ 像在2904,在具有用於單-相機之輸人的 像處"處接收影像資狀多個列。_彡料料之每一 包括來自藉由第—相機所俘獲之 來自藉由第-办像之一列的資料 措由第—相機所俘獲之第二影像之— 資料之該等列可為圖7中所描繪之 …

該方法包括：在贿，使用影像處理器出產端生串流706 格式及3D視訊格式中之—者之輪出。^產生具有3D 影像及該第H Μ輪出對應於該 冑該輪出發送至顯示 155245.doc

-56- 201207768 (例如’圖13之顯示器件1310)。 參看圖30,描繪將來自多個感測器之資料結合成圖框之 方法的說明性實施例之流程圖且將其—般地指定為遍。 作為-說明性實例，方法3_可由m统執行。 在002，自第一影像感測器（諸如，圖η之第一影像感 測器1302)接收第一資料串流。第_資料串流(諸如’:圖 :第—影像資料串流1314或圖7之第―資料串流7〇2)可對 ^第—影像之第-影像資料。在3⑽4,可自第二影像感 二盗（諸如，圖13之第二影像感測器⑽)接收第二資料串 ^/二資料串流（諸如’圖13之第二影像資料串流 广、圖7之第二資料串流取)可對應於第二影像之第二 影像資料。該第一影像及該第二影像 埸旦 ”诼』马场景之影像。該 在:第-影像及第二影像可在實質上相同時間拍攝或可 :時間拍攝…與第二影像不同之有利位置拍攝第 資;像’使得可自料景之第—影像及第二料判定深度 二：？1第一資料串流之資料與來自第二資料 之資料。舉例而言，結合器r 1306)可結合來自第一資料串、、第’圖13之結合器 二資料h #以4^之第—影像資料與來自第 第—資/ ^料資料且產生所得了說明， 料，==包括與第一影_之第-行相關聯的資 之行=有第一行索引值之行資料、具有第二行索引值 之行資料 第"倾串流可包括對應於第-資料串流 貝的订資料’包括具有第一行索引值之對應行資料 155245.doc •57· 201207768 2具有第二行索引值之對應行資料等等。來自第-資料串 之具有第-行索引值的行資料與來自第二資料串流之I 有對應第-行索引值的行資料可彼此附加或結合以形成單 該程序可針對每-行索引值重複以產生所得圖 ®7之圖框740)。在-特定實施例中，該圖框可 包括複數個列，其中每-列對應於—行索引值，且館存具 有該订索引值之第—影像資料行，且儲存具有該行索引值 之第二影像資料對應行。在—特定實施例中，當第—影像 資料之第—饤與第三影像f料之對應行結合成單-影像行 時’該單-影像行之大小為第—影像資料之第—行或第二 影像資料之對應行之大小的實質上兩倍。 在侧，經由用於單一相機之輸入來接收圖框作為影像 資料之多個列。在-特^實施例中1於單-相機之輸入 可為t/像處理器（諸如，圖13之影像處理器1遍）之輸入。 該圖框可為圖7之圖框740。 在3〇1〇，自该圖框產生輸出。該輸出具有3D影像格式及 3D視几格式巾之—者。該輸出對應於該第-影像及該第二 〜像該輸出可為圖13之經處理之圖框資料132〇。在 則，將該輸出發送至顯示器件。在_敎實施例中，該 顯示器件可為圖13之顯示器件131〇。 參看圖3 1，描繪同步第一影像感測器與第二影像感測器 之方法的說明性實施例之流程圖且將其一般地指定為 100作為一說明性實例，方法3100可由圖13之系統1300 執行。 155245.doc

S -58- 201207768 在3 1 02，可自第一影像感測器接收影像之第一影像資 料。在一特定實施例中，第一影像感測器可為圖13之第— 影像感測器1302。在3 104 ’可自第一影像感測器接收與第 一影像資料相關聯之第一資料串流。在一特定實施例中， 第一資料串流可由該影像感測器產生，且可為圖丨3之第— 影像資料串流13 14或圖7之第一資料串流7〇2。 在3 106，可自第二影像感測器接收該影像之第二影像資 料。在一特定實施例甲，第二影像感測器可為圖13之第二 影像感測器1304。在3108，可自第二影像感測器接收與第 二影像資料相關聯之第二資料串流。在一特定實施例中， 第二資料串流可由該影像感測器產生，且可為圖13之第二 影像資料串流1316或圖7之第二資料串流7〇4。 在3110，可同步在影像資料獲取期間該第一影像感測器 及該第一衫像感測器之逐行曝光。在一特定實施例中，該 同步可在包括結合器（諸如，圖13之結合器13〇6)之主機處 影像之影像資料獲取期間發生。在一特定實施例中，該$ 一影像感測器與該第二影像感測器彼此獨立。舉例而言， 圖13之第-影像感測器13〇2及第二影像感測器可經由 控制信號直接回應於影像處理器丨則，以在保持彼此獨立 的同時具有類似時序特性。在另_實施財，第—影像感 測器1302及第二影像感測器13〇4經由控制信號直接回應於 結合器测’以在保持彼此獨立的同時具有類似時：特 性。在3U2,可交錯第__資料串流與第二資料串流。在_ 特定實施例中，該第-資料串流與該第二f料串流可在逐 155245.doc •59· 201207768 行基礎上交錯。舉例而言，來自第一資料串流之具有第— 行索引值的行資料與來自第二資料串流之具有對應第一行 索引值的行資料可彼此附加以形成經交錯之單一影像行。 因此，可使用單一影像處理器有效地處理經結合資料。 因此，與向每一感測器指派一處理器之多處理器系統相比 較’總影像系統成本及複雜性可減小。 參看圓32，描繪使用影像處理器產生31)影像之方法的說 明性實施例之流程圖且將其一般地指定為32〇〇。該影像處 理器可為圖13之影像處理器13〇8。當影像處理器處理自結 合器（例如，圖1之結合器i 3〇6)所接收之圖框、來自記憶體 之圖框，或當使用者選擇使用顯示3D影像之器件之變焦特 徵或取景位置調整（pan)特徵來更改所顯示的3〇影像時， 可使用方法3200 〇 在3202，影像處理器基於校準矩陣之參數修整第一影像 及第二影像。該校準矩陣可提供用於俘獲第一影像及第二 景/像之第影像感測器及第二影像感測器之相對位置的調 整。兩個相機之相對位置可經選擇以確保最小場景失真及 眼疲勞。可在於第一影像感測器及第二影像感測器之位置 相對於彼此固定的情況下拍攝3 D影像之器件之製造程序期 間判定該校準矩陣。該校準可儲存於該器件之記憶體中。 關於在第一影像感測器、第二影像感測器或兩者之位置可 調整之情況下拍攝3D影像的器件，該器件之處理器可用以 執打校準常式以判定該校準矩陣且將該校準矩陣儲存於記 憶體中。該校準常式可能需要第一影像感測器及第二影像 155245.doc

S -60- 201207768 感測器聚焦於經定位成距該等影像感測器一設定距離之特 定校準場景上。可在該等影像感測器相對於彼此之位置調 整之後執行該校準常式。 在32〇4，影像處理器偵測第一影像中之要點。該影像處 理益可偵測第一影像中之獨特（高頻率）點。在32〇6，該影 像處理器阻礙第一影像及第二影像中之局域影像補片 (image patch)之間的匹配，以計算第一影像中之每一經偵 測要點的差異。可製造用於每一要點之可靠性估計器以保 s登捨棄錯誤匹配。在32〇8，該影像處理器基於自所計算之 差異所判定的差異範圍來判定聚合調整。該聚合調整考慮 到場景深度及顯示器幾何形狀。 在3210，當聚合調整係在將顯示3D影像以產生輸出之顯 不器件之能力内時，該影像處理器基於該聚合調整選擇性 地移位第一影像及第二影像中之至少一者。在3 2丨2，當聚 合調整不在用以產生輸出之顯示器件之能力内時，該影像 處理器使用具有經調整之差異的第一影像來匹配場景之大 多數。在3214，該影像處理器基於顯示器件之一或多個顯 示特性來裁切（crop)該輸出。 圖33為用以結合來自多個影像感測器之資料的影像處理 系統3300之特定實施例的方塊圖。影像處理系統33〇〇可包 括衫像感測器器件3302，影像感測器器件麵接至第一 透鏡33 04,耦接至第二透鏡33 06,且耦接至攜帶型多媒體 器件之應用處理器晶片集3308。影像感測器器件33〇2可包 括結合器3310及接收用於單一相機之輸入的影像處理器 I55245.doc -61 · 201207768 3312。影像處理器33 12可接收來自結合器331〇或來自攜帶 型多媒體器件之應用處理器晶片集33〇8之記憶體器件33 14 的單一相機輸入。結合器3310可（諸如）藉由實施圖13之系 統1300，藉由根據圖29至圖31之實施例中之任一者操作或 其任何結合來結合來自第一資料串流及來自第二資料串流 的資料以產生圖框。 結合器33 10經耦接以經由第一類比轉數位轉換器33丨8接 收來自第一感測器33 16之影像資料。結合器33丨〇經耦接以 經由第二類比轉數位轉換器3322接收來自第二感測器3320 之影像資料。結合器33 10或影像處理器3312可控制第一感 測器33 16及第二感測器3320，第一感測器33丨6與第二感測 器3320可以其他方式彼此獨立。在一特定實施例中影像 處理器3312可經由感測器同步器333〇(以陰影展示）控制第 一感測器33 1 6及第二感測器3320。 在一特定實施例中，包括影像處理電路（諸如，結合器 33 10)之積體電路經組態以產生圖框。該影像處理電路經 組態以接收來自第一影像感測器（諸如，第一感測器33 16) 之第一資料串流’接收來自第二影像感測器（諸如，第二 感測器3320)之第二資料串流，且結合來自第一資料串流 及來自第二資料串流之資料以產生該圖框。舉例而言，圖 7之第一資料串流702與第二資料串流704可藉由結合器 3310結合以形成圖7之圖框740。 可將來自結合器33 10之輸出發送至攜帶型多媒體器件之 應用處理器晶片集3308的記憶體器件33 14，至影像處理器 155245.doc

S •62· 201207768 3312或兩者。影像處理器3312可經組態以執行額外影像處 操作，諸如由影像處理系統所執行之一或多個操作。影 像處理器3312可接收來自結合器331〇或來自記憶體器件 33 14之圖框。景> 像處理器33 12可產生經處理之影像資料， 諸如具有3D影像格式或3D視訊格式之經處理圖框。在一 實施例中，用於產生經處理之影像資料之平均時間為約2〇 毫秒。影像處理器33 12可將經處理之影像資料提供至攜帶 型多媒體器件之應用處理器晶片集33 〇8以用於進一步處 理、傳輸、儲存、顯示至顯示器件3324，或其任何結合。 參看圖34,描繪包括如本文中所描述之圖框產生器模組 之電子器件（諸如，無線電話）的特定說明性實施例之方塊 圖且將其一般地指定為3400。器件3400包括耦接至記憶體 3432之處理器3410。該處理器包括或耦接至控制器3464。 或者’該電子器件可為機上盒、音樂播放器、視訊播放 器、娛樂單元、導航器件、通信器件、個人數位助理 (PDA)、相機、固定位置資料單元或電腦。 圖34亦展示耦接至處理器3410且耦接至顯示器3428之顯 示器控制器3426。編碼器/解碼器（CODEC)3434亦可耗接 至處理器3410。揚聲器34W及麥克風3438可耦接至CODEC 3434。相機控制器3470亦可耦接至處理器3410。第一相機 3472及第二相機3473可耦接至相機控制器3470。 圖34亦指示無線介面3 440可耦接至處理器3410且耦接至 無線天線3442。在一特定實施例中，處理器3410、顯示器 控制器3426、記憶體3432、CODEC 3434、無線介面3440 155245.doc •63- 201207768 及控制器3464包括於系統級封裝或系統單晶片“^中。在 一特定實施例中，輸入器件343〇及電源供應器3444搞接至 系統單晶片3422。此外，在一特定實施例中，如圖34中所 說明，顯示器3428、輸入器件343〇、揚聲器則、麥克風 3438、無線天線3442及電源供應器3444在系統單晶片Mu 外部。然而，每一者可耦接至系統單晶片3422之組件，諸 如介面或控制器。 在一特定實施例中，處理器341〇執行來自處理器可讀媒 體之處理器可讀程式指令，諸如儲存於記憶體則處之程 式指令3482。舉例而言，記憶體3432可由處理器34丨〇讀 取，且指令3482可為可由處理器341〇執行以執行圖22之方 法2200的操作指^舉例而言，指令3482可包括可由處理 器3410執行以接收來自第一影像感測器（諸如，相機3473) 之第-資料串流接收來自第二影像感測器(諸如，相機 3472)之第二資料串流，且結合來自第__資料串流及來自 第二資料串流之資料以產生圖框的指令。舉例而言，該第 -影像感測器可為圖2之第一感測器2〇2且該第二影像感測 器可為圖2之第二感測器2〇4。指令3482可進—步包括可由 處理器34H)執行以在處理器则處或在影像信號處理器 (未圖示）處處理該圖框以產生經處理圖框的指令。指令 3482可進一步包括可由處理器3410執行以輸出待在顯示器 件3428處顯示或在記憶體湘處作為影像資…儲存的 經處理圖框的指令。 參看圖35,描繪電子器件（諸如，行動電話）之特定說明 155245.doc

S •64· 201207768 性實施例之方塊圖且將其—般地指定為35〇〇。器件Μ⑼包 括耦接至記憶體3504之處理器35〇2。處理器35〇2包括或耦 接至影像處理器3506。影像處理器35〇6可接收單一相機輸 入且可輸出3D資料3590。3D資料3590可呈3D影像格式或 3D視訊格式。或者，電子器件35〇〇可為機上盒、音樂播放 态、視訊播放器、娛樂單元、導航器件、通信器件、個人 數位助理（PDA)、相機、固定位置資料單元、電腦或其結 合0 圖35亦展不耦接至處理器35〇2且耦接至顯示器乃⑺之顯 示器控制器3508。編碼器/解碼器（c〇dec)3512亦可耦接 至處理器35〇2。揚聲器3514及麥克風35丨6可耦接至c〇dec 3512 »相機控制器3518亦可耦接至處理器35〇2。相機控制 器3518可包括結合器352〇。結合器352〇可將影像資料提供 至影像處理器3506。作為說明性實例，結合器352〇可為圖 13之結合器1306，或經組態以結合來自多個相機之資料的 其他硬體電路或處理器，如關於圖7所說明。第一相機 3522及第二相機35 24可耦接至相機控制器3518。 圖35亦指示無線介面3526可耦接至處理器35〇2且耦接至 無線天線3528。在一特定實施例中，處理器35〇2、顯示器 控制器3508、記憶體3504、c〇DEC 3512、相機控制器 35 18及無線介面3526包括於系統級封裝或系統單晶片353〇 中。在一特定實施例中，輸入器件3532及電源供應器MM 耦接至系統單晶片353〇。此外’在一特定實施例中，如圖 35中所說明，顯示器351〇、輸入器件、揚聲器Μ"、 155245.doc 65- 201207768 麥克風3516、無線天線3528及電源供應器3534在系統單晶 片3530外部。然而，每一者可耦接至系統單晶片353〇之組 件’諸如介面或控制器。 在一特定實施例中，處理器35〇2執行來自處理器可讀媒 體之處理器可讀程式指令，諸如儲存於記憶體35〇4處之程 式指令3536。舉例而言，記憶體35〇4可由處理器35〇2讀 取，且指令3536可為可由處理器35〇2執行以執行圖25之方 法2500的操作指令。舉例而言，指令”刊可包括可由處理 器3502執行以接收來自第一影像感測器（諸如，相機3522) 之第一資料串流，接收來自第二影像感測器（諸如，相機 3524)之第二資料串流，且使用相機控制器3518之結合器 3520結合來自第一資料串流及來自第二資料串流之資料以 產生圖框的指令。舉例而言，該第一影像感測器可為圖13 之第一影像感測器1302，且該第二影像感測器可為圖13之 第一影像感測器1304。指令3536可進一步包括可由處理器 3502執行以在影像處理器35〇6處處理該圖框以產生經處理 圖框的指令。指令3536可進一步包括可由處理器35〇2執行 以將經處理圖框作為3D資料輸出至顯示器控制器35〇8以用 於在顯不器件3510處顯示或以將經處理圖框在記憶體3504 處儲存為影像資料3538的指令。 熟習此項技術者應進一步瞭解，可將結合本文中所揭示 之實施例所描述之各種說明性邏輯區塊、組態、模組、電 路及演算法步驟實施為電子硬體、由處所執行之電腦 軟體’ < 兩者之結合。各種說明性組件、區塊、組態、模 155245.doc

S • 66 - 201207768 組、電路及步驟已在上文大體按其功能性得以描述。將此 功能性實施為硬體抑或由處理器所執行之軟體取決於特定 應用及強加於整個系統之設計約束。熟習此項技術者可針 對每一特定應用以不同方式實施所描述之功能性，但不應 將此等實施決策解譯為引起脫離本發明之範嘴。 可藉由執行可以電腦可讀指令之形式儲存於記憶體中的 程式碼來執行圖22至圖32之方法。在該狀況下，處理器 (諸位，數位信號處理器（DSP)、影像信號處理器（isp)或其 他處理器）可執行儲存於記憶體中之指令，以便執行該等 影像處理方法中之-或多者mm等枝可 由調用各種硬體組件以加速影像處理之Dsp或isp來執行。 在其他狀況下’本文中所描述之單元可實施為微處理器、 一或多個特殊應用積體電路（ASIC)、一或多個場 閉陣列（FPGA)或其任何結合，或方法可由微處理器、;_或 多個特殊應用積體電路（ASIC)、—或多個場可程式化開陣 列（FPG A)或其任何結合來執行。 結合本文中所揭#之實施例所描述之方法或演算法的步 驟可直接體現於硬體中、藉由處理器所執行之軟體模組 中，或該兩者之結合中。軟體模組可駐留於隨機存取記憶 體（RAM)、快閃記憶體、唯讀記憶體（r〇m)、可程式化唯 讀記憶體（PROM)、可抹除可程式化唯讀^憶體 (EPROM)、電可抹除可程式化唯讀記憶體㈣pR〇M)、暫 存器、硬碟、抽取式磁碟、緊密光碟唯讀記憶體Π ROM) ’或此項技術中已知之任何其他形式的非暫時性電 155245.doc -67- 201207768 腦可讀儲存媒體中。例示性儲存媒體耦接至處理器，使得 處理器可自儲存媒體讀取資訊及將資訊寫入至儲存媒體。 在替代例中’儲存媒體可與處理器成一體式。處理器及儲 存媒體可駐留於特殊應用積體電路（ASIC)中。ASIC可駐留 於计算器件或使用者終端機中。在替代例中，處理器及儲 存媒體可作為離散組件而駐留於計算器件或使用者終端機 中。 提供所揭示實施例之先前描述，以使得熟習此項技術者 月b夠進行或使用所揭示實施例。熟習此項技術者將易於顯 而易見對此等實施例之各種修改，且本文中所定義之原理 可在不脫離本發明之範疇的情況下應用於其他實施例。因 此，本發明不欲限於本文中所展示之實施例，而是將符合 可能與如由以下"專㈣圍所定義之原自及新賴特徵二 致的最寬範疇。 【圖式簡單說明】 器之資料的影像處理 圖1為用以結合來自多個影像感測 系統之特定說明性實施例的方塊圖； 為用以結合來自多個影像感測器之資料的影像處理 乐、、死之第二說明性實施例的方塊圖； 系统之為第用二結合來自多個影像感測器之資料的影像處理 乐、、死之第二說明性實施例的方塊圖； 圖4為圖2之影像處理系 施例之方塊圖，其中第一 收共同控制資料； 統之所選㈣分的特定說明姓 影像感測器及第二影像感測器 155245.doc

S -68- 201207768 之資料的影像處理 圖5為用以結合來自多個影像感測器 系統之第四說明性實施例的方塊圖； 圖6為第一影像感測器之輸出端處 π弟一資料串流與第 二影像感測器之輸出端處之第二資料电 、 半咨上… 叶申流經結合以形成同 步資料行的第一實施例之圖解表示； 第一資料串流與第 '机經結合以形成同 圖7為第一影像感測器之輸出端處的 二影像感測器之輸出端處之第二資料串 步資料行的第二實施例之圖解表示； 資料串流與來自第二 位差之相位圖之第一 圖8為說明來自第一感測器之第一 感測器之第二資料串流之間的兩行相 實施例的圖解表示； 圖9為說明來自第一感測器一 戌、目，丨心弗責枓争流與來自第二 感測1§之第二資料串流之間的一 實施例的圖解表示； -相位差之相位圖之第二 =說明複數個感測器中之每一者之像 冋步資料行的圖解表示； 圖11為說明用於多個咸測器夕固4ι_ 士 序之時序圖；之圖框有效及行有效信號時 圖:。2為說明來自第-感測器之第一資料· 感測器之第二資料串、、&夕„认 丨丨fs弟_ 實施例的圖解表示；…相位差之相位圖之第: 影==結合來自多個影像感測器之資料以產生三* 圖1柃：'像處理系統之特定說明性實施例的方塊圖; 圖為說明行動器件之各種實施例之圖解表示’該等不 155245.doc -69- 201207768 動器件具有用以^ ’用以、·、。合來自多個影像感測器之資料的影像處 理系統； 圓15為說明藉由相機陣列所俘獲之包括影像之間的重疊 的多個影像之—實例之圖解表示； 圖16為說明藉由相機陣列所俘獲之包括影像之間的重疊 、多個t/像之-貫例之圖解表示，其中每—影像可具有其 自己之移位分量及旋轉分量； 圖17為說明相機陣列及與該相機陣列相關聯之電連接之 特定實施例的方塊圖； 圖18為相機陣列處理系統之第m明性實施例之方 塊圖； 圖η為相機陣列處理系統之第―料說明性實施例之方 塊圖； 圖20為說明包括主透鏡及 系統的圖解表示； 以陣列配置之多個相機之相機 圖21為說明汽車中之多相機模組之圖解表示； 、圖22為將來自多個感測器之資料結合成同步資料行之 法的特定說明性實施例之流程圖； 圓23為將共同控制信號提供至多個 占 夕脚衫像感測器且經由清 像處理器之單一相機輸入將同步資料 負科仃鈥供至影像處理| 之方法的特定說明性實施例之流程圖； 至多個影像感測器且接收來 者的同步資料輸出之方法的 圓24為將共同控制信號提供 自該多個影像感測器中之每一 特定說明性實施例之流程圖； 155245.doc

S 201207768 圖2 5為在多個影像感測器處接收共同控制信號且產生來 自該多個影像崴測器中之每一者的同步資料輸出之方法的 特疋說明性實施例之流程圖； 圖26為在具有用於單一相機之輸入的影像信號處理器處 結合來自多個感測器之資料之方法的特定說明性實施例之 流程圖； 圖27為將來自多個感測器之資料結合成圖框之方法的特 定說明性實施例之流程圖； ,28為同步第—影像感測器及第二影像感測器之逐行曝 光之方法的特定說明性實施例之流程圖； 圖2 9為結合來自多個感測器之資料以產生三維影像資料 之方法的第一說明性實施例之流程圖； 圖30為結合來自多個感測器之資料以產生三維影像資料 之方法的第二說明性實施例之流程圖； 圖31為同步第-影像感測器及第二影像感測器之逐行曝 光之方法㈣定說明性實施例之流關； U曝 -圖32為結合來自多個感測器之資料以自同步資料行產生 三維影像資料之方法的特定說明性實施例之流程圖； 圖33為用以結合來自多個影像感測器之資料的影像處理 系統之特定說明性實施例的方塊圖； 為‘、’、線器件之第-說明性實施例之方塊圖，該無線 包括用以結合來自多個影像感測器之資料的影像處理 糸統；及 為…、線器件之第二說明性實施例之方塊圖，該無線 155245.doc •71· 201207768 器件包括用以結合來自多個影像感測器之資料的影像處理 系統。 【主要元件符號說明】 100 影像處理系統 102 多相機模組 104 感測器模組 106 單相機晶片模組/單相機模組 108 同步資料行 200 影像處理系統 202 第一感測器 204 第二感測器 206 結合器 208 影像信號處理器/視訊前端 212 第一影像資料串流 214 第二影像資料串流 216 行緩衝器 218 行資料 222 第一資料行 224 第二資料行 230 感測器同步器 232 控制/資料信號 234 共同控制信號 240 經處理行資料 300 包括兩個以上感測器之實施例 155245.doc -72-

S 201207768 305 315 325 400 404 . 406 408 410 420 422 430 432 500 506 508 510 512 526 • 527 528 530 536 538 540 第N感測器/第三感測器 第N影像資料串流 第N資料行 影像處理系統之所選擇部分 控制時脈信號//控制資料/信號 控制資料信號//控制資料/信號 相機時脈信號//控制資料/信號 相機重设彳§號//控制資料/信號 第—時序資料 第一感測器影像資料 第二時序資料 第二感測器影像資料 影像處理系統 精簡型輸出格式器 輪送封包化器及格式器 暫存器介面 時脈管理器件 時脈信號 時脈信號 結合器時序資料信號 結合器影像資料信號 輸出格式器時序資料信號/經格式化資料 輪出格式器影像資料信號/經格式化資料 輪出格式器靜置資料信號/經格式化資料 155245.doc -73- 201207768 542 544 546 548 572 600 602 604 606 610 612 614 616 620 622 624 626 630 632 634 642 輪出格式器開始資料 輪出格式器有效式化資料 輪送時序資料信號 '化資科 輪送影像資料信號 暫存器匯流排 影像感測器之輪出端處 與第二影像感測器之輪出端…資枓串 流經結合以带诸n半 处第一資料 圖解表示 ’資枓仃的特定實施例. 第—資料串流 第二資料串流 資料輪出端資料串流 、有第行索引值之行資料 八有第一行索引值之行資料 具有第三行索引值之行資料 具有第四行索引值之行資料 具有第一行索引值之對應行資料 〃有第二行索引值之對應行資料 具有第三行索引值之對應行資料 具有第四行索引值之對應行資料 具有第一行索引值之經結合行資料 具有第二行索引值之經結合行資料 具有第三行索引值之經結合行資料 列 155245.doc

S • 74- 201207768 650 652 654 656 660 700 702 704 706 708 710 712 714 716 720 722 724 726 730 732 734 經處理圖榧 第一區段 第二區段 間隙區段 圖框 與第二影像感測器之輸出端處 争流 ’处<第二資料串 、-經結合以形成同步資料行的第二實施例之 圖解表示 第一資料串流 第二資料串流 資料輪出# f料串流 間隙區段 具有第一行索引值之行資料 具有第二行索引值之行資料 〃有第二行索引值之行資料 具有第四行索引值之行資料 具有第一行索引值之對應行資料 具有第二行索引值之對應行資料 具有Wi — / 币二行索引值之對應行資料 〃有第四行索引值之對應行資料 具有楚—_ —行索引值之經結合行資料 具有笸-,i 步一伃索引值之經結合行資料 $二行索引值之經結合行資料 155245.doc -75- 201207768 740 742 800 802 804 806 812 814 816 820 822 824 826 900 902 904 906 908 912 914 圖框 列 說明來自第一感測器之第一資料串流與來自 第二感測器之第二資料串流之間的兩行相位 差之相位圖之第一實施例的圖解表示 第一感測器第一行資料 第一感測器第二行資料 第一感測器第三行資料 第二感測器第一行資料 第二感測器第二行資料 第二感測器第三行資料 經結合行 經結合行資料 經結合行資料 經結合行資料 說明來自第一感測器之第一資料串流與來自 第二感測器之第二資料串流之間的一行相位 差之相位圖之第一實施例的圖解表示 第一感測器第一行資料 第一感測器第二行資料 第一感測器第三行資料 第一感測器第四行資料 第二感測器第一行資料 第二感測器第二行資料 155245.doc

S •76· 201207768 916 918 920 922 924 926 928 1000 1002 1004 1006 1012 1014 1016 1020 1022 1024 1026 1040 1050 1060 第二感測器第三行資料 第二感測器.第四行資料 經結合行 經結合行資料 經結合行資料 經結合行資料 經結合行資料 說明用於複數個感測器令之每一者之紅綠藍 (RGB)資料且說明同步資料行的圖解表示 第一感測器第一行資料 第一感測器第二行資料 第一感測器第三行資料 第二感測器第一行資料 第二感測器第二行資料 第二感測器第三行資料 經結合行/經結合行資料串流 第二感測器第一行資料 第二感測器第二行資料 第三感測器第三行資料 經結合行資料 經結合行資料 經結合行資料 謂*B月與具有多個感測器之裝置相關聯的信號 @序之時序圖的特定實施例 155245.doc •77· 1100 201207768 1102 1104 1106 1108 1110 1112 1114 1116 1118 1120 1122 1124 1130 1132 1134 1140 1142 1144 1150 1160 1170 1180 1182 1200 第一感測器之圖框有效（FV)信號 第一感測器之行有效（LV)信號 第二感測器之FV 第二感測器之LV 第三感測器之FV 第三感測器之LV 經結合之圖框有效信號 行有效/資料信號 行負載（LL)信號 第一感測器之第一行資料 第一感測器之第二行資料 第一感測器之第三行資料 第二感測器之第一行資料 第二感測器之第二行資料 第二感測器之第三行資料 第三感測器之第一行資料 第三感測器之第二行資料 第三感測器之第三行資料 第一同步資料行 第二同步資料行 第三同步資料行 第一相位差 第二相位差 說明來自第一感測器之第一資料串流、來自 155245.doc -78 -

S 201207768 1202 1204 1206 1208 1212 1214 1216 1218 1220 1222 1224 1226 1228 1232 1234 1236 1300 1302 1304 1306 1308 第二感測器之第二資料串流與來自第三感測 器之第三資料串流之間的三行相位差之相位 圖之第一實施例的圖解表示 第一感測器第一行資料 第一感測器第二行資料 第一感測器第三行資料 第一感測器第四行資料 第二感測器第一行資料 第二感測器第二行資料 第二感測器第三行資料 第二感測器第四行資料 經結合行 第三感測器第一行資料 第三感測器第二行資料 第三感測器第三行資料 第三感測器第四行資料 經結合行資料 經結合行資料 經結合行資料 影像處理系統 第一影像感測器 第二影像感測器 結合器 影像處理器 155245.doc •79· 201207768 1310 顯示器件 1312 行緩衝器 1314 第一影像資料串流 1316 第二影像資料串流 1318 圖框資料 1320 經處理圖框資料 1400 說明具有用以結合來自多個影像感測器之資 料之影像處理系統的行動器件的各種實施例 之圖解表示 1402 行動器件 1404 行動器件 1406 行動器件 1408 行動器件 1500 影像陣列 1502 第一列 1504 第二列 1506 第三列 1508 第四列 1510 第一行 1512 第二行 1514 第三行 1516 第四行 1518 單一相機影像 1520 單一相機影像重疊 155245.doc -80 - s 201207768 1522 水平解析度 1524 總水平解析度 1600 影像陣列 1602 旋轉 1604 移位 1606 定位容限 1700 相機陣列 1702 資料介面 1704 控制介面 1706 陣列之第一列 1708 陣列之第二列 1710 陣列之第三列 1712 陣列之第一行 1714 陣列之第二行 1716 陣列之第三行 1800 相機陣列處理系統 1802 相機陣列 1804 第一列 1806 第二列 1808 第三列 1810 第四列 1812 第五列 1814 第一行 1816 第二行 155245.doc -81 - 201207768 1818 第三行 1820 第四行 1822 第五行 1824 第一對準區塊 1826 第二對準區塊 1828 第三對準區塊 1830 第四對準區塊 1832 第五對準區塊 1834 第一 VFE組件 1836 第二VFE組件 1838 第三VFE組件 1840 第四VFE組件 1842 第五VFE組件 1844 控制同步區塊 1846 第一 GPU組件 1848 第二GPU組件 1850 第三GPU組件 1852 第四GPU組件 1854 第五GPU組件 1856 GPU處理組件 1900 相機陣列處理系統 1902 相機陣列 1904 第一列 1906 第二列 155245.doc -82- s 201207768 1908 1910 1912 1914 1916 1918 1920 1922 1924 1926 1928 1930 1932 1934 1936 1938 1940 2000 2002 2004 2006 2008 2100 3300 第三列 第四列 第五列 第一行 第二行 第三行 第四行 第五行 第一對準區塊 第二對準區塊 第三對準區塊 第四對準區塊 第五對準區塊 單一 VFE組件 控制同步區塊 單一 GPU組件 GPU處理組件 高解析度數位相機系統 主透鏡 入射光 相機陣列 平面 多相機模組/系統 影像處理系統 155245.doc -83 - 201207768 3302 3304 3306 3308 3310 3312 3314 3316 3318 3320 3322 3324 3330 3400 3410 3422 3426 3428 3430 3432 3434 3438 3439 3440 影像感測器器件 第一透鏡 第二透鏡 攜帶型多媒體器件之應用處理器晶片集 結合器 影像處理器 記憶體器件 第一感測器 第一類比轉數位轉換器 第二感測器 第二類比轉數位轉換器 顯示器件 感測器同步器 電子器件 處理器 系統級封裝/系統單晶片 顯示器控制器 顯示器/顯示器件 輸入器件 記憶體 編碼器/解碼器（CODEC) 麥克風 揚聲器 無線介面 155245.doc -84-

S 201207768 3442 3444 3464 3470 3472 3473 3480 3482 3500 3502 3504 3506 3508 3510 3512 3514 3516 3518 3520 3522 3524 3526 3528 3530 無線天線 電源供應器 控制器 相機控制器 第一相機 第二相機 影像資料 程式指令 電子器件 處理器 記憶體 影像處理器 顯示器控制器 顯示器/顯示器件 編碼器/解碼器（CODEC) 揚聲器 麥克風 相機控制器 結合器 第一相機 第二相機 無線介面 無線天線 系統級封裝/系統單晶片 155245.doc -85- 201207768 3532 輸入器件 3534 電源供應益 3536 程式指令 3538 影像資料 3590 3D資料 .

155245.doc -86 - S

Claims (1)

1. 201207768 七、申請專利範圍： 1· -種產生影像資料之方 ，辑士 方法包含： 在具有用於-單一相機 收影像眘桩★/ 翰入的一影像處理器處接 收景」象資敎行’其中 处按 由-第-相機所俘獲之一第！：之母-行包括來自藉 藉由-第1▲ 像的第-行資料及來自 產生-:圖Γ獲之一第二影像的第咖 之行資料ΓΓ’該輪出圖框具有對應於該第-影像 料Π—JT且具有對應於該第二影像之行資 以用以：：其中該第—區段及該第二區段經組態 以用以產生-個三維（3D)影像 2. 如請求項1之方沐甘士 3D視訊格式。 處理琴處自^ ^象資料之該等行係在該影像 處理益處自耦接至該第—相機且 器接收。 ^第一相機之一結合 3. 如請求項2之方法，其進一 自該第-相機之第該結合器同步來 繼— 及來自該第二相機之第二 =枓的逐行讀出以產生該影像資料之每—行。 4.如明求項1之方法，其進一步包含： 處理該輸出圖框以產生3D影像資料，·及 將該3D影像資料發送至一顯示器件。 5·如請求項〗之方法，其進一步包含： 處理該輸出圖框以產生3〇視訊資料；及 將該3D視訊資料發送至一顯示器件。 6·如請求項5之方法，其中該顯 個人數位助理及一電腦中之至少一 一者之 相嬙、—加，& 信器件 155245.doc 201207768 件。 斯钼氷項1之方法 一行 該影像資料之每一行 仃資料之η沾Ba 匕括該第 隙區段包含非影像資料。0的—間隙區段，其中該間 8.如請求項1之方法，苴由m 一單-相機並列介面或=單—相機之該輪入包含 9. -種用以產生影像資：面及-積體電路間介面。 具有用於-C’該裝置包含·· 相機之—輸入的一 該影像處理H經組態〜處理器，其中 該影像資料之每—行…由讀入接收影像資料之行， 一第一影像的第一耔咨』， 相機所俘獲之 之一第二影像的第二行資料， 第一相機所俘獲 其中該影像處理器經組離 圖框具有對鹿㈣第二 輸出圖框’該輸出 了應於„亥第-影像之行資料的—第 有對應於該第二影像之行資W 又且具 -區段及該第二區段經組態 、中該第 像格式或-3D視訊格式。 產生一個三維⑽影 求項9之裝置，其進一步包含一結合器，該結合器 =至該第-相機且至該第二相機，且其中影像資料之 该專行係在該影像處理器處自該結合器接收。 U.如請求項1〇之裝置，其中該結合器經組態以對準來自該 第:相機之第一影像資料及來自該第二相機之第二影像 資料的逐行墳出以產生該影像資料之每一行。 12·如明求項9之裝置，其進一步包含一圖形處理單元，該 155245.doc

   •2· 201207768 多處理單兀經組態以處理該輸出圖框以 料或3D“t料。 mDW象資 13·如：求項12之裝置’其進一步包含一顯 器件經叫以顯示該3D影像資料或該3D視訊資料，= 個人數位助理及 該顯示器件為一通信器件、一相機 一電腦中之至少一者之一組件 l4.:::項13之裝置，其中用於該單-相機之該輸入包含 早相機並列介面或串列介面及一積體電路間介面。 15· -^暫時性電腦可讀媒體，該非暫時性電腦可讀媒體 包=指令’該等指令在由一處理器執行時使該處理器： ’’主由用於一單一相機之一輸入接收影像資料之行，其 中:影像資料之每—行包括來自藉由—第—相機所俘獲 之一第—影像的第一行資料及來自藉由一第二相機所俘 獲之一第二影像的第二行資料；及 產生一輸出圖框，該輸出圖框具有對應於該第一影像 =行資料的一第一區段且具有對應於該第二影像之行資 料的一第二區段，其中該第一區段及該第二區段經組態 以用以產生一個三維（3D)影像格式或一 3D視訊格式。 16.如請求項15之非暫時性電腦可讀媒體其中影像資料之 該等行係自耦接至該第一相機且至該第二相機之一結合 器接收。 17.如請求項15之非暫時性電腦可讀媒體，其進一步包含指 令’該等指令用以使一圖形處理器： 處理該輸出圖框以產生3D影像資料；及 155245.doc 201207768 將該3D影像資料發送至_顯示器件。 包含指 18=請求項15之非暫時性電腦可讀媒體，其進-步 7 ’該等指令用以使—圖形處理器： 處理該輸出圖框以產生扣視訊資料；及 將該扣視訊資科發送至-顯示器件。 19. 一種裝置，其包含： 侧八輅接收影像資料之行 ^件:其中該影像資料之每—行包括來自藉由-第Γ \ 獲之—第—影像的第'行f料及來自藉由—第 二相機所俘獲之—第二影像的第二行資料；及藉由第 二 輸出圖柩的構件’該輸出圖框具有對應於 口乂弟 衫像之4亍資粗frS —油 r- 影像之行資料的—具有對應於該第二 區段經組態以用以S'該第一區段及該第二 訊格式。^產生—個三維㈣輯格式或-3D視 2°:Γ=’其進-步包含用於結合該第-行資 丁寸兴項弟—仃資料的構 至今笛u 其中用於結合的該構件輕接 相機及該第二相機且經組 等行提供至用於該單—相機的該輸人。^抖之該 21. 如請求項19之裝置，其進—步包含： 用於處理該輸出圖框以產生3D影像資料的構件 影像資料發送至一顯示器件的構件： 22. 如印求項19之裝置，其進一步包含： 於處理該輸出圖框以產生3D視訊f料的構件； 於將該3D視訊資料發送至-顯示器件的構件 155245.doc