TWI493971B

TWI493971B - 在行動裝置中之影像重疊

Info

Publication number: TWI493971B
Application number: TW100123940A
Authority: TW
Inventors: Sheaufoong Chong; Xiaodong Luo
Original assignee: Omnivision Tech Inc
Priority date: 2011-04-26
Filing date: 2011-07-06
Publication date: 2015-07-21
Also published as: CN102761702A; US20120274808A1; US8988558B2; TW201244472A; CN102761702B; HK1177074A1

Description

在行動裝置中之影像重疊

本發明係關於在行動裝置中之影像擷取及呈現之領域，且詳言之係關於在單一裝置上組合來自兩個不同相機的影像。

許多行動裝置裝備有可看到使用者之前置相機及可看到位於使用者前面之背景或物的後置相機兩者。前置相機通常用於使用者與朋友之視訊電話呼叫及肖像，而後置相機通常更多地用作習知靜態及視訊相機。在一些裝置中，經由蜂巢式、Wi-Fi或藍芽無線電連接使來自後置相機之視訊串流傳輸至另一使用者係可能的。然而，同時使用行動裝置之兩個相機為不可能的或不可行的。此等裝置當前包括蜂巢式電話、攜帶型媒體播放器及平板電腦，然而，隨著裝置分類改變及發展，行動裝置及相機之特定名稱、類型及特徵亦可改變。

在當前行動裝置中，使用者可在裝置之顯示器上看到由相機中之一者所記錄之影像或視訊。可將此視圖與相機控制、通信控制及來自另一裝置之影像或視訊組合。舉例而言，當用作靜態相機時，裝置之顯示器充當取景器及控制介面。使用者首先看到之前場景之相機視圖及用於曝光、聚焦、色彩平衡等之擷取控制。在擷取影像之後，使用者通常在同一螢幕上看到所擷取之影像與觀看及編輯控制。

當用作視訊電話時，顯示器展示遠端方之視訊，且在一些狀況下，使用者之視訊亦疊加於螢幕上。然而，此等裝置不准許顯示器在同一顯示器上同時展示來自兩個相機之所擷取影像。該等裝置亦不准許自該兩個相機所擷取之影像同時傳輸至另一行動裝置。此限制兩個相機在行動裝置上使用。

參看以下圖式描述本發明之非限制性實施例及非窮舉實施例，其中除非另外指定，否則相似參考數字遍及各個視圖指代相似部分。

本文中描述用於在行動裝置中之影像重疊之系統及方法的實施例。在以下描述中，闡述眾多特定細節以提供對該等實施例之透徹理解。然而，熟習相關技術者將認識到，可在無特定細節中之一或多者的情況下或藉由其他方法、組件、材料等來實踐本文中所描述之技術。在其他情況下，未詳細展示或描述熟知結構、材料或操作以避免混淆某些態樣。

遍及本說明書中對「一實施例」之參考意謂：結合該實施例所描述之特定特徵、結構或特性包括於本發明之至少一個實施例中。因此，遍及本說明書片語「在一實施例中」出現在各處未必均指同一實施例。另外，可在一或多個實施例中以任何合適方式組合特定特徵、結構或特性。

在一實施例中，使用者能夠使用單一行動裝置記錄來自後置相機之背景之視訊且亦記錄來自前置相機的同時旁白。可組合該旁白作為使用者在背景影像或視訊上之實況重疊。可使用兩個單獨影像或視訊處理器提供此功能，或單一控制器可接收兩個視訊串流且將其合併於軟體或特殊硬體影像處理或圖形處理模組中。或者，可藉由用以控制從屬影像感測器之主影像感測器來提供此功能。

在本描述中，描述能夠產生靜態影像及視訊影像之相機。然而，本發明並非侷限於此。可藉由相機或在另一程序中使此等影像與音訊同步。該等靜態影像可為原始的或經壓縮的，且該視訊可為原始的或經壓縮的及類比的或數位的。為了達成在本描述中之一致性，「影像」用以指代為靜態攝影之單一影像的一影像或指代在視訊攝影序列中的一連串影像中之一者。本文中之「視訊」用以指代可能或可能不伴隨有音訊之一連串時控影像。類似地，一「靜態影像」亦可能或可能不伴隨有音訊。

圖1中描繪行動裝置顯示螢幕101之一實例。在此實例中，使用者已行進至海岸紅杉樹林103(世界上最高的樹，在北美太平洋海岸上)，且使用後向相機擷取其前面之樹的影像或視訊。此等樹立於行動裝置之後向相機或主相機前面。使用者可擷取樹之單一影像或視訊且記錄該視訊或使用內建至行動裝置之無線電設備或網路連接之裝置的無線電設備將其發送至其他人或至遠端儲存器。

圖2為由前置相機所擷取之展示使用者105之同一行動裝置顯示螢幕的實例。使用前置相機，使用者可擷取其自身描述樹、森林、地方感或任何其他事物之視訊。

在圖3中，行動顯示器經組態以組合來自後置相機之樹的影像與來自前置相機之使用者的影像。使用者之影像重疊至樹之影像上。此提供使用者之插圖107以及較大之背景影像。如在其他實例中，任一影像或兩個影像可為靜態影像或視訊影像。

在圖4中，插圖107藉由邊線或邊框109增強，該邊線或邊框109使該插圖更容易區別於主影像。基於該主影像，該邊線之大小、顏色、不透明度、圖案及其他特徵可由使用者組態或可完全或部分地自動確定。

使用者可具備額外選項。如在圖5中所展示，可將該插圖之位置移動至主影像上的不同位置。此可允許使用者暴露主影像的本該可能被該插圖遮蓋的不同部分。

在圖6中，使該等影像顛倒以使得樹103之影像現填充該插圖，而使用者105之影像為主影像。可由使用者執行對該兩個影像之此操縱及許多其他操作來控制自兩個相機之擷取及如何顯示該等影像。舉例而言，除了改變插圖的位置之外，可改變插圖之相對大小。

在圖7之實例中，兩個影像定位於彼此旁邊，而不是重疊的。在此實例中，森林103定位於顯示器之上半部中在使用者105上方，使用者105定位於顯示器之下半部中。可改變該兩個影像之相對大小及位置來配合特定使用者的偏好。儘管展示水平位置，但該等影像亦可垂直地並列置放。雖然該兩個影像展示為大小相等，但可改變相對大小來配合特定使用者偏好或出於任何其他理由。

可使用鍵盤、指標裝置或使用觸控螢幕上之螢幕筆勢來控制圖1至圖7之不同視圖。一些行動裝置以遊戲板或游標移動開關或板及選擇按鈕為特徵。在此狀況下，可(例如)藉由在插圖上移動游標，選擇插圖且接著移動操縱桿以將影像移動至新位置來移動插圖。或者，可將影像移動至在主影像上之四個或四個以上預定位置。其他行動裝置以觸控螢幕為特徵，在此種狀況下，可觸碰插圖且接著將其拖曳至新位置。多種不同命令、筆勢及控制可用以達成圖1至圖6之效果。另外，行動裝置亦可提供多種影像擷取控制，諸如聚焦控制、變焦控制、照明控制，曝光控制等。

行動裝置亦可提供選項以用影像中之一者代替另一影像(例如，儲存於裝置之記憶體中的影像或自另一行動裝置接收的影像)。以此方式，使用者可在旁白背景至旁白前一背景或視訊至接收來自另一連接之使用者之另一背景或論述的視訊之間切換。在一實例中，插圖用於與另一使用者之視訊聊天或視訊通話，而主影像可在後置相機之視圖、另一使用者之後置相機視圖與被認為令人感興趣或與視訊聊天工作階段(chat session)相關的其他影像或視訊之間切換。

在圖1至圖7之實例中，係在將行動電話帶至森林公園之情形中描述顯示器。然而，描述既不限於特定位置，亦不限於特定裝置。許多不同類型之行動裝置提供或可經調適以提供具有不同視圖之多個相機。除了蜂巢式電話之外，筆記型電腦、平板電腦、個人媒體播放器、攜帶型遊戲控制台及個人數位助理均亦可提供有具有不同視圖之多個相機。本發明亦可應用於個人導航裝置、健身追蹤器及甚至自裝備有相機之機器人、遠端車輛、汽車及卡車之車輛上的多個相機。一些汽車當前裝備有後視相機、前視相機、側視相機及內部相機。車輛內部之單一顯示器允許使用者看到相機視圖。一些汽車亦允許駕駛者將相機影像發送至在車輛外部之蜂巢式電話。

可藉由行動裝置將圖1至圖7之視圖中之任一或多者發送至本端記憶體、至遠端記憶體或至另一使用者。圖8展示使用行動裝置之簡單程序流程，該行動裝置使用所說明之顯示器。該程序開始，且在步驟201處使用者起始一呼叫。該呼叫可經由蜂巢式連接、廣域連接、區域連接或個人網路連接。可使用電話應用程式或分開之視訊呼叫應用程式起始該呼叫。對於其他裝置，該呼叫可能並非適當之電話呼叫，而是(例如)經由個人或廣域網路之網路通訊期(network session)。該呼叫亦可為與一遠端伺服器之通訊期，可將資料自該遠端伺服器中繼至一或多個其他使用者。

在203處，使用者啟動後置相機以擷取背景視圖，且在205處，使用者啟動前置相機以擷取使用者之旁白。可在起始呼叫之前或之後執行此等操作。雖然前置相機及後置相機或針對蜂巢式電話之典型選擇，但其他裝置可提供具有不同視圖之不同相機。舉例而言，汽車可提供後視視圖、前視視圖、側視視圖及內部視圖。

在207處，使用者判定是否應調整如在顯示器中所展示之視圖。若如此，則接著在步驟209處調整視圖。可藉由改變視圖、焦點、變焦位準、曝光等或實際影像來完成此操作。另外，可改變影像之位置及解析度。

在調整之後，或若不需要調整，則接著在步驟211處經由網路傳輸來自兩個相機之兩個視圖。在213處，使用者接收對傳輸之回應。訊息、影像、視訊及音訊之交換可貫穿呼叫或通訊期過程而繼續。只要呼叫在215處繼續，使用者便可調整視圖、進行傳輸及接收。當呼叫結束時，則該程序便結束。

儘管在使用者操作行動裝置之情形中描述此程序，但該等操作亦可由行動裝置自動執行。可提供不同程度之自動化。在一實例中，行動裝置評估相機影像及所接收到之影像，且基於該評估改變影像之相對大小、位置及選擇。當雙方在選定時間段內停止產生新內容時，可結束通訊期。類似地，可基於程式化之偏好、影像辨識等使呼叫或通訊期之開始在不同程度上自動化。

作為另一替代方案，使用者可在不初始化呼叫之情況下執行圖8之操作。該等操作可回應於自另一方接收到之呼叫或無任何呼叫。可針對本端儲存或針對遠端儲存產生旁白之視訊。可將旁白之視訊上載至網誌(blog)網站或獨立於任一呼叫之其他公共目的地。其亦可局部地保存以供稍後在行動裝置上或附接取景器上私密展現。

步驟209處之視圖的調整可包括在圖1至圖7之情形中所提及之所有類型的改變。其亦可包括展示自被叫方接收到之影像。所接收到之影像可為呼叫者的或呼叫者之背景的影像，且可重疊至行動裝置之前置相機視圖或後置相機視圖上或可排除行動裝置之任何相機視圖而展示。使用者可特定地調整在呼叫期間任一時間展示哪些影像。亦可存在一個以上的被叫方。呼叫或通訊期可具有三方或三方以上，在此狀況下，使用者可選擇自其他方接收到之影像中的哪個(若有)可展示在顯示器上。在一實例中，使用者將本端影像傳輸至該呼叫之其他方，但僅顯示所接收到之影像。

上文所展示之各種方法及視圖允許具有及不具有旁白或伴隨聊天或交談之視訊發送至其他行動裝置或固定裝置。伴隨旁白可作為額外視訊或僅作為音訊而發送。此允許行動裝置使用者不僅旁白當前事件，且亦論述鄰近固定物件，諸如地景、建築物、設備或文件。

將圖8之操作描述為藉由使用者操作一行動裝置而執行。然而，亦可在無使用者之情況下執行該等操作。該等操作中之任一或多者或全部可藉由行動裝置控制器來執行，該行動裝置控制器執行適當之軟體或韌體以操作該等相機且將組合影像傳輸至另一裝置。

圖9為適合與本發明之實施例一起使用之行動裝置硬體平台的方塊圖。行動裝置900具有一基頻處理器901，該基頻處理器901可呈中央處理單元、微控制器、基頻或其他通用控制器之形式。該基頻耦接至用於與基地台、存取點及其他使用者通信之一或多個無線電設備以及用於資料交換之周邊裝置。在所說明之實例中，無線電設備包括一蜂巢式無線電設備903、一網路無線電設備905及一藍芽無線電設備907。替代所展示之無線電設備或除了所展示之無線電設備之外，可使用其他無線電設備(例如，定位系統接收器)。該等無線電設備耦接至天線(圖中未繪示)及對於特定通信介面而言可為適當的其他裝置。

該行動裝置基頻亦耦接至感測器909，諸如加速計、迴轉儀、羅盤、定向感測器、磁力計、近接感測器、環境光感測器等。記憶體911耦接至控制器以提供程式化指令、組態資料及大量儲存。該記憶體可包括內部記憶體及用於額外可卸除式記憶體之埠、槽或插口。另外，對於一些實施例，可存在用於外部記憶體之連接器以提供媒體檔案或其他大檔案。該控制器亦耦接至使用者I/O(輸入/輸出)913，諸如鍵盤、指標裝置、觸控螢幕感測器、麥克風、揚聲器及其他裝置。使用者I/O亦可包括用於額外周邊裝置之埠，諸如USB(通用串列匯流排)埠或其他周邊裝置介面。

該行動裝置進一步包括如上文所論述之兩個相機模組。第一相機模組925為具有至該控制器之電力控制線926連接、至該控制器之資料匯流排928連接及至該控制器的控制匯流排930連接的一前置相機。經由此等連接，該控制器可操作該相機模組，開啟及關閉該相機模組及自其感測器接收所擷取之影像及視訊。第二相機模組933代表一後置相機或任何其他相機且亦包括至該控制器之電力控制線932連接、資料匯流排934連接及控制匯流排930連接。經由此等連接，可藉由該控制器獨立地控制及操作兩個相機，且可以所期望之任何方式組合來自兩個相機的影像以達成圖1至圖7之顯示。

在此實例中，取決於特定實施，電力控制與該控制匯流排分離，可組合電力連接、控制連接及資料連接中之任一或多者。另外，該控制匯流排930展示為由該兩個相機共用。在一實例中，此為一I2C(積體電路間)匯流排，該行動裝置之若干其他組件亦連接至該I2C匯流排。取決於特定實施，可使用任何其他控制匯流排且不同裝置可共用該等匯流排中之一些或全部。

如圖9中所展示，該控制器亦耦接至圖形處理器919，該圖形處理器919自該控制器接收由該等相機所擷取之圖形資料。該圖形處理器在需要時呈現資料且將所呈現之圖形傳遞至一顯示器921。該顯示器可接著呈現圖1至圖7之顯示101以及其他者。該顯示器可為內建至該行動裝置中之內部顯示器或經由電纜、銜接件或無線介面耦接的外部顯示器。

每一相機模組包括一感測器(圖中未繪示)及用以將影像聚焦至該感測器上之一透鏡929、935。該等相機模組可具有一像素陣列以及用以控制及處理自該像素陣列接收之信號的一影像信號處理器。該等相機模組亦可包括其他組件(圖中未繪示)，諸如聚焦控制、變焦控制、孔徑控制、快門、曝光感測器及其他裝置。該相機模組可進一步包括用於閃光與擷取同步及其他特徵之外部介面(圖中未繪示)。該第二相機模組931展示為包括至LED/閃光燈937之連接。通常，此閃光燈將安裝於該行動裝置上該透鏡附近且可使用任一類型之光源。然而，取決於該閃光燈或照明系統之設計特徵可使用任一類型之光源。任一相機模組或兩個相機模組可以閃光燈或至閃光燈之連接為特徵。或者，該兩個相機可使用同一閃光燈或照明系統。

使用圖9之系統900，來自任一相機或兩個相機之視圖可由該控制器接收且可藉由該圖形處理器而呈現於顯示器上。使用者介面可用以控制該等相機之操作及如何呈現該等視圖。另外，可經由該等連接之無線電設備中之任一或多者傳輸來自任一相機或兩個相機的視圖。類似地，該等無線電設備中之任一或多者可接收來自其他裝置(無論是行動或是固定的)之影像且向基頻控制器提供該等影像。此等影像可與其他影像或控制特徵組合且呈現於顯示器上。

圖10為適合與本發明之實施例一起使用之行動裝置硬體平台1000的替代組態的方塊圖。如圖9中，行動裝置1000具有一基頻處理器1001，該基頻處理器1001耦接至一或多個無線電設備，諸如蜂巢式無線電設備1003、網路無線電設備1005及藍芽無線電設備1007。亦可使用包括GPS(全球定位系統)無線電設備之其他無線電設備。行動裝置基頻亦耦接至感測器1009、記憶體1011及使用者I/O 1013。該控制器1001亦耦接至自該控制器接收由相機所擷取之圖形資料之一圖形處理器1019。該圖形處理器在需要時呈現資料且將所呈現之圖形傳遞至一顯示器1021。相機模組包括一感測器(圖中未繪示)及用以將影像聚焦至該感測器上的透鏡1029、1035以及至少用於較大後置相機之閃光燈1037。

如在圖9之實例中，該行動裝置1000進一步包括兩個相機模組，例如前置相機1025及後置相機1031。該等相機之精確位置及其各別視場可經調適以適合不同應用。如在圖9之實例中，該第二相機模組1033具有至該控制器之一電力控制線1032連接、一資料匯流排1034連接及一控制匯流排1030連接。在此實例中，該控制器具有僅一個相機連接介面，因此此單一連接係由該兩個相機模組共用。

在一些行動裝置中，兩個相機直接連接至該單一介面。取決於哪個相機為作用中的，在該兩個相機之間切換該連接。為此，一次僅可使用一個相機。此使得圖3至圖7之呈現為不可能的。

然而，在圖10之實例中，該前置相機模組1025未連接至該控制器而是連接至該後置相機模組1031。換言之，在本實例中，較小之前置相機直接耦接至較大之後置相機且該後置相機耦接至該控制器。主相機將充當用於輔助相機之控制集線器。該基頻將僅需要與主相機連接及通信且經由I2C發送命令以啟用及停用輔助相機與主相機。來自前置相機之所有圖片資料在被傳遞至該控制器之前傳遞通過後置相機。

在典型的蜂巢式電話中，後置相機如在表面區域及像素中所量測而具有一較大感測器。因此，為支援該後置相機感測器，後置相機所需之相機模組之處理能力比前置相機所需之相機模組之處理能力大。因此，藉由將較小且較不強之前置相機連接至較大且較強之後置相機來簡化硬體架構。然而，可使該連接顛倒以使得後置相機連接至前置相機且前置相機連接至控制器。可完成此操作以更好地適應該等相機之不同硬體組態或適用於前置相機較大的不同類型之裝置。

在所說明之實例中，前置相機具有一連接至後置相機之電力控制線1026及一連接至後置相機之資料匯流排1028。因此，來自前置相機之影像感測器資料中之全部傳遞通過後置相機影像處理器。來自該控制器之控制匯流排1030展示為獨立地連接至前置相機及後置相機兩者。此允許該控制器獨立於彼此來控制兩個相機之操作。

若該控制器使用共用之匯流排(諸如I2C)，則至該控制器之主節點之單一連接允許該控制器在該匯流排上將周邊裝置中之全部當作從屬裝置來加以控制。可藉由在基頻1001中之主節點均在同一匯流排上控制一個、兩個、三個或一百個相機。因此，在所說明之實例中，前置相機1025經由該共用匯流排直接耦接至該控制器。若使用一不同的匯流排或需要一不同的控制協定，則前置相機控制線可改為耦接至後置相機，如圖11中所示。對於I2C，此將要求後置相機用作至該控制器之從屬節點及至前置相機之主節點兩者。然而，針對其他控制匯流排及協定，可存在其他要求。經由此等連接，該控制器可操作兩個相機模組，開啟及關閉該等相機模組及自其感測器接收所擷取之影像及視訊。

後置相機可將由前置相機所擷取之影像重疊至由後置相機所擷取之影像上。因為前置相機資料擷取係由後置相機接收，所以後置相機可組合兩個相機的擷取且在需要時以圖2至圖7中所建議之方式中之任一者將其組合。接著可藉由該後置相機將一單一組合影像或視訊發送至該控制器。若僅一個相機為作用中的，則可如圖1及圖2中所建議般將其影像或視訊在未改變之情況下發送至該控制器。

如上文所描述，後置相機能夠經由I2C控制該輔助相機或前置相機以將其開啟。其亦能夠將SPI(串列周邊介面)輸入解碼至主相機中且將經解碼之串列資料轉換為並列資料並經由用於基頻之並列資料匯流排(諸如MIPI(行動產業處理器介面))將其發送。若輔助相機被基頻選定為作用中的，則主相機亦能夠向外多路傳輸輔助相機視訊資料。在如此做時，主相機可進入低電力模式，同時多路傳輸自輔助相機輸出之資料。

圖11為適合與本發明之實施例一起使用之行動裝置硬體平台的另一替代組態的方塊圖。在圖11中，前置相機與基頻完全隔離且僅連接至後置相機或主相機。主相機完全控制輔助相機及其至該行動裝置之剩餘部分的連接。

如在圖9中，行動裝置1100具有耦接至一或多個無線電設備1103、1105、1107之一基頻處理器1101。該行動裝置基頻亦耦接至感測器1109、記憶體1111及使用者I/O 1113。控制器1101經由經耦接之圖形處理器1119將圖形發送至顯示器1121。在此圖式及其他圖式中，取決於對系統之特定要求，該圖形處理器可併入至該基頻或該顯示器中。相機模組1125、1131各自包括一相機1127、1131及用以將影像聚焦至該感測器上之透鏡1129、1135以及用於至少該較大後置相機之一可選閃光燈1137。

如在圖9之實例中，第二相機模組1133具有至該控制器之一電力控制線1132連接、一資料匯流排1134連接及一控制匯流排1130連接。在此實例中，該控制器具有僅一個相機連接介面，因此此單一連接係由兩個相機模組共用。

然而，在圖11之實例中，前置相機模組1125未連接至該控制器而是連接至後置相機模組1131。換言之，在本實例中，較小之前置相機直接耦接至較大之後置相機且該後置相機耦接至該控制器。主相機將充當用於輔助相機之控制集線器。該基頻將僅需要與主相機連接及通信且經由I2C將命令發送至主相機以啟用及停用輔助相機與主相機。來自前置相機之所有圖片資料在被傳遞至該控制器之前傳遞通過後置相機。

在所說明之實例中，前置相機具有均連接至後置相機之一電力控制線1126、一資料匯流排1128及一控制線。因此，來自前置相機之所有影像感測器資料、電力及控制傳遞通過後置相機影像處理器。而在圖10中，來自控制器之控制匯流排1030展示為使用單一匯流排連接至前置相機及後置相機兩者。在圖11之實例中，該基頻控制線未連接至輔助相機。因此輔助相機依賴於主相機。

若該控制器使用一共用匯流排(諸如I2C)，則該控制器可使用一單一主節點控制一個或兩個相機。因此，圖10及圖11之實例需要在該基頻控制器上之相同數目個連接介面。然而，藉由將控制信號僅連接至主相機，該基頻控制器可將兩個相機當作單一裝置來對待。此可簡化該基頻之韌體或軟體實施。接著該主相機可用以解譯命令及控制相機以執行所接收到之控制指令。

後置相機接收來自前置相機之影像資料且在需要時將此資料與任何後置相機資料組合來達到該基頻控制器所請求之效果。此等效果可包括如圖2至圖7中同時使用兩個相機來展示插圖。

圖12展示圖10之兩個相機模組1025、1031之更詳細視圖。每一相機模組包括一各別像素陣列1227、1231及多種其他組件，該等組件可提供為如所展示之離散元件或作為各別影像信號處理器之部分。未詳細展示用於控制、資料及電力之連接中之許多者，以免混淆下文所描述之特徵。另外，該等相機模組中之一者或兩者可包括額外組件，該等組件亦未展示以免混淆所描述之特徵。

主相機模組係經由控制匯流排1030(在一實例中為I2C匯流排)由至基頻控制器1001之連接而控制。控制匯流排1030可如所展示般連接至兩個模組或如圖11中僅連接至該主相機模組。該主相機模組在此狀況下控制該輔助模組。

輔助相機或前置相機模組將由其像素陣列1227所擷取之影像資料經由兩個相機模組之間的資料連接1028發送至主相機或後置相機模組。在一實例中，此連接為一SPI(串列周邊互連)匯流排連接。主相機模組取決於來自控制器之命令經由控制信號來組合或選擇來自兩個相機之影像，且將選定或組合之影像經由一第二資料匯流排1034轉遞至該控制器，該第二資料匯流排1034亦可為一SPI匯流排。相機模組亦具有如上文所提及之電力連接1026、1032及如所展示之多種時脈及同步連接。

SPI介面具有一編碼器1207及一解碼器1209且減少將甚至相當高位元率之視訊自前置相機傳送至主相機所需的接針之數目。然而，可使用多種其他介面中之任一者以替代SPI。

考慮主相機，由其感測器或像素陣列1231所擷取之影像資料可作為RAW輸出或以任何其他格式經由一SOC(系統單晶片)管線1201而發送以待轉換為YUV(照度、彩度色空間)格式且接著被發送至一輸出介面區塊以待作為YUV影像或視訊資料經由資料匯流排1203而發送至控制器1001。

類似地，輔助相機1027輸出可發送至輔助相機模組上之SOC管線1205以用於轉換至一YUV格式並接著發送至主相機輸出區塊1203以用於經由同一匯流排1034而傳輸。在所說明之實例中，為了在主相機與輔助相機之間發送YUV影像資料，在輔助相機模組處使用一SPI編碼器1207或介面以經由SPI匯流排將資料發送至主相機模組上的SPI解碼器1209。接著該SPI解碼器自該匯流排接收YUV資料且將其傳輸至輸出介面區塊。

如所指示，主相機模組具有一多工器1211以接收來自SOC管線之主相機YUV信號及來自SPI解碼器之輔助相機YUV信號且接著選擇適當的信號以將其提供至輸出介面區塊1203。如上文所提及，可基於在控制匯流排1030上來自該控制器之命令或在一些其他基礎上作出向基頻控制器提供哪個信號的選擇。或者，原始相機資料可發送至主相機且藉由在主相機中之SOC管線處理。接著可移除在輔助相機中之SOC管線以減少成本。

該主相機之影像信號處理器之SOC管線、SPI資料匯流排及輸出介面區塊允許行動裝置或使用者在(例如)圖1之顯示與圖2之顯示之間選擇。在所描述之實例中，相機像素陣列將RAW資料(其係未經處理之資料)自感測器提供至一影像信號處理器，該影像信號處理器包括將影像資料轉換為YUV信號之SOC管線。或者，該等像素陣列可對所記錄影像執行一些原位處理且向該SOC管線提供多種其他格式中之任一者。該SOC管線可在一些或所有模式中將RAW影像資料傳遞至該控制器。舉例而言，在品質靜態攝影模式中，使用者可偏好僅記錄用於在行動裝置上之操縱或用於在另一影像處理機器上之後處理的RAW資料。

可以(例如)由JPEG(聯合照相專家群)、MPEG(動畫專家群)、VCEG(視訊編碼專家群)或任何其他開放或封閉的格式設定團體公佈之多種不同影像格式中之任一者來提供來自SOC管線之信號輸出。YUV信號雖通常用於視訊，但亦用於靜態影像，且可使用YUV之任何所要變體或其他靜態或視訊影像格式。

除了自該等相機中之一者或另一者選擇影像且向該控制器僅供應選定視訊的能力之外，該等相機模組亦能夠提供上文在圖1至圖7之情形中所描述的其他特徵。使用(例如)在圖12中所展示之影像信號處理器組件之主相機模組1031能夠重疊影像以建立至該控制器的組合影像輸出1034。在圖12之實例中，藉由由選擇線所控制之多工器來提供重疊功能。該等選擇線係由主控制器使用控制匯流排1030來控制。在一實例中，該主控制器定址耦接至一特定多工器之一暫存器。該主控制器寫入選擇該多工器之操作模式之一位元。以此方式，該控制器可控制一特定多工器是採用一輸入、另一輸入或是以一或多種不同方式組合該兩個輸入。可以此方式控制本文中所描述之多工器中之任一者。

主相機模組之重疊多工器1215允許系統針對該主相機、該輔助相機或重疊組合區塊1219選擇影像。該多工器具有三個輸入，三個選擇中之每一者一個輸入。主相機輸入直接耦接至主相機1033以直接自相機擷取輸出。取決於特定實施例，此可為原始輸出或其他格式之輸出。輔助相機輸入直接耦接至接收來自該輔助相機之影像資料的SPI解碼器1209。此雖指示為原始輸入，然而，可改為提供其他格式或作為使用者之選擇。

重疊組合區塊1219組合來自該輔助相機之原始輸入。使用者可使重疊至主相機影像上之輔助相機之大小為可調的。該重疊組合區塊可執行該縮放或該輔助相機可具備縮放能力以使得可將大小恰當之影像傳輸至該主相機以用於重疊。

重疊組合區塊1219經耦接以將與重疊多工器、主相機及輔助相機直接輸入相同之前兩個輸入以原始或其他類型之影像檔案的形式來接收。該重疊組合區塊基於自控制器接收到之命令或基於自動或固定之常式而採用此兩個影像檔案且將其組合。在如圖3所展示之一實例中，重疊組合區塊採用來自輔助相機之影像的像素且使用該等像素以替換來自主相機之影像之像素的一部分。在當前典型高品質行動裝置中，前置相機可具有1.3MP(百萬像素)之解析度且後置相機可具有8MP之解析度。因此，在無任何縮放之情況下，前置相機插圖將覆蓋後置相機視圖之約六分之一。插圖之特定位置可由使用者決定，由該重疊組合區塊自動選擇或預設為固定的。

在另一實施例中，該重疊區塊接收前置相機影像且將其縮放至所要大小，從而增加或減少其像素計數。該縮放可在該重疊組合區塊內、在該輔助相機處或任何其他所要位置處執行，且可使用多種已知技術中之任一者來執行。縮放量可由使用者或以任何其他方式確定。接著將經縮放之影像重疊至該後置相機影像上。在如圖6中所展示使背景與插圖顛倒時，縮放可為特別有用的。此處，在組合兩個影像之前，可增加前置相機之像素計數或大小以填滿螢幕，同時可減少後置相機之像素計數或大小以僅填充該螢幕之一部分。類似地，針對在圖7之實例之情形中所建議的並列視圖或上下視圖，對於待呈現為相同大小的兩個影像，可將該等影像中之任一者或兩者縮放為彼此相等。

該重疊組合區塊之輸出為一組合影像，該組合影像具有來自以多種不同方式中之任一者組合的兩個影像的像素或資料。在本描述中，將該等影像描述為一影像疊加於另一影像上，此係因為此情形為其向使用者所呈現的。舉例而言，在圖3及圖4中，看起來好像使用者之影像置於樹之影像上。事實上，重疊區塊可在使一影像在另一影像上成層之意義上來疊加該等影像。此甚至可以不同程度之透明度或不透明度來完成以使得背景影像(在此狀況下為樹)可呈現為透過插圖影像可見的靜態的某物。或者，如上文所論述，該重疊組合區塊可將一影像之像素替換為其他影像之像素。在此狀況下，經替換之像素丟失且不經由資料匯流排1034發送至控制器。類似地，針對部分透明之插圖，背景及插圖之實際像素可由為兩種像素之混合物的像素替換，且原始像素並不發送至控制器。

如圖12中所展示，重疊選擇器多工器1215之輸出耦接至SOC管線且自該處以與如上文所描述之僅有主相機影像時之方式相同的方式而輸送至輸出介面區塊1203。

輔助相機模組包括可如所展示般僅在輔助相機模組中提供、在主相機模組中或在該兩者中提供之邊線像素多工器1221、1223。邊線像素允許將圖4之邊線效果109添加至插圖。針對插圖為主相機影像且該插圖亦包括邊線的圖5之實例，可在主相機模組中提供一組類似的多工器。或者，可在重疊組合區塊或在該等相機模組之一些其他子系統中添加邊線。

第一邊線像素多工器1221具有一輸入，該輸入係作為原始或其他影像格式之直接相機輸出。其他輸入為一啟用或停用該等邊線像素之控制線。在此狀況下，該多工器具有儲存於本端記憶體或內部記憶體中之一組邊線像素位置及值。作為一實例，對於一VGA(640×480)前置相機，所儲存之邊線像素可包括針對像素的1:1、1:2、1:3至1:640之一黑色(或任何其他顏色)值。該多工器以來自該相機之值替換此等值以建立橫跨影像之頂部的薄黑邊線的第一部分。最終邊線在影像之所有四側上可具有5或10列或更多及5或10行或更多之邊線顏色。該邊線之實際厚度可提供為使用者設定或可供使用者選擇之一組預設值。

一第二邊線多工器1223接收來自該SOC管線之YUV或其他格式之信號。此允許此多工器使用不同技術來適應來自該SOC管線之影像的不同特性。如同該第一邊線多工器，該第二邊線多工器具有作為其唯一輸入之影像輸入(在此狀況下，來自SOC管線)，及啟用或停用該等邊線像素的控制信號輸入。該兩個邊線多工器均耦接至一最終輸出選擇多工器1225。此多工器判定是向SPI編碼器1207提供具有邊線或無邊線之原始相機輸出或是具有邊線或無邊線之YUV相機輸出，該SPI編碼器充當輔助相機模組之一輸出區塊。

本發明之所說明實施例之以上描述(包括在[中文發明摘要]中所描述之內容)不意欲為詳盡的或將本發明限於所揭示之精確形式。如熟習相關技術者所將認識到，雖然在本文中出於說明性目的而描述本發明之特定實施例及實例，但在本發明之範疇內各種修改係可能的。

可鑒於以上詳細描述而對本發明進行此等修改。在以下申請專利範圍中所使用之術語不應被解釋為將本發明限於本說明書中所揭示之特定實施例。實情為，本發明之範疇將完全藉由以下申請專利範圍確定，以下申請專利範圍將根據請求項解釋之既定準則加以解釋。

101．．．顯示螢幕

103．．．海岸紅杉樹林

105．．．使用者

107．．．插圖

109．．．邊線/邊框

900．．．行動裝置

901．．．基頻處理器

903．．．蜂巢式無線電設備

905．．．網路無線電設備

907．．．藍芽無線電設備

909．．．感測器

911．．．記憶體

913．．．使用者輸入/輸出(I/O)

919．．．圖形處理器

921．．．顯示器

925．．．第一相機模組

926．．．電力控制線

928．．．資料匯流排

929．．．透鏡

930．．．控制匯流排

931．．．第二相機模組

932．．．電力控制線

933．．．第二相機模組

934．．．資料匯流排

935．．．透鏡

937．．．發光二極體/閃光燈

1000．．．行動裝置硬體平台

1001．．．基頻處理器

1003．．．蜂巢式無線電設備

1005．．．網路無線電設備

1007．．．藍芽無線電設備

1009．．．感測器

1011．．．記憶體

1013．．．使用者I/O

1019．．．圖形處理器

1021．．．顯示器

1025．．．前置相機/前置相機模組

1026．．．電力控制線

1027．．．輔助相機

1028．．．資料匯流排

1029．．．透鏡

1030．．．控制匯流排

1031．．．後置相機模組

1032．．．電力控制線

1033．．．第二相機模組

1034．．．資料匯流排/組合影像輸出

1035．．．透鏡

1037．．．閃光燈

1100．．．行動裝置

1101．．．基頻處理器/控制器

1103．．．無線電設備

1105．．．無線電設備

1107．．．無線電設備

1109．．．感測器

1111．．．記憶體

1113．．．使用者I/O

1119．．．圖形處理器

1121．．．顯示器

1125．．．前置相機模組

1126．．．電力控制線

1127．．．相機

1128．．．資料匯流排

1129．．．透鏡

1130．．．控制匯流排

1131．．．後置相機模組

1132．．．電力控制線

1133．．．第二相機模組

1134．．．資料匯流排

1135．．．透鏡

1137．．．閃光燈

1201．．．系統單晶片(SOC)管線

1203．．．資料匯流排

1205．．．SOC管線

1207．．．編碼器

1209．．．解碼器

1211．．．多工器

1215．．．重疊選擇器多工器

1219．．．重疊組合區塊

1221．．．第一邊線像素多工器

1223．．．第二邊線像素多工器

1225．．．輸出選擇多工器

1227．．．像素陣列

1231．．．像素陣列

圖1為根據本發明之實施例展示背景視訊之行動裝置顯示器的圖。

圖2為根據本發明之實施例展示使用者之前景視訊的行動裝置顯示器的圖。

圖3為根據本發明之實施例展示圖2之使用者視訊重疊於圖3之背景視訊上的行動裝置顯示器之圖。

圖4為根據本發明之實施例的使用者視訊周圍具有邊線的圖3之行動裝置顯示器的圖。

圖5為根據本發明之實施例的使用者視訊呈現於不同位置處的圖4之行動裝置顯示器的圖。

圖6為根據本發明之實施例展示具有邊線的圖3之背景視訊重疊於圖2之使用者視訊上之行動裝置顯示器的圖。

圖7為根據本發明之實施例展示在顯示器之一區域中的圖3之背景視訊及在該顯示器之另一區域中的圖2之使用者視訊的行動裝置顯示器之圖。

圖8為根據本發明之實施例說明建立傳達所旁白之視訊的呼叫的程序流程圖。

圖9為根據本發明之實施例說明具有兩個獨立連接至基頻之相機的行動裝置的功能方塊圖。

圖10為根據本發明之實施例說明具有兩個連接至彼此且接著一起連接至基頻之相機的行動裝置的功能方塊圖。

圖11為根據本發明之另一實施例說明具有兩個連接至彼此且接著一起連接至基頻之相機的行動裝置的功能方塊圖。

圖12為根據本發明之實施例說明圖10之兩個相機模組的功能方塊圖。

101．．．顯示螢幕

105．．．使用者

107．．．插圖

Claims

一種用於一行動通信裝置之成像系統，該成像系統包含：一第一相機，其經組態以擷取第一影像資料；一第二相機，其經組態以擷取第二影像資料，其中該第一相機經耦接以經由耦接於該第一相機與該第二相機之間的一第一資料介面接收該第二影像資料，且其中該第二相機係從屬於該第一相機；及一包含一重疊組合區塊之處理器，其經耦接以接收來自該第一相機之該第一影像資料及該第二影像資料，其中該重疊組合區塊經組態以使用接收自該第一相機之該第一影像資料及該第二影像資料來形成一組合影像，該處理器與該第一相機整合，其中該第一相機係從屬於該處理器，且其中該處理器經耦接以經由不同於該第一資料介面之一第二資料介面將該組合影像發送至一控制器。
如請求項1之系統，其進一步包含一無線電設備，其經耦接至該控制器以將該組合影像自該控制器發送至一遠端裝置。
如請求項1之系統，其進一步包含一多工器，其在該第二影像資料與來自該第一相機之該第一影像資料組合之前將一邊線施加至包含來自該第二相機之該第二影像資料之一第二影像。
一種用於組合影像之方法，其包含：使用一行動通信裝置之一第一相機擷取主影像資料；使用該行動通信裝置之一第二相機擷取輔助影像資料，其中該第二相機係從屬於該第一相機；傳送該輔助影像資料至該第一相機；接收該輔助影像資料與來自該第一相機之該主影像資料；使用與該第一相機整合之一處理器之一重疊組合區塊來組合該主影像資料與該輔助影像資料以產生一組合影像，其中該第一相機係從屬於該處理器；及經由該行動通信裝置之一無線電設備將該組合影像發送至一遠端行動通信裝置。
如請求項4之方法，其中組合包含將該主影像資料之一影像疊加於該輔助影像資料之一影像上。
如請求項4之方法，其中組合包含將該輔助影像資料之一影像疊加於該主影像資料之一影像上。
如請求項4之方法，其中該第一相機安裝於該裝置之一第一表面上且該第二相機安裝於該裝置之一第二表面上。
如請求項7之方法，其中該第二表面係與該第一表面相反之一表面。
如請求項7之方法，其中該第一相機為一前置相機及一後置相機中之一者，且該第二相機為一前置相機及一後置相機中之另一者。
如請求項4之方法，其進一步包含記錄與該主影像資料相關聯之音訊及經由該無線電設備發送該所記錄之音訊與該組合影像。
如請求項4之方法，其進一步包含組態包含該主影像資料之一影像之一位置，該輔助影像資料之一影像係疊加於該主影像資料之該影像上。
如請求項4之方法，其進一步包含針對包含該輔助影像資料之一影像組態一邊線。
如請求項4之方法，其中擷取該主影像資料包含擷取一主視訊串流，且其中擷取該輔助影像資料包含擷取一輔助視訊串流。
如請求項13之方法，其中該主視訊串流與該輔助視訊串流為同步的。
一種相機模組，其包含：一像素陣列，其用以擷取第一影像資料；一透鏡，其用以將一影像聚焦至該像素陣列上；一第一資料介面，其用以接收來自一第二相機模組之第二影像資料，其中該第二相機模組具有較該相機模組少之一像素計數；一影像信號處理器，其經耦接以接收來自該第二相機模組之該第二影像資料，及經組態以組合該第一影像資料與該第二影像資料為一組合影像；一第二資料介面，其用以將該組合影像傳輸至一外部裝置；一第一控制介面，其用以接收來自該外部裝置之控制信號以控制該第一影像資料如何與該第二影像資料組合；一第二控制介面，其經組態作為一主控制器以控制該第二相機模組之操作，其中該第二控制介面係獨立於該第一控制介面。
如請求項15之相機模組，其中該影像信號處理器經由該第二控制介面控制由該第二相機模組至包含該第二影像之一影像之一邊線的施加。
如請求項15之相機模組，其中組合包含該第二影像資料之一影像作為在包含該第一影像資料之一影像上之一插圖。
如請求項15之相機模組，其中該影像信號處理器包含一系統單晶片，其用以呈現該組合影像為一彩度、照度信號。
如請求項15之相機模組，其中該第二資料介面包含一解碼器，其用以自該第二相機模組接收呈壓縮形式之原始影像資料且將其解碼及解壓縮為原始影像資料。