TWI623910B - 具有相機至相機通信鏈路之多相機計算系統 - Google Patents

具有相機至相機通信鏈路之多相機計算系統 Download PDF

Info

Publication number
TWI623910B
TWI623910B TW105143998A TW105143998A TWI623910B TW I623910 B TWI623910 B TW I623910B TW 105143998 A TW105143998 A TW 105143998A TW 105143998 A TW105143998 A TW 105143998A TW I623910 B TWI623910 B TW I623910B
Authority
TW
Taiwan
Prior art keywords
camera system
camera
image
processor
image processing
Prior art date
Application number
TW105143998A
Other languages
English (en)
Other versions
TW201737199A (zh
Inventor
宗晉 温
雋斌 莊
Original Assignee
谷歌有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 谷歌有限責任公司 filed Critical 谷歌有限責任公司
Publication of TW201737199A publication Critical patent/TW201737199A/zh
Application granted granted Critical
Publication of TWI623910B publication Critical patent/TWI623910B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本發明揭示一種設備。該設備包含具有一處理器及一記憶體之一第一相機系統。該第一相機系統包含用於自一第二相機系統接收影像之一介面。該第一相機系統包含一處理器及記憶體。該處理器及記憶體用以執行針對由該第一相機系統擷取之第一影像及由該第二相機系統擷取且在該介面處接收之第二影像之影像處理程式碼。

Description

具有相機至相機通信鏈路之多相機計算系統
存在於具有一或多個整合式相機之傳統計算系統中之一問題係過量影像資料串流至計算系統(例如一手持裝置之一或多個應用處理器)之處理核心以使處理核心處理影像資料且基於影像資料之內容作出智慧決策。不幸地，串流至處理器之許多資料係非相關或非所關注。因而，消耗顯著量電力及資源，基本上通過系統傳輸無意義資料。
本發明描述一種設備。該設備包含具有一處理器及一記憶體之一第一相機系統。該第一相機系統包含用於自一第二相機系統接收影像之一介面。該第一相機系統包含一處理器及記憶體。該處理器及記憶體執行由該第一相機系統擷取之第一影像及由該第二相機系統擷取且在該介面處接收之第二影像之影像處理程式碼。
本發明描述一種設備。該設備包含用於在一第一相機系統處處理由該第一相機系統接收之影像之構件。該設備亦包含用於在該第一相機系統處處理由一第二相機系統接收且通過耦合該第一相機系統及該第二相機系統之一通信鏈路發送至該第一相機系統之影像之構件。該設備亦包含用於 自該第一相機系統通知一應用處理器與該第一相機系統及該第二相機系統之任一者或兩者有關之事件之構件。
101‧‧‧相機/第一相機
102‧‧‧相機/第二相機
103‧‧‧應用處理器
104‧‧‧硬體平台
105‧‧‧硬體/通道
106‧‧‧硬體/通道
107‧‧‧處理器輸入
108‧‧‧處理器輸入
109‧‧‧介面
110‧‧‧介面
201‧‧‧雙相機系統
202‧‧‧雙相機系統
203‧‧‧處理器
204‧‧‧硬體平台
207‧‧‧輸入
208‧‧‧輸入
209‧‧‧介面
210‧‧‧介面
212‧‧‧橋接功能
213‧‧‧單一通道
301‧‧‧「主要」相機
302‧‧‧次要相機
303‧‧‧主處理器
304‧‧‧硬體平台
307‧‧‧處理器輸入
308‧‧‧處理器輸入
309‧‧‧固定介面
310‧‧‧固定介面
314‧‧‧局部處理器/處理器解決方案
315‧‧‧局部記憶體
401‧‧‧主要相機/雙相機系統
402‧‧‧次要相機/第二相機/雙相機系統
403‧‧‧主處理器
404‧‧‧硬體平台/主機硬體平台/主機平台
405‧‧‧通道
407‧‧‧輸入
408‧‧‧處理器輸入
409‧‧‧相機介面
414‧‧‧相機處理器
415‧‧‧記憶體
416‧‧‧通信通道/相機至相機通道
417‧‧‧橋接功能
418‧‧‧主要相機之第二介面
419‧‧‧次要相機之介面
601‧‧‧中央處理單元(CPU)
602‧‧‧系統記憶體
603‧‧‧顯示器/觸控螢幕顯示器
604‧‧‧局部有線點至點鏈路介面/通信介面
610‧‧‧相機
611‧‧‧電池
612‧‧‧電源管理控制單元
615_1至615-N‧‧‧通用處理器核心
616‧‧‧圖形處理單元(GPU)
617‧‧‧主記憶體控制器
618‧‧‧I/O控制功能
650‧‧‧多核心處理器
以下描述及附圖用以繪示本發明之實施例。在圖式中：圖1展示一第一先前技術雙相機配置；圖2展示一第二先前技術雙相機配置；圖3展示一第三先前技術雙相機配置；圖4展示一改良式雙相機配置；圖5展示由圖4之相機配置之一相機執行之一方法；圖6展示一計算系統。
圖1展示具有一雙相機配置之一第一先前技術計算系統，其中兩個不同相機101、102具有分離式各自硬體105、106通道至一應用處理器103。根據圖1之系統之操作，兩個相機101、102基本上將其自身專用影像流及其他形式之通信通過系統之硬體平台104之其各自通道105、106獨立引導至處理器。
伴隨圖1之方法之一問題係相較於一單一相機解決方案兩倍量之額外負擔及佈線隨電腦系統而駐存。例如，若第一相機101期望傳達至處理器103，則一或多個信號沿通道105發送；而若第二相機102期望傳達至處理器103，則一或多個信號沿通道106發送。
因此，處理器103需要能夠在兩個不同處理器輸入107、108(例如處理器中斷輸入)處服務兩個不同通信。兩個不同處理器輸入107、108之消耗係無效的，就此而言，處理器103僅具有有限數目個輸入且兩個此等輸 入107、108由雙相機系統消耗。因此，可能難以自系統中之其他組件(可能有大量組件)饋送其他引導通道，若無法經設計以直接到達處理器之任何組件相對重要，則這可尤其困擾。
伴隨圖1之方法之另一問題係複雜佈線密度及相關聯之電力消耗。此處，考量一情況，其中兩個相機同時沿其各自通道105、106串流至處理器103。因此，兩個資料流均通過硬體平台104單獨傳輸至處理器。
除由具有設計至硬體平台104中之兩個分離式專用硬體通道105、106自然引起之內在佈線複雜度之外，亦存在無效電力消耗之問題，尤其當原始資料或稍微處理之影像資料引導至處理器104(即處理器在自相機101、102串流之資料上執行相當複雜之功能)時。在此情況中，大量資料之兩個單獨流可能需要在平台104內傳輸越過可能較大距離，其將需要大量電力來實現。
伴隨圖1之方法之另一問題係至雙相機系統之介面109、110相對不可撓。此處，兩個相機必須連接至為其提供之實體介面109、110對。即，硬體平台104之一設計者拒絕整合不支援介面109及110之相機之機會且同樣地，相機供應商拒絕將其相機整合至設計者之平台104之機會。
圖2中觀察所屬技術領域中已知之一改良方法。根據圖2之方法，一橋接功能212放置於雙相機系統201、202與處理器203之間。橋接功能212基本上強化及/或多工來自兩個相機201、202(例如雙影像流等等)至饋送至處理器203之一單一通道213。
橋接功能212之引入幫助減輕上文參考圖1討論之一些無效率。特定言之，在處理器處僅消耗一輸入207其「釋放」一輸入208(相較於圖1之方法)使得(例如)除一相機之外之一些其他系統組件可與處理器203直接通 信。
然而，電力消耗仍係焦點。此處，橋接功能212受限於多工及/或交織且不執行實質資料減少程序(諸如資料壓縮)。因而，若大量資料串流至處理器203，接著硬體平台204將消費大量電力以在平台204內越過長距離傳輸大量資料。
另外，橋接功能212未解決可存在於平台204提供以連接至一相機之介面209、210之類型與可為整合至系統中之一選項之可用相機經設計以包含之介面之類型之間的任何不匹配問題。
參考圖3，可藉由將處理智慧引入相機之一者中而至少在某種程度上減輕電力消耗問題。此處，圖3展示其中一雙相機系統(「主要」相機301)內之相機之一者具有一局部處理器314及局部記憶體315之另一先前技術方法。處理器314執行來自記憶體315之程式碼且可執行特定資料大小減少功能(諸如資料壓縮)以有效地減少需要傳輸至主處理器303之資料之量。
隨著極少資料發送至主處理器303(例如理想地，僅主處理器303需要執行與影像相關之應用之資訊自主要相機301發送至主處理器303)，硬體平台304將消耗較少電力而主處理器303期望提供之功能之任何損耗。
然而，注意：圖3之方法在相機301之一者中僅包含一處理器解決方案314。此處，雙相機系統通常具有一主要相機301及一次要相機302(例如次要相機可為背向一手持裝置之使用者之一「背側」相機而主要相機可為面向一手持裝置之使用者之一「前側」相機(或替代地次要相機可為主要相機且前側相機可為次要相機))。次要相機302之次要功能通常不導致駐存於主要相機301中之處理器314及記憶體315之新增成本。因而，僅針 對自主要相機301轉移至主處理器303而不自次要相機302轉移至主處理器303實現將較少資料通過平台304發送至主處理器303之電力消耗減少改良。
另外，如同圖1及圖2之方法，圖3之硬體平台304針對雙相機系統提供一對固定介面309、310。因而，仍存在由硬體平台304支援之介面309、310與否則可視為整合至平台304中之候選項之設計至相機之介面之間的不匹配問題。另外，圖3之方法消耗兩個處理器輸入307、308，如參考圖1所討論，其可排除計算系統內之其他重要組件與主處理器303直接通信。
圖4展示優於就在上文參考圖1至圖3討論之先前技術解決方案之任何者之克服前述問題之一新穎方法。圖4之方法包含介於次要相機402與主要相機401之間的一通信通道416。另外，一橋接功能417包含於主要相機401中以通過存在於主要相機401與主處理器403之間的單一通道405(例如)多工及/或組合來自兩個相機401、402之影像流。如下文所進一步更詳細討論，通道405可為一直接固線式通道或實體上通過硬體平台404之多個組件之一邏輯通道。
在圖4之方法中，來自第二相機402之影像資料通過存在於兩個相機401、402之間的通信通道416傳遞至主要相機401。嵌入主要相機401內之橋接功能417(例如作為處理器414執行之一可執行軟體程式)使主要相機401能夠沿通道405將次要相機之影像資料以及主要相機之影像資料發送至主處理器403。
因此，如同圖2之方法，圖4之改良方法在主處理器403處僅消耗一輸入407其「釋放」一處理器輸入408使得其可用以與系統中之一些其他組 件直接通信。
另外，如同圖3之方法，因為資料大小減少常式(諸如資料壓縮)可由主要相機401執行(其減少需要通過平台404傳輸至主處理器403之資料之總量)，所以實現電力節省。然而，儘管圖3之方法僅可減少主要相機301之電力消耗(即僅可減少主要相機之影像資料之大小)，但圖4之方法可減少將資訊自兩個相機401、402傳輸至主處理器403之相關聯之電力消耗。
此處，由主要相機401對其自身影像資料執行資料減少程序(例如資料壓縮)亦可在其經由通道416自次要相機402接收之影像資料上執行。因而，來自兩個相機401、402之較小大小資料流可發送至主處理器403。
再另外，次要相機402至少對已在主機硬體平台404上實施之相機介面409之特定類型不關心。因此，僅主要相機401需要可與平台404之一介面409相容之一介面。若要實施該解決方案，次要相機之介面419僅需要與主要相機之第二介面418相容即可。因此，通道416之存在於主要與次要相機401、402之間提供系統設計者關於可與其平台404整合之相機之可能更自由之選擇。
例如，僅作為一實例，駐存於相機401、402之間的通道416可為製造主要及次要相機401、402之一相機製造者之一專屬通道。儘管次要相機402可不具有可與主機平台404相容之一介面，然而次要相機402能夠使其資料經由主要相機401之相機至相機通道416及橋接功能417串流至主處理器403。
另外，圖4之方法本質上對於其中來自兩個相機401、402之影像組合或以其他方式一起處理以實現一結合性奇異資訊集之應用係更有效。一實例係一實施方案，其中兩個相機401、402充當一立體對且其各自影像組 合以判定兩個相機401、402均聚焦於其上之一物件之一三維深度剖面(「深度圖」)。深度剖面可由主處理器403使用以執行一些影像深度功能(諸如手/手指運動偵測、面部辨識等等)。
此處，在主要相機401上執行之軟體可處理其自身影像流資料及來自次要相機402之影像流資料以計算深度圖。深度圖可自主要相機401發送至主處理器403。此處，先前已知之解決方案需要將兩個影像流均發送至主處理器403。接著，主處理器403執行計算以判定深度圖。
在就在上文描述之改良方法(其中在主要相機401內計算深度圖)中，因為僅一深度圖跨越平台404傳輸至主處理器403且(潛在大量)影像流資料保持局部化至雙相機系統401、402，所以實現實質電力節約。此處，深度圖理解為比深度圖自其計算之影像流之資料小很多之資料之量。
另一實例係自動對焦。此處，由在主要相機401上執行之軟體自兩個相機401、402之影像流計算之深度剖面資訊可用以控制一或兩個相機401、402之一自動對焦功能。例如，在主要相機401上執行之軟體可處理來自兩個相機401、402之影像流以將控制信號提供至一或多個相機401、402內之音圈、致動器或其他電子機械裝置以調整(若干)相機401、402之(若干)透鏡系統之聚焦位置。
作為一比較點，傳統系統將影像資料串流至主處理器且主處理器判定自動對焦調整。在能夠由圖4之改良系統執行之改良方法中，主處理器403僅接收聚焦影像資料(即主處理器403不必須執行各種自動對焦任務)。發送至主處理器403之減少量之資料再次對應於一電力減少改良。
其他功能亦可由在主要相機401上執行之軟體執行以減少自雙相機401、402系統發送至主處理器403之資訊之量。顯著地，在傳統系統中， 串流至主處理器403之許多資訊價值較小。
例如，舊一影像辨識功能而言，無需尋找影像之大量資料耗費地串流至主處理器403，一旦主處理器403意識到所尋找之影像不存在將放棄資料。一更佳方法將在主要相機401內執行影像辨識且僅在所尋找之影像已認識到所要或所尋找之影像當前在(若干)相機之視野中時通知主處理器403。
在所尋找之項目(或所關注之項目)由主要相機401辨識之後，接著，影像資料可串流至主處理器403使得處理器可執行識別所要影像之後待執行之任何功能(例如追蹤物件、記錄物件周圍之特徵等等)。因而，理想上，實際上僅將相關或所關注之資訊(或具有含有相關或所關注之資訊之一高概率之資訊)跨越平台404遞送至主處理器403。理想上，不含有相關項目之其他資訊由主要相機401放棄。
此處，注意：所以所關注之尋找項目可在主要相機之影像流及次要相機之影像流中發現，此係因為主要相機可處理主要相機之影像流及次要相機之影像流。依據實施方案，觸發注意至主處理器403已發現所關注之項目之標準可經組態以識別兩個流中之項目或僅流之一者中之項目。
由主要相機在相機401、402之任一者或兩者之影像流上執行之相關聯之尋找特徵程序可包含(例如)面部偵測(偵測任何面部之出現)、面部辨識(偵測一特定面部之出現)、面部表情辨識(偵測一特定面部表情)、物件偵測或辨識(偵測一一般或特定物件)、運動偵測或辨識(偵測一種一般或特定運動)、事件偵測或辨識(偵測一種一般或特定事件)、影像品質偵測或辨識(偵測影像品質之一一般或特定位準)。
在主要相機已在一影像流中偵測到一尋找項目之後，其亦可隨後執 行若干相關「後續」任務之任何者以進一步限制最終針對主處理器403之資訊之量。可由主要相機執行之額外動作之一些實例包含以下之任一者或多者：1)識別一影像內之所關注之一區域(例如包圍該影像內之一或多個尋找特徵之中間區域)；2)剖析一影像內之所關注之一區域且將其遞送至系統內之其他(例如較高性能)處理組件；3)放棄一影像內之未關注之區域；4)在將一影像遞送至系統內之其他組件之前壓縮該影像或該影像之部分；5)擷取一種特定影像(例如一快照、一系列快照、一視訊流)；及6)改變一或多個相機設定(例如改變耦合至光學裝置之伺服馬達上之設定以放大、縮小或以其他方式調整相機之聚焦/光學裝置；改變一曝光設定；觸發一閃光)。
注意儘管圖4展示主要相機401與主處理器403之間的一直接通道405，但主要相機401與主處理器403之間的完整端至端路徑可為終止於主處理器403處及/或可在到達相機之前通過若干系統功能方塊之一直接硬體通道。在一實施例中，一直接硬體路徑存在於自主要相機401至主處理器403之一中斷輸入用以通知主處理器403在主要相機處偵測到的突發事件。另外，實際資料可遞送平台404之系統記憶體(圖中未展示)，其中實際資料隨後由主處理器403讀取。
在一實施例中，主要相機實際上插入之介面可由一周邊控制集線器(圖中未展示)提供。接著，來自主要相機之資料可自該周邊控制集線器直接引導至處理器或儲存在記憶體中。
由主要相機401執行之軟體/韌體可儲存在駐存於相機401內或平台404上之其他位置之非揮發性記憶體中。就後者而言，軟體/韌體在系統啟動期間自平台加載至主要相機401。同樣地，相機處理器414及/或記憶體 415可整合為主要相機401之一組件或可實體位於相機401自身外部但(例如)放置為非常接近相機401使得有效操作為位於相機401本地之一處理系統。因而，本應用更一般而言係關於相機系統而非特指相機。
注意相機401、401之任一者可為一可見光相機、一深度資訊相機(諸如輻射紅外線光且有效量測所輻射之光在反射之後返回相機所耗費之時間之一飛行時間測距相機)或在一相同相機解決方案中整合可見光偵測及深度資訊擷取兩者之一相機。
儘管上述討論係聚焦於由一相機系統執行程式碼(軟體/韌體)，但上述功能之一些或全部功能可完全在硬體中執行(例如作為一應用特定積體電路或經程式化以執行此等功能之一可程式化邏輯裝置)或硬體及程式碼之一組合。
主要相機401與硬體平台404之間的介面可為諸如一MIPI介面之一工業標準介面。兩個相機之間的介面及/或通道可為一工業標準介面(諸如一MIPI介面)或可為一專屬介面。
圖5展示可由具有多個相機之一系統執行之上述之一方法，其中一通信鏈路存在於相機之間。根據圖5，該方法包含在第一相機系統處處理由一第一相機系統接收之影像501。該方法亦包含在該第一相機系統處處理由一第二相機系統接收且通過耦合該第一相機系統及該第二相機系統之一通信鏈路發送至該第一相機系統之影像502。該方法亦包含自該第一相機系統通知一應用處理器與該第一相機系統及該第二相機系統之任一者或兩者有關之事件503。
圖6提供一計算系統之一例示性描繪。下文所描述之該計算系統之許多組件可應用於具有一整合式相機及相關聯之影像處理器之一計算系統 (例如諸如一智慧型電話或平板電腦之一手持裝置)。一般技術者將能夠容易區隔兩者。
如圖6中所觀察，基本計算系統可包含一中央處理單元601(其可包含(例如)複數個通用處理器核心615_1至615-N及安置於一多核心處理器或應用處理器上之一主記憶體控制器617)、系統記憶體602、一顯示器603(例如觸控螢幕或平板)、一局部有線點至點鏈路(例如USB)介面604、各自網路I/O功能605(諸如一乙太網路介面及/或蜂巢式數據機子系統)、一無線區域網路(例如WiFi)介面606、一無線點至點鏈路(例如藍芽)介面607及一全球定位系統介面608、各種感測器609_1至609_N、一或多個相機610、一電池611、一電源管理控制單元612、一揚聲器及麥克風613及一音訊編碼器/解碼器614。
一應用處理器或多核心處理器650在其CPU 601內可包含一或多個通用處理器核心615、一或多個圖形處理單元616、一記憶體管理功能617(例如一記憶體控制器)、一I/O控制功能(諸如前述周邊控制集線器)618。通用處理器核心615通常執行操作系統及計算系統之應用軟體。圖形處理單元616通常執行圖形密集功能以(例如)產生出現在顯示器603上之圖形資訊。記憶體控制功能617與系統記憶體602介接以將資料寫入系統記憶體602/自系統記憶體602讀取資料。電源管理控制單元612大體上控制系統600之電力消耗。
觸控螢幕顯示器603、通信介面604至607、GPS介面608、感測器609、相機610及揚聲器/麥克風編解碼器613、614之各者全可視為相對於總體計算系統之各種形式之I/O(輸入及/或輸出)，總體計算系統視情況亦包含一整合式週邊裝置(例如該一或多個相機610)。依據實施方案，此等 I/O組件之各一者可整合於應用處理器/多核心處理器650上或可位於應用處理器/多核心處理器650之晶粒外或封包外部。
在一實施例中，相機610之至少兩者在相機之間具有一通信通道且此等相機之一者具有用於實施上文參考圖4討論之特徵之一些或所有特徵之一處理器及記憶體。
本發明之實施例可包含如上文所闡述之各種程序。程序可體現在機器可執行指令中。指令可用以引起一通用或專用處理器執行特定程序。替代地，此等程序可由含有用於執行程序之固線式邏輯之特定硬體組件或由程式化電腦組件及定製硬體組件之任何組合執行。
本發明之元件亦可提供為用於儲存機器可執行指令之一機器可讀媒體。機器可讀媒體可包含(但不限於)軟碟、光碟、CD-ROM及磁光碟、快閃記憶體、ROM、RAM、EPROM、EEPROM、磁卡或光學卡、傳播媒體或適合於儲存電子指令之其他類型之媒體/機器可讀媒體。例如，本發明可經由一通信鏈路(例如一數據機或網路連接)下載為可憑藉體現在一載波或其他傳播媒體中之資料信號自一遠端電腦(例如一伺服器)轉移至一請求電腦(例如一客戶端)之一電腦程式。
在前述說明書中，已參考本發明之特定例示性實例描述本發明。然而，顯而易見，可在不會背離如隨附申請專利範圍中所闡述之本發明之廣泛精神及範疇之情況下對本發明實行各種修改及改變。相應地，說明書及圖式被視為具繪示性而非限制性。

Claims (19)

  1. 一種設備，其包括：一第一相機系統，其包括一處理器及一記憶體，該第一相機系統包括用於自一第二相機系統接收影像之一介面，該第一相機系統包括一處理器及記憶體，該處理器及記憶體用以執行針對由該第一相機系統擷取之第一影像及由該第二相機系統擷取且在該介面處接收之第二影像之影像處理程式碼，其中該第一相機系統將來自該第一相機系統及該第二相機系統兩者之資訊發送至該至少一應用處理器。
  2. 如請求項1之設備，其中該影像處理程式碼依據該第一影像及該第二影像判定一深度圖。
  3. 如請求項1之設備，其中該影像處理程式碼識別所關注之一項目。
  4. 如請求項3之設備，其中該影像處理程式碼放棄不含有所關注之該項目之影像。
  5. 如請求項1之設備，其中該影像處理程式碼執行資料壓縮。
  6. 如請求項1之設備，其中該第一相機系統及該第二相機系統兩者能夠擷取可見影像。
  7. 如請求項6之設備，其中該第一相機系統及該第二相機系統之至少一者能夠由飛行時間測距技術擷取深度剖面資訊。
  8. 一種計算系統，其包括：至少一應用處理器；一記憶體控制器，其耦合至該至少一應用處理器；一系統記憶體，其耦合至該記憶體控制器；一第一相機系統，其包括一處理器及一記憶體；一第二相機系統；該第一相機系統與該第二相機系統之間的一通信鏈路，其中該第一相機系統之該處理器及該記憶體執行由該第一相機系統擷取之第一影像及由該第二相機系統擷取且通過該通信鏈路發送至該第一相機系統之第二影像之影像處理程式碼，其中該第一相機系統將來自該第一相機系統及該第二相機系統兩者之資訊發送至該至少一應用處理器。
  9. 如請求項8之計算系統，其中該第一相機系統能夠基於該等第一影像之處理及該等第二影像之處理將一中斷發送至該至少一應用處理器。
  10. 如請求項8之計算系統，其中該影像處理程式碼依據該第一影像及該第二影像判定一深度圖。
  11. 如請求項8之計算系統，其中該影像處理程式碼識別所關注之一項目。
  12. 如請求項11之計算系統，其中該影像處理程式碼放棄不含有所關注之該項目之影像。
  13. 如請求項8之計算系統，其中該影像處理程式碼執行資料壓縮。
  14. 一種含有在由部署在一計算系統中之一第一相機系統執行時引起執行一方法之影像處理程式碼之機器可讀儲存媒體，其包括：處理由該第一相機系統接收之影像；處理由一第二相機系統接收且通過耦合該第一相機系統及該第二相機系統之一通信鏈路發送至該第一相機系統之影像；及，通知一應用處理器與該第一相機系統及該第二相機系統之任一者或兩者有關之事件。
  15. 如請求項14之機器可讀儲存媒體，其中該影像處理程式碼判定來自該第一影像及該第二影像之一深度圖。
  16. 如請求項14之機器可讀儲存媒體，其中該影像處理程式碼識別所關注之一項目。
  17. 如請求項16之機器可讀儲存媒體，其中該影像處理程式碼放棄不含 有所關注之該項目之影像。
  18. 如請求項14之機器可讀儲存媒體，其中該影像處理程式碼執行資料壓縮。
  19. 如請求項14之機器可讀儲存媒體，其中該計算系統係一手持裝置。
TW105143998A 2016-02-07 2016-12-29 具有相機至相機通信鏈路之多相機計算系統 TWI623910B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/017,653 2016-02-07
US15/017,653 US20170230637A1 (en) 2016-02-07 2016-02-07 Multiple camera computing system having camera-to-camera communications link

Publications (2)

Publication Number Publication Date
TW201737199A TW201737199A (zh) 2017-10-16
TWI623910B true TWI623910B (zh) 2018-05-11

Family

ID=57799783

Family Applications (2)

Application Number Title Priority Date Filing Date
TW105143998A TWI623910B (zh) 2016-02-07 2016-12-29 具有相機至相機通信鏈路之多相機計算系統
TW107110629A TW201822144A (zh) 2016-02-07 2016-12-29 具有相機至相機通信鏈路之多相機計算系統

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW107110629A TW201822144A (zh) 2016-02-07 2016-12-29 具有相機至相機通信鏈路之多相機計算系統

Country Status (7)

Country Link
US (1) US20170230637A1 (zh)
EP (1) EP3360061A1 (zh)
CN (1) CN107046619A (zh)
DE (2) DE202016107172U1 (zh)
GB (1) GB2547320A (zh)
TW (2) TWI623910B (zh)
WO (1) WO2017136037A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9720639B1 (en) 2016-09-02 2017-08-01 Brent Foster Morgan Systems and methods for a supplemental display screen
US10009933B2 (en) 2016-09-02 2018-06-26 Brent Foster Morgan Systems and methods for a supplemental display screen
US10346122B1 (en) 2018-10-18 2019-07-09 Brent Foster Morgan Systems and methods for a supplemental display screen
CN110809152A (zh) * 2019-11-06 2020-02-18 Oppo广东移动通信有限公司 信息处理方法、编码装置、解码装置、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW552801B (en) * 2000-10-26 2003-09-11 Hewlett Packard Co Linkable digital cameras for an image capture system
US20140375820A1 (en) * 2013-06-20 2014-12-25 Microsoft Corporation Multimodal Image Sensing for Region of Interest Capture

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7649938B2 (en) * 2004-10-21 2010-01-19 Cisco Technology, Inc. Method and apparatus of controlling a plurality of video surveillance cameras
US7969469B2 (en) * 2007-11-30 2011-06-28 Omnivision Technologies, Inc. Multiple image sensor system with shared processing
US8427552B2 (en) * 2008-03-03 2013-04-23 Videoiq, Inc. Extending the operational lifetime of a hard-disk drive used in video data storage applications
US8781152B2 (en) * 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
US9449233B2 (en) * 2010-12-01 2016-09-20 The Trustees Of The University Of Pennsylvania Distributed target tracking using self localizing smart camera networks
JP5784664B2 (ja) * 2013-03-21 2015-09-24 株式会社東芝 多眼撮像装置
CN103607538A (zh) * 2013-11-07 2014-02-26 北京智谷睿拓技术服务有限公司 拍摄方法及拍摄装置
US20150248772A1 (en) * 2014-02-28 2015-09-03 Semiconductor Components Industries, Llc Imaging systems and methods for monitoring user surroundings

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW552801B (en) * 2000-10-26 2003-09-11 Hewlett Packard Co Linkable digital cameras for an image capture system
US20140375820A1 (en) * 2013-06-20 2014-12-25 Microsoft Corporation Multimodal Image Sensing for Region of Interest Capture

Also Published As

Publication number Publication date
GB2547320A (en) 2017-08-16
US20170230637A1 (en) 2017-08-10
DE102016225600A1 (de) 2017-08-10
GB201621697D0 (en) 2017-02-01
TW201737199A (zh) 2017-10-16
WO2017136037A1 (en) 2017-08-10
EP3360061A1 (en) 2018-08-15
DE202016107172U1 (de) 2017-05-10
TW201822144A (zh) 2018-06-16
CN107046619A (zh) 2017-08-15

Similar Documents

Publication Publication Date Title
US12010423B2 (en) Electronic device for recording image as per multiple frame rates using camera and method for operating same
TWI623910B (zh) 具有相機至相機通信鏈路之多相機計算系統
US10812768B2 (en) Electronic device for recording image by using multiple cameras and operating method thereof
KR102524498B1 (ko) 듀얼 카메라를 포함하는 전자 장치 및 듀얼 카메라의 제어 방법
EP3641294B1 (en) Electronic device and method for obtaining images
US9900500B2 (en) Method and apparatus for auto-focusing of an photographing device
US20190265875A1 (en) Electronic device displaying interface for editing video data and method for controlling same
CN113647094B (zh) 用于在视频中提供焦外成像效果的电子设备、方法和计算机可读介质
US11025890B2 (en) Electronic device and method for acquiring depth information by using at least one of cameras or depth sensor
CN109756763B (zh) 用于基于优先级处理图像的电子装置及其操作方法
US11563887B2 (en) Method for controlling synchronization of plurality of image sensors and electronic device for implementing same
US11223761B2 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
US12003867B2 (en) Electronic device and method for displaying image in electronic device
CN117501209A (zh) 协作跟踪
US20220268935A1 (en) Electronic device comprising camera and method thereof
CN115883948A (zh) 一种图像处理架构、图像处理方法、设备及存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees