TW201721582A - 錄製360度影像的設備與方法 - Google Patents

錄製360度影像的設備與方法 Download PDF

Info

Publication number
TW201721582A
TW201721582A TW105134935A TW105134935A TW201721582A TW 201721582 A TW201721582 A TW 201721582A TW 105134935 A TW105134935 A TW 105134935A TW 105134935 A TW105134935 A TW 105134935A TW 201721582 A TW201721582 A TW 201721582A
Authority
TW
Taiwan
Prior art keywords
cameras
images
camera
image
mobile device
Prior art date
Application number
TW105134935A
Other languages
English (en)
Other versions
TWI622017B (zh
Inventor
大衛約翰 艾凡思五世
心蕊 蔣
安迪E 魯賓
馬修 賀玄森
繆瀟宇
Original Assignee
基礎產品股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 基礎產品股份有限公司 filed Critical 基礎產品股份有限公司
Publication of TW201721582A publication Critical patent/TW201721582A/zh
Application granted granted Critical
Publication of TWI622017B publication Critical patent/TWI622017B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/12Panospheric to cylindrical image transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Lenses (AREA)

Abstract

本文揭示的技術之某些態樣將廣角鏡頭與標準鏡頭組合來產生周圍環境之無失真360°視圖。該標準鏡頭錄製在該廣角鏡頭提供失真視圖之區域中的該周圍環境之影像。該廣角鏡頭及該標準鏡頭可為獨立成像裝置之部分,可為行動裝置之附件,或可整合至行動裝置中。本文揭示將該廣角鏡頭及/或該標準鏡頭整合至該攝影機中之各種方式。

Description

錄製360度影像的設備與方法
本申請案係關於錄製360°影像之設備與方法,更明確而言係關於能夠錄製周圍環境之無失真全視圖的設備與方法。
用於360°攝影機之廣角鏡頭遭受鏡頭周邊處之影像失真。所得影像藉由例如使直線顯示為彎曲、顯示周圍物體之失真比例等而呈現周圍環境之失真視圖。
本文揭示的技術之某些態樣將廣角鏡頭與標準鏡頭組合來產生周圍環境之無失真360°視圖。標準鏡頭錄製在廣角鏡頭提供失真視圖之區域中的周圍環境之影像。廣角鏡頭及標準鏡頭可為獨立成像裝置之部分,可為行動裝置之附件,或可整合至行動裝置中。本文揭示將廣角鏡頭及/或標準鏡頭整合至攝影機中之各種方式。
本文揭示的技術之某些態樣將廣角鏡頭與標準鏡頭組合來產生周圍環境之無失真360°視圖。標準鏡頭錄製在廣角鏡頭提供失真視圖之區域中的周圍環境之影像。廣角鏡頭及標準鏡頭可為獨立成像裝置之部分,可為行動裝置之附件,或可整合至行動裝置中。本文揭示將廣角鏡頭及/或標準鏡頭整合至攝影機中之各種方式。
在本文揭示的各種實施例中,行動裝置可具有複數個攝影機,其中複數個攝影機包含本文揭示的一或多個攝影機實施例。
在本文揭示的各種實施例中,影像可為視訊,且錄製影像之攝影機可為錄製視訊之攝影機。術語學
下文給出遍及本申請案使用的術語、縮寫及片語之簡要定義。
本說明書中對「360°視圖」之提及包括當攝影機圍繞搖動軸旋轉360°時獲得的視圖及當攝影機圍繞俯仰軸旋轉360°時獲得的視圖兩者。本說明書中對「360°影像」之提及包括當攝影機圍繞搖動軸旋轉360°時獲得的影像及當攝影機圍繞俯仰軸旋轉360°時獲得的影像兩者。
本說明書中對「一個實施例」或「一實施例」之提及意指結合該實施例描述的特定特徵、結構或特性包括在本揭示內容之至少一個實施例中。在本說明書中各種地方的片語「在一個實施例中」之出現未必全部提及同一實施例,亦不為與其他實施例互斥的單獨實施例或替代實施例。此外,描述可藉由一些實施例而非藉由其他實施例展現彼等各種特徵。類似地,描述可為針對一些實施例而非其他實施例之要求的各種要求。
除非上下文另外清楚地要求,否則遍及說明書及申請專利範圍,用詞「包含(comprise/comprising)」及類似者係以包括意義解釋,與排他意義或詳盡意義相反;亦即,以「包括但不限於」之意義解釋。如本文所使用,術語「連接」、「耦合」或任何其變體意指在兩個或兩個以上元件之間的直接或間接的任何連接或耦合。元件之間的耦合或連接可為實體、邏輯或其組合。例如,兩個裝置可直接耦合,或經由一或多個中介通道或裝置來耦合。作為另一實例,裝置可以資訊可在裝置之間傳遞的方式耦合,而不彼此共享任何實體連接。另外,當在本申請案中使用時,用詞「本文」、「上文」、「下文」及類似含義之用詞應總體地指代本申請案且並非指代本申請案之任何特定部分。在上下文允許的情況下,實施方式中使用單數或複數數量之用語亦可分別包括複數或單數數量。提及兩個或兩個以上項目之清單中的用語「或」涵蓋該詞的所有以下解釋:清單中之任何項目、清單中之所有項目及清單中之項目之任何組合。
若本說明書陳述組件或特徵「可(may/can/could/might)」包括或具有一特性,則彼特定組件或特徵不要求要包括或具有該特性。
術語「模組」廣泛地指代軟體、硬體或韌體組件(或其任何組合)。模組為典型地功能性組件,該等功能性組件可使用指定輸入而產生有用資料或另一輸出。模組可或可不為自含式的。應用程式(亦稱為「應用」)可包括一或多個模組,或模組可包括一或多個應用程式。
用於實施方式中之術語學意欲以其最廣泛合理方式來解釋,即使其係結合某些實例來使用亦如此。用於本說明書中之術語通常在此項技術中、在本揭示內容之上下文內及在使用每一術語的特定上下文中具有其普通的含義。為方便起見,某些術語可例如使用大寫、斜體及/或引號來突顯。突顯之使用對術語之範疇及含義沒有影響;術語之範疇及含義在相同上下文中為相同的,無論其是否得以突顯。將瞭解,相同要素可以多於一種方式來描述。
因此,替代語言及同義詞可用於本文論述的術語中之任一者或多者,但無論術語是否在本文中詳細描述或論述皆不對術語賦予特殊意義。一或多個同義詞之敘述不排除其他同義詞之使用。本說明書中任何處的實例之使用(包括本文論述的任何術語之實例)僅為說明性的,且不意欲進一步限制本揭示內容或任何所例證術語之範疇及含義。同樣地,本揭示內容不限於在本說明書給出的各種實施例。攝影機
第1圖展示根據一個實施例的相關聯於行動裝置100之活動攝影機及不活動攝影機。行動裝置100包括相關聯於行動裝置之外罩殼140、相關聯於行動裝置之攝影機連接埠110及耦合至攝影機連接埠之攝影機120。外罩殼140包括一或多個表面,諸如傳統iPhone或Android電話之六個側面。外罩殼140可為包含一個側面之平滑彎曲表面。攝影機連接埠110可與相關聯於外罩殼140之複數個表面中之一或多者對準,亦即,攝影機可置放於行動裝置上之任何處,諸如行動裝置之頂部、行動裝置之底部或行動裝置側面中任何側面。攝影機包含至少一個孔徑130。孔徑130可包含各種鏡頭,該等鏡頭的範圍包括極長有效焦距鏡頭、極短有效焦距鏡頭、標準鏡頭等。攝影機120可操作來當攝影機不活動時收縮在攝影機連接埠110內部,且與相關聯於外罩殼140之複數個表面中之每一表面對準,以使得攝影機120在不活動時變成不受注意的。攝影機120可操作來當攝影機活動時自相關聯於行動裝置之外罩殼140突出,且將孔徑130定位成接收大多數不受行動裝置阻礙的光。
根據另一實施例,除攝影機120之外,行動裝置100包含正面攝影機150或背面攝影機160。可存在諸如正面攝影機150之複數個正面攝影機,諸如背面攝影機160之複數個背面攝影機及/或諸如攝影機120之複數個伸展攝影機。正面攝影機150可為如本文描述的整合至行動裝置顯示器中的攝影機,或可為傳統正面攝影機。
根據一個實施例,攝影機120在攝影機連接埠110內部線性地移動。線性運動可使用線性引導件、齒條與小齒輪、彈簧等來達成。藉由將正面攝影機置放於攝影機連接埠內部,顯示螢幕區域可得以增加以利用在諸如Android電話、iPhone、iPad等之行動裝置100中傳統地相關聯於攝影機之區域。
根據另一實施例,攝影機120可為作為附件附接至行動裝置之獨立攝影機。
第2圖展示根據一個實施例的相關聯於包括360°鏡頭之行動裝置100的已啟動攝影機。鏡頭可包含頂部鏡頭200及底部鏡頭210以及透明罩殼220。頂部鏡頭200在平面230之下接收光束。底部鏡頭210在平面240上方接收光束。根據另一實施例,鏡頭可包含單一360°鏡頭。光導藉由全內反射所接收光而將藉由單一360°鏡頭接收的光傳輸至相關聯於攝影機120之光感測器。光導亦可包括另外的鏡頭以在光到達光感測器之前聚焦光。
第3A-B圖展示根據一個實施例的包含複數個孔徑之活動攝影機120之前視圖及後視圖。相關聯於行動裝置100之攝影機120包括第一孔徑330、第二孔徑340、複數個光感測器310及光偏轉器300,該光偏轉器耦合至第一孔徑330、第二孔徑340及複數個光感測器310。第一孔徑330及/或第二孔徑340可為具有自極短有效焦距至極長有效焦距之任何焦距的鏡頭。在一個實施例中,第一鏡頭及/或第二鏡頭可具有180°視角。光偏轉器300可為包括一或多個光偏轉器之光偏轉器之陣列。
光偏轉器300可操作來藉由改變光偏轉器之位置而改變光束320、350之方向。在光束320、350方向上之改變可自0°至180°。光偏轉器300可操作來呈現至少如第3A圖所示的第一位置及如第3B圖所示的第二位置。第一位置可操作來將相關聯於第一孔徑330之光束320偏轉至相關聯於攝影機120之光感測器310,且第二位置可操作來將相關聯於第二孔徑340之光束350偏轉至相關聯於攝影機120之光感測器310。光偏轉器300可為可操作來反射光之鏡子或稜鏡。鏡子可由任何反射材料製成,該反射材料諸如玻璃、反射塑膠、金屬等。稜鏡可為波羅稜鏡、阿米西屋脊稜鏡、五稜鏡等。光偏轉器300可藉由極小裝置致動或可為極小裝置之部分,該極小裝置諸如微機電系統(micro-electromechanical system;「MEMS」)裝置、奈米機電系統(nano-electromechanical system;「NEMS」)裝置、微微機電系統裝置等。
除如上文所述的第一孔徑330及第二孔徑340之外,攝影機120可包括第三孔徑、第四孔徑、第五孔徑等。每一孔徑可相應於攝影機120之側面。除如上文所述的第一位置及第二位置之外,光偏轉器300可操作來呈現第三位置、第四位置、第五位置等,其中每一光偏轉器位置經配置以將相關聯於孔徑之光束偏轉至相關聯於攝影機之光感測器310。光偏轉器位置中之任一者可將光偏轉0°,亦即,光偏轉器300令光束穿過光感測器310。
根據一個實施例,攝影機120可包括安置在複數個光感測器310與光偏轉器300之間的鏡頭。鏡頭可具有在極短有效焦距與極長有效焦距之間的有效焦距。在另一實施例中,攝影機120可進一步包括連接孔徑330、340、光偏轉器300及複數個光感測器310之光導,其中光導可操作來在孔徑330、340與鏡頭之間的傳輸光束320、350。光導可由全內反射光之任何材料製成。如上文所述,孔徑330、340亦可為各種鏡頭。
根據另一實施例,行動裝置100可包括第二攝影機,其中該第二攝影機自攝影機120位移短距離。在各種實施例中,兩個攝影機之間的短距離粗略地相應於人眼之間的距離,且在一些狀況下模擬人眼之間的距離。在其他實施例中,兩個攝影機之間的短距離減小至幾乎為零,以便最小化兩個攝影機在行動裝置100上佔據的空間。第二攝影機包括第二鏡頭,該第二鏡頭可操作來俘獲第二影像。第二影像相應於藉由攝影機120俘獲的第一影像,其中第二影像及第一影像包含立體影像。立體影像為同一場景稍微偏移之二維影像,且相應於檢視者之左眼及右眼。當兩個影像藉由人檢視時,影像給出景深印象。第二攝影機可為第二可伸展攝影機,可為傳統手機攝影機,可為整合至顯示器中之手機攝影機,如本申請案中所述等。行動裝置100包括耦合至第二攝影機及攝影機120之處理器。處理器可操作來基於第一影像及第二影像而提取深度資訊,以校正每一影像中之像差,以修正影像以及以產生立體影像。
第4圖展示根據一個實施例的相關聯於攝影機120之折疊光學變焦鏡頭。光學變焦鏡頭400可在攝影機120為活動時伸展,或可在攝影機120為不活動時完全地收縮以裝配在攝影機連接埠內部。本申請案中揭示的各種鏡頭亦可包括折疊光學變焦鏡頭。
根據另一實施例,攝影機120可為鉸接光纖攝影機,其中該鉸接光纖攝影機可操作來轉向360°。相關聯於光纖攝影機之鏡頭可具有自極短有效焦距至極長有效焦距的有效焦距。
在另一實施例中,本文揭示的各種攝影機進一步包含閃光燈,諸如發光二極體(「LED」)閃光燈。
第5圖展示根據一個實施例的包含相關聯於行動裝置之另外附件500的攝影機連接埠110。元件510為收縮至攝影機連接埠110中之攝影機120。另外,攝影機連接埠110可包括訂戶身份模組 (subscriber identity module;「SIM」)卡,或記憶卡,諸如安全數位(Secure Digital;「SD」)卡。藉由經另外附件500組合至攝影機連接埠110中,相關聯於行動裝置100之連接埠數量得以減少,因此降低製造行動裝置100之成本,且減少諸如水或灰塵之外來物質污染行動裝置電子電路系統之風險。
在本文揭示的許多實施例中,無論攝影機為活動的還是不活動的,攝影機120、510皆可為可移除的。行動裝置100可操作來閉合攝影機連接埠110以使得行動裝置100看上去猶如攝影機120為不活動的。
本文揭示的攝影機120可以各種方式啟動,諸如經由相關聯於行動裝置之軟體、相關聯於行動裝置之專用按鈕、語音啟動、手勢或相關聯於行動裝置之電力按鈕來啟動。手勢可為相關聯於整個行動裝置之運動,諸如向下快速動作、行動裝置之搖動、行動裝置之傾斜等。手勢亦可相關聯於行動裝置之顯示螢幕,諸如向上揮動、對攝影機圖符之選擇等。電力按鈕可經配置以用於雙重目的,即,用以使電話斷電且用以在活動狀態與不活動狀態之間切換攝影機。例如,電力按鈕可在電力按鈕接收長的按壓作為輸入時將電話關閉,且電力按鈕可在電力按鈕接收短的按壓作為輸入時在活動與不活動之間切換攝影機之狀態。
第6圖為根據一個實施例的提供相關聯於行動裝置100的攝影機120之方法之流程圖。在步驟600中,提供相關聯於行動裝置100之外罩殼140,其中外罩殼包括複數個表面。在步驟610中,提供相關聯於行動裝置100之攝影機連接埠110。在步驟620中,攝影機120耦合至攝影機連接埠110。攝影機120包含孔徑130。當攝影機120為不活動時,攝影機120收縮至攝影機連接埠110內部,且與相關聯於外罩殼140之複數個表面中之每一表面對準。當攝影機120為活動時,攝影機120自相關聯於行動裝置100之外罩殼140突出,且將孔徑130定位成接收不受行動裝置100阻礙的光。在各種實施例中,可進行另外的方法步驟以致能上文所述的實施例之產生。整合至顯示器中之攝影機
第7A圖展示根據一個實施例的整合至相關聯於行動裝置100之顯示螢幕710中的正面攝影機700。相關聯於行動裝置100之顯示螢幕710包含複數個相應於以下各項之圖符:複數個行動裝置軟體應用程式720及複數個行動裝置作業系統功能730。耦合至行動裝置100之攝影機700佔據顯示螢幕710之一部分。顯示螢幕710可佔據裝置100之整個外表面,或可佔據裝置100之整個側面,如第7圖所示。顯示螢幕的藉由攝影機佔據之部分可操作來充當複數個圖符中之攝影機圖符,以使得攝影機700在攝影機圖符700經選擇時啟動。攝影機圖符700可置放於顯示螢幕740的保留用於行動裝置作業系統功能之一部分中,或可置放於顯示螢幕750的相關聯於行動裝置軟體應用程式之一部分中。攝影機圖符700可藉由觸摸選擇,或可為語音啟動的。當攝影機圖符700經選擇時,攝影機圖符700可操作來進行各種功能,諸如啟用行動裝置上之攝影機應用程式,照相等。藉由將攝影機700整合至顯示器中,顯示螢幕之區域得以增加,因為攝影機充當可操作來錄製影像之攝影機及可操作來啟動攝影機之攝影機圖符。
根據另一實施例,攝影機可為鉸接光纖攝影機,其中該鉸接光纖攝影機可操作來在複數個方向上轉向。相關聯於行動裝置之外罩殼可具有複數個開口,諸如正面開口、背面開口、左面開口、右面開口或頂面開口。光纖攝影機可經轉向以經由相關聯於外罩殼之複數個開口中之任何開口接收光束。在一個實施例中,光纖攝影機可為正面攝影機、背面攝影機、左面攝影機、右面攝影機或頂面攝影機。相關聯於光纖攝影機之鏡頭可具有自極短有效焦距至極長有效焦距的焦距。
第7B圖展示根據另一實施例的整合至相關聯於行動裝置100之顯示螢幕710中的正面攝影機700。在本文揭示的各種實施例中,行動裝置100可採取各種形狀,諸如長方體形狀、具有倒圓邊緣之長方體形狀、橢球體、彎曲閉合表面等。不管形狀如何,行動裝置100包括外表面。在本文揭示的各種實施例中,顯示螢幕710佔據相關聯於行動裝置100之實質上整個外表面。當行動裝置形狀包括複數個側面時,諸如當行動裝置100係成形為長方體或具有倒圓邊緣之長方體時,且顯示螢幕710相關聯於複數個側面中之一或多個側面,顯示螢幕710佔據相關聯於顯示螢幕710之所有側面。
在本文揭示的各種實施例中,攝影機700可置放於顯示螢幕710上之任何處,諸如右上拐角、左下拐角、螢幕中間、相關聯於顯示螢幕之上緣中間等。
在一個實施例中,攝影機700與顯示螢幕710之間的邊界705為相關聯於攝影機700之周邊。攝影機700及邊界705可採取各種形狀,諸如圓、矩形、正方形、橢圓、彎曲形狀、開放彎曲線等。
第7C-7E圖展示根據各種實施例的在攝影機700與顯示螢幕710之間的邊界。在本文揭示的各種實施例中,攝影機700、相關聯於攝影機710之周邊705、755、765、775及在攝影機700與顯示螢幕710之間的邊界705、760、770、780可採取各種形狀,諸如圓、矩形、正方形、橢圓、彎曲形狀、開放彎曲線等。周邊755、765、775及邊界760、770、780之形狀可具有平行線,但未必必須具有平行線。第7D-7E圖展示其中周邊765、775及邊界770、780不具有平行線之實例。例如,第7D圖展示具有開放彎曲線之形狀的邊界770,而相關聯於攝影機700之周邊765具有矩形形狀。類似地,第7E圖展示具有正方形形狀之邊界780,而相關聯於攝影機700之周邊775具有圓形形狀。第7C圖展示其中周邊755及邊界760具有平行線之實例。
另外,攝影機700與顯示螢幕710之間的邊界760、770、780可包封相關聯於攝影機710之周邊755、765、775至各種程度。第7C-7D圖展示部分地包封周邊755、765之邊界760、770。例如,在第7C圖中,邊界760包括在三個側面上之周邊755。在第7D圖中,邊界770部分地包封多於三個側面上之周邊765,然而邊界770不完全地包封周邊765。第7E圖展示完全地包封周邊775之邊界780。
第8圖展示根據一個實施例的整合至顯示器中之攝影機700。攝影機包含佔據顯示螢幕之部分的前孔徑800、安置在與前孔徑800之相反的方向上之背孔徑810、複數個光感測器820及耦合至前孔徑800、背孔徑810及複數個光感測器820之光偏轉器830。前孔徑800及/或背孔徑810可包含可具有自極短有效焦距至極長有效焦距之任何有效焦距的鏡頭。在一個實施例中,前鏡頭及/或後鏡頭可具有180°視角。在一個實施例中,前鏡頭及/或後鏡頭可為如第4圖中所描繪的折疊光學變焦鏡頭。
光偏轉器830可操作來藉由改變光偏轉器之位置而改變光束840之方向。在光束840方向上之改變可自0°至180°。光偏轉器830可呈現第一位置及第二位置,其中第一位置經配置以將相關聯於前孔徑800之光束偏轉至光感測器820。第二位置經配置以將相關聯於背孔徑810之光束偏轉至相關聯於攝影機之光感測器。
光偏轉器830可為可操作來反射光之鏡子或稜鏡。鏡子可由任何反射材料製成,該反射材料諸如玻璃、反射塑膠、金屬等。稜鏡可為波羅稜鏡、阿米西屋脊稜鏡、五稜鏡等。光偏轉器可藉由極小裝置致動或可為極小裝置之部分,該極小裝置諸如微機電系統(micro-electromechanical system;「MEMS」)裝置、奈米機電系統(nano-electromechanical system;「NEMS」)裝置、微微機電系統裝置等。
根據一個實施例,攝影機120可包括安置在複數個光感測器820與光偏轉器830之間的鏡頭。鏡頭可具有在極短有效焦距與極長有效焦距之間的任何有效焦距。在另一實施例中,攝影機可進一步包括連接孔徑800、810、光偏轉器830及複數個光感測器820之光導,其中光導可操作來在孔徑800、810與鏡頭之間的傳輸光束840。光導可由全內反射光之任何材料製成。如上文所述,孔徑800、810亦可包括各種鏡頭。
在本文揭示的各種實施例中,存在複數個正面攝影機,諸如攝影機700。根據一個實施例,行動裝置100可包括第二攝影機,其中該第二攝影機自攝影機700位移短距離。在各種實施例中,兩個攝影機之間的短距離粗略地相應於人眼之間的距離,且在一些狀況下模擬人眼之間的距離。在其他實施例中,兩個攝影機之間的短距離減小至幾乎為零,以便最小化兩個攝影機在行動裝置100上佔據的空間。第二攝影機包括第二鏡頭,該第二鏡頭可操作來俘獲第二影像。第二影像相應於藉由攝影機700俘獲的第一影像,其中第二影像及第一影像包含立體影像。第二攝影機可為如本文描述的第二可伸展攝影機,可為傳統手機攝影機,可為整合至如本文描述的顯示器中之手機攝影機等。行動裝置100包括耦合至第二攝影機及攝影機120之處理器。處理器可操作來基於第一影像及第二影像而提取深度資訊,以校正每一影像中之像差,以修正影像以及以產生立體影像。
第9圖為根據一個實施例的將攝影機整合至顯示螢幕中之方法之流程圖。在步驟900中,提供相關聯於行動裝置100之顯示螢幕,以使得顯示螢幕包括複數個圖符。複數個圖符相應於複數個行動裝置軟體應用程式及複數個行動裝置作業系統功能。在步驟910中,攝影機經配置以錄製影像,且呈現為複數個圖符中之攝影機圖符。攝影機圖符經配置以在攝影機圖符經選擇時啟動攝影機。攝影機可藉由觸摸選擇,或可為語音啟動的。攝影機可為光纖攝影機。在各種實施例中,可進行另外的方法步驟以致能上文所述的實施例之產生。360° 攝影機
第10A-10B圖展示根據一個實施例的能夠錄製周圍環境之無失真360°視圖的成像裝置。在各種實施例中,360°視圖包括圍繞所有3維軸X、Y、Z的360°視圖。成像裝置包括第一複數個攝影機1000及第二複數個攝影機1030。
第一複數個攝影機1000包括複數個廣角鏡頭1010、1020,諸如魚眼鏡頭。複數個廣角鏡頭1010、1020可圍繞第一複數個攝影機1000均勻分佈。例如,若複數個廣角鏡頭1010包含兩個鏡頭,則兩個鏡頭係安置於攝影機之相對側上。第一複數個攝影機1000經配置以錄製相關聯於周圍環境之第一複數個影像。第一複數個影像中之每一影像包含因複數個廣角鏡頭中之廣角鏡頭失真的影像周邊及不因廣角鏡頭失真的影像中心。
第二複數個攝影機1030包括複數個鏡頭1040、1050。複數個鏡頭1040、1050可圍繞第二複數個攝影機1030均勻分佈。複數個鏡頭1040、1050可分佈至第一複數個攝影機1000中之左側及右側,及/或分佈至第一複數個攝影機1000之頂部及底部等。複數個鏡頭1040、1050可為自極短有效焦距鏡頭至極長有效焦距鏡頭的任何種類的鏡頭,例如標準鏡頭。第二複數個攝影機1030經配置以錄製相關聯於周圍環境之第二複數個影像。第二複數個影像中之每一影像包含不因第二複數個攝影機中之攝影機失真的影像中心,其中相關聯於第二複數個影像之複數個影像中心重疊相關聯於第一複數個影像之複數個影像周邊。
在一個實施例中,成像裝置包括轉環1060,該轉環經配置以旋轉第一複數個攝影機1000及/或第二複數個攝影機1030。轉環1060可圍繞3維軸之一者、兩者或所有三者旋轉。第一複數個攝影機1000及第二複數個攝影機1030可相對於彼此旋轉,或可相對於安裝有第一複數個攝影機及第二複數個攝影機的裝置旋轉。第10B圖展示其中相對於第10A圖中所示的位置,第一複數個攝影機1000相對於第二複數個攝影機1030旋轉所處的位置。轉環1060可連接至自動地旋轉轉環1060之馬達。馬達可為微機電系統(microelectromechanical system;「MEMS」)裝置、奈米機電系統(nano-electromechanical system;「NEMS」)裝置、微微機電系統裝置等,馬達可連接至相關聯於成像裝置之處理器、相關聯於行動裝置1005之處理器。在一個實施例中,在錄製第一照片之後,馬達使轉環1060旋轉0°至90°之任何角度,且攝影機1000、1030錄製第二照片。另外,轉環1060可包括鎖定機構以使得當轉環1060將攝影機1000及/或1030旋轉至所欲位置時,鎖定機構接合以將攝影機1000及/或1030保持在適當位置。
第一複數個攝影機1000及第二複數個攝影機1030可同步地或異步地錄製第一複數個影像及第二複數個影像。成像裝置可包括處理器,該處理器經配置以將第一複數個影像及第二複數個影像組合成不因複數個廣角鏡頭失真的影像。處理器亦可相關聯於行動裝置1005。
本文揭示的成像裝置可為獨立裝置,可為行動裝置1005附件,或可整合至行動裝置1005中。另外,第一複數個攝影機1000及/或第二複數個攝影機1030可為獨立裝置,可為行動裝置1005附件,或可整合至行動裝置1005中,諸如第1-5圖中之攝影機120,及/或第7A-7E圖、第8圖中之攝影機700。行動裝置1005附件可經由USB連接埠或無線地連接至電話。當第一複數個攝影機1000及/或第二複數個攝影機1030耦合至行動裝置1005時,攝影機1000、1030可藉由行動裝置1005供電,且通訊地耦合至相關聯於行動裝置1005之處理器,以使得藉由攝影機1000、1030錄製的影像儲存在行動裝置1005上。替代地,藉由攝影機1000、1030錄製的影像可儲存在攝影機1000、1030中且發送至行動裝置1005用於處理及/或用於顯示。
第11A圖展示根據一個實施例的部分啟動的複數個攝影機之側視圖。相關聯於行動裝置1105之第一複數個攝影機1100包括第一廣角鏡頭1110及第二廣角鏡頭1120、複數個光感測器1140以及耦合至第一廣角鏡頭1110、第二廣角鏡頭1120及複數個光感測器1140之光偏轉器1130之陣列。鏡頭1110、1120可為魚眼鏡頭。光偏轉器1130之陣列可包括一或多個光偏轉器。第二複數個攝影機包括相關聯於行動裝置1105之攝影機1050、1040。
第一複數個攝影機1100可操作來在第一複數個攝影機1100為不活動時收縮於相關聯於行動裝置1105之攝影機連接埠1160內部,且與相關聯於外罩殼之一或多個表面對準,該外罩殼相關聯於行動裝置1105,以使得第一複數個攝影機1100在不活動時變為不受注意的。第一複數個攝影機1100可操作來當攝影機活動時自相關聯於行動裝置1105之外罩殼突出,且將鏡頭1110、1120定位成接收大多數不受行動裝置1105阻礙的光。
光偏轉器1130之陣列可操作來藉由改變相關聯於光偏轉器1130之陣列的位置而改變光束1150之方向。在光束1150方向上之改變可自0°至180°。光偏轉器1130之陣列中的每一光偏轉器可操作來圍繞相關聯於個別光偏轉器之軸1135旋轉且呈現至少兩個位置。第一位置可操作來將相關聯於第一鏡頭1110之光束1150偏轉至相關聯於第一複數個攝影機1100之光感測器1140。第二位置可操作來將相關聯於第二鏡頭1120之光束偏轉至相關聯於第一複數個攝影機1100之光感測器1140。光偏轉器1130之陣列中的每一光偏轉器可獨立於彼此旋轉,或該等光偏轉器可統一地旋轉。光偏轉器1130之陣列中的每一光偏轉器可呈現不同於彼此之位置,該等光偏轉器可呈現相同位置,或該等光偏轉器可呈現一位置,以使得光偏轉器1130之陣列產生光滑表面,諸如平面或彎曲表面。例如,光偏轉器1170已呈現不同於光偏轉器1130之陣列中的其餘光偏轉器之位置,因此產生非光滑表面。
光偏轉器1130之陣列中的每一光偏轉器可為可操作來反射光之鏡子或稜鏡。光偏轉器1130之陣列可包含鏡面光偏轉器及稜鏡光偏轉器之混合物,或可僅包含鏡面光偏轉器或僅為稜鏡光偏轉器。鏡子可由任何反射材料製成,該反射材料諸如玻璃、反射塑膠、金屬等。稜鏡可為波羅稜鏡、阿米西屋脊稜鏡、五稜鏡等。光偏轉器1130之陣列可藉由極小裝置致動或可為極小裝置之部分,該極小裝置諸如微機電系統(micro-electromechanical system;「MEMS」)裝置、奈米機電系統(nano-electromechanical system;「NEMS」)裝置、微微機電系統裝置等。
除如上文所述的第一鏡頭1110及第二鏡頭1120之外,第一複數個攝影機1100可包括第三鏡頭、第四鏡頭及第五鏡頭。每一鏡頭可相應於第一複數個攝影機1100之側面。除如上文所述的第一位置及第二位置之外,光偏轉器1130之陣列可操作來呈現第三位置、第四位置、第五位置等,其中相關聯於光偏轉器1130之陣列的每一位置經配置以將相關聯於鏡頭之光束偏轉至相關聯於第一複數個攝影機1100之光感測器1140。相關聯於光偏轉器1130之陣列中的光偏轉器之位置中之任一者可將光偏轉0°,亦即,光偏轉器1130之陣列令光束穿過光感測器1140。
根據一個實施例,第一複數個攝影機1100可包括安置在複數個光感測器1140與光偏轉器1130之陣列之間的鏡頭。鏡頭可具有在極短有效焦距與極長有效焦距之間的有效焦距。在另一實施例中,第一複數個攝影機1100可進一步包括連接鏡頭1110、1120、光偏轉器1130之陣列及複數個光感測器1140之光導,其中光導可操作來在鏡頭1110、1120與鏡頭之間的傳輸光束1150。光導可由全內反射光之任何材料製成。
根據另一實施例,行動裝置1105可包括第二攝影機,其中該第二攝影機自第一複數個攝影機1100位移短距離。在各種實施例中,兩個攝影機之間的短距離粗略地相應於人眼之間的距離,且在一些狀況下模擬人眼之間的距離。在其他實施例中,兩個攝影機之間的短距離減小至幾乎為零,以便最小化兩個攝影機在行動裝置1105上佔據的空間。第二攝影機包括第二鏡頭,該第二鏡頭可操作來俘獲第二影像。第二影像相應於藉由第一複數個攝影機1100俘獲的第一影像,其中第二影像及第一影像包含立體影像。立體影像為同一場景稍微偏移之二維影像,且相應於檢視者之左眼及右眼。當兩個影像藉由人檢視時,影像給出景深印象。第二攝影機可為第二可伸展攝影機,可為傳統手機攝影機,可為整合至顯示器中之手機攝影機,如本申請案中所述等。行動裝置1105包括耦合至第二攝影機及第一複數個攝影機1100之處理器。處理器可操作來基於第一影像及第二影像而提取深度資訊,以校正每一影像中之像差,以修正影像以及以產生立體影像。
第11B圖展示根據一個實施例的光偏轉器1130之陣列。相關聯於光偏轉器1130之陣列中的光偏轉器之軸1135可定位於光偏轉器上之任何處。例如,軸1135可為相關聯於光偏轉器之對稱軸,或可與相關聯於光偏轉器1130之陣列中的光偏轉器之任何邊緣對準。例如,相關聯於光偏轉器1170之旋轉軸1135與相關聯於光偏轉器1170之邊緣對準。相關聯於光偏轉器1180之旋轉軸1135與相關聯於光偏轉器之對稱軸對準,該對稱軸諸如水平對稱軸,如第11B圖所示。光偏轉器1170、1180可獨立於光偏轉器之剩餘者旋轉,如第11B圖所示。
第12A圖展示根據一個實施例的整合至行動裝置中之第一複數個攝影機及第二複數個攝影機。第一複數個攝影機1200包含兩個廣角鏡頭1210及1220。第二複數個攝影機1230包含兩個鏡頭1240及1250。第二複數個攝影機1230經安置以錄製其中廣角鏡頭1210及1220產生失真影像之區域中的影像。例如,第二複數個攝影機1230係以相對於第一複數個攝影機1200之90°角度安置,如第12A圖所示。第一複數個攝影機1200及第二複數個攝影機1230係整合至行動裝置中。第一複數個攝影機1200包含相關聯於行動裝置1205之正面攝影機及背面攝影機。第二複數個攝影機1230包含側面攝影機,諸如左面攝影機及右面攝影機。
行動裝置1205可包含一或多個側面。例如,行動裝置1205可具有6個側面,諸如標準iPhone或android電話,或行動裝置1205可為彎曲的,例如橢球體,僅包含單一側面。
第12B圖為根據一個實施例的獨立成像裝置。獨立成像裝置包含六個側面。兩個廣角鏡頭1260係安裝在相關聯於成像裝置上之相對側。四個標準鏡頭1270、1272、1274、1276係安置在相關聯於成像裝置之剩餘四個側面之中間。對邊緣1290而言,安裝有標準鏡頭之單獨側面配備有諸如軌道之安裝機構,以接收經配置以支撐成像裝置之支架。支架可為伸長自拍桿、三腳架等。例如,在第12B圖中,兩個伸長支架1280係附接至相關聯於成像裝置之邊緣1290,以使得包含該邊緣之兩個側面具有安裝在其上之標準鏡頭。支架1280與邊緣1290之間的角度在130°與145°之間,以使得不阻擋標準鏡頭1270、1274、1276之視圖。
第12C-12D圖展示根據另一實施例的經配置為行動裝置附件之成像裝置。獨立成像裝置1215包括兩個側面。一個廣角鏡頭1225係安置於相關聯於成像裝置1215之一個側面上,而標準鏡頭1235係安置於相關聯於成像裝置1215之另一側面上。成像裝置1225可安裝在相關聯於行動裝置1205之背側上,如第12D圖所示。元件1245為相關聯於行動裝置1205之正面攝影機。
第13圖為根據一個實施例的錄製周圍環境之無失真360°視圖之過程之流程圖。在步驟1300中,配置相關聯於行動裝置之第一複數個攝影機。第一複數個攝影機包括圍繞第一複數個攝影機均勻地分佈的複數個魚眼鏡頭。第一複數個攝影機經配置以錄製相關聯於周圍環境之第一複數個影像。第一複數個影像中之每一影像包含因複數個魚眼鏡頭中之魚眼鏡頭失真的影像周邊及不因魚眼鏡頭失真的影像中心。
在步驟1310中,配置與行動裝置整合之第二複數個攝影機。第二複數個攝影機包括圍繞第二複數個攝影機均勻地分佈的複數個鏡頭。第二複數個攝影機經配置以錄製相關聯於周圍環境之第二複數個影像。第二複數個影像中之每一影像包含不因第二複數個攝影機中之攝影機失真的影像中心。相關聯於第二複數個影像之複數個影像中心重疊相關聯於第一複數個影像之複數個影像周邊。
在步驟1320中,第一複數個攝影機及第二複數個攝影機經配置以同步地錄製第一複數個影像及第二複數個影像。
在步驟1330中,處理器經配置以將第一複數個影像及第二複數個影像組合成不因複數個魚眼鏡頭失真的影像。
第14A圖展示根據一個實施例的藉由相關聯於第二複數個攝影機之標準鏡頭錄製的影像。影像為圓石隧道之影像。影像為無失真的,且展示如人眼將察覺環境的環境。影像1400之區域與藉由第一複數個攝影機中之廣角鏡頭錄製的影像重疊,其中廣角鏡頭係安置於標準鏡頭左側。影像1410之區域與藉由第二複數個攝影機中之廣角鏡頭錄製的影像重疊,其中廣角鏡頭係安置於標準鏡頭右側。
第14B圖展示根據一個實施例的藉由相關聯於第一複數個攝影機之廣角鏡頭錄製的影像。廣角鏡頭係以相對於來自第14A圖之標準鏡頭的90°安置。另外,廣角鏡頭之位置及定向與第14A圖中之標準鏡頭之位置定向相同。影像為失真的,因為直線係描繪成曲線1420。影像1430之區域與第14A圖中之影像1400之區域重疊。
第14C圖展示根據一個實施例的藉由組合相關聯於第一複數個攝影機之影像及相關聯於第二複數個攝影機之影像而獲得的無失真影像。處理器接收相關聯於第一複數個攝影機之影像及相關聯於第二複數個攝影機之影像,且將該等影像組合來產生無失真影像。所示影像為相關聯於第一複數個攝影機中之第一廣角鏡頭的180°影像。處理器可產生相關聯於第一複數個攝影機中之第二廣角鏡頭的類似180°影像。
第15、16A-16C圖解釋根據一個實施例的將來自各種攝影機之影像組合成單一360°影像之過程。在步驟1500中,處理器校準複數個廣角鏡頭以判定相關聯於複數個廣角鏡頭之失真。處理器判定藉由第一複數個攝影機中之每一廣角鏡頭錄製的影像與藉由標準鏡頭錄製的等效影像之間的映射函數。等效影像為藉由標準鏡頭在該標準鏡頭與廣角鏡頭一樣定位及定向時所獲取的影像。映射函數包括變換,其中當變換施加於藉由廣角鏡頭錄製之影像時,處理器產生藉由標準鏡頭錄製之等效影像。
在步驟1510中,處理器將映射函數儲存在相關聯於處理器之記憶體中。
在步驟1520中,處理器接收相應於第一複數個攝影機之第一複數個影像及相應於第二複數個攝影機之第二複數個影像。第一複數個攝影機包含複數個廣角鏡頭,而第二複數個攝影機可包含複數個廣角鏡頭,及/或可包含複數個標準鏡頭。
在步驟1530中,處理器判定針對第一複數個攝影機及第二複數個攝影機之給定相對位置而言的藉由第一複數個攝影機錄製的第一複數個影像與藉由第二複數個影像錄製的第二複數個影像之間的像素對應。像素對應為第一複數個影像中之像素子集與第二複數個影像中之相應像素子集之間的映射。第一複數個攝影機及第二複數個攝影機之相對位置可如上文所述有所變化。例如,第一複數個攝影機可使用轉環而旋轉。
在一個實施例中,在判定像素對應中,處理器判定相關聯於標準鏡頭的第14A圖中之區域1400及相關聯於廣角鏡頭的第14B圖中之相應區域1430。處理器在第14A圖中之區域1400中的每一像素與第14B圖中之區域1420中的每一像素之間建立一一對應。
為判定像素對應,處理器對第一複數個影像中之每一失真影像施加映射函數以獲得第一複數個無失真影像。當第二複數個影像藉由廣角鏡頭錄製時,處理器對第二複數個影像中之每一失真影像施加映射函數以獲得第二複數個無失真影像。當第二複數個影像藉由標準鏡頭錄製時,處理器不做任何處理,且第二複數個影像變成第二複數個無失真影像。參考第16A圖,處理器將第一複數個影像中之無失真影像1610與第二複數個影像中之相應無失真影像1620重疊,且計算兩個重疊區域之間的匹配記分。
在一個實施例中,處理器判定兩個影像之間的最大重疊區域。例如,當相關聯於影像1610之鏡頭係處於自相關聯於影像1620之鏡頭的90°角度,處理器將無失真影像1610與如第16A圖所示的影像1620重疊。兩個影像之間的潛在最大重疊區域1600係自影像1620之中間至影像1620之左邊緣,其中影像1620之中間與如第16A圖所示的影像1610之左邊緣對準。在另一實施例中,處理器將影像1610及1620完全重疊,如第16B圖所示。
以最大重疊開始,無論是部分重疊還是全部重疊,處理器將影像相對於彼此逐像素線地垂直地及水平地移動,直至在影像1610、1620之間不存在重疊像素,且計算每一重疊區域的匹配記分。可使用各種影像匹配演算法計算匹配記分,該等演算法諸如最小平方匹配。基於第16C圖中具有最高匹配記分之重疊區域1630、1640,處理器判定兩個區域之間的像素對應。
在步驟1540中,處理器組合第一複數個無失真影像及第二複數個無失真影像以獲得無失真360°影像。在兩個影像之間的第16B圖中之重疊區域1630、1640中,處理器藉由對每一像素指派0至1之權重以使得權重之總和始終等於一而將相關聯於第一複數個影像與第二複數個影像之像素組合。例如,可以說像素P1相關聯於第16B圖中之重疊區域1630且相應像素P2相關聯於第16B圖中之重疊區域1640。處理器產生新的像素P0,其等於W1*P1+(1-W1)*P2,其中0<=W1<=1。權重W1係基於像素P1至相關聯於重疊區域之內緣1650之距離來判定。當像素P1恰好挨著邊緣1650時,W1為1。權重W1減小直至W1在外緣1660處達到0。該減少可為線性的、平方的、立方的等,或該減少可為謹慎的以使得在離邊緣1650達指定距離之後,權重W1變成0。指定距離可為一個像素、兩個像素等,至多區域1630中所含像素之一半。
可進行另外的方法步驟以產生本文描述的各種實施例。電腦
第17圖為呈示例性形式之電腦系統1700的機器之圖解表示,在該電腦系統內可執行指令集,以用於引起機器進行本文論述的方法或模組中之任一者或多者。
在第17圖之實例中,電腦系統1700包括處理器、記憶體、非揮發性記憶體及介面裝置。各種共同組件(例如,快取記憶體)加以省略以達說明簡單性。電腦系統1700意欲例示硬體裝置,可在該硬體裝置上實行第1-16C圖之實例中描述的任何組件(及本說明書中描述的任何其他組件)。電腦系統1700可具有任何可適用的已知或適宜類型。電腦系統1700之組件可經由匯流排或經由一些其他已知或適宜的裝置而耦合在一起。
本揭示內容涵蓋採取任何適合實體形式之電腦系統1700。作為實例且不藉由限制方式,電腦系統1700可為嵌入式電腦系統、系統單晶片(system-on-chip;SOC)、單板電腦系統(single-board computer system;SBC) (諸如,例如,模組上電腦(computer-on-module;COM)或模組上系統(system-on-module;SOM))、桌上型電腦系統、膝上型或筆記型電腦系統、交互型生活資訊站、大型電腦、電腦系統網、行動電話、個人數位助理(personal digital assistant;PDA)、伺服器或此等者中兩個或兩個以上者之組合。在適當時,電腦系統1700可包括一或多個電腦系統1700;為單一或分佈式的;跨距多個位置;跨距多個機器;或駐留在雲端,其可包括一或多個網路中之一或多個雲端組件。在適當時,一或多個電腦系統1700可進行本文描述或例示的一或多種方法之一或多個步驟,而無實質上空間或時間限制。作為實例且藉由限制方式,一或多個電腦系統1700可即時或以分批模式進行本文描述或例示的一或多種方法之一或多個步驟。一或多種電腦系統1700可在適當時在不同時間或在不同位置進行本文描述或例示的一或多種方法之一或多個步驟。
處理器可例如為習知微處理器,諸如Intel Pentium微處理器或Motorola PowerPC微處理器。相關技藝中之技藝人士將認識到,術語「機器可讀(儲存)媒體」或「電腦可讀(儲存)媒體」包括任何類型的可藉由處理器存取之裝置。
記憶體係藉由例如匯流排耦合至處理器。記憶體可包括例如但不限於隨機存取記憶體(random access memory;RAM),諸如動態RAM (dynamic RAM;DRAM)及靜態RAM (static RAM;SRAM)。記憶體可為局部的、遠程的或分佈式的。
匯流排亦將處理器耦合至非揮發性記憶體及驅動單元。非揮發性記憶體常常為磁性軟盤或硬盤、磁性光盤、光盤、唯讀記憶體(read-only memory;ROM)(諸如CD-ROM、EPROM或EEPROM)、磁卡或光卡或用於大量資料之另一形式的儲存器。此資料中的一些常常在電腦系統1700中執行軟體期間藉由直接記憶體存取過程而寫入記憶體中。非揮發性儲存器可為局部的、遠程的或分佈式的。非揮發性記憶體為可選的,因為系統可利用記憶體中可利用的所有可適用資料來產生。典型電腦系統將通常包括至少處理器、記憶體及將記憶體耦合至處理器之裝置(例如,匯流排)。
軟體典型地儲存在非揮發性記憶體及/或驅動單元中。實際上,在記憶體中儲存完整大型程式可能甚至不是可能的。然而,應理解,對運行軟體而言,必要時,該軟體係移動至適合於處理的電腦可讀位置,且出於說明性目的,彼位置在本文中稱為記憶體。甚至當軟體移動至記憶體用於執行時,處理器將典型地利用硬體暫存器來儲存相關聯於軟體之值,及局部快取記憶體,其理想地用於加速執行。如本文所使用的,當軟體程式稱為「在電腦可讀媒體中實行」時,軟體程式係假定為儲存在任何已知的或適宜的位置(自非揮發性儲存器至硬體暫存器)。當相關聯於程式之至少一個值儲存在可藉由處理器讀取的暫存器中時,處理器係視為「經配置以執行程式」。
匯流排亦將處理器耦合至網路介面裝置。介面可包括數據機或網路介面之一或多者。將瞭解,數據機或網路介面可視為電腦系統1700之部分。介面可包括類比數據機、ISDN數據機、電纜數據機、符記環介面、衛星傳輸介面(例如,「直接PC」)或用於將電腦系統耦合至其他電腦系統之其他介面。介面可包括一或多個輸入及/或輸出裝置。I/O裝置可包括例如但不限於鍵盤、滑鼠或其他指向裝置、磁碟驅動機、印表機、掃描儀及其他輸入及/或輸出裝置,包括顯示裝置。顯示裝置可包括例如但不限於陰極射線管(cathode ray tube;CRT)、液晶顯示器(liquid crystal display;LCD)或一些其他可適用的已知或適宜的顯示裝置。為簡單起見,假定第17圖之實例中未描繪的任何裝置之控制器駐留在介面中。
在操作中,電腦系統1700可藉由作業系統軟體控制,該作業系統軟體包括檔案管理系統,諸如磁碟作業系統。具有相關聯檔案管理系統軟體之作業系統軟體之一個實例為來自華盛頓雷蒙德之Microsoft Corporation的稱為Windows®之作業系統家族,及其相關聯檔案管理系統。具有相關聯檔案管理系統軟體之作業系統軟體之另一實例為Linux™作業系統,及其相關聯檔案管理系統。檔案管理系統典型地儲存在非揮發性記憶體及/或驅動單元中,且引起處理器執行由作業系統所需的各種行為,以輸入及輸出資料及將資料儲存在記憶體中,包括將檔案儲存在非揮發性記憶體及/或驅動單元上。
可以演算法及電腦記憶體內之資料位元上之操作符號表示的意義呈現詳細描述之一些部分。此等演算法描述及表示係由資料處理技術領域之技藝者所使用的手段以向該技術領域中之其他技藝者最有效地傳達他們工作的實質內容。演算法在本文中且一般而言係構想為產生所欲結果之操作的自相一致序列。該等操作係彼等需要物理量之實體操控的操作。通常,雖然未必,但此等量採取能夠得以儲存、轉移、組合、比較及在其他情況下得以操控的電信號或磁信號的形式。將此等信號指稱為位元、值、元件、符號、特性、項目、數字或類似物有時被證明是適宜的,此主要係出於一般用途的理由。
然而,應牢記的是,所有此等術語及相似術語係相關聯於適當的物理量且僅為施加至此等量的適宜標籤。除非另外明確地闡述而根據以下論述為明顯的,否則應瞭解的是,在本篇描述的各處,利用諸如「處理」或「計算」或「運算」或「判定」或「顯示」或「產生」等等之術語的討論係指電腦系統或類似電子計算裝置之動作及過程,該電腦系統將在電腦系統之暫存器及記憶體內表示為物理(電子)量之資料操控並轉換為電腦系統記憶體或暫存器或其他此種資訊儲存器、傳輸裝置或顯示裝置內之其他類似地表示為物理量的資料。
本文中所呈現的演算法及顯示器本質上並非關於任何特定電腦或其他設備。可與根據本文中之教示的程式一起使用各種通用系統,或可能證明建構更特殊化的設備來進行一些實施例之方法是適宜的。用於各種此等系統的所需結構將出現於下文描述中。此外,不參考任何特定程式設計語言來描述該等技術,且可因此使用各種程式設計語言來實行各種實施例。
在替代實施例中,機器作為獨立式裝置操作,或可連接(例如網路連接)至其他機器。在網路連接佈署中,機器可在客戶端-伺服器網路環境中的伺服器或客戶端機器之容量中操作,或作為同級間(或分佈式)網路環境中的同級機器操作。
機器可為伺服器電腦、客戶端電腦、個人電腦(personal computer;PC)、平板PC、膝上型電腦、機上盒(set-top box;STB)、個人數位助理(personal digital assistant;PDA)、蜂巢式電話、iPhone、黑莓機、處理器、電話、網頁設備、網路路由器、開關或橋接器或能夠執行指令集(順序地或以其他方式)的任何機器,該指令集指定要由該機器所採取的動作。
雖然機器可讀媒體或機器可讀儲存媒體於示例性實施例中展示為單一媒體,但應採用術語「機器可讀媒體」及「機器可讀儲存媒體」以包括儲存一或多個指令集的單一媒體或多個媒體(例如集中式或分佈式資料庫及/或相關聯的快取記憶體及伺服器)。亦應採用術語「機器可讀媒體」及「機器可讀儲存媒體」以包括能夠儲存、編碼或傳送由機器所執行之指令集的任何媒體,其中該指令集使機器進行目前所揭示技術及創新之方法或模組中之任一者或多者。
一般而言,執行來實行本揭示內容之實施例的常式可實行為作業系統之部分或特定應用程式、組件、程式、物件、模組或稱為「電腦程式」的指令序列。電腦程式典型地包括在電腦中的各種記憶體及儲存裝置中於各種時間設定的一或多個指令,且該一或多個指令當藉由電腦中的一或多個處理單元或處理器讀取及執行時,引起電腦進行操作以執行涉及本揭示內容之各種態樣的元件。
此外,雖然已在完全作用的電腦及電腦系統情景下描述實施例,熟習此項技術者將瞭解的是,各種實施例能夠以各種形式分佈為程式產品,且無論實際上用以影響分佈的特定類型的機器或電腦可讀媒體,本揭示內容皆同等地應用。
機器可讀儲存媒體、機器可讀媒體或電腦可讀(儲存)媒體之其他實例包括但不限於可記錄類型媒體(諸如為揮發性及非揮發性記憶體裝置、軟碟及其他可移除式磁碟、硬碟機、光碟(例如光碟唯讀記憶體(Compact Disk Read-Only Memory;CD-ROM)、多樣化數位光碟(Digital Versatile Disc;DVD)等)以及其他)及傳輸類型媒體(諸如數位及類比通訊鏈路)。
在一些情況下,記憶裝置之操作(諸如自二進制的一至二進制的零的狀態改變,反之亦然)例如可包括轉換,例如實體轉換。在特定類型的記憶體裝置的情況下,此種實體轉換可包含將製品實體轉換至不同狀態或物品。例如但在不限制的情況下,對於一些類型的記憶體裝置而言,狀態改變可涉及電荷之累積及儲存或經儲存電荷之釋放。同樣地,在其他記憶體裝置中,狀態改變可包含磁定向上的實體改變或轉換,或分子結構上的實體改變或轉換,例如自結晶實體改變或轉換至非晶形,或反之亦然。上文不欲為一窮舉清單,在該窮舉清單中記憶體裝置中之二進制的一至二進制的零之狀態改變或反之亦然可包含轉換,諸如實體轉換。實情為,上文欲作為說明性實例。
儲存媒體典型地可為非暫時性的或包含非暫時性裝置。在此情景下,非暫時性儲存媒體可包括有形的裝置,意指該裝置具有具體的實體形式,雖然該裝置可改變其實體狀態。因此,例如非暫時性係指一裝置,該裝置維持是有形的,無論此狀態改變如何。備註
已為了說明及描述的目的而提供所請求標的之各種實施例的前述描述。不欲為窮舉的或將所請求標的限於所揭示的精確形式。許多修改及變化對於熟習此項技術者而言將是明顯的。實施例經選擇及描述以最佳地描述本發明的原理及其實際應用,藉此致能相關領域中的其他具技藝者瞭解所請求標的、各種實施例及適於所設想之特定用途的各種修改。
雖然已在完全作用的電腦及電腦系統情景下描述實施例,熟習此項技術者將瞭解的是,各種實施例能夠以各種形式分佈為程式產品,且無論實際上用以影響分佈的特定類型的機器或電腦可讀媒體,本揭示內容皆同等地應用。
雖然上文的「實施方式」描述某些實施例及所設想的最佳模式,但無論上文在文本中是如何詳細地呈現,可以許多方式實踐實施例。系統及方法的細節可能在仍被本說明書涵蓋的同時在此等系統及方法的實施細節上大大地變化。如上文所指出,在描述各種實施例的某些特徵或態樣時使用的特定術語應不被採用為暗示該術語在本文中被重新定義而被限於本發明關聯於該術語的任何特定特性、特徵或態樣。一般而言,以下申請專利範圍中所使用的術語不應被解釋為將本發明限於本說明書中所揭露的特定實施例,除非彼等術語在本文中被明確定義。據此,本發明之實際範疇不僅包括所揭示的實施例,而且包括實踐或實行申請專利範圍下之實施例的所有等效方式。
已主要為了可讀性及教示目的而選擇本說明書中所使用的語言,且可能並未選擇該語言來勾畫或限制發明標的。因此意欲本發明之範疇不由此「實施方式」限制,而是由任何請求項來限制,基於該等請求項而發出申請案。據此,各種實施例之揭示內容意欲為說明而非限制實施例之範疇,該範疇係闡述於以下申請專利範圍中。
100‧‧‧行動裝置
110‧‧‧攝影機連接埠
120‧‧‧攝影機
130‧‧‧孔徑
140‧‧‧外罩殼
150‧‧‧正面攝影機
160‧‧‧背面攝影機
200‧‧‧頂部鏡頭
210‧‧‧底部鏡頭
220‧‧‧透明罩殼
230‧‧‧平面
240‧‧‧平面
300‧‧‧光偏轉器
310‧‧‧光感測器
320‧‧‧光束
330‧‧‧第一孔徑
340‧‧‧第二孔徑
350‧‧‧光束
400‧‧‧光學變焦鏡頭
500‧‧‧附件
510‧‧‧元件
600‧‧‧步驟
610‧‧‧步驟
620‧‧‧步驟
700‧‧‧攝影機/正面攝影機
705‧‧‧邊界/周邊
710‧‧‧顯示螢幕
720‧‧‧行動裝置軟體應用程式
730‧‧‧行動裝置作業系統功能
740‧‧‧顯示螢幕
750‧‧‧顯示螢幕
755‧‧‧周邊
760‧‧‧邊界
765‧‧‧周邊
770‧‧‧邊界
775‧‧‧周邊
780‧‧‧邊界
800‧‧‧前孔徑
810‧‧‧背孔徑
820‧‧‧光感測器
830‧‧‧光偏轉器
840‧‧‧光束
900‧‧‧步驟
910‧‧‧步驟
1000‧‧‧第一複數個攝影機
1005‧‧‧行動裝置
1010‧‧‧廣角鏡頭
1020‧‧‧廣角鏡頭
1030‧‧‧第二複數個攝影機
1040‧‧‧鏡頭
1050‧‧‧鏡頭
1060‧‧‧轉環
1100‧‧‧第一複數個攝影機
1105‧‧‧行動裝置
1110‧‧‧第一廣角鏡頭/第一鏡頭
1120‧‧‧第二廣角鏡頭/第二鏡頭
1130‧‧‧光偏轉器
1135‧‧‧軸/旋轉軸
1140‧‧‧光感測器
1150‧‧‧攝影機/光束
1160‧‧‧攝影機連接埠
1170‧‧‧光偏轉器
1180‧‧‧光偏轉器
1200‧‧‧第一複數個攝影機
1205‧‧‧行動裝置
1210‧‧‧廣角鏡頭
1215‧‧‧成像裝置
1220‧‧‧廣角鏡頭
1225‧‧‧廣角鏡頭
1230‧‧‧第二複數個攝影機
1235‧‧‧標準鏡頭
1240‧‧‧鏡頭
1245‧‧‧元件
1250‧‧‧鏡頭
1260‧‧‧廣角鏡頭
1270‧‧‧標準鏡頭
1272‧‧‧標準鏡頭
1274‧‧‧標準鏡頭
1276‧‧‧標準鏡頭
1280‧‧‧伸長支架
1290‧‧‧邊緣
1300‧‧‧步驟
1310‧‧‧步驟
1320‧‧‧步驟
1330‧‧‧步驟
1400‧‧‧影像/區域
1410‧‧‧影像
1420‧‧‧曲線
1430‧‧‧影像/區域
1500‧‧‧步驟
1510‧‧‧步驟
1520‧‧‧步驟
1530‧‧‧步驟
1540‧‧‧步驟
1600‧‧‧最大重疊區域
1610‧‧‧無失真影像/影像
1620‧‧‧無失真影像/影像
1630‧‧‧重疊區域
1640‧‧‧重疊區域
1650‧‧‧內緣
1660‧‧‧外緣
1700‧‧‧電腦系統
P1‧‧‧像素
P2‧‧‧像素
第1圖展示根據一個實施例的相關聯於行動裝置之活動攝影機及不活動攝影機。
第2圖展示根據一個實施例的相關聯於包括360°鏡頭之行動裝置的已啟動攝影機。
第3A-B圖展示根據一個實施例的包含複數個孔徑之活動攝影機之前視圖及後視圖。
第4圖展示根據一個實施例的相關聯於攝影機之折疊光學變焦鏡頭。
第5圖展示根據一個實施例的包含相關聯於行動裝置之另外附件的攝影機連接埠。
第6圖為根據一個實施例的提供相關聯於行動裝置100的攝影機之方法之流程圖。
第7A圖展示根據一個實施例的整合至相關聯於行動裝置之顯示螢幕中的正面攝影機。第7B圖展示根據另一實施例的整合至相關聯於行動裝置100之顯示螢幕710中的正面攝影機700。
第7C-7E圖展示根據各種實施例的在攝影機700與顯示螢幕710之間的邊界。
第8圖展示根據一個實施例的整合至顯示器中之攝影機。
第9圖為根據一個實施例的將攝影機整合至顯示螢幕中之方法之流程圖。
第10A-10B圖展示根據一個實施例的能夠錄製周圍環境之無失真全視圖的成像裝置。
第11A圖展示根據一個實施例的部分啟動的複數個攝影機之側視圖。
第11B圖展示根據一個實施例的光偏轉器1130之陣列。
第12A圖展示根據一個實施例的整合至行動裝置中之第一複數個攝影機及第二複數個攝影機。
第12B圖為根據一個實施例的獨立成像裝置。
第12C-12D圖展示根據另一實施例的經配置為行動裝置附件之成像裝置。
第13圖為根據一個實施例的錄製周圍環境之無失真360°視圖之過程之流程圖。
第14A圖展示根據一個實施例的藉由相關聯於第二複數個攝影機之標準鏡頭錄製的影像。
第14B圖展示根據一個實施例的藉由相關聯於第一複數個攝影機之廣角鏡頭錄製的影像。
第14C圖展示根據一個實施例的藉由組合相關聯於第一複數個攝影機之影像及相關聯於第二複數個攝影機之影像而獲得的無失真影像。
第15、16A-16C圖解釋根據一個實施例的將來自各種攝影機之影像組合成單一360°影像之過程。
第17圖為呈示例性形式之電腦系統的行動裝置之圖解表示,在該電腦系統內可實行上述設備,且在該電腦系統內可執行指令集,以用於引起機器進行本文論述的方法或模組中之任一者或多者。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無
(請換頁單獨記載) 無
1000‧‧‧第一複數個攝影機
1005‧‧‧行動裝置
1010‧‧‧廣角鏡頭
1020‧‧‧廣角鏡頭
1030‧‧‧第二複數個攝影機
1040‧‧‧鏡頭
1050‧‧‧鏡頭
1060‧‧‧轉環

Claims (30)

  1. 一種錄製一周圍環境之一無失真360°視圖之方法,該方法包含以下步驟: 獲得相應於複數個廣角鏡頭之複數個映射函數,其中該複數個映射函數中之一映射函數包含一變換,其中當該變換施加於相關聯於該複數個廣角鏡頭中之一廣角鏡頭之一失真影像時,該變換產生一無失真影像;接收相應於一第一複數個攝影機之一第一複數個影像及相應於一第二複數個攝影機之一第二複數個影像,其中該第一複數個影像及該第二複數個影像中之至少一個影像包含該失真影像;基於相關聯於該第一影像及該第二影像之一重疊區域判定該第一複數個影像中之一第一影像與該第二複數個影像中之一第二影像之間的一像素對應;以及將該第一複數個無失真影像及該第二複數個無失真影像組合以獲得一無失真360°影像。
  2. 如請求項1所述之方法,其中該獲得該複數個映射函數之步驟包含以下步驟: 使用該廣角鏡頭錄製一第一影像;使用一標準鏡頭錄製一第二影像,其中該標準鏡頭係以與該廣角鏡頭相同之方式安置;計算該映射函數;以及將該映射函數儲存在一記憶體中。
  3. 如請求項1所述之方法,其中該獲得該複數個映射函數之步驟包含以下步驟:自一記憶體擷取該複數個映射函數。
  4. 如請求項1所述之方法,其中該判定該像素對應之步驟包含以下步驟: 將該映射函數施加至每一失真影像以獲得一第一複數個無失真影像及第二複數個無失真影像,該第一複數個無失真影像相應於該第一複數個攝影機,且該第二複數個無失真影像相應於該第二複數個攝影機;將該第一複數個無失真影像中之每一影像與該第二複數個無失真影像中之一相應影像迭代地重疊以獲得複數個重疊區域,其中該複數個重疊區域中之一重疊區域相關聯於每一迭代;迭代地計算複數個匹配記分,該等匹配記分相應於該第一複數個無失真影像中之每一影像與該第二複數個無失真影像中之該相應影像之間的複數個重疊區域;以及基於該複數個重疊區域中之一最佳重疊區域而判定該像素對應,其中該最佳重疊區域相關聯於該複數個匹配記分中之該最高匹配記分。
  5. 如請求項1所述之方法,其中該將該第一複數個無失真影像及該第二複數個無失真影像組合之步驟包含以下步驟: 獲得相關聯於該第一複數個影像中之一第一影像及該第二複數個影像中之一第二影像的該重疊區域;判定該第一複數個影像中之該第一影像之一第一部分,該第一部分處於該重疊區域外部;判定該第二複數個影像中之該第二影像之一第二部分,該第二部分處於該重疊區域外部;判定一重疊部分,該判定之步驟包含以下步驟:針對相關聯於該重疊區域之該第一影像中之每一像素,將該像素藉由一第一權重加權,其中該第一權重包含在0與1之間的一數字,包括端值,且其中該第一權重隨自相關聯於該重疊區域之一邊緣的一增加之距離而減小;針對相關聯於該重疊區域之該等第二影像中之每一相應像素,將該像素藉由一第二權重加權,其中該第二權重隨該第一權重減小而增加;將該兩個像素相加在一起以獲得在該重疊部分中之一像素;以及將該第一部分、該第二部分及該重疊部分拼貼以獲得一360°影像。
  6. 一種能夠錄製一周圍環境之一無失真360°視圖之成像裝置,該成像裝置包含: 安置於一行動裝置上之一第一攝影機,該第一攝影機自相關聯於該行動裝置之一外部罩殼突出,該第一攝影機包含複數個魚眼鏡頭,該複數個魚眼鏡頭包含:一左面魚眼鏡頭,其安置在一正面攝影機與一背面攝影機之間,一右面魚眼鏡頭,其安置在該正面攝影機與該背面攝影機之間,該右面魚眼鏡頭安置成與該左面魚眼鏡頭相反,其中該第一攝影機經配置以錄製相關聯於該周圍環境之一第一複數個影像,其中該第一複數個影像中之每一影像包含因該複數個魚眼鏡頭中之一魚眼鏡頭失真的一第一影像周邊,及不因該複數個魚眼鏡頭失真的一第一影像中心;以及一第二複數個攝影機,其包含:整合至該行動裝置中之該正面攝影機,該正面攝影機安置於相關聯於該行動裝置之一顯示器側上,該顯示器側包含相關聯於該行動裝置之一顯示器,整合至該行動裝置中之該背面攝影機,該背面攝影機安置於相關聯於該行動裝置之一背側上,該背側與該顯示器側相反,其中第二複數個攝影機經配置以錄製相關聯於該周圍環境之一第二複數個影像,其中該第二複數個影像中之每一影像包含不因該第二複數個攝影機中之一攝影機失真的一第二影像中心,其中相關聯於該第二複數個影像之該第二複數個影像中心重疊相關聯於該第一複數個影像之該第一複數個影像周邊。
  7. 一種能夠錄製一周圍環境之一無失真全視圖之成像裝置,該成像裝置包含: 相關聯於一行動裝置之一第一複數個攝影機,該第一複數個攝影機包含圍繞該第一複數個攝影機均勻地分佈的複數個魚眼鏡頭,其中該第一複數個攝影機經配置以錄製相關聯於該周圍環境之一第一複數個影像,其中該第一複數個影像中之每一影像包含因該複數個魚眼鏡頭中之一魚眼鏡頭失真的一第一影像周邊及不因該魚眼鏡頭失真的一第一影像中心;與該行動裝置整合的一第二複數個攝影機,該第二複數個攝影機包含圍繞該第二複數個攝影機均勻地分佈的複數個鏡頭,其中該第二複數個攝影機經配置以錄製相關聯於該周圍環境之一第二複數個影像,其中該第二複數個影像中之每一影像包含不因該第二複數個攝影機中之一攝影機失真的一第二影像中心,其中相關聯於該第二複數個影像之該第二複數個影像中心重疊相關聯於該第一複數個影像之該第一複數個影像周邊,其中該第一複數個攝影機及該第二複數個攝影機經配置以同步地錄製該第一複數個影像及該第二複數個影像;以及一處理器,其經配置以將該第一複數個影像及該第二複數個影像組合成不因該複數個魚眼鏡頭失真的一影像。
  8. 如請求項7所述之成像裝置,該第一複數個攝影機包含經配置以附接至該行動裝置之一行動裝置附件。
  9. 如請求項7所述之成像裝置,其包含一轉環,該轉環經配置以安置該第一複數個攝影機以呈現一第一位置,其中該第一位置致能該第一複數個攝影機錄製一第三複數個影像。
  10. 如請求項7所述之成像裝置,該第一複數個攝影機整合至該行動裝置中,該第一複數個攝影機可移動地安置在相關聯於該行動裝置之一攝影機連接埠內部, 該第一複數個攝影機經配置以當該第一複數個攝影機為不活動時,收縮於該攝影機連接埠內部,且與相關聯於該行動裝置之一外部罩殼對準,且該第一複數個攝影機經配置以當該第一複數個攝影機為活動時,自相關聯於該行動裝置之該外部罩殼突出且將該複數個魚眼鏡頭定位來接收不受該行動裝置阻礙的光。
  11. 如請求項7所述之成像裝置,該第二複數個攝影機,其包含: 一前鏡頭,其接近於相關聯於該行動裝置之一顯示器;一後鏡頭,其安置在與該前鏡頭相反的一方向上;複數個光感測器;以及相關聯於該前鏡頭、該後鏡頭及該複數個光感測器之一光偏轉器陣列,該光偏轉器陣列改變一光束之一方向,該光偏轉器陣列可操作來呈現一第一位置及一第二位置,該第一位置將相關聯於該前鏡頭之一光束偏轉至相關聯於該攝影機之該複數個光感測器,且該第二位置將相關聯於該後鏡頭之一光束偏轉至相關聯於該攝影機之該複數個光感測器。
  12. 如請求項7所述之成像裝置,該第二複數個攝影機包含接近於相關聯於該行動裝置之一顯示器的一前面攝影機,及安置在與該前面攝影機相反的一方向上的一背面攝影機。
  13. 如請求項7所述之成像裝置,該第二複數個攝影機佔據相關聯於該行動裝置之一顯示螢幕之一部分,該顯示螢幕的藉由該攝影機佔據的該部分呈現為一攝影機圖符,該攝影機圖符可操作來當該攝影機圖符經選擇時啟動該攝影機。
  14. 如請求項13所述之成像裝置,該攝影機圖符可操作來當該攝影機圖符經選擇時啟用該行動裝置上之一攝影機應用程式。
  15. 一種能夠錄製一周圍環境之一無失真全視圖之成像裝置,該成像裝置包含: 一第一複數個攝影機,其包含複數個廣角鏡頭,其中該第一複數個攝影機經配置以錄製相關聯於該周圍環境之一第一複數個影像,其中該第一複數個影像中之每一影像包含因該複數個廣角鏡頭中之一廣角鏡頭失真的一第一影像周邊,及不因該廣角鏡頭失真的一第一影像中心;以及 一第二複數個攝影機,其包含複數個標準鏡頭,其中該第二複數個攝影機經配置以錄製相關聯於該周圍環境之一第二複數個影像,其中該第二複數個影像中之每一影像包含不因該第二複數個攝影機中之一攝影機失真的一第二影像中心,其中相關聯於該第二複數個影像之該第二複數個影像中心重疊相關聯於該第一複數個影像之該第一複數個影像周邊。
  16. 如請求項15所述之成像裝置,其中該複數個廣角鏡頭圍繞該第一複數個攝影機均勻地分佈,且其中該複數個標準鏡頭圍繞該第二複數個攝影機均勻地分佈。
  17. 如請求項15所述之成像裝置,其中該第一複數個攝影機及該第二複數個攝影機經配置以同步地錄製該第一複數個影像及該第二複數個影像。
  18. 如請求項15所述之成像裝置,其中該廣角鏡頭包含一魚眼鏡頭。
  19. 如請求項15所述之成像裝置,其中該第一複數個攝影機包含一行動裝置附件,且其中該第二複數個攝影機係整合至一行動裝置中。
  20. 如請求項15所述之成像裝置,其中該成像裝置包含一伸長支架,每一伸長支架在安置於該複數個標準鏡頭中之兩個標準鏡頭之間的一接合點處附接至該成像裝置,其中該伸長傾斜支架經配置以在該伸長支架與一支撐表面接觸時支撐該成像裝置。
  21. 如請求項15所述之成像裝置,其中該第一複數個攝影機包含一第一行動裝置附件,且其中該第二複數個攝影機包含一第二行動裝置附件。
  22. 如請求項15所述之成像裝置,其包含一轉環,該轉環經配置以安置該第一複數個攝影機及該第二複數個攝影機以呈現一第一位置,其中當該第一複數個攝影機及該第二複數個攝影機呈現該第一位置時,該第一複數個攝影機經配置以錄製一第三複數個影像,且該第二複數個攝影機經配置以錄製一第四複數個影像。
  23. 如請求項22所述之成像裝置,該轉環經配置以在該第一複數個攝影機及該第二複數個分別地錄製該第一複數個影像及該第二複數個影像之後自動地旋轉該第一複數個攝影機及該第二複數個攝影機。
  24. 如請求項15所述之成像裝置,其包含一處理器,該處理器經配置以將該第一複數個影像及該第二複數個影像組合成不因該複數個廣角鏡頭失真的一影像。
  25. 如請求項15所述之成像裝置,整合至一行動裝置中之該第一複數個攝影機,該第一複數個攝影機可移動地安置在相關聯於該行動裝置之一攝影機連接埠內部,該第一複數個攝影機經配置以 當該第一複數個攝影機為不活動時,收縮於該攝影機連接埠內部,且與相關聯於該行動裝置之一外部罩殼對準,且該第一複數個攝影機經配置以當該第一複數個攝影機為活動時,自相關聯於該行動裝置之該外部罩殼突出且將該複數個廣角鏡頭定位來接收不受該行動裝置阻礙的光。
  26. 如請求項25所述之成像裝置,該第一複數個攝影機,其包含: 一第一廣角鏡頭;一第二廣角鏡頭;複數個光感測器;以及相關聯於該第一廣角鏡頭、該第二廣角鏡頭及該複數個光感測器之一光偏轉器陣列,該光偏轉器陣列改變一光束之一方向,該光偏轉器陣列可操作來呈現一第一位置及一第二位置,該第一位置將相關聯於該第一廣角鏡頭之一光束偏轉至相關聯於該第一複數個攝影機之該複數個光感測器,且該第二位置將相關聯於該第二廣角鏡頭之一光束偏轉至相關聯於該第一複數個攝影機之該複數個光感測器。
  27. 如請求項26所述之成像裝置,該攝影機包含相應於該光偏轉器陣列之一微機電系統裝置陣列,該微機電系統裝置陣列可操作來個別地致動該光偏轉器陣列中之每一光偏轉器。
  28. 如請求項26所述之成像裝置,該光偏轉器陣列中之每一光偏轉器經配置以在一彎曲表面中軸向地旋轉並安置該光偏轉器陣列。
  29. 如請求項15所述之成像裝置,該第一複數個攝影機整合至一行動裝置中,該第一複數個攝影機中之一攝影機佔據相關聯於該行動裝置之一顯示螢幕之一部分,該顯示螢幕的藉由該攝影機佔據的該部分呈現為一攝影機圖符,該攝影機圖符可操作來當該攝影機圖符經選擇時啟動該攝影機。
  30. 如請求項29所述之成像裝置,該攝影機圖符安置在該顯示螢幕的保留用於相應於複數個行動裝置作業系統功能之複數個圖符的一部分中。
TW105134935A 2015-10-30 2016-10-28 錄製無失真全視圖之裝置 TWI622017B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201562249130P 2015-10-30 2015-10-30
US62/249,130 2015-10-30
US201662300631P 2016-02-26 2016-02-26
US62/300,631 2016-02-26
US201662325922P 2016-04-21 2016-04-21
US62/325,922 2016-04-21
US15/161,153 US9906721B2 (en) 2015-10-30 2016-05-20 Apparatus and method to record a 360 degree image
US15/161,153 2016-05-20

Publications (2)

Publication Number Publication Date
TW201721582A true TW201721582A (zh) 2017-06-16
TWI622017B TWI622017B (zh) 2018-04-21

Family

ID=58631853

Family Applications (2)

Application Number Title Priority Date Filing Date
TW107101520A TW201824177A (zh) 2015-10-30 2016-10-28 錄製360度影像的設備與方法
TW105134935A TWI622017B (zh) 2015-10-30 2016-10-28 錄製無失真全視圖之裝置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW107101520A TW201824177A (zh) 2015-10-30 2016-10-28 錄製360度影像的設備與方法

Country Status (3)

Country Link
US (2) US9906721B2 (zh)
TW (2) TW201824177A (zh)
WO (1) WO2017075247A2 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI558208B (zh) * 2015-07-14 2016-11-11 旺玖科技股份有限公司 影像處理方法、影像處理裝置及顯示系統
US9819865B2 (en) 2015-10-30 2017-11-14 Essential Products, Inc. Imaging device and method for generating an undistorted wide view image
US9736383B2 (en) * 2015-10-30 2017-08-15 Essential Products, Inc. Apparatus and method to maximize the display area of a mobile device
US9813623B2 (en) 2015-10-30 2017-11-07 Essential Products, Inc. Wide field of view camera for integration with a mobile device
KR102167928B1 (ko) 2017-03-14 2020-10-20 엘지전자 주식회사 이동 단말기
JP6919242B2 (ja) * 2017-03-16 2021-08-18 株式会社リコー 音声取得装置
US10863135B2 (en) * 2017-07-12 2020-12-08 Dell Products L.P. Information handling system integrated multi-angle camera
US10400929B2 (en) 2017-09-27 2019-09-03 Quick Fitting, Inc. Fitting device, arrangement and method
CN108009983B (zh) * 2017-11-30 2021-05-25 天地伟业技术有限公司 一种基于图像分析定位像素点对应原图的方法
JP7058585B2 (ja) * 2017-12-25 2022-04-22 キヤノン株式会社 画像処理装置およびその制御方法
WO2019130827A1 (ja) 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
TWI693577B (zh) 2018-09-19 2020-05-11 聚晶半導體股份有限公司 影像產生方法與電子裝置
US11412136B2 (en) 2018-12-07 2022-08-09 Samsung Electronics Co., Ltd. Apparatus and method for operating multiple cameras for digital photography
TWI708986B (zh) * 2019-05-15 2020-11-01 華碩電腦股份有限公司 電子裝置
US11195259B2 (en) 2019-12-04 2021-12-07 Samsung Electronics Co., Ltd. Apparatus and method for dynamic multi-camera rectification using depth camera
JP2021117379A (ja) * 2020-01-27 2021-08-10 株式会社ジャパンディスプレイ 電子機器
US10969047B1 (en) 2020-01-29 2021-04-06 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
US11035510B1 (en) 2020-01-31 2021-06-15 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
US11079797B1 (en) * 2020-05-14 2021-08-03 Apple Inc. Electronic devices with adjustable display windows
US11823353B2 (en) 2020-07-28 2023-11-21 Samsung Electronics Co., Ltd. System and method for generating bokeh image for DSLR quality depth-of-field rendering and refinement and training method for the same
US11449968B2 (en) 2020-12-31 2022-09-20 Samsung Electronics Co., Ltd. System and method for synthetic depth-of-field effect rendering for videos
US20230037461A1 (en) * 2021-08-09 2023-02-09 Sam Salemnia Case for a cellular phone configured to enable the cellular phone to capture 360-degree field-of-view images
US11665412B2 (en) * 2021-08-16 2023-05-30 Lenovo (Singapore) Pte. Ltd. Mountable display camera assembly with arm

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990941A (en) 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
USRE43490E1 (en) 1994-05-27 2012-06-26 B.H. Image Co. Llc Wide-angle dewarping method and apparatus
US6459451B2 (en) * 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US7084904B2 (en) 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
US20050058360A1 (en) 2003-09-12 2005-03-17 Thomas Berkey Imaging system and method for displaying and/or recording undistorted wide-angle image data
US6954310B2 (en) 2003-09-25 2005-10-11 University Of Florida Research Foundation, Inc. High resolution multi-lens imaging device
US8427538B2 (en) 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
WO2006040687A2 (en) 2004-07-19 2006-04-20 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
US20100045773A1 (en) * 2007-11-06 2010-02-25 Ritchey Kurtis J Panoramic adapter system and method with spherical field-of-view coverage
TW200740212A (en) 2006-04-10 2007-10-16 Sony Taiwan Ltd A stitching accuracy improvement method with lens distortion correction
US20090002797A1 (en) * 2007-06-27 2009-01-01 Wah Yiu Kwong Multi-directional camera for a mobile device
US8525871B2 (en) * 2008-08-08 2013-09-03 Adobe Systems Incorporated Content-aware wide-angle images
US8416282B2 (en) * 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image
WO2010052558A2 (en) * 2008-11-05 2010-05-14 Easywalk Capital S.A. System and method for the precise integration of virtual objects to interactive panoramic walk-through applications
TWI441514B (zh) * 2008-11-12 2014-06-11 Avisonic Technology Corp 魚眼影像校正及減輕透視變形的影像處理方法及相關影像處理裝置
EP2377307B1 (en) * 2008-12-18 2015-11-11 Omnivision Technologies, Inc. Image sensor apparatus and method for line buffer efficient lens distortion correction
US20150189140A1 (en) 2009-02-23 2015-07-02 Gary Edwin Sutton Curved sensor array camera
JP5269707B2 (ja) 2009-07-01 2013-08-21 富士フイルム株式会社 画像合成装置及び方法
US20110032368A1 (en) 2009-08-07 2011-02-10 Nicholas John Pelling System for Emulating Continuous Pan/Tilt Cameras
US9036001B2 (en) 2010-12-16 2015-05-19 Massachusetts Institute Of Technology Imaging system for immersive surveillance
US9007432B2 (en) 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US8570320B2 (en) 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US9930225B2 (en) * 2011-02-10 2018-03-27 Villmer Llc Omni-directional camera and related viewing software
US20120257008A1 (en) 2011-04-07 2012-10-11 Andrew David Taylor Mobile Device Case Having an Integrated Wide-Angle Lens
WO2013070091A2 (en) * 2011-11-09 2013-05-16 Mark Ross Hampton Improvements in and in relation to a lens system for a camera
US8818101B1 (en) * 2012-01-03 2014-08-26 Google Inc. Apparatus and method for feature matching in distorted images
US20130278715A1 (en) 2012-03-16 2013-10-24 Mark Nutsch System and method for discreetly collecting 3d immersive/panoramic imagery
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
US9098922B2 (en) 2012-06-06 2015-08-04 Apple Inc. Adaptive image blending operations
US9696427B2 (en) 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
GB2506106A (en) * 2012-08-14 2014-03-26 Light Blue Optics Ltd Touch sensing systems using a pair of beam deflectors controlled in tandem
TWI530180B (zh) 2013-06-14 2016-04-11 晶睿通訊股份有限公司 連動式攝影系統及其多攝影機的控制方法
US9479697B2 (en) 2012-10-23 2016-10-25 Bounce Imaging, Inc. Systems, methods and media for generating a panoramic view
WO2014071400A1 (en) 2012-11-05 2014-05-08 360 Heros, Inc. 360 degree camera mount and related photographic and video system
WO2014106296A1 (en) 2013-01-07 2014-07-10 Tamaggo Inc. Panoramic camera
US9215448B2 (en) 2013-01-31 2015-12-15 Here Global B.V. Stereo panoramic images
US9413930B2 (en) * 2013-03-14 2016-08-09 Joergen Geerds Camera system
EP2860699A1 (en) 2013-10-11 2015-04-15 Telefonaktiebolaget L M Ericsson (Publ) Technique for view synthesis
US8730299B1 (en) 2013-11-27 2014-05-20 Dmitry Kozko Surround image mode for multi-lens mobile devices
US9467620B2 (en) * 2014-02-21 2016-10-11 Google Inc. Synthetic camera lenses
US20150358539A1 (en) * 2014-06-06 2015-12-10 Jacob Catt Mobile Virtual Reality Camera, Method, And System
US9819863B2 (en) * 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9294672B2 (en) * 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9602811B2 (en) * 2014-09-10 2017-03-21 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US10313656B2 (en) * 2014-09-22 2019-06-04 Samsung Electronics Company Ltd. Image stitching for three-dimensional video
US9712751B2 (en) * 2015-01-22 2017-07-18 Apple Inc. Camera field of view effects based on device orientation and scene content
US9521321B1 (en) * 2015-02-11 2016-12-13 360 Lab Llc. Enabling manually triggered multiple field of view image capture within a surround image mode for multi-lens mobile devices
US9866752B2 (en) 2015-06-02 2018-01-09 Qualcomm Incorporated Systems and methods for producing a combined view from fisheye cameras
US9819865B2 (en) 2015-10-30 2017-11-14 Essential Products, Inc. Imaging device and method for generating an undistorted wide view image
US9813623B2 (en) 2015-10-30 2017-11-07 Essential Products, Inc. Wide field of view camera for integration with a mobile device

Also Published As

Publication number Publication date
US9906721B2 (en) 2018-02-27
US20170257566A1 (en) 2017-09-07
WO2017075247A2 (en) 2017-05-04
WO2017075247A4 (en) 2017-08-31
TW201824177A (zh) 2018-07-01
US20170126971A1 (en) 2017-05-04
TWI622017B (zh) 2018-04-21
WO2017075247A3 (en) 2017-07-13

Similar Documents

Publication Publication Date Title
TWI622017B (zh) 錄製無失真全視圖之裝置
TWI635349B (zh) 藉由組合攝影機及攝影機圖符功能性最大化行動裝置之顯示區的設備與方法
TW201728155A (zh) 最大化行動裝置之顯示區的設備與方法(一)
US9819863B2 (en) Wide field of view array camera for hemispheric and spherical imaging
US10218904B2 (en) Wide field of view camera for integration with a mobile device
ES2841402T3 (es) Sistema multicámara que usa óptica plegada sin artefactos de paralaje
US20150373269A1 (en) Parallax free thin multi-camera system capable of capturing full wide field of view images
US20170302893A1 (en) System for generating an anamorphic image from a non-anamorphic image
US20180052308A1 (en) Optical lens accessory for wide-angle photography
JP5674701B2 (ja) 情報処理端末装置
US20230025380A1 (en) Multiple camera system
JP2018007110A (ja) 表示装置およびスクリーン
KR20120139625A (ko) 촬영된 역상을 재차 역상 변환하는 것을 특징으로 하는 사이드뷰프로세싱 방법 및 상기 방법을 이용한 영상정보장치
JP2006276804A (ja) 変換装置及びその方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees