TW201832547A - 產生全景深度影像的影像裝置、相關方法及相關影像裝置 - Google Patents

產生全景深度影像的影像裝置、相關方法及相關影像裝置 Download PDF

Info

Publication number
TW201832547A
TW201832547A TW107100706A TW107100706A TW201832547A TW 201832547 A TW201832547 A TW 201832547A TW 107100706 A TW107100706 A TW 107100706A TW 107100706 A TW107100706 A TW 107100706A TW 201832547 A TW201832547 A TW 201832547A
Authority
TW
Taiwan
Prior art keywords
image
depth
panoramic
image capturing
group
Prior art date
Application number
TW107100706A
Other languages
English (en)
Other versions
TWI668997B (zh
Inventor
李季峰
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Publication of TW201832547A publication Critical patent/TW201832547A/zh
Application granted granted Critical
Publication of TWI668997B publication Critical patent/TWI668997B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

用於產生全景深度影像的影像裝置包含至少二影像擷取組。該至少二影像擷取組中的每一影像擷取組包含至少三影像擷取器，該至少三影像擷取器中的每一影像擷取器的尺寸為一第一長度，該至少三影像擷取器中的相鄰兩個影像擷取器的光學中心之間的距離為一第二長度，以及該第二長度與該第一長度的比值不小於一預定值。該至少二影像擷取組所對應的至少三深度圖的深度是應用於一全景深度影像。

Description

產生全景深度影像的影像裝置、相關方法及相關影像裝置
本發明是有關於一種用於產生全景深度影像的影像裝置及其相關方法，尤指一種可減輕機構上矛盾的用於產生全景深度影像的影像裝置及其相關方法。
請參照第1-3圖，第1、2圖是說明深度相機(depth camera)102的示意圖，和第3圖是說明全景相機(panorama camera)104的示意圖。如第1圖所示，深度相機102是一利用三角定位原理的深度相機，其中深度相機102所包含的兩影像擷取器1022、1024之間必須存在一預定距離BL(也就是一基線)才能產生一深度圖，且預定距離BL越大，則該深度圖越精確。另外，深度相機102的另一種實現方式是深度相機102的影像擷取器1024由一結構光產生單元1026取代(如第2圖所示)。
如第3圖所示，全景相機104具有4個相機1042-1048，其中4個相機1042-1048的視野(field of view, FOV)FOV1、FOV2、FOV3、FOV4的角度和大於360o ，且全景相機104所包含的相機的數量是由個別相機的視野決定。當全景相機104產生一全景影像時，全景相機104的特性是希望4個相機1042-1048的每一相機的光學中心都維持在相同位置。然而全景相機104無法在物理上實現上述全景相機104的特性，也就是說全景相機104僅能盡量縮短該每一相機的光學中心與相鄰相機的光學中心之間的距離以減少4個相機1042-1048之間的視差。
因為上述深度相機102 的特性(深度相機102 的特性是希望預定距離BL越大)以及上述全景相機104的特性(全景相機104的特性是希望4個相機1042-1048的每一相機的光學中心都維持在相同位置)，所以當現有技術將深度相機102和全景相機104結合在一起產生一全景深度影像時，現有技術會產生機構上矛盾的問題。因此，如何解決現有技術所產生的機構上矛盾的問題將是本發明的重要課題。
本發明的一實施例提供一種用於產生全景深度影像的影像裝置。該影像裝置包含至少二影像擷取組。該至少二影像擷取組中的每一影像擷取組包含至少三影像擷取器，該至少三影像擷取器中的每一影像擷取器的尺寸為一第一長度，該至少三影像擷取器中的相鄰兩個影像擷取器的光學中心之間的距離為一第二長度，以及該第二長度與該第一長度的比值不小於一預定值。該至少二影像擷取組所對應的至少三深度圖的深度是應用於一全景深度影像。
本發明的另一實施例提供一種用於產生全景深度影像的影像裝置。該影像裝置包含至少二影像擷取組。該至少二影像擷取組中的每一影像擷取組包含至少二影像擷取器，該至少二影像擷取器中的相鄰兩個影像擷取器的光學中心之間的距離為一第一長度，該至少二影像擷取器中的每一影像擷取器和該至少二影像擷取組中其餘影像擷取組所包含的至少一相對應影像擷取器之間的距離為一第二長度，以及該第二長度與該第一長度的比值不小於一預定值。該至少二影像擷取組所對應的至少二深度圖的深度是應用於一全景深度影像。
本發明的另一實施例提供一種用於產生全景深度影像的影像裝置。該影像裝置包含至少一影像擷取組和至少一光源。該至少一影像擷取組中的每一影像擷取組包含至少一影像擷取器。該至少一光源是用以發出一發射光，其中該每一影像擷取組所擷取包含該發射光的影像是用以產生對應該每一影像擷取組的深度圖，或對應該發射光從該至少一光源經由每一物件反射至該每一影像擷取組的飛行時間是用以產生對應該每一影像擷取組的深度圖。該深度圖的深度是應用於一全景深度影像。
本發明的另一實施例提供一種用於產生全景影像的影像裝置。該影像裝置包含一全景影像產生器。該全景影像產生器是用以接收複數個深度圖，並根據該複數個深度圖產生一對應該複數個深度圖的一全景影像，其中對應該複數個深度圖的視角的總和不小於360o 。
本發明的另一實施例提供一種用於產生深度影像的影像裝置。該影像裝置包含一深度影像產生器。該深度影像產生器是用以接收一第一全景影像與一相對應的第二全景影像，根據複數個視角分別分割該第一全景影像與該第二全景影像為複數個第一分割影像與複數個第二分割影像，投影該複數個第一分割影像的每一第一分割影像與一對應的第二分割影像至一對應的投影平面以產生一第一投影影像與一第二投影影像，以及根據該第一投影影像與該第二投影影像產生一對應該每一第一分割影像的深度圖。該複數個視角的總和不小於360o 。
本發明的另一實施例提供一種用於產生影像的影像裝置。該影像裝置包含一影像產生器。該影像產生器是用以接收一全景深度影像，根據複數個視角分別分割該全景深度影像為複數個分割影像，投影該複數個分割影像的每一分割影像至一對應的投影平面以產生對應該每一分割影像的一投影影像，以及轉換該投影影像的每一深度值為一轉換深度值，其中該每一分割影像對應該複數個視角中的一視角，該視角對應一光學中心平面，該每一深度值對應該光學中心平面上的一光學中心，以及該對應的投影平面平行該光學中心平面；其中該複數個視角的總和不小於360o 。
本發明提供一種用於產生全景深度影像的影像裝置。該影像裝置的每一影像擷取組中的每一影像擷取器的光學中心與該每一影像擷取組中相鄰的影像擷取器的光學中心之間的距離遠小於該每一影像擷取器的光學中心與該影像裝置的其餘影像擷取組的至少一相對應影像擷取器的光學中心之間的距離，所以相較於現有技術，本發明所提供的影像裝置不僅可提供一全景深度影像，也可解決現有技術所產生的機構上的矛盾的問題。
請參照第4A圖，第4A圖是本發明的第一實施例說明一種用於產生全景深度影像的影像裝置400的示意圖，其中影像裝置400包含二影像擷取組ICG1、ICG2和4個支撐單元402、404、406、408，影像擷取組ICG1、ICG2中的每一影像擷取組包含四個影像擷取器，以及該四個影像擷取器中的每一影像擷取器是一非魚眼影像擷取器。但在本發明的另一實施例中，該四個影像擷取器中的每一影像擷取器是一魚眼影像擷取器。上述另外，第4A圖僅顯示影像擷取組ICG1中的影像擷取器IC11、IC12，以及影像擷取組ICG2中的影像擷取器IC21、IC22。但本發明並不受限於影像裝置400僅包含二影像擷取組ICG1、ICG2和4個支撐單元402、404、406、408，以及影像擷取組ICG1、ICG2中的每一影像擷取組包含四個影像擷取器。如第4A圖所示，影像擷取組ICG1所包含的四個影像擷取器所在的平面A和影像擷取組ICG2所包含的四個影像擷取器所在的平面B可互相平行。然而在本發明的另一實施例中，如第4B圖所示，平面A和平面B可因為影像裝置400的機構設計因素而不互相平行。
請再參照第4A圖，影像擷取組ICG1所包含的四個影像擷取器的每一影像擷取器是設置在一相對應支撐單元上(例如影像擷取器IC11是設置在支撐單元402上)；同理，影像擷取組ICG2所包含的四個影像擷取器的每一影像擷取器也是設置在一相對應支撐單元上(例如影像擷取器IC21是設置在支撐單元402上)。另外，影像擷取器IC11的光學中心C1與相鄰的影像擷取器IC12的光學中心C2之間的距離D1遠小於影像擷取器IC11的光學中心C1與影像擷取器IC21的光學中心C3之間的距離D2。另外，在本發明的一實施例中，影像擷取器IC11的尺寸為一第一長度，影像擷取器IC11的光學中心C1與相鄰的影像擷取器IC12的光學中心C2之間的距離為一第二長度(也就是距離D1)，以及該第二長度與該第一長度的比值不小於1，其中影像擷取器IC11的尺寸可為影像擷取器IC11的鏡頭的尺寸或是支持影像擷取器IC11的支撐物的尺寸。當影像裝置400是安裝在一手持式裝置(例如一智慧型手機)時，因為該手持式裝置是應用於產生一具有較短距離(例如有關於一使用者的臉部辨識)的深度圖，所以該比值具有一第一數值；當影像裝置400是安裝在一互動式遊戲裝置時，因為該互動式遊戲裝置是應用於產生一具有較長距離(例如有關於該使用者的手勢或肢體動作)的深度圖，所以該比值具有一第二數值，其中該第一數值小於該第二數值(例如該第一數值為12以及該第二數值為18)。另外，當影像裝置400具有複數個緊密貼合的影像擷取器時，該比值將趨近於1。
在第5A圖的實施例中，支撐單元402、404、406、408的俯視圖可形成一封閉凸4邊形，其中第5A圖僅顯示影像擷取組ICG1所包含的影像擷取器IC11-IC14，以及支撐單元402、404、406、408)。而在第5B圖的實施例中，影像裝置400則可通過一機構固定而使支撐單元402、404、406、408不互相接觸，該機構並未繪示於第5B圖，且該機構對於本發明領域具有熟知技藝者是顯而易見的。另外，在第5C圖的實施例中，支撐單元402、404、406、408是通過每一支撐單元的一端與另兩其他支撐單元的一端互相接觸。而在本發明的其他實施例中，影像裝置400也可不包含4個支撐單元402、404、406、408，而是通過如第5D圖所示的至少一支撐單元410使得影像擷取組ICG1和影像擷取組ICG2連接。或者，又如第5E圖所示，影像擷取組ICG1和影像擷取組ICG2也可通過至少二固定單元412、414固定。上述各影像擷取組中的所有影像擷取器的視野的角度和會大於360o 。例如，如第5A圖所示，影像擷取器IC11-IC14的視野FOV1、FOV2、FOV3、FOV4的角度和大於360o 。
另外，第6圖是本發明的另一實施例說明影像裝置400的俯視圖的示意圖。在本實施例中，影像裝置400可包含3個支撐單元402、404、406，影像擷取組ICG1、ICG2中的每一影像擷取組包含三個影像擷取器，以及支撐單元402、404、406的俯視圖形成一三角形。為便於理解，第6圖僅顯示影像擷取組ICG1所包含的影像擷取器IC11-IC13，以及支撐單元402、404、406。
請參照第7圖，第7圖是說明影像裝置400的爆炸示意圖。如第7圖所示，影像擷取組ICG1所包含的影像擷取器IC11-IC14，以及影像擷取組ICG2所包含的影像擷取器IC21-IC24耦接於影像裝置400另包含的一深度產生器702，以及影像擷取組ICG1所包含的影像擷取器IC11-IC14另耦接於影像裝置400另包含的一全景深度影像產生器704。如第7圖所示，深度產生器702可根據影像擷取器IC11所擷取的一第一影像IM11以及與影像擷取組ICG2內一相對應影像擷取器(也就是影像擷取器IC21)所擷取的一第二影像IM21，產生一面向東方的深度圖DPE(其中該東方的方向可參考第4A圖)；深度產生器702可根據影像擷取器IC12所擷取的一第一影像IM12以及與影像擷取組ICG2內一相對應影像擷取器(也就是影像擷取器IC22)所擷取的一第二影像IM22，產生一面向南方的深度圖DPS(其中該南方的方向可參考第4A圖)；深度產生器702可根據影像擷取器IC13所擷取的一第一影像IM13以及與影像擷取組ICG2內一相對應影像擷取器(也就是影像擷取器IC23)所擷取的一第二影像IM23，產生一面向西方的深度圖DPW(其中該西方的方向可參考第4A圖)；深度產生器702可根據影像擷取器IC14所擷取的一第一影像IM14以及與影像擷取組ICG2內一相對應影像擷取器(也就是影像擷取器IC24)所擷取的一第二影像IM24，產生一面向北方的深度圖DPN(其中該北方的方向可參考第4A圖)。
另外，上述各深度圖中的深度資訊還可經由轉換而有不同的表示方式。第8圖是說明原始深度與轉換深度的關係示意圖。深度圖DPE內一點P對應於影像擷取器IC11的光學中心C1所在的平面PL的一原始深度OZ(如第8圖所示)可通過式(1)轉換成以影像擷取器IC11的光學中心C1為原點的一轉換深度Z(也就是說對應深度圖DPE內的所有轉換深度的原點是影像擷取器IC11的光學中心C1)，其中如第8圖所示，f為影像擷取器IC11的焦距，PPL為影像擷取器IC11的成像平面，θ為一夾角，以及距離r可通過影像擷取器IC11的像素寬度表示：(1)
另外，本發明領域的技術人員可輕易地通過影像擷取器IC11的內部參數得到焦距f 和距離r 之間的關係，所以在此不在贅述。另外，在本發明的另一實施例中，深度圖DPE內點P對應於影像擷取器IC11的光學中心C1所在的平面PL的原始深度OZ(如第8圖所示)可轉換成以空間中任意一點為一參考原點的另一轉換深度。
但在本發明的另一實施例中，對應深度圖DPE內的所有轉換深度的原點是影像擷取器IC21的光學中心C3。另外，深度圖DPS、DPW、DPN內的所有原始深度都可通過上述原理轉換，在此不再贅述。另外，在深度圖DPE、DPS、DPW、DPN內的所有原始深度通過上述原理轉換成轉換深度後，深度圖DPE、DPS、DPW、DPN內的所有轉換深度可應用於全景深度影像產生器704所產生的一全景深度影像PDI，也就是全景深度影像PDI是由全景深度影像產生器704根據第一影像IM11-IM14所產生的一全景影像與深度圖DPE、DPS、DPW、DPN內的所有轉換深度所組成，其中全景深度影像PDI可為一灰階全景深度影像或一彩色全景深度影像。另外，在本發明的另一實施例中，一全景影像產生器可用以接收深度圖DPE、DPS、DPW、DPN，並根據深度圖DPE、DPS、DPW、DPN產生對應深度圖DPE的第一影像IM11和第二影像IM21，對應深度圖DPS的第一影像IM12和第二影像IM22，對應深度圖DPW的第一影像IM13和第二影像IM23，以及對應深度圖DPN的第一影像IM14和第二影像IM24，其中對應深度圖DPE、DPS、DPW、DPN的視角的總和等於360o 。然後該全景影像產生器可根據第一影像IM11-IM14產生該全景影像，或根據第二影像IM21-IM24產生另一全景影像。
因為全景深度影像PDI是由全景深度影像產生器704根據第一影像IM11-IM14所產生的全景影像與深度圖DPE、DPS、DPW、DPN內的所有轉換深度所組成，所以全景深度影像PDI具有全景深度影像產生器704根據第一影像IM11-IM14所產生的全景影像的色彩資訊以及深度圖DPE、DPS、DPW、DPN內的所有轉換深度的資訊。如第4A圖所示，因為影像擷取器IC11的光學中心C1與相鄰的影像擷取器IC12的光學中心C2之間的距離D1遠小於影像擷取器IC11的光學中心C1與影像擷取器IC21的光學中心C3之間的距離D2，所以影像裝置400所產生的全景深度影像PDI可解決現有技術所產生的機構上的矛盾的問題。另外，深度產生器702和全景深度影像產生器704可以是具有上述深度產生器702和全景深度影像產生器704的功能的現場可程式邏輯閘陣列(Field Programmable Gate Array, FPGA)，或是具有上述深度產生器702和全景深度影像產生器704的功能的特殊應用積體電路(Application-specific integrated circuit, ASIC)或是具有上述深度產生器702和全景深度影像產生器704的功能的軟體模組。
請參照第9圖，第9圖是本發明的第二實施例說明影像裝置500的爆炸示意圖。如第9圖所示，影像裝置500與影像裝置400的差別在於影像裝置500利用結構光產生單元502-508取代影像擷取器IC21-IC24。另外，影像裝置500的其餘操作原理都和影像裝置400，在此不再贅述。
請參照第10圖，第10圖是本發明的第三實施例說明影像裝置600的爆炸示意圖。如第10圖所示，影像擷取組ICG1所包含的影像擷取器IC11-IC14以及影像擷取組ICG2所包含的影像擷取器IC21-IC24耦接於影像裝置600另包含的一全景影像產生器1002，影像裝置600另包含的一全景深度影像產生器1004耦接於全景影像產生器1002，以及影像裝置600另包含的一顯示幕1006耦接於全景深度影像產生器1004，其中顯示幕1006是用於顯示全景深度影像PDI。如第10圖所示，全景影像產生器1002可根據影像擷取器IC11所擷取的第一影像IM11、影像擷取器IC12所擷取的第一影像IM12、影像擷取器IC13所擷取的第一影像IM13以及影像擷取器IC14所擷取的第一影像IM14，產生一第一全景影像FPI，以及全景影像產生器1002可根據影像擷取器IC21所擷取的第二影像IM21、影像擷取器IC22所擷取的第二影像IM22、影像擷取器IC23所擷取的第二影像IM23以及影像擷取器IC24所擷取的第二影像IM24，產生一第二全景影像SPI，其中如第11圖所示，第一全景影像FPI的光學中心FPIC和第二全景影像SPI的光學中心SPIC之間的距離為D2，且光學中心FPIC和光學中心SPIC是位於一基線BL上。在全景深度影像產生器1004接收第一全景影像FPI和第二全景影像SPI後，全景深度影像產生器1004可將對應光學中心FPIC所在平面的360o 視角分成4個預定視角，其中每個預定視角的角度等於90o 。但本發明並不受限於全景深度影像產生器1004將對應光學中心FPIC所在平面的360o 視角分成4個預定視角，亦即全景深度影像產生器1004可將360o 視角分成複數個預定視角。另外，該複數個預定視角的角度可相同或不同。在全景深度影像產生器1004將360o 視角分成4個預定視角後，全景深度影像產生器1004可根據該4個預定視角中的一第一預定視角FPVA(如第11圖所示)分別將第一全景影像FPI與第二全景影像SPI投影至一第一成像平面FPPL與一第二成像平面SPPL以產生一第一投影影像與一第二投影影像，其中第一成像平面FPPL和第二成像平面SPPL是平行於顯示幕1006的成像平面(未繪示於第11圖)。在該第一投影影像與該第二投影影像產生後，全景深度影像產生器1004可根據第一預定視角FPVA和光學中心FPIC計算出對應第一預定視角FPVA的第一核點(epipole)EP1，以及根據第一預定視角FPVA和光學中心SPIC求出對應第一預定視角FPVA的第二核點EP2。在全景深度影像產生器1004計算出第一核點EP1、第二核點EP2後，全景深度影像產生器1004即可根據第一核點EP1的第一核線EPL1(亦對應第一預定視角FPVA)和第二核點EP2的相對應的第二核線EPL2(亦對應第一預定視角FPVA)，決定全景深度影像產生器1004在該第一投影影像與該第二投影影像的搜尋方向，其中第一核點EP1的第一核線EPL1的樣式可參照第12圖。如第12圖所示，第一核線EPL1是以第一核點EP1為中心向外散射。另外，第二核點EP2的第二核線EPL2的樣式亦可參照第12圖，在此不再贅述。如此，全景深度影像產生器1004即可根據該第一投影影像與該第二投影影像產生對應第一預定視角FPVA的深度圖DPF。另外，全景深度影像產生器1004計算出第一核點EP1、第二核點EP2、第一核線EPL1和第二核線EPL2的方式是本發明領域的技術人員所熟知，在此亦不再贅述。
如第13圖所示，全景深度影像產生器1004可根據該4個預定視角中的一第二預定視角SPVA分別將第一全景影像FPI與第二全景影像SPI投影至一第三成像平面TPPL與一第四成像平面FOPPL以產生一第三投影影像與一第四投影影像，其中第三成像平面TPPL與一第四成像平面FOPPL是平行於顯示幕1006的成像平面(未繪示於第13圖)。在該第三投影影像與該第四投影影像產生後，全景深度影像產生器1004可根據第二預定視角SPVA和光學中心FPIC計算出對應第二預定視角SPVA的第三核點(位於無窮遠處)，以及根據第二預定視角SPVA和光學中心SPIC求出對應第二預定視角SPVA的第四核點(位於無窮遠處)。在全景深度影像產生器1004計算出第三核點和第四核點後，全景深度影像產生器1004即可根據該第三核點的第三核線EPL3(亦對應第二預定視角SPVA)和該第四核點的相對應的第四核線EPL4(亦對應第二預定視角SPVA)，決定全景深度影像產生器1004在該第三投影影像與該第四投影影像的搜尋方向，其中第三核線EPL3和第四核線EPL4互相平行。如此，全景深度影像產生器1004即可根據該第三投影影像與該第四投影影像產生對應第二預定視角SPVA的深度圖DPS。
另外，可通過上述產生對應第二預定視角SPVA的深度圖DPS或產生對應第一預定視角FPVA的深度圖DPF的方式，產生對應該4個預定視角中的第三預定視角的深度圖DPT與第四預定視角的深度圖DPFO，以及對應影像裝置600上方的第五預定視角的深度圖DPFI與對應影像裝置600下方的第六預定視角的深度圖DPSI，其中深度圖DPF、DPS、DPT、DPFO、DPFI、DPSI內的所有原始深度都可通過上述第8圖的原理轉換成轉換深度，在此不再贅述。在全景深度影像產生器1004將深度圖DPF、DPS、DPT、DPFO、DPFI、DPSI內的所有原始深度轉換成轉換深度後，全景深度影像產生器1004可根據深度圖DPF、DPS、DPT、DPFO、DPFI、DPSI內的所有轉換深度和第一全景影像FPI，產生對應於第一全景影像FPI的全景深度影像PDI，或根據深度圖DPF、DPS、DPT、DPFO、DPFI、DPSI內的所有轉換深度和第二全景影像SPI，產生對應於第二全景影像SPI的全景深度影像PDI。另外，影像裝置600的其餘操作原理都和影像裝置400，在此不再贅述。
另外，全景深度影像產生器1004可以是具有上述全景深度影像產生器1004的功能的現場可程式邏輯閘陣列，或是具有上述全景深度影像產生器1004的功能的特殊應用積體電路或是具有上述全景深度影像產生器1004的功能的軟體模組。
另外，在本發明的另一實施例中，一深度影像產生器可用以接收一第一全景影像與一第二全景影像(對應該第一全景影像)，根據複數個視角分別分割該第一全景影像與該第二全景影像為複數個第一分割影像與複數個第二分割影像，利用第11-13圖所示的方法投影該複數個第一分割影像的每一第一分割影像與一對應的第二分割影像至一對應的投影平面以產生一第一投影影像與一第二投影影像，以及根據該第一投影影像與該第二投影影像產生一對應該每一第一分割影像的深度圖，其中該複數個視角的總和不小於360o 。因此，該深度影像產生器可根據該第一全景影像與該第二全景影像，產生對應該複數個視角的複數個深度圖。
另外，在本發明的另一實施例中，一影像產生器可用以接收全景深度影像PDI，根據該複數個視角分割全景深度影像PDI為複數個分割影像，利用第11-13圖所示的方法投影該複數個分割影像的每一分割影像至一對應的投影平面以產生對應該每一分割影像的一投影影像，以及轉換該投影影像的每一深度值為一轉換深度值，其中該每一分割影像對應該複數個視角中的一視角，該視角對應一光學中心平面(可參照第8圖所示的平面PL)，該每一深度值(可參照第8圖所示的轉換深度Z)對應該光學中心平面上的一光學中心(可參照第8圖所示的光學中心C1)，該對應的投影平面平行該光學中心平面，以及該複數個視角的總和不小於360o 。因此，在該影像產生器轉換該投影影像的每一深度值(可參照第8圖所示的轉換深度Z)為該轉換深度值(可參照第8圖所示的原始深度OZ)後，該轉換深度值對應該光學中心平面(可參照第8圖所示的平面PL)。
另外，請參照第14A、15圖，第14A圖是本發明的第四實施例說明一種用於產生全景深度影像的影像裝置1400的側視示意圖，和第15圖是說明用於產生全景深度影像的影像裝置1400的前視示意圖，其中影像裝置1400包含二影像擷取組ICG1、ICG2、1個支撐單元402、深度產生器702和全景深度影像產生器704，影像擷取組ICG1、ICG2中的每一影像擷取組包含二個影像擷取器，以及該二個影像擷取器中的每一影像擷取器是一魚眼影像擷取器。如第14A圖所示，影像擷取組ICG1包含影像擷取器IC11、IC12，以及影像擷取組ICG2包含影像擷取器IC21、IC22。但本發明並不受限於影像裝置1400僅包含二影像擷取組ICG1、ICG2和1個支撐單元402，以及影像擷取組ICG1、ICG2中的每一影像擷取組包含二個影像擷取器。如第14A圖所示，影像擷取器IC11、IC21是設置在支撐單元402的一邊，以及影像擷取器IC12、IC22是設置在支撐單元402的另一邊。另外，第15圖僅顯示影像擷取組ICG1中的影像擷取器IC11以及影像擷取組ICG2中的影像擷取器IC21。
如第14A圖所示，深度產生器702可根據影像擷取器IC11所擷取的第一影像IM11以及與影像擷取組ICG2內的一相對應影像擷取器(也就是影像擷取器IC21)所擷取的第二影像IM21，產生一面向前方的深度圖DPF(其中該前方的方向可參考第14A圖)；深度產生器702可根據影像擷取器IC12所擷取的第一影像IM12以及與影像擷取組ICG2內一相對應影像擷取器(也就是影像擷取器IC22)所擷取的第二影像IM22，產生一面向後方的深度圖DPR(其中該後方的方向可參考第14A圖)，其中深度圖DPF、DPR內的所有原始深度都可通過上述第8圖的原理轉換成轉換深度，在此不再贅述。
另外，在深度圖DPF、DPR內的所有原始深度通過上述原理轉換成轉換深度後，深度圖DPF、DPR內的所有轉換深度可應用於全景深度影像產生器704所產生的全景深度影像PDI，也就是全景深度影像PDI是由全景深度影像產生器704根據第一影像IM11、IM12所產生的一全景影像與深度圖DPF、DPR內的所有轉換深度所組成。另外，如第14A圖所示，因為影像擷取器IC11的光學中心C1與相鄰的影像擷取器IC12的光學中心C2之間的距離D1遠小於影像擷取器IC11的光學中心C1與影像擷取器IC21的光學中心C3之間的距離D2，所以影像裝置1400所產生的全景深度影像PDI可解決現有技術所產生的機構上的矛盾的問題。
另外，在本發明的另一實施例中，如第14B圖所示，一全景深度影像的影像裝置1500和影像裝置1400的差別在於影像裝置1500包含三影像擷取組ICG1、ICG2、ICG3、1個支撐單元402，其中為了簡化第14B圖，第14B圖並未繪示出深度產生器702和全景深度影像產生器704。但在本發明的另一實施例中，全景深度影像的影像裝置1500可包含至少三影像擷取組。如第14B圖所示，影像擷取組ICG1、ICG2、ICG3中的每一影像擷取組包含二個影像擷取器，以及該二個影像擷取器中的每一影像擷取器是一魚眼影像擷取器。如第14B圖所示，影像擷取組ICG1包含影像擷取器IC11、IC12，影像擷取組ICG2包含影像擷取器IC21、IC22，以及影像擷取組ICG3包含影像擷取器IC31、IC32。如第14B圖所示，影像擷取器IC11、IC21、IC31是設置在支撐單元402的一邊，以及影像擷取器IC12、IC22、IC32是設置在支撐單元402的另一邊，其中影像擷取器IC11、IC21之間具有一第一基線B1，以及影像擷取器IC11、IC31之間具有一第二基線B2。
如第14B圖所示，深度產生器702可根據影像擷取器IC11所擷取的第一影像IM11以及與影像擷取組ICG2內的一相對應影像擷取器(也就是影像擷取器IC21)所擷取的第二影像IM21，產生一面向前方的第一深度圖(其中該前方的方向可參考第14A圖)；同理深度產生器702也可根據影像擷取器IC11所擷取的第一影像IM11以及與影像擷取組ICG3內的一相對應影像擷取器(也就是影像擷取器IC31)所擷取的第三影像，產生另一面向前方的第二深度圖。深度產生器702可根據影像擷取器IC12所擷取的第一影像IM12以及與影像擷取組ICG2內一相對應影像擷取器(也就是影像擷取器IC22)所擷取的第二影像IM22，產生一面向後方的第三深度圖(其中該後方的方向可參考第14A圖)；同理深度產生器702可根據影像擷取器IC12所擷取的第一影像IM12以及與影像擷取組ICG3內一相對應影像擷取器(也就是影像擷取器IC32)所擷取的第四影像IM22，產生一面向後方的第四深度圖。然後全景深度影像產生器704可根據該第一深度圖、該第二深度圖、該第三深度圖和該第四深度圖產生全景深度影像PDI。另外，影像裝置1500的其餘操作原理和影像裝置1400的操作原理相同，在此不再贅述。另外，影像裝置1500的概念也可應用於影像裝置400，在此也不再贅述。
另外，在本發明的另一實施例中，如第14C圖所示，一全景深度影像的影像裝置1600和影像裝置1400的差別在於影像裝置1600包含一第一影像擷取器IC1和一第二影像擷取器IC2，其中為了簡化第14C圖，第14C圖並未繪示出深度產生器702和全景深度影像產生器704。另外，如第14C圖所示，第一影像擷取器IC1的視角和第二影像擷取器IC2的視角有重疊即可，例如第一影像擷取器IC1的視角大於180o 和第二影像擷取器IC2的視角也大於180o 。另外，影像裝置1600的其餘操作原理和影像裝置1400的操作原理相同，在此不再贅述。
另外，在本發明的另一實施例中，如第14D圖所示，一全景深度影像的影像裝置1700和影像裝置1400的差別在於影像裝置1700利用一光源組1702取代影像擷取組ICG1(或用光源組1702取代影像擷取組ICG2)，其中為了簡化第14D圖，第14D圖並未繪示出深度產生器702和全景深度影像產生器704，且光源組1702是用以發出一結構光。但在本發明的另一實施例中，影像裝置1700可包含至少一光源組和至少一影像擷取組。另外，在本發明的另一實施例中，影像擷取組ICG2可被如第14C圖所示的第一影像擷取器IC1取代。如第14D圖所示，深度產生器702可根據影像擷取器IC21所擷取的包含該結構光的第一影像IM21，產生面向前方的深度圖DPF(其中該前方的方向可參考第14A圖)；深度產生器702可根據影像擷取器IC22所擷取的包含該結構光的第二影像IM22，產生面向後方的深度圖DPR(其中該後方的方向可參考第14A圖)。另外，影像裝置1700的其餘操作原理和影像裝置1400的操作原理相同，在此不再贅述。另外，影像裝置1700的光源組1702也可應用於影像裝置400，在此也不再贅述。
另外，光源組1702可利用至少一雷射光束(例如至少一紅外線雷射光束)和至少一反射元件(例如至少二鏡子)在該前方的方向與該後方的方向(其中該前方的方向與該後方的方向可參考第14A圖)產生至少兩不同角度光束，然後使該至少兩不同角度光束經過一光學元件(例如一繞射元件)後以形成在該前方的方向與該後方的方向都具有180o 發光角度的光源。另外，在本發明的另一實施例中，光源組1702可利用至少一雷射光束和至少一折射元件形成在該前方的方向與該後方的方向都具有180o 發光角度的光源。如第14E圖所示，光源組1702利用一準直鏡(collimator)17022，雷射光束17024、17026，鏡子17028、17030和分光繞射光學元件(Diffraction Optical Element, DOE)17032、17034產生具有180o 發光角度的結構光；如第14F圖所示，光源組1702利用準直鏡17022，雷射光束17024、17025、17026，鏡子17028、17029、17030和分光繞射光學元件17032、17033、17034產生具有180o 發光角度的結構光；如第14G圖所示，光源組1702利用準直鏡17022，雷射光束17024，鏡子17028、17030和分光繞射光學元件17032、17034產生具有180o 發光角度的結構光；如第14H圖所示，光源組1702利用準直鏡17022，雷射光束17024，鏡子17028、17029、17030和分光繞射光學元件17032、17033、17034產生具有180o 發光角度的結構光；如第14I圖所示，光源組1702利用準直鏡17022、17023，雷射光束17024、17026，鏡子17028、17030和分光繞射光學元件17032、17034產生具有180o 發光角度的結構光；如第14J圖所示，光源組1702利用準直鏡17022，雷射光束17024、17026，鏡子17028和分光繞射光學元件17032、17034產生具有180o 發光角度的結構光。另外，在第14E-14J圖中，準直鏡17022和分光繞射光學元件17032、17033、17034並非必須。另外，180o 發光角度的結構光不能朝向影像擷取器IC21和影像擷取器IC22，因為會影響影像擷取器IC21和影像擷取器IC22的影像擷取功能。另外，在本發明的另一實施例中，該光學元件可替換為一擴散片(diffuser)以形成具有180o 發光角度的均勻光源。
另外，在本發明的另一實施例中，如第14K圖所示，一全景深度影像的影像裝置1800和影像裝置1400的差別在於影像裝置1800利用一光源組1802取代影像擷取組ICG1(或用光源組1802取代影像擷取組ICG2)，其中為了簡化第14K圖，第14K圖並未繪示出深度產生器702和全景深度影像產生器704。另外，在本發明的另一實施例中，影像擷取組ICG2可被如第14C圖所示的第一影像擷取器IC1取代。如第14K圖所示，影像擷取組ICG2可接收光源組1802所發出的光經過在影像擷取組ICG2的接收範圍內的每一物件反射後的反射光，以及深度產生器702可根據光源組1802所發出的光經過該每一物件反射後的總飛行時間，計算出該每一物件與影像裝置1800的距離。然後深度產生器702可根據該每一物件與影像裝置1800的距離，產生面向前方的深度圖和面向後方的深度圖。另外，影像裝置1800的其餘操作原理和影像裝置1400的操作原理相同，在此不再贅述。
請參照第16、17圖，第16、17圖是說明影像裝置400應用在一無人機1600的示意圖。如第16圖所示，影像裝置400通過一吊臂1602懸吊在無人機1600的下方，而當無人機1600起飛後，吊臂1602可降下影像裝置400以使影像裝置400擷取更多上方視野的影像(如第17圖所示)。另外，影像裝置500、600、1400也可應用在無人機1600，所以在此不再贅述。
綜上所述，因為本發明所提供的影像裝置的每一影像擷取組中的每一影像擷取器的光學中心與該每一影像擷取組中相鄰的影像擷取器的光學中心之間的距離遠小於該每一影像擷取器的光學中心與該影像裝置的其餘影像擷取組的至少一相對應影像擷取器的光學中心之間的距離，所以相較於現有技術，本發明所提供的影像裝置不僅可提供一全景深度影像，也可解決現有技術所產生的機構上的矛盾的問題。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
102‧‧‧深度相機
104‧‧‧全景相機
1022、1024、IC11-IC14、IC21-IC24、IC31、IC32‧‧‧影像擷取器
1026、502-508‧‧‧結構光產生單元
1042-1048‧‧‧相機
400、500、600、1400、1500、1600、1700、1800‧‧‧影像裝置
402-410‧‧‧支撐單元
412、414‧‧‧固定單元
702‧‧‧深度產生器
704、1004‧‧‧全景深度影像產生器
1002‧‧‧全景影像產生器
1006‧‧‧顯示幕
1600‧‧‧無人機
1102‧‧‧吊臂
1702、1802‧‧‧光源組
17022、17023‧‧‧準直鏡
17024-17026‧‧‧雷射光束
17028-17030‧‧‧鏡子
17032-17034‧‧‧分光繞射光學元件
A、B、PL‧‧‧平面
BL‧‧‧預定距離
B1‧‧‧第一基線
B2‧‧‧第二基線
C1、C2、C3、FPIC、SPIC‧‧‧光學中心
D1、D2、r‧‧‧距離
DPE、DPS、DPW、DPN‧‧‧深度圖
EP1‧‧‧第一核點
EP2‧‧‧第二核點
EPL1‧‧‧第一核線
EPL2‧‧‧第二核線
EPL3‧‧‧第三核線
EPL4‧‧‧第四核線
FOV1、FOV2、FOV3、FOV4‧‧‧視角
FPVA‧‧‧第一預定視角
FPPL‧‧‧第一成像平面
FOPPL‧‧‧第四成像平面
f‧‧‧焦距
FPI‧‧‧第一全景影像
ICG1、ICG2、ICG3‧‧‧影像擷取組
IM11-IM14‧‧‧第一影像
IM21-IM24‧‧‧第二影像
OZ‧‧‧原始深度
PDI‧‧‧全景深度影像
PPL‧‧‧成像平面
P‧‧‧點
SPI‧‧‧第二全景影像
SPVA‧‧‧第二預定視角
SPPL‧‧‧第二成像平面
TPPL‧‧‧第三成像平面
Z‧‧‧轉換深度
θ‧‧‧夾角
第1、2圖是說明深度相機的示意圖。 第3圖是說明全景相機的示意圖。 第4A圖是本發明的第一實施例說明一種用於產生全景深度影像的影像裝置的示意圖。 第4B圖是說明影像擷取組所在的平面之間不互相平行的示意圖。 第5A圖是說明影像裝置的俯視圖的示意圖。 第5B-5E圖是說明影像裝置的不同實施例的示意圖。 第6圖是本發明的另一實施例說明影像裝置的俯視圖的示意圖。 第7圖是說明影像裝置的爆炸示意圖。 第8圖是說明原始深度與轉換深度的關係示意圖。 第9圖是本發明的第二實施例說明影像裝置的爆炸示意圖。 第10圖是本發明的第三實施例說明影像裝置的爆炸示意圖。 第11圖是說明第一預定視角、第一成像平面、第二成像平面、第一核點、第二核點、第一全景影像的光學中心和第二全景影像的光學中心的示意圖。 第12圖是說明第一核點的第一核線的示意圖。 第13圖是說明第二預定視角、第三成像平面、第四成像平面、第三核點、第四核點、第一全景影像的光學中心和第二全景影像的光學中心的示意圖。 第14A圖是本發明的第四實施例說明一種用於產生全景深度影像的影像裝置的側視示意圖。 第14B-14D圖是本發明的另一實施例說明一種用於產生全景深度影像的影像裝置的側視示意圖。 第14E-14J圖是說明光源組利用至少一雷射光束和至少二鏡子在該前方的方向與該後方的方向產生具有180o 發光角度的結構光的示意圖。 第14K圖是本發明的另一實施例說明一種用於產生全景深度影像的影像裝置的示意圖。 第15圖是說明全景深度影像的影像裝置的前視示意圖。 第16、17圖是說明影像裝置應用在無人機的示意圖。

Claims (31)

  1. 一種用於產生全景深度影像的影像裝置，包含： 至少二影像擷取組，其中該至少二影像擷取組中的每一影像擷取組包含至少三影像擷取器，該至少三影像擷取器中的每一影像擷取器的尺寸為一第一長度，該至少三影像擷取器中的相鄰兩個影像擷取器的光學中心之間的距離為一第二長度，以及該第二長度與該第一長度的比值不小於一預定值； 其中該至少二影像擷取組所對應的至少三深度圖的深度是應用於一全景深度影像。
  2. 如請求項1所述的影像裝置，另包含： 至少三支撐單元，其中該每一影像擷取器是設置在該至少三支撐單元中的一相對應支撐單元上，且該至少三支撐單元的俯視圖形成一封閉凸多邊形。
  3. 如請求項1所述的影像裝置，其中該每一影像擷取器的光學中心與該每一影像擷取組中相鄰的影像擷取器的光學中心之間的距離小於該每一影像擷取器的光學中心與該至少二影像擷取組中其餘影像擷取組所包含的至少一相對應影像擷取器的光學中心之間的距離。
  4. 如請求項1所述的影像裝置，其中該每一影像擷取器是一非魚眼影像擷取器。
  5. 如請求項1所述的影像裝置，其中該至少三影像擷取器的視野(field of view, FOV)的角度和大於360o 。
  6. 如請求項1所述的影像裝置，其中該至少二影像擷取組中的一影像擷取組所包含的至少三影像擷取器所在的平面和該至少二影像擷取組中其餘影像擷取組的每一影像擷取組所包含的至少三影像擷取器所在的平面互相平行。
  7. 如請求項1所述的影像裝置，另包含： 一深度產生器，耦接於該至少二影像擷取組，用於根據該每一影像擷取器所擷取的一第一影像與該至少二影像擷取組中其餘影像擷取組所包含的至少一相對應影像擷取器所擷取的至少一第二影像，產生一深度圖；及 一全景深度影像產生器，耦接於該深度產生器與該每一影像擷取組，用於根據該每一影像擷取組所包含的至少三影像擷取器所擷取的至少三第一影像，與該至少三深度圖的深度，產生該全景深度影像。
  8. 如請求項7所述的影像裝置，其中當該至少三深度圖被用以組成該全景深度影像時，該至少三深度圖中的每一深度圖根據其對應的光學中心所在的平面所定義的每一原始深度會被轉換成以該對應的光學中心為一原點的一轉換深度。
  9. 如請求項1所述的影像裝置，另包含： 一全景影像產生器，耦接於該至少二影像擷取組，用於根據該每一影像擷取組包含的至少三影像擷取器所擷取的至少三影像產生對應該每一影像擷取組的一全景影像； 一全景深度影像產生器，耦接於該全景影像產生器，用於根據對應該至少二影像擷取組的至少二全景影像，產生該全景深度影像；及 一顯示幕，耦接於該全景深度影像產生器，用於顯示該全景深度影像。
  10. 如請求項9所述的影像裝置，其中該全景深度影像產生器將對應該全景影像的視角分成複數個預定視角，根據該複數個預定視角中的一預定視角分別將該至少二全景影像的一第一全景影像與一第二全景影像投影至一第一成像平面與一第二成像平面以產生一第一投影影像與一第二投影影像，根據該第一投影影像與該第二投影影像產生對應該預定視角的深度圖，重複產生對應該預定視角的深度圖的步驟以產生對應該複數個預定視角的深度圖，以及根據對應該複數個預定視角的深度圖和該第一全景影像產生該全景深度影像。
  11. 如請求項10所述的影像裝置，其中該第一成像平面和該第二成像平面是平行於該顯示幕的成像平面，以及該複數個預定視角是相同或不同。
  12. 如請求項1所述的影像裝置，另包含： 至少一支撐單元，其中該至少二影像擷取組是通過該至少一支撐單元互相連接。
  13. 如請求項1所述的影像裝置，另包含： 至少二固定單元，其中該至少二影像擷取組中的每一影像擷取組是通過該至少二固定單元的至少一相對應的固定單元固定。
  14. 如請求項1所述的影像裝置，其中該預定值為1。
  15. 一種用於產生全景深度影像的影像裝置，包含： 至少二影像擷取組，其中該至少二影像擷取組中的每一影像擷取組包含至少二影像擷取器，該至少二影像擷取器中的相鄰兩個影像擷取器的光學中心之間的距離為一第一長度，該至少二影像擷取器中的每一影像擷取器和該至少二影像擷取組中其餘影像擷取組所包含的至少一相對應影像擷取器之間的距離為一第二長度，以及該第二長度與該第一長度的比值不小於一預定值； 其中該至少二影像擷取組所對應的至少二深度圖的深度是應用於一全景深度影像。
  16. 如請求項15所述的影像裝置，另包含： 至少一支撐單元，其中該每一影像擷取器是設置在該至少一支撐單元中的一相對應支撐單元上。
  17. 如請求項15所述的影像裝置，其中該每一影像擷取器是一魚眼影像擷取器。
  18. 如請求項15所述的影像裝置，其中該預定值為1。
  19. 一種用於產生全景深度影像的影像裝置，包含： 至少一影像擷取組，其中該至少一影像擷取組中的每一影像擷取組包含至少一影像擷取器；及 至少一光源，用以發出一發射光，其中該每一影像擷取組所擷取包含該發射光的影像是用以產生對應該每一影像擷取組的深度圖，或對應該發射光從該至少一光源經由每一物件反射至該每一影像擷取組的飛行時間是用以產生對應該每一影像擷取組的深度圖； 其中該深度圖的深度是應用於一全景深度影像。
  20. 如請求項19所述的影像裝置，另包含： 至少一支撐單元，其中該至少一影像擷取器中的每一影像擷取器是設置在該至少一支撐單元中的一相對應支撐單元上。
  21. 如請求項20所述的影像裝置，其中該每一影像擷取器是一魚眼影像擷取器。
  22. 如請求項19所述的影像裝置，其中當該每一影像擷取組所擷取包含該發射光的影像是用以產生對應該每一影像擷取組的深度圖時，該發射光是一結構光。
  23. 如請求項22所述的影像裝置，其中該結構光具有180o 發光角度且是通過至少一雷射光束、至少一第一光學元件和至少一第二光學元件所產生。
  24. 如請求項23所述的影像裝置，其中該至少一第一光學元件是至少一反射元件或至少一折射元件，以及該至少一第二光學元件是至少一繞射元件或至少一擴散片(diffuser)。
  25. 如請求項23所述的影像裝置，其中該至少一雷射光束通過該至少一第一光學元件形成至少二非平行光束，以及至少二非平行光束通過該至少一第二光學元件產生該結構光。
  26. 如請求項19所述的影像裝置，另包含： 一深度產生器，耦接於該至少一影像擷取組，用於根據該每一影像擷取組所擷取包含該發射光的影像或該飛行時間，產生對應該每一影像擷取組的深度圖；及 一全景深度影像產生器，耦接於該深度產生器與該至少一影像擷取組，用於根據該至少一影像擷取組所包含的至少一影像擷取器所擷取的至少一影像，與對應該至少一影像擷取組的深度圖的深度，產生該全景深度影像。
  27. 一種用於產生全景影像的影像裝置，包含： 一全景影像產生器，用以接收複數個深度圖，並根據該複數個深度圖產生一對應該複數個深度圖的一全景影像，其中對應該複數個深度圖的視角的總和不小於360o 。
  28. 如請求項27所述的影像裝置，其中當該複數個深度圖是應用於產生對應該全景影像的一全景深度影像時，該複數個深度圖中的每一深度圖根據其對應的光學中心所在的平面所定義的每一原始深度會被轉換成以該對應的光學中心為一原點的一轉換深度。
  29. 一種用於產生深度影像的影像裝置，包含： 一深度影像產生器，用以接收一第一全景影像與一相對應的第二全景影像，根據複數個視角分別分割該第一全景影像與該第二全景影像為複數個第一分割影像與複數個第二分割影像，投影該複數個第一分割影像的每一第一分割影像與一對應的第二分割影像至一對應的投影平面以產生一第一投影影像與一第二投影影像，以及根據該第一投影影像與該第二投影影像產生一對應該每一第一分割影像的深度圖； 其中該複數個視角的總和不小於360o 。
  30. 一種用於產生影像的影像裝置，包含： 一影像產生器，用以接收一全景深度影像，根據複數個視角分別分割該全景深度影像為複數個分割影像，投影該複數個分割影像的每一分割影像至一對應的投影平面以產生對應該每一分割影像的一投影影像，以及轉換該投影影像的每一深度值為一轉換深度值，其中該每一分割影像對應該複數個視角中的一視角，該視角對應一光學中心平面，該每一深度值對應該光學中心平面上的一光學中心，以及該對應的投影平面平行該光學中心平面； 其中該複數個視角的總和不小於360o 。
  31. 如請求項30所述的影像裝置，其中當該影像產生器轉換該投影影像的每一深度值為該轉換深度值後，該轉換深度值對應該光學中心平面。
TW107100706A 2017-02-23 2018-01-08 產生全景深度影像的影像裝置及相關影像裝置 TWI668997B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762462363P 2017-02-23 2017-02-23
US62/462,363 2017-02-23
US201762511317P 2017-05-25 2017-05-25
US62/511,317 2017-05-25
US201762599794P 2017-12-18 2017-12-18
US62/599,794 2017-12-18

Publications (2)

Publication Number Publication Date
TW201832547A true TW201832547A (zh) 2018-09-01
TWI668997B TWI668997B (zh) 2019-08-11

Family

ID=63264034

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107100706A TWI668997B (zh) 2017-02-23 2018-01-08 產生全景深度影像的影像裝置及相關影像裝置

Country Status (3)

Country Link
US (1) US10728515B2 (zh)
CN (2) CN113014754B (zh)
TW (1) TWI668997B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI696981B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用紅外線攝影機的互動影像處理系統
US10885671B2 (en) 2019-04-17 2021-01-05 XRSpace CO., LTD. Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor
US10977775B2 (en) 2018-12-07 2021-04-13 Himax Technologies Limited Depth decoding system and method for ground truth image rectification
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10390007B1 (en) * 2016-05-08 2019-08-20 Scott Zhihao Chen Method and system for panoramic 3D video capture and display
CN109660733B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109756660B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109788172A (zh) * 2019-01-04 2019-05-21 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660732B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109803089B (zh) * 2019-01-04 2021-05-18 Oppo广东移动通信有限公司 电子设备和移动平台
CN109729250B (zh) * 2019-01-04 2021-04-30 Oppo广东移动通信有限公司 电子设备和移动平台
CN109618085B (zh) * 2019-01-04 2021-05-14 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660731B (zh) * 2019-01-04 2021-04-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109788196B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109587304B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109788195B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109587303B (zh) * 2019-01-04 2021-07-30 Oppo广东移动通信有限公司 电子设备和移动平台
CN109618108B (zh) * 2019-01-07 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109862275A (zh) * 2019-03-28 2019-06-07 Oppo广东移动通信有限公司 电子设备和移动平台
US10979633B1 (en) * 2019-12-17 2021-04-13 Suometry, Inc. Wide view registered image and depth information acquisition
US11276154B2 (en) * 2020-07-17 2022-03-15 Samsung Electronics Co., Ltd. Multi-frame depth-based multi-camera relighting of images

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289145A (zh) * 2011-06-30 2011-12-21 浙江工业大学 基于3d全景视觉的智能三维立体摄像设备
US8553942B2 (en) * 2011-10-21 2013-10-08 Navteq B.V. Reimaging based on depthmap information
CN102903090B (zh) * 2012-01-20 2015-11-25 李文松 全景立体图像合成方法、装置、系统和浏览装置
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US20140009570A1 (en) * 2012-07-03 2014-01-09 Tourwrist, Inc. Systems and methods for capture and display of flex-focus panoramas
CA2890174A1 (en) * 2012-11-05 2014-05-08 360 Heros, Inc. 360 degree camera mount and related photographic and video system
US9013543B1 (en) * 2012-11-14 2015-04-21 Google Inc. Depth map generation using multiple scanners to minimize parallax from panoramic stitched images
KR20140106927A (ko) * 2013-02-27 2014-09-04 한국전자통신연구원 파노라마 생성 장치 및 방법
CN104036226B (zh) * 2013-03-04 2017-06-27 联想(北京)有限公司 一种目标物信息获取方法及电子设备
CN104253939A (zh) * 2013-06-27 2014-12-31 聚晶半导体股份有限公司 调整对焦位置的方法及电子装置
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
KR102249831B1 (ko) * 2014-09-26 2021-05-10 삼성전자주식회사 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
CN104679831B (zh) * 2015-02-04 2020-07-07 腾讯科技（深圳）有限公司 一种匹配人体模型的方法及装置
WO2016179694A1 (en) * 2015-05-08 2016-11-17 Valorisation-Recherche, Limited Partnership Spherical omnipolar imaging
TWI581008B (zh) * 2015-08-07 2017-05-01 高準精密工業股份有限公司 縮放結構光圖案的方法以及應用該方法的光學裝置
TWI555379B (zh) * 2015-11-06 2016-10-21 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
DE102016100656A1 (de) * 2016-01-15 2017-07-20 Fachhochschule Nordwestschweiz Stereobilderfassungssystem
CN105516569A (zh) * 2016-01-20 2016-04-20 北京疯景科技有限公司 一种获得全景图像的方法和装置
CN105959665B (zh) * 2016-05-05 2018-08-07 清华大学深圳研究生院 一种针对于虚拟现实设备的全景3d视频生成方法
CN205647716U (zh) * 2016-05-06 2016-10-12 硕颖数码科技（中国）有限公司 双镜头全景摄像机
CN106371281A (zh) * 2016-11-02 2017-02-01 辽宁中蓝电子科技有限公司 基于结构光多模块360度空间扫描和定位的3d相机

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977775B2 (en) 2018-12-07 2021-04-13 Himax Technologies Limited Depth decoding system and method for ground truth image rectification
TWI730364B (zh) * 2018-12-07 2021-06-11 奇景光電股份有限公司 深度解碼系統
US10885671B2 (en) 2019-04-17 2021-01-05 XRSpace CO., LTD. Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
TWI696981B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用紅外線攝影機的互動影像處理系統

Also Published As

Publication number Publication date
CN113014754A (zh) 2021-06-22
CN108471487A (zh) 2018-08-31
CN113014754B (zh) 2024-01-12
TWI668997B (zh) 2019-08-11
CN108471487B (zh) 2020-12-22
US10728515B2 (en) 2020-07-28
US20180295341A1 (en) 2018-10-11

Similar Documents

Publication Publication Date Title
TWI668997B (zh) 產生全景深度影像的影像裝置及相關影像裝置
JP5871862B2 (ja) ３ｄ深度情報に基づいたイメージぼかし
US10085011B2 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
EP2321697B1 (en) Spatially adaptive photographic flash unit
TWI692967B (zh) 影像裝置
CN106127745B (zh) 结构光3d视觉系统与线阵相机的联合标定方法及装置
CN103945210B (zh) 一种实现浅景深效果的多摄像头拍摄方法
ES2781181T3 (es) Procedimiento y aparato para la cámara computacional de Scheimpflug
JP6727816B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
JP6970376B2 (ja) 画像処理システム、及び画像処理方法
RU2554299C2 (ru) Устройство формирования стереоскопических изображений
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
WO2016131036A1 (en) Imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
CN113973194A (zh) 背景显示系统
CN109427089B (zh) 基于环境光照条件的混合现实对象呈现
CN109983764A (zh) 投影仪系统
JP2010122646A (ja) スクリーン及び画像表示装置
CN110908133A (zh) 一种基于二面角反射镜阵列的集成成像3d显示装置
CN209218258U (zh) 阵列式三维光学影像设备
JP2005301168A (ja) カメラモジュールのフォーカス調整装置
JP2021004762A (ja) 計測装置、撮像装置、計測システム、制御方法、プログラム及び記録媒体
JP2015002476A (ja) 撮像処理装置
US20130176399A1 (en) System and method for creating a three-dimensional image file
WO2023106114A1 (ja) 情報処理方法、情報処理システム、およびプログラム
JP2014011639A (ja) 撮像装置