TWI679875B - 用於產生360度深度圖的影像裝置 - Google Patents

用於產生360度深度圖的影像裝置 Download PDF

Info

Publication number
TWI679875B
TWI679875B TW107118034A TW107118034A TWI679875B TW I679875 B TWI679875 B TW I679875B TW 107118034 A TW107118034 A TW 107118034A TW 107118034 A TW107118034 A TW 107118034A TW I679875 B TWI679875 B TW I679875B
Authority
TW
Taiwan
Prior art keywords
image
depth map
image capture
capture devices
degree
Prior art date
Application number
TW107118034A
Other languages
English (en)
Other versions
TW201911862A (zh
Inventor
李季峰
Chi-Feng Lee
盧超群
Chao-Chun Lu
Original Assignee
鈺立微電子股份有限公司
Eys3D Microelectronics, Co.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司, Eys3D Microelectronics, Co. filed Critical 鈺立微電子股份有限公司
Publication of TW201911862A publication Critical patent/TW201911862A/zh
Application granted granted Critical
Publication of TWI679875B publication Critical patent/TWI679875B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/028—Circuits for converting colour display signals into monochrome display signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Or Creating Images (AREA)

Abstract

用於產生360度深度圖的影像裝置包含複數個影像擷取器，其中該複數個影像擷取器的每兩相鄰影像擷取器所擷取的影像對是用於形成該360度深度圖，以及該複數個影像擷取器的所有視角總和不小於720度。

Description

用於產生360度深度圖的影像裝置
本發明是有關於一種用於產生360度深度圖的影像裝置，尤指一種利用具有視角總和不小於720度的複數個魚眼影像擷取器產生一環景深度圖或一球狀深度圖的影像裝置。
在現有技術中，一影像裝置可利用至少三影像擷取器對產生一環景深度圖(panorama depth map)，例如該影像裝置是利用排成一三角形的三影像擷取器對產生該環景深度圖。另外，該影像裝置可利用至少四影像擷取器對產生一球狀深度圖(spherical depth map)，例如該影像裝置是利用排成一正四面體的四影像擷取器對產生該球狀深度圖。雖然該影像裝置可利用上述影像擷取器對產生該環景深度圖或該球狀深度圖，但該影像裝置需要較多的影像擷取器數目(需要至少6個影像擷取器以產生該環景深度圖，以及需要至少8個影像擷取器以產生該球狀深度圖)，導致該影像裝置的成本增加。因此，如何降低該影像裝置的成本成為該影像裝置的設計者的一項重要課題。
本發明的一實施例提供一種用於產生360度深度圖的影像裝置。該影 像裝置包含複數個影像擷取器，其中該複數個影像擷取器的每兩相鄰影像擷取器所擷取的影像對是用於形成該360度深度圖，以及該複數個影像擷取器的所有視角總和不小於720度。
本發明的另一實施例提供一種用於產生360度深度圖的影像裝置。該影像裝置包含複數個影像擷取器，其中當該複數個影像擷取器之間的重疊視野涵蓋360度時，有關該重疊視野的影像是用於形成一360度深度圖。
本發明提供一種影像裝置。該影像裝置是利用具有視角總和不小於720度的複數個魚眼影像擷取器的產生一環景深度圖或一球狀深度圖，或當該複數個魚眼影像擷取器之間的重疊視野涵蓋360度時，該影像裝置利用有關該重疊視野的影像形成一環景深度圖。因此，本發明可有效減少該複數個魚眼影像擷取器的數目以降低該影像裝置的成本。
100、200、300、400、500‧‧‧影像裝置
102、104、106、108、202、204、206、302、304、306、308、310、402、404、406、408、502、504‧‧‧影像擷取器
110‧‧‧深度圖產生器
112-122、506‧‧‧支撐單元
BL1‧‧‧基線
C1、C2、C3‧‧‧光學中心
FOV1、FOV2、FOV3、FOV4‧‧‧視角
IV1、IV2、IV3‧‧‧無效區
OV1、OV2、OV3、OV4‧‧‧影像重疊區
PL1-PL4‧‧‧投影平面
SOV‧‧‧環狀重疊區
S1、S2、S3‧‧‧球體
VC1、VC2、VC3、VC‧‧‧虛擬光學中心
第1圖是本發明的第一實施例所公開的一種用於產生360度深度圖的影像裝置的示意圖。
第2圖是本發明的另一實施例所公開的一種用於產生360度深度圖的影像裝置的示意圖。
第3圖是本發明的第二實施例所公開的一種用於產生360度深度圖的影像裝置的俯視示意圖。
第4圖是本發明的另一實施例所公開的一種用於產生360度深度圖的影像裝置的示意圖。
第5圖是本發明的第三實施例所公開的一種用於產生360度深度圖的影像裝置的示意圖。
第6A圖是用以說明利用一非平面投影方式得到一球狀深度圖的示意圖。
第6B圖是用以說明球狀深度圖中1/3個球體的示意圖。
請參照第1圖，第1圖是本發明的第一實施例所公開的一種用於產生360度深度圖的影像裝置100的示意圖，其中影像裝置100包含影像擷取器102、104、106、108和一深度圖產生器110，支撐單元112-118是用以支撐影像擷取器102、104、106、108，深度圖產生器110耦接於影像擷取器102、104、106、108，以及影像擷取器102、104、106、108是魚眼影像擷取器。但本發明並不受限於如第1圖所示的支撐單元的數量和支撐單元112-118所構成的形狀。如第1圖所示，當影像擷取器102、104、106、108的視角都一樣時，影像擷取器102、104、106、108的視角總和不小於720度，其中影像擷取器102、104、106、108的每一影像擷取器的最小視角MFOV是由式(1)所決定：MFOV=720/N+EA (1)
其中N為4，以及EA為補償該每一影像擷取器的組裝工差所需的角度。
因此，如果該每一影像擷取器是一理想的影像擷取器(也就是該每一影像擷取器所對應的EA為零)且影像擷取器102、104、106、108的視角都一樣時，則影像擷取器102、104、106、108的每一影像擷取器的最小視角MFOV為180度。 如第1圖所示，影像擷取器102的視角FOV1和影像擷取器104的視角FOV2之間具有一影像重疊區OV1，所以影像擷取器102和影像擷取器104所擷取的影像中會具有一第一影像對，其對應影像重疊區OV1，其中該第一影像對具有有關影像重疊區OV1的深度資訊。同理，影像擷取器104和影像擷取器106所擷取的影像中會具有一第二影像對，其對應一影像重疊區OV2，影像擷取器106和影像擷取器108所擷取的影像中會具有一第三影像對，其對應一影像重疊區OV3，以及影像擷取器108和影像擷取器102所擷取的影像中會具有一第四影像對，其對應一影像重疊區OV4，其中該第二影像對具有有關影像重疊區OV2的深度資訊，該第三影像對具有有關影像重疊區OV3的深度資訊，以及該第四影像對具有有關影像重疊區OV4的深度資訊。
如第1圖所示，該第一影像對可先通過一平面投影方式投影至一投影平面PL1得到一第一投影影像對，其中投影平面PL1平行影像擷取器102和影像擷取器104之間的基線BL1所在的平面。另外，該平面投影方式為本發明領域具有熟知技藝者所熟知，在此不再贅述。同理，該第二影像對可先通過該平面投影方式投影至一投影平面PL2得到一第二投影影像對，該第三影像對可先通過該平面投影方式投影至一投影平面PL3得到一第三投影影像對，以及該第四影像對可先通過該平面投影方式投影至一投影平面PL4得到一第四投影影像對。因此，在該第一投影影像對、該第二投影影像對、該第三投影影像對和該第四投影影像對產生後，深度圖產生器110即可根據該第一投影影像對、該第二投影影像對、該第三投影影像對和該第四投影影像對，產生一環景深度圖(panorama depth map)。
另外，影像裝置100可另包含至少一光源(未繪示於第1圖)，用以發出 至少一結構光，其中該結構光可用以加強該環景深度圖的品質。
另外，因為影像擷取器102、104、106、108的視角都一樣，所以影像擷取器102、104、106、108的排列為一正方形，且影像擷取器102、104、106、108的每一影像擷取器(理想的影像擷取器)的最小視角MFOV為180度。但在本發明的另一實施例中，影像擷取器102、104、106、108的部分或全部視角不同，此時影像擷取器102、104、106、108的排列則可為一非正方形的四邊形，以使深度圖產生器110仍可藉由各投影影像對來產生可涵蓋360度的環景深度圖。
另外，影像擷取器102、104、106、108可為照相機，或互補式金氧半影像感測器(complementary metal-oxide-semiconductor image sensor)，或感光耦合元件影像感測器(charge coupled device image sensor)。另外，深度圖產生器110可以是一具有上述深度圖產生器110的功能的現場可程式邏輯閘陣列(Field Programmable Gate Array,FPGA)，或是一具有上述深度圖產生器110的功能的特殊應用積體電路(Application-specific integrated circuit,ASIC)或是一具有上述深度圖產生器110的功能的軟體模組。
另外，如果影像裝置100不受限僅包含影像擷取器102、104、106、108時(也就是說影像裝置100包含至少五個以上影像擷取器)，則影像裝置100中的每一影像擷取器可為一非魚眼影像擷取器(因為影像裝置100中的每一影像擷取器的視角可小於180度)。
另外，在本發明的另一實施例中，如第2圖所示，影像裝置200包含3個影像擷取器202、204、206，影像擷取器202、204、206是魚眼影像擷取器， 且影像擷取器202、204、206的視角總和不小於720度。如果影像擷取器202、204、206的每一影像擷取器是一理想的影像擷取器且影像擷取器202、204、206的視角都一樣時，則影像擷取器202、204、206的每一影像擷取器的最小視角MFOV為240度。另外，影像裝置200產生一環景深度圖的原理可參照上述影像裝置100產生環景深度圖的原理，在此不再贅述。
請參照第3圖，第3圖是本發明的第二實施例所公開的一種用於產生360度深度圖的影像裝置300的俯視示意圖，以及影像裝置300包含影像擷取器302、304、306、308、310、312和一深度圖產生器110，其中影像擷取器312被影像擷取器310遮蔽，所以第3圖不會繪示出影像擷取器312。另外，為了簡化第3圖，第3圖也不繪示出深度圖產生器110和有關影像擷取器310、312的支撐單元。如第3圖所示，如果影像擷取器302、304、306、308、310、312的每一影像擷取器是一理想的影像擷取器且影像擷取器302、304、306、308、310、312的視角都一樣時，則影像擷取器302、304、306、308、310、312的每一影像擷取器是位於一正六面體的一對應平面(未繪示於第3圖)的中心。如第3圖所示，深度圖產生器110可根據上述影像裝置100產生環景深度圖的原理，利用影像擷取器302、304、306、308產生一第一環景深度圖，以及根據上述影像裝置100產生環景深度圖的原理，利用影像擷取器302、306、310、312產生一第二環景深度圖，其中因為影像擷取器302、304、306、308所在的第一平面和影像擷取器302、306、310、312所在的第二平面垂直，所以該第一環景深度圖和該第二環景深度圖的形狀可以相同，但該第一環景深度圖對應影像擷取器302、304、306、308的視角以及該第二環景深度圖對應影像擷取器302、306、310、312的視角。因此，在深度圖產生器110產生該第一環景深度圖和該第二環景深度圖後，深度圖產生器110可將該第一環景深度圖和該第二環景深度圖合併以得到一球狀深度圖。另 外，影像裝置300的其餘操作原理可參照影像裝置100的操作原理，在此不再贅述。
另外，影像裝置300並不受限於包含影像擷取器302、304、306、308、310、312，也就是說在本發明的另一實施例中，如第4圖所示，影像裝置400包含4個影像擷取器402、404、406、408，影像擷取器402、404、406、408是魚眼影像擷取器，影像擷取器402、404、406、408的視角總和不小於720度，影像擷取器402、404、406、408的排列為一正四面體，且支撐單元112-122用以支撐影像擷取器402、404、406、408。另外，影像裝置400產生一球狀深度圖的原理可參照上述影像裝置100產生環景深度圖的原理，在此不再贅述。
請參照第5圖，第5圖是本發明的第三實施例所公開的一種用於產生360度深度圖的影像裝置500的示意圖。如第5圖所示，影像裝置500包含影像擷取器502、504和深度圖產生器110，其中為了簡化第5圖，第5圖並未繪示出深度圖產生器110。另外，影像擷取器502、504之間具有一支撐單元506。如果影像擷取器502、504的每一影像擷取器的最小視角MFOV為240度，則影像擷取器502的視角FOV1和影像擷取器504的視角FOV2之間具有一環狀影像重疊區SOV，其中第5圖僅顯示出環狀影像重疊區SOV的一橫截面，且該橫截面具有一60度的夾角。因此，影像裝置500的深度圖產生器110可根據上述影像裝置100產生環景深度圖的原理，利用環狀影像重疊區SOV產生一環景深度圖。另外，影像裝置500的其餘操作原理可參照影像裝置100的操作原理，在此不再贅述。
另外，如第6A圖(利用影像裝置200說明，其中影像擷取器202、204、206的最小視角MFOV可分別為240度)所示，影像擷取器202的視角FOV1和影像 擷取器204的視角FOV2之間具有一影像重疊區OV1，所以影像擷取器202和影像擷取器204所擷取的影像中會具有一第一影像對，其對應影像重疊區OV1。同理，影像擷取器204和影像擷取器206所擷取的影像中會具有一第二影像對，其對應一影像重疊區OV2，以及影像擷取器202和影像擷取器206所擷取的影像中會具有一第三影像對，其對應一影像重疊區OV3。因此，深度圖產生器110可根據一非平面投影方式(例如一球面投影方式或一圓柱體投影方式)，利用該第一影像對得到一球狀深度圖中1/3個球體(因為影像重疊區OV1對應夾角120度)S1(如第6B圖所示)的深度資訊，其中該球面投影方式為本發明領域具有熟知技藝者所熟知，在此不再贅述。同理，深度圖產生器110也可根據該球面投影方式，利用該第二影像對得到該球狀深度圖中1/3個球體(因為影像重疊區OV2對應夾角120度)S2(如第6B圖所示)的深度資訊，以及可根據該球面投影方式，利用該第三影像對得到該球狀深度圖中1/3個球體(因為影像重疊區OV3對應夾角120度)S3(如第6B圖所示)的深度資訊。
然而如第6A圖所示，因為影像擷取器202、204、206的每一影像擷取器的最小視角MFOV為240度，所以在影像擷取器202的視角FOV1中，出現對應影像擷取器202的一無效區IV1(因為無效區IV1僅對應影像擷取器202所擷取的第一影像，所以深度圖產生器110無法根據影像擷取器202所擷取的第一影像，產生出任何深度資訊)。同理，在影像擷取器204的視角FOV2中，出現對應影像擷取器204的一無效區IV2，以及在影像擷取器206的視角FOV3中，出現對應影像擷取器206的一無效區IV3。如第6A圖所示，因為目前的光學中心C1、C2、C3分別位在無效區IV1、無效區IV2和無效區IV3中，所以當深度圖產生器110利用1/3個球體S1、1/3個球體S2和1/3個球體S3產生該球狀深度圖時，該球狀深度圖 將出現無效區IV1、無效區IV2和無效區IV3。因此，深度圖產生器110可根據1/3個球體S1、1/3個球體S2和1/3個球體S3的深度資訊，分別轉移光學中心C1、C2、C3至虛擬光學中心VC1、VC2、VC3，其中光學中心C1、C2、C3的轉換為本發明領域具有熟知技藝者所熟知，在此不再贅述。在本發明的一實施例中，虛擬光學中心VC1是影像重疊區OV1的頂點，虛擬光學中心VC2是影像重疊區OV2的頂點，以及虛擬光學中心VC3是影像重疊區OV3的頂點。
另外，如第6A圖所示，因為虛擬光學中心VC1、VC2、VC3並沒有位在無效區IV1、無效區IV2和無效區IV3中，所以當深度圖產生器110利用1/3個球體S1、1/3個球體S2和1/3個球體S3產生該球狀深度圖時，該球狀深度圖的錯誤將會減少。
另外，在本發明的另一實施例中，深度圖產生器110可根據1/3個球體S1、1/3個球體S2和1/3個球體S3的深度資訊，轉移光學中心C1、C2、C3至一虛擬光學中心VC(如第6A圖所示)，其中虛擬光學中心VC是光學中心C1、C2、C3的幾何中心。
綜上所述，本發明所提供的影像裝置是利用具有視角總和不小於720°的複數個魚眼影像擷取器的產生一環景深度圖或一球狀深度圖，或當該複數個魚眼影像擷取器之間的重疊視野涵蓋360度時，該影像裝置利用有關該重疊視野的影像形成一環景深度圖。因此，本發明可有效減少該複數個魚眼影像擷取器的數目以降低該影像裝置的成本。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

Claims (12)

  1. 一種用於產生360度深度圖的影像裝置，包含：複數個影像擷取器，其中該複數個影像擷取器的每兩相鄰影像擷取器所擷取的影像對是用於形成該360度深度圖，以及該複數個影像擷取器的所有視角總和不小於720度，以及該複數個影像擷取器所擷取的複數個影像中包含不能被用於產生該360度深度圖的複數個無效區；以及一深度圖產生器，耦接於該複數個影像擷取器，用以轉移對應該複數個影像擷取器的複數個光學中心至至少一虛擬光學中心，其中該至少一虛擬光學中心不會位於該複數個無效區以使該深度圖產生器利用該複數個影像中該複數個無效區外的部分產生該360度深度圖。
  2. 如請求項1所述的影像裝置，其中該深度圖產生器另用以根據該複數個影像擷取器中的每兩相鄰影像擷取器所擷取的影像對，形成該360度深度圖。
  3. 如請求項2所述的影像裝置，其中該深度圖產生器根據該每兩相鄰影像擷取器所擷取的影像對和一平面投影方式形成該360度深度圖，或根據該每兩相鄰影像擷取器所擷取的影像對和一非平面投影方式形成該360度深度圖。
  4. 如請求項2所述的影像裝置，其中當該360度深度圖是一環景深度圖(panorama depth map)時，該複數個影像擷取器包含至少三影像擷取器，且該深度圖產生器利用該複數個影像擷取器中的每兩相鄰影像擷取器所擷取的影像對形成該環景深度圖。
  5. 如請求項4所述的影像裝置，其中該至少三影像擷取器的每一影像擷取器是一魚眼影像擷取器。
  6. 如請求項4所述的影像裝置，其中該至少三影像擷取器的每一影像擷取器的最小視角是由該至少三影像擷取器的數目、補償該每一影像擷取器的組裝工差所需的角度，以及720度決定。
  7. 如請求項2所述的影像裝置，其中當該360度深度圖是一球狀深度圖(spherical depth map)時，該複數個影像擷取器包含至少三影像擷取器，且該深度圖產生器利用該複數個影像擷取器中的每兩相鄰影像擷取器所擷取的影像對形成該球狀深度圖。
  8. 如請求項7所述的影像裝置，其中該至少三影像擷取器的每一影像擷取器是一魚眼影像擷取器。
  9. 如請求項7所述的影像裝置，其中該深度圖產生器轉移對應該至少三影像擷取器的至少三目前的光學中心至該至少一虛擬光學中心。
  10. 如請求項7所述的影像裝置，其中當該深度圖產生器轉移對應該至少三影像擷取器的至少三目前的光學中心至至少三虛擬光學中心時，該至少三虛擬光學中心分別是該至少三影像擷取器所擷取的至少三影像對的每一影像對的重疊區的頂點。
  11. 一種用於產生360度深度圖的影像裝置，包含：複數個影像擷取器，其中當該複數個影像擷取器之間的重疊視野涵蓋360度時，有關該重疊視野的影像是用於形成一360度深度圖，以及該複數個影像擷取器所擷取的複數個影像中包含不能被用於產生該360度深度圖的複數個無效區；以及一深度圖產生器，耦接於該複數個影像擷取器，用以轉移對應該複數個影像擷取器的複數個光學中心至至少一虛擬光學中心，其中該至少一虛擬光學中心不會位於該複數個無效區以使該深度圖產生器利用該複數個影像中該複數個無效區外的部分產生該360度深度圖。
  12. 如請求項11所述的影像裝置，其中該深度圖產生器另用以根據有關該重疊視野的影像，形成該360度深度圖。
TW107118034A 2017-05-25 2018-05-25 用於產生360度深度圖的影像裝置 TWI679875B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762511317P 2017-05-25 2017-05-25
US62/511,317 2017-05-25

Publications (2)

Publication Number Publication Date
TW201911862A TW201911862A (zh) 2019-03-16
TWI679875B true TWI679875B (zh) 2019-12-11

Family

ID=64492271

Family Applications (2)

Application Number Title Priority Date Filing Date
TW107118048A TWI692983B (zh) 2017-05-25 2018-05-25 影像處理器和相關的影像系統
TW107118034A TWI679875B (zh) 2017-05-25 2018-05-25 用於產生360度深度圖的影像裝置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW107118048A TWI692983B (zh) 2017-05-25 2018-05-25 影像處理器和相關的影像系統

Country Status (3)

Country Link
US (2) US10805514B2 (zh)
CN (2) CN108965751B (zh)
TW (2) TWI692983B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6587000B2 (ja) * 2016-01-28 2019-10-09 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN109660732B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109788196B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660733B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109788172A (zh) * 2019-01-04 2019-05-21 Oppo广东移动通信有限公司 电子设备和移动平台
CN109618108B (zh) * 2019-01-07 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
KR102648912B1 (ko) * 2019-01-23 2024-03-19 삼성전자주식회사 영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서
US11132772B2 (en) * 2019-06-11 2021-09-28 Samsung Electronics Co., Ltd. Asymmetric normalized correlation layer for deep neural network feature matching
US11800206B2 (en) * 2019-07-08 2023-10-24 Calumino Pty Ltd. Hybrid cameras
US11323603B2 (en) * 2019-09-18 2022-05-03 Gopro, Inc. Auto exposure for spherical images
US10979633B1 (en) * 2019-12-17 2021-04-13 Suometry, Inc. Wide view registered image and depth information acquisition
US11140375B2 (en) * 2019-12-18 2021-10-05 Qualcomm Incorporated Sharing an optical sensor between multiple optical processors
US11450018B1 (en) * 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
US11172139B2 (en) * 2020-03-12 2021-11-09 Gopro, Inc. Auto exposure metering for spherical panoramic content
EP4229552A4 (en) * 2020-10-13 2024-03-06 Flyreel, Inc. GENERATION OF MEASUREMENTS OF PHYSICAL STRUCTURES AND ENVIRONMENTS THROUGH AUTOMATED ANALYSIS OF SENSOR DATA
TWI768709B (zh) * 2021-01-19 2022-06-21 福邦科技國際股份有限公司 雙影像融合方法與裝置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160119541A1 (en) * 2014-10-24 2016-04-28 Bounce Imaging, Inc. Imaging systems and methods
WO2016179694A1 (en) * 2015-05-08 2016-11-17 Valorisation-Recherche, Limited Partnership Spherical omnipolar imaging
TW201717613A (zh) * 2015-11-06 2017-05-16 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0921677B1 (en) 1997-12-04 2003-03-26 Victor Company Of Japan, Limited Image pickup apparatus and method, and image output apparatus and method applicable thereto
US7567271B2 (en) * 2006-01-09 2009-07-28 Sony Corporation Shared color sensors for high-resolution 3-D camera
US8077964B2 (en) * 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
JP5523141B2 (ja) * 2009-05-28 2014-06-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9294740B2 (en) * 2010-06-07 2016-03-22 Konica Minolta Advanced Layers, Inc. Imaging device having a color image generator generating a color image using edge data and a fake color suppressing coefficient
CN102005039B (zh) * 2010-08-24 2012-05-23 浙江大学 基于泰勒级数模型的鱼眼相机立体视觉深度测量方法
JP2012253643A (ja) * 2011-06-06 2012-12-20 Sony Corp 画像処理装置および方法、並びにプログラム
US9300946B2 (en) * 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array
US20140320602A1 (en) * 2011-12-02 2014-10-30 Nokia Corporation Method, Apparatus and Computer Program Product for Capturing Images
US8619148B1 (en) * 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US20130250040A1 (en) * 2012-03-23 2013-09-26 Broadcom Corporation Capturing and Displaying Stereoscopic Panoramic Images
CN102724528B (zh) * 2012-05-18 2015-01-14 清华大学 一种深度图生成装置
US9531961B2 (en) * 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
WO2014037603A1 (en) * 2012-09-06 2014-03-13 Nokia Corporation An apparatus, a method and a computer program for image processing
US9479697B2 (en) * 2012-10-23 2016-10-25 Bounce Imaging, Inc. Systems, methods and media for generating a panoramic view
US20150010236A1 (en) * 2013-07-08 2015-01-08 Htc Corporation Automatic image refocusing method
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US20150103200A1 (en) * 2013-10-16 2015-04-16 Broadcom Corporation Heterogeneous mix of sensors and calibration thereof
CN105794197A (zh) * 2014-07-28 2016-07-20 联发科技股份有限公司 能够生成全景文件的便携式设备
TWI538508B (zh) * 2014-08-15 2016-06-11 光寶科技股份有限公司 一種可獲得深度資訊的影像擷取系統與對焦方法
US10404969B2 (en) * 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
US20160295108A1 (en) * 2015-04-01 2016-10-06 Cheng Cao System and method for panoramic imaging
WO2017026705A1 (ko) * 2015-08-07 2017-02-16 삼성전자 주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
KR102458339B1 (ko) * 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
CN106468830B (zh) * 2015-08-20 2019-09-24 杨军 三维立体成像显示仪
KR20170025058A (ko) * 2015-08-27 2017-03-08 삼성전자주식회사 영상 처리 장치 및 이를 포함하는 전자 시스템
CN105530431A (zh) * 2015-12-16 2016-04-27 景好 一种反射式全景成像系统及方法
US20180241927A1 (en) * 2017-02-23 2018-08-23 Motorola Mobility Llc Exposure Metering Based On Depth Map
US10499046B2 (en) * 2017-04-13 2019-12-03 Facebook, Inc. Generating depth maps for panoramic camera systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160119541A1 (en) * 2014-10-24 2016-04-28 Bounce Imaging, Inc. Imaging systems and methods
WO2016179694A1 (en) * 2015-05-08 2016-11-17 Valorisation-Recherche, Limited Partnership Spherical omnipolar imaging
TW201717613A (zh) * 2015-11-06 2017-05-16 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統

Also Published As

Publication number Publication date
US20180376129A1 (en) 2018-12-27
CN108965751B (zh) 2021-09-17
TWI692983B (zh) 2020-05-01
TW201902210A (zh) 2019-01-01
US10992847B2 (en) 2021-04-27
CN108965751A (zh) 2018-12-07
CN109087235A (zh) 2018-12-25
CN109087235B (zh) 2023-09-15
TW201911862A (zh) 2019-03-16
US20190007590A1 (en) 2019-01-03
US10805514B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
TWI679875B (zh) 用於產生360度深度圖的影像裝置
JP6468307B2 (ja) 撮像装置、画像処理装置および方法
JP5389879B2 (ja) 撮像装置、監視カメラ、およびカメラ画面のマスク方法
TW201837785A (zh) 影像裝置
CN103780817B (zh) 摄像组件
US11281087B2 (en) Imaging device, image processing apparatus, and image processing method
JP6846651B2 (ja) 画像処理装置及び撮像装置
US10057487B1 (en) Panoramic imaging systems based on normal-lens cameras
TWI599809B (zh) 鏡頭模組陣列、影像感測裝置與數位縮放影像融合方法
JP2010276433A (ja) 撮像装置、画像処理装置及び距離計測装置
TWI676855B (zh) 投影機校正方法與使用此方法的投影系統
US10762658B2 (en) Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images
JP2001005956A (ja) 広視野カメラ装置
JP6579706B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
TWI672950B (zh) 可補償影像變化的影像裝置
CN109214983B (zh) 图像获取装置及其图像拼接方法
JP2009145654A (ja) ステレオ画像形成装置
JP2007295028A (ja) ステレオ画像撮像装置
JP6257798B2 (ja) 画像処理装置及び画像処理方法
US20230300315A1 (en) Information processing apparatus, information processing method, program, and display apparatus
WO2018149488A1 (en) An optical arrangement for focusing images of a three-dimensional space from different perspectives onto one or more camera sensors
TWM640759U (zh) 使用運動校正之全景攝像設備
JP6192222B2 (ja) 撮影装置
TW202406327A (zh) 全景影像處理方法
TW202405744A (zh) 使用運動校正之全景影像處理方法