TW202013956A - 影像裝置的校正方法及其相關影像裝置和運算裝置 - Google Patents

影像裝置的校正方法及其相關影像裝置和運算裝置 Download PDF

Info

Publication number
TW202013956A
TW202013956A TW108119687A TW108119687A TW202013956A TW 202013956 A TW202013956 A TW 202013956A TW 108119687 A TW108119687 A TW 108119687A TW 108119687 A TW108119687 A TW 108119687A TW 202013956 A TW202013956 A TW 202013956A
Authority
TW
Taiwan
Prior art keywords
image capturing
image
processor
matrix
capturing unit
Prior art date
Application number
TW108119687A
Other languages
English (en)
Other versions
TWI761684B (zh
Inventor
李季峰
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Publication of TW202013956A publication Critical patent/TW202013956A/zh
Application granted granted Critical
Publication of TWI761684B publication Critical patent/TWI761684B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3254—Orientation, e.g. landscape or portrait; Location or order of the image data, e.g. in memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274—Storage or retrieval of prestored additional information
    • H04N2201/3277—The additional information being stored in the same storage device as the image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

影像裝置的校正方法包含該影像裝置所包含的至少二影像擷取單元擷取至少二對應的影像；一處理器對該至少二對應的影像執行一形變校正，從該至少二對應的影像中萃取一物件的預定數量的平面上的複數個特徵點，根據該預定數量的平面中的每一平面分類該複數個特徵點並分別據以計算出該每一平面對應的點對點轉換矩陣以產生對應該至少二影像擷取單元的一旋轉/轉移矩陣，根據該旋轉/轉移矩陣，產生對應該至少二影像擷取單元中的每一影像擷取單元的一最終旋轉矩陣，將該最終旋轉矩陣儲存於一記憶體，及根據該最終旋轉矩陣校正該每一影像擷取單元。

Description

影像裝置的校正方法及其相關影像裝置和運算裝置
本發明是有關於一種影像裝置的校正方法及其相關影像裝置和運算裝置，尤指一種利用一影像裝置的影像擷取單元所擷取的對應的影像中一物件的至少一平面上的特徵點來校正該影像裝置的校正方法及其相關影像裝置和運算裝置。
在影像裝置出廠且操作一段時間後，該影像裝置會因為該影像裝置的使用環境、使用方法或使用狀況造成該影像裝置中的左眼影像擷取單元和右眼影像擷取單元之間的機構的偏移，導致該影像裝置的機構與光學準度降低。因此，現有技術所提供的校正方法是利用該左眼影像擷取單元和該右眼影像擷取單元所擷取的對應影像中的特徵點計算出一基本(fundamental or essential)矩陣，然後再利用該基本矩陣校正該左眼影像擷取單元和該右眼影像擷取單元之間機構的偏移。例如該基本矩陣可校正該左眼影像擷取單元和該右眼影像擷取單元之間的相對旋轉角度，以及該左眼影像擷取單元和該右眼影像擷取單元之間的相對歪斜等。
然而，現有技術提供的校正方法至少需要根據一物件上的多個特徵點在三維空間中和該影像裝置間的多個距離(也就是對應該物件的多個深度)才可對該左眼影像擷取單元和該右眼影像擷取單元執行一強力的(robust)校正。因此，如果該多個距離之間的差異不夠大(例如因為該物件是扁平狀且平行於一投影平面，所以該多個距離之間的差異較小)，則校正結果可能無法被該影像裝置的使用者接受，也就是該校正結果是本發明領域具有熟知技藝者所稱的弱校正(weak calibration)。因此，如何提供一個可產生良好校正結果的校正方法成為一項重要的課題。
本發明的一實施例提供一種影像裝置的校正方法，其中該影像裝置包含至少二影像擷取單元。該校正方法包含該至少二影像擷取單元擷取至少二對應的影像；一處理器對該至少二對應的影像執行一形變校正；該處理器從該至少二對應的影像中萃取一物件的預定數量的平面上的複數個特徵點；該處理器根據該預定數量的平面中的每一平面分類該複數個特徵點，並分別據以計算出該預定數量的平面中的每一平面對應的點對點轉換矩陣以產生對應該至少二影像擷取單元的一旋轉/轉移矩陣；該處理器根據該旋轉/轉移矩陣，產生對應該至少二影像擷取單元中的每一影像擷取單元的一最終旋轉矩陣；及該處理器將該最終旋轉矩陣儲存於一記憶體，以及根據該最終旋轉矩陣校正該每一影像擷取單元。
本發明的另一實施例提供一種具有校正功能的影像裝置。該影像裝置包含至少二影像擷取單元和一處理器。該至少二影像擷取單元是用以擷取至少二對應的影像。該處理器是用以對該至少二對應的影像執行一形變校正，從該至少二對應的影像中萃取一物件的預定數量的平面上的複數個特徵點，分別據以計算出該預定數量的平面中的每一平面對應的點對點轉換矩陣以產生對應該至少二影像擷取單元的一旋轉/轉移矩陣，根據該旋轉/轉移矩陣，產生對應該至少二影像擷取單元中的每一影像擷取單元的一最終旋轉矩陣，以及根據該最終旋轉矩陣，校正該每一影像擷取單元。
本發明的另一實施例提供一種具有校正功能的運算裝置。該運算裝置包含一處理器。該處理器是用以對一影像裝置所擷取的至少二對應的影像執行一形變校正，從該至少二對應的影像中萃取一物件的預定數量的平面上的複數個特徵點，根據該預定數量的平面中的每一平面分類該複數個特徵點，分別據以計算出該預定數量的平面中的每一平面對應的點對點轉換矩陣以產生對應該至少二影像擷取單元的一旋轉/轉移矩陣，根據該旋轉/轉移矩陣，產生對應該至少二影像擷取單元中的每一影像擷取單元的一最終旋轉矩陣，以及根據該最終旋轉矩陣，校正該每一影像擷取單元。
本發明的另一實施例提供一種具有校正功能的影像裝置。該影像裝置包含至少二影像擷取單元和一處理器。該至少二影像擷取單元是用以擷取至少二對應的影像，其中該至少二影像擷取單元之間的相對位置是可變動的以使該至少二對應的影像用以產生一360度環景影像，或至少一深度圖，或至少一立體影像。當該至少二對應的影像是用以產生該至少一深度圖或該至少一立體影像時，該處理器對該至少二對應的影像執行一形變校正，從該至少二對應的影像中萃取一物件的預定數量的平面上的複數個特徵點，根據該預定數量的平面中的每一平面分類該複數個特徵點，分別據以計算出該預定數量的平面中的每一平面對應的點對點轉換矩陣以產生對應該至少二影像擷取單元的一旋轉/轉移矩陣，根據該旋轉/轉移矩陣，產生對應該至少二影像擷取單元中的每一影像擷取單元的一最終旋轉矩陣，以及根據該最終旋轉矩陣，校正該每一影像擷取單元。
本發明提供一種影像裝置的校正方法及其相關影像裝置和運算裝置。該校正方法、該影像裝置和該運算裝置是利用一處理器從該影像裝置的影像擷取單元所擷取的對應的影像中萃取一物件的預定數量的平面上的複數個特徵點來校正該影像裝置，並利用該處理器根據該預定數量的平面中的每一平面分類該複數個特徵點來校正該影像裝置，所以本發明和現有技術直接利用該物件上的多個特徵點(也就是不分類該多個特徵點)去校正該影像裝置的方式不同。因此，相較於現有技術，即使該物件的尺寸較小，導致該多個特徵點與該影像裝置間的多個距離之間的差異較小，本發明仍可對該影像裝置的影像擷取單元執行一強力的(robust)校正以產生良好的校正結果。
請參照第1圖，第1圖是本發明的一第一實施例說明一種影像裝置100的示意圖，其中影像裝置100包含一左眼影像擷取單元102、一右眼影像擷取單元104、一處理器106和一記憶體108，其中如第1圖所示，處理器106耦接於左眼影像擷取單元102、右眼影像擷取單元104和記憶體108，以及左眼影像擷取單元102和右眼影像擷取單元104另耦接於記憶體108。另外，左眼影像擷取單元102和右眼影像擷取單元104的內部參數(intrinsic parameters)是儲存在記憶體108，且左眼影像擷取單元102的內部參數包含左眼影像擷取單元102的鏡片焦距、光學中心、鏡片形變等資訊，以及右眼影像擷取單元104的內部參數包含右眼影像擷取單元104的鏡片焦距、光學中心、鏡片形變等資訊。另外，本發明並不受限於影像裝置100僅包含左眼影像擷取單元102和右眼影像擷取單元104，也就是說影像裝置100可包含超過2個以上的影像擷取單元。另外，請參照第2-3圖，第2圖是本發明的一第二實施例說明一種影像裝置的校正方法的流程圖，第3(a)圖是說明左眼影像擷取單元102所擷取的左眼影像140的示意圖，以及第3(b)圖是說明右眼影像擷取單元104所擷取的右眼影像150的示意圖。另外，本發明領域具有熟知技藝者應當熟知左眼影像擷取單元102和右眼影像擷取單元104中的每一影像擷取單元至少包含鏡頭和影像感測器(例如電荷耦合元件 (Charge-coupled Equipment, CCD)影像感測器或互補式金氧半影像感測器(Complementary Metal-Oxide-Semiconductor Image Sensor))。另外，第2圖的校正方法是利用第1圖的影像裝置100說明，詳細步驟如下：
步驟200： 開始；
步驟202： 處理器106分別控制左眼影像擷取單元102和右眼影像擷取單元104擷取左眼影像140和右眼影像150，其中左眼影像140對應右眼影像150，且左眼影像140和右眼影像150包含一物件160；
步驟204： 處理器106分別從左眼影像140與右眼影像150萃取複數個第一特徵點與複數個第二特徵點，其中該複數個第一特徵點對應該複數個第二特徵點；
步驟206： 處理器106根據物件160上的預定數量的平面分類該複數個第一特徵點和該複數個第二特徵點，以及分別找出該預定數量的平面的每一平面的特徵點對應左眼影像擷取單元102的座標和右眼影像擷取單元104的座標；
步驟208： 處理器106利用該每一平面的特徵點對應左眼影像擷取單元102的座標和右眼影像擷取單元104的座標，計算出對應該每一平面的點對點轉換矩陣(point-to-point homography matrix)；
步驟210： 處理器106根據對應該預定數量的平面的複數個點對點轉換矩陣以及左眼影像擷取單元102的內部參數和右眼影像擷取單元104的內部參數，產生對應左眼影像擷取單元102和右眼影像擷取單元104的一旋轉/轉移矩陣；
步驟212： 處理器106根據該旋轉/轉移矩陣，產生對應左眼影像擷取單元102和右眼影像擷取單元104中的每一影像擷取單元的一最終旋轉矩陣；
步驟214： 處理器106根據該最終旋轉矩陣，校正該每一影像擷取單元，並將該最終旋轉矩陣儲存至記憶體108；
步驟216： 結束。
在影像裝置100出廠且操作一段時間後，影像裝置100會因為影像裝置100的使用環境、使用方法或使用狀況造成影像裝置100的機構與光學準度降低，導致影像裝置100中的左眼影像擷取單元102和右眼影像擷取單元104之間的機構偏移出廠前的校正狀態，例如左眼影像擷取單元102與右眼影像擷取單元104之間的距離、左眼影像擷取單元102與右眼影像擷取單元104之間的相對旋轉角度，以及左眼影像擷取單元102與右眼影像擷取單元104之間的相對歪斜等偏移當初校正的狀態。因此，左眼影像擷取單元102和右眼影像擷取單元104需要被校正以補償左眼影像擷取單元102和右眼影像擷取單元104之間機構的偏移。在步驟202中，處理器106可控制左眼影像擷取單元102和右眼影像擷取單元104分別對物件160執行影像擷取動作以產生左眼影像140與右眼影像150，其中處理器106可先對左眼影像140與右眼影像150執行形變校正使左眼影像140與右眼影像150無形變。但本發明並不受限於左眼影像140與右眼影像150僅包含物件160。因此，在本發明的另一實施例中，處理器106可控制左眼影像擷取單元102和右眼影像擷取單元104同時對左眼影像140與右眼影像150所包含的複數個物件執行影像擷取動作以產生對應的影像。在步驟204中，如第3(a)圖所示，處理器106可從左眼影像140萃取物件160上的複數個第一特徵點(例如7個第一特徵點FFP1-FFP7)，其中第一特徵點FFP1-FFP4位於平面PL1，第一特徵點FFP2、FFP3、FFP5、FFP6位於平面PL2，第一特徵點FFP1、FFP2、FFP5、FFP7位於平面PL3，以及7個第一特徵點FFP1-FFP7僅是用以舉例說明本發明，也就是說本發明並不受限於7個第一特徵點FFP1-FFP7。另外，處理器106也可從右眼影像150萃取物件160上的複數個第二特徵點(例如7個第二特徵點SFP1-SFP7)，其中第二特徵點SFP1-SFP4位於平面PL1，第二特徵點SFP2、SFP3、SFP5、SFP6位於平面PL2，第二特徵點SFP1、SFP2、SFP5、SFP7位於平面PL3，以及7個第二特徵點SFP1-SFP7也僅是用以舉例說明本發明，也就是說本發明也並不受限於7個第二特徵點SFP1-SFP7。
在步驟206中，處理器106可依平面PL1-PL3(其中平面PL1-PL3為物件160上的預定數量的平面，且該預定數量為3)分類並找出每一平面的特徵點對應左眼影像擷取單元102的座標和右眼影像擷取單元104的座標，例如處理器106可分別找出平面PL1的特徵點(也就是第一特徵點FFP1-FFP4和第二特徵點SFP1-SFP4)對應左眼影像擷取單元102的座標和右眼影像擷取單元104的座標，平面PL2的特徵點(也就是第一特徵點FFP2、FFP3、FFP5、FFP6和第二特徵點SFP2、SFP3、SFP5、SFP6)對應左眼影像擷取單元102的座標和右眼影像擷取單元104的座標，以及平面PL3的特徵點(也就是第一特徵點FFP1、FFP2、FFP5、FFP7和第二特徵點SFP1、SFP2、SFP5、SFP7)對應左眼影像擷取單元102的座標和右眼影像擷取單元104的座標。另外，本發明並不受限於該預定數量為3。在步驟208中，以平面PL1為例，處理器106可根據平面PL1的第一特徵點FFP1-FFP4對應左眼影像擷取單元102的座標，平面PL1的第二特徵點SFP1-SFP4對應右眼影像擷取單元104的座標，以及式(1)，計算出對應平面PL1的點對點轉換矩陣(point-to-point homography matrix)H1。
Figure 02_image001
(1)
如式(1)所示，(X, Y)分別代入第一特徵點FFP1-FFP4對應左眼影像擷取單元102的座標，以及(x, y)分別代入第二特徵點SFP1-SPF4對應右眼影像擷取單元104的座標以求出點對點轉換矩陣H1 。另外，處理器106可根據上述產生點對點轉換矩陣H1的方式，計算出對應平面PL2的點對點轉換矩陣H2，以及對應平面PL3的點對點轉換矩陣H3。
在執行步驟210之前，處理器106可從記憶體108得到左眼影像擷取單元102的內部參數和右眼影像擷取單元104的內部參數。另外，在本發明的另一實施例中，左眼影像擷取單元102的內部參數和右眼影像擷取單元104的內部參數是儲存在位於一網際網路上的伺服器，所以處理器106可從該伺服器得到左眼影像擷取單元102的內部參數和右眼影像擷取單元104的內部參數。在步驟210中，在點對點轉換矩陣H1-H3產生後，處理器106可根據左眼影像擷取單元102的內部參數、右眼影像擷取單元104的內部參數和點對點轉換矩陣H1-H3產生一旋轉/轉移矩陣[R|t]，其中R為旋轉/轉移矩陣[R|t]中有關旋轉(rotation)的元素，其代表左眼影像擷取單元102的光軸和右眼影像擷取單元104的光軸之間的旋轉關係，以及t為旋轉/轉移矩陣[R|t]中有關轉移(translation)的元素，其代表左眼影像擷取單元102的光學中心和右眼影像擷取單元104的光學中心的坐落方向。另外，旋轉/轉移矩陣[R|t]為本發明領域具有熟知技藝者所熟知，所以在此不再贅述。理想上點對點轉換矩陣H1-H3可一起對應到旋轉/轉移矩陣[R|t]。然而，實際上點對點轉換矩陣H1-H3可能會因誤差而對應到3個不同的旋轉/轉移矩陣[R|t]1 -[R|t]3 ，其中旋轉/轉移矩陣[R|t]1 對應平面PL1，旋轉/轉移矩陣[R|t]2 對應平面PL2，以及旋轉/轉移矩陣[R|t]3 對應平面PL3。此時，在本發明的一實施例中，處理器106可將旋轉/轉移矩陣[R|t]1 -[R|t]3 中相對應的元素平均以產生一等效旋轉/轉移矩陣。另外，在本發明的另一實施例中，處理器106可根據旋轉/轉移矩陣[R|t]1 -[R|t]3 中相對應的元素的中位數，產生另一等效旋轉/轉移矩陣。另外，可利用許多已知的異常值(outlier)剔除演算法(例如random sample consensus (RANSAC)演算法)，將差異較大的點對點轉換矩陣移除。
在步驟212中，因為本發明領域具有熟知技藝者應當熟知旋轉/轉移矩陣[R|t]，所以本發明領域具有熟知技藝者可利用處理器106根據旋轉/轉移矩陣[R|t]中的轉移向量[t](由旋轉/轉移矩陣[R|t]中有關轉移(translation)的元素所組成)，產生對應左眼影像擷取單元102的最終旋轉矩陣[R]L 和對應右眼影像擷取單元104的最終旋轉矩陣[R]R 。
在步驟214中，在處理器106產生最終旋轉矩陣[R]R 和最終旋轉矩陣[R]L 後，處理器106可將最終旋轉矩陣[R]R 和最終旋轉矩陣[R]L 儲存至記憶體108，以及處理器106可根據最終旋轉矩陣[R]L ，校正左眼影像擷取單元102，以及根據最終旋轉矩陣[R]R ，校正右眼影像擷取單元104。在本發明的一實施例中，處理器106校正左眼影像擷取單元102和右眼影像擷取單元104意味著處理器106根據最終旋轉矩陣[R]L 和最終旋轉矩陣[R]R 調整左眼影像擷取單元102與右眼影像擷取單元104之間的機構的偏移。在處理器106調整左眼影像擷取單元102和右眼影像擷取單元104之間的機構的偏移後，左眼影像擷取單元102所擷取的左眼影像的複數個第一特徵點(例如第一特徵點FFP1-FFP7)和右眼影像擷取單元104所擷取的右眼影像的複數個第二特徵點(例如第二特徵點SFP1-SFP7)對齊(例如掃描線對掃描線(line to line)對齊)，其中掃描線對掃描線對齊是指在影像平面上，複數個第一特徵點與複數個第二特徵點中各自相對應的點在同一Y軸上(左眼影像擷取單元102和右眼影像擷取單元104置放在同一水平面)或在同一X軸上(左眼影像擷取單元102和右眼影像擷取單元104置放在同一垂直面)。也就是說在處理器106調整左眼影像擷取單元102和右眼影像擷取單元104之間的機構的偏移後，左眼影像擷取單元102所擷取的左眼影像(或右眼影像擷取單元104所擷取的右眼影像) 的每一水平掃描線平行於左眼影像擷取單元102和右眼影像擷取單元104之間的基線。另外，在處理器106調整左眼影像擷取單元102和右眼影像擷取單元104之間的機構的偏移後，影像裝置100將根據調整後的左眼影像擷取單元102和右眼影像擷取單元104之間的機構狀態操作左眼影像擷取單元102和右眼影像擷取單元104。
另外，在本發明的另一實施例中，在步驟210中，處理器106先不對旋轉/轉移矩陣[R|t]1 -[R|t]3 進行的平均、中位數以及異常值(outlier)剔除演算法操作，而是先分別根據旋轉/轉移矩陣[R|t]1 -[R|t]3 產生最終旋轉矩陣[R]R1 -[R]R3 和最終旋轉矩陣[R]L1 -[R]L3 。然後在步驟212 中，處理器106分別對最終旋轉矩陣[R]R1 -[R]R3 和最終旋轉矩陣[R]L1 -[R]L3 進行的平均、中位數以及異常值(outlier)剔除演算法操作。
另外，在本發明的另一實施例中，處理器106可省略步驟210，也就是說在步驟212中，處理器106可直接根據左眼影像擷取單元102的內部參數和右眼影像擷取單元104的內部參數，以及步驟208產生的點對點轉換矩陣H1-H3產生對應左眼影像擷取單元102的最終旋轉矩陣[R]L 和對應右眼影像擷取單元104的最終旋轉矩陣[R]R ，也就是說在本發明的另一實施例中，處理器106可不需通過旋轉/轉移矩陣[R|t]，產生對應左眼影像擷取單元102的最終旋轉矩陣[R]L 和對應右眼影像擷取單元104的最終旋轉矩陣[R]R 。
然而在本發明的另一實施例中，處理器106校正左眼影像擷取單元102和右眼影像擷取單元104意味著處理器106可分別根據最終旋轉矩陣[R]L 和最終旋轉矩陣[R]R 對左眼影像擷取單元102和右眼影像擷取單元104，執行一影像矯正(image rectification)動作，也就是說因為影像裝置100的使用環境、使用方法或使用狀況使左眼影像擷取單元102和右眼影像擷取單元104之間的機構的偏移，所以處理器106可分別根據最終旋轉矩陣[R]L 和最終旋轉矩陣[R]R ，補償(亦即矯正)左眼影像擷取單元102所擷取的左眼影像和右眼影像擷取單元104所擷取的右眼影像以補償左眼影像擷取單元102與右眼影像擷取單元104之間的機構的偏移。也就是說，此時，處理器106並不會調整左眼影像擷取單元102和右眼影像擷取單元104之間的機構的偏移。
另外，因為本發明領域具有熟知技藝者可以容易地利用一具有上述處理器106的功能的現場可程式邏輯閘陣列(Field Programmable Gate Array, FPGA)，或是一具有上述處理器106的功能的特殊應用積體電路(Application-specific integrated circuit, ASIC)，或是一具有上述處理器106的功能的軟體模組，或是一具有上述處理器106的功能的類比積體電路實現處理器106，所以處理器106的結構在此不再贅述。
另外，在處理器106根據最終旋轉矩陣[R]L ，校正左眼影像擷取單元102，以及根據最終旋轉矩陣[R]R ，校正右眼影像擷取單元104後，如果左眼影像擷取單元102所擷取的左眼影像(或右眼影像擷取單元104所擷取的右眼影像)的每一水平掃描線仍未平行於左眼影像擷取單元102和右眼影像擷取單元104之間的基線，則處理器106可繼續對物件160上異於平面PL1-PL3的平面執行步驟206-214直到左眼影像擷取單元102所擷取的左眼影像(或右眼影像擷取單元104所擷取的右眼影像)的每一水平掃描線平行於左眼影像擷取單元102和右眼影像擷取單元104之間的基線。
另外，如第4圖所示，在本發明的一第三實施例中，上述處理器106是位於一影像裝置400外的一運算裝置402(例如一電腦、一智慧型手機、一雲端系統或一平板電腦)。如第4圖所示，影像裝置400內具有控制影像裝置400運作的一處理器404，所以處理器404可通過一有線方式將左眼影像擷取單元102所擷取的左眼影像和右眼影像擷取單元104所擷取的右眼影像傳輸至運算裝置402。但在本發明的另一實施例中，處理器404則是通過一無線方式將左眼影像擷取單元102所擷取的左眼影像和右眼影像擷取單元104所擷取的右眼影像傳輸至運算裝置402。因此，在運算裝置402接收左眼影像擷取單元102所擷取的左眼影像和右眼影像擷取單元104所擷取的右眼影像後，運算裝置402內的處理器106即可根據第2圖的校正方法校正影像裝置400內的左眼影像擷取單元102和右眼影像擷取單元104。另外，影像裝置400內的記憶體108的操作原理可參照上述相關說明，在此不再贅述。另外，在本發明的另一實施例中，影像裝置400和運算裝置402可組成一具有校正功能的系統，其中該系統的運作原理可參照上述相關說明，在此不再贅述。
另外，請參照第5(a)圖，第5(a)圖是說明具有雙影像擷取單元502、504的一影像裝置500的正面的示意圖。如第5(a)圖所示，因為影像擷取單元502設置在影像裝置500的正面以及影像擷取單元504設置在影像裝置500的背面，所以第5(a)圖不會示出影像擷取單元504。當影像裝置500的背面和影像裝置500的正面朝同一方向時(如第5(b)圖所示)，影像裝置500可當作一立體照相機或一深度相機。但影像裝置500的背面和影像裝置500的正面朝同一方向時，影像擷取單元502和影像擷取單元504之間的機構可能因為影像裝置500的背面和影像裝置500的正面之間的機構的定位不夠精密而產生偏移(也就是說當影像裝置500的背面和影像裝置500的正面朝同一方向時，影像擷取單元502和影像擷取單元504之間的機構目前的狀態不是影像擷取單元502和影像擷取單元504之間的機構前一次的狀態)，所以上述本發明所提供的校正方法或先前技術即可應用於校正影像擷取單元502和影像擷取單元504之間機構的偏移。同理，上述本發明所提供的校正方法或先前技術也可應用於校正具有三影像擷取單元602、604、606的影像裝置600(如第6(a)、6(b)圖所示)，其中影像擷取單元602、604形成一第一影像擷取對(對應一第一基線B1)，以及影像擷取單元602、606形成一第二影像擷取對(對應一第二基線B2)。另外，請參照第7(a)圖，第7(a)圖是說明具有三影像擷取單元702、704、706的一影像裝置700的示意圖，其中影像擷取單元702、704、706為魚眼鏡頭影像擷取單元或非魚眼鏡頭影像擷取單元。如第7(a)圖所示，當影像擷取單元702、704、706未被展開時，影像裝置700可當作一360度環景照相機，也就是說影像裝置700可利用影像擷取單元702、704、706所擷取的影像產生一360度環景影像。另外，在本發明的另一實施例中，影像裝置700是可撓的，也就是說當影像裝置700是可撓的且影像擷取單元702、704、706未被展開時，影像擷取單元702、704、706中每二相鄰的影像擷取單元之間的連結處並不會出現如第7(a)圖所示的銳角，也就是說該每二相鄰的影像擷取單元之間的連結處是一具有弧度的平滑區域。
如第7(b)圖所示，當影像擷取單元702、704、706被展開時，影像裝置700可當作一立體照相機或一深度相機。因此，當影像擷取單元702、704、706未被展開時，本發明領域具有熟知技藝者可利用現有技術所提供的環景影像校正方法校正影像裝置700；當影像擷取單元702、704、706被展開時，上述本發明所提供的校正方法或先前技術可應用於校正影像擷取單元702、704、706之間的機構的偏移。另外，本發明並不受限於影像裝置700包含影像擷取單元702、704、706，也就是說影像裝置700可只包含二魚眼鏡頭影像擷取單元，其中當該二魚眼鏡頭影像擷取單元為背對背時，影像裝置700可當作一360度環景照相機，以及當該二魚眼鏡頭影像擷取單元朝同一方向時，影像裝置700可當作一立體照相機或一深度相機。另外，影像裝置700也可包含至少四影像擷取單元(或至少四魚眼鏡頭影像擷取單元)，其中該至少四影像擷取單元未被展開時，影像裝置700可當作一360度環景照相機，以及當該至少四影像擷取單元被展開時，影像裝置700可當作一立體照相機或一深度相機。因此，只要一影像裝置作為一立體照相機或一深度相機，且該影像裝置所包含的影像擷取單元的機構產生偏移，則本發明所提供的校正方法都可應用於校正該影像裝置，也就是說本發明所提供的校正方法並不受限於校正第5(b)圖、第6(b)圖和第7(b)圖的機構。
綜上所述，本發明所提供的校正方法及其相關影像裝置和運算裝置是利用該處理器從該影像裝置的影像擷取單元所擷取的對應的影像中萃取一物件的預定數量的平面上的複數個特徵點，並利用該處理器根據該預定數量的平面中的每一平面分類該複數個特徵點來校正該影像裝置，所以本發明和現有技術直接利用該物件上的多個特徵點(也就是不分類該多個特徵點)去校正該影像裝置的方式不同。因此，相較於現有技術，即使該物件的尺寸較小，導致該多個特徵點與該影像裝置間的多個距離之間的差異較小，本發明仍可對該影像裝置的影像擷取單元執行一強力的(robust)校正以產生良好的校正結果。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100、400、500、600、700:影像裝置 102:左眼影像擷取單元 104:右眼影像擷取單元 106、404:處理器 108:記憶體 140:左眼影像 150:右眼影像 160:物件 402:運算裝置 502、504、602、604、606、702、704、706:影像擷取單元 B1:第一基線 B2:第二基線 FFP1-FFP7:第一特徵點 PL1-PL3:平面 SFP1-SFP7:第二特徵點 200-216:步驟
第1圖是本發明的一第一實施例說明一種影像裝置的示意圖。 第2圖是本發明的一第二實施例說明一種影像裝置的校正方法的流程圖。 第3圖是說明左眼影像擷取單元所擷取的左眼影像以及右眼影像擷取單元所擷取的右眼影像的示意圖。 第4圖是本發明的一第三實施例說明一種影像裝置和運算裝置的示意圖。 第5圖是說明影像裝置的正面以及影像裝置的正面和影像裝置的背面朝同一方向的示意圖。 第6圖是說明影像裝置的正面以及影像裝置的正面和影像裝置的背面朝同一方向的示意圖。 第7圖是說明具有三影像擷取單元的影像裝置以及具有三影像擷取單元的影像裝置展開的示意圖。
200-216:步驟

Claims (20)

  1. 一種影像裝置的校正方法，其中該影像裝置包含至少二影像擷取單元，該校正方法包含： 該至少二影像擷取單元擷取至少二對應的影像； 一處理器對該至少二對應的影像執行一形變校正； 該處理器從該至少二對應的影像中萃取一物件的預定數量的平面上的複數個特徵點； 該處理器根據該預定數量的平面中的每一平面分類該複數個特徵點，並分別據以計算出該預定數量的平面中的每一平面對應的點對點轉換矩陣(point-to-point homography matrix)以產生對應該至少二影像擷取單元的一旋轉/轉移矩陣； 該處理器根據該旋轉/轉移矩陣，產生對應該至少二影像擷取單元中的每一影像擷取單元的一最終旋轉矩陣；及 該處理器將該最終旋轉矩陣儲存於一記憶體，以及根據該最終旋轉矩陣校正該每一影像擷取單元。
  2. 如請求項1所述的校正方法，其中該處理器分別據以計算出該預定數量的平面中的每一平面對應的點對點轉換矩陣以產生該旋轉/轉移矩陣包含： 該處理器利用該每一平面的特徵點對應該至少二影像擷取單元的座標，計算出對應該每一平面的點對點轉換矩陣；及 該處理器根據對應該預定數量的平面的複數個點對點轉換矩陣和該至少二影像擷取單元的內部參數(intrinsic parameters)，產生該旋轉/轉移矩陣。
  3. 如請求項2所述的校正方法，其中該處理器從位於一網際網路上的伺服器得到該至少二影像擷取單元的內部參數。
  4. 如請求項2所述的校正方法，其中該影像裝置另包含該記憶體，且該處理器從該記憶體得到該至少二影像擷取單元的內部參數。
  5. 如請求項1所述的校正方法，其中該處理器根據該最終旋轉矩陣校正該每一影像擷取單元是該處理器根據該最終旋轉矩陣在該影像裝置的機構上調整該至少二影像擷取單元之間的機構的偏移。
  6. 如請求項1所述的校正方法，其中該處理器根據該最終旋轉矩陣校正該每一影像擷取單元是該處理器根據該最終旋轉矩陣補償該每一影像擷取單元所擷取的影像。
  7. 如請求項1所述的校正方法，其中該處理器根據該最終旋轉矩陣，校正該每一影像擷取單元後，該每一影像擷取單元所擷取的影像的每一水平掃描線平行於該至少二影像擷取單元之間的基線。
  8. 如請求項1所述的校正方法，其中該處理器包含於該影像裝置或包含於該影像裝置外的一運算裝置。
  9. 一種具有校正功能的影像裝置，包含： 至少二影像擷取單元，用以擷取至少二對應的影像；及 一處理器，用以對該至少二對應的影像執行一形變校正，從該至少二對應的影像中萃取一物件的預定數量的平面上的複數個特徵點，根據該預定數量的平面中的每一平面分類該複數個特徵點，分別據以計算出該預定數量的平面中的每一平面對應的點對點轉換矩陣以產生對應該至少二影像擷取單元的一旋轉/轉移矩陣，根據該旋轉/轉移矩陣，產生對應該至少二影像擷取單元中的每一影像擷取單元的一最終旋轉矩陣，以及根據該最終旋轉矩陣，校正該每一影像擷取單元。
  10. 如請求項9所述的影像裝置，另包含： 一記憶體，用以儲存該至少二影像擷取單元的內部參數，其中該處理器從該記憶體得到該至少二影像擷取單元的內部參數。
  11. 如請求項9所述的影像裝置，其中該處理器從位於一網際網路上的伺服器得到該至少二影像擷取單元的內部參數。
  12. 如請求項9所述的影像裝置，其中該處理器根據該最終旋轉矩陣在該影像裝置的機構上調整該至少二影像擷取單元之間的機構的偏移。
  13. 如請求項9所述的影像裝置，其中該處理器根據該最終旋轉矩陣校正該每一影像擷取單元是該處理器根據該最終旋轉矩陣補償該每一影像擷取單元所擷取的影像。
  14. 如請求項9所述的影像裝置，其中該至少二影像擷取單元包含一左眼影像擷取單元和一右眼影像擷取單元，且該至少二對應的影像包含一左眼影像和一右眼影像。
  15. 如請求項9所述的影像裝置，其中該處理器根據該最終旋轉矩陣，校正該每一影像擷取單元後，該每一影像擷取單元所擷取的影像的每一水平掃描線平行於該至少二影像擷取單元之間的基線。
  16. 一種具有校正功能的運算裝置，包含： 一處理器，用以對一影像裝置所擷取的至少二對應的影像執行一形變校正，從該至少二對應的影像中萃取一物件的預定數量的平面上的複數個特徵點，根據該預定數量的平面中的每一平面分類該複數個特徵點，分別據以計算出該預定數量的平面中的每一平面對應的點對點轉換矩陣以產生對應該至少二影像擷取單元的一旋轉/轉移矩陣，根據該旋轉/轉移矩陣，產生對應該至少二影像擷取單元中的每一影像擷取單元的一最終旋轉矩陣，以及根據該最終旋轉矩陣，校正該每一影像擷取單元。
  17. 如請求項16所述的運算裝置，其中該處理器分別據以計算出該預定數量的平面中的每一平面對應的點對點轉換矩陣以產生該旋轉/轉移矩陣包含： 該處理器利用該每一平面的特徵點對應該至少二影像擷取單元的座標，計算出對應該每一平面的點對點轉換矩陣；及 該處理器根據對應該預定數量的平面的複數個點對點轉換矩陣和該至少二影像擷取單元的內部參數，產生該旋轉/轉移矩陣。
  18. 一種具有校正功能的影像裝置，包含： 至少二影像擷取單元，用以擷取至少二對應的影像，其中該至少二影像擷取單元之間的相對位置是可變動的以使該至少二對應的影像用以產生一360度環景影像，或至少一深度圖，或至少一立體影像；及 一處理器，其中當該至少二對應的影像是用以產生該至少一深度圖或該至少一立體影像時，該處理器對該至少二對應的影像執行一形變校正，從該至少二對應的影像中萃取一物件的預定數量的平面上的複數個特徵點，根據該預定數量的平面中的每一平面分類該複數個特徵點，分別據以計算出該預定數量的平面中的每一平面對應的點對點轉換矩陣以產生對應該至少二影像擷取單元的一旋轉/轉移矩陣，根據該旋轉/轉移矩陣，產生對應該至少二影像擷取單元中的每一影像擷取單元的一最終旋轉矩陣，以及根據該最終旋轉矩陣，校正該每一影像擷取單元。
  19. 如請求項18所述的影像裝置，其中該影像裝置僅包含二影像擷取單元時，該二影像擷取單元為魚眼鏡頭影像擷取單元。
  20. 如請求項18所述的影像裝置，其中該影像裝置包含至少三影像擷取單元時，該至少三影像擷取單元為魚眼鏡頭影像擷取單元或非魚眼鏡頭影像擷取單元。
TW108119687A 2018-06-07 2019-06-06 影像裝置的校正方法及其相關影像裝置和運算裝置 TWI761684B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862681683P 2018-06-07 2018-06-07
US62/681,683 2018-06-07

Publications (2)

Publication Number Publication Date
TW202013956A true TW202013956A (zh) 2020-04-01
TWI761684B TWI761684B (zh) 2022-04-21

Family

ID=68764333

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108119668A TWI723419B (zh) 2018-06-07 2019-06-06 產生深度影像的影像裝置和相關的電子裝置
TW108119687A TWI761684B (zh) 2018-06-07 2019-06-06 影像裝置的校正方法及其相關影像裝置和運算裝置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108119668A TWI723419B (zh) 2018-06-07 2019-06-06 產生深度影像的影像裝置和相關的電子裝置

Country Status (3)

Country Link
US (5) US11582402B2 (zh)
CN (2) CN110580718B (zh)
TW (2) TWI723419B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11582402B2 (en) * 2018-06-07 2023-02-14 Eys3D Microelectronics, Co. Image processing device
WO2020009830A1 (en) * 2018-07-03 2020-01-09 Covidien Lp Systems, methods, and computer-readable media for detecting image degradation during surgical procedures
US11215828B1 (en) * 2018-08-03 2022-01-04 Rockwell Collins, Inc. In field visor characterization for visor projected displays
WO2021216037A1 (en) * 2020-04-20 2021-10-28 Hewlett-Packard Development Company, L.P. Image rendering
US11699001B2 (en) * 2020-10-13 2023-07-11 Flyreel, Inc. Generating measurements of physical structures and environments through automated analysis of sensor data
CN115278067A (zh) * 2022-07-19 2022-11-01 Oppo广东移动通信有限公司 相机、电子设备、拍摄方法及存储介质

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6552730B1 (en) * 1984-10-05 2003-04-22 Hitachi, Ltd. Method and apparatus for bit operational process
US6028795A (en) * 1985-09-24 2000-02-22 Hitachi, Ltd. One chip semiconductor integrated circuit device having two modes of data write operation and bits setting operation
US4988984A (en) * 1988-10-31 1991-01-29 International Business Machines Corporation Image interpolator for an image display system
US5111192A (en) * 1989-12-20 1992-05-05 Xerox Corporation Method to rotate a bitmap image 90 degrees
US5986672A (en) * 1997-10-14 1999-11-16 Minnesota, Mining And Manufacturing 3M Center Method and system for forming a rotated image on an imaging element using limited system resources
US6563535B1 (en) * 1998-05-19 2003-05-13 Flashpoint Technology, Inc. Image processing system for high performance digital imaging devices
US6137491A (en) 1998-06-05 2000-10-24 Microsoft Corporation Method and apparatus for reconstructing geometry using geometrically constrained structure from motion with points on planes
WO2003017680A1 (en) * 2001-08-15 2003-02-27 Koninklijke Philips Electronics N.V. 3d video conferencing system
JP4227468B2 (ja) * 2002-06-24 2009-02-18 キヤノン株式会社 画像形成装置及び方法、並びに制御プログラム
US6958757B2 (en) * 2003-07-18 2005-10-25 Microsoft Corporation Systems and methods for efficiently displaying graphics on a display device regardless of physical orientation
EP1667457A4 (en) * 2003-09-16 2011-11-16 Fujitsu Semiconductor Ltd IMAGE PROCESSING DISPLAY DEVICE AND METHOD
US7643038B2 (en) * 2005-06-29 2010-01-05 Qualcomm Incorporated Virtual device buffer for embedded device
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US7535474B1 (en) * 2005-12-09 2009-05-19 Advanced Micro Devices, Inc. System and method for rotating rasterized image data
US7876977B2 (en) * 2006-02-15 2011-01-25 Conexant Systems, Inc. Image processor and method of image rotation
JP2009100342A (ja) 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
CN101308018B (zh) * 2008-05-30 2010-09-15 汤一平 基于双目全方位视觉传感器的立体视觉测量装置
JP2010114576A (ja) * 2008-11-05 2010-05-20 Seiko Epson Corp 画像処理装置
CN101894366B (zh) 2009-05-21 2014-01-29 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控系统
CN101577795A (zh) * 2009-06-17 2009-11-11 深圳华为通信技术有限公司 一种实现全景图像的实时预览的方法和装置
US8670149B2 (en) * 2009-08-03 2014-03-11 Printable Technologies Inc. Apparatus and methods for image processing optimization for variable data printing
CN101710932B (zh) 2009-12-21 2011-06-22 华为终端有限公司 图像拼接方法及装置
KR101385514B1 (ko) * 2010-06-08 2014-04-16 주식회사 에스칩스 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
KR101051509B1 (ko) 2010-06-28 2011-07-22 삼성전기주식회사 카메라의 광량 제어 장치 및 방법
US9020241B2 (en) * 2011-03-03 2015-04-28 Panasonic Intellectual Property Management Co., Ltd. Image providing device, image providing method, and image providing program for providing past-experience images
US8947551B2 (en) * 2011-07-29 2015-02-03 Aptina Imaging Corporation Method and apparatus for frame rotation in the JPEG compressed domain
JP2013038454A (ja) * 2011-08-03 2013-02-21 Sony Corp 画像処理装置および方法、並びにプログラム
WO2013049699A1 (en) * 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
JP2013090031A (ja) * 2011-10-14 2013-05-13 Sony Corp 画像処理装置、画像処理方法およびプログラム
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
CN202838179U (zh) * 2012-09-26 2013-03-27 天津游奕科技有限公司 一种实现全景视频交互的系统
US10674135B2 (en) * 2012-10-17 2020-06-02 DotProduct LLC Handheld portable optical scanner and method of using
CN108401551B (zh) * 2012-10-26 2015-02-04 北京理工大学 双镜头微光立体全景成像装置及其超大视场测距方法
JP5982298B2 (ja) * 2013-02-21 2016-08-31 シャープ株式会社 障害物検出装置および障害物検出方法
US10237528B2 (en) * 2013-03-14 2019-03-19 Qualcomm Incorporated System and method for real time 2D to 3D conversion of a video in a digital camera
TWI498526B (zh) 2013-06-05 2015-09-01 Nat Univ Chung Cheng Environment depth measurement method and its image acquisition device
TW201515433A (zh) * 2013-10-14 2015-04-16 Etron Technology Inc 影像校正系統和立體照相機的校正方法
CN103729883B (zh) 2013-12-30 2016-08-24 浙江大学 一种三维环境信息采集与重构系统及方法
KR102265109B1 (ko) 2014-01-24 2021-06-15 삼성전자주식회사 영상 처리 방법 및 장치
CN104811680B (zh) * 2014-01-28 2017-04-12 聚晶半导体股份有限公司 图像获取装置及其图像形变校正方法
CN103984037B (zh) 2014-04-30 2017-07-28 深圳市墨克瑞光电子研究院 基于视觉的移动机器人障碍物检测方法和装置
CN106464785A (zh) * 2014-05-20 2017-02-22 奈克斯特Vr股份有限公司 包括或用于一个或多个照相机的装置和方法
EP3149938A1 (en) 2014-05-27 2017-04-05 Telefonaktiebolaget LM Ericsson (publ) Remote control of a pivotable stereoscopic camera
CN104077585B (zh) * 2014-05-30 2017-09-22 小米科技有限责任公司 图像校正方法、装置及终端
CN105282375B (zh) * 2014-07-24 2019-12-31 钰立微电子股份有限公司 附着式立体扫描模块
US9992483B2 (en) 2014-09-03 2018-06-05 Intel Corporation Imaging architecture for depth camera mode with mode switching
TWI577172B (zh) * 2014-09-10 2017-04-01 鈺立微電子股份有限公司 影像校正系統和立體照相機的校正方法
JP6531367B2 (ja) * 2014-09-30 2019-06-19 セイコーエプソン株式会社 印刷装置、制御装置および画像処理方法
WO2016105541A1 (en) * 2014-12-24 2016-06-30 Reald Inc. Adjustment of perceived roundness in stereoscopic image of a head
CN105744254B (zh) * 2014-12-30 2017-12-29 钰立微电子股份有限公司 校正导引系统和校正导引系统的操作方法
CN104602129B (zh) * 2015-01-27 2018-03-06 三星电子（中国）研发中心 互动式多视角视频的播放方法及系统
CN106157358A (zh) * 2015-03-26 2016-11-23 成都理想境界科技有限公司 基于视频图像的对象融合方法及终端
CN106233219B (zh) 2015-03-31 2020-03-17 深圳市大疆创新科技有限公司 移动平台操作系统及方法
TWI610250B (zh) * 2015-06-02 2018-01-01 鈺立微電子股份有限公司 監測系統及其操作方法
CN104966225A (zh) * 2015-07-08 2015-10-07 深圳爱布丁梦想科技有限公司 基于移动终端和3d全景图像浏览的房屋租赁方法及系统
US9958266B2 (en) 2015-07-09 2018-05-01 Mitutoyo Corporation Chromatic range sensor including dynamic intensity compensation function
KR102458339B1 (ko) 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
CN106534828A (zh) * 2015-09-11 2017-03-22 钰立微电子股份有限公司 应用于立体图像获取装置的控制器与立体图像获取装置
US11263461B2 (en) 2015-10-05 2022-03-01 Pillar Vision, Inc. Systems and methods for monitoring objects at sporting events
CN105530431A (zh) * 2015-12-16 2016-04-27 景好 一种反射式全景成像系统及方法
CN105609087B (zh) * 2015-12-23 2018-11-16 天地伟业技术有限公司 一种图像缩放器处理图像的方法
CN108351794B (zh) * 2016-01-15 2021-08-27 华为技术有限公司 一种显示的方法及终端
TWI584634B (zh) 2016-03-08 2017-05-21 聚晶半導體股份有限公司 適於產生深度圖的電子裝置與方法
CN105866966A (zh) * 2016-06-14 2016-08-17 昆山罗伯斯特机器人科技有限公司 一种自动切换视角的全景三维立体眼镜
US20170372452A1 (en) * 2016-06-22 2017-12-28 Qualcomm Incorporated Image rotation method and apparatus
TWI592020B (zh) 2016-08-23 2017-07-11 國立臺灣科技大學 投影機的影像校正方法及影像校正系統
US20180108150A1 (en) * 2016-10-17 2018-04-19 Dsi Assignments, Llc Systems and methods for in-field stereocamera calibration
CN106921824A (zh) * 2017-05-03 2017-07-04 丁志宇 环绕式混合光场成像装置及方法
CN107105219A (zh) * 2017-05-26 2017-08-29 碰海科技（北京）有限公司 多深度摄像头紧凑型全景扫描设备
CN107167996A (zh) 2017-06-05 2017-09-15 深圳奥比中光科技有限公司 自适应调整的激光投影模组及深度相机
CN107465907B (zh) * 2017-08-16 2019-08-20 维沃移动通信有限公司 一种拍摄方法及移动终端
EP3531376B1 (en) 2018-02-21 2020-09-30 Ficosa Adas, S.L.U. Calibrating a camera of a vehicle
US11582402B2 (en) * 2018-06-07 2023-02-14 Eys3D Microelectronics, Co. Image processing device

Also Published As

Publication number Publication date
TWI723419B (zh) 2021-04-01
TW202011731A (zh) 2020-03-16
CN110580718B (zh) 2023-08-08
US11438525B2 (en) 2022-09-06
CN110581936A (zh) 2019-12-17
US20210160438A1 (en) 2021-05-27
CN110580718A (zh) 2019-12-17
US20190387165A1 (en) 2019-12-19
US20230231965A1 (en) 2023-07-20
US11582402B2 (en) 2023-02-14
US20190378301A1 (en) 2019-12-12
TWI761684B (zh) 2022-04-21
US20190379842A1 (en) 2019-12-12
US10708520B2 (en) 2020-07-07

Similar Documents

Publication Publication Date Title
TWI761684B (zh) 影像裝置的校正方法及其相關影像裝置和運算裝置
TWI554103B (zh) 影像擷取裝置及其數位變焦方法
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
US9774837B2 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
TWI567693B (zh) 產生深度資訊的方法及其系統
CN108718373B (zh) 影像装置
KR101657039B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템
JP2019510234A (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
WO2015081870A1 (zh) 一种图像处理方法、装置及终端
JP2017108387A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
WO2011010438A1 (ja) 視差検出装置、測距装置及び視差検出方法
JP5846172B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
TW201340035A (zh) 結合影像之方法
JP2017017689A (ja) 全天球動画の撮影システム、及びプログラム
US10440267B2 (en) System and method for image stitching
WO2019232793A1 (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
WO2023236508A1 (zh) 一种基于亿像素阵列式相机的图像拼接方法及系统
TWI595444B (zh) 影像擷取裝置及其產生深度資訊的方法與自動校正的方法
KR100513789B1 (ko) 디지털 카메라의 렌즈 왜곡 보정과 정사영상 생성방법 및이를 이용한 디지털 카메라
CN109785225B (zh) 一种用于图像矫正的方法和装置
JP6222205B2 (ja) 画像処理装置
TWI538476B (zh) 立體攝影系統及其方法
JP5796611B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
JP6732440B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
KR102031485B1 (ko) 360도 카메라와 평면 거울을 이용한 다시점 영상 획득 장치 및 방법