TW201915438A - 基於相位對焦的定位方法及其系統 - Google Patents

基於相位對焦的定位方法及其系統 Download PDF

Info

Publication number
TW201915438A
TW201915438A TW106134827A TW106134827A TW201915438A TW 201915438 A TW201915438 A TW 201915438A TW 106134827 A TW106134827 A TW 106134827A TW 106134827 A TW106134827 A TW 106134827A TW 201915438 A TW201915438 A TW 201915438A
Authority
TW
Taiwan
Prior art keywords
image sensor
target point
object distance
coordinate
coordinates
Prior art date
Application number
TW106134827A
Other languages
English (en)
Other versions
TWI635256B (zh
Inventor
李易璜
黃士挺
邱奕榮
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW106134827A priority Critical patent/TWI635256B/zh
Priority to US15/823,590 priority patent/US20190108648A1/en
Application granted granted Critical
Publication of TWI635256B publication Critical patent/TWI635256B/zh
Publication of TW201915438A publication Critical patent/TW201915438A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一種基於相位對焦的定位方法及其系統,此方法適用於具有至少三個影像感測器以及處理裝置的定位系統,並且包括下列步驟。由第一影像感測器偵測目標場景,以產生第一相位偵測資料,據以計算目標場景中的目標點相對於第一影像感測器的第一物距。由第二影像感測器偵測目標場景,以產生第二相位偵測資料,據以計算目標點相對於第二影像感測器的第二物距。由第三影像感測器偵測目標場景,以產生第三相位偵測資料,據以計算目標點相對於第三影像感測器的第三物距。由處理裝置根據第一物距、第二物距以及第三物距,取得目標點的定位座標。

Description

基於相位對焦的定位方法及其系統
本發明是有關於一種定位方法及其系統,且特別是一種基於相位對焦的定位方法及其系統。
一般體感設備由外向內(outside-in)的定位方式是以三組以上的線性影像感測器搭配其各自的柱面透鏡(cylindrical lens)為主要架構,再輔以三角函數演算法得知目標點位置。因此,傳統的定位系統為了達到精確的定位效果而所需的成本會較高。
有鑑於此,本發明提供一種基於相位對焦的定位方法及其系統,其可在減少硬體製造成本的前提下達到精準且有效的定位。
在本發明的一實施例中,上述的定位方法適用於具有至少三個影像感測器以及處理裝置的定位系統,其中影像感測器包括不共線的第一影像感測器、第二影像感測器以及第三影像感測器並且分別連接於處理裝置,而此定位方法包括下列步驟。由第一影像感測器偵測目標場景,以產生第一相位偵測資料,並且根據第一相位偵測資料,計算目標場景中的目標點相對於第一影像感測器的第一物距。由第二影像感測器偵測目標場景,以產生第二相位偵測資料,並且計算目標點相對於第二影像感測器的第二物距。由第三影像感測器偵測目標場景,以產生第三相位偵測資料,並且計算目標點相對於第三影像感測器的第三物距。由處理裝置根據第一物距、第二物距以及第三物距,取得目標點的定位座標。
在本發明的一實施例中,上述的定位系統包括至少三個影像感測器以及處理裝置。影像感測器包括不共線的第一影像感測器、第二影像感測器以及第三影像感測器。第一影像感測器用以偵測目標場景,以產生第一相位偵測資料,並且根據第一相位偵測資料,計算目標場景中的目標點相對於第一影像感測器的第一物距。第二影像感測器用以偵測目標場景,以產生第二相位偵測資料,並且計算目標點相對於第二影像感測器的第二物距。第三影像感測器用以偵測目標場景,以產生第三相位偵測資料,並且計算目標點相對於第三影像感測器的第三物距。處理裝置連接於各個影像感測器,用以根據第一物距、第二物距以及第三物距,取得目標點的定位座標。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份,並未揭示所有本發明的可實施方式。更確切的說,這些實施例只是本發明的專利申請範圍中的方法與系統的範例。
圖1為根據本發明一實施例所繪示的定位系統的方塊圖。首先圖1先介紹定位系統的所有構件以及配置關係,詳細功能將配合圖2一併揭露。
請參照圖1,定位系統100包括三個具有相位對焦(Phase Detection Auto-Focus,PDAF)功能的影像感測器111~113以及處理裝置120,其中處理裝置120可以是無線或是有線地連接於影像感測器111~113。
各個影像感測器111~113是將感測元件(sensing elements)設置成多個成對的相位偵測畫素(phase detection pixel),以利用部份地遮蔽畫素的方式(左右遮蔽)進行相位偵測。光線到達各個成對的左遮蔽畫素與右遮蔽畫素之間的偏移量則稱之為「相位差」(phase difference),而藉由相位差可以從而得知拍攝物體相對於影像感測器之間的距離(即,物距)。本領域具通常知識者應明瞭利用相位偵測資料來計算物距的方式,於此不再說明。值得一提的是,一般具有PDAF功能的影像感測器是搭配音圈馬達來做為變焦的應用。然而,在此定位系統100中無須進行對焦程序,因此影像感測器111~113的鏡頭可以是採用定焦廣角鏡頭來做為取像來源以節省成本。此外,在一實施例中,影像感測器111~113可以是用以偵測紅外光光源的紅外光感測元件來取代傳統的RGB可見光取像機制,以避免在暗環境下造成遮蔽畫素的進光量不足而影響精確度。
處理裝置120可以是具有運算能力並且具有處理器的運算裝置,例如是檔案伺服器、資料庫伺服器、應用程式伺服器、工作站、個人電腦等。處理器可以是北橋(North Bridge)、南橋(South Bridge)、場式可程式閘陣列(Field Programmable Array, FPGA)、可程式化邏輯裝置(Programmable Logic Device,PLD)、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)或其他類似裝置或這些裝置的組合。處理器亦可以是中央處理單元(Central Processing Unit,CPU)、應用處理器(Application Processor,AP),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、圖形處理器(Graphics Processing Unit,GPU)或其他類似裝置或這些裝置的組合。本領域具通常知識者應明瞭,處理裝置120亦具有資料儲存裝置。資料儲存裝置可以是任意型式的非暫態性、揮發性、非揮發性的記憶體,其用以儲存緩衝資料、永久資料以及用來執行處理裝置120的功能的編譯程式碼。
圖2為根據本發明之一實施例所繪示的定位方法的流程圖。圖2的步驟可以是以圖1所繪示的定位系統100來實現。
請同時參照圖1以及圖2,首先第一影像感測器111將偵測目標場景,以產生第一相位偵測資料,進而產生目標場景中的目標點相對於第一影像感測器111的第一物距(步驟S202A),第二影像感測器112將偵測目標場景,以產生第二相位偵測資料,進而產生目標點相對於第二影像感測器112的第二物距(步驟S202B),而第三影像感測器113將偵測目標場景,以產生第三相位偵測資料,進而產生目標點相對於第三影像感測器113的第三物距(步驟S202C)。也就是說,第一影像感測器111、第二影像感測器112以及第三影像感測器113在偵測目標場景後,可分別計算出本身與目標場景中的目標點之間的相對距離,即第一物距、第二物距以及第三物距。
接著,處理裝置120將根據第一物距、第二物距以及第三物距,取得目標點的定位座標(步驟S204)。在此,處理裝置120將先取得第一影像感測器111、第二影像感測器112以及第三影像感測器113的已知空間座標(以下將分別稱為「第一影像感測器座標」、「第二影像感測器座標」以及「第三影像感測器座標」),再一併根據第一物距、第二物距以及第三物距來計算出目標點的定位座標。以下將以圖3根據本發明之一實施例所繪示的定位方法的情境示意圖來說明目標點的定位座標的計算方式。
請參照圖3,假設S1 為目標點,R1 為目標點S1 相對於第一影像感測器111的第一物距,R2 為目標點S1 相對於第二影像感測器112的第­二物距,R3 為目標點S1 相對於第三影像感測器113的第三物距。假設(xi ,yi ,zi )為所欲計算的目標點S1 的定位座標,(x1 ,y1 ,z1 )為已知的第一影像感測器座標,(x2 ,y2 ,z2 )為已知的第二影像感測器座標,(x3 ,y3 ,z3 )為已知的第三影像感測器座標。因此,目標點S1 分別相對於影像擷取裝置111~113可以下列關係式表示:若將上述關係式展開並且移項可以得到以下方程式(1)~(3):接著,若將上述方程式(1)~(3)執行消去法(Elimination Law),則可以下列關係式表示:上述關係式可以進一步地以矩陣形式表示:基此,處理裝置120可以計算出目標點的定位座標γ為:其中以及
附帶說明的是,處理裝置120可以上述的方式取得第二目標點S2 的定位座標以及第三目標點S3 的定位座標,其中目標點S1 、第二目標點S2 以及第三目標點S3 將符合以下空間中的向量關係:
綜上所述,本發明所提出的定位方法及其系統,其是基於PDAF取得目標點相對於至少三個影像感測器的物距以定位出目標點的空間座標,以較少的硬體製造成本的前提下達到精準且有效的定位。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧定位系統
111~113‧‧‧影像感測器
120‧‧‧處理裝置
S202A、S202B、S202C、S204‧‧‧步驟
S1 ‧‧‧目標點
S2 ‧‧‧第二目標點
S3 ‧‧‧第三目標點
R1 ‧‧‧第一物距
R2 ‧‧‧第二物距
R3 ‧‧‧第三物距
(x1 ,y1 ,z1 )‧‧‧第一影像感測器座標
(x2 ,y2 ,z2 )‧‧‧第二影像感測器座標
(x3 ,y3 ,z3 )‧‧‧第三影像感測器座標
(xi ,yi ,zi )‧‧‧目標點的定位座標
圖1為根據本發明一實施例所繪示的定位系統的方塊圖。 圖2為根據本發明之一實施例所繪示的定位方法的流程圖。 圖3為根據本發明之一實施例所繪示的定位方法的情境示意圖。

Claims (10)

  1. 一種基於相位對焦的定位方法,適用於具有至少三個影像感測器以及處理裝置的定位系統,其中各所述影像感測器包括不共線的第一影像感測器、第二影像感測器以及第三影像感測器並且分別連接於該處理裝置,該方法包括下列步驟:   由第一影像感測器偵測目標場景,以產生第一相位偵測資料,並且根據該第一相位偵測資料,計算該目標場景中的目標點相對於該第一影像感測器的第一物距;   由第二影像感測器偵測該目標場景,以產生第二相位偵測資料,並且計算該目標點相對於該第二影像感測器的第二物距;   由第三影像感測器偵測該目標場景,以產生第三相位偵測資料,並且計算該目標點相對於該第三影像感測器的第三物距;以及   由該處理裝置根據該第一物距、該第二物距以及該第三物距,取得該目標點的定位座標。
  2. 如申請專利範圍第1項所述的方法,其中根據該第一物距、該第二物距以及該第三物距,取得該目標點的該定位座標的步驟包括:   取得第一影像感測器座標、第二影像感測器座標以及第三影像感測器座標,其中該第一影像感測器座標、該第二影像感測器座標以及該第三影像感測器座標分別為該第一影像感測器的空間座標、該第二影像感測器的空間座標以及該第三影像感測器的空間座標;以及   根據該第一影像感測器座標、該第二影像感測器座標以及該第三影像感測器座標、該第一物距、該第二物距以及該第三物距,計算該目標點的該定位座標。
  3. 如申請專利範圍第2項所述的方法,其中該目標點的該定位座標的計算公式為:其中以及其中γ為該目標點的該定位座標,(x1 ,y1 ,z1 )為該第一影像感測器座標,(x2 ,y2 ,z2 )為該第二影像感測器座標,(x3 ,y3 ,z3 )為該第三影像感測器座標,R1 為該第一物距,R2 為該第二物距,R3 為該第三物距。
  4. 如申請專利範圍第2項所述的方法,更包括:   由該處理裝置取得該目標場景中的第二目標點的定位座標以及第三目標點的定位座標,其中該目標點、該第二目標點以及該第三目標點符合以下關係式:其中S1 為該目標點,S2 為該第二目標點,S3 為該第三目標點。
  5. 一種基於相位對焦的定位系統,包括:   至少三個影像感測器,其中各所述影像感測器包括不共線的第一影像感測器、第二影像感測器以及第三影像感測器,其中:     該第一影像感測器用以偵測目標場景,以產生第一相位偵測資料,並且根據該第一相位偵測資料,計算該目標場景中的目標點相對於該第一影像感測器的第一物距;     該第二影像感測器用以偵測該目標場景,以產生第二相位偵測資料,並且計算該目標點相對於該第二影像感測器的第二物距;     該第三影像感測器用以偵測該目標場景,以產生第三相位偵測資料,並且計算該目標點相對於該第三影像感測器的第三物距;以及   處理裝置,連接於各所述影像感測器,用以根據該第一物距、該第二物距以及該第三物距,取得該目標點的定位座標。
  6. 如申請專利範圍第5項所述的系統,其中該處理裝置取得第一影像感測器座標、第二影像感測器座標以及第三影像感測器座標,並且根據該第一影像感測器座標、該第二影像感測器座標以及該第三影像感測器座標、該第一物距、該第二物距以及該第三物距,計算該目標點的該定位座標,其中該第一影像感測器座標、該第二影像感測器座標以及該第三影像感測器座標分別為該第一影像感測器的空間座標、該第二影像感測器的空間座標以及該第三影像感測器的空間座標。
  7. 如申請專利範圍第6項所述的系統,其中該處理器計算該目標點的該定位座標的公式為:其中以及其中γ為該目標點的該定位座標,(x1 ,y1 ,z1 )為該第一影像感測器座標,(x2 ,y2 ,z2 )為該第二影像感測器座標,(x3 ,y3 ,z3 )為該第三影像感測器座標,R1 為該第一物距,R2 為該第二物距,R3 為該第三物距。
  8. 如申請專利範圍第6項所述的系統,其中該處理裝置更取得該目標場景中的第二目標點的定位座標以及第三目標點的定位座標,其中該目標點、該第二目標點以及該第三目標點符合以下關係式:其中S1 為該目標點,S2 為該第二目標點,S3 為該第三目標點。
  9. 如申請專利範圍第5項所述的系統,其中各所述影像感測器具有定焦廣角鏡頭。
  10. 如申請專利範圍第5項所述的系統,其中各所述影像感測器具有紅外光感測元件,該目標點為紅外線光源。
TW106134827A 2017-10-11 2017-10-11 基於相位對焦的定位方法及其系統 TWI635256B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW106134827A TWI635256B (zh) 2017-10-11 2017-10-11 基於相位對焦的定位方法及其系統
US15/823,590 US20190108648A1 (en) 2017-10-11 2017-11-28 Phase detection auto-focus-based positioning method and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106134827A TWI635256B (zh) 2017-10-11 2017-10-11 基於相位對焦的定位方法及其系統

Publications (2)

Publication Number Publication Date
TWI635256B TWI635256B (zh) 2018-09-11
TW201915438A true TW201915438A (zh) 2019-04-16

Family

ID=64452749

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106134827A TWI635256B (zh) 2017-10-11 2017-10-11 基於相位對焦的定位方法及其系統

Country Status (2)

Country Link
US (1) US20190108648A1 (zh)
TW (1) TWI635256B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10964055B2 (en) * 2019-03-22 2021-03-30 Qatar Armed Forces Methods and systems for silent object positioning with image sensors
CN110475071B (zh) * 2019-09-19 2021-06-04 厦门美图之家科技有限公司 相位对焦方法、装置、电子设备和机器可读存储介质
CN113240740B (zh) * 2021-05-06 2022-07-12 四川大学 基于相位引导双目视觉密集标记点匹配的姿态测量方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3923996B2 (ja) * 2006-06-12 2007-06-06 ペンタックス株式会社 Af機能を有する光波測距儀
US8373789B2 (en) * 2010-02-18 2013-02-12 Ju Jin Auto focus system and auto focus method
TWI572846B (zh) * 2015-09-18 2017-03-01 國立交通大學 全景影像三維深度估測系統及全景影像三維深度估測方法
CN105242483B (zh) * 2015-10-28 2017-07-07 努比亚技术有限公司 一种实现对焦的方法和装置、实现拍照的方法和装置
JP2017134265A (ja) * 2016-01-28 2017-08-03 ソニー株式会社 焦点検出装置、撮像装置
CN105812638B (zh) * 2016-05-13 2019-09-24 昆山丘钛微电子科技有限公司 摄像头模组pdaf多工位测试烧录一体化机台

Also Published As

Publication number Publication date
US20190108648A1 (en) 2019-04-11
TWI635256B (zh) 2018-09-11

Similar Documents

Publication Publication Date Title
TWI567693B (zh) 產生深度資訊的方法及其系統
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
JP5158386B2 (ja) 単一カメラによる画像計測処理装置,画像計測処理方法および画像計測処理プログラム
JP2021072615A (ja) 映像復元装置及び方法
JP2018085728A (ja) マルチレンズ基盤の撮影装置及び方法
TWI635256B (zh) 基於相位對焦的定位方法及其系統
JPWO2014061372A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20190012793A1 (en) Image processing apparatus, image processing method, and storage medium
CN106524909B (zh) 三维图像采集方法及装置
CN109598763B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
US10904512B2 (en) Combined stereoscopic and phase detection depth mapping in a dual aperture camera
JP2011022072A (ja) 位置検出装置
JP2015072155A (ja) 画像処理装置、撮像装置及び画像処理方法
JP2010276433A (ja) 撮像装置、画像処理装置及び距離計測装置
TW202242716A (zh) 用於目標匹配的方法、裝置、設備及儲存媒體
JP2015036841A (ja) 画像処理装置、距離計測装置、撮像装置、画像処理方法
CN113838151B (zh) 相机标定方法、装置、设备及介质
JP5493900B2 (ja) 撮像装置
JP2010217984A (ja) 像検出装置及び像検出方法
WO2017117743A1 (zh) 处理图像的方法和设备
JP5727969B2 (ja) 位置推定装置、方法、及びプログラム
CN109902695B (zh) 一种面向像对直线特征匹配的线特征矫正与提纯方法
US10965877B2 (en) Image generating method and electronic apparatus
TW201537949A (zh) 立體攝影系統及其方法
JP2008224323A (ja) ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム