TW202044823A - 攝影機模組 - Google Patents

攝影機模組 Download PDF

Info

Publication number
TW202044823A
TW202044823A TW109108291A TW109108291A TW202044823A TW 202044823 A TW202044823 A TW 202044823A TW 109108291 A TW109108291 A TW 109108291A TW 109108291 A TW109108291 A TW 109108291A TW 202044823 A TW202044823 A TW 202044823A
Authority
TW
Taiwan
Prior art keywords
pixel
resolution
area
low
sensor
Prior art date
Application number
TW109108291A
Other languages
English (en)
Inventor
金大根
李昌奕
金炯珍
Original Assignee
韓商Ｌｇ伊諾特股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190027787A external-priority patent/KR20200108736A/ko
Priority claimed from KR1020190027786A external-priority patent/KR20200108735A/ko
Application filed by 韓商Ｌｇ伊諾特股份有限公司 filed Critical 韓商Ｌｇ伊諾特股份有限公司
Publication of TW202044823A publication Critical patent/TW202044823A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本發明之一實施例揭示一種攝影機模組，其包括：一光輸出單元，其經組態以將一光學信號輸出至一物件；一光學單元，其經組態以使自該物件反射之該光學信號通過；一感測器，其經組態以接收通過該光學單元之該光學信號；及一控制單元，其經組態以使用由該感測器接收之該光學信號來獲取該物件之深度資訊，其中該感測器包括安置有一光接收元件之一有效區域及除該有效區域以外的一無效區域，且包括一第一列區及一第二列區，在該第一列區中，該有效區域及該無效區域在一列方向上交替地安置，在該第二列區中，該有效區域及該無效區域在該列方向上交替地安置且該有效區域安置於在一行方向上不與該第一列區之該有效區域重疊的一位置處，到達該第一列區之該有效區域的光藉由第一移位控制來控制以到達該第一列區之該無效區域或該第二列區之該無效區域，且到達該第二列區之該有效區域的光藉由該第一移位控制來控制以到達該第二列區之該無效區域或該第一列區之該無效區域。

Description

攝影機模組
本發明係關於一種能夠提取深度資訊之攝影機模組。
三維內容被應用於諸如教育、製造及自動駕駛以及遊戲及文化之許多領域中。需要深度資訊(深度圖)來獲取三維內容。深度資訊為指示空間中之距離的資訊，且指示二維影像中之一個點相對於其中之另一點的透視資訊。
紅外線(IR)結構化光投射至物件上之方法、使用立體攝影機之方法、飛行時間(ToF)方法及其類似者用作獲取深度資訊之方法。根據ToF方法，使用在拍攝光之後反射回的光之資訊來計算距物件之距離。ToF方法之最大優點為其即時迅速地提供關於三維空間之距離資訊。又，其允許使用者獲得準確的距離資訊而無需應用分開的演算法或就硬體而言執行校正。此外，其允許獲取準確的深度資訊，即使在量測非常接近的個體或量測移動個體時亦如此。
[相關技術文件]
[專利文件]
(專利文件1)美國專利註冊案第6437307號
本發明係有關於提供一種能夠使用飛行時間(ToF)方法提取深度資訊之攝影機模組。
本發明之一個實施例提供一種攝影機模組，其包括：光輸出單元，其經組態以將光學信號輸出至物件；光學單元，其經組態以使自物件 反射之光學信號通過；感測器，其經組態以接收通過光學單元之光學信號；及控制單元，其經組態以使用由感測器接收之光學信號來獲取深度資訊，其中感測器包括安置有光接收元件之有效區域及除有效區域以外的無效區域，且包括第一列區及第二列區，在該第一列區中，有效區域及無效區域在列方向上交替地安置，在該第二列區中，有效區域及無效區域在列方向上交替地安置且有效區域安置於在行方向上不與第一列區之有效區域重疊的位置處，到達第一列區之有效區域的光藉由第一移位控制來控制以到達第一列區之無效區域或第二列區之無效區域，且到達第二列區之有效區域的光藉由第一移位控制來控制以到達第二列區之無效區域或第一列區之無效區域。
到達第一列區之無效區域的光可藉由第二移位控制來控制以朝向鄰近於第一列區之無效區域的第二列區之無效區域移位。
到達第一列區之有效區域的光可藉由第二移位控制來控制以朝向鄰近於第一列區之有效區域的第二列區之有效區域移位。
到達感測器之光藉由第一移位控制而在平面上的行進距離可不同於到達感測器之光藉由第二移位控制而在感測器之平面上的行進距離。
在感測器之平面上，光藉由第一移位控制之行進距離可大於到達感測器之光藉由第二移位控制之行進距離。
光藉由第一移位控制而在感測器之平面上的行進距離可為同一列區中之鄰近有效區域的中心之間的距離之0.3至0.7倍。
光藉由第二移位控制而在感測器之平面上的行進距離可為第一列區之有效區域之中心與鄰近於第一列區之有效區域的第二列區之中心之間的距離之0.3至0.7倍。
在感測器之平面上，光藉由第一移位控制之行進距離可為光藉由第二移位控制之行進距離的0.5至1倍。
光學路徑可由光學單元控制以控制由第一列區之有效區域接收的光以到達第一列區之無效區域，且移位控制由第二列區之有效區域 接收的光以到達第二列區之無效區域。
該光學單元可包括紅外線通過式濾光片，且紅外線通過式濾光片可傾斜且藉由移位控制來控制。
該光學單元可包括焦點可調整之可變透鏡，且可變透鏡可藉由移位控制來調整及控制。
該可變透鏡可包括以下各者中之至少一者：包括至少一種液體之液體透鏡、聚合物透鏡、液晶透鏡、音圈馬達(VCM)透鏡、形狀記憶合金(SMA)透鏡及微機電系統(MEMS)透鏡。
該攝影機模組可包括算術單元，該算術單元經組態以藉由使用自光輸出單元輸出之光學信號與由感測器接收之光學信號之間的時間差或使用在感測器之複數個積分時間期間獲取的複數個資訊片段來獲取物件之深度資訊，在該複數個積分時間期間，感測器之有效區域在不同相位下積分。
該算術單元可藉由使用在移位控制之前及在移位控制之後由感測器獲取的資訊片段來獲取解析度高於感測器之深度資訊。
該算術單元可在藉由第一移位控制之到達感測器的光與藉由第二移位控制之到達感測器的光之間應用內插，且運算藉由第一移位控制之到達感測器的最鄰近光及最鄰近於藉由第一移位控制之到達感測器的最鄰近光的光之中心的光。
當使用根據本發明之實施例的攝影機模組時，有可能藉由在不顯著增加感測器之像素之數目的情況下使入射光信號之光學路徑移位來以高解析度獲取深度資訊。
又，根據本發明之實施例，因為可在不顯著改變裝置之硬體組態的情況下偵測入射光信號之光學路徑移位的範圍，所以有可能獲取超解析度之深度資訊。
又，有可能藉由使入射光信號之光學路徑移位及應用內插技術來提供相較於感測器之像素數目具有顯著改善之解析度的攝影機模組。
此外，有可能提供一種能夠容易地運算深度資訊使得所處理資料之量減少的攝影機模組。
100:攝影機模組
110:光輸出單元
112:光源
114:光調變單元
120:光學單元
130:感測器
132:像素
132-1:第一光接收單元
132-2:第二光接收單元
140:算術單元
150:控制單元
300:攝影機裝置
310:透鏡總成
312:透鏡
314:鏡筒
316:透鏡固持器
316-1:上部固持器
316-2:下部固持器
318:IR濾光片
320:感測器
330:印刷電路板
1-1:低解析度子圖框
1-2:低解析度子圖框
1-3:低解析度子圖框
1-4:低解析度子圖框
1-5:低解析度子圖框
1-6:低解析度子圖框
1-7:低解析度子圖框
1-8:低解析度子圖框
2-1:低解析度子圖框
2-2:低解析度子圖框
2-3:低解析度子圖框
2-4:低解析度子圖框
2-5:低解析度子圖框
2-6:低解析度子圖框
2-7:低解析度子圖框
2-8:低解析度子圖框
3-1:低解析度子圖框
3-2:低解析度子圖框
3-3:低解析度子圖框
3-4:低解析度子圖框
3-5:低解析度子圖框
3-6:低解析度子圖框
3-7:低解析度子圖框
3-8:低解析度子圖框
4-1:低解析度子圖框
4-2:低解析度子圖框
4-3:低解析度子圖框
4-4:低解析度子圖框
4-5:低解析度子圖框
4-6:低解析度子圖框
4-7:低解析度子圖框
4-8:低解析度子圖框
5-1:低解析度子圖框
5-2:低解析度子圖框
5-3:低解析度子圖框
5-4:低解析度子圖框
5-5:低解析度子圖框
5-6:低解析度子圖框
5-7:低解析度子圖框
5-8:低解析度子圖框
6-1:低解析度子圖框
6-2:低解析度子圖框
6-3:低解析度子圖框
6-4:低解析度子圖框
6-5:低解析度子圖框
6-6:低解析度子圖框
6-7:低解析度子圖框
6-8:低解析度子圖框
7-1:低解析度子圖框
7-2:低解析度子圖框
7-3:低解析度子圖框
7-4:低解析度子圖框
7-5:低解析度子圖框
7-6:低解析度子圖框
7-7:低解析度子圖框
7-8:低解析度子圖框
8-1:低解析度子圖框
8-2:低解析度子圖框
8-3:低解析度子圖框
8-4:低解析度子圖框
8-5:低解析度子圖框
8-6:低解析度子圖框
8-7:低解析度子圖框
8-8:低解析度子圖框
A:像素
B:像素
B1:第二像素資訊
B2:第二像素資訊
B3:第二像素資訊
B4:第二像素資訊
C:像素
C1:參考信號
C2:參考信號
C3:參考信號
C4:參考信號
CP1:第一中心
CP2:第二中心
CP3:第三中心
CP4:第四中心
CR:行區
d:厚度
D:像素
D1:第一像素資訊
D2:第一像素資訊
D3:第一像素資訊
D4:第一像素資訊
dL:寬度
E:像素
E1:第一電信號
E2:第二電信號
E3:第三電信號
E4:第四電信號
F:像素
G:像素
H:像素
H-1:高解析度子圖框
H-2:高解析度子圖框
H-3:高解析度子圖框
H-4:高解析度子圖框
H-5:高解析度子圖框
H-6:高解析度子圖框
H-7:高解析度子圖框
H-8:高解析度子圖框
HRD:高解析度深度資訊
I1:第一輸入區域
I2:第二輸入區域
I3:第三輸入區域
IA:無效區域
L:預定間隔
LRD-1:低解析度深度資訊
LRD-2:低解析度深度資訊
LRD-3:低解析度深度資訊
LRD-4:低解析度深度資訊
P1:第一像素
P2:第二像素
Q1:電荷量
Q2:電荷量
Q3:電荷量
Q4:電荷量
Raw(x0):相位影像
Raw(x180):相位影像
Raw(x270):相位影像
Raw(x90):相位影像
RR:列區
RR1:第一列區
RR2:第二列區
SA:有效區域
θ1:斜率
θa:第一角度
θb:第二角度
圖1為根據本發明之實施例的攝影機模組之方塊圖。
圖2為用於描述根據實施例之光學信號之頻率的視圖。
圖3為根據實施例之攝影機模組的橫截面圖。
圖4為用於描述根據實施例之電信號產生程序的視圖。
圖5為用於描述根據實施例之感測器的視圖。
圖6至圖8為用於描述根據修改實施例之感測器的視圖。
圖9為自根據實施例之攝影機模組獲得之與四個相位有關的原始影像。
圖10為自根據實施例之攝影機模組獲得的振幅影像。
圖11為自根據實施例之攝影機模組獲得的深度影像。
圖12為用於描述藉由根據實施例之攝影機模組之控制單元來改變輸入光信號之光學路徑的視圖。
圖13A及圖13B為用於描述用於藉由根據實施例之攝影機模組獲得高解析度影像之驅動的視圖。
圖13C為用於描述根據實施例之攝影機模組之像素值配置程序的視圖。
圖13D及圖13E為用於描述輸入至感測器之影像圖框根據IR濾光片斜率控制而移位之效應的視圖。
圖14及圖15A至圖15C為用於描述用於藉由根據實施例之攝影機模組獲得高解析度影像之驅動的視圖。
圖16及圖17A至圖17C為用於描述用於藉由根據實施例之攝影機模組獲得高解析度影像之驅動的視圖。
圖18及圖19A至圖19C為用於描述用於藉由根據實施例之攝影機模組獲得高解析度影像之驅動的視圖。
圖20及圖21A至圖21C為用於描述用於藉由根據實施例之攝影機模 組獲得高解析度影像之驅動的視圖。
圖22為用於描述根據本發明之實施例之感測器的操作機制之視圖。
圖23為用於描述根據本發明之實施例之第一像素資訊的視圖。
圖24及圖25為用於描述根據本發明之實施例的運算第二像素資訊之程序的視圖。
圖26為說明根據實施例之四個子圖框的視圖。圖27為用於描述根據本發明之實施例之感測器的操作機制之視圖。
在下文中，將參看附圖詳細描述本發明之例示性實施例。
然而，本發明之技術想法不限於本文中所描述之一些實施例，且可以各種其他形式實施。在本發明之技術想法的範疇內，不同實施例之一或多個元件可彼此選擇性地組合或彼此取代。
又，除非另外定義，否則在本發明之實施例中所使用的包括技術及科學術語之所有術語可解釋為具有與一般熟習本發明相關技術者通常所理解相同的含義。常用術語，諸如詞典中所定義之彼等術語，應解釋為具有與其在相關技術之上下文中之含義一致的含義。
此外，本發明之實施例中所使用的術語用於描述該等實施例，且並不意欲限制本發明。
在本說明書中，除非上下文另外清楚地指示，否則單數表述可包括複數表述。「A、B及C中之至少一者(或一或多者)」可包括藉由組合A、B及C之任何可能組合中之一或多者。
又，諸如第一、第二、A、B、(a)及(b)之術語可用於描述本發明之實施例的元件。
該等術語僅用於區分元件與其他元件，且對應元件之本質、次序或其類似者不受該等術語限制。
此外，某一元件描述為「連接」、「耦接」或「鏈接」至另一元件之狀況不僅可包括該元件直接連接、組合或鏈接至另一元件之狀況，而且包括該元件經由安置於其與另一元件之間的另外元件「連接」、「耦接」 或「鏈接」至另一元件。
又，某一元件描述為形成或安置於另一元件「上(上方)或下(下方)」之狀況不僅包括兩個元件彼此直接接觸之狀況，而且包括一或多個其他元件形成或安置於兩個元件之間的狀況。又，「在……上(上方)或下(下方)」不僅可包括相對於一個元件之向上方向，而且包括向下方向。
此外，根據下文所描述之實施例的攝影機模組可用作光學儀器或構成光學儀器之裝置中之一者。首先，光學儀器可包括以下各者中之任一者：蜂巢式電話、行動電話、智慧型手機、攜帶型智慧裝置、數位攝影機、膝上型電腦、數位廣播終端、個人數位助理(PDA)、攜帶型多媒體播放器(PMP)及導航系統。然而，光學儀器之類型不限於此，且光學儀器可包括用於拍攝影像或圖像之任何其他裝置。
光學儀器可包括主體。主體可呈桿體之形式。替代地，主體可具有各種結構，諸如滑動型結構、摺疊型結構、擺動型結構及渦旋型結構，其中兩個或多於兩個子主體耦接以便可相對於彼此移動。主體可包括形成主體之外部的殼體(罩殼、外殼或罩蓋)。舉例而言，主體可包括前部殼體及後部殼體。光學儀器之各種電子組件可嵌入於形成於前部殼體與後部殼體之間的空間中。
光學儀器可包括顯示器。顯示器可安置於光學儀器之主體的一個表面處。顯示器可輸出影像。顯示器可輸出由攝影機俘獲之影像。
光學儀器可包括攝影機。攝影機可包括飛行時間(ToF)攝影機模組。ToF攝影機模組可安置於光學儀器之主體的前表面處。在此狀況下，ToF攝影機模組可用於各種類型之生物特徵辨識，諸如使用者面部辨識、虹膜辨識及靜脈辨識，以用於光學儀器之安全鑑認。
圖1為根據本發明之實施例的攝影機模組之方塊圖，圖2為用於描述根據實施例之光學信號之頻率的視圖，且圖3為根據實施例之攝影機模組的橫截面圖。
參看圖1至圖3，攝影機模組100可包括光輸出單元110、光學單元120、感測器130及控制單元150。又，攝影機模組100可包括控 制單元150。
光輸出單元110可為發光模組、發光單元、發光總成或發光裝置。具體而言，光輸出單元110可產生光學信號且接著將所產生之光學信號輻射至物件。此處，光輸出單元110可產生及輸出呈脈衝波或連續波之形式的光學信號。連續波可呈正弦波或方波之形式。藉由光輸出單元110產生呈脈衝波或連續波之形式的光學信號，攝影機模組100可使用自光輸出單元110輸出之光學信號與自物件反射且接著輸入至攝影機模組100之輸入光信號之間的相位差或時間差。在本說明書中，輸出光可指自光輸出單元110輸出且入射於物件上之光，且輸入光可指在自光輸出單元110輸出之輸出光到達物件且自物件反射之後輸入至攝影機模組100的光。自物件之角度，輸出光可為入射光，且輸入光可為反射光。
光輸出單元110在預定積分時間期間將所產生之光學信號輻射至物件。此處，積分時間係指單個圖框時間。在產生複數個圖框之狀況下，重複設定的積分時間。舉例而言，在攝影機模組100以20個圖框/秒(FPS)拍攝物件之狀況下，積分時間為1/20[秒]。又，在產生一百個圖框之狀況下，積分時間可重複一百次。
光輸出單元110不僅可產生具有預定頻率之輸出光信號，而且產生具有不同頻率之複數個光學信號。又，光輸出單元110可依序且重複產生具有不同頻率之複數個光學信號。替代地，光輸出單元110可同時產生具有不同頻率之複數個光學信號。
在本發明之實施例中，如圖2中，光輸出單元110可控制在積分時間之前一半期間產生具有頻率f1之光學信號，且控制在積分時間之另一半期間產生具有頻率f2之光學信號。
根據另一實施例，光輸出單元110可控制複數個發光二極體(LED)中之一些LED以產生具有頻率f1之光學信號，且控制剩餘LED以產生具有頻率f2之光學信號。以此方式，光輸出單元110可根據積分時間產生及輸出具有不同頻率之信號。
為此目的，光輸出單元110可包括經組態以產生光之光源 112及經組態以調變光之光調變單元114。
首先，光源112產生光。由光源112產生之光可為波長在770nm至3,000nm之範圍內的紅外光，或可為波長在380nm至770nm之範圍內的可見光。光源112可使用LED且具有複數個LED根據預定圖案配置之形式。另外，光源112可包括有機發光二極體(OLED)或雷射二極體(LD)。替代地，光源112可為垂直腔面發射雷射(VCSEL)。VCSEL為將電信號轉換成光學信號之雷射二極體中之一者，且可使用在約800至1,000nm之範圍內的波長，例如約850nm之波長或約940nm之波長。
光源112以預定時間間隔重複地接通及斷開，以產生呈脈衝波或連續波之形式的光學信號。預定時間間隔可為光學信號之頻率。光源112之接通及斷開可由光調變單元114控制。
光調變單元114控制光源112之接通及斷開使得光源112產生呈連續波或脈衝波之形式的光學信號。光調變單元114可經由頻率調變、脈衝調變或其類似者來控制光源112以產生呈連續波或脈衝波之形式的光學信號。
同時，光學單元120可包括至少一個透鏡。光學單元120經由至少一個透鏡使自物件反射之輸入光信號會聚且將所會聚之輸入光信號傳輸至感測器130。至少一個透鏡可包括固體透鏡。又，至少一個透鏡可包括可變透鏡。可變透鏡可為變焦透鏡。又，可變透鏡可為焦點可調整之透鏡。可變透鏡可為以下各者中之至少一者：液體透鏡、聚合物透鏡、液晶透鏡、音圈馬達(VCM)透鏡及形狀記憶合金(SMA)透鏡。液體透鏡可包括：包括單種液體之液體透鏡及包括兩種不同液體之液體透鏡。包括單種液體之液體透鏡可藉由調整安置於對應於液體之位置處的膜片來改變焦點，例如藉由利用磁體與線圈之間的電磁力按壓膜片來改變焦點。包括兩種不同液體之液體透鏡可包括導電液體及非導電液體，且使用施加至液體透鏡之電壓來調整由導電液體及非導電液體形成之界面。聚合物透鏡可包括聚合物材料，且藉由諸如壓電裝置之驅動單元來改變焦點。液晶透鏡可藉由利用電磁力控制液晶來改變焦點。VCM透鏡可藉由利用磁體與線圈之間的電磁 力調整固體透鏡或包括固體透鏡之透鏡總成來改變焦點。SMA透鏡可藉由使用SMA控制固體透鏡或包括固體透鏡之透鏡總成來改變焦點。
又，光學單元120可包括經組態以使特定波長範圍中之光通過的濾光片。舉例而言，經組態以使特定波長範圍中之光通過的濾光片可包括紅外線(IR)通過式濾光片。濾光片可僅使波長在770至3,000nm之範圍內之紅外線範圍中的光通過。濾光片可藉由驅動裝置傾斜。輸入光信號之光學路徑可根據濾光片之傾斜而改變。濾光片可根據預定規則而傾斜，且輸入光信號之光學路徑可根據預定規則而改變。
又，光學單元120可包括光學板。光學板可為光通過板。
參看圖3，攝影機裝置300可包括透鏡總成310、感測器320及印刷電路板330。此處，透鏡總成310可對應於圖1之光學單元120，且感測器320可對應於圖1之感測器130。又，圖1之控制單元150可藉由印刷電路板330或感測器320實施。儘管未說明，但圖1之光輸出單元110可安置於印刷電路板330上或安置為分開的組態。光輸出單元110可由控制單元150控制。
透鏡總成310可包括透鏡312、鏡筒314、透鏡固持器316及IR濾光片318。
透鏡312可提供為複數個透鏡或單個透鏡。在透鏡312提供為複數個透鏡之狀況下，該等透鏡可相對於中心軸線對準且形成光學系統。此處，中心軸線可與光軸相同。透鏡312可包括上述可變透鏡。
鏡筒314可耦接至透鏡固持器316且具有提供於其中以容納透鏡之空間。鏡筒314可以可旋轉方式耦接至單個透鏡或複數個透鏡，但此僅為說明性的。鏡筒314可使用其他方法耦接，例如使用黏著劑(例如，諸如環氧樹脂之黏著樹脂)之方法。
透鏡固持器316可耦接至鏡筒314並支撐鏡筒314，且安置於上面安裝有感測器320之印刷電路板330上。可安置IR濾光片318之空間可藉由透鏡固持器316形成於鏡筒314中。儘管未說明，但由控制單元150控制且能夠使IR鏡筒314傾斜或移位之驅動單元可安置於鏡筒314中。 螺旋圖案可形成於透鏡固持器316之內圓周表面上，且透鏡固持器316可以可旋轉方式耦接至鏡筒314，該鏡筒具有形成於其外圓周表面上之螺旋圖案。然而，此僅為說明性的，且透鏡固持器316及鏡筒314可使用黏著劑耦接，或透鏡固持器316及鏡筒314可一體成型。
透鏡固持器316可分成耦接至鏡筒314之上部固持器316-1及安置於上面安裝有感測器320之印刷電路板330上的下部固持器316-2。上部固持器316-1及下部固持器316-2可一體成型，由分開的結構形成且接著緊固或耦接至彼此，或彼此分開且具有間隔開之結構。此處，上部固持器316-1之直徑可形成為小於下部固持器316-2之直徑。
以上實例僅為實施例，且光學單元120可由能夠使入射於ToF攝影機模組100上之輸入光信號會聚且將所會聚之輸入光信號傳輸至感測器130的任何其他結構形成。
感測器130使用藉由光學單元120會聚之輸入光信號來產生電信號。作為一實施例，感測器130可與光輸出單元110之斷開時段同步地吸收輸入光信號。具體而言，感測器130可吸收與自光輸出單元110輸出之光學信號同相及異相的光。
感測器130可使用具有不同相位差之複數個參考信號來產生對應於每一參考信號之電信號。舉例而言，電信號可為每一參考信號與輸入光混合之信號，且混合可包括卷積、乘法及其類似者。又，參考信號之頻率可設定為對應於自光輸出單元110輸出之光學信號的頻率。作為一實施例，參考信號之頻率可與光輸出單元110之光學信號的頻率相同。
以此方式，在光輸出單元110產生複數個頻率下之光學信號的狀況下，感測器130可使用對應於每一頻率之複數個參考信號來產生電信號。又，電信號可包括關於對應於每一參考信號之電荷或電壓之量的資訊。又，可針對每一像素運算電信號。
控制單元150可控制光學單元120以使輸入光信號之光學路徑移位。藉由此組態，如下文將描述，有可能輸出影像資料之複數個片段以用於提取高解析度深度影像。此將在下文詳細描述。又，此處，預定單位 包括將在下文描述之第一行進距離及第二行進距離。此將在下文詳細描述。
此外，攝影機模組100可包括算術單元140，該算術單元經組態以使用自感測器130接收到之電信號且計算解析度高於感測器之解析度的深度資訊。又，算術單元140可安置於包括攝影機模組之光學儀器中且執行算術運算。在下文中，將假定算術單元140安置於攝影機模組中來給出描述。
又，在此狀況下，算術單元可自攝影機模組100接收由感測器130感測到之資訊且執行算術運算。算術單元140可使用自感測器130接收到之電信號接收低解析度資訊之複數個片段，且使用低解析度資訊之複數個片段來產生高解析度深度資訊。舉例而言，算術單元140可重新配置低解析度資訊之複數個片段且產生高解析度深度資訊。
此處，算術單元140可藉由使用自光輸出單元輸出之光學信號與由感測器接收之光學信號之間的時間差或使用在感測器之複數個積分時間期間獲取之複數個資訊片段來運算物件與攝影機模組100之間的距離，在複數個積分時間期間，感測器之有效區域在不同相位下積分。
圖4為用於描述根據實施例之電信號產生程序的視圖。此處，如上文所描述，反射光(輸入光)之相位可延遲多達入射光(輸出光)入射於物件上且接著自物件反射回之距離。
又，如上文所描述，參考信號可提供為複數個參考信號。在一實施例中，可存在四個參考信號(C1至C4)，如圖4中所說明。又，參考信號(C1至C4)可各自具有與光學信號相同的頻率，同時彼此具有90°相位差。四個參考信號中之一者(C1)可具有與光學信號相同的相位。
感測器130可對感測器130之對應於每一參考信號的有效區域進行積分。感測器130可接收光學信號，同時執行積分。
感測器130可混合輸入光信號與每一參考信號。接著，感測器130可產生對應於圖4之陰影部分的電信號。
作為另一實施例，在光學信號係在積分時間期間以複數個頻率產生之狀況下，感測器130根據複數個頻率吸收輸入光信號。舉例而言， 假定光學信號以頻率f1及f2產生，且複數個參考信號具有90°相位差。接著，因為入射光信號亦具有頻率f1及f2，所以可經由頻率為f1之輸入光信號及對應於其之四個參考信號產生四個電信號。又，可經由頻率為f2之輸入光信號及對應於其之四個參考信號產生四個電信號。因此，可產生總計八個電信號。在下文中，將基於此給出描述，但如上文所描述，可以單個頻率(例如，f1)產生光學信號。
圖5為用於描述根據實施例之感測器的視圖，圖6至圖8為用於描述根據修改實施例之感測器的視圖，圖9為自根據實施例之攝影機模組獲得的與四個相位有關之原始影像，圖10為自根據實施例之攝影機模組獲得的振幅影像，且圖11為自根據實施例之攝影機模組獲得的深度影像。
參看圖5至圖8，感測器130可組態有複數個像素以陣列形式配置之結構。此處，感測器130為主動像素感測器(APS)且可為互補金屬氧化物半導體(CMOS)感測器。又，感測器130可為電荷耦合裝置(CCD)感測器。又，感測器130可包括接收自個體反射之紅外光的ToF感測器，且使用時間差或相位差量測距個體之距離。
又，感測器130可包括複數個像素。此處，該等像素可包括第一像素P1及第二像素P2。
第一像素P1及第二像素P2可在第一方向(x軸方向)及第二方向(y軸方向)上交替地安置。亦即，複數個第二像素P2可在第一方向(x軸方向)及第二方向(y軸方向)上鄰近於單個第一像素P1而安置。舉例而言，第一像素P1及第二像素P2可按棋盤圖案安置於感測器130中。又，此處，第一方向(x軸方向)為在以陣列形式配置之複數個像素當中，第一像素及第二像素並排配置的一個方向，亦即，列方向，且第二方向(y軸方向)為垂直於第一方向且第一像素及第二像素並排配置的方向，亦即，行方向。在下文中，將基於此給出描述。術語「列方向」與「第一方向」可替換使用，且術語「行方向」與「第二方向」可替換使用。
又，第一像素P1及第二像素P2可為接收峰值波長在不同波長帶中之光的像素。舉例而言，第一像素P1可接收具有在紅外波長帶中 之峰值波長的光。又，第二像素P2可接收峰值波長在除紅外波長帶以外之波長帶中的光。
此外，第一像素P1及第二像素P2中之任一者可能不接收光。作為一實施例，複數個像素可包括安置有光接收元件之有效區域SA及為除有效區域以外之區域的無效區域IA。有效區域SA可接收光且產生預定電信號。無效區域IA可為不接收光之區域。無效區域IA可為接收光且不產生電信號之區域。亦即，可存在如下狀況：即使在光接收元件安置於無效區域IA中時，無效區域IA亦無法藉由光產生電信號。
又，第一像素P1可包括無效區域IA以及有效區域SA。另一方面，第二像素P2可僅由無效區域IA形成，而無有效區域SA。舉例而言，諸如光電二極體之光接收元件可僅安置於第一像素中且不安置於第二像素中。在下文中，將假定第二像素不接收光而第一像素接收光來給出描述。
具體而言，感測器130可包括複數個列區RR，其包括在列方向上交替地安置之有效區域SA及無效區域IA。又，在一實施例中，感測器130可包括複數個行區CR，其包括在行方向上交替地安置之有效區域SA及無效區域。
在一實施例中，感測器130可包括第一列區RR1及第二列區RR2。在第一列區RR1中，可交替地安置有效區域SA及無效區域IA。在第二列區RR2中，可在列方向上交替地安置有效區域SA及無效區域IA，且有效區域可安置於在行方向上不與第一列區RR1之有效區域重疊的位置處。
藉由此組態，感測器130可包括複數個行區CR。複數個行區CR可包括在行方向上交替地安置之有效區域SA及無效區域IA。
又，第一像素P1及第二像素P2可以各種形狀形成，諸如四邊形形狀、三角形形狀、多邊形形狀及圓形形狀。有效區域SA亦可以各種形狀形成，諸如四邊形形狀、三角形形狀、多邊形形狀及圓形形狀(參見圖6及圖7)。
又，第二像素P2可包括電連接至鄰近於其之第一像素P1的元件。該元件可為諸如電線及電容器之電元件。該元件亦可安置於第一像素或第二像素上(參見圖7)。
又，在一實施例中，每一像素可為藉由在像素配置於感測器上所沿之方向(例如，第一方向或第二方向)上鄰近的相同有效區域之間的間隔形成之區域。此處，相同有效區域係指具有相同功能(例如，接收在相同波長帶中之光)之有效區域。
又，第一像素P1可僅具有有效區域SA或具有有效區域SA及無效區域IA兩者。又，有效區域SA可存在於第一像素P1中之各種位置處。因此，像素之中心與有效區域之中心可能不同。然而，將假定像素及有效區域同心來給出以下描述。又，下文所使用之術語「中心」、「第一中心」及其類似者係指對應於中心之像素。
又，在感測器130具有圖5中所說明之320×240解析度的狀況下，76,800個像素可以柵格形式配置。此處，複數個像素可安置成以預定間隔隔開。亦即，如圖5之陰影部分，預定間隔L可形成於複數個像素之間。間隔L之寬度dL可顯著小於像素之大小。另外，上文所提及之電線及其類似者可安置於間隔L處。在以下描述中，忽略間隔L。
又，作為一實施例，每一像素132(例如，第一像素)可包括：第一光接收單元132-1，其包括第一光電二極體及第一電晶體；及第二光接收單元132-2，其包括第二光電二極體及第二電晶體。
第一光接收單元132-1接收在與輸出光之波形相同之相位下的輸入光信號。亦即，在光源接通時，第一光電二極體接通且吸收輸入光信號。又，在光源斷開時，第一光電二極體斷開且停止吸收輸入光。第一光電二極體將所吸收之輸入光信號轉換成電流且將電流傳輸至第一電晶體。第一電晶體將所接收之電流轉換成電信號且輸出電信號。
第二光接收單元132-2接收在與輸出光之波形相反之相位下的輸入光信號。亦即，在光源接通時，第二光電二極體斷開且吸收輸入光信號。又，在光源斷開時，第二光電二極體接通且停止吸收輸入光。第二光 電二極體將所吸收之輸入光信號轉換成電流且將電流傳輸至第二電晶體。第二電晶體將所接收之電流轉換成電信號。
因此，第一光接收單元132-1可被稱作同相接收單元，且第二光接收單元132-2可被稱作異相接收單元。以此方式，當第一光接收單元132-1及第二光接收單元132-2藉由時間差啟動時，所接收光之量根據距物件之距離而變化。舉例而言，在物件緊鄰於攝影機模組100前方(亦即，距離=0)之狀況下，因為在自光輸出單元110輸出之後，光自物件反射回所花費的時間為0，所以光源之通斷時段準確地對應光接收時段。因此，僅第一光接收單元132-1接收光，且第二光接收單元132-2不能接收光。作為另一實例，在物件與攝影機模組100隔開預定距離之狀況下，因為在自光輸出單元110輸出之後，光自物件反射回要花費一定時間，所以光源之通斷時段不同於光接收時段。因此，由第一光接收單元132-1及第二光接收單元132-2接收之光的量之間存在差異。亦即，可使用輸入至第一光接收單元132-1及第二光接收單元132-2之光的量之間的差來運算距物件之距離。換言之，控制單元150使用自感測器130接收到之電信號來計算輸出光與輸入光之間的相位差，且使用相位差來計算物件與攝影機模組100之間的距離。
更具體而言，控制單元150可使用關於電信號之電荷量的資訊來計算輸出光與輸入光之間的相位差。
如上文所描述，可在光學信號之每一頻率下產生四個電信號。因此，控制單元150可使用以下等式1計算光學信號與輸入光信號之間的相位差(td)。
[等式1]
Figure 109108291-A0202-12-0015-1
此處，Q1至Q4表示四個電信號之電荷量。Q1表示對應於相位與光學信號相同之參考信號的電信號之電荷量。Q2表示對應於相位比光學信號慢180°之參考信號的電信號之電荷量。Q3表示對應於相位比光學信號慢90°之參考信號的電信號之電荷量。Q4表示對應於相位比光學信號慢270°之參考信號的電信號之電荷量。
又，控制單元150可使用光學信號與輸入光信號之間的相位差來計算物件與攝影機模組100之間的距離。此處，控制單元150可使用以下等式2計算物件與攝影機模組100之間的距離(d)。
[等式2]
Figure 109108291-A0202-12-0016-2
此處，c表示光速，且f表示輸出光之頻率。
根據本發明之實施例，可自攝影機模組100獲得ToF IR影像及深度影像。因此，根據本發明之實施例的攝影機模組亦可被稱作ToF攝影機模組或ToF攝影機模組。
關於此，更詳細地，如圖9中所說明，可自根據本發明之實施例的攝影機模組100獲得與四個相位有關之原始影像。此處，四個相位可為0°、90°、180°及270°。與每一相位有關之原始影像可為由針對每一相位而數位化之像素值形成的影像。術語「原始影像」、「相位影像」、「相位IR影像」及其類似者可替換使用。
參看圖9及圖10，當如在以下等式3中，使用四個相位影像Raw(x0)、Raw(x90)、Raw(x180)及Raw(x270)(參見圖9)執行算術運算時，可獲得振幅影像(參見圖10)，其為ToF IR影像。
[等式3]
Figure 109108291-A0202-12-0016-3
此處，Raw(x0)可為感測器在相位0°下接收之每一像素的資料值，Raw(x90)可為感測器在相位90°下接收之每一像素的資料值，Raw(x180)可為感測器在相位180°下接收之每一像素的資料值且Raw(x270)可為感測器在相位270°下接收之每一像素的資料值。
替代地，當如在以下等式4中，使用圖9之四個相位影像執行算術運算時，可獲得強度影像，其為另一ToF IR影像。
[等式4] 強度=|Raw(x 90)-Raw(x 270)|+|Raw(x 180)-Raw(x 0)|
此處，Raw(x0)可為感測器在相位0°下接收之每一像素的資 料值，Raw(x90)可為感測器在相位90°下接收之每一像素的資料值，Raw(x180)可為感測器在相位180°下接收之每一像素的資料值且Raw(x270)可為感測器在相位270°下接收之每一像素的資料值。
以此方式，可經由四個相位影像中之兩者減去另外兩個相位影像之程序來產生ToF IR影像。舉例而言，180°相位差可存在於每一對兩個相位影像之間，在該兩個相位影像之間進行相減。又，可在四個相位影像中之兩者減去另外兩個相位影像之程序中移除背景光。因此，僅保留由光源輸出之波長帶中的光，使得IR敏感度可增加且相對於物件之雜訊可顯著減小。
在本說明書中，ToF IR影像可指振幅影像或強度影像。術語「強度影像」可與術語「置信度影像」替換使用。如圖10中所說明，ToF IR影像可為灰色影像。
同時，當如在以下等式5及等式6中使用圖9之四個相位影像執行算術運算時，亦可獲得圖11中所展示之深度影像。
[等式5]
Figure 109108291-A0202-12-0017-4
[等式6]
Figure 109108291-A0202-12-0017-5
同時，在本發明之實施例中，使用超解析度(SR)技術以便增加深度影像之解析度。SR技術為用於自複數個低解析度影像獲得高解析度影像之技術。SR技術之數學模型可展示為以下等式7。
[等式7]y k =D k B k M k x+n k
此處，1
Figure 109108291-A0202-12-0017-49
k
Figure 109108291-A0202-12-0017-50
p，p表示低解析度影像之數目，yk表示低解析度影像(=[yk,1,yk,2,…,yk,M]T；其中M=N1*N2)，Dk表示減少取樣矩陣，Bk表示模糊矩陣，Mk表示影像變形矩陣，x表示高解析度影像(=[x1,x2,…,xN]T；其中N=L1N1*L2N2)，且nk表示雜訊。亦即，SR技術係指用於藉由應用以yk估計之解析度劣化因子之反函數來估計x的技術。SR技術可主要 分類為統計方法及多圖框方法，且多圖框方法可主要分類為分空間方法及分時方法。在使用SR技術以便獲取深度影像之狀況下，因為不存在等式1之Mk的反函數，所以可嘗試統計方法。然而，在統計方法之狀況下，因為需要重複運算程序，所以存在效率低的問題。
為了將SR技術應用於深度資訊提取，控制單元150可使用自感測器130接收到之電信號來產生複數個低解析度子圖框，且接著使用複數個低解析度子圖框來提取複數個低解析度影像及低解析度深度資訊之複數個片段。又，控制單元150可重新配置低解析度深度資訊之複數個片段的像素值，且提取高解析度深度資訊。在本說明書中，「高解析度」為指示高於低解析度之解析度的相對術語。
又，此處，「子圖框」可指自對應於任一個積分時間及任一個參考信號之電信號產生的影像資料。舉例而言，在單個積分時間(亦即，單個影像圖框)內經由八個參考信號產生電信號之狀況下，可產生八個子圖框且可進一步產生單個圖框開始。在本說明書中，術語「子圖框」可與術語「影像資料」、「子圖框影像資料」及其類似者替換使用。
替代地，為了將根據本發明之實施例的SR技術應用於深度資訊提取，算術單元140可使用自感測器130接收到之電信號來產生複數個低解析度子圖框及包括複數個低解析度子圖框之複數個低解析度影像，且接著重新配置複數個低解析度子圖框之像素值以產生複數個高解析度子圖框。又，算術單元140可使用高解析度子圖框來提取高解析度深度資訊。可使用上述方法來提取高解析度深度資訊，且該方法可相同地應用於下文所描述之實施例及其修改實例。
又，為了提取高解析度深度資訊，可使用像素移位技術。亦即，可使用像素移位技術針對每一子圖框獲取移位預定行進距離之若干子圖框，可藉由對每一子圖框應用SR技術來獲取複數個高解析度子圖框，且接著可使用若干經移位子圖框及複數個高解析度子圖框針對每一子圖框提取深度資訊，藉此提取高解析度深度影像。又，對於像素移位，攝影機模組可藉由控制單元來控制光學單元。
控制單元150控制光學單元120以使輸入光信號在感測器130上移位預定行進距離。控制單元150可控制光學單元120之可變透鏡以使輸入光信號在感測器130上移位預定行進距離。又，控制單元150可控制光學單元120之濾光片以使輸入光信號在感測器130上移位預定行進距離。舉例而言，控制單元150可使光學單元120之濾光片傾斜以使輸入光信號在感測器130上移位。儘管未說明，但攝影機模組100可包括用於使濾光片傾斜之驅動單元。驅動單元可使用VCM類型、壓電類型及類似類型之驅動力來驅動濾光片。
控制單元150可控制光學單元以相對於感測器130將輸入光信號之光學路徑改變一個像素單元。
同時，在根據本發明之實施例的攝影機模組100應用於需要拍攝高品質影像之應用的狀況下，例如，應用於需要精確影像用於生物特徵鑑認或其類似者之應用或應用於需要使用者僅使用一隻手來操縱攝影機模組100及拍攝影像之應用，亦需要用於防止或校正由於手部晃動之影像模糊的技術。用於防止或校正影像模糊之技術可被稱作光學影像穩定器(OIS)技術。藉由OIS技術，當光軸為Z軸時，可使用在垂直於光軸之X軸及Y軸方向上移動攝影機模組100中之例如透鏡或其類似者之結構的方法來防止或校正影像模糊。
又，為了使攝影機模組100具有SR功能及OIS功能，根據本發明之實施例的攝影機模組100可進一步包括經組態以移動攝影機模組100內部之結構的驅動單元。
圖12為用於描述藉由根據實施例之攝影機模組之控制單元來改變輸入光信號之光學路徑的視圖。
更具體而言，如上文所描述，控制單元150可改變輸入光之光學路徑。下方由實線指示之部分表示輸入光信號在第一時間期間之光學路徑，且由虛線指示之部分表示輸入光信號在第二時間期間之改變的光學路徑。當對應於第一時間期間之光學路徑的積分時間結束時，控制單元150可改變輸入光信號之光學路徑，如由虛線所指示。此處，第一時間為預定時 間，且第二時間為在第一時間之後的時間。
接著，輸入光信號之路徑可自第一時間期間之光學路徑移位第一行進距離。此處，複數個積分時間可包括第一積分時間及在第一積分時間之後的第二積分時間。又，複數個積分時間可進一步包括在第二積分時間之後的第三積分時間及在第三積分時間之後的第四積分時間。此將在下文詳細描述。又，第一積分時間為對應於第一時間期間之上述光學路徑的積分時間，且第二積分時間為在第一積分時間之後的對應於第二時間期間之光學路徑的積分時間。又，在第二積分時間內，輸入光信號之光學路徑可在第一行進方向上移位第一行進距離，使得第一像素至少部分地與鄰近於第一像素之第二像素重疊。此處，第一行進距離為相對於第一積分時間之根據移位的像素之行進距離。舉例而言，第一行進距離可為第一像素。又，第一行進方向可為第一方向及第二方向中之任一者。舉例而言，如圖12中所說明，當控制單元150在第一時間期間使光學單元120向右傾斜第一角度θa時，入射於感測器130上之輸入光信號可向右移位1個像素。亦即，在第一時間期間入射於感測器130上之輸入光的區域I1(在下文中被稱作「第一輸入區域I1」)與在第一時間期間入射於感測器130上之改變輸入光信號的區域I2(在下文中被稱作「第二輸入區域I2」)之間存在位差。又，在本說明書中，在成像時，在第一時間期間輸入光信號及改變之輸入光信號的產生可能受微積分時間影響，且在短時間內執行。換言之，因為第一輸入區域及第二輸入區域可能幾乎相同，所以可改善最終輸出影像之準確度。
又，當如上文所描述藉由改變光學路徑來匹配第一輸入區域與第二輸入區域時，第一像素可移位第一行進距離。亦即，相較於對應於第二輸入區域中之第一像素的像素，對應於第一輸入區域中之第一像素的像素可移位第一行進距離。換言之，控制單元可執行第一移位控制，使得到達第一列區RR1之有效區域的光到達第一列區RR1之無效區域或第二列區RR2之無效區域。亦即，藉由第一移位控制，到達第一列區RR1之有效區域的光可到達第一列區RR1之無效區域或第二列區RR2之無效區域。
又，藉由第一移位控制，到達第二列區RR2之有效區域的 光可到達第二列區RR2之無效區域或第一列區RR1之無效區域。此移位控制可相同地應用於下文所描述之各種實施例。
亦即，如圖12中所說明，第一輸入區域I1中之第一像素的中心CP1(在下文中被稱作「第一中心」)及第二輸入區域I2中之第一像素的中心CP2(在下文中被稱作「第二中心」)可在第一方向或第二方向上交替地安置。又，第二輸入區域I2中之第一像素的中心CP2可對應於第一輸入區域I1中之第二像素的中心。又，輸入影像可對應於一低解析度影像或對應於複數個低解析度子圖框影像。又，一個像素可指鄰近第一像素之中心之間的距離之0.3至0.7倍。換言之，一個像素可為同一列區中的鄰近有效區域之中心之間的距離之0.3至0.7倍。在下文中，將假定一個像素為鄰近第一像素之中心之間的距離之0.5倍來給出描述。又，上文所提及之第一角度θa可根據例如光學單元中之透鏡的形狀而以各種方式改變。
又，可相同地應用光學路徑之移位，即使當使光學信號之光學路徑移位時亦如此，且將省略其詳細描述。
圖13A及圖13B為用於描述用於藉由根據實施例之攝影機模組獲得高解析度影像的驅動之視圖，圖13C為用於描述根據實施例之攝影機模組的像素值配置程序之視圖，且圖13D及圖13E為用於描述輸入至感測器之影像圖框根據IR濾光片斜率控制而移位的效應之視圖。
參看圖13A及圖13B，算術單元可使用在同一積分時間(亦即，同一圖框)內產生之複數個低解析度子圖框及複數個低解析度影像來提取低解析度深度資訊之複數個片段。又，算術單元可重新配置低解析度深度資訊之複數個片段的像素值，且提取高解析度深度資訊。此處，如上文所描述，對應於低解析度深度資訊之複數個片段的輸入光信號之光學路徑可彼此不同。
又，例如，算術單元可使用複數個電信號來產生低解析度子圖框1-1至2-8。低解析度子圖框1-1至1-8為在第一積分時間內產生之低解析度子圖框。亦即，低解析度子圖框1-1至1-8為由第一輸入區域中之電信號產生的圖框。低解析度子圖框2-1至2-8為在第二積分時間內產生之低 解析度子圖框。同樣地，低解析度子圖框2-1至2-8為由第二輸入區域中之電信號產生的圖框。
接著，算術單元可將深度資訊提取技術應用於在每一積分時間內產生之複數個低解析度子圖框，且提取低解析度深度資訊LRD-1及LRD-2之片段。又，算術單元重新配置低解析度深度資訊LRD-1及LRD-2之片段的像素，且提取高解析度深度資訊HRD(參見圖13A)。
替代地，如上文所描述，算術單元可重新配置對應於同一參考信號之複數個子圖框的像素值，且產生高解析度子圖框。此處，複數個子圖框各自對應於光學信號或輸入光信號之不同光學路徑。又，算術單元可使用複數個高解析度子圖框來提取高解析度深度資訊(參見圖13B)。
舉例而言，低解析度子圖框1-1及2-1對應於同一參考信號C1，但對應於不同光學路徑。接著，算術單元可重新配置低解析度子圖框1-1及2-1之像素值，且產生高解析度子圖框H-1。當藉由重新配置像素值產生高解析度子圖框H-1至H-8時，算術單元可將深度資訊提取技術應用於高解析度子圖框H-1至H-8且提取高解析度深度資訊HRD。
參看圖13C，根據第一實施例之攝影機模組可產生由於一個像素移位而解析度增加兩倍的影像。作為實例，可使用兩個4×4低解析度影像來產生單個4×4高解析度影像。然而，像素之數目不限於此且可改變為各種值。
具體而言，如上文所描述，第一低解析度影像及第二低解析度影像為藉由使光學路徑移位一個像素之大小而俘獲的影像。第一低解析度影像可對應於第一輸入區域，且第二低解析度影像可對應於第二輸入區域。亦即，第一低解析度影像之第一影像像素對應於第一輸入區域之第一像素，且第二低解析度影像之第二影像像素對應於第二輸入區域之第一像素。算術單元在光學路徑已相對於光學路徑尚未移位之第一低解析度影像移位的方向上配置第二低解析度影像之像素值，以對應於高解析度影像。此處，低解析度影像可具有涵蓋低解析度子圖框及低解析度深度資訊之含義，且高解析度影像可具有涵蓋高解析度子圖框及高解析度深度資訊之含義。又， 因為如上文所描述，僅第一像素在感測器中執行光接收，所以僅對應於低解析度影像中之第一像素的部分經指示為像素A、B、C、D、E、F、G、H及其類似者。
具體而言，第二低解析度影像為由自第一低解析度影像向右移位1個像素而產生的影像。因此，第二低解析度影像之像素B配置於安置在第一低解析度影像之像素A右側的像素中。舉例而言，第一低解析度影像之第二像素可經安置以對應於第二低解析度影像之第一像素，且第一低解析度影像之第一像素可經安置以對應於第二低解析度影像之第二像素。
又，當重新配置第一低解析度影像及第二低解析度影像之所有像素值時，產生解析度相較於低解析度影像之解析度增加兩倍的高解析度影像圖框。換言之，根據第一實施例之攝影機模組可改善解析度。另外，根據第一實施例之攝影機模組可改善處理速度，此係因為在僅第一像素在感測器中接收光之狀況下，藉由感測器之電信號的產生及處理會減少。
又，控制單元150可將加權值應用於經配置像素值。此處，加權值可根據子像素之大小或光學路徑之行進方向而不同地設定，或可針對每一低解析度影像而不同地設定。
根據一實施例，控制單元150可藉由控制透鏡總成(例如，包括於透鏡總成中之IR濾光片318(參見圖3))之斜率的方法使輸入光信號移位。因此，控制單元150可獲得移位1個像素之資料。
參看圖13D及圖13E，圖13E展示在IR濾光片之厚度為0.21mm且IR濾光片之折射率為1.5的條件下模擬相對於傾斜角之移位距離的結果。
參看圖13D及以下等式8，IR濾光片318之斜率θ1及移位距離可具有以下關係。
[等式8]
Figure 109108291-A0202-12-0023-6
此處，θ2可展示為以下等式9。
[等式9]
Figure 109108291-A0202-12-0024-7
又，θ1表示IR濾光片318之斜率，亦即，傾斜角，ng表示IR濾光片318之折射率，且d表示IR濾光片318之厚度。舉例而言，參考等式8及9，為了使輸入至感測器之影像圖框移位7μm，IR濾光片318可傾斜約5°至6°。此處，IR濾光片318之豎直位移可為約175至210μm。
以此方式，當控制IR濾光片318之斜率時，有可能在不使感測器320本身傾斜之情況下獲得經移位影像資料。
根據本發明之實施例，用於控制IR濾光片之斜率的控制單元可包括直接地或間接地連接至IR濾光片之致動器，且致動器可包括微機電系統(MEMS)、音圈馬達(VCM)及壓電元件中之至少一者。
此處，如上文所描述，一個像素之大小可為鄰近第一像素之中心之間的距離之0.5倍。又，需要非常精確的控制來使輸入光信號移位1個像素。在使用致動器使IR濾光片傾斜之狀況下，傾斜之IR濾光片的斜率及輸入光信號之移位值可根據致動器之精確度而變得不同於預定值。特定而言，在錯誤或故障發生於致動器之操作期間或致動器之部分由於長期使用而未對準的狀況下，IR濾光片之斜率及輸入光信號之移位值的誤差可變得極大。
因此，在一實施例中，可使用控制單元以子像素為單位來使輸入光之光學路徑移位，且可偵測實際移位值以在根據SR技術進行影像處理時補償誤差。
根據一實施例，控制單元150可依據軟體或硬體來改變輸入光信號之光學路徑。儘管上文已描述藉由控制單元150使用控制IR濾光片之斜率的方法使輸入光信號之光學路徑移位作為實例，但本發明不限於此，且控制單元150亦可使用光學單元之可變透鏡使輸入光信號之光學路徑移位。
又，控制單元150可藉由針對每一積分時間根據預定規則重複光學路徑來使輸入光信號之光學路徑移位。舉例而言，控制單元150可 在第一積分時間之後的第二積分時間內使輸入光信號之光學路徑在第一行進方向上移位感測器130之1個像素單元。替代地，如下文所描述，控制單元150可在第二積分時間之後的第三積分時間內使輸入光信號之光學路徑在第二行進方向及第一行進方向上移位感測器130之0.5個像素單元。又，控制單元150可在第三積分時間之後使輸入光信號之光學路徑在第三行進方向上移位感測器130之一個像素單元。
此外，控制單元150可控制光學單元120以控制輸入光信號之光學路徑。控制單元150可控制由第一列區RR1之有效區域接收的光以到達第一列區RR1之無效區域。又，控制單元150可執行移位控制使得由第二列區RR2之有效區域接收的光到達第二列區RR2之無效區域。
又，如上文所描述，光學單元120可包括IR通過式濾光片作為濾光片，且控制單元150可藉由使IR通過式濾光片傾斜來執行對光學路徑之移位控制。
上述控制可相同地應用於下文所描述之各種實施例。
又，在一實施例中，控制單元150可使用SR技術且暫存自在第一積分時間期間提取之資料獲得的第一低解析度影像及自藉由在第一行進方向上移位1個像素而在第二積分時間期間提取之資料獲得的第二低解析度影像，藉此獲得單個深度資訊片段。亦即，可使用SR技術藉由暫存複數個低解析度影像來產生具有深度資訊之高解析度影像。此處，術語「第一低解析度影像」及「第二低解析度影像」可與上文所提及之「低解析度子圖框」、「低解析度影像」及其類似者替換使用。
又，根據實施例之攝影機模組100可偵測輸入光之光學路徑的移位值，且使用偵測到之偏移值來控制單元150或算術單元或將偵測到之偏移值反映為深度影像之產生。
圖14及圖15A至圖15C為用於描述用於藉由根據實施例之攝影機模組獲得高解析度影像之驅動的視圖。
參看圖14及圖15A至圖15C，在根據第二實施例之攝影機模組中，如在上文描述中，高解析度影像可藉由算術單元形成，且算術單元 可使用在同一積分時間(亦即，同一圖框)內產生之複數個低解析度子圖框來提取低解析度深度資訊之複數個片段。又，算術單元可重新配置低解析度深度資訊之複數個片段的像素值，且提取高解析度深度資訊。又，在第二實施例中，如上文所描述，低解析度深度資訊之複數個片段可各自對應於光學信號或輸入光信號之不同光學路徑。
具體而言，算術單元可使用複數個電信號來產生低解析度子圖框1-1至3-8。低解析度子圖框1-1至1-8為在第一積分時間內產生之低解析度子圖框。低解析度子圖框2-1至2-8為在第二積分時間內產生之低解析度子圖框。上文所給出之描述可相同地應用於低解析度子圖框1-1至1-8及低解析度子圖框2-1至2-8。同樣地，上文所給出之描述可相同地應用於藉由傾斜單元改變光學路徑。
然而，低解析度子圖框3-1至3-8可為基於藉由控制單元改變輸入光之光學路徑產生之電信號而產生的低解析度子圖框。
具體而言，如上文所描述，控制單元可改變輸入光之光學路徑。控制單元可在第二積分時間內使光學路徑移位第一行進距離，且接著在第三積分時間內使光學路徑在第二行進方向及第三行進方向中之每一者上移位第二行進距離。此處，第二行進距離可為第一行進距離之0.5至1倍。在下文中，將假定第二行進距離對應於0.5個像素來給出描述。此處，第二行進方向為垂直於第一行進方向之方向，且第三行進方向為相同於第一行進方向之方向。因此，當第一行進方向為第一方向時，第二行進方向可為第二方向，且當第一行進方向為第二方向時，第二行進方向可為第一方向。
舉例而言，當控制單元使光學路徑向下及向左移位第二角度θb時，入射於感測器130上之輸入光信號可向下及向左移位0.5個像素。此處，上文所提及之第二角度θb可根據例如光學單元中之透鏡的形狀、濾光片之形狀及其類似者而以各種方式改變。
又，藉由此移位，入射於感測器130上之第一輸入區域I1、第二輸入區域I2及第三輸入區域I3之間存在位差。
換言之，第三輸入區域I3之中心CP3(在下文中被稱作「第 三中心」)可安置於第一輸入區域I1之第一中心CP1與第二輸入區域I2之第二中心CP2之間。又，在第三輸入區域I3中，第三中心可安置於距鄰近於其之第一中心及鄰近於其之第二中心一個像素內。又，第三中心可安置於最鄰近第一中心之間的第一虛擬線與最鄰近第二中心之間的第二虛擬線之間的相交點處。又，如第一中心及第二中心，第三中心可安置成在第一方向及第二方向上間隔開。又，第三中心可安置成在第一方向或第二方向上以與第一中心之間的分開距離相同的長度間隔開。
亦即，在一實施例中，控制單元可執行第二移位控制，其中到達第一列區RR1之無效區域的光朝向鄰近於第一列區RR1之無效區域的第二列區RR2之無效區域移位。以此方式，藉由第二移位控制，到達第一列區RR1之無效區域的光可到達鄰近於第一列區RR1之無效區域的第二列區RR2之無效區域。又，到達第一列區RR1之無效區域的光可朝向最鄰近於第一列區RR1之無效區域的第二列區RR2之無效區域移位。
又，控制單元可執行第二移位控制，使得到達第一列區RR1之有效區域的光朝向鄰近於第一列區RR1之有效區域的第二列區RR2之有效區域移位。以此方式，藉由第二移位控制，到達第一列區RR1之有效區域的光可到達鄰近於第一列區RR1之有效區域的第二列區RR2之有效區域。又，到達第一列區RR1之有效區域的光可朝向最鄰近於第一列區RR1之有效區域的第二列區RR2之有效區域移位。此移位控制可相同地應用於下文所描述之各種實施例。
又，第二移位控制可在上述第一移位控制之後執行。又，到達感測器之光藉由第一移位控制的行進距離可不同於到達感測器之光藉由第二移位控制的行進距離。舉例而言，到達感測器之光藉由第一移位控制的行進距離可大於到達感測器之光藉由第二移位控制的行進距離。此將在下文詳細描述。
又，低解析度子圖框3-1至3-8為在第三積分時間內產生之低解析度子圖框。接著，算術單元將深度資訊提取技術應用於在每一積分時間內產生之複數個低解析度子圖框，且提取低解析度深度資訊LRD-1至 LRD-3之片段。接著，如在以上描述中，算術單元重新配置低解析度深度資訊LRD-1至LRD-3之片段的像素值，且提取高解析度深度資訊HRD。
替代地，如上文所描述，算術單元可重新配置對應於同一參考信號之複數個子圖框的像素值，且產生高解析度子圖框。此處，複數個子圖框各自對應於輸入光信號之不同光學路徑。又，算術單元可使用複數個高解析度子圖框來提取高解析度深度資訊。
舉例而言，在圖14中，低解析度子圖框1-1、2-1及3-1對應於同一參考信號C1，但對應於不同光學路徑。接著，算術單元可重新配置低解析度子圖框1-1、2-1及3-1之像素值，且產生高解析度子圖框H-1。當藉由重新配置像素值產生高解析度子圖框H-1至H-8時，算術單元可將深度資訊提取技術應用於高解析度子圖框H-1至H-8且提取高解析度深度資訊HRD。
更具體而言，上述低解析度子圖框1-1至1-8及低解析度子圖框2-1至2-8可藉由與第一實施例中相同的方法產生。因此，將省略其描述，且將描述如圖15A至圖15C中所說明之產生低解析度子圖框3-1至3-8的方法。
此處，假定使用三個4×4低解析度影像產生單個4×6高解析度影像。此處，高解析度像素柵格具有4×6個像素，其與高解析度影像之像素相同。然而，像素之數目不限於此且可改變為各種值。
如上文所描述，算術單元可產生複數個低解析度影像，諸如第一低解析度影像、第二低解析度影像及第三低解析度影像。又，第一低解析度影像及第二低解析度影像為藉由使光學路徑在第一行進方向上移位一個像素之大小而俘獲的影像，且可在第一積分時間期間產生並包括物件之深度資訊。又，第二低解析度影像可在第二積分時間期間產生且包括物件之深度資訊。第三低解析度影像可在第三積分時間期間產生且包括物件之深度資訊。又，如上文所描述，第一低解析度影像可對應於第一輸入區域，第二低解析度影像可對應於第二輸入區域，且第三低解析度影像可對應於第三輸入區域。亦即，第一低解析度影像之第一影像像素可對應於第一輸入區 域之第一像素，第二低解析度影像之第二影像像素可對應於第二輸入區域之第一像素，且第三低解析度影像之第三影像像素可對應於第三輸入區域之第一像素。
算術單元在光學路徑已相對於光學路徑尚未移位之第一低解析度影像移位的方向上配置第二低解析度影像之像素值，以對應於高解析度影像。舉例而言，第二低解析度影像之像素B可安置於第一低解析度影像之每一像素右側。此處，低解析度影像可具有涵蓋低解析度子圖框及低解析度深度資訊之含義，且高解析度影像可具有涵蓋高解析度子圖框及高解析度深度資訊之含義。又，第三低解析度影像可安置於第一低解析度影像之像素A與第二低解析度影像之像素B之間。
具體而言，第三低解析度影像為由自第二低解析度影像在第二行進方向及第三行進方向中之每一者上向下移位1個子像素而產生的影像。亦即，第三低解析度影像可為由自第二低解析度影像在第二行進方向上移位0.5個像素且進一步在第三行進方向上移位0.5個像素而產生的影像。舉例而言，第三低解析度影像可為由自第二低解析度向下移位0.5個像素且進一步向左移位0.5個像素而產生的影像。亦即，第三低解析度影像可為相對於第二低解析度影像移位少於一個像素之影像。因此，到達感測器之光藉由第一移位控制的行進距離可不同於到達感測器之光藉由第二移位控制的行進距離，且到達感測器之光藉由第一移位控制的行進距離可大於到達感測器之光藉由第二移位控制的行進距離。舉例而言，參考第三低解析度影像，第三低解析度影像可為自第二低解析度影像移位0.5個像素之影像，但第二低解析度影像可為自第一低解析度影像移位1個像素之影像。較佳地，光藉由第一移位控制而在感測器之平面上的行進距離可為同一列區中之鄰近有效區域的中心之間的距離之0.3至0.7倍。
又，光藉由第二移位控制而在感測器之平面上的行進距離可為第一列區之有效區域的中心與鄰近於第一列區之有效區域的第二列區之中心之間的距離之0.3至0.7倍。又，光藉由第一移位控制的行進距離可為光藉由第二移位控制之行進距離的0.5至1倍。
又，第三低解析度影像之每一像素C可安置於第一低解析度影像之每一像素A及第二低解析度影像之每一像素B的中心處。更具體而言，第三低解析度影像之每一像素C可與鄰近於其之第一低解析度影像的像素A及鄰近於其之第二低解析度影像的像素B部分地重疊。舉例而言，第三低解析度影像之每一像素C可與鄰近於其之第一低解析度影像的像素A及鄰近於其之第二低解析度影像的像素B中之每一者的一半重疊。
又，第三低解析度影像上之像素的中心CP3(在下文中被稱作「第三中心」)可安置於距鄰近於其之第一中心及鄰近於其之第二中心1個像素內。又，第三中心可安置於最鄰近第一中心之間的第一虛擬線與最鄰近第二中心之間的第二虛擬線之間的相交點處。又，如第一中心及第二中心，第三中心可安置成在第一方向及第二方向上間隔開。又，第三中心可安置成在第一方向或第二方向上以與第一中心之間的分開距離相同的長度間隔開。
又，當第一至第三低解析度影像之所有像素值重新配置於高解析度像素柵格上時，可產生解析度相較於低解析度影像之解析度增加三倍的高解析度影像圖框。
同時，算術單元可將加權值應用於經配置像素值。此處，加權值可根據像素之大小或光學路徑之行進方向而不同地設定，或可針對每一低解析度影像而不同地設定。
根據一實施例，控制單元150可藉由控制透鏡總成(例如，包括於透鏡總成中之IR濾光片318(參見圖3))之斜率的方法使輸入光信號移位。因此，控制單元150可獲得移位1個子像素之資料。控制斜率之方法可與上文參看圖13D及圖13E所描述之方法相同。
圖16及圖17A至圖17C為用於描述用於藉由根據實施例之攝影機模組獲得高解析度影像之驅動的視圖。參看圖16及圖17A至圖17C，算術單元可使用在同一積分時間(亦即，同一圖框)內產生之複數個低解析度子圖框來提取低解析度深度資訊之複數個片段。又，算術單元可重新配置低解析度深度資訊之複數個片段的像素值，且提取高解析度深度資 訊。又，在使用控制單元之狀況下，低解析度深度資訊之複數個片段可各自對應於輸入光信號之不同光學路徑。
舉例而言，算術單元可使用複數個電信號來產生低解析度子圖框1-1至4-8。低解析度子圖框1-1至1-8為在第一積分時間內產生之低解析度子圖框。低解析度子圖框2-1至2-8為在第二積分時間內產生之低解析度子圖框。低解析度子圖框3-1至3-8為在第三積分時間內產生之低解析度子圖框。低解析度子圖框4-1至4-8為在第四積分時間內產生之低解析度子圖框。接著，算術單元將深度資訊提取技術應用於在每一積分時間內產生之複數個低解析度子圖框，且提取低解析度深度資訊LRD-1至LRD-4之片段。低解析度深度資訊LRD-1為使用子圖框1-1至1-8提取之低解析度深度資訊。低解析度深度資訊LRD-2為使用子圖框2-1至2-8提取之低解析度深度資訊。低解析度深度資訊LRD-3為使用子圖框3-1至3-8提取之低解析度深度資訊。低解析度深度資訊LRD-4為使用子圖框4-1至4-8提取之低解析度深度資訊。又，算術單元重新配置低解析度深度資訊LRD-1至LRD-4之片段的像素值，且提取高解析度深度資訊HRD。
替代地，如上文所描述，算術單元可重新配置對應於同一參考信號之複數個子圖框的像素值，且產生高解析度子圖框。此處，複數個子圖框各自對應於輸入光信號之不同光學路徑。又，算術單元可使用複數個高解析度子圖框來提取高解析度深度資訊。
舉例而言，如在圖17A中，算術單元可使用複數個電信號來產生低解析度子圖框1-1至4-8。低解析度子圖框1-1至1-8為在第一積分時間內產生之低解析度子圖框。低解析度子圖框2-1至2-8為在第二積分時間內產生之低解析度子圖框。低解析度子圖框3-1至3-8為在第三積分時間內產生之低解析度子圖框。低解析度子圖框4-1至4-8為在第四積分時間內產生之低解析度子圖框。此處，低解析度子圖框1-1、2-1、3-1及4-1對應於同一參考信號C1，但對應於不同光學路徑。接著，算術單元可重新配置低解析度子圖框1-1、2-1、3-1及4-1之像素值，且產生高解析度子圖框H-1。當以此方式產生高解析度子圖框H-1至H-8時，算術單元可將深度資 訊提取技術應用於高解析度子圖框H-1至H-8且提取高解析度深度資訊HRD。
更具體而言，上述低解析度子圖框1-1至1-8及低解析度子圖框2-1至2-8可藉由與第一實施例及第二實施例中相同的方法產生。又，低解析度子圖框3-1至3-8可藉由與第二實施例中相同的方法產生。因此，將省略其描述，且將描述如圖17A至圖17C中所說明之產生低解析度子圖框4-1至4-8的方法。
又，此處，假定使用四個4×4低解析度影像來產生單個4×8高解析度影像。此處，高解析度像素柵格具有4×8個像素，其與高解析度影像之像素相同。然而，像素之數目不限於此。又，低解析度影像可具有涵蓋低解析度子圖框及低解析度深度資訊之含義，且高解析度影像可具有涵蓋高解析度子圖框及高解析度深度資訊之含義。
如上文在第一實施例及第二實施例中所描述，第一至第四低解析度影像為藉由利用控制單元使光學路徑移位而俘獲之影像。亦即，控制單元可在第四積分時間內使光學路徑在相對於第三積分時間之第三行進方向上移位第一行進距離。此處，第四積分時間為在第三積分時間之後的積分時間。因此，如在上文所描述之第一實施例或第二實施例中，第四低解析度影像可由算術單元在第四積分時間內產生。
又，算術單元在光學路徑已相對於光學路徑尚未移位之第一低解析度影像移位的方向上重新配置第二至第四低解析度影像之像素值，以對應於高解析度影像。舉例而言，第四低解析度影像可在第三積分時間結束之後藉由控制單元使輸入信號之光學路徑相對於感測器向左移位1個像素而產生。同樣地，第三行進方向可為與第一行進方向相反之方向，且在第一行進方向為向右之狀況下，第三行進方向為向左。
因此，為了產生第四低解析度影像，根據第三實施例之攝影機模組可自第四輸入區域I4產生第四低解析度影像，該第四輸入區域係藉由以與第一實施例中藉由控制單元進行之驅動相同的方式驅動而獲得，除了將方向設定為相反以外。此處，第四輸入區域I4之中心CP4(在下文中 被稱作「第四中心」)可與第三中心CP3在第一方向及第二方向上交替地安置。又，第四中心CP4可安置於第一中心CP1與第二中心CP2之間。又，如第三低解析度影像之每一像素C，第四低解析度影像之每一像素D可安置於第一低解析度影像之每一像素A的中心及第二低解析度影像之每一像素B的中心處。因此，第四低解析度影像之每一像素D可與鄰近於其之第一低解析度影像的像素A及鄰近於其之第二低解析度影像的像素B部分地重疊。舉例而言，第四低解析度影像之每一像素D可與鄰近於其之第一低解析度影像的像素A及鄰近於其之第二低解析度影像的像素B中之每一者的一半重疊。
又，如上文所描述，第一低解析度影像可對應於第一輸入區域，第二低解析度影像可對應於第二輸入區域，第三低解析度影像可對應於第三輸入區域，且第四低解析度影像可對應於第四輸入區域。亦即，第一低解析度影像之第一影像像素可對應於第一輸入區域之第一像素，第二低解析度影像之第二影像像素可對應於第二輸入區域之第一像素，第三低解析度影像之第三影像像素可對應於第三輸入區域之第一像素，且第四低解析度影像之第四影像像素可對應於第四輸入區域之第一像素。又，如上文所描述，第一影像像素至第四影像像素可對應於每一低解析度影像或第一輸入影像之第一像素。
舉例而言，第二低解析度影像之像素B可配置在安置於第一低解析度影像之像素A右側的像素中，第三低解析度影像之像素C可配置在安置於第二低解析度影像之每一像素B下方的像素中，且第四低解析度影像之像素D可配置在安置於第三低解析度影像之像素C左側的像素中。藉由此組態，根據第三實施例之攝影機模組可在高解析度像素柵格上重新配置第一至第四低解析度影像之所有像素值，且提供解析度相較於低解析度影像之解析度增加四倍的高解析度影像圖框。
另外，算術單元可將加權值應用於經配置像素值。此處，加權值可根據子像素之大小或光學路徑之行進方向而不同地設定，或可針對每一低解析度影像而不同地設定。
又，根據一實施例，控制單元150可藉由控制透鏡總成(例如，包括於透鏡總成中之IR濾光片318(參見圖3))之斜率的方法使輸入光信號移位。因此，控制單元150可獲得移位預定像素之資料。控制斜率之方法可與上文參看圖13D及圖13E所描述之方法相同。
又，作為修改實例，算術單元可藉由對第一低解析度影像及第二低解析度影像應用內插來產生第四低解析度影像。亦即，可使用低解析度子圖框1-1至1-8及低解析度子圖框2-1至2-8來產生低解析度子圖框4-1至4-8。
換言之，作為修改實例，可在不藉由控制單元執行移位之情況下產生第四低解析度子圖框4-1至4-8。
具體而言，為此目的，算術單元可運算與對應於第四中心之像素有關的像素值，此係藉由對鄰近於該像素之子圖框1-1至1-8的像素及鄰近於該像素之子圖框2-1至2-8的像素使用內插技術來進行。
在一實施例中，可應用線性內插、多項式內插、樣條內插、指數內插、對數線性內插、拉格朗日內插、牛頓內插、雙線性內插、地理內插及其類似者作為內插技術。
舉例而言，算術單元可藉由自對應於以下各者之像素值反映出加權值來運算對應於第四中心之像素值：最鄰近於第四中心之兩個第一中心，及最鄰近於第四中心之兩個第二中心。此處，因為對於鄰近於第四中心之第一中心及第二中心，距第四中心之距離相同，所以上文所提及之加權值可彼此相同。藉由此方法，可改善內插技術之處理速度。
又，換言之，第四低解析度影像可包括第四影像像素，且第四影像像素可安置於最鄰近於其之兩個第一影像像素及最鄰近於兩個第一影像像素之兩個第二影像像素的中心處。亦即，第四影像像素可藉由對最鄰近於其之兩個第一影像像素及最鄰近於兩個第一影像像素之兩個第二影像像素應用內插來運算。藉由此方法，算術單元可產生基於對應於使用內插技術獲得之第四中心之像素值的低解析度子圖框4-1至4-8。
換言之，藉由在藉由第一移位控制之到達感測器的光與藉由 第二移位控制之到達感測器的光之間應用內插，有可能運算藉由第一移位控制之到達感測器的最鄰近光(對應於最鄰近於其之兩個第一影像像素)及最鄰近於藉由第一移位控制之到達感測器的最鄰近光之光(對應於第二影像像素)的中心(第四影像像素)之光。下文可相同地應用此內插技術。
又，如上文所描述，根據第三實施例之攝影機模組可在高解析度像素柵格上重新配置第一至第四低解析度影像之所有像素值，且提供解析度相較於低解析度影像之解析度增加四倍的高解析度影像圖框。
又，第四影像像素可能不與第三影像像素重疊。因此，可改善像素值之準確度。
圖18及圖19A至圖19C為用於描述用於藉由根據實施例之攝影機模組獲得高解析度影像之驅動的視圖。
參看圖18及圖19A至19C，算術單元可使用在同一積分時間(亦即，同一圖框)內產生之複數個低解析度子圖框來提取低解析度深度資訊之複數個片段。又，算術單元可使用該複數個低解析度子圖框來產生複數個低解析度子圖框。此外，算術單元可重新配置低解析度深度資訊之複數個片段的像素值，且提取高解析度深度資訊。又，在使用控制單元之狀況下，低解析度深度資訊之複數個片段可各自對應於輸入光信號之不同光學路徑。
舉例而言，算術單元可使用複數個電信號來產生低解析度子圖框1-1至4-8。低解析度子圖框1-1至1-8為在第一積分時間內產生之低解析度子圖框。低解析度子圖框2-1至2-8為在第二積分時間內產生之低解析度子圖框。低解析度子圖框1-1至1-8及低解析度子圖框2-1至2-8可與上文在第一至第三實施例中所描述之彼等子圖框相同。
然而，根據第四實施例，算術單元可使用第一低解析度子圖框1-1至1-8及第二低解析度子圖框2-1至2-8來產生第三低解析度子圖框3-1至3-8及第四低解析度子圖框4-1至4-8。
具體而言，可使用低解析度子圖框1-1至1-8及低解析度子圖框2-1至2-8來產生低解析度子圖框3-1至3-8。換言之，可在不藉由控 制單元執行移位之情況下產生低解析度子圖框3-1至3-8。
又，可使用低解析度子圖框1-1至1-8及低解析度子圖框2-1至2-8來產生低解析度子圖框4-1至4-8。換言之，可在不藉由控制單元進行移位之情況下產生低解析度子圖框4-1至4-8。
為此目的，算術單元可運算與對應於第三中心之像素有關的像素值，此係藉由對鄰近於該像素之子圖框1-1至1-8的像素及鄰近於該像素之子圖框2-1至2-8的像素使用內插技術來進行。
同樣地，算術單元可運算與對應於第四中心之像素有關的像素值，此係藉由對鄰近於該像素之子圖框1-1至1-8的像素及鄰近於該像素之子圖框2-1至2-8的像素使用內插技術來進行。換言之，第四低解析度影像可包括第四影像像素，且第四影像像素可安置於最鄰近於其之兩個第一影像像素及最鄰近於兩個第一影像像素之兩個第二影像像素的中心處。
如上文所描述，可應用線性內插、多項式內插、樣條內插、指數內插、對數線性內插、拉格朗日內插、牛頓內插、雙線性內插、地理內插及其類似者作為內插技術。
又，算術單元可藉由自對應於以下各者之像素值反映出加權值來運算對應於第三中心之像素值：最鄰近於第三中心之兩個第一中心，及最鄰近於第三中心之兩個第二中心。此處，因為對於鄰近於第三中心之第一中心及第二中心，距第三中心之距離相同，所以上文所提及之加權值可彼此相同。藉由此方法，可改善內插技術之處理速度。
同樣地，算術單元可藉由自對應於以下各者之像素值反映出加權值來運算對應於第四中心之像素值：最鄰近於第四中心之兩個第一中心，及最鄰近於第四中心之兩個第二中心。又，因為對於鄰近於第四中心之第一中心及第二中心，距第四中心之距離相同，所以上文所提及之加權值可彼此相同。
此處，第三中心可使用用以運算鄰近於第三中心之第四像素之像素值的像素值中之一些。舉例而言，在運算像素值時，彼此鄰近之第三中心及第四中心可共用第一中心之至少一個像素值及第二中心之至少一個 像素值。
藉由此方法，算術單元可產生基於對應於使用內插技術獲得之第三中心之像素值的低解析度子圖框3-1至3-8。又，算術單元可產生基於對應於第四中心之像素值的低解析度子圖框4-1至4-8。
因此，根據第四實施例之攝影機模組可在高解析度像素柵格上重新配置第一至第四低解析度影像之所有像素值，且提供解析度相較於低解析度影像之解析度增加四倍的高解析度影像圖框。
又，算術單元可將深度資訊提取技術應用於藉由上述方法產生之複數個低解析度子圖框，且提取低解析度深度資訊LRD-1至LRD-4之片段。又，低解析度深度資訊LRD-1為使用子圖框1-1至1-8提取之低解析度深度資訊。低解析度深度資訊LRD-2為使用子圖框2-1至2-8提取之低解析度深度資訊。低解析度深度資訊LRD-3為使用子圖框3-1至3-8提取之低解析度深度資訊。低解析度深度資訊LRD-4為使用子圖框4-1至4-8提取之低解析度深度資訊。
又，算術單元重新配置低解析度深度資訊LRD-1至LRD-4之片段的像素值，且提取高解析度深度資訊HRD。
又，算術單元可重新配置低解析度子圖框1-1、2-1、3-1及4-1之像素值，且產生高解析度子圖框H-1。
替代地，如上文在第三實施例中所給出之描述，可重新配置低解析度子圖框之像素。換言之，算術單元可產生第一至第四低解析度影像。
具體而言，算術單元可產生在第一積分時間期間產生且包括物件之深度資訊的第一低解析度影像，及在第二積分時間期間產生且包括物件之深度資訊的第二低解析度影像。又，算術單元可藉由對第一低解析度影像及第二低解析度影像應用內插來產生第三低解析度影像，且藉由對第一低解析度影像及第二低解析度影像應用內插來產生第四低解析度影像。
此處，第一低解析度影像可包括對應於第一像素之第一影像像素，且第二低解析度影像可包括對應於第一像素之第二影像像素。
又，在本發明實施例中，第三低解析度影像及第四低解析度影像可分別包括第三影像像素及第四影像像素，該等像素安置於最鄰近於其之兩個第一影像像素及最鄰近於兩個第一影像像素之兩個第二影像像素的中心處。此外，第三影像像素及第四影像像素係藉由對最鄰近於其之兩個第一影像像素及最鄰近於兩個第一影像像素之兩個第二影像像素應用內插來運算，且第三影像像素及第四影像像素可在第一方向及第二方向上交替地安置。
亦即，第二低解析度影像之像素B可配置在安置於第一低解析度影像之像素A右側的像素中，第三低解析度影像之像素C可配置在安置於第二低解析度影像之每一像素B下方的像素中，且第四低解析度影像之像素D可配置在安置於第三低解析度影像之像素C左側的像素中。又，當藉由重新配置像素值產生高解析度子圖框H-1至H-8時，算術單元可將深度資訊提取技術應用於高解析度子圖框H-1至H-8且提取高解析度深度資訊HRD。藉由此組態，根據第四實施例之攝影機模組可在高解析度像素柵格上重新配置第一至第四低解析度影像之所有像素值，且提供解析度相較於低解析度影像之解析度增加四倍的高解析度影像圖框。
又，此處，假定使用四個4×4低解析度影像來產生單個4×8高解析度影像。此處，高解析度像素柵格具有4×8個像素，其與高解析度影像之像素相同。然而，像素之數目不限於此。又，低解析度影像可具有涵蓋低解析度子圖框及低解析度深度資訊之含義，且高解析度影像可具有涵蓋高解析度子圖框及高解析度深度資訊之含義。
此外，如上文所描述，控制單元150可藉由控制透鏡總成(例如，包括於透鏡總成中之IR濾光片318(參見圖3))之斜率的方法使輸入光信號移位。因此，控制單元150可獲得移位預定像素之資料。控制斜率之方法可與上文參看圖13D及圖13E所描述之方法相同。
圖20及圖21A至圖21C為用於描述用於藉由根據實施例之攝影機模組獲得高解析度影像之驅動的視圖。參看圖20及圖21A至圖21C，算術單元可使用在同一積分時間(亦即，同一圖框)內產生之複數個 低解析度子圖框來提取低解析度深度資訊之複數個片段。又，算術單元可使用該複數個低解析度子圖框來產生複數個低解析度子圖框。此外，算術單元可重新配置低解析度深度資訊之複數個片段的像素值，且提取高解析度深度資訊。在使用控制單元之狀況下，低解析度深度資訊之複數個片段可各自對應於光學信號或輸入光信號之不同光學路徑。
舉例而言，算術單元可使用複數個電信號來產生低解析度子圖框1-1至4-8。低解析度子圖框1-1至1-8為在第一積分時間內產生之低解析度子圖框。低解析度子圖框2-1至2-8為在第二積分時間內產生之低解析度子圖框。低解析度子圖框1-1至1-8及低解析度子圖框2-1至2-8可與上文在第一至第三實施例中所描述之彼等子圖框相同。
亦可藉由上述第三實施例或第四實施例中之任一者產生低解析度子圖框3-1至3-8及低解析度子圖框4-1至4-8。
因此，算術單元將深度資訊提取技術應用於在每一積分時間內產生之複數個低解析度子圖框，且提取低解析度深度資訊LRD-1至LRD-4之片段。低解析度深度資訊LRD-1為使用子圖框1-1至1-8提取之低解析度深度資訊。低解析度深度資訊LRD-2為使用子圖框2-1至2-8提取之低解析度深度資訊。低解析度深度資訊LRD-3為使用子圖框3-1至3-8提取之低解析度深度資訊。低解析度深度資訊LRD-4為使用子圖框4-1至4-8提取之低解析度深度資訊。
此處，根據第五實施例，算術單元可進一步產生低解析度子圖框5-1至8-8。換言之，算術單元可藉由對第一低解析度影像至第四低解析度影像應用內插來運算第五低解析度影像至第八低解析度影像。
具體而言，算術單元可藉由使用子圖框1-1至1-8、子圖框2-1至2-8、子圖框3-1至3-8及子圖框4-1至4-8來產生子圖框5-1至5-8、子圖框6-1至6-8、子圖框7-1至7-8及子圖框8-1至8-8。此處，算術單元可運算子圖框5-1至5-8、子圖框6-1至6-8、子圖框7-1至7-8及子圖框8-1至8-8，此係藉由對鄰近於該等子圖框之低解析度子圖框1-1至1-8、子圖框2-1至2-8、子圖框3-1至3-8及子圖框4-1至4-8使用內插技術來進行。 內插技術可與上文在第四實施例中所描述之內插技術相同。
更具體而言，第五低解析度影像至第八低解析度影像可分別包括第五影像像素至第八影像像素。此處，第五影像像素至第八影像像素可安置於第一影像像素、最鄰近於第一影像像素之第二影像像素、最鄰近於第一影像像素及最鄰近於第一影像像素之第二影像像素的第三影像像素以及最鄰近於第一影像像素及最鄰近於第一影像像素之第二影像像素的第四影像像素的中心處。此處，第五影像像素及第六影像像素可在第一方向及第二方向上交替地安置，且第七影像像素及第八影像像素可在第一方向及第二方向上交替地安置。
以此方式，子圖框5-1至5-8之像素E及子圖框6-1至6-8之像素F可在第一方向上平行於子圖框1-1至1-8之像素A及子圖框2-1至2-8之像素B而安置。舉例而言，子圖框5-1至5-8之像素E及子圖框6-1至6-8之像素F可安置於在第一方向上連接子圖框1-1至1-8及子圖框2-1至2-8之虛擬線上。又，子圖框5-1至5-8之像素E及子圖框6-1至6-8之像素F可重複地交替安置。
又，子圖框7-1至7-8之像素G及子圖框8-1至8-8之像素H可在第二方向上平行於子圖框1-1至1-8之像素A及子圖框2-1至2-8之像素B而安置。舉例而言，子圖框7-1至7-8之像素G及子圖框8-1至8-8之像素H可安置於在第二方向上連接子圖框1-1至1-8及子圖框2-1至2-8之虛擬線上。又，子圖框7-1至7-8之像素G及子圖框8-1至8-8之像素H可重複地交替安置。
又，算術單元可重新配置低解析度深度資訊LRD-1至LRD-8之片段的像素值，且提取高解析度深度資訊HRD。
舉例而言，算術單元可重新配置低解析度子圖框1-1、2-1、3-1、4-1、5-1、6-1、7-1及8-1之像素值，且產生高解析度子圖框H-1。基於以上描述，算術單元可在第一低解析度影像之像素A右側配置第五低解析度影像之像素E，在第五低解析度影像之像素E右側配置第二低解析度影像之像素B，在第二低解析度影像之像素B右側配置第六低解析度影像 之像素F，在第六低解析度影像之像素F下側配置第三低解析度影像之像素C，在第三低解析度影像之像素C左側配置第八低解析度影像之像素H，在第八低解析度影像之像素H左側配置第四低解析度影像之像素D，且在第四低解析度影像之像素D左側配置第七低解析度影像之像素G。
當藉由重新配置像素或像素值產生高解析度子圖框H-1至H-8時，算術單元可將深度資訊提取技術應用於高解析度子圖框H-1至H-8且提取高解析度深度資訊HRD。
換言之，根據第五實施例，假設可使用四個4×4低解析度影像產生單個8×8高解析度影像。此處，高解析度像素柵格可具有8×8個像素，其與高解析度影像之像素相同。又，此處，低解析度影像可具有涵蓋低解析度子圖框及低解析度深度資訊之含義，且高解析度影像可具有涵蓋高解析度子圖框及高解析度深度資訊之含義。
以此方式，當第一至第八低解析度影像之所有像素值重新配置於高解析度像素柵格上時，可產生解析度相較於低解析度影像之解析度增加八倍的高解析度影像圖框。
同時，算術單元可將加權值應用於經配置像素值。此處，加權值可根據子像素之大小或光學路徑之行進方向而不同地設定，或可針對每一低解析度影像而不同地設定。
根據一實施例，算術單元可藉由控制透鏡總成(例如，包括於透鏡總成中之IR濾光片318(參見圖3))之斜率的方法使輸入光信號移位。因此，算術單元可獲得移位1個子像素之資料。控制斜率之方法可與上文參看圖13D及圖13E所描述之方法相同。
圖22為用於描述根據本發明之實施例之感測器的操作機制之視圖。
感測器130可經由第一相位參考信號及由複數個第一像素當中配置於第(2n-1)行或(2n-1)列中之第一像素接收的輸入光信號產生複數個第一電信號。感測器130可經由第一相位參考信號及由配置於第一列區中之第一像素接收的輸入光信號產生複數個第一電信號。此處，第(2n- 1)行、第(2n-1)列及第一列區可指奇數行及奇數列。
感測器130可經由第三相位參考信號及由複數個第一像素當中配置於第(2n-1)行或第(2n-1)列中之第一像素接收的輸入光信號產生第三電信號。感測器130可經由第三相位參考信號及由配置於第一列區中之第一像素接收的輸入光信號產生複數個第三電信號。此處，第(2n-1)行、第(2n-1)列及第一列區可指奇數行及奇數列。
此處，n可為正整數，且第一相位與第三相位可具有180°之相位差。
又，感測器130可經由第二相位參考信號及複數個第一像素當中配置於第(2n)行或第(2n)列中之第一像素接收的輸入光信號產生複數個第二電信號。感測器130可經由第二相位參考信號及由配置於第二列區中之第一像素接收的輸入光信號產生複數個第二電信號。此處，第(2n)行、第(2n)列及第二列區可指偶數行及偶數列。
感測器130可經由第四相位參考信號及複數個第一像素當中配置於第(2n)行或第(2n)列中之第一像素接收的輸入光信號產生第四電信號。感測器130可經由第四相位參考信號及由配置於第二列區中之第一像素接收的輸入光信號產生複數個第四電信號。此處，第(2n)行、第(2n)列及第二列區可指偶數行及偶數列。
此處，n可為正整數。第二相位與第四相位可具有180°之相位差，且第二相位與第一相位可具有90°之相位差。
將參看圖22詳細描述根據本發明之第一實施例的感測器130之操作機制。圖22(a)展示同相且圖22(b)展示異相。
如圖22(a)中所說明，在同相時，可在配置於第一列及第三列(亦即，第(2n-1)列)中之複數個第一像素中產生對應於第一相位之複數個第一電信號E1。另一方面，可在配置於第二列及第四列(亦即，第(2n)列)中之第一像素中產生對應於第二相位之第一電信號E2。
又，如圖12(b)中所說明，在異相時，可在配置於第一列及第三列(亦即，第(2n-1)列)中之複數個第一像素中產生對應於第三相位 之複數個第三電信號E3。另一方面，可在配置於第二列及第四列(亦即，第(2n)列)中之第一像素中產生對應於第四相位之第四電信號E4。
因此，在自同相繼續至異相之單個積分時間內，可在配置於第一列及第三列(亦即，第(2n-1)列(例如，奇數列))中之第一像素中產生第一電信號E1及第三電信號E3。又，可在配置於第二列及第四列(亦即，第(2n)列(例如，偶數列))中之第一像素中產生第二電信號E2及第四電信號E4。因此，可在配置於第(2n-1)列中之第一像素及配置於第(2n)列中之第一像素中產生對應於不同相位之兩個電信號。
圖23為用於描述根據本發明之實施例之第一像素資訊的視圖。
算術單元140可轉換第一至第四電信號且產生第一像素資訊。此處，第一像素資訊可指藉由轉換第一至第四電信號而產生之子圖框的像素值。
舉例而言，在如圖22中產生電信號之狀況下，第一像素資訊可如圖23中所展示。圖23(a)展示藉由轉換第一電信號而產生之第一子圖框。第一子圖框包括關於配置於第一列及第三列中之四個第一像素的第一像素資訊D1，但不包括關於第一像素之像素資訊及關於配置於第二列及第四列中之第二像素的像素資訊。
圖23(b)展示藉由轉換第二電信號而產生之第二子圖框。第二子圖框包括關於配置於第二列及第四列中之四個第一像素的第一像素資訊D2，但不包括關於第一像素之像素資訊及關於配置於第一列及第三列中之第二像素的像素資訊。
圖23(c)展示藉由轉換第三電信號而產生之第三子圖框。第三子圖框包括關於配置於第一列及第三列中之四個第一像素的第一像素資訊D3，但不包括關於第一像素之像素資訊及關於配置於第二列及第四列中之第二像素的像素資訊。
圖23(d)展示藉由轉換第四電信號而產生之第四子圖框。第四子圖框包括關於配置於第二列及第四列中之四個第一像素的第一像素資 訊D4，但不包括關於第一像素之像素資訊及關於配置於第一列及第三列中之第二像素的像素資訊。
如上文所描述，需要具有所有像素值之四個相位的子圖框影像以產生深度影像。然而，經由電信號產生之像素資訊僅在每一子圖框影像中提供一些像素值。舉例而言，經由第一像素資訊D1產生之第一子圖框影像僅可具有總計十六個像素值當中的四個像素值。因此，需要並非經由每一子圖框影像中之第一像素資訊產生的像素值以產生深度影像。
圖24及圖25為用於描述根據本發明之實施例的運算第二像素資訊之程序的視圖。
算術單元140可藉由對第一像素資訊執行內插來運算第二像素資訊。此處，第二像素資訊可指子圖框影像之像素值當中除第一像素資訊以外的像素值。亦即，第二像素資訊可指子圖框影像之像素值當中除經由電信號轉換產生之彼等像素值以外的像素值。
首先，算術單元140可藉由內插對應於第一像素之第一像素資訊來運算對應於第二像素之第二像素資訊。如圖24中所說明，對應於第二像素之第二像素資訊可藉由內插對應於鄰近於第二像素之複數個第一像素的第一像素資訊來運算。亦即，對應於第二像素之第二像素資訊可藉由內插對應於四個第一像素之第一像素資訊來運算，該四個第一像素自第二像素之頂部、底部、左方及右方鄰近於第二像素。此處，在配置於最外部分處之第二像素的狀況下，第二像素資訊可藉由內插對應於四個第一像素當中之兩個或三個第一像素的第一像素資訊來運算，該四個第一像素自第二像素之頂部、底部、左方及右方鄰近於第二像素。
參看圖24，算術單元140可藉由針對每一相位內插第一像素資訊之兩個片段來運算對應於第二像素之第二像素資訊。舉例而言，參看圖24(a)，算術單元140可藉由內插對應於第一相位參考信號之第一像素資訊D1的兩個片段及對應於第二相位之第一像素資訊D2的兩個片段來運算關於第二像素之第二像素資訊。舉例而言，參看圖24(b)，算術單元140可藉由內插對應於第三相位參考信號之第一像素資訊D3的兩個片段及對應 於第四相位之第一像素資訊D4的兩個片段來運算關於第二像素之第二像素資訊。同時，在配置於最外部分處之第二像素的狀況下，第二像素資訊可經由第一像素資訊之兩個或三個片段來運算。
以此方式，算術單元140可運算與對應於第一至第四相位之第一至第四子圖框影像有關的第二像素之像素值。舉例而言，在圖24(a)中運算之關於第二像素的第二像素資訊可設定為第一子圖框影像及第二子圖框影像之第二像素的像素值。在圖24(b)中運算之關於第二像素的第二像素資訊可設定為第三子圖框影像及第四子圖框影像之第二像素的像素值。
接下來，算術單元140可藉由內插對應於第一像素之第一像素資訊來運算對應於第一像素之第二像素資訊。如圖25中所說明，對應於第一像素之第二像素資訊可藉由內插對應於鄰近於第一像素之複數個第一像素的第一像素資訊來運算。亦即，算術單元140可藉由內插對應於在對角線方向上鄰近於第一像素之另外四個第一像素的第一像素資訊來運算對應於第一像素之第二像素資訊。
參看圖25，對於每一第一像素，對應於第一像素之第一像素資訊可具有對應於第一相位及第三相位之第一像素資訊或對應於第二相位及第四相位之第一像素資訊。亦即，可能不存在對應於兩個相位之子圖框影像的像素值。因此，算術單元140可藉由內插存在於在對角線方向上鄰近於第一像素之另外四個第一像素中的第一像素資訊來運算對應於第一像素之第二像素資訊。
將參考圖25中所展示之實例給出詳細描述。參看圖25(a)，在對應於第一相位之子圖框中，第一列及第三列中之第一像素可具有第一像素資訊D1，但第二列及第四列中之第一像素可能不具有第一像素資訊。因此，算術單元140可藉由自第二列及第四列中之第一像素內插關於在對角線上安置之第一像素的第一像素資訊來運算第二像素資訊B1。
參看圖25(b)，在對應於第二相位之子圖框中，第二列及第四列中之第一像素可具有第一像素資訊D1，但第一列及第三列中之第一像素可能不具有第一像素資訊。因此，算術單元140可藉由自第一列及第三 列中之第一像素內插關於在對角線上安置之第一像素的第一像素資訊來運算第二像素資訊B2。
參看圖25(c)，在對應於第三相位之子圖框中，第一列及第三列中之第一像素可具有第一像素資訊D3，但第二列及第四列中之第一像素可能不具有第一像素資訊。因此，算術單元140可藉由自第二列及第四列中之第一像素內插關於在對角線上安置之第一像素的第一像素資訊來運算第二像素資訊B3。
參看圖25(d)，在對應於第四相位之子圖框中，第二列及第四列中之第一像素可具有第一像素資訊D4，但第一列及第三列中之第一像素可能不具有第一像素資訊。因此，算術單元140可藉由自第一列及第三列中之第一像素內插關於在對角線上安置之第一像素的第一像素資訊來運算第二像素資訊B4。
圖26為說明根據實施例之四個子圖框的視圖。
圖26展示經由第二像素資訊產生之子圖框，該第二像素資訊係藉由算術單元140根據圖24及圖25運算。
圖26(a)為對應於第一相位之第一子圖框影像，圖26(b)為對應於第二相位之第二子圖框影像，圖26(c)為對應於第三相位之第三子圖框影像，且圖26(d)為對應於第四相位之第四子圖框影像。
上文參看圖22所描述之第一至第四子圖框僅具有總計十六個像素當中之四個像素。然而，在根據本發明之實施例運算第二像素資訊的狀況下，第一至第四子圖框可具有所有十六個像素之像素值。
圖27為用於描述根據本發明之實施例之感測器的操作機制之視圖。
參看圖27(a)，感測器130可經由第一相位參考信號及由複數個第一像素當中配置於第(4n-3)列、第(4n-2)行中之第一像素接收的輸入光信號產生複數個第一電信號。又，感測器130可經由第三相位參考信號及由複數個第一像素當中配置於第(4n-3)列、第(4n-2)行中之第一像素接收的輸入光信號產生複數個第三電信號。此處，n可為正整數，且第 一相位與第三相位可具有180°之相位差。
感測器130可經由第二相位參考信號及複數個第一像素當中配置於第(4n-2)列、第(4n-3)行中之第一像素接收的輸入光信號產生複數個第二電信號。又，感測器130可經由第四相位參考信號及複數個第一像素當中配置於第(4n-2)列、第(4n-3)行中之第一像素接收的輸入光信號產生複數個第四電信號。第二相位與第四相位可具有180°之相位差，且第二相位與第一相位可具有90°之相位差。感測器130亦可根據圖27(b)中所展示之修改實例操作。
在實施例中，算術單元140可藉由內插對應於某一相位之第一像素資訊來運算對應於相同相位之第二像素資訊。
算術單元140可藉由內插對應於第一像素之第一像素資訊來運算對應於第二像素之第二像素資訊。此處，對應於第二像素之第二像素資訊可藉由內插對應於鄰近於第二像素之複數個第一像素的第一像素資訊來運算。
算術單元140可藉由內插對應於第一像素之第一像素資訊來運算對應於第一像素之第二像素資訊。此處，對應第一像素之第二像素資訊可藉由內插對應於鄰近於第一像素之複數個第一像素的第一像素資訊來運算。
上文已參考本發明之實施例描述了本發明，但該等實施例僅為實例且並不限制本發明。一般熟習本發明相關技術者應理解，在不背離本文中所描述之實施例的基本特性之範疇內，上文未描述之各種修改及應用為可能的。舉例而言，可修改及實踐實施例中特定展示之每一元件。又，與此等修改及應用有關之差異應解譯為屬於由所附申請專利範圍界定之本發明的範疇內。
130:感測器
140:算術單元
CP1:第一中心
CP2:第二中心
I1:第一輸入區域
I2:第二輸入區域
RR1:第一列區
RR2:第二列區
θa:第一角度

Claims (15)

  1. 一種攝影機模組，其包含：
    一光輸出單元，其經組態以將一光學信號輸出至一物件；
    一光學單元，其經組態以使自該物件反射之該光學信號通過；
    一感測器，其經組態以接收通過該光學單元之該光學信號；及
    一控制單元，其經組態以使用由該感測器接收之該光學信號來獲取該物件之深度資訊，
    其中該感測器包括安置有一光接收元件之一有效區域及除該有效區域以外的一無效區域，
    該感測器包括一第一列區及一第二列區，在該第一列區中，該有效區域及該無效區域在一列方向上交替地安置，在該第二列區中，該有效區域及該無效區域在該列方向上交替地安置，且該有效區域安置於在一行方向上不與該第一列區之該有效區域重疊的一位置處，
    到達該第一列區之該有效區域的光藉由第一移位控制來控制以到達該第一列區之該無效區域或該第二列區之該無效區域，且
    到達該第二列區之該有效區域的光藉由該第一移位控制來控制以到達該第二列區之該無效區域或該第一列區之該無效區域。
  2. 如申請專利範圍第1項所述之攝影機模組，其中到達該第一列區之該無效區域的光藉由第二移位控制來控制以朝向鄰近於該第一列區之該無效區域的該第二列區之該無效區域移位。
  3. 如申請專利範圍第1項所述之攝影機模組，其中到達該第一列區之該有效區域的該光藉由第二移位控制來控制以朝向鄰近於該第一列區之該有效區域的該第二列區之該有效區域移位。
  4. 如申請專利範圍第2項或第3項所述之攝影機模組，其中到達該感測器之光藉由該第一移位控制而在該感測器之一平面上的一行進距離不同於到達該感測器之光藉由該第二移位控制而在該感測器之該平面上的一行進距離。
  5. 如申請專利範圍第4項所述之攝影機模組，其中在該感測器之該平面 上，該光藉由該第一移位控制之該行進距離大於到達該感測器之該光藉由該第二移位控制的該行進距離。
  6. 如申請專利範圍第5項所述之攝影機模組，其中該光藉由該第一移位控制而在該感測器之該平面上的該行進距離為同一列區中之鄰近有效區域的中心之間的一距離之0.3至0.7倍。
  7. 如申請專利範圍第5項所述之攝影機模組，其中該光藉由該第二移位控制而在該感測器之該平面上的該行進距離為該第一列區之該有效區域的一中心與鄰近於該第一列區之該有效區域的該第二列區之一中心之間的一距離之0.3至0.7倍。
  8. 如申請專利範圍第5項所述之攝影機模組，其中在該感測器之該平面上，該光藉由該第一移位控制之該行進距離為該光藉由該第二移位控制之該行進距離的0.5至1倍。
  9. 如申請專利範圍第1項所述之攝影機模組，其中一光學路徑由該光學單元控制以控制由該第一列區之該有效區域接收的光以到達該第一列區之該無效區域，且移位控制由該第二列區之該有效區域接收的光以到達該第二列區之該無效區域。
  10. 如申請專利範圍第9項所述之攝影機模組，其中：
    該光學單元包括一紅外線通過式濾光片；且
    該紅外線通過式濾光片傾斜且藉由該移位控制來控制。
  11. 如申請專利範圍第2項所述之攝影機模組，其中：
    該光學單元包括焦點可調整之一可變透鏡；且
    該可變透鏡藉由該移位控制來調整及控制。
  12. 如申請專利範圍第11項所述之攝影機模組，其中該可變透鏡包括以下各者中之至少一者：包括至少一種液體之一液體透鏡、一聚合物透鏡、一液晶透鏡、一音圈馬達(VCM)透鏡、一形狀記憶合金(SMA)透鏡及一微機電系統(MEMS)透鏡。
  13. 如申請專利範圍第1項所述之攝影機模組，其進一步包含一算術單元，該算術單元經組態以藉由使用自該光輸出單元輸出之該光學信號與由 該感測器接收之該光學信號之間的一時間差或使用在該感測器之複數個積分時間期間獲取的複數個資訊片段來獲取該物件之深度資訊，在該複數個積分時間期間，該感測器之該有效區域在不同相位下積分。
  14. 如申請專利範圍第13項所述之攝影機模組，其中該算術單元藉由使用在該移位控制之前及在該移位控制之後由該感測器獲取的資訊片段來獲取解析度高於該感測器之深度資訊。
  15. 如申請專利範圍第13項所述之攝影機模組，其中該算術單元在藉由該第一移位控制之到達該感測器的光與藉由該第二移位控制之到達該感測器的光之間應用內插，且運算到達藉由該第一移位控制之到達該感測器的最鄰近光及最鄰近於藉由該第一移位控制之到達該感測器的該最鄰近光的光之一中心的光。
TW109108291A 2019-03-11 2020-03-11 攝影機模組 TW202044823A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2019-0027786 2019-03-11
KR1020190027787A KR20200108736A (ko) 2019-03-11 2019-03-11 카메라 모듈
KR1020190027786A KR20200108735A (ko) 2019-03-11 2019-03-11 카메라 장치
KR10-2019-0027787 2019-03-11

Publications (1)

Publication Number Publication Date
TW202044823A true TW202044823A (zh) 2020-12-01

Family

ID=72426274

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109108291A TW202044823A (zh) 2019-03-11 2020-03-11 攝影機模組

Country Status (4)

Country Link
US (1) US11885884B2 (zh)
CN (1) CN113574864B (zh)
TW (1) TW202044823A (zh)
WO (1) WO2020184969A1 (zh)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4892886B2 (ja) 2005-08-04 2012-03-07 ソニー株式会社 固体撮像素子及び撮像装置
US7999866B2 (en) * 2007-05-21 2011-08-16 Canon Kabushiki Kaisha Imaging apparatus and processing method thereof
KR101020999B1 (ko) * 2009-01-05 2011-03-09 엘지이노텍 주식회사 촬영 장치 및 이의 영상 제어방법
JP2012003080A (ja) * 2010-06-17 2012-01-05 Olympus Corp 撮像装置
JP6005989B2 (ja) * 2012-05-16 2016-10-12 オリンパス株式会社 内視鏡装置
JP2015037158A (ja) * 2013-08-15 2015-02-23 ソニー株式会社 固体撮像素子、電子機器、および検査装置
JP6226682B2 (ja) 2013-10-09 2017-11-08 キヤノン株式会社 撮像装置およびその製造方法
JP2015122374A (ja) * 2013-12-20 2015-07-02 キヤノン株式会社 固体撮像装置及びその製造方法
WO2015115797A1 (ko) 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
KR102240817B1 (ko) * 2015-01-21 2021-04-16 주식회사 히타치엘지 데이터 스토리지 코리아 티오에프 카메라에서 깊이 지도 생성 방법
CN106161922B (zh) * 2015-04-22 2019-05-14 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
JP2017005509A (ja) 2015-06-10 2017-01-05 キヤノン株式会社 固体撮像素子、撮像装置、および測距装置
KR101629610B1 (ko) 2015-07-27 2016-06-13 주식회사 앤비젼 고해상도 영상 추출을 위한 광경로 변환 유닛, 광경로 변환 모듈, 광경로 변환 방법 및 이 방법을 수행하기 위한 프로그램을 기록한 기록매체, 반도체 기판 패턴 검사 장치
JP6765859B2 (ja) * 2016-05-31 2020-10-07 キヤノン株式会社 撮像装置、およびその制御方法
US10275855B2 (en) 2017-01-11 2019-04-30 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays

Also Published As

Publication number Publication date
US11885884B2 (en) 2024-01-30
US20220244390A1 (en) 2022-08-04
CN113574864A (zh) 2021-10-29
CN113574864B (zh) 2024-01-09
WO2020184969A1 (ko) 2020-09-17

Similar Documents

Publication Publication Date Title
JP5649091B2 (ja) 画像キャプチャ装置および画像キャプチャ方法
US8830340B2 (en) System and method for high performance image processing
JP7286682B2 (ja) カメラモジュールおよびその深さ情報抽出方法
CN104580877B (zh) 图像获取的装置及方法
JP7485610B2 (ja) カメラモジュールおよびその深さ情報抽出方法
CN113260892B (zh) 光学系统及包括该光学系统的相机模块
KR102571864B1 (ko) 카메라 장치
EP3143583B1 (en) System and method for improved computational imaging
US11528416B2 (en) Camera device having shiftable optical path
TW202044823A (zh) 攝影機模組
CN113767621B (zh) 相机模块
KR102513680B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
KR20200108736A (ko) 카메라 모듈
CN112823511B (zh) 摄像头模组
KR20190143278A (ko) 이미지 센서 및 이를 이용하는 카메라 모듈
JP2022116165A (ja) 撮像デバイス
JP2022545748A (ja) Ｔｏｆカメラ
US11867817B2 (en) Camera module and depth information extraction method thereof
KR20230027863A (ko) 카메라 모듈
KR20200113437A (ko) 카메라 모듈
KR20130106525A (ko) 영상 처리 장치 및 이의 영상 처리 방법