TWI648549B - Distance image generating device and distance image generating method - Google Patents

Distance image generating device and distance image generating method Download PDF

Info

Publication number
TWI648549B
TWI648549B TW106110113A TW106110113A TWI648549B TW I648549 B TWI648549 B TW I648549B TW 106110113 A TW106110113 A TW 106110113A TW 106110113 A TW106110113 A TW 106110113A TW I648549 B TWI648549 B TW I648549B
Authority
TW
Taiwan
Prior art keywords
light
subject
exposure
amount
distance
Prior art date
Application number
TW106110113A
Other languages
English (en)
Other versions
TW201812334A (zh
Inventor
吉田大輔
野中雄一
Original Assignee
日商日立樂金資料儲存股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商日立樂金資料儲存股份有限公司 filed Critical 日商日立樂金資料儲存股份有限公司
Publication of TW201812334A publication Critical patent/TW201812334A/zh
Application granted granted Critical
Publication of TWI648549B publication Critical patent/TWI648549B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Abstract

本發明可產生精度更高之距離圖像。 本發明之距離圖像產生裝置具備：發光部，其以不同之發光強度朝被攝體發光；受光部，其藉由接收包含來自上述被攝體之反射光在內之光而進行拍攝，且算出針對每一像素之曝光量；及距離算出部，其於特定之情形時，將第1發光強度下之曝光量與第2發光強度下之曝光量替換而算出至上述被攝體之距離，產生距離圖像。

Description

距離圖像產生裝置及距離圖像產生方法
本發明係關於一種距離圖像產生裝置及距離圖像產生方法。
於專利文獻1中，有如下之記載：「以TOF(Time of Flight，飛行時間)方式推定出至對象空間中存在之對象物之距離圖像時，若欲實現距離圖像之高解析度化或高幀頻化，則因散彈雜訊或環境光等之影響而有產生CCD(Charge Coupled Device，電荷耦合元件)飽和、導致距離精度降低之虞。發光頻率選擇部(7)接收並無來自光源之發光之時間點之來自對象物之反射光S2，根據該反射光S2之頻率分析，選擇具有難以受到環境光之影響之發光頻率之照明光S1。圖像產生部(6)接收具有該最佳發光頻率之來自準備有照射光之光源之照明光S1之反射光，產生至對象物之距離，藉此能夠抑制受光時之環境光之影響，且能夠降低使受光元件部(2)高解析度化時雜訊對距離精度造成之影響。」。
[先前技術文獻] [專利文獻]
[專利文獻1]國際公開第2010/021090號
近年來，於數位標牌、遊戲、自主移行機器人、汽車、安全等各種領域中，欲正確地把握被攝體或被攝體周邊之狀況之要求提高。伴隨此， 除由相機所取得之影像之外還使用將與被攝體之距離2維表現之所謂距離圖像使物體識別高精度化之方法增加。使用有距離圖像之3維識別技術(方式)有複數種，Time-Of-FIight(TOF)方式係將相機與投光器組合而控制，針對每一像素即時地測定由投光器所投射之光反射至對象物而返回之前之時間。根據該方法，例如與立體圖像處理方式等其它之3維識別技術相比較，於以下方面具有優點，即，不易受到環境光之變化或溫度變化等之影響、或能夠進行高精度且即時之距離測定。
另一方面，於TOF方式中，一般使用近紅外光，故對於近紅外光極強之環境(例如日照時之室外)或金屬等表面具有光澤之物體，有如下之問題，即，由影像感測器曝光所獲得之信號會飽和，從而無法取得正確之距離資訊。專利文獻1之技術中有如下之記載：推定難以受到環境光之影響之發光頻率，且變更照明之頻率，藉此抑制影像感測器之飽和。然而，於該文獻之技術中，於被攝體表面成為鏡面狀等光反射率較高之被攝體之情形時，可能產生以下之問題，即，無法抑制影像感測器之飽和，從而無法改善距離精度。
因此，本發明之目的在於提供一種能夠產生精度更高之距離圖像之距離圖像產生裝置。
本案包含複數種解決上述課題之至少一部分之手段，舉出其例如下。
為解決上述課題，本發明之距離圖像產生裝置具備：發光部，其以不同之發光強度朝被攝體發光；受光部，其藉由接收包含來自上述被攝體之反射光在內之光而進行拍攝，且算出針對每一像素之曝光量；及距離算 出部，其於特定之情形時，將第1發光強度下之曝光量與第2發光強度下之曝光量替換而算出至上述被攝體之距離，產生距離圖像。
根據本發明之距離圖像產生裝置，可產生精度更高之距離圖像。再者，除上述之外之課題、構成及效果可藉由以下之實施形態之說明而明瞭。
11‧‧‧輸入受理部
12‧‧‧控制部
13‧‧‧發光部
14‧‧‧受光部
15‧‧‧信號處理部
20‧‧‧運算裝置
21‧‧‧輸入裝置
22‧‧‧顯示裝置
23‧‧‧發光裝置
24‧‧‧受光元件
25‧‧‧CPU
26‧‧‧FPGA
27‧‧‧RAM
28‧‧‧ROM
100‧‧‧距離圖像產生裝置
151‧‧‧分離部
152‧‧‧R/W控制部
153‧‧‧緩衝器
154‧‧‧緩衝器
155‧‧‧緩衝器
156‧‧‧緩衝器
157‧‧‧緩衝器
158‧‧‧緩衝器
159‧‧‧選擇器
160‧‧‧距離算出部
OB‧‧‧被攝體
OB0‧‧‧被攝體
OB1‧‧‧被攝體
P0‧‧‧期間
P1‧‧‧期間
P3‧‧‧期間
Q0‧‧‧曝光量
Q1‧‧‧曝光量
QB‧‧‧曝光量
Q00‧‧‧曝光量
Q01‧‧‧曝光量
Q0B‧‧‧曝光量
Q10‧‧‧曝光量
Q11‧‧‧曝光量
Q1B‧‧‧曝光量
Q20‧‧‧曝光量
Q21‧‧‧曝光量
Q2B‧‧‧曝光量
Q30‧‧‧曝光量
Q31‧‧‧曝光量
Q3B‧‧‧曝光量
S001‧‧‧步驟
S002‧‧‧步驟
S003‧‧‧步驟
S004‧‧‧步驟
S005‧‧‧步驟
S006‧‧‧步驟
S007‧‧‧步驟
S0‧‧‧發光強度控制信號
S1‧‧‧發光時序控制信號
S2‧‧‧曝光時序控制信號
S3‧‧‧受光量控制信號
W0‧‧‧全曝光期間
W1‧‧‧距離測定期間
WB‧‧‧背景光測定期間
Δt‧‧‧脈衝寬度
ΔtTOF‧‧‧時間
圖1係表示本發明之第一實施形態之距離圖像產生裝置之概略構成之一例之圖。
圖2係表示本發明之第一及第二實施形態之信號處理部之詳細之構成之一例之圖。
圖3係表示本發明之第一實施形態之距離圖像產生裝置之硬體構成之一例之圖。
圖4係表示本發明之第一及第二實施形態之發光時序控制信號S1及曝光時序控制信號S2之時序圖之一例之圖。
圖5係表示由本發明之第一實施形態之距離圖像產生裝置執行之距離圖像產生處理之流程之一例之流程圖。
圖6係表示本發明之第一實施形態之發光強度控制信號S0以及發光時序控制信號S1及曝光時序控制信號S2之時序圖之一例之圖。
圖7係表示包含本發明之第一實施形態之距離圖像產生裝置、被攝體OB0、及被攝體OB1之攝像構成之一例之圖。
圖8係表示將於本發明之第一實施形態之強發光期間P0所拍攝之被攝體OB0、OB1之曝光量Q00進行2維排列而成之圖像之一例之圖。
圖9係表示將於本發明之第一實施形態之弱發光期間P1所拍攝之被攝體OB0、OB1之曝光量Q10進行2維排列而成之圖像之一例之圖。
圖10係表示本發明之第二實施形態之距離圖像產生裝置之概略構成之一例之圖。
圖11係表示本發明之第二實施形態之發光時序控制信號S1以及曝光時序控制信號S2及受光量控制信號S3之時序圖之一例之圖。
以下，對本發明之第一實施形態之距離圖像產生裝置進行說明。
<第一實施形態>
圖1係表示本實施形態之距離圖像產生裝置100之概略構成之一例之圖。距離圖像產生裝置100係採用TOF方式產生將至被攝體OB之距離針對每一像素進行2維排列而成之距離圖像之裝置。具體而言，距離圖像產生裝置100具有輸入受理部11、控制部12、發光部13、受光部14、及信號處理部15。
輸入受理部11係由距離圖像產生裝置100之使用者受理指示輸入之功能部。具體而言，輸入受理部11由使用者受理與自距離圖像產生裝置100至被攝體OB之測定距離範圍(例如，1~3m(近距離測定範圍)、3~7m(中距離測定範圍)、7~10m(遠距離測定範圍)等)相關之特定之攝像模式(例如，近距離模式、中距離模式、遠距離模式等)之設定。又，輸入受理部11將所受理之設定資訊輸出至特定之功能部(例如控制部12等)。
控制部12係控制由距離圖像產生裝置100執行之各種處理之功能部。具體而言，控制部12產生與測定距離範圍相應之發光強度控制信號S0、發光時序控制信號S1、及曝光時序控制信號S2。再者，發光強度控制信 號S0係控制發光部13之發光之強度之程度(發光強度)之信號。又，發光時序控制信號S1係控制發光部13之發光之時序及發光時間之長度之信號。又，曝光時序控制信號S2係控制受光部14之曝光之時序及曝光時間之長度之信號。
控制部12於特定之時序(例如，由使用者受理由被攝體OB之拍攝引起之距離圖像之產生指示時)，將發光強度控制信號S0及發光時序控制信號S1輸出至發光部13，且將曝光時序控制信號S2輸出至受光部14。又，控制部12產生與該等控制信號所示之時序相關之資訊(以下，稱為信號關聯資訊)，且輸出至信號處理部15。
發光部13係朝被攝體OB照射近紅外光之功能部。具體而言，發光部13以發光時序控制信號S1及發光強度控制信號S0所表示之時序及發光強度而朝被攝體OB照射近紅外光。
受光部14係接收包含照射至被攝體OB之光之反射光在內之光，算出曝光量之功能部。具體而言，受光部14藉由於曝光時序控制信號S2所表示之時序接收包含來自被攝體OB之反射光在內之光(曝光)而拍攝被攝體OB。又，受光部14針對拍攝被攝體之每一像素算出曝光量。又，受光部14將曝光量藉由光電轉換而轉換為電信號且輸出至信號處理部15。
信號處理部15係針對每一像素算出至被攝體OB之距離，產生距離圖像之功能部。具體而言，信號處理部15自受光部14取得光電轉換後之電信號作為輸入信號，且使用該信號針對每一像素算出至被攝體OB之距離。又，信號處理部15產生將具有至被攝體OB之距離資訊之各像素進行2維排列而成之距離圖像。
圖2係表示信號處理部15之詳細之構成之一例之圖。信號處理部15具 有分離部151、R/W控制部152、緩衝器153~158、選擇器159、及距離算出部160。
分離部151係將輸入信號分離之功能部。具體而言，分離部151參照信號關聯資訊，針對每一特定之發光強度及發光曝光圖案將表示自受光部14所取得之曝光量之輸入信號分離。
R/W控制部152係將分離部151所分離之輸入信號之各者儲存(寫入)至各緩衝器153~158中，且自各緩衝器153~158取出(讀入)各信號之功能部。
緩衝器153~158中儲存由分離部151所分離之輸入信號之各者。
選擇器159根據特定之基準而選擇自緩衝器153~158取出(讀出)之輸入信號，且輸出至距離算出部160。
距離算出部160係使用自選擇器159輸出之信號，針對每一像素算出自距離圖像產生裝置100至被攝體OB之距離之功能部。再者，關於利用距離算出部160之處理之詳情將於以下敍述。
以上，對本實施形態之距離圖像產生裝置100之概略構成進行了說明。
圖3係表示距離圖像產生裝置100之硬體構成之一例之圖。距離圖像產生裝置100例如係藉由根據照射至被攝體OB之近紅外光之反射時間而可針對每一像素測定深度方向之距離之距離圖像感測相機(所謂TOF相機)而實現。
如圖所示，距離圖像產生裝置100具有運算裝置20、輸入裝置21、顯示裝置22、發光裝置23、及受光元件24。
運算裝置20係執行距離圖像產生裝置100之各種處理之中心單元，其 具有執行運算處理之CPU(Central Processing Unit，中央處理單元)25及FPGA(field-programmable gate array，現場可編程閘陣列)26、作為主記憶裝置之RAM(Random Access Memory，隨機存取記憶體)27及ROM(Read Only Memory，唯讀記憶體)28。
輸入裝置21係自距離圖像產生裝置100之使用者受理攝像模式之設定或攝像指示之裝置，例如係觸控面板或旋鈕。
顯示裝置22係顯示距離圖像產生裝置100之設定資訊或選單資訊等之裝置，例如係液晶顯示器。
發光裝置23係朝被攝體OB照射近紅外光之裝置，且係電子閃光燈(閃光儀)裝置。
受光元件24係將光之明暗轉換為電信號之電子元件(攝像元件)，例如係CCD(Charge-Coupled Device，電荷耦合裝置)影像感測器或CMOS(Complementary Metal Oxide Semiconductor，互補金氧半導體)影像感測器。
再者，距離圖像產生裝置100之控制部12及信號處理部15係藉由使FPGA26(或CPU25)執行處理之特定之程式而實現。此種程式儲存於RAM27或ROM28中，於執行時載入至RAM27上，由FPGA26(或CPU25)執行。又，發光部13係由發光裝置23實現。又，受光部14係由受光元件24實現。
以上，對本實施形態之距離圖像產生裝置100之硬體構成進行了說明。
圖4係表示發光時序控制信號S1及曝光時序控制信號S2之時序圖之一例之圖。如圖所示，發光時序控制信號S1及曝光時序控制信號S2中包含3 種發光曝光圖案。
如圖所示，3種發光曝光圖案係全曝光期間W0、距離測定期間W1、及背景光測定期間WB。全曝光期間W0係以能夠接收自發光部13照射至被攝體OB之光之全部反射光之時序進行曝光之期間。
控制部12將發光時序控制信號S1之脈衝寬度設定為Δt，將曝光時序控制信號S2之脈衝寬度設定為Δt之2倍即2Δt。又，控制部12使發光時序控制信號S1及曝光時序控制信號S2之上升之時序同步。再者，控制部12將全曝光期間W0之時間長度設定為2Δt。藉此，可與發光部13之近紅外光之照射同步而設定可使來自被攝體OB之反射光全部曝光之全曝光期間W0。
再者，Δt之設定值需要與欲測定之至被攝體OB之測定距離成比例地增大。因此，控制部12根據攝像模式之設定資訊而特定出測定距離範圍，決定與此建立對應之特定之值作為Δt。
距離測定期間W1係以反射光相對於發光時序越延遲則受光量越減少之時序進行曝光之期間。於距離測定期間W1，控制部12使發光時序控制信號S1及曝光時序控制信號S2之下降之時序同步。再者，與全曝光期間W0同樣地，控制部12將距離測定期間W1之時間長度設定為2Δt。藉此，可與發光部13之近紅外光之照射同步而設定來自被攝體OB之反射光越延遲則曝光量越減少之距離測定期間W1。
背景光測定期間WB係以僅接收除來自被攝體OB之反射光以外之背景光之時序進行曝光之期間。於背景光測定期間WB，控制部12使發光時序控制信號S1之上升與曝光時序控制信號S2之下降之時序同步。再者，與全曝光期間W0同樣地，控制部12將背景光測定期間WB之時間長度設 定為2Δt。藉此，可設定僅對不包含反射光之背景光進行曝光之背景光測定期間WB。
藉由此種發光曝光圖案，距離圖像產生裝置100可針對拍攝被攝體OB之每一像素獲得3種曝光量Q0、Q1及QB。
再者，ΔtTOF係自發光部13照射近紅外光起直至受光部14接收由被攝體OB所反射之反射光為止之時間(秒)。此處，至被攝體OB之距離與反射光之延遲時間成比例，故根據全曝光期間W0之曝光量Q0、與距離測定期間W1之曝光量Q1之比率而求出。但是，任一情形時均包含背景光，故必須使用該期間之曝光量QB將其消除。因此，距離算出部160使用以下式(1)而算出ΔtTOF之值。
ΔtTOF=Δt×{1-(Q1-QB)}/(Q0-QB)．．．(1)
又，ΔtTOF係自發光部13至被攝體OB之往復時間。因此，距離算出部160使用以下式(2)而算出至被攝體OB之距離L(m)。再者，c為光速，單位為(m/sec)。
L=(c×ΔtTOF)/2=(c×Δt)/2×{1-(Q1-QB)/(Q0-QB)}．．．(2)
上述之式(1)及(2)中，任一者均以曝光量Q0及Q1不飽和為條件。再者，曝光量Q1係與反射光之延遲時間成比例地減少之曝光量，故Q0>Q1成立。因此，若以使曝光量Q0不飽和之方式加以控制，則可創造出曝光量Q0及Q1之任一者均不飽和之條件。
於本實施形態中，為獲得不飽和之曝光量，使自發光部13照射之近紅外光之發光強度變化而進行測定。關於該測定之詳情將於以下敍述。
[動作之說明]
圖5係表示由距離圖像產生裝置100執行之距離圖像產生處理之流程 之一例之流程圖。距離圖像產生處理例如係與距離圖像產生裝置100之啟動一同開始。
距離圖像產生處理開始後，輸入受理部11監控是否已自使用者受理與自距離圖像產生裝置100至被攝體OB之測定距離範圍相關之攝像模式之設定輸入(步驟S001)。繼而，於判定為已受理設定輸入之情形時(步驟S001中是)，輸入受理部11將與所設定之攝像模式對應之測定距離範圍輸出至控制部12。
其次，控制部12產生與測定距離範圍相應之發光強度控制信號S0、發光時序控制信號S1、及曝光時序控制信號S2(步驟S002)。具體而言，控制部12產生圖6所示之發光強度控制信號S0以及發光時序控制信號S1及曝光時序控制信號S2。
圖6係表示發光強度控制信號S0以及發光時序控制信號S1及曝光時序控制信號S2之時序圖之一例之圖。如圖所示，發光強度控制信號S0具有2種不同之發光強度之期間P0及P1，期間P0及P1之各者包含3種發光曝光圖案。再者，發光曝光圖案之詳情與以上所述相同，故省略說明。
控制部12產生發光強度不同之2種發光強度控制信號S0。具體而言，控制部12包含強發光之發光強度期間P0、及弱發光之發光強度期間P1，且將期間P0及P1之時間長度之各者設定為包含上述3種發光曝光圖案之長度。換言之，控制部12以使發光時序控制信號S1及曝光時序控制信號S2之發光曝光圖案包含於強發光之期間P0及弱發光之期間P1之各者之方式產生發光強度控制信號S0、發光時序控制信號S1、及曝光時序控制信號S2。
其次，控制部12將所產生之發光強度控制信號S0及發光時序控制信 號S1輸出至發光部13(步驟S003)，且將曝光時序控制信號S2輸出至受光部14(步驟S004)。又，控制部12產生信號關聯資訊，且將其輸出至信號處理部15。
其次，發光部14以發光時序控制信號S1及發光強度控制信號S0表示之發光時序及發光強度將近紅外光照射至被攝體OB(步驟S005)。又，受光部14以曝光時序控制信號S2表示之時序接收來自被攝體OB之反射光，進行曝光(步驟S006)。
藉此，受光部14於強發光之期間P0，針對拍攝被攝體OB之每一像素獲得處曝光量Q00、Q01及Q0B。又，受光部14於弱發光之期間P1，獲得曝光量Q10、Q11及Q1B。又，受光部14藉由光電轉換而將曝光量轉換為電信號，且輸出至信號處理部15。藉此，將根據圖6之時序圖所獲得之曝光量使用同一信號線分時輸出至信號處理部15。
其次，信號處理部15使用輸入信號而產生距離圖像(步驟S007)。具體而言，信號處理部15之分離部151參照信號關聯資訊，將表示曝光量之輸入信號針對每一發光強度及發光曝光圖案而分離。又，R/W控制部152將由分離部151分離出之信號之各者寫入至緩衝器153~158。例如，R/W控制部152將表示曝光量Q00、Q01、Q0B、Q10、Q11及Q1B之信號之各者寫入至緩衝器153~158。
其次，R/W控制部152以特定之時序自各緩衝器153~158中讀出表示曝光量之信號，且輸入至選擇器159。選擇器159選擇不飽和之曝光量之輸入信號，且輸出至距離算出部160。
具體而言，選擇器159針對每一像素而判定於強發光期間P0包含之全曝光期間W0之曝光量Q00是否為特定之飽和值QS以上。繼而，選擇器 159對Q00之值為QS之值以上之像素，選擇表示於弱發光期間P1包含之發光曝光圖案之各期間所獲得之曝光量Q10、Q11及Q1B之信號，且將該等輸出至距離算出部160。
另一方面，選擇器159對Q00之值未達QS之值之像素，選擇表示於強發光期間P0包含之發光曝光圖案之各期間所獲得之曝光量Q00、Q01及Q0B之信號，且將該等輸出至距離算出部160。
距離算出部160使用自選擇器159所取得之輸入信號，針對每一像素算出自距離圖像產生裝置100至被攝體OB之距離。具體而言，於由選擇器159選擇表示弱發光期間P1之曝光量之信號之情形時，距離算出部160使用Q10、Q11及Q1B之值，根據以下式(3)而算出至被攝體OB之距離L(m)。
L=(c×Δt)/2×{1-(Q11-Q1B)/(Q10-Q1B)}．．．(3)
另一方面，於由選擇器159選擇出表示強發光期間P0之曝光量之信號之情形時，距離算出部160使用Q00、Q01及Q0B之值，根據以下式(4)而針對每一像素算出至被攝體OB之距離L(m)。
L=(c×Δt)/2×{1-(Q01-Q0B)/(Q00-Q0B)}．．．(4)
如此般，距離算出部160針對所拍攝之被攝體OB之每一像素，算出自距離圖像產生裝置100至被攝體OB之距離。
其次，使用圖7~9，對距離圖像之產生例之一例進行說明。
圖7係表示包含距離圖像產生裝置100、被攝體OB0、及被攝體OB1之攝像構成之一例之圖。
圖8係表示將於強發光期間P0所拍攝之被攝體OB0、OB1之曝光量Q00進行2維排列而成之圖像(以下，稱為Q00圖像)之一例之圖。
圖9係表示將於弱發光期間P1所拍攝之被攝體OB0、OB1之曝光量Q10進行2維排列而成之圖像(以下，稱為Q10圖像)之一例之圖。
再者，被攝體OB0表示表面之光反射率較高之被攝體(例如，表面為白色素材或有光澤之材質者)。又，被攝體OB1表示表面之光反射率較低之被攝體(例如，表面為黑色素材或無光澤之材質者)。
如圖8所示，於強發光期間P0之Q00圖像中，被攝體OB0之曝光量飽和，從而無法算出自距離圖像裝置至被攝體OB0之正確之距離。另一方面，即便為強發光期間P0之Q00圖像，由於被攝體OB1之曝光量不飽和，故能夠進行正確之距離算出。
又，如圖9所示，於弱發光期間P1之Q10圖像中，被攝體OB0及OB1之任一曝光量均不飽和。然而，被攝體OB1被極暗地拍攝，因拍攝雜訊或受光部14之A/D(Analog/Digital，類比/數位)轉換時之量化等，而信號之S/N比(signal/noise，信雜比)降低，可能成為距離算出之誤差要因。
因此，距離圖像產生裝置100藉由上述距離圖像產生處理，對所拍攝之被攝體之曝光量飽和之像素使用弱發光期間P1之曝光量、對曝光量不飽和之像素使用強發光期間P0之曝光量而算出至被攝體之距離。換言之，距離圖像產生裝置100能夠藉由以Q10圖像之對應之像素之曝光量替代Q00圖像中飽和之像素而進行至被攝體之正確之距離算出。
如以上般，距離圖像產生裝置100可產生精度更高之距離圖像。尤其距離圖像產生裝置100以2種不同之發光強度而拍攝被攝體，以曝光量不飽和之像素之曝光量(距離資訊)替代飽和之像素而產生距離圖像。藉此，可使用儘量不包含曝光量飽和或信號雜訊之測定資訊而產生距離圖像。
<第二實施形態>
圖10係表示第二實施形態之距離圖像產生裝置100之概略構成之一例之圖。本實施形態之距離圖像產生裝置100與第一實施形態不同之點在於，具有受光量控制部16。受光量控制部16根據由控制部12產生之受光量控制信號S3而使受光部14之受光量變化。再者，距離圖像產生裝置100之基本構成與第一實施形態相同，故標註相同之符號而省略說明。
受光量控制部1612例如藉由光圈(Iris：光圈)或液晶快門等器件而實現。受光量控制部16根據自控制部12輸出之受光量控制信號S3而使光圈之值變化，調整受光部14接收之光之量。藉此，可使受光部14接收之來自被攝體OB之反射光之光量即曝光量變化。
控制部12產生發光時序控制信號S1、曝光時序控制信號S2、及受光量控制信號S3。受光量控制信號S3係用以由受光量控制部16控制光圈之值之信號。再者，發光時序控制信號S1及曝光時序控制信號S2與以上所述相同，故省略說明。
圖11係表示發光時序控制信號S1以及曝光時序控制信號S2及受光量控制信號S3之時序圖之一例之圖。如圖所示，受光量控制信號S3具有2種不同之受光量(強光量及弱光量)之期間P2及P3。又，期間P2及P3之各者包含第一實施形態中所說明之3種發光曝光圖案。
控制部12產生受光量控制信號S3，其包括設定為包含發光曝光圖案之時間長度之強光量之期間P2及弱光量之期間P3。又，控制部12將受光量控制信號S3以特定之時序輸出至受光量控制部16。
受光量控制部16根據受光量控制信號S3而控制光圈之值，且控制受光部14之受光量。再者，與第一實施形態同樣地，控制部12以特定之時序將發光時序控制信號S1輸出至發光部13，且將曝光時序控制信號S2輸 出至受光部14。又，控制部12產生與發光時序控制信號S1、曝光時序控制信號S2及受光量控制信號S3相關之信號關聯資訊，且輸出至信號處理部15。
發光部13根據發光時序控制信號S1而對被攝體OB照射近紅外光。受光量控制部1612根據受光量控制信號S3而使光圈之值變化。受光部14進行由被攝體OB反射後返回之反射光之曝光。藉此，受光部14於強光量之期間P2，針對拍攝被攝體OB之每一像素獲得曝光量Q20、Q21及Q2B。又，受光部14於弱光量之期間P3，獲得曝光量Q30、Q31及Q3B。又，受光部14藉由光電轉換而將曝光量轉換為電信號，且輸出至信號處理部15。
信號處理部15與上述同樣地使用輸入信號而產生距離圖像。具體而言，信號處理部15之分離部151參照信號關聯資訊，將表示曝光量之輸入信號針對每一受光量及發光曝光圖案而分離。又，R/W控制部152將由分離部151分離出之各信號寫入至特定之緩衝器153~158。
其次，R/W控制部152以特定之時序自各緩衝器153~158中讀出表示曝光量之信號，且輸入至選擇器159。選擇器159選擇不飽和之曝光量之輸入信號，且輸出至距離算出部160。
具體而言，選擇器159針對每一像素而判定強光量期間P2包含之全曝光期間W0之曝光量Q20是否為特定之飽和值QS以上。繼而，選擇器159對Q20之值為QS之值以上之像素，選擇表示於弱光量期間P3包含之發光曝光圖案之各期間所獲得之曝光量Q30、Q31及Q3B之信號，且將該等輸出至距離算出部160。
另一方面，選擇器159對Q20之值未達QS之值之像素，選擇表示於強 光量期間P2包含之發光曝光圖案之各期間所獲得之曝光量Q20、Q21及Q2B之信號，且將該等輸出至距離算出部160。
距離算出部160使用自選擇器159取得之輸入信號，針對每一像素算出自距離圖像產生裝置100至被攝體OB之距離。具體而言，於由選擇器159選擇表示弱光量期間P3之曝光量之信號之情形時，距離算出部160使用Q30、Q31及Q3B之值，根據以下式(5)而算出至被攝體OB之距離L(m)。
L=(c×Δt)/2×{1-(Q31-Q3B)/(Q30-Q3B)}．．．(5)
另一方面，於由選擇器159選擇表示強光量期間P2之曝光量之信號之情形時，距離算出部160使用Q20、Q21及Q2B之值，根據以下式(6)而針對每一像素算出至被攝體OB之距離L(m)。
L=(c×Δt)/2×{1-(Q21-Q2B)/(Q20-Q2B)}．．．(6)
以上，對第二實施形態之距離圖像產生裝置100進行了說明。藉由此種距離圖像產生裝置100亦可產生精度更高之距離圖像。尤其本實施形態之距離圖像產生裝置100例如即便因光源側之限制等而於發光量之控制困難之情形時，亦可藉由簡易之硬體(可變光圈或液晶快門)之附加而產生精度較高之距離圖像。
再者，所產生之距離圖像可利用於被攝體之深度方向之識別等3維識別之解析(例如，人流解析或工廠內之工人作業之解析)。
上述距離圖像產生裝置100之各功能部係為容易理解本實施形態中實現之距離圖像產生裝置100之功能，根據主要之處理內容而分類者，本發明並未藉由各功能之分類之方法或其名稱而限制。又，距離圖像產生裝置100之各構成亦可根據處理內容而分類為更多之構成要素。又，亦可以使 一個構成要素執行更多之處理之方式進行分類。
又，本發明包含各種變化例而並不限定於上述實施例。例如，上述實施例係為容易理解地說明本發明而進行了詳細地說明，但未必限定於具備所說明之全部構成者。又，能夠以其它實施例之構成替代某實施例之構成之一部分，又，亦能夠將其它實施例之構成添加至某實施例之構成中。又，對於各實施例之構成之一部分，能夠進行其它構成之追加、刪除、替換。
又，於上述說明中，控制線或資訊線係根據說明需要而表示者，對於製品而言則未必表示了所有控制線或資訊線。實際上可認為幾乎所有構成均相互連接。

Claims (8)

  1. 一種距離圖像產生裝置，其特徵在於具備：發光部，其以不同之發光強度朝被攝體發光；受光部，其藉由接收包含來自上述被攝體之反射光在內之光而進行拍攝，且算出針對每一像素之曝光量；及距離算出部，其於特定之情形時，將第1發光強度下之曝光量與第2發光強度下之曝光量替換而算出至上述被攝體之距離，產生距離圖像；且上述受光部針對上述第1發光強度及第2發光強度，分別以曝光量不同之特定之曝光時序對包含來自上述被攝體之反射光在內之光進行曝光；且分別以如下之曝光時序對包含來自上述被攝體之反射光在內之光進行曝光，該曝光時序包含：第1時序，能夠接收自上述發光部照射至上述被攝體之光之全部反射光；第2時序，上述反射光相對於發光時序越延遲則受光量越減少；及第3時序，僅接收除來自上述被攝體之反射光以外之背景光。
  2. 如請求項1之距離圖像產生裝置，其中上述距離算出部以對應之像素之第2發光強度下之曝光量替代第1發光強度下飽和之像素之曝光量而算出至上述被攝體之距離，產生距離圖像。
  3. 如請求項1之距離圖像產生裝置，其中上述發光部係以發光強度強之上述第1發光強度、與發光強度較上述第1發光強度弱之第2發光強度朝上述被攝體發光。
  4. 如請求項1之距離圖像產生裝置，其中上述距離算出部根據以上述第1時序所受光之光之曝光量、與以上述第2時序所受光之光之曝光量之比率而算出針對每一像素之至上述被攝體之距離。
  5. 一種距離圖像產生裝置，其特徵在於具備：發光部，其朝被攝體發光；受光量控制部，其控制包含來自上述被攝體之反射光在內之光之受光量；受光部，其藉由接收由上述受光量控制部所控制之光而進行拍攝，且算出針對每一像素之曝光量；及距離算出部，其於特定之情形時，將被控制為第1受光量之情形時之曝光量、與被控制為第2受光量之情形時之曝光量替換而算出至上述被攝體之距離，產生距離圖像；且上述受光部針對上述第1受光量及第2受光量，分別以曝光量不同之特定之曝光時序對包含來自上述被攝體之反射光在內之光進行曝光；且分別以如下之曝光時序對包含來自上述被攝體之反射光在內之光進行曝光，該曝光時序包含：第1時序，能夠接收自上述發光部照射至上述被攝體之光之全部反射光；第2時序，上述反射光相對於發光時序越延遲則受光量越減少；及第3時序，僅接收除來自上述被攝體之反射光以外之背景光。
  6. 如請求項5之距離圖像產生裝置，其中上述距離算出部以於對應之像素之被控制為第2受光量之情形時之曝光量替代第1受光量下飽和之像素之曝光量而算出至上述被攝體之距離，產生距離圖像。
  7. 一種距離圖像產生方法，其係利用距離圖像產生裝置產生距離圖像之方法，其特徵在於執行以下步驟：發光步驟，其係以不同之發光強度朝被攝體發光；受光步驟，其係藉由接收包含來自上述被攝體之反射光在內之光而進行拍攝，且算出針對每一像素之曝光量；及距離圖像產生步驟，其以第2發光強度之對應之像素之曝光量替代第1發光強度下飽和之像素之曝光量而算出至上述被攝體之距離，產生距離圖像；且上述受光步驟針對上述第1發光強度及第2發光強度，分別以曝光量不同之特定之曝光時序對包含來自上述被攝體之反射光在內之光進行曝光；且分別以如下之曝光時序對包含來自上述被攝體之反射光在內之光進行曝光，該曝光時序包含：第1時序，能夠接收於上述發光步驟照射至上述被攝體之光之全部反射光；第2時序，上述反射光相對於發光時序越延遲則受光量越減少；及第3時序，僅接收除來自上述被攝體之反射光以外之背景光。
  8. 一種距離圖像產生方法，其係利用距離圖像產生裝置產生距離圖像之方法，其特徵在於執行以下步驟：發光步驟，其係朝被攝體發光；受光量控制步驟，其係控制包含來自上述被攝體之反射光在內之光之受光量；受光步驟，其係藉由接收由上述受光量控制步驟所控制之光而進行拍攝，且算出針對每一像素之曝光量；及距離圖像產生步驟，其於特定之情形時，將被控制為第1受光量之情形時之曝光量、與被控制為第2受光量之情形時之曝光量替換而算出至上述被攝體之距離，產生距離圖像；且上述受光步驟針對上述第1受光量及第2受光量，分別以曝光量不同之特定之曝光時序對包含來自上述被攝體之反射光在內之光進行曝光；且分別以如下之曝光時序對包含來自上述被攝體之反射光在內之光進行曝光，該曝光時序包含：第1時序，能夠接收於上述發光步驟照射至上述被攝體之光之全部反射光；第2時序，上述反射光相對於發光時序越延遲則受光量越減少；及第3時序，僅接收除來自上述被攝體之反射光以外之背景光。
TW106110113A 2016-04-19 2017-03-27 Distance image generating device and distance image generating method TWI648549B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??PCT/JP2016/062419 2016-04-19
PCT/JP2016/062419 WO2017183114A1 (ja) 2016-04-19 2016-04-19 距離画像生成装置および距離画像生成方法

Publications (2)

Publication Number Publication Date
TW201812334A TW201812334A (zh) 2018-04-01
TWI648549B true TWI648549B (zh) 2019-01-21

Family

ID=60115758

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106110113A TWI648549B (zh) 2016-04-19 2017-03-27 Distance image generating device and distance image generating method

Country Status (5)

Country Link
US (1) US10928518B2 (zh)
JP (1) JP6751137B2 (zh)
CN (1) CN109073754B (zh)
TW (1) TWI648549B (zh)
WO (1) WO2017183114A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI703341B (zh) * 2019-06-04 2020-09-01 精準基因生物科技股份有限公司 飛行時間測距裝置以及飛行時間測距方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107608360A (zh) * 2017-10-26 2018-01-19 深圳市银星智能科技股份有限公司 移动机器人
CN107775640A (zh) * 2017-12-05 2018-03-09 深圳市银星智能科技股份有限公司 移动机器人
EP3663801B1 (en) * 2018-12-07 2022-09-28 Infineon Technologies AG Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data
JP7135846B2 (ja) * 2018-12-27 2022-09-13 株式会社デンソー 物体検出装置および物体検出方法
JP7234171B2 (ja) * 2019-04-25 2023-03-07 キヤノン株式会社 撮像装置及びその制御方法
US20220397674A1 (en) * 2019-07-05 2022-12-15 Sony Semiconductor Solutions Corporation Time-of-flight sensing circuitry with different imaging modes and method for operating such a time-of-flight sensing circuitry
EP4060284A4 (en) * 2019-11-15 2023-01-04 Panasonic Intellectual Property Management Co., Ltd. SENSING DEVICE AND INFORMATION PROCESSING DEVICE
CN115176174A (zh) * 2019-11-27 2022-10-11 新唐科技日本株式会社 测距摄像装置
JP2021148897A (ja) * 2020-03-18 2021-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 制御装置および医療用観察システム
JP2022141316A (ja) * 2021-03-15 2022-09-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像システム
WO2022242348A1 (zh) * 2021-05-21 2022-11-24 Oppo广东移动通信有限公司 dTOF深度图像的采集方法、装置、电子设备及介质
JP2023068471A (ja) * 2021-11-02 2023-05-17 株式会社デンソー 制御装置、制御方法、制御プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117412A1 (en) * 2001-12-21 2003-06-26 General Electric Company Method for high dynamic range image construction based on multiple images with multiple illumination intensities
WO2015107869A1 (ja) * 2014-01-14 2015-07-23 パナソニックＩｐマネジメント株式会社 距離画像生成装置及び距離画像生成方法
TWI518350B (zh) * 2010-06-09 2016-01-21 湯姆生特許公司 飛航時間像化器及其測量物體深度映圖之方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4399693B2 (ja) * 2000-09-21 2010-01-20 ソニー株式会社 撮像装置
JP2005295442A (ja) * 2004-04-05 2005-10-20 Hitachi Kokusai Electric Inc 撮像装置及び撮像方法
JP4777087B2 (ja) * 2005-03-03 2011-09-21 富士フイルム株式会社 撮像装置、撮像方法、および撮像プログラム、並びに画像記録出力システム、画像記録出力方法
JP4321540B2 (ja) * 2006-03-30 2009-08-26 株式会社豊田中央研究所 物体検出装置
JP4897350B2 (ja) * 2006-05-16 2012-03-14 株式会社リコー 画像記録方法、および画像記録装置
JP5308088B2 (ja) 2008-07-24 2013-10-09 パナソニック株式会社 距離画像センサ
WO2010021090A1 (ja) 2008-08-20 2010-02-25 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP2010204304A (ja) * 2009-03-02 2010-09-16 Panasonic Corp 撮像装置、運転者監視装置および顔部測距方法
JP5802917B2 (ja) * 2011-04-06 2015-11-04 オプテックス株式会社 距離画像カメラおよびこれを用いた距離測定方法
JP2012225807A (ja) 2011-04-20 2012-11-15 Optex Co Ltd 距離画像カメラおよび距離画像合成方法
JP2016040520A (ja) * 2013-01-10 2016-03-24 三洋電機株式会社 物体検出装置
EP3015882B1 (en) * 2013-06-27 2020-12-09 Panasonic Semiconductor Solutions Co., Ltd. Distance measuring device
JP6424338B2 (ja) * 2014-06-09 2018-11-21 パナソニックＩｐマネジメント株式会社 測距装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117412A1 (en) * 2001-12-21 2003-06-26 General Electric Company Method for high dynamic range image construction based on multiple images with multiple illumination intensities
TWI518350B (zh) * 2010-06-09 2016-01-21 湯姆生特許公司 飛航時間像化器及其測量物體深度映圖之方法
WO2015107869A1 (ja) * 2014-01-14 2015-07-23 パナソニックＩｐマネジメント株式会社 距離画像生成装置及び距離画像生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI703341B (zh) * 2019-06-04 2020-09-01 精準基因生物科技股份有限公司 飛行時間測距裝置以及飛行時間測距方法

Also Published As

Publication number Publication date
US10928518B2 (en) 2021-02-23
US20190129034A1 (en) 2019-05-02
CN109073754A (zh) 2018-12-21
WO2017183114A1 (ja) 2017-10-26
CN109073754B (zh) 2022-07-01
JPWO2017183114A1 (ja) 2019-02-28
JP6751137B2 (ja) 2020-09-02
TW201812334A (zh) 2018-04-01

Similar Documents

Publication Publication Date Title
TWI648549B (zh) Distance image generating device and distance image generating method
CN108369089B (zh) 3维图像测量装置及方法
CN105190426B (zh) 飞行时间传感器装仓
JP6756747B2 (ja) ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔセンサを使用して露出推定を実行するための方法および装置
JP5743390B2 (ja) 測距装置、及び測距方法
JP4567618B2 (ja) 撮像装置およびその制御方法
US8786679B2 (en) Imaging device, 3D modeling data creation method, and computer-readable recording medium storing programs
JP4999763B2 (ja) 撮像装置、撮像方法、プログラム、記録媒体、および集積回路
EP3107065A1 (en) Methods and systems for providing virtual lighting
WO2009110082A1 (ja) 画像撮影装置、画像撮影方法および画像撮影プログラム
JP2016122989A (ja) 撮像方法
JPWO2014174779A1 (ja) 複数の光源を有するモーションセンサ装置
JP2014033276A5 (zh)
JPWO2015128915A1 (ja) 測距装置及び測距方法
EP3381015B1 (en) Systems and methods for forming three-dimensional models of objects
US20150247925A1 (en) Image system
JP7179472B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体
JP2017134561A (ja) 画像処理装置、撮像装置および画像処理プログラム
US10321113B2 (en) Processing apparatus, processing system, image pickup apparatus, processing method, and non-transitory computer-readable storage medium
JP7147729B2 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
JP2014098859A (ja) 撮像装置および撮像方法
JP2012085093A (ja) 撮像装置および取得方法
JP2014011639A (ja) 撮像装置
JP6862114B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP7309425B2 (ja) 処理装置、処理システム、撮像装置、処理方法、および、プログラム