TWI624170B - 影像掃描系統及其方法 - Google Patents

影像掃描系統及其方法 Download PDF

Info

Publication number
TWI624170B
TWI624170B TW105133686A TW105133686A TWI624170B TW I624170 B TWI624170 B TW I624170B TW 105133686 A TW105133686 A TW 105133686A TW 105133686 A TW105133686 A TW 105133686A TW I624170 B TWI624170 B TW I624170B
Authority
TW
Taiwan
Prior art keywords
image
laser light
interest
optical unit
region
Prior art date
Application number
TW105133686A
Other languages
English (en)
Other versions
TW201817215A (zh
Inventor
楊茆世芳
馬天彥
林凡異
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW105133686A priority Critical patent/TWI624170B/zh
Priority to CN201611015227.9A priority patent/CN108377380B/zh
Priority to US15/468,952 priority patent/US10262242B2/en
Publication of TW201817215A publication Critical patent/TW201817215A/zh
Application granted granted Critical
Publication of TWI624170B publication Critical patent/TWI624170B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

本揭露提供一種影像掃描系統及其方法，包括：取得第一光學單元之第一影像及第二光學單元之第二影像；偵測出影像內物件；選定影像內物件之至少一者作為感興趣區域，以透過第二光學單元持續掃描該感興趣區域，以獲得該感興趣區域之深度影像資訊；將該深度影像資訊整合至該第一影像或第二影像中。本揭露之影像掃描系統及其方法可提高影像解析度、掃描速度及更準確的辨識結果。

Description

影像掃描系統及其方法
本揭露係有關一種影像掃描系統及其方法，尤指一種可針對影像中特定物件進行高解析度掃描之影像掃描系統及其方法。
三維影像視覺技術的進步，使其可應用至更多領域，例如汽機車防撞、機器人、無人機、安全監控、智慧家庭、智慧城市、海事安全等系統。而該等系統的要求日益提高，例如要求在不同光源環境下，仍必須有偵測高精度的能力。
然而，現有技術中以相機影像為基礎的深度感測器，無論是使用立體攝影機(stereo camera)或是結構光(structured light)等技術，皆容易受到環境光源的影響，而有影像內物件辨識率低的問題，且三維深度資訊解析度亦會隨著距離或視野而降低。
因此，如何提出一種可提供高解析度影像掃描之發明，為目前亟待解決的課題之一。
本揭露之一實施例係提供一種影像掃描系統，包括：第一光學單元，用以取得第一影像；第二光學單元，用以 取得第二影像；以及處理單元，用以接收並處理第一影像或第二影像，處理單元包括：物件偵測模組，用以偵測出第一影像或第二影像內的物件；座標計算模組，用以選定第一影像或第二影像內的物件中之至少一者作為感興趣區域，並計算感興趣區域與第二光學單元之間的相對座標；控制模組，用以依據相對座標控制第二光學單元持續掃描第一影像或第二影像內之感興趣區域，以令處理單元產生第一影像或第二影像內之感興趣區域的深度影像資訊；以及影像整合模組，用以將深度影像資訊整合至第一影像或第二影像中。
本揭露之另一實施例係提供一種影像掃描方法，包括：取得第一光學單元之視野內之第一影像及第二光學單元之視野內之第二影像；透過處理單元之物件偵測模組偵測出第一影像或第二影像內的物件；透過處理單元之座標計算模組以選定第一影像或第二影像內的物件中之至少一者作為感興趣區域，並計算感興趣區域與第二光學單元之間的相對座標；透過處理單元之控制模組依據相對座標控制第二光學單元持續掃描第一影像或第二影像內之感興趣區域，以令處理單元產生第一影像或第二影像內之感興趣區域的深度影像資訊；透過處理單元之影像整合模組將深度影像資訊整合至第一影像或第二影像中。
1‧‧‧影像掃描系統
11‧‧‧第一光學單元
12‧‧‧第二光學單元
121‧‧‧雷射光發射器
122‧‧‧反射鏡
123‧‧‧影像接收器
124‧‧‧固態雷射導引器
13‧‧‧處理單元
131‧‧‧物件偵測模組
132‧‧‧座標計算模組
133‧‧‧控制模組
134‧‧‧影像整合模組
135‧‧‧校正模組
14‧‧‧影像
141~144‧‧‧物件
145‧‧‧感興趣區域
146‧‧‧路徑
S11~S16、S21~S28‧‧‧步驟
第1A圖係為本揭露之第一實施例之影像掃描系統之系統方塊圖； 第1B圖係為本揭露之另一實施例之影像掃描系統之系統方塊圖；第2圖係為本揭露之第二實施例之影像掃描系統之系統方塊圖；第3A圖係為本揭露之影像掃描系統所取得之影像內感興趣區域之示意圖；第3B圖係為本揭露之影像掃描系統中第二光學單元對感興趣區域進行掃描之路徑之示意圖；第4圖係為本揭露之第二光學單元之一實施例之運作示意圖；第5圖係為本揭露之第二光學單元之另一實施例之運作示意圖；第6圖係為本揭露之第二光學單元之另一實施例之運作示意圖；第7圖係為本揭露之影像掃描方法之一實施例之步驟流程圖；以及第8圖係為本揭露之影像掃描方法之另一實施例之步驟流程圖。
以下藉由特定之具體實施例加以說明本揭露之實施方式，而熟悉此技術之人士可由本說明書所揭示之內容輕易地瞭解本揭露之其他優點和功效，亦可藉由其他不同的具體實施例加以施行或應用。
請參閱第1A圖，本揭露之影像掃描系統1包括第一 光學單元11、第二光學單元12以及處理單元13。第一光學單元11用以取得第一光學單元11之視野內之第一影像，第二光學單元12用以取得第二光學單元12之視野內之第二影像。
於一實施例中，第一光學單元11為相機，第二光學單元12為三維光雷達感測器(LiDAR)。因此，第一光學單元11所取得的第一影像為二維影像，第二光學單元12取得的第二影像為包含有深度影像資訊的三維影像。
處理單元13用以接收並處理第一影像或第二影像，處理單元13包括物件偵測模組131、座標計算模組132、控制模組133及影像整合模組134。於本實施例中，處理單元13可為電腦、手機、平板、伺服器或其他電子裝置內的處理器，而此處所述之模組，係指供處理器執行以達到特定功能之軟體程式。
於另一實施例中，請參閱第1B圖，處理單元13係位在第二光學單元12內。具體而言，處理單元13可為第二光學單元12內的處理器，而此處所述之模組(例如物件偵測模組131、座標計算模組132、控制模組133及影像整合模組134)則為韌體(firmware)。其中，第1A圖及第1B圖中僅處理單元13呈現不同態樣，其餘元件皆相同且處理單元13內之各模組之功能亦相同。以下進一步敘述各模組之詳細技術內容。
物件偵測模組131用以偵測出第一影像或第二影像內的物件。於一實施例中，物件偵測模組131用以偵測物件 所採用的演算法，係為以方向梯度直方圖(Histogram of oriented gradient，HOG)為基礎之演算法。於另一實施例中，為增加辨識率，可以方向梯度直方圖之演算法搭配支持向量機(Support Vector Machine，SVM)、詞袋模型(bag-of-words model，BOW)或其組合，或搭配深度學習(deep learning)之機器學習之人工神經網路、AlexNet或R-CNNs等演算法，以使物件偵測模組131能更精確的偵測出影像內的物件。本揭露並不限制物件偵測模組131所採用之演算法的種類。
於一實施例中，請參閱第3A圖，影像14(如第一光學單元11所取得的第一影像)係包含有物件偵測模組131所偵測出的複數個物件141、142、143、144。座標計算模組132係用以選定影像14內的複數個物件141、142、143、144中至少一者作為感興趣區域(Region of Interest，ROI)。如第3A圖中所示，座標計算模組132係選定物件144(例如汽車)作為感興趣區域145。
在本實施例中，選定影像14中之物件144作為感興趣區域145，可根據實際需求的不同而有不同的選定標準。例如，在汽機車防撞系統中，係選定影像中為汽車、機車之物件來作為感興趣區域；又例如，在安全監控系統中，係選定影像中為人類之物件來作為感興趣區域。本揭露並不以此為限。
接著，座標計算模組132計算感興趣區域145與第二光學單元12之間的相對座標。所謂的相對座標，係指影像 14內感興趣區域145相對於第二光學單元12所採用之座標系的座標而言。據此，控制模組133即可依據相對座標來控制第二光學單元12持續掃描影像14內之感興趣區域145，以令處理單元13產生影像14之感興趣區域145之深度影像資訊。所謂的持續掃描，如第3B圖所示，可在感興趣區域145內形成多點掃描的路徑146，由於掃描的點及密度集中，故從感興趣區域145中所取得之物件144之深度影像資訊的解析度會提高。本揭露並不限制路徑146的形狀。
請進一步參閱第4圖，以詳細說明於一實施例中，第二光學單元12持續掃描影像14內之感興趣區域145所採用的硬體架構及方法。第二光學單元12包括雷射光發射器121、反射鏡122及影像接收器123。雷射光發射器121用以發出雷射光，反射鏡122則位於雷射光之路徑上。換言之，雷射光發射器121係朝反射鏡122發出雷射光，使得反射鏡122可反射雷射光，而反射鏡122之角度的改變，則可調整雷射光之路徑，亦即可調整雷射光入射至對應影像14之感興趣區域145內實際物件的位置。在雷射光射至實際物件後反射，經反射之雷射光可被影像接收器123所接收，使得第二光學單元12可取得影像14內感興趣區域145的實際物件之深度影像資訊。
於本實施例中，控制模組133係依據相對座標計算出第二光學單元12欲對影像14內之感興趣區域145進行掃描之角度，進而產生第二光學單元12之電壓數據，以控制 反射鏡122之角度來調整雷射光之路徑，而能持續掃描影像14內之感興趣區域145。
於另一實施例中，請參閱第5圖，第二光學單元12可包括雷射光發射器121、固態雷射導引器(solid laser beam guider)124及影像接收器123。雷射光發射器121用以發出雷射光至固態雷射導引器124，固態雷射導引器124係利用液晶波導(liquid crystal waveguide)或光相控陣(optical phased array)來調整雷射光之路徑，亦即可調整雷射光射至影像14內之感興趣區域145內實際物件的位置。在雷射光射至實際物件後反射，經反射之雷射光可被影像接收器123所接收，使得第二光學單元12可取得影像14內感興趣區域145的實際物件之深度影像資訊。
在本實施例中，控制模組133係依據相對座標來控制固態雷射導引器124，藉此調整所射出之雷射光之路徑，以持續掃描影像14內之感興趣區域145。
再於一實施例中，請參閱第6圖，第二光學單元12包括影像接收器123及雷射光發射器121，雷射光發射器121係為主動式掃描(active scanned)之形式。控制模組133可依據相對座標，來調整雷射光發射器121所發出之雷射光之路徑，而能使雷射光射至影像14內之感興趣區域145的實際物件。在雷射光射至實際物件後反射，經反射之雷射光可被影像接收器123所接收，使得第二光學單元12可取得影像14內感興趣區域145的實際物件之深度影像資訊。
在取得影像14內感興趣區域145的實際物件之深度影像資訊後，影像整合模組134可將深度影像資訊整合至第一影像或第二影像中，亦即將物件之深度影像資訊疊合至第一影像或第二影像中相同物件之區域中，據此取得包含物件之高解析度之深度影像資訊之影像，以供後續辨識而能獲得更準確的結果。
於另一實施例之影像14為相機所取得之二維影像中，若影像14品質不佳或無法辨識時，影像14可改為三維光雷達感測器所取得之三維影像，以供物件偵測模組131、座標計算模組132、控制模組133及影像整合模組134進行前述之處理。座標計算模組132在選定影像14內的複數個物件141、142、143、144中至少一者作為感興趣區域(Region of Interest，ROI)時，可依據原二維影像及三維影像的預期正確率並加權後以進行感興趣區域之選定，本揭露並不限定感興趣區域之選定必須從二維影像而來，亦可僅從三維影像而來，或從二維影像加三維影像而來。
請參閱第2圖，以下說明本揭露之影像掃描系統1之另一實施例。在本實施例中，部份技術內容係相同於前述，於此不再贅述。
影像掃描系統1包括第一光學單元11、第二光學單元12及處理單元13。第一光學單元11用以取得其視野內之第一影像，第二光學單元12用以取得其視野內之第二影像，處理單元13則用以接收並處理第一影像或第二影像，處理單元13包括校正模組135、影像整合模組134、物件 偵測模組131、座標計算模組132及控制模組133。
校正模組135係用以校正第一影像及第二影像之影像資訊。例如，第一影像為二維影像及第二影像為三維影像之情形，由於第一影像及第二影像係分別來自相機與三維光雷達感測器，相機與三維光雷達感測器拍攝角度及所採用之座標系往往不一致，因此必須進行前處理。前處理所使用的演算法可為針孔攝像頭模型(pinhole camera model)，其公式如下：
其中，(X,Y,Z)為在世界座標(world coordinate)中三維點之座標，(μ,ν)為像素中投影點的座標，A為相機矩陣或內參數矩陣，(cx,cy)為影像中心之主點，(fx,fy)為表現在像素元件中的焦距長度。但本揭露並不限制只能使用此種校正公式，亦可採用其他校正方式，本揭露並不以此為限。
經校正之第一影像及第二影像之影像資訊可供影像整合模組134進行處理。因經校正之第一影像及第二影像之影像資訊可取得相同之相機座標(camera coordinate)或其之間不同座標系之轉換關係，使得影像整合模組134可將經校正之第一影像及第二影像之影像資訊整合成第三影像。
接著，物件偵測模組131可偵測出第三影像內的物 件，座標計算模組132可選定第三影像內的物件中之至少一者作為感興趣區域並計算出相對座標，而控制模組133則根據相對座標控制第二光學單元12持續掃描第三影像內之感興趣區域，以產生感興趣區域之深度影像資訊。此部份詳細技術內容相同於前述，於此不再贅述。
在取得深度影像資訊後，影像整合模組134可將深度影像資訊整合至第一影像、第二影像或第三影像中，據此取得包含物件之高解析度之深度影像資訊之影像，以供後續辨識而能獲得更準確的結果。而經整合有深度影像資訊之第一影像、第二影像或第三影像，可再提供給物件偵測模組、座標計算模組及控制模組進行後續處理。
於一實施例中，除第一光學單元11及第二光學單元12可分別為相機及三維光雷達感測器之外，第一光學單元11及第二光學單元12皆可為三維光雷達感測器，且第一影像及第二影像皆為三維影像。不論第一影像為二維影像及第二影像為三維影像，或者第一影像及第二影像皆為三維影像之情形，因第一光學單元11及第二光學單元12之拍攝角度及所採用之座標系往往不一致，在運用第一影像及第二影像時，都必須經過前處理，例如使用針孔攝像頭模型(pinhole camera model)之演算法，來轉換至相同之座標系。亦即，本揭露之影像掃描系統可僅取得三維影像來進行處理，或亦可同時取得二維影像與三維影像來進行處理，本揭露並不以此為限。
請參閱第7圖，本揭露提供一種影像掃描方法，影像 掃描方法的詳細技術內容相同於前述影像掃描系統者，將不再贅述。影像掃描方法係先取得光學單元視野內之影像(步驟S11)，即取得第一光學單元之視野內之第一影像及第二光學單元之視野內之第二影像。
接著，於步驟S12中，係透過處理單元之物件偵測模組偵測出第一影像或第二影像內的物件，例如透過方向梯度直方圖之演算法搭配支持向量機(Support Vector Machine，SVM)、詞袋模型(bag-of-words model，BOW)或其組合，或搭配深度學習(deep learning)之機器學習之人工神經網路、AlexNet或R-CNNs等演算法，本揭露並不以此為限。
在偵測出影像內物件後，於步驟S13中，可透過處理單元之座標計算模組以選定第一影像或第二影像內的物件中之至少一者作為感興趣區域，並計算感興趣區域與第二光學單元之間的相對座標。接著進至步驟S14。
於步驟S14中，則可透過處理單元之控制模組依據相對座標控制第二光學單元持續掃描第一影像或第二影像內之感興趣區域。接著，於步驟S15中，可令處理單元產生第一影像或第二影像內之感興趣區域的深度影像資訊。
之後，於步驟S16中，可透過處理單元之影像整合模組將深度影像資訊整合至第一影像或第二影像中，據此取得包含物件之高解析度之深度影像資訊之影像，以供後續辨識而能獲得更準確的結果。
請參閱第8圖，本揭露再提供一種影像掃描方法，其 中，步驟S21、S24~S28的技術內容係相同於前述第7圖中的步驟S11~S16以及前述之影像掃描系統，於此不再贅述。以下僅說明其差異處。
在取得第一光學單元之視野內之第一影像及第二光學單元之視野內之第二影像(步驟S21)後，可先經一校正程序來校正影像之影像資訊(步驟S22)。詳言之，可透過處理單元之校正模組校正第一影像及第二影像之影像資訊，例如，第一影像為二維影像及第二影像為三維影像之情形，由於第一影像及第二影像係分別來自相機與三維光雷達感測器，相機與三維光雷達感測器拍攝角度及所採用之座標系往往不一致，因此必須進行前處理，而使用的演算法可為針孔攝像頭模型(pinhole camera model)，但本揭露並不以此為限。又例如第一影像及第二影像皆為三維影像之情形，由於第一影像及第二影像係皆來自不同的三維光雷達感測器，且該些三維光雷達感測器拍攝角度及所採用之座標系亦往往不一致，因此同樣必須進行前處理，使用的演算法可為針孔攝像頭模型(pinhole camera model)，但本揭露亦不以此為限。接著進至步驟S23。
於步驟S23中，係將經校正後之第一影像及第二影像予以整合。詳細而言，因經校正之第一影像及第二影像之影像資訊可取得相同之相機座標(camera coordinate)或其之間不同座標系之轉換關係，故可透過處理單元之影像整合模組將第一影像與第二影像整合成第三影像。接著進至步驟S24~27，以偵測出影像內的物件、選定感興趣區域並 計算相對座標、根據相對座標控制光學單元持續掃描感興趣區域，最後產生感興趣區域的深度影像資訊。接著進至步驟S28。
於步驟S28中，可再將深度影像資訊整合至第一影像、第二影像或第三影像中，據此取得包含物件之高解析度之深度影像資訊之影像，以供後續辨識而能獲得更準確的結果。
綜上所述，藉由本揭露之影像掃描系統及其方法，可針對影像內感興趣區域進行三維光雷達感測器之掃描，所取得之感興趣區域之深度影像資訊的解析度將會提高，且相較於使用三維光雷達感測器對全部物件而非感興趣區域內之物件的掃描方式，本揭露除可獲得較高解析度之功效外，其掃描速度更會有所提昇，且將較高解析度之感興趣之深度影像資訊再整合至影像中時，可令後續辨識獲得更準確的結果。
上述實施形態僅為例示性說明本揭露之技術原理、特點及其功效，並非用以限制本揭露之可實施範疇，任何熟習此技術之人士均可在不違背本揭露之精神與範疇下，對上述實施形態進行修飾與改變。然任何運用本揭露所教示內容而完成之等效修飾及改變，均仍應為下述之申請專利範圍所涵蓋。而本揭露之權利保護範圍，應如下述之申請專利範圍所列。

Claims (20)

  1. 一種影像掃描系統，包括：一第一光學單元，用以取得一第一影像；一第二光學單元，用以取得一第二影像；以及一處理單元，用以接收並處理該第一影像或該第二影像，該處理單元包括：一物件偵測模組，用以偵測出該第一影像或該第二影像內的物件；一座標計算模組，用以選定該第一影像或該第二影像內的物件中之至少一者作為一感興趣區域，並計算該感興趣區域與該第二光學單元之間的相對座標；一控制模組，用以依據該相對座標控制該第二光學單元持續掃描該第一影像或該第二影像內之該感興趣區域，以令該處理單元產生該第一影像或該第二影像內之該感興趣區域的一深度影像資訊；以及一影像整合模組，用以將該深度影像資訊整合至該第一影像與該第二影像所整合成之第三影像中。
  2. 如申請專利範圍第1項所述之影像掃描系統，其中，該第一光學單元為相機，該第二光學單元為三維光雷達感測器，且該第一影像為二維影像，該第二影像為三維影像。
  3. 如申請專利範圍第1項所述之影像掃描系統，其中，該第二光學單元包括一雷射光發射器、一反射鏡及一影像接收器，該雷射光發射器用以發出雷射光，該反射鏡係位於該雷射光之路徑上，用以調整該雷射光之路徑，使該雷射光射至該第一影像或該第二影像內之該感興趣區域後反射，該影像接收器用以接收經反射之雷射光以取得該第一影像或該第二影像內之該感興趣區域的該深度影像資訊。
  4. 如申請專利範圍第3項所述之影像掃描系統，其中，該控制模組係依據該相對座標控制該反射鏡來調整該雷射光之路徑，以持續掃描該第一影像或該第二影像內之該感興趣區域。
  5. 如申請專利範圍第1項所述之影像掃描系統，其中，該影像整合模組用以將整合有該深度影像資訊之該第三影像提供給該物件偵測模組、該座標計算模組及該控制模組進行後續處理。
  6. 如申請專利範圍第5項所述之影像掃描系統，其中，該處理單元更包括一校正模組，用以校正該第一影像及該第二影像之影像資訊後，再供該影像整合模組整合成該第三影像。
  7. 如申請專利範圍第1項所述之影像掃描系統，其中，該第二光學單元包括一雷射光發射器、一固態雷射導引器及一影像接收器，該雷射光發射器用以發出雷射光，該固態雷射導引器係利用液晶波導或光相控陣來調整該雷射光之路徑，使該雷射光射至該第一影像或該第二影像內之該感興趣區域後反射，該影像接收器用以接收經反射之雷射光以取得該第一影像或該第二影像內之該感興趣區域的該深度影像資訊。
  8. 如申請專利範圍第7項所述之影像掃描系統，其中，該控制模組係依據該相對座標控制該固態雷射導引器來調整該雷射光之路徑，以持續掃描該第一影像或該第二影像內之該感興趣區域。
  9. 如申請專利範圍第1項所述之影像掃描系統，其中，該第二光學單元包括一影像接收器及一主動式掃描雷射光發射器，且其中，該控制模組係依據該相對座標調整該主動式掃描雷射光發射器所發出之雷射光之路徑，使該雷射光射至該第一影像或該第二影像內之該感興趣區域後反射，該影像接收器用以接收經反射之雷射光以取得該第一影像或該第二影像內之該感興趣區域的該深度影像資訊。
  10. 如申請專利範圍第1項所述之影像掃描系統，其中，該第一光學單元及該第二光學單元皆為三維光雷達感測器，該第一影像及該第二影像皆為三維影像。
  11. 一種影像掃描方法，包括：取得一第一光學單元之視野內之一第一影像及一第二光學單元之視野內之一第二影像；透過一處理單元之一物件偵測模組偵測出該第一影像或該第二影像內的物件；透過該處理單元之一座標計算模組以選定該第一影像或該第二影像內的物件中之至少一者作為一感興趣區域，並計算該感興趣區域與該第二光學單元之間的相對座標；透過該處理單元之一控制模組依據該相對座標控制該第二光學單元持續掃描該第一影像或該第二影像內之該感興趣區域，以令該處理單元產生該第一影像或該第二影像內之該感興趣區域的一深度影像資訊；透過該處理單元之一影像整合模組將該深度影像資訊整合至該第一影像與該第二影像所整合成之第三影像中。
  12. 如申請專利範圍第11項所述之影像掃描方法，其中，該第二光學單元包括一雷射光發射器、一反射鏡及一影像接收器，該雷射光發射器用以發出雷射光，該反射鏡係位於該雷射光之路徑上，用以調整該雷射光之路徑，使該雷射光射至該第一影像或該第二影像內之該感興趣區域後反射，該影像接收器用以接收經反射之雷射光以取得該第一影像或該第二影像內之該感興趣區域的該深度影像資訊。
  13. 如申請專利範圍第12項所述之影像掃描方法，其中，該控制模組係依據該相對座標控制該反射鏡來調整該雷射光之路徑，以持續掃描該第一影像或該第二影像內之該感興趣區域。
  14. 如申請專利範圍第11項所述之影像掃描方法，其中，取得該第一影像及該第二影像之後，更包括透過該處理單元之一校正模組校正該第一影像及該第二影像之影像資訊之步驟。
  15. 如申請專利範圍第14項所述之影像掃描方法，其中，在校正該第一影像及該第二影像之影像資訊之步驟之後，更包括透過該影像整合模組將整合有該深度影像資訊之該第三影像提供給該物件偵測模組、該座標計算模組及該控制模組進行後續處理之步驟。
  16. 如申請專利範圍第11項所述之影像掃描方法，其中，該第二光學單元包括一雷射光發射器、一固態雷射導引器及一影像接收器，該雷射光發射器用以發出雷射光，該固態雷射導引器係利用液晶波導或光相控陣來調整該雷射光之路徑，使該雷射光射至該第一影像或該第二影像內之該感興趣區域後反射，該影像接收器用以接收經反射之雷射光以取得該第一影像或該第二影像內之該感興趣區域的該深度影像資訊。
  17. 如申請專利範圍第16項所述之影像掃描方法，其中，該控制模組係依據該相對座標控制該固態雷射導引器來調整該雷射光之路徑，以持續掃描該第一影像或該第二影像內之該感興趣區域。
  18. 如申請專利範圍第11項所述之影像掃描方法，其中，該第二光學單元包括一影像接收器及一主動式掃描雷射光發射器，且其中，該控制模組係依據該相對座標調整該主動式掃描雷射光發射器所發出之雷射光之路徑，使該雷射光射至該第一影像或該第二影像內之該感興趣區域後反射，該影像接收器用以接收經反射之雷射光以取得該第一影像或該第二影像內之該感興趣區域的該深度影像資訊。
  19. 如申請專利範圍第11項所述之影像掃描方法，其中，該第一光學單元及該第二光學單元皆為三維光雷達感測器，該第一影像及該第二影像皆為三維影像。
  20. 如申請專利範圍第11項所述之影像掃描方法，其中，該第一光學單元為相機，該第二光學單元為三維光雷達感測器，且該第一影像為二維影像，該第二影像為三維影像。
TW105133686A 2016-10-19 2016-10-19 影像掃描系統及其方法 TWI624170B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW105133686A TWI624170B (zh) 2016-10-19 2016-10-19 影像掃描系統及其方法
CN201611015227.9A CN108377380B (zh) 2016-10-19 2016-11-15 影像扫描系统及其方法
US15/468,952 US10262242B2 (en) 2016-10-19 2017-03-24 Image scanning system and image scanning method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105133686A TWI624170B (zh) 2016-10-19 2016-10-19 影像掃描系統及其方法

Publications (2)

Publication Number Publication Date
TW201817215A TW201817215A (zh) 2018-05-01
TWI624170B true TWI624170B (zh) 2018-05-11

Family

ID=61904557

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105133686A TWI624170B (zh) 2016-10-19 2016-10-19 影像掃描系統及其方法

Country Status (3)

Country Link
US (1) US10262242B2 (zh)
CN (1) CN108377380B (zh)
TW (1) TWI624170B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI784754B (zh) * 2021-04-16 2022-11-21 威盛電子股份有限公司 電子裝置以及物件偵測方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4321898A3 (en) * 2018-01-17 2024-04-24 Hesai Technology Co., Ltd. Detection device and method for adjusting parameter thereof
US20210072398A1 (en) * 2018-06-14 2021-03-11 Sony Corporation Information processing apparatus, information processing method, and ranging system
EP3754373A1 (en) * 2019-06-18 2020-12-23 Visteon Global Technologies, Inc. Method and system for determining information regarding an object
TWI749348B (zh) * 2019-07-31 2021-12-11 方碼科技有限公司 條碼掃描系統及條碼掃描方法
EP3805834B1 (en) * 2019-10-10 2023-12-06 Leica Instruments (Singapore) Pte. Ltd. Optical imaging system and corresponding apparatus, method and computer program
WO2021096482A1 (en) * 2019-11-11 2021-05-20 Hewlett-Packard Development Company, L.P. Providing a status of a radiation emitter
US11109586B2 (en) * 2019-11-13 2021-09-07 Bird Control Group, Bv System and methods for automated wildlife detection, monitoring and control
US20210246636A1 (en) * 2020-02-07 2021-08-12 Caterpillar Inc. System and Method of Autonomously Clearing a Windrow
US11269075B2 (en) 2020-04-17 2022-03-08 Samsung Electronics Co., Ltd. Hybrid sensor system and method for providing 3D imaging
TWI755765B (zh) * 2020-06-22 2022-02-21 中強光電股份有限公司 視覺與深度座標系的校正系統、校正方法及校正裝置
TWI772968B (zh) * 2020-11-17 2022-08-01 佐臻股份有限公司 具深度或影像監視系統的架設方法
TWI768709B (zh) * 2021-01-19 2022-06-21 福邦科技國際股份有限公司 雙影像融合方法與裝置
TWI792381B (zh) * 2021-03-25 2023-02-11 鈺立微電子股份有限公司 影像擷取裝置及其深度資訊計算方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201230773A (en) * 2010-09-27 2012-07-16 Apple Inc Image capture using three-dimensional reconstruction
TWI553591B (zh) * 2015-12-28 2016-10-11 緯創資通股份有限公司 深度影像處理方法及深度影像處理系統

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI358606B (en) 2007-12-28 2012-02-21 Ind Tech Res Inst Method for three-dimension (3d) measurement and an
CN101533529B (zh) * 2009-01-23 2011-11-30 北京建筑工程学院 基于深度图像的三维空间数据处理方法与装置
EP2405393B1 (en) * 2009-03-04 2021-07-28 Nec Corporation Device, method and program for creating information for object position estimation
JP5210233B2 (ja) * 2009-04-14 2013-06-12 日立オートモティブシステムズ株式会社 車両用外界認識装置及びそれを用いた車両システム
CN101588445B (zh) * 2009-06-09 2011-01-19 宁波大学 一种基于深度的视频感兴趣区域提取方法
US20110090135A1 (en) 2009-10-21 2011-04-21 Symbol Technologies, Inc. Interchangeable display device for a head-mounted display system
US8861842B2 (en) 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
US20120236379A1 (en) 2010-08-23 2012-09-20 Lighttime, Llc Ladar using mems scanning
TWI451064B (zh) 2011-04-25 2014-09-01 Univ Nat Formosa Laser displacement measuring device and method combined with image measuring instrument
US8948497B2 (en) 2012-09-04 2015-02-03 Digital Signal Corporation System and method for increasing resolution of images obtained from a three-dimensional measurement system
US9215382B1 (en) 2013-07-25 2015-12-15 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for data fusion and visualization of video and LADAR data
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9883169B2 (en) * 2014-03-31 2018-01-30 Sony Corporation Optical system, apparatus and method for operating an apparatus using helmholtz reciprocity
US9183459B1 (en) 2014-05-06 2015-11-10 The Boeing Company Sensor fusion using detector confidence boosting
KR101632873B1 (ko) 2014-09-05 2016-07-01 현대모비스 주식회사 장애물 검출 시스템 및 방법
KR102350235B1 (ko) * 2014-11-25 2022-01-13 삼성전자주식회사 영상 처리 방법 및 장치
JP6601489B2 (ja) * 2015-03-31 2019-11-06 株式会社ニコン 撮像システム、撮像装置、撮像方法、及び撮像プログラム
US10108867B1 (en) * 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201230773A (en) * 2010-09-27 2012-07-16 Apple Inc Image capture using three-dimensional reconstruction
TWI553591B (zh) * 2015-12-28 2016-10-11 緯創資通股份有限公司 深度影像處理方法及深度影像處理系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI784754B (zh) * 2021-04-16 2022-11-21 威盛電子股份有限公司 電子裝置以及物件偵測方法

Also Published As

Publication number Publication date
TW201817215A (zh) 2018-05-01
CN108377380A (zh) 2018-08-07
US20180107904A1 (en) 2018-04-19
CN108377380B (zh) 2020-03-06
US10262242B2 (en) 2019-04-16

Similar Documents

Publication Publication Date Title
TWI624170B (zh) 影像掃描系統及其方法
CN110178156A (zh) 包括可调节焦距成像传感器的距离传感器
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
WO2021063128A1 (zh) 单相机环境中主动式刚体的位姿定位方法及相关设备
JP7038346B2 (ja) カメラパラメータ算出方法、カメラパラメータ算出プログラム、及びカメラパラメータ算出装置
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
KR20200071960A (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
WO2021016854A1 (zh) 一种标定方法、设备、可移动平台及存储介质
JP6452235B2 (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
JP2015049200A (ja) 計測装置、方法及びプログラム
WO2017038659A1 (ja) 運動検出装置及びそれを用いた三次元形状測定装置
WO2016135856A1 (ja) ３次元形状計測システムおよびその計測方法
US11348271B2 (en) Image processing device and three-dimensional measuring system
TWI571099B (zh) 深度估測裝置及方法
JP6288770B2 (ja) 顔検出方法、顔検出システム、および顔検出プログラム
CN114119652A (zh) 用于三维重构的方法和装置以及电子设备
US10281265B2 (en) Method and system for scene scanning
JP2019000135A (ja) 視線計測装置
CN109803089B (zh) 电子设备和移动平台
JP6241083B2 (ja) 撮像装置及び視差検出方法
US11580662B2 (en) Associating three-dimensional coordinates with two-dimensional feature points
US20130241882A1 (en) Optical touch system and optical touch position detecting method
JP2014002489A (ja) 位置推定装置、方法、及びプログラム
CN114365189A (zh) 影像配准装置、图像生成系统、影像配准方法及影像配准程序
JP2021012043A (ja) 機械学習用情報処理装置、機械学習用情報処理方法、および機械学習用情報処理プログラム