TW202226050A - 取像方法 - Google Patents

取像方法 Download PDF

Info

Publication number
TW202226050A
TW202226050A TW109146576A TW109146576A TW202226050A TW 202226050 A TW202226050 A TW 202226050A TW 109146576 A TW109146576 A TW 109146576A TW 109146576 A TW109146576 A TW 109146576A TW 202226050 A TW202226050 A TW 202226050A
Authority
TW
Taiwan
Prior art keywords
light
light intensity
image
imaging
difference
Prior art date
Application number
TW109146576A
Other languages
English (en)
Other versions
TWI757015B (zh
Inventor
高彩齡
甘凱翔
鄭憲君
黃暐翔
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW109146576A priority Critical patent/TWI757015B/zh
Priority to CN202110103369.5A priority patent/CN114690510A/zh
Priority to US17/244,810 priority patent/US11615608B2/en
Application granted granted Critical
Publication of TWI757015B publication Critical patent/TWI757015B/zh
Publication of TW202226050A publication Critical patent/TW202226050A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一種取像方法，包含：以投光裝置非同時地分別投射取像亮度光及基準亮度光至目標物件，且取像亮度光與基準亮度光的光強度彼此相異，以取像裝置取得包含目標物件的第一影像及第二影像，其中第一影像及第二影像分別具有包含目標物件的相同部份的第一區域及第二區域，比較第一區域中的多個第一像素與第二區域中分別對應於該些第一像素的多個第二像素以取得多個差異量，以該些差異量之中符合差異標準所對應的第一像素作為目標物件的部分的輸出影像，以及基於需求量取得並選擇性地輸出需求光強度。

Description

取像方法
本發明係關於一種取像方法，特別係關於一種可以針對不同的工件及不同材質的表面取得最適影像的取像方法。
一般的生產線上具有各種不同種類的工件，而對該些工件進行檢測或定位的方式通常是取得工件的影像，並對影像進行三維的點雲（Point Cloud）重建。而隨著工件的材質不同，即使受同樣亮度的光線照射亦會有不同的反光度或吸光度。因此，當欲以相機對生產線上的工件進行取像並進行三維的點雲重建時，對不同的工件需個別調整相機的取像參數，以取得較適於三維點雲重建的影像。
在現有的技術中，針對不同工件個別調整相機的取像參數的方法多為手動調整，亦即使用者通常是依照其過往的經驗判斷出適當的取像參數。舉例而言，當工件具有反光的表面時，則使用者會降低相機的曝光時間或是降低投光裝置的投光量；反之，當工件具有吸光的表面時，使用者會調升相機的曝光時間或是增加投光裝置的投光量，以取得適合用於三維點雲重建的影像。
鑒於上述，本發明提供一種以滿足上述需求的取像方法，針對不同材質、顏色等的工件自適應地調整投光裝置的投光量，以取得適合用於三維點雲重建的影像。
依據本發明一實施例的一種取像方法，包含：以一投光裝置非同時地分別投射一取像亮度光及一基準亮度光至一目標物件，其中該取像亮度光的光強度異於該基準亮度光的光強度；以一取像裝置取得一第一影像及一第二影像，該二影像均包含該目標物件的影像，該第一影像為該取像亮度光投射於該目標物件時所取得，而該第二影像為該基準亮度光投射於該目標物件時所取得，其中該第一影像具有一第一區域包含該目標物件的一部份，該第二影像具有一第二區域包含該目標物件的該部份；以及以一運算裝置執行一差異評估程序，該差異評估程序包含：比較該第一區域中的多個第一像素與該第二區域中分別對應於該些第一像素的多個第二像素以取得多個差異量；以該些差異量之中符合一差異標準的所對應的一或多個第一像素作為該目標物件的該部分的輸出影像；以及基於一需求量取得一需求光強度並選擇性地輸出該需求光強度，其中該需求量與該些差異量之中符合該差異標準的量之和落於一門檻值域。
綜上所述，依據本發明一或多個實施例所示的取像方法，可以針對不同的工件及不同材質的表面自適應地調整投光裝置的投光量。因此當目標物件具有反光的表面時，可以判斷是否需調降投光裝置的投光量，並且當需調降投光裝置的投光量時，依據本發明一或多個實施例所示的取像方法，可以計算出最適的調降參數。相似地，當目標物件具有吸光的表面時，可以判斷是否需調升投光裝置的投光量，並且當需調升投光裝置的投光量時，依據本發明一或多個實施例所示的取像方法，可以計算出最適的調升參數。
以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。
以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。
本發明的取像方法可以適用於兩種情境，情境一為先以投光裝置投射取像亮度光及基準亮度光至目標物件，以取得對應二亮度光的二影像，以基於該二影像判斷是否需調整投光裝置的投光參數以取得另一影像；情境二為預先以投光裝置投射不同光強度的取像亮度光及基準亮度光至目標物件，以取得對應多種取像亮度光的光強度的多幀影像，並先以其中一幀影像判斷該幀影像是否符合使用需求，於判斷該幀影像不符合使用需求時再從該些影像中取得另一影像，其中該些種取像亮度光的光強度例如是以預定級距遞增或遞減。
以下將先對情境一進行說明。
請先參考圖1A，圖1A係繪示執行本發明一或多個實施例的取像方法的取像系統的示意圖。適於執行本發明的取像方法的取像系統較佳包含一投光裝置10、一取像裝置20以及一運算裝置30，其中運算裝置30較佳係以有線或無線的方式訊號可傳輸地連接於投光裝置10及取像裝置20。圖1所示的投光裝置10例如是投射格雷碼（Gray）的結構光（Structured Light）的投光裝置10；取像裝置20例如是三維結構光取像裝置；運算裝置30例如是處理器等具有運算功能的裝置，其中投光裝置10及取像裝置20的數量亦可以是多個，本發明不對取像系統的實現方式予以限制。
以圖1A為例，運算裝置30較佳係用以調控投光裝置10對目標物件O的投光參數，以及判讀取像裝置20所取得的包含目標物件O的至少一部份的影像（例如，圖1B所示的第一影像Img1及第二影像Img2），並據以判斷是否調整投光裝置10的投光參數，以取得適於對目標物件O的至少一部份進行三維點雲重建的影像，其中運算裝置30判讀取像裝置20所取得的影像以及調整投光裝置10的投光參數的詳細實現方式將於下說明。
請一併參考圖1A及圖2，其中圖2係依據本發明一實施例所繪示的取像方法的流程圖。
步驟S101：投射取像亮度光及基準亮度光至目標物件；步驟S103：取得第一影像及第二影像。
需先說明的是，取像亮度光的光強度高於基準亮度光的光強度。投光裝置10係非同時地分別投射取像亮度光及基準亮度光至目標物件O，即投光裝置10可以係先投射取像亮度光至目標物件O並由取像裝置20取得第一影像後，再由投光裝置10投射基準亮度光至目標物件O並由取像裝置20取得第二影像；投光裝置10亦可以是先投射基準亮度光至目標物件O並由取像裝置20取得第二影像，再由投光裝置10投射取像亮度光至目標物件O並由取像裝置20取得第一影像，本發明不對投光裝置10投射取像亮度光及基準亮度光的先後順序予以限制。
請先參考圖1B，圖1B係繪示第一影像及第二影像的示意圖。第一影像Img1中的目標物件O係受取像亮度光照射，而第二影像Img2中的目標物件O係受基準亮度光照射，且第一影像Img1及第二影像Img2具有不同的亮度。
請繼續參考圖1B以及步驟S103，取像裝置20取得的第一影像Img1及第二影像Img2皆包含目標物件O的影像，且第一影像Img1具有包含目標物件O的一部份的第一區域A1；第二影像Img2具有包含目標物件O的該部分的第二區域A2，其中圖1B所示的第一區域A1及第二區域A2的大小僅為示例，即第一區域A1及第二區域A2亦可以是包含電晶體（目標物件O）的整體，或是僅包含電晶體的封裝體部分或是針腳部分，本發明不以此為限。在取得第一影像Img1及第二影像Img2後，運算裝置30可以執行一差異評估程序DP，其中差異評估程序DP可以包含下述的步驟S105、步驟S107及步驟S109。
步驟S105：比較第一區域中的多個第一像素與第二區域中的多個第二像素以取得多個差異量。
於運算裝置30從取像裝置20取得第一影像Img1及第二影像Img2後，比較第一影像Img1及第二影像Img2中的第一區域A1中的多個第一像素及第二區域A2中的多個第二像素，以取得多個差異量。
換言之，由於第一區域A1及第二區域A2係不同影像中的同個區域，因此第一區域A1所涵蓋的第一像素分別對應於第二區域A2所涵蓋的第二像素。據此，運算裝置30可以比對彼此對應的第一像素及第二像素的亮度值，以取得所述的多個差異量。
具體而言，運算裝置30可以是以一亮暗度差異公式計算出該些差異量，該亮暗度差異公式係：
Figure 02_image001
， 其中
Figure 02_image003
為所述的差異量；
Figure 02_image005
為每一該些第一像素及每一該些第二像素的像素編號；
Figure 02_image007
為每一該些第一像素及每一該些第二像素的亮度值；
Figure 02_image009
為投光裝置10或取像裝置20與目標物件O之間的距離；
Figure 02_image011
為第一影像Img1的第一曝光時間，即取像裝置20取得第一影像Img1的曝光時間；
Figure 02_image013
為第二影像Img2的一第二曝光時間，即取像裝置20取得第二影像Img2的曝光時間；
Figure 02_image015
為投光裝置10投射取像亮度光的投光量，或取像裝置20取得第一影像的進光量；
Figure 02_image017
為投光裝置10投射基準亮度光的投光量，或取像裝置20取得第二影像的進光量，其中如前所述，當
Figure 02_image015
及
Figure 02_image017
皆為投光量時，則
Figure 02_image015
及
Figure 02_image017
彼此相異。
步驟S107：以該些差異量之中符合差異標準所對應的第一像素作為目標物件的部分的輸出影像。
運算裝置30可以基於該些差異量之中符合差異標準所對應的一或多個第一像素作為目標物件的部分的輸出影像，且作為該輸出影像的一或多個第一像素即為適合用於進行三維點雲重建的影像，其中運算裝置30判斷該些差異量是否符合差異標準的詳細實現方式將與圖3及圖4的實施例一併說明。
請先參考步驟S109：取得需求光強度。
即，對於該些差異量之中未符合差異標準所對應的第一像素，運算裝置30需基於一需求量將投光裝置10投光的光強度調整為需求光強度並選擇性地輸出需求光強度，以基於需求光強度取得另一影像（下述的第三影像）。換言之，在情境一中，運算裝置30可以輸出需求光強度以控制投光裝置10投光的光強度；在情境二中，運算裝置30可以直接基於取得的需求光強度選擇另一幀影像。因此，運算裝置30可以依據用於進行三維點雲重建所需的像素的數量取得需求光強度，而在情境一中，需求光強度即為投光裝置10下次投光時的光強度。
為便於理解，前述的取像亮度光將稱為第一取像亮度光，而對應需求光強度的取像亮度光將稱為第二取像亮度光。
步驟S111：取得第三影像。
在將投光裝置10投光的光強度調整為需求光強度並投射第二取像亮度光至目標物件O後，即可取得第三影像，其中第三影像為包含目標物件O的影像，且第三影像中的目標物件O即係受第二取像亮度光照射。
在取得第三影像後，運算裝置30可以第三影像更新第一影像Img1，並對更新後的第一影像（第三影像）執行如前述的差異評估程序DP，其中第二取像亮度光的光強度異於第一取像亮度光的光強度及基準亮度光的光強度，且以更新後的第一影像（第三影像）所執行的差異評估程序DP中，在第三影像中符合差異標準的差異量的量即為前述的需求量。
依據圖2所示的實施例，即使目標物件O是具有反光面或吸光面的物件，導致初始取得的影像不適於進行三維點雲重建，仍可以取得第三影像，以確保後續用於三維點雲重建的影像是最適影像，並避免因目標物件O的反光面或吸光面所導致的點雲破損的問題。因此，當本發明所示的取像方法係用於追蹤產線上的工件時，能夠精準地檢測及定位工件的狀態及位置。
請一併參考圖1A、圖1B及圖3，其中圖3係依據本發明一實施例所繪示的取像方法的細部流程圖，即圖3係繪示圖2的步驟S109的實現方式之一。
需先說明的是，圖2的步驟S107所述的差異標準可以是：該些差異量高於一差異門檻值，即在此實施例中，判斷每一該些差異量是否符合差異標準為判斷每一該些差異量是否高於差異門檻值，並且差異量高於差異門檻值的第一像素即可作為目標物件的部分的輸出影像，其中差異門檻值係作為兩像素間的明暗度差異是否達期望值的判斷依據。
因此，當判斷出該些差異量之中未達差異門檻值所對應的第一像素後，接續步驟S1091：判斷第一取像亮度光的光強度是否為最高光強度。
具體而言，當差異量未達差異門檻值時，表示其所對應的第一像素的亮度不足，而當第一像素的亮度不足時，可能會導致後續進行點雲重建所得的三維影像不夠精準，例如，目標物件O的吸光面使部分的第一像素的亮度過暗，而亮度過暗的第一像素即為差異量未達差異門檻值所對應的像素。因此，運算裝置30可以直接以一預定級距調升第一取像亮度光的光強度，或是以下述的步驟S1095調升第一取像亮度光的光強度，並以調升後的取像亮度光的光強度作為需求光強度，以基於需求光強度對應的取像亮度光取得第三影像。因此，在判定要調升第一取像亮度光的光強度之前，運算裝置30可以先判斷第一取像亮度光的光強度是否已為最高光強度，以判斷第一取像亮度光的光強度是否還有可上調的空間。
當判斷第一取像亮度光的光強度已為最高光強度時，則運算裝置30可以執行步驟S1093：以第一區域中的另一部分的第一像素作為目標物件的另一部分的輸出影像。
換言之，因第一取像亮度光的光強度已為最高光強度，故相較於圖2的步驟S107，圖3的步驟S1093係將第一區域A1中其餘的差異量低於差異門檻值的第一像素作為目標物件O的另一部分的輸出影像。此外，當判斷第一取像亮度光的光強度為最高光強度時，運算裝置30亦可以結束方法，並僅基於差異量高於差異門檻值的第一像素進行三維點雲重建。
而當判斷第一取像亮度光的光強度非為最高光強度時，表示第一取像亮度光的光強度仍有上調的空間，故運算裝置30可以執行步驟S1095，以控制投光裝置10取得光強度高於第一取像亮度光的需求光強度。
步驟S1095：依據需求量取得高於第一取像亮度光之光強度的需求光強度。
當於步驟S1091判斷第一取像亮度光的光強度未達最高光強度時，運算裝置30可以依據需求量取得高於第一取像亮度光之光強度的需求光強度，且需求量與在步驟S107輸出的第一像素的量的總和會落於一門檻值域，其中需求量係作為運算裝置30調整第一取像亮度光的光強度的依據。
舉例而言，假設第一區域A1共有100個第一像素且門檻值域為90%，而於步驟S107判得差異量達差異門檻值的第一像素的數量為60個，則需求量即為剩餘的40個第一像素中的至少75%（即100個第一像素中的至少30%），故於步驟S107判得的差異量達差異門檻值的第一像素以及需求量的第一像素之和即落於90%的門檻值域。因此，當第一取像亮度光的光強度未達最高光強度時，運算裝置30可以依據需求量調整第一取像亮度光的光強度，以使差異量大於或等於差異門檻值的數量可以佔第一區域A1中所有的第一像素的至少90%。
另外，依據需求量取得高於第一取像亮度光之光強度的需求光強度可以是以一投光量調升公式計算出需求光強度，其中該投光量調升公式係：
Figure 02_image019
， 其中
Figure 02_image021
為該需求光強度；
Figure 02_image023
為第一取像亮度光的光強度；
Figure 02_image025
為該需求量（例如，前述示例的75%）。
據此，可以於步驟S111取得第三影像，即投光裝置10將光強度為需求光強度的第二取像亮度光照射至目標物件O，以藉由取像裝置20取得第三影像。
請一併參考圖1A、圖1B及圖4，其中圖4係依據本發明另一實施例所繪示的取像方法的細部流程圖，即圖4繪示的步驟S109’係圖2的步驟S109的另一實現方式。
圖4與圖3的主要不同處在於：圖3的實施例乃是應用於取像亮度光的光強度相對接近基準亮度光的光強度（也就是需求光強度必須高於取像亮度光的光強度）的情況下，而圖4的實施例則是應用於取像亮度光的光強度相對遠大於基準亮度光的光強度（也就是需求光強度必須低於取像亮度光的光強度）的情況下。在圖4的實施例中，圖2的步驟S107所述的差異標準可以是：該些差異量低於一差異門檻值，即在此實施例中的差異門檻值不同於圖3的實施例的差異門檻值，且圖4的實施例中判斷每一該些差異量是否符合差異標準為判斷每一該些差異量是否低於差異門檻值，並且差異量低於差異門檻值的第一像素即可作為目標物件的部分的輸出影像，其中差異門檻值係作為兩像素間的明暗度差異是否達期望值的判斷依據。
在另一種實施方式中，同樣針對取像亮度光的光強度相對遠大於基準亮度光的光強度的情況，步驟S105所述取得該些差異量的方式可以是先將每一該些第一像素的亮度值分別與每一該些第二像素的亮度值相減以取得與第一像素相同數量的多個初始差值，再將一可顯像最大亮度值分別減每一該些初始差值以取得多個負片差值，並以該些負片差值作為該些差異量，其中所述的可顯像最大亮度值係指顯示器能夠顯示的最大亮度。因此，在此實施例中的差異標準為該些差異量高於差異門檻值。
因此，當判斷出該些差異量之中已達差異門檻值或差異量（負片差值）未達差異門檻值所對應的第一像素後，接續步驟S1091’：判斷第一取像亮度光的光強度是否為最低光強度。
具體而言，當差異量已達差異門檻值或負片差值未達差異門檻值時，表示其所對應的第一像素的亮度過高，而當第一像素亮度過高時，可能會導致後續進行點雲重建所得的三維影像不夠精準，例如，目標物件O的反光面使部分的第一像素的亮度過高，而亮度過高的第一像素即為差異量已達差異門檻值或負片差值未達差異門檻值所對應的像素。因此，運算裝置30可以直接以一預定級距調降第一取像亮度光的光強度，或是以下述的步驟S1095’調降第一取像亮度光的光強度，並以調降後的取像亮度光的光強度作為需求光強度，以基於需求光強度對應的取像亮度光取得第三影像。因此，在判定要調降第一取像亮度光的光強度之前，運算裝置30可以先判斷第一取像亮度光的光強度是否已為最低光強度，以判斷第一取像亮度光的光強度是否還有可下調的空間，其中最低光強度不小於基準亮度光的光強度。
當判斷第一取像亮度光的光強度已為最低光強度時，則運算裝置30可以執行步驟S1093’：以第一區域中的另一部分的第一像素作為目標物件的另一部分的輸出影像。
換言之，因第一取像亮度光的光強度已為最低光強度，故相較於圖2的步驟S107，圖4的步驟S1093’係將第一區域A1中其餘的差異量已達差異門檻值或負片差值未達差異門檻值的第一像素作為目標物件O的另一部分的輸出影像。此外，當判斷第一取像亮度光的光強度為最低光強度時，運算裝置30亦可以結束方法，並僅基於差異量未達差異門檻值或負片差值已達差異門檻值的第一像素進行三維點雲重建。
而當判斷第一取像亮度光的光強度非為最低光強度時，表示第一取像亮度光的光強度仍有下調的空間，故運算裝置30可以執行步驟S1095’，以控制投光裝置10取得光強度低於第一取像亮度光的需求光強度。
步驟S1095’： 依據需求量取得低於第一取像亮度光之光強度的需求光強度。
當於步驟S1091’判斷第一取像亮度光的光強度非為最低光強度時，運算裝置30可以依據需求量得低於第一取像亮度光之光強度的需求光強度，且需求量與在步驟S107輸出的第一像素的量的總和會落於門檻值域，其中需求量係作為運算裝置30調整第一取像亮度光的光強度的依據。
舉例而言，假設第一區域A1共有100個第一像素且門檻值域為90%，而於步驟S107判得差異量小於差異門檻值的第一像素的數量為60個，則需求量即為剩餘已達差異門檻值的40個第一像素中的至少75%（即100個第一像素中的至少30%），故於步驟S107判得的差異量小於差異門檻值的第一像素以及需求量的第一像素之和即落於90%的門檻值域。因此，當第一取像亮度光的光強度非為最低光強度時，運算裝置30可以依據需求量調整第一取像亮度光的光強度，以使差異量小於差異門檻值的數量可以佔第一區域A1中所有的第一像素的至少90%。
另外，依據需求量取得低於第一取像亮度光之光強度的需求光強度可以是以一投光量調降公式計算出需求光強度，其中該投光量調降公式係：
Figure 02_image027
其中
Figure 02_image021
為該需求光強度；
Figure 02_image023
為第一取像亮度光的光強度；
Figure 02_image025
為該需求量（例如，前述示例的75%）。
據此，即可於步驟S111取得第三影像，即投光裝置10將光強度為需求光強度的第二取像亮度光照射至目標物件O，以藉由取像裝置20取得第三影像。
綜上關於圖3以及4的說明，當需調升投光裝置10投射的光的光強度，且第一取像亮度光的光強度非為最高取像光強度時，則在運算裝置30判斷出對應未符合差異標準的第一像素的需求量後，可以依據需求量取得需求光強度，且需求光強度高於第一取像亮度光的光強度，以藉由調升投光裝置10投射的光的光強度以取得較適當的輸出影像；另一方面，當需調降投光裝置10投射的光的光強度，且第一取像亮度光的光強度非為最低光強度時，則在運算裝置30判斷出對應未符合差異標準的第一像素的需求量後，可以依據需求量取得需求光強度，且需求光強度低於第一取像亮度光的光強度，以藉由調降投光裝置10投射的光的光強度以取得較適當的輸出影像。
請接著參考下述的情境二，其中情境二較佳亦是使用如圖1A所示的取像系統。情境二取得第三影像的方式係從多個預存影像選擇其中一個作為第三影像，情境二的實現方式將於以下說明。
請再次參考圖2，需先說明的是，該些預存影像均係包含目標物件O的影像，而該些預存影像中的目標物件O係分別受到不同光強度的多種取像亮度光照射。故運算裝置30可以執行步驟S101及S103，並對第一影像Img1與第二影像Img2執行差異評估程序DP，其中用於執行差異評估程序DP的第一影像即為該些預存影像中的其中一者。
接著，於執行差異評估程序DP判斷出第一影像Img1的該些第一像素與第二影像Img2的該些第一像素之間的差異量後，可以執行步驟S107，以該些差異量之中符合差異標準所對應的第一像素作為目標物件O的部分的輸出影像。反之，對於執行差異評估程序DP判斷出差異量未符合差異標準的其餘的第一像素，運算裝置30可以執行步驟S109以取得需求光強度，並於步驟S111取得第三影像。
與情境一的不同處在於，情境二取得第三影像的方式是如前所述，從該些預存影像中選擇其中一個作為第三影像，且運算裝置30可以是在該些種取像亮度光之中以最接近於該需求光強度的取像亮度光所對應的預存影像作為第三影像。舉例而言，當該些種取像亮度光之中最接近於該需求光強度的取像亮度光為第二取像亮度光，則運算裝置30可以將對應第二取像亮度光的預存影像作為第三影像。
具體而言，因該些預存影像中的目標物件O係分別受到不同光強度的多種取像亮度光照射，且在該些種取像亮度光之中，第二取像亮度光的光強度係最接近於需求光強度，故運算裝置30即可以第二取像亮度光對應的預存影像作為第三影像。
此外，針對取像亮度光的光強度相對接近基準亮度光的光強度的情況，圖2的步驟S107所述的差異標準可以是：該些差異量高於差異門檻值。對於該些差異量中高於差異門檻值所對應的第一像素，表示該些第一像素具有足夠的辨識度且可以用於三維點雲重建。而對於該些差異量中未達差異門檻值對所應的第一像素，表示該些第一像素的亮度不足，即該些差異量中未達差異門檻值所對應的第一像素可能包含目標物件O的吸光面，使該些第一像素的亮度過暗。
因此，針對取像亮度光的光強度相對接近基準亮度光的光強度的情況，在情境二中，運算裝置30取得需求光強度的方式可以是直接以高於第一取像亮度光的光強度一個預定級距的另一光強度作為需求光強度；亦可以是執行如前述圖3所示的子步驟，並以投光量調升公式計算出需求光強度，而圖3的實現方式將不再於此贅述。
另外，圖2的步驟S107所述的差異標準亦可以是：該些差異量低於差異門檻值。對於該些差異量中低於差異門檻值所對應的第一像素，表示該些第一像素具有足夠的辨識度且可以用於三維點雲重建。而對於該些差異量中已達差異門檻值對所應的第一像素，表示該些第一像素的亮度過高，即該些差異量中已達差異門檻值所對應的第一像素可能包含目標物件O的反光面，使該些第一像素的亮度過高。並且，如上所述，在另一種實施方式中，取得該些差異量的方式可以是先將每一該些第一像素的亮度值分別與每一該些第二像素的亮度值相減以取得與第一像素相同數量的多個初始差值，再將可顯像最大亮度值分別減每一該些初始差值以取得多個負片差值，並以該些負片差值作為該些差異量。因此，若該些差異量係為此述的負片差值，則差異標準為差異量高於差異門檻值。
因此，運算裝置30取得需求光強度的方式可以是直接以低於第一取像亮度光的光強度一個預定級距的另一光強度作為需求光強度；亦可以是執行如前述圖4所示的子步驟，並以投光量調降公式計算出需求光強度，而圖4的實現方式將不再於此贅述。
簡言之，在情境二中，當運算裝置30判斷出該些差異量之中未符合差異標準的所對應的第一像素後，可以執行如圖3或圖4的實施例以取得需求光強度；運算裝置30亦可以第一取像亮度光的光強度的上一級距或下一級距的光強度作為需求光強度，並以需求光強度的第二取像亮度光所對應的預存影像作為第三影像。
綜上所述的兩種取得需求光強度的方式，本發明所示的取像方法可以在分別取得第一影像Img1及第二影像Img2後，執行差異評估程序DP，而對於差異評估程序DP所取得的該些差異量之中未符合差異標準的第一像素，可以調整投光裝置10的投光量，以取得需求光強度並取得第三影像；本發明所示的取像方法亦可以是先以不同的光強度的取像亮度光取得多幀預存影像以及以基準亮度光取得第二影像，並於取得足夠量的影像後，再開始對以多種取像亮度光取得的每幀預存影像及第二影像執行差異評估程序DP。
綜上所述，依據本發明一或多個實施例所示的取像方法，可以針對不同的工件及不同材質的表面自適應地調整投光裝置的投光量。因此當目標物件具有反光的表面時，可以判斷是否需調降投光裝置的投光量，並且當需調降投光裝置的投光量時，依據本發明一或多個實施例所示的取像方法，可以計算出最適的調降參數。相似地，當目標物件具有吸光的表面時，可以判斷是否需調升投光裝置的投光量，並且當需調升投光裝置的投光量時，依據本發明一或多個實施例所示的取像方法，可以計算出最適的調升參數。
雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。
O:目標物件 10:投光裝置 20:取像裝置 30:運算裝置 Img1:第一影像 Img2:第二影像 A1:第一區域 A2:第二區域 DP:差異評估程序
圖1A係繪示執行本發明一或多個實施例的取像方法的取像系統的示意圖。 圖1B係繪示第一影像及第二影像的示意圖。 圖2係依據本發明一實施例所繪示的取像方法的流程圖。 圖3係依據本發明一實施例所繪示的取像方法的細部流程圖。 圖4係依據本發明另一實施例所繪示的取像方法的細部流程圖。
DP:差異評估程序
S101、S103、S105、S107、S109、S111:步驟

Claims (15)

  1. 一種取像方法，包含：以一投光裝置非同時地分別投射一取像亮度光及一基準亮度光至一目標物件，其中該取像亮度光的光強度高於該基準亮度光的光強度；以一取像裝置取得一第一影像及一第二影像，該二影像均包含該目標物件的影像，該第一影像的該目標物件係受該取像亮度光照射，而該第二影像的該目標物件係受該基準亮度光照射，其中該第一影像具有一第一區域包含該目標物件的一部份，該第二影像具有一第二區域包含該目標物件的該部份；以及以一運算裝置執行一差異評估程序，該差異評估程序包含：比較該第一區域中的多個第一像素與該第二區域中分別對應於該些第一像素的多個第二像素以取得多個差異量；以該些差異量之中符合一差異標準所對應的一或多個第一像素作為該目標物件的該部分的輸出影像；以及基於一需求量取得一需求光強度並選擇性地輸出該需求光強度，其中該需求量與該些差異量之中符合該差異標準的量之和落於一門檻值域。
  2. 如請求項1所述的取像方法，其中該取像亮度光為一第一取像亮度光，且於取得該需求光強度後，該方法更包含：取得一第三影像，該第三影像為包含該目標物件的影像，且該第三影像中的該目標物件係受一第二取像亮度光照射，其中該第二取像亮度光照射的光強度關聯於該需求光強度；以及以該第三影像更新該第一影像並執行該差異評估程序，其中該第二取像亮度光的光強度異於該第一取像亮度光的光強度及該基準亮度光的光強度。
  3. 如請求項2所述的取像方法，其中取得該第三影像包含：從多個預存影像選擇其中一個作為該第三影像，其中該些預存影像均係包含該目標物件的影像，該些預存影像中的該目標物件係分別受到不同光強度的多種取像亮度光照射，且在該些種取像亮度光之中，該第二取像亮度光的光強度係最接近於該需求光強度。
  4. 如請求項2所述的取像方法，其中取得該第三影像包含：以該投光裝置投射該第二取像亮度光至該目標物件；以及以該取像裝置對受該第二取像亮度光照射的該目標物件進行取像，以取得該第三影像。
  5. 如請求項2所述的取像方法，其中該需求光強度高於該第一取像亮度光的光強度。
  6. 如請求項2所述的取像方法，其中該需求光強度低於該第一取像亮度光的光強度。
  7. 如請求項1所述的取像方法，其中該差異標準係為：該些差異量高於一差異門檻值，取得該些差異量包含：將每一該些第一像素的亮度值分別與每一該些第二像素的亮度值相減以取得多個初始差值；以及將一可顯像最大亮度值分別減每一該些初始差值以取得多個負片差值，並以該些負片差值作為該些差異量，而依據該需求量取得該需求光強度包含：依據該需求量取得低於該取像亮度光之光強度的該需求光強度。
  8. 如請求項1所述的取像方法，其中該差異標準係為：該些差異量高於一差異門檻值，而依據該需求量取得該需求光強度包含：依據該需求量取得高於該取像亮度光之光強度的該需求光強度。
  9. 如請求項1所述的取像方法，其中該差異標準係為：該些差異量低於一差異門檻值，而依據該需求量取得該需求光強度包含：依據該需求量取得低於該取像亮度光之光強度的該需求光強度。
  10. 如請求項8所述的取像方法，其中在依據該需求量取得高於該取像亮度光之光強度的該需求光強度之前，該方法更包含：判斷該取像亮度光的光強度是否為一最高光強度；以及當判斷該取像亮度光的光強度為該最高光強度時， 以該第一區域中該差異量低於該差異門檻值的一或多個第一像素作為該目標物件的另一部分的輸出影像。
  11. 如請求項9所述的取像方法，其中在依據該需求量取得低於該取像亮度光之光強度的該需求光強度之前，該方法更包含：判斷該取像亮度光的光強度是否為一最低取像光強度；以及當判斷該取像亮度光的光強度為該最低取像光強度時， 以該第一區域中該差異量高於該差異門檻值的一或多個第一像素作為該目標物件的另一部分的輸出影像。
  12. 如請求項8所述的取像方法，其中依據該需求量取得高於該取像亮度光之光強度的該需求光強度包含：以一投光量調升公式計算出該需求光強度，其中該投光量調升公式係：
    Figure 03_image029
    其中
    Figure 03_image031
    為該需求光強度；
    Figure 03_image033
    為該取像亮度光的光強度；
    Figure 03_image035
    為該需求量。
  13. 如請求項7所述的取像方法，其中依據該需求量取得低於該取像亮度光之光強度的該需求光強度包含：以一投光量調降公式計算出該需求光強度，其中該投光量調降公式係：
    Figure 03_image037
    其中
    Figure 03_image031
    為該需求光強度；
    Figure 03_image033
    為該取像亮度光的光強度；
    Figure 03_image035
    為該需求量。
  14. 如請求項9所述的取像方法，其中依據該需求量取得低於該取像亮度光之光強度的該需求光強度包含：以一投光量調降公式計算出該需求光強度，其中該投光量調降公式係：
    Figure 03_image037
    其中
    Figure 03_image031
    為該需求光強度；
    Figure 03_image033
    為該取像亮度光的光強度；
    Figure 03_image035
    為該需求量。
  15. 如請求項1所述的取像方法，其中比較該第一區域中的該些第一像素與該第二區域中分別對應於該些第一像素的該些第二像素以取得該些差異量包含：以一亮暗度差異公式計算出該些差異量，其中該亮暗度差異公式係：
    Figure 03_image039
    ；其中
    Figure 03_image041
    為該差異量；
    Figure 03_image043
    為每一該些第一像素及每一該些第二像素的一像素編號；
    Figure 03_image045
    為每一該些第一像素及每一該些第二像素的一亮度值；
    Figure 03_image047
    為該投光裝置或該取像裝置與該目標物件之間的距離；
    Figure 03_image049
    為該第一影像的一第一曝光時間；
    Figure 03_image051
    為該第二影像的一第二曝光時間；
    Figure 03_image053
    為該投光裝置投射該取像亮度光的投光量，或該取像裝置取得該第一影像的進光量；
    Figure 03_image055
    為該投光裝置投射該基準亮度光的投光量，或該取像裝置取得該第二影像的進光量。
TW109146576A 2020-12-29 2020-12-29 取像方法 TWI757015B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109146576A TWI757015B (zh) 2020-12-29 2020-12-29 取像方法
CN202110103369.5A CN114690510A (zh) 2020-12-29 2021-01-26 取像方法
US17/244,810 US11615608B2 (en) 2020-12-29 2021-04-29 Image obtaining method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109146576A TWI757015B (zh) 2020-12-29 2020-12-29 取像方法

Publications (2)

Publication Number Publication Date
TWI757015B TWI757015B (zh) 2022-03-01
TW202226050A true TW202226050A (zh) 2022-07-01

Family

ID=81710955

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109146576A TWI757015B (zh) 2020-12-29 2020-12-29 取像方法

Country Status (3)

Country Link
US (1) US11615608B2 (zh)
CN (1) CN114690510A (zh)
TW (1) TWI757015B (zh)

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6853806B2 (en) * 2002-09-13 2005-02-08 Olympus Optical Co., Ltd. Camera with an exposure control function
JP4818053B2 (ja) * 2006-10-10 2011-11-16 株式会社東芝 高解像度化装置および方法
JP4433045B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
GB2483481A (en) 2010-09-09 2012-03-14 Phase Vision Ltd Method and apparatus of measuring the shape of an object
US11509880B2 (en) 2012-11-14 2022-11-22 Qualcomm Incorporated Dynamic adjustment of light source power in structured light active depth sensing systems
EP3015819B1 (en) * 2013-06-27 2019-10-23 Panasonic Intellectual Property Corporation of America Motion sensor device having plurality of light sources
TWI594192B (zh) * 2013-10-09 2017-08-01 Ｏｐｔｏ電子有限公司 光學信息讀取裝置及照明控制方法
TWI534687B (zh) * 2014-01-24 2016-05-21 原相科技股份有限公司 光學觸控系統及其物件分析方法
CN105872392B (zh) * 2015-01-23 2019-01-04 原相科技股份有限公司 具有动态曝光时间的光学测距系统
JP6550827B2 (ja) * 2015-03-23 2019-07-31 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US10607316B2 (en) * 2016-07-22 2020-03-31 Panasonic Intellectual Property Management Co., Ltd. Image generating apparatus and image generating method
US9813150B1 (en) * 2016-09-23 2017-11-07 Qualcomm Incorporated Controllable selection of light-capture devices
CN107193123B (zh) 2017-05-25 2020-04-07 西安知象光电科技有限公司 一种自适应线结构光的闭环调制方法
JP6584454B2 (ja) 2017-06-14 2019-10-02 キヤノン株式会社 画像処理装置及び方法
CN107798698B (zh) 2017-09-25 2020-10-27 西安交通大学 基于灰度修正与自适应阈值的结构光条纹中心提取方法
CN109658365B (zh) 2017-10-11 2022-12-06 阿里巴巴(深圳)技术有限公司 图像处理方法、装置、系统和存储介质
US10306152B1 (en) 2018-02-14 2019-05-28 Himax Technologies Limited Auto-exposure controller, auto-exposure control method and system based on structured light
WO2019208155A1 (ja) * 2018-04-26 2019-10-31 富士フイルム株式会社 画像処理装置、方法、及びプログラム並びに撮像装置
CN110686599B (zh) 2019-10-31 2020-07-03 中国科学院自动化研究所 基于彩色格雷码结构光的三维测量方法、系统、装置
CN111612737B (zh) * 2020-04-15 2023-09-15 枞阳立太智能装备有限公司 一种人造板表面瑕疵检测装置及检测方法
CN111899310A (zh) * 2020-09-30 2020-11-06 歌尔光学科技有限公司 投影镜头占空比调整方法、装置、设备和计算机存储介质

Also Published As

Publication number Publication date
US20220207283A1 (en) 2022-06-30
TWI757015B (zh) 2022-03-01
US11615608B2 (en) 2023-03-28
CN114690510A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
US11503219B2 (en) Image processing apparatus, image capture apparatus, and control method for adding an effect of a virtual light source to a subject
CN105744175B (zh) 一种屏幕补光方法、装置及移动终端
JP5719418B2 (ja) ハイダイナミックレンジ画像の露光時間制御方法
CN112040139B (zh) 一种相机成像的补光方法
JP2003066321A (ja) Ａｆ制御装置およびａｆ制御方法
TWI608735B (zh) 影像擷取裝置及亮度調整方法
US8730352B2 (en) Image processing apparatus and image processing method
JP2014155033A (ja) 露出設定装置、発光強度設定装置、制御方法、プログラム、及び記憶媒体
CN109682814B (zh) 一种用tof深度相机修正空间频域成像中组织体表面光照度的方法
JP7401013B2 (ja) 情報処理装置、制御装置、情報処理方法及びプログラム
JP2009250844A (ja) 三次元形状計測方法および三次元形状計測装置
US10089731B2 (en) Image processing device to reduce an influence of reflected light for capturing and processing images
US8090253B2 (en) Photographing control method and apparatus using strobe
EP4050881A1 (en) High-dynamic range image synthesis method and electronic device
TWI757015B (zh) 取像方法
JP5932392B2 (ja) 画像処理装置および画像処理方法
JP5921330B2 (ja) 画像処理方法
JP2014098859A (ja) 撮像装置および撮像方法
JP7028814B2 (ja) 外形認識装置、外形認識システム及び外形認識方法
JP2009124309A (ja) 撮像装置
CN105120150B (zh) 基于曝光度自动提醒调整拍摄方向的拍摄装置及其方法
JP6179159B2 (ja) 外観検査システム
CA2759721C (en) Dynamic lighting control in hybrid camera - projector device
JP4231599B2 (ja) 撮像装置
JP6423669B2 (ja) 撮像装置及びその制御方法