TW201720130A - 機器視覺中進行影像擷取之方法及裝置 - Google Patents

機器視覺中進行影像擷取之方法及裝置 Download PDF

Info

Publication number
TW201720130A
TW201720130A TW105109631A TW105109631A TW201720130A TW 201720130 A TW201720130 A TW 201720130A TW 105109631 A TW105109631 A TW 105109631A TW 105109631 A TW105109631 A TW 105109631A TW 201720130 A TW201720130 A TW 201720130A
Authority
TW
Taiwan
Prior art keywords
image
sharpness
pixel point
pixel
images
Prior art date
Application number
TW105109631A
Other languages
English (en)
Other versions
TWI569642B (zh
Inventor
周葉林
蔡世光
Original Assignee
英華達股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英華達股份有限公司 filed Critical 英華達股份有限公司
Application granted granted Critical
Publication of TWI569642B publication Critical patent/TWI569642B/zh
Publication of TW201720130A publication Critical patent/TW201720130A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本發明公開了一種機器視覺中進行影像擷取之方法及裝置，其中該方法包含：採用遠心鏡頭對目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像；對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成影像；將合成影像發送給處理單元進行數位化處理。本發明的技術方案能夠在滿足多物面清晰需求的前提下，擴展應用範圍，提高處理效率，並保證各物面之間的關聯性。

Description

機器視覺中進行影像擷取之方法及裝置
本發明涉及機器視覺技術，尤其涉及機器視覺中進行影像擷取之方法及裝置。
“機器視覺”，即採用機器代替人眼來做測量和判斷等處理。機器視覺系統是指藉由機器視覺產品（即影像擷取裝置，分cmos和ccd兩種）抓取到影像後，將該影像傳送至處理單元，通過數位化處理，來進行尺寸、形狀、顏色等的判別，進而根據判別的結果來控制現場的設備及動作。
目前，機器視覺在自動化生產中的應用越來越廣泛，包括目標物件方位的檢測，零件、產品的外觀和品質檢測等。但是一般的機器視覺的技術方案中，採用機器視覺產品對目標物件進行影像擷取時，常會出現目標物件的某些部分清晰，而某些部分不清晰的情形，無法滿足多物面清晰的需求，造成後續基於影像的處理而導致結果不準確。
為了解決多物面清晰的問題，目前有以下幾種處理方式：
一、收縮光圈，獲得更大的景深，進而使多物面清晰。
二、架設多個相機，每一相機檢測一個物面，進而得到相應物面的清晰影像。
三、使用機械手臂，使相機運動到不同的拍攝點，得到每個物面的清晰影像。
上述處理方式存在以下缺陷：
第一種方式通過收縮光圈來獲得更大的景深，一方面曝光時間需要延長，影響系統的效率，另一方面，這種方式獲得的景深有限，只能滿足物面距離相差很小的情況下的需求。
第二種和第三種方式獲得多個影像，可以獲得不同物面的清晰影像，但這些影像需要分別處理，不但影響效率，而且失去了不同物面目標物件之間的關聯性。
綜上所述，現有進行影像擷取的技術方案都存在侷限性，不能做到在滿足多物面清晰的前提下不影響效率，且只能應用到部分情景。
本發明提供了一種機器視覺中進行影像擷取之方法，該方法能夠在滿足多物面清晰需求的前提下，擴展應用範圍，提高處理效率，並保證各物面之間的關聯性。
本發明提供了一種機器視覺中進行影像擷取之裝置，該裝置能夠在滿足多物面清晰需求的前提下，擴展應用範圍，提高處理效率，並保證各物面之間的關聯性。
其中，機器視覺中進行影像擷取之方法，該方法包含：採用遠心鏡頭對目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像；對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成影像；將合成影像發送給處理單元進行數位化處理。
較佳地，所述對不同物面的影像進行合成處理包含：將不同對焦點所對應的清晰物面區域進行堆疊處理，將各清晰物面區域合成在一張影像中。
較佳地，所述對不同物面的影像進行合成處理包含：對不同物面的影像分別進行遍歷，計算各像素點的銳利度；針對同一像素座標，選取銳利度最高的像素點對應的顏色值，作為像素座標對應的顏色值；確定所有像素座標對應的顏色值，得到合成影像。
較佳地，所述計算像素點的銳利度包含：計算指定像素點及其周邊像素點的灰度，根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的銳利度。
較佳地，所述根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的該銳利度，採用如下公式計算得到：其中，M為銳利度，G(n)為周邊第n點的灰度，Gx為指定像素點的灰度，D(n)為加權值。
其中，機器視覺中進行影像擷取之裝置包括成像單元、計算單元、儲存單元和處理單元；成像單元，採用遠心鏡頭對目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像，儲存到儲存單元；儲存單元，用於儲存來自成像單元的影像；計算單元，從儲存單元提取不同物面的影像，對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成影像；將合成影像發送給處理單元；處理單元，接收合成影像並進行數位化處理。
較佳地，計算單元對不同物面的影像進行合成處理時，將不同對焦點所對應的一清晰物面區域進行堆疊處理，將各清晰物面區域合成在一張影像中。
較佳地，計算單元包括銳利度計算子單元和影像合成子單元；銳利度計算子單元對不同物面的影像分別進行遍歷，計算各像素點的一銳利度，發送給影像合成子單元；影像合成子單元針對同一像素座標，選取銳利度最高的像素點對應的顏色值，作為像素座標對應的顏色值；確定所有像素座標對應的顏色值，得到合成影像。
較佳地，銳利度計算子單元計算像素點的銳利度時，計算指定像素點及其周邊像素點的灰度，根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的銳利度。
較佳地，銳利度計算子單元在根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的該銳利度，採用如下公式計算得到：其中，M為銳利度，G(n)為周邊第n點的灰度，Gx為指定圖元點的灰度，D(n)為加權值。
從上述可以看出，本發明中，採用遠心鏡頭(Telecentric lens)對目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像；對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成影像；將合成影像發送給處理單元進行數位化處理。本發明的技術方案可應用在多物面清晰需求的各種場景，並不僅限於物面距離相差很小的少部分情況，擴展了應用範圍；並且，無需設置多個相機分別進行拍攝，也無需對分別拍攝的多個影像分別進行數位化處理，而只需針對不同物面調節對焦點，得到的合成影像包含不同物面的清晰顯示，而後對合成影像進行數位化處理即可，進而提高了處理效率，也保證了各物面之間的關聯性。
為使本發明的目的、技術方案和優點更加清楚明白，下面結合實施例和附圖，對本發明進一步詳細說明。
現有進行影像擷取的技術方案都存在侷限性，不能做到在滿足多物面清晰的前提下不影響效率，且只能應用到部分情景。針對該技術問題，發明人進行深入分析後，考慮將現有的遠心鏡頭技術應用到影像擷取中。
遠心鏡頭主要是為糾正傳統工業鏡頭視差而設計，它可以在一定的物距範圍內，使得到的影像放大倍率不會變化，這對被測物不在同一物面上的情況是非常重要的應用。遠心鏡頭由於其特有的平行光路設計，一直為對鏡頭畸變要求很高的機器視覺應用場合所青睞。本發明採用遠心鏡頭，對不同物面分別拍攝影像，得到相應物面的清晰影像，然後進一步對各物面影像處理，將各物面的清晰影像合成到一幅影像中，後續再基於得到的該影像進行數位化處理，這樣可使機器視覺的結果更加準確。
圖1為本發明機器視覺中進行影像擷取之方法示意性流程圖，其包括以下步驟：
步驟101：採用遠心鏡頭對目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像。
不同物面，也就是不同焦點所對焦的平面。針對目標物件的不同物面，分別進行對焦，在不同對焦點下擷取各物面的影像，得到的影像中，對焦的物面清晰，其他物面可能存在模糊。
具體實施時，固定拍攝裝置後，改變焦點，對焦在不同物面上進行影像擷取。例如，針對某目標物件，在垂直於地面的方向上有三個平面（即物面），如圖2所示，具體為物面A、B和C；則分別對焦在三個物面上進行影像擷取，得到的三幅影像中，有一個平面是清晰的，另外兩個平面模糊。
步驟102：對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成影像。
其中，合成影像中之各物面都清晰顯示。
步驟103：將合成影像發送給處理單元進行數位化處理。
將合成影像傳送至處理單元，通過數位化處理，來進行尺寸、形狀、顏色等的判別，進而檢測零件、產品等目標物件的外觀和品質等。
本發明中，採用遠心鏡頭對目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像；對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成影像；將合成影像發送給處理單元進行數位化處理。本發明的技術方案可應用在多物面清晰需求的各種場景，並不僅限於物面距離相差很小的少部分情況，擴展了應用範圍；並且，無需設置多個相機分別進行拍攝，也無需對分別拍攝的多個影像分別進行數位化處理，而只需針對不同物面調節對焦點，得到的合成影像包含不同物面的清晰顯示，而後對合成影像進行數位化處理即可，進而提高了處理效率，也保證了各物面之間的關聯性。
操作圖1之步驟後得到不同物面的影像，可採用多種方式進行合成處理，以得到一張不同物面都清晰的合成影像；具體實施時，可將不同對焦點所對應的清晰物面區域進行堆疊處理，將各清晰物面區域合成在一張影像中。對各清晰物面區域的堆疊合成有多種實現方案，例如，先確定各物面影像中的清晰區域的位置範圍，然後將各清晰區域堆疊成一張影像，得到合成影像；再如，採用圖3流程所示的實施方式：
步驟301：對不同物面的影像分別進行遍歷，計算各像素點的銳利度。
步驟302：針對同一像素座標，選取銳利度最高的像素點對應的顏色值，作為該像素座標對應的顏色值。
對於不同物面的影像，針對同一像素座標，顏色值不同，本步驟從中選取銳利度最高的顏色值，作為合成影像中的顏色值；採用該方式確定出所有像素座標的顏色值。
步驟303：確定所有像素座標對應的顏色值，得到合成影像。
計算像素點的銳利度的方案有多種，例如：計算指定像素點及其周邊像素點的灰度，根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的銳利度。
根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的銳利度，可具體採用如下公式計算得到：， 其中，M為銳利度，G(n)為周邊第n點的灰度，Gx為指定像素點的灰度，D(n)為加權值，是用於進一步提高計算結果的準確性。
距離指定像素點近的周邊像素點的加權值，大於距離指定像素點遠的周邊像素點的加權值。如表1，給出了各周邊像素點的加權值，其中x為指定像素點，與其相鄰的八個像素點的加權值分別標示在表中。表1　加權矩陣示意圖
請參照圖4，本發明還提供了機器視覺中進行影像擷取之裝置的結構示意圖，前述裝置包括成像單元10、計算單元20、儲存單元30及處理單元40。
成像單元10採用遠心鏡頭對目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像，儲存到儲存單元30。
儲存單元30用於儲存來自成像單元10的影像。
計算單元20從儲存單元30提取不同物面的影像，對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成影像。接著將合成影像發送處理單元40。
處理單元40接收合成影像並進行數位化處理。
較佳地，計算單元20對不同物面的影像進行合成處理時，將不同對焦點所對應的清晰物面區域進行堆疊處理，將各清晰物面區域合成在一張影像中。
較佳地，計算單元20包括銳利度計算子單元21和影像合成子單元22。
其中，銳利度計算子單元21對不同物面的影像分別進行遍歷，計算各像素點的銳利度，發送給影像合成子單元22。
其中，影像合成子單元22針對同一像素座標，選取銳利度最高的像素點對應的顏色值，作為該像素座標對應的顏色值；確定所有像素座標對應的顏色值，得到合成影像。
較佳地，銳利度計算子單元21計算指定像素點的銳利度時，計算指定像素點及其周邊像素點的灰度，根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的銳利度。
較佳地，銳利度計算子單元21在根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的銳利度，採用如下公式計算得到：， 其中，M為銳利度，G(n)為周邊第n點的灰度，Gx為指定像素點的灰度，D(n)為加權值。
下面以一個具體實例對本發明的技術方案的應用進行說明。在某產品的檢測應用中，需要同時檢測產品中按前後順序排佈的兩個部件，但兩者不在同一物面上。採用本發明的技術方案，分別對焦兩個部件，拍攝得到兩張影像，如圖5、6所示，將兩張影像進行合成後，得到圖7所示的合成影像，合成影像中兩個部件所在的物面都是清晰的。
根據遠心鏡頭技術的特點，在不同的對焦點可以獲得相同放大倍率的影像；本發明採用裝有遠心鏡頭的拍攝裝置，對目標物件進行拍攝，獲得不同物面的清晰影像，分析計算各影像興趣區域的銳利度，根據銳利度比，實現焦點堆疊，合成為一張全清晰影像圖片。
本發明方案不需要採用多個相機，也無需專門為拍攝而架設機械手臂，降低了成本；並且，本發明將不同物面的清晰影像合成為一張影像，保持了目標物件之間的關聯性。
以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明保護的範圍之內。
10‧‧‧成像單元
20‧‧‧計算單元
21‧‧‧銳利度計算子單元
22‧‧‧影像合成子單元
30‧‧‧儲存單元
40‧‧‧處理單元
101～103、301～303‧‧‧步驟
圖1　為本發明機器視覺中進行影像擷取之方法的示意性流程圖；
圖2　為本發明在垂直於地面的方向上有三個對焦物面的示意圖實例；
圖3　為本發明進行影像合成的方法流程圖實例；
圖4　為本發明機器視覺中進行影像擷取之裝置的結構示意圖；
圖5　為本發明實施例中對焦在logo上的影像；
圖6　為本發明實施例中對焦在打印紙上的影像；
圖7　為本發明實施例中得到的合成影像。
101~103‧‧‧步驟

Claims (10)

  1. 一種機器視覺中進行影像擷取之方法，該方法包含：採用一遠心鏡頭對一目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像；對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成影像；將該合成影像發送給一處理單元進行數位化處理。
  2. 如申請專利範圍第1項所述之方法，其中，所述對不同物面的影像進行合成處理包含：將不同對焦點所對應的一清晰物面區域進行堆疊處理，將各該清晰物面區域合成在一張影像中。
  3. 如申請專利範圍第1項所述之方法，其中，所述對不同物面的影像進行合成處理包含：對不同物面的影像分別進行遍歷，計算各像素點的一銳利度；針對同一像素座標，選取該銳利度最高的像素點對應的顏色值，作為該像素座標對應的顏色值；確定所有像素座標對應的顏色值，得到該合成影像。
  4. 如申請專利範圍第3項所述之方法，其中，所述計算像素點的該銳利度，包含：計算指定像素點及其周邊像素點的灰度，根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的銳利度。
  5. 如申請專利範圍第4項所述之方法，其中，所述根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的該銳利度，採用如下公式計算得到：， 其中，M為銳利度，G(n)為周邊第n點的灰度，Gx為指定像素點的灰度，D(n)為加權值。
  6. 一種機器視覺中進行影像擷取之裝置，其中，該裝置包括一成像單元、一計算單元、一儲存單元和一處理單元；該成像單元，採用一遠心鏡頭對一目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像，儲存到該儲存單元；該儲存單元，用於儲存來自該成像單元的影像；該計算單元，從該儲存單元提取不同物面的影像，對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成影像；將該合成影像發送給該處理單元；該處理單元，接收該合成影像並進行數位化處理。
  7. 如申請專利範圍第6項所述之裝置，其中，該計算單元對不同物面的影像進行合成處理時，將不同對焦點所對應的一清晰物面區域進行堆疊處理，將各該清晰物面區域合成在一張影像中。
  8. 如申請專利範圍第6項所述之裝置，其中，該計算單元包括一銳利度計算子單元和一影像合成子單元；該銳利度計算子單元，對不同物面的影像分別進行遍歷，計算各像素點的一銳利度，發送給該影像合成子單元；該影像合成子單元，針對同一像素座標，選取該銳利度最高的像素點對應的顏色值，作為該像素座標對應的顏色值；確定所有像素座標對應的顏色值，得到該合成影像。
  9. 如申請專利範圍第8項所述之裝置，其中，該銳利度計算子單元，計算像素點的該銳利度時，計算指定像素點及其周邊像素點的灰度，根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的該銳利度。
  10. 如申請專利範圍第9項所述之裝置，其中，該銳利度計算子單元，在根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的該銳利度，採用如下公式計算得到：， 其中，M為銳利度，G(n)為周邊第n點的灰度，Gx為指定圖元點的灰度，D(n)為加權值。
TW105109631A 2015-11-23 2016-03-28 機器視覺中進行影像擷取之方法及裝置 TWI569642B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510817142.1A CN105491280A (zh) 2015-11-23 2015-11-23 机器视觉中进行图像采集的方法及装置

Publications (2)

Publication Number Publication Date
TWI569642B TWI569642B (zh) 2017-02-01
TW201720130A true TW201720130A (zh) 2017-06-01

Family

ID=55677966

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105109631A TWI569642B (zh) 2015-11-23 2016-03-28 機器視覺中進行影像擷取之方法及裝置

Country Status (2)

Country Link
CN (1) CN105491280A (zh)
TW (1) TWI569642B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109792486A (zh) * 2016-09-29 2019-05-21 株式会社尼康 摄像装置
CN110715820A (zh) * 2018-07-11 2020-01-21 宁波其兰文化发展有限公司 一种河床采样方法
CN114972142A (zh) * 2022-05-13 2022-08-30 杭州汇萃智能科技有限公司 一种变物距情况下的远心镜头图像合成方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6989939B2 (en) * 2003-08-11 2006-01-24 Canon Kabushiki Kaisha Variable-power optical system, projection optical system, and image projection apparatus using the systems
WO2011070757A1 (ja) * 2009-12-07 2011-06-16 パナソニック株式会社 撮像装置および撮像方法
JP5367094B2 (ja) * 2009-12-07 2013-12-11 パナソニック株式会社 撮像装置及びその制御方法
JP5882898B2 (ja) * 2011-03-14 2016-03-09 パナソニック株式会社 撮像装置、撮像方法、集積回路、コンピュータプログラム
US8849064B2 (en) * 2013-02-14 2014-09-30 Fotonation Limited Method and apparatus for viewing images
CN104469160A (zh) * 2014-12-19 2015-03-25 宇龙计算机通信科技(深圳)有限公司 一种图像的获取及处理方法、系统及终端
CN104735350B (zh) * 2015-03-02 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备

Also Published As

Publication number Publication date
CN105491280A (zh) 2016-04-13
TWI569642B (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
CN105894499B (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
US10306165B2 (en) Image generating method and dual-lens device
WO2019114617A1 (zh) 快速抓拍的方法、装置及系统
CN110782394A (zh) 全景视频快速拼接方法及系统
CN107084680B (zh) 一种基于机器单目视觉的目标深度测量方法
WO2014044126A1 (zh) 坐标获取装置、实时三维重建系统和方法、立体交互设备
WO2016155110A1 (zh) 图像透视畸变校正的方法及系统
CN107578450B (zh) 一种用于全景相机装配误差标定的方法及系统
CN108734738B (zh) 相机标定方法及装置
TWI569642B (zh) 機器視覺中進行影像擷取之方法及裝置
CN107036579A (zh) 一种基于单目液透镜变焦光学系统的目标相对定位方法
JP2017208606A5 (zh)
WO2018001252A1 (zh) 一种投射单元及包括该单元的拍摄装置、处理器、成像设备
WO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
WO2017130650A1 (ja) ステレオカメラおよび撮像システム
CN106888344B (zh) 摄像模组及其像面倾斜的获取方法和调整方法
CN112470189B (zh) 光场系统的遮挡消除
JP2010256296A (ja) 全方位３次元空間認識入力装置
CN104754316B (zh) 一种3d成像方法、装置及成像系统
JP2018038087A5 (zh)
CN111292380B (zh) 图像处理方法及装置
JP7300895B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
WO2015159791A1 (ja) 測距装置および測距方法
JP7033294B2 (ja) 撮像システム、撮像方法
WO2015141185A1 (ja) 撮像制御装置、撮像制御方法および記録媒体