TWI569642B - 機器視覺中進行影像擷取之方法及裝置 - Google Patents

機器視覺中進行影像擷取之方法及裝置 Download PDF

Info

Publication number
TWI569642B
TWI569642B TW105109631A TW105109631A TWI569642B TW I569642 B TWI569642 B TW I569642B TW 105109631 A TW105109631 A TW 105109631A TW 105109631 A TW105109631 A TW 105109631A TW I569642 B TWI569642 B TW I569642B
Authority
TW
Taiwan
Prior art keywords
image
sharpness
pixel
images
different
Prior art date
Application number
TW105109631A
Other languages
English (en)
Other versions
TW201720130A (zh
Inventor
周葉林
蔡世光
Original Assignee
英華達股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英華達股份有限公司 filed Critical 英華達股份有限公司
Application granted granted Critical
Publication of TWI569642B publication Critical patent/TWI569642B/zh
Publication of TW201720130A publication Critical patent/TW201720130A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Description

機器視覺中進行影像擷取之方法及裝置
本發明涉及機器視覺技術，尤其涉及機器視覺中進行影像擷取之方法及裝置。
“機器視覺”，即採用機器代替人眼來做測量和判斷等處理。機器視覺系統是指藉由機器視覺產品(即影像擷取裝置，分cmos和ccd兩種)抓取到影像後，將該影像傳送至處理單元，通過數位化處理，來進行尺寸、形狀、顏色等的判別，進而根據判別的結果來控制現場的設備及動作。
目前，機器視覺在自動化生產中的應用越來越廣泛，包括目標物件方位的檢測，零件、產品的外觀和品質檢測等。但是一般的機器視覺的技術方案中，採用機器視覺產品對目標物件進行影像擷取時，常會出現目標物件的某些部分清晰，而某些部分不清晰的情形，無法滿足多物面清晰的需求，造成後續基於影像的處理而導致結果不準確。
為了解決多物面清晰的問題，目前有以下幾種處理方式：
一、收縮光圈，獲得更大的景深，進而使多物面清晰。
二、架設多個相機，每一相機檢測一個物面，進而得到相 應物面的清晰影像。
三、使用機械手臂，使相機運動到不同的拍攝點，得到每個物面的清晰影像。
上述處理方式存在以下缺陷：
第一種方式通過收縮光圈來獲得更大的景深，一方面曝光時間需要延長，影響系統的效率，另一方面，這種方式獲得的景深有限，只能滿足物面距離相差很小的情況下的需求。
第二種和第三種方式獲得多個影像，可以獲得不同物面的清晰影像，但這些影像需要分別處理，不但影響效率，而且失去了不同物面目標物件之間的關聯性。
綜上所述，現有進行影像擷取的技術方案都存在侷限性，不能做到在滿足多物面清晰的前提下不影響效率，且只能應用到部分情景。
本發明提供了一種機器視覺中進行影像擷取之方法，該方法能夠在滿足多物面清晰需求的前提下，擴展應用範圍，提高處理效率，並保證各物面之間的關聯性。
本發明提供了一種機器視覺中進行影像擷取之裝置，該裝置能夠在滿足多物面清晰需求的前提下，擴展應用範圍，提高處理效率，並保證各物面之間的關聯性。
其中，機器視覺中進行影像擷取之方法，該方法包含：採 用遠心鏡頭對目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像；對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成影像；將合成影像發送給處理單元進行數位化處理。
較佳地，所述對不同物面的影像進行合成處理包含：將不同對焦點所對應的清晰物面區域進行堆疊處理，將各清晰物面區域合成在一張影像中。
較佳地，所述對不同物面的影像進行合成處理包含：對不同物面的影像分別進行遍歷，計算各像素點的銳利度；針對同一像素座標，選取銳利度最高的像素點對應的顏色值，作為像素座標對應的顏色值；確定所有像素座標對應的顏色值，得到合成影像。
較佳地，所述計算像素點的銳利度包含：計算指定像素點及其周邊像素點的灰度，根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的銳利度。
較佳地，所述根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的該銳利度，採用如下公式計算得到：
其中，M為銳利度，G(n)為周邊第n點的灰度，Gx為指定像素點的灰度，D(n)為加權值。
其中，機器視覺中進行影像擷取之裝置包括成像單元、計算單元、儲存單元和處理單元；成像單元，採用遠心鏡頭對目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像，儲存到儲存單元；儲存單元，用於儲存來自成像單元的影像；計算單元，從儲存單元提取 不同物面的影像，對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成影像；將合成影像發送給處理單元；處理單元，接收合成影像並進行數位化處理。
較佳地，計算單元對不同物面的影像進行合成處理時，將不同對焦點所對應的一清晰物面區域進行堆疊處理，將各清晰物面區域合成在一張影像中。
較佳地，計算單元包括銳利度計算子單元和影像合成子單元；銳利度計算子單元對不同物面的影像分別進行遍歷，計算各像素點的一銳利度，發送給影像合成子單元；影像合成子單元針對同一像素座標，選取銳利度最高的像素點對應的顏色值，作為像素座標對應的顏色值；確定所有像素座標對應的顏色值，得到合成影像。
較佳地，銳利度計算子單元計算像素點的銳利度時，計算指定像素點及其周邊像素點的灰度，根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的銳利度。
較佳地，銳利度計算子單元在根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的該銳利度，採用如下公式計算得到：
其中，M為銳利度，G(n)為周邊第n點的灰度，Gx為指定圖元點的灰度，D(n)為加權值。
從上述可以看出，本發明中，採用遠心鏡頭(Telecentric lens)對目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像；對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成 影像；將合成影像發送給處理單元進行數位化處理。本發明的技術方案可應用在多物面清晰需求的各種場景，並不僅限於物面距離相差很小的少部分情況，擴展了應用範圍；並且，無需設置多個相機分別進行拍攝，也無需對分別拍攝的多個影像分別進行數位化處理，而只需針對不同物面調節對焦點，得到的合成影像包含不同物面的清晰顯示，而後對合成影像進行數位化處理即可，進而提高了處理效率，也保證了各物面之間的關聯性。
10‧‧‧成像單元
20‧‧‧計算單元
21‧‧‧銳利度計算子單元
22‧‧‧影像合成子單元
30‧‧‧儲存單元
40‧‧‧處理單元
101~103、301~303‧‧‧步驟
圖1 為本發明機器視覺中進行影像擷取之方法的示意性流程圖；圖2 為本發明在垂直於地面的方向上有三個對焦物面的示意圖實例；圖3 為本發明進行影像合成的方法流程圖實例；圖4 為本發明機器視覺中進行影像擷取之裝置的結構示意圖；圖5 為本發明實施例中對焦在logo上的影像；圖6 為本發明實施例中對焦在打印紙上的影像；圖7 為本發明實施例中得到的合成影像。
為使本發明的目的、技術方案和優點更加清楚明白，下面 結合實施例和附圖，對本發明進一步詳細說明。
現有進行影像擷取的技術方案都存在侷限性，不能做到在滿足多物面清晰的前提下不影響效率，且只能應用到部分情景。針對該技術問題，發明人進行深入分析後，考慮將現有的遠心鏡頭技術應用到影像擷取中。
遠心鏡頭主要是為糾正傳統工業鏡頭視差而設計，它可以在一定的物距範圍內，使得到的影像放大倍率不會變化，這對被測物不在同一物面上的情況是非常重要的應用。遠心鏡頭由於其特有的平行光路設計，一直為對鏡頭畸變要求很高的機器視覺應用場合所青睞。本發明採用遠心鏡頭，對不同物面分別拍攝影像，得到相應物面的清晰影像，然後進一步對各物面影像處理，將各物面的清晰影像合成到一幅影像中，後續再基於得到的該影像進行數位化處理，這樣可使機器視覺的結果更加準確。
圖1為本發明機器視覺中進行影像擷取之方法示意性流程圖，其包括以下步驟：
步驟101：採用遠心鏡頭對目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像。
不同物面，也就是不同焦點所對焦的平面。針對目標物件的不同物面，分別進行對焦，在不同對焦點下擷取各物面的影像，得到的影像中，對焦的物面清晰，其他物面可能存在模糊。
具體實施時，固定拍攝裝置後，改變焦點，對焦在不同物面上進行影像擷取。例如，針對某目標物件，在垂直於地面的方向上有三個平面(即物面)，如圖2所示，具體為物面A、B和C；則分別對焦在三個物面上進行影像擷取，得到的三幅影像中，有一個平面是清晰 的，另外兩個平面模糊。
步驟102：對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成影像。
其中，合成影像中之各物面都清晰顯示。
步驟103：將合成影像發送給處理單元進行數位化處理。
將合成影像傳送至處理單元，通過數位化處理，來進行尺寸、形狀、顏色等的判別，進而檢測零件、產品等目標物件的外觀和品質等。
本發明中，採用遠心鏡頭對目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像；對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成影像；將合成影像發送給處理單元進行數位化處理。本發明的技術方案可應用在多物面清晰需求的各種場景，並不僅限於物面距離相差很小的少部分情況，擴展了應用範圍；並且，無需設置多個相機分別進行拍攝，也無需對分別拍攝的多個影像分別進行數位化處理，而只需針對不同物面調節對焦點，得到的合成影像包含不同物面的清晰顯示，而後對合成影像進行數位化處理即可，進而提高了處理效率，也保證了各物面之間的關聯性。
操作圖1之步驟後得到不同物面的影像，可採用多種方式進行合成處理，以得到一張不同物面都清晰的合成影像；具體實施時，可將不同對焦點所對應的清晰物面區域進行堆疊處理，將各清晰物面區域合成在一張影像中。對各清晰物面區域的堆疊合成有多種實現方案，例如，先確定各物面影像中的清晰區域的位置範圍，然後將各清晰區域堆疊成一張影像，得到合成影像；再如，採用圖3流程所示的實施方式：
步驟301：對不同物面的影像分別進行遍歷，計算各像素點的銳利度。
步驟302：針對同一像素座標，選取銳利度最高的像素點對應的顏色值，作為該像素座標對應的顏色值。
對於不同物面的影像，針對同一像素座標，顏色值不同，本步驟從中選取銳利度最高的顏色值，作為合成影像中的顏色值；採用該方式確定出所有像素座標的顏色值。
步驟303：確定所有像素座標對應的顏色值，得到合成影像。
計算像素點的銳利度的方案有多種，例如：計算指定像素點及其周邊像素點的灰度，根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的銳利度。
根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的銳利度，可具體採用如下公式計算得到： 其中，M為銳利度，G(n)為周邊第n點的灰度，Gx為指定像素點的灰度，D(n)為加權值，是用於進一步提高計算結果的準確性。
距離指定像素點近的周邊像素點的加權值，大於距離指定像素點遠的周邊像素點的加權值。如表1，給出了各周邊像素點的加權值，其中x為指定像素點，與其相鄰的八個像素點的加權值分別標示在表中。
請參照圖4，本發明還提供了機器視覺中進行影像擷取之裝置的結構示意圖，前述裝置包括成像單元10、計算單元20、儲存單元30及處理單元40。
成像單元10採用遠心鏡頭對目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像，儲存到儲存單元30。
儲存單元30用於儲存來自成像單元10的影像。
計算單元20從儲存單元30提取不同物面的影像，對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成影像。接著將合成影像發送處理單元40。
處理單元40接收合成影像並進行數位化處理。
較佳地，計算單元20對不同物面的影像進行合成處理時，將不同對焦點所對應的清晰物面區域進行堆疊處理，將各清晰物面區域合成在一張影像中。
較佳地，計算單元20包括銳利度計算子單元21和影像合成子單元22。
其中，銳利度計算子單元21對不同物面的影像分別進行遍歷，計算各像素點的銳利度，發送給影像合成子單元22。
其中，影像合成子單元22針對同一像素座標，選取銳利度 最高的像素點對應的顏色值，作為該像素座標對應的顏色值；確定所有像素座標對應的顏色值，得到合成影像。
較佳地，銳利度計算子單元21計算指定像素點的銳利度時，計算指定像素點及其周邊像素點的灰度，根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的銳利度。
較佳地，銳利度計算子單元21在根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的銳利度，採用如下公式計算得到： 其中，M為銳利度，G(n)為周邊第n點的灰度，Gx為指定像素點的灰度，D(n)為加權值。
下面以一個具體實例對本發明的技術方案的應用進行說明。在某產品的檢測應用中，需要同時檢測產品中按前後順序排佈的兩個部件，但兩者不在同一物面上。採用本發明的技術方案，分別對焦兩個部件，拍攝得到兩張影像，如圖5、6所示，將兩張影像進行合成後，得到圖7所示的合成影像，合成影像中兩個部件所在的物面都是清晰的。
根據遠心鏡頭技術的特點，在不同的對焦點可以獲得相同放大倍率的影像；本發明採用裝有遠心鏡頭的拍攝裝置，對目標物件進行拍攝，獲得不同物面的清晰影像，分析計算各影像興趣區域的銳利度，根據銳利度比，實現焦點堆疊，合成為一張全清晰影像圖片。
本發明方案不需要採用多個相機，也無需專門為拍攝而架設機械手臂，降低了成本；並且，本發明將不同物面的清晰影像合成為一張影像，保持了目標物件之間的關聯性。
以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明保護的範圍之內。
101~103‧‧‧步驟

Claims (8)

  1. 一種機器視覺中進行影像擷取之方法，該方法包含：採用一遠心鏡頭對一目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像；對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成影像；將該合成影像發送給一處理單元進行數位化處理；其中，所述對不同物面的影像進行合成處理包含：對不同物面的影像分別進行遍歷，計算各像素點的一銳利度；針對同一像素座標，選取該銳利度最高的像素點對應的顏色值，作為該像素座標對應的顏色值；確定所有像素座標對應的顏色值，得到該合成影像。
  2. 如申請專利範圍第1項所述之方法，其中，所述對不同物面的影像進行合成處理包含：將不同對焦點所對應的一清晰物面區域進行堆疊處理，將各該清晰物面區域合成在一張影像中。
  3. 如申請專利範圍第1項所述之方法，其中，所述計算像素點的該銳利度，包含：計算指定像素點及其周邊像素點的灰度，根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的銳利度。
  4. 如申請專利範圍第3項所述之方法，其中，所述根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的該 銳利度，採用如下公式計算得到： 其中，M為銳利度，G(n)為周邊第n點的灰度，Gx為指定像素點的灰度，D(n)為加權值。
  5. 一種機器視覺中進行影像擷取之裝置，其中，該裝置包括一成像單元、一計算單元、一儲存單元和一處理單元；該成像單元，採用一遠心鏡頭對一目標物件進行拍攝，得到在不同對焦點下擷取的不同物面的影像，儲存到該儲存單元；該儲存單元，用於儲存來自該成像單元的影像；該計算單元，從該儲存單元提取不同物面的影像，對不同物面的影像進行合成處理，得到一張不同物面都清晰的合成影像；將該合成影像發送給該處理單元；該處理單元，接收該合成影像並進行數位化處理；其中，該計算單元包括一銳利度計算子單元和一影像合成子單元；該銳利度計算子單元，對不同物面的影像分別進行遍歷，計算各像素點的一銳利度，發送給該影像合成子單元；該影像合成子單元，針對同一像素座標，選取該銳利度最高的像素點對應的顏色值，作為該像素座標對應的顏色值；確定所有像素座標對應的顏色值，得到該合成影像。
  6. 如申請專利範圍第5項所述之裝置，其中，該計算單元對不同物面的影像進行合成處理時，將不同對焦點所對應的一清晰物面區域進行堆疊處理，將各該清晰物面區域合成 在一張影像中。
  7. 如申請專利範圍第5項所述之裝置，其中，該銳利度計算子單元，計算像素點的該銳利度時，計算指定像素點及其周邊像素點的灰度，根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的該銳利度。
  8. 如申請專利範圍第7項所述之裝置，其中，該銳利度計算子單元，在根據指定像素點及其周邊像素點的灰度值計算得到指定像素點的該銳利度，採用如下公式計算得到： 其中，M為銳利度，G(n)為周邊第n點的灰度，Gx為指定圖元點的灰度，D(n)為加權值。
TW105109631A 2015-11-23 2016-03-28 機器視覺中進行影像擷取之方法及裝置 TWI569642B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510817142.1A CN105491280A (zh) 2015-11-23 2015-11-23 机器视觉中进行图像采集的方法及装置

Publications (2)

Publication Number Publication Date
TWI569642B true TWI569642B (zh) 2017-02-01
TW201720130A TW201720130A (zh) 2017-06-01

Family

ID=55677966

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105109631A TWI569642B (zh) 2015-11-23 2016-03-28 機器視覺中進行影像擷取之方法及裝置

Country Status (2)

Country Link
CN (1) CN105491280A (zh)
TW (1) TWI569642B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190297270A1 (en) * 2016-09-29 2019-09-26 Nikon Corporation Image - capturing apparatus
CN110715820A (zh) * 2018-07-11 2020-01-21 宁波其兰文化发展有限公司 一种河床采样方法
CN114972142A (zh) * 2022-05-13 2022-08-30 杭州汇萃智能科技有限公司 一种变物距情况下的远心镜头图像合成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050036207A1 (en) * 2003-08-11 2005-02-17 Shinji Yamasaki Variable-power optical system, projection optical system, and image projection apparatus using the systems
CN102308242A (zh) * 2009-12-07 2012-01-04 松下电器产业株式会社 摄像装置以及拍摄方法
CN102308569A (zh) * 2009-12-07 2012-01-04 松下电器产业株式会社 摄像装置以及其控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5882898B2 (ja) * 2011-03-14 2016-03-09 パナソニック株式会社 撮像装置、撮像方法、集積回路、コンピュータプログラム
US8849064B2 (en) * 2013-02-14 2014-09-30 Fotonation Limited Method and apparatus for viewing images
CN104469160A (zh) * 2014-12-19 2015-03-25 宇龙计算机通信科技(深圳)有限公司 一种图像的获取及处理方法、系统及终端
CN104735350B (zh) * 2015-03-02 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050036207A1 (en) * 2003-08-11 2005-02-17 Shinji Yamasaki Variable-power optical system, projection optical system, and image projection apparatus using the systems
CN102308242A (zh) * 2009-12-07 2012-01-04 松下电器产业株式会社 摄像装置以及拍摄方法
CN102308569A (zh) * 2009-12-07 2012-01-04 松下电器产业株式会社 摄像装置以及其控制方法

Also Published As

Publication number Publication date
TW201720130A (zh) 2017-06-01
CN105491280A (zh) 2016-04-13

Similar Documents

Publication Publication Date Title
CN105894499B (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
US10306165B2 (en) Image generating method and dual-lens device
JP6112824B2 (ja) 画像処理方法および装置、プログラム。
CN104685513B (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
JP6223169B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN107084680B (zh) 一种基于机器单目视觉的目标深度测量方法
WO2014044126A1 (zh) 坐标获取装置、实时三维重建系统和方法、立体交互设备
JP5672112B2 (ja) ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム
WO2016155110A1 (zh) 图像透视畸变校正的方法及系统
JP2008224626A5 (zh)
CN107036579A (zh) 一种基于单目液透镜变焦光学系统的目标相对定位方法
TWI569642B (zh) 機器視覺中進行影像擷取之方法及裝置
JP2017208606A5 (zh)
WO2017130650A1 (ja) ステレオカメラおよび撮像システム
CN108805921A (zh) 图像获取系统及方法
JP2010256296A (ja) 全方位３次元空間認識入力装置
US20190313082A1 (en) Apparatus and method for measuring position of stereo camera
TWI571099B (zh) 深度估測裝置及方法
CN110705487B (zh) 掌纹采集设备、方法及其图像采集装置
JP7300895B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
CN117196955A (zh) 一种全景图像拼接方法及终端
JP2018038087A5 (zh)
WO2015159791A1 (ja) 測距装置および測距方法
JP2016156702A (ja) 撮像装置および撮像方法
TWI668411B (zh) 位置檢測方法及其電腦程式產品