TW202246872A - 根據由視覺感測器所拍攝之圖像來算出三維之位置的攝像裝置 - Google Patents

Abstract

攝像裝置具備焦點位置檢測部，前述焦點位置檢測部檢測視覺感測器之合焦時的焦點位置。攝像裝置具備參數設定部，前述參數設定部設定用以算出三維之位置的參數，前述三維之位置對應於由視覺感測器所拍攝之圖像中的特定位置。攝像裝置具備特徵位置算出部，前述特徵位置算出部利用由參數設定部所設定的參數，來算出特徵部分的三維之位置。參數設定部根據焦點位置來設定參數。

Description

根據由視覺感測器所拍攝之圖像來算出三維之位置的攝像裝置

發明領域

本發明是關於一種攝像裝置，其根據由視覺感測器所拍攝之圖像來算出三維之位置。

發明背景

以往已知一種裝置，其藉由處理由視覺感測器拍攝對象物所得到之圖像，來檢測對象物的三維之位置。例如已知一種裝置，其從兩個方向拍攝對象物的二維之圖像，並算出特定部分的三維之位置(例如日本特開2016-706475號公報)。或，已知於稱為立體照相機的視覺感測器，由兩台二維照相機同時拍攝圖像，根據兩個圖像的視差來算出特徵點的三維之位置。

此類算出三維之位置的裝置可安裝於機器人，前述機器人用以移動進行預定的作業的作業工具。於搬送工件的機器人系統，由照相機拍攝放置在預定的位置的工件。根據由照相機所拍攝之圖像，來檢測工件的三維之位置。變更機器人的位置及姿勢，以便可因應此工件的位置來把持工件。藉由此類控制，可檢測工件的正確位置以確實地實施作業。

在根據由視覺感測器所拍攝之二維的圖像，來算出對象物的三維之位置時，會利用用以將圖像中的位置轉換成三維之位置的計算模型。計算模型中包含係數及常數等預先決定的參數。藉由利用計算模型，可從由照相機所拍攝之圖像中的位置來算出三維之位置。 先行技術文獻 專利文獻

專利文獻1：日本特開2016-70674號公報

發明概要 發明欲解決之課題

用以算出對象物的三維之位置的計算模型中之參數，是取決於照相機設置的狀況、透鏡的特性及透鏡的個別差異等。參數可藉由計算或實驗等來預先決定。例如可將照相機配置於預定的位置之後，實際拍攝對象物的圖像來預先算出參數。

以往的照相機本體與透鏡的組合是將照相機固定於預定的位置來使用。照相機的透鏡的位置固定，預先計算參數來使用。然而，由照相機所拍攝之對象物有時包含個別差異。或，由照相機拍攝時之對象物的位置有時會從期望的位置偏離。結果，拍攝工件時有時圖像會模糊。

因此，想到照相機的調焦控制。例如可想到於具有自動對焦功能的照相機，其因應工件所配置的位置或工件的個別差異來調焦。然而，由於若實施調焦，合焦的透鏡的位置會變化，因此計算模型中的參數亦變化。由於參數是對應於一個焦點位置而決定，因此有無法在預先決定的焦點位置以外之位置進行調焦的問題。或，必須不考慮焦點位置來使用參數。

又，為了使焦點位置一定，必須讓照相機對於工件的相對位置配合預先決定的位置。然而，工件及照相機中之至少一者的位置有時會變化。例如，載置於作業台上之工件的位置及姿勢有時會因應於搬送工件的狀況而變化。此情況下，機器人可因應工件的位置及姿勢來變更位置及姿勢。然而，有時機器人會干擾到配置於機器人系統周圍之圍欄等障礙物。或，有時機器人的行程(stroke)會有限度。因此，有時難以讓照相機對於工件的相對位置配合預先決定的位置。 用以解決課題之手段

本揭示的一態樣的攝像裝置具備：視覺感測器，其拍攝對象物；及焦點位置檢測部，其檢測視覺感測器之合焦時的焦點位置。攝像裝置具備參數設定部，前述參數設定部設定用以算出三維之位置的參數，前述三維之位置對應於由視覺感測器所拍攝之圖像中的特定位置。攝像裝置具備記憶部，前述記憶部記憶用以設定對應於焦點位置的參數之設定資訊。攝像裝置具備：特徵檢測部，其於對象物的圖像中檢測預先決定的特徵部分；及特徵位置算出部，其利用由參數設定部所設定的參數，來算出特徵部分的三維之位置。參數設定部根據焦點位置及設定資訊來設定參數。 發明效果

若依據本揭示的態樣，可提供一種攝像裝置，其於焦點位置變化時，精度良好地檢測特徵部分的三維之位置。

用以實施發明之形態

參考圖1至圖12來說明實施形態的攝像裝置。本實施形態的攝像裝置是作為三維位置取得裝置而發揮功能，前述三維位置取得裝置根據由視覺感測器所拍攝之圖像，來算出圖像中之特定位置的三維位置。

圖1是具備本實施形態的攝像裝置的第1機器人系統的概略圖。圖2是本實施形態的第1機器人系統的方塊圖。本實施形態的機器人系統檢測作為對象物的工件的位置而搬送工件。

參考圖1及圖2，第1機器人系統3具備：作為把持工件38之作業工具的手部5、及移動手部5的機器人1。機器人系統3具備控制機器人系統3的控制裝置2。又，機器人系統3具備載置工件38的架台95。

本實施形態的手部5是把持或放開工件38的作業工具。安裝於機器人1的作業工具不限於此形態，可採用與機器人系統3所進行的作業相應之任意的作業工具。例如端接器可採用實施熔接的作業工具等。

本實施形態的機器人1是包含複數個關節部18的多關節機器人。機器人1包含上部臂11及下部臂12。下部臂12支撐於迴旋基座13。迴旋基座13支撐於基座14。機器人1包含連結於上部臂11的端部的腕15。腕15包含將手部5固定的凸緣16。機器人1的構成構件形成為繞著預先決定的驅動軸旋轉。機器人1不限於此形態，可採用能移動作業工具之任意的機器人。

本實施形態的機器人1包含機器人驅動裝置21，前述機器人驅動裝置21具有驅動上部臂11等構成構件的驅動馬達。手部5包含驅動手部5的手部驅動裝置22。本實施形態的手部驅動裝置22是藉由氣壓來驅動手部5。手部驅動裝置22包含用以將壓縮空氣供給至氣缸(cylinder)的空氣泵及電磁閥。

控制裝置2包含：控制裝置本體40；及教示操作盤26，其用以供作業者操作控制裝置本體40。控制裝置本體40包含具有作為處理器的CPU(Central Processing Unit(中央處理單元))的運算處理裝置(電腦)。運算處理裝置具有透過匯流排連接於CPU的RAM(Random Access Memory(隨機存取記憶體))及ROM(Read Only Memory(唯讀記憶體))等。機器人1根據控制裝置2的動作指令來進行驅動。機器人1根據動作程式61自動地搬送工件38。機器人驅動裝置21及手部驅動裝置22是由控制裝置2所控制。

控制裝置本體40包含記憶部42，前述記憶部42記憶關於機器人系統3的任意資訊。記憶部42可藉由能記憶資訊的非暫時性記憶媒體來構成。例如記憶部42可藉由揮發性記憶體、非揮發性記憶體、磁性記憶媒體或光記憶媒體等記憶媒體來構成。

於控制裝置2輸入有動作程式61，前述動作程式61是為了進行機器人1的動作而預先製作。或，作業者可操作教示操作盤26來驅動機器人1，藉此設定機器人1的教示點。控制裝置2可根據教示點來生成動作程式61。

動作程式61記憶於記憶部42。動作控制部43將用以根據動作程式61來驅動機器人1的動作指令，送出至機器人驅動部44。機器人驅動部44包含將驅動馬達進行驅動的電路，根據動作指令來將電力供給至機器人驅動裝置21。又，動作控制部43將驅動手部驅動裝置22的動作指令送出至手部驅動部45。手部驅動部45包含驅動空氣泵等之電路，根據動作指令來將電力供給至空氣泵等。

動作控制部43相當於按照動作程式61來進行驅動的處理器。處理器形成為可讀取記憶於記憶部42的資訊。處理器讀入動作程式61，實施決定於動作程式61的控制，藉此作為動作控制部43而發揮功能。

機器人1包含用以檢測機器人1的位置及姿勢的狀態檢測器。本實施形態的狀態檢測器包含位置檢測器23，前述位置檢測器23安裝於機器人驅動裝置21的各驅動軸的驅動馬達。位置檢測器23可藉由例如編碼器來構成，前述編碼器檢測驅動馬達的輸出軸的旋轉位置。藉由位置檢測器23的輸出，來檢測機器人1的位置及姿勢。

於機器人系統3設定有基準座標系統71，前述基準座標系統71在機器人1的位置及姿勢變化時為不動。於圖1所示之例，於機器人1的基座14配置有基準座標系統71的原點。基準座標系統71亦稱為世界座標系統。於基準座標系統71，原點的位置固定，進而座標軸的朝向固定。基準座標系統71具有相互呈正交的X軸、Y軸及Z軸來作為座標軸。又，設定有W軸來作為繞著X軸的座標軸。設定有P軸來作為繞著Y軸的座標軸。設定有R軸來作為繞著Z軸的座標軸。

教示操作盤26透過通訊裝置而連接於控制裝置本體40。教示操作盤26包含輸入部27，前述輸入部27輸入關於機器人1及手部5的資訊。輸入部27是由鍵盤及撥號盤等輸入構件所構成。教示操作盤26包含顯示部28，前述顯示部28顯示關於機器人1及手部5的資訊。顯示部28可藉由液晶顯示面板或有機EL(Electro Luminescence(電致發光))顯示面板等任意的顯示面板來構成。再者，教示操作盤具備觸控面板方式的顯示面板時，顯示面板是作為輸入部及顯示部而發揮功能。

於機器人系統3設定有工具座標系統，前述工具座標系統具有設定在作業工具的任意位置的原點。工具座標系統的會與作業工具一同變化位置及姿勢。於本實施形態，工具座標系統的原點設定在手部5的工具前端點。機器人1的位置對應於工具前端點的位置(工具座標系統的原點的位置)。又，機器人1的姿勢對應於工具座標系統相對於基準座標系統71的姿勢。

本實施形態的機器人系統3具備檢測工件38的位置的攝像裝置。攝像裝置是在手部5把持工件38之前，檢測工件38在架台95的位置。攝像裝置具備拍攝工件38的圖像之作為視覺感測器的照相機6。本實施形態的照相機6是拍攝二維之圖像的二維照相機。照相機6支撐於機器人1。照相機6透過支撐構件來固定於手部5。

照相機6可於視野6a來拍攝圖像。照相機6具有用以調整焦點的焦點調整機構24。本實施形態的焦點調整機構24具有自動地調焦的功能。亦即，照相機6具有自動對焦功能。照相機6形成為當機器人1變更了位置及姿勢時，自動地對於工件38調焦來拍攝工件38。焦點調節機構可採用藉由對比檢測方式或相位差方式等任意的控制來調焦的機構。

或，視覺感測器可採用具備液體透鏡的照相機。此時，焦點調整機構可採用用以變更液體透鏡的形狀的機構。例如可採用變更要施加於液體透鏡的電壓的機構，或移動液體透鏡的保持構件的機構等，前述液體透鏡的保持構件用以變更要施加於液體透鏡的水壓。

於機器人系統3，對照相機6設定有作為感測器座標系統的照相機座標系統72。照相機座標系統72會與照相機6一同變化位置及姿勢。照相機座標系統72的原點設定於照相機6之預先決定的位置，如照相機6的透鏡中心或光學中心等。照相機座標系統72具有相互呈正交的X軸、Y軸及Z軸。本實施形態的照相機座標系統72設定為Z軸與照相機6的透鏡的光軸呈平行。

本實施形態的攝像裝置具備移動裝置，前述移動裝置移動作為對象物的工件38及照相機6中之一者，來變更一者對於另一者的相對位置。於第1機器人系統3，機器人1是作為移動裝置而發揮功能。當機器人1的位置及姿勢變化時，照相機6的位置及姿勢會變化。

攝像裝置具備圖像處理裝置，前述圖像處理裝置處理由視覺感測器所拍攝之圖像。於本實施形態的機器人系統3，控制裝置本體40是作為圖像處理裝置而發揮功能。控制裝置本體40包含圖像處理部51，前述圖像處理部51處理由照相機6所拍攝之圖像。圖像處理部51包含攝像控制部58，前述攝像控制部58對於照相機6送出拍攝圖像的指令。

圖像處理部51包含焦點位置檢測部52，前述焦點位置檢測部52檢測照相機6之合焦時的焦點位置。圖像處理部51包含參數設定部53，前述參數設定部53設定用以算出三維之位置的參數，前述三維之位置對應於由照相機6所拍攝之圖像中的特定位置。圖像處理部51包含特徵檢測部54，前述特徵檢測部54是於工件38的圖像中檢測預先決定的特徵部分。圖像處理部51包含特徵位置算出部55，前述特徵位置算出部55利用由參數設定部53所設定的參數，來算出特徵部分的三維位置。圖像處理部51包含算出從照相機6到工件38的距離的距離算出部56。圖像處理部51包含動作指令生成部59，前述動作指令生成部59根據圖像處理的結果，來生成機器人1及手部5的動作指令。

圖像處理部51相當於按照動作程式61來進行驅動的處理器。特言之，焦點位置檢測部52、參數設定部53、特徵檢測部54、特徵位置算出部55、距離算出部56、攝像控制部58及動作指令生成部59各個單元相當於按照動作程式61來進行驅動的處理器。處理器讀入動作程式61，實施決定於動作程式61的控制，藉此作為各個單元而發揮功能。

參考圖1，於本實施形態的第1機器人系統3，藉由預先決定的方法來將工件38配置於架台95的表面。例如作業者或其他機器人系統將工件38配置於架台95的表面。然後，機器人1變化位置及姿勢，以手部5把持配置於架台95的上表面的工件38。機器人系統3藉由變化機器人1的位置及姿勢，來將工件38搬送到預先決定的位置。

在將工件38配置於架台95的表面時，工件38在架台95的位置有時會偏離。於圖1所示之例，表示在教示機器人1的位置及姿勢時之教示作業中所決定的位置P38a。位置P38a是期望配置工件38的位置，是作為用以配置工件38之基準的位置。

然而，在實際將工件38配置於架台95的上表面時，工件38有時會配置於從作為基準的位置38a偏離的位置P38b。或，工件38的尺寸有時會有誤差。於機器人系統3，由照相機6拍攝工件38。然後，圖像處理部51根據工件38的圖像來算出工件38的三維之位置。例如圖像處理部51檢測工件38中之特徵部分的三維之位置。然後，圖像處理部51根據工件38的特徵部分的三維之位置，來算出工件38的位置。此類工件38的位置可藉由基準座標系統71來算出。圖像處理部51是以對應於工件38的位置的方式，來控制機器人1的位置及姿勢。然後，以手部5把持工件38並搬送到期望的預先決定的位置。

於圖3表示本實施形態的工件38的俯視圖。參考圖1及圖3，工件38具有板狀部38a、及形成於板狀部38a的上側的板狀部38b。板狀部38a、38b各自具有長方體狀的形狀。板狀部38b在上表面的外周部具有緣部38c。緣部38c相當於形成在板狀部38b之角的部分。於本實施形態，俯視時具有四角形形狀的緣部38c是工件38的特徵部分。

參考圖1，於本實施形態，在工件38的鉛直方向的上側配置有照相機6。此時，預先決定了從工件38之形成有特徵部分的表面到照相機6的距離。於此之例，控制機器人1的位置及姿勢，以使板狀部38b的上表面的位置成為照相機座標系統72之預定的Z軸的值。又，調整照相機6的姿勢，以使照相機6的光軸幾乎與工件38之具有特徵部分的板狀部38b的表面呈垂直。

照相機6實施調焦並拍攝工件38的圖像。圖像處理部51的特徵檢測部54藉由型樣匹配(pattern matching)，將緣部38c作為工件38的特徵部分來檢測。用以檢測緣部38c的位置的基準圖像是預先製作並記憶於記憶部42。特徵檢測部54利用基準圖像，在由照相機6所拍攝之圖像中檢測特徵部分即緣部38c。

特徵位置算出部55根據由照相機所拍攝之圖像中的特徵部分的位置，來算出工件在三維的空間中之位置。作為工件的位置，可算出對工件設定之任意設定點的位置。工件38的位置可藉由基準座標系統71來取得。

動作指令生成部59根據由特徵位置算出部55所算出之工件38的位置，來算出機器人1的位置及姿勢。然後，將用以把持工件38之機器人1的位置及姿勢送出至動作控制部43。動作控制部43根據從動作指令生成部59所接收到的動作指令，來驅動機器人1及手部5以把持工件38。

於本實施形態之把持工件的控制中，特徵檢測部54檢測特徵部分，特徵位置算出部55根據特徵部分的位置，精度良好地算出工件的三維之位置。因此，機器人系統3可更確實地把持工件38。即使當工件38在架台95的位置(基準座標系統71中之工件38的位置)與基準的位置不同時，或工件有尺寸誤差時，機器人系統3仍可確實地把持工件38。

參考圖1，工件38有時位置會偏離，或因工件的個別差異等，照相機合焦的焦點位置會偏離。於此，焦點位置可採用與由焦點調整機構24所驅動的透鏡的位置對應之任意變數。例如焦點調整機構24有時包含驅動馬達，前述驅動馬達是為了調焦而用以驅動透鏡的位置。此情況下，焦點位置可採用驅動馬達的輸出軸之合焦時的旋轉位置。或，有時於透鏡配置有用以調焦的對焦環(focus ring)。可將對焦環的位置決定為焦點位置。或，當照相機具備複數片透鏡時，可將預定的透鏡的位置決定為焦點位置。又，當照相機具備液體透鏡時，可將施加於液體透鏡的電壓的大小採用為透鏡位置。或，可將保持構件的驅動機構所包含之馬達的輸出軸的旋轉位置，採用為焦點位置，前述保持構件的驅動機構變更要施加於液體透鏡的壓力。

於圖4，表示說明調焦位置變化時之視野的概略圖。照相機6的視野對應於視角或攝像範圍。於圖4表示有調焦位置A、B。在位置A調焦時，照相機6的攝像範圍為視野A。在位置B調焦時，照相機6的攝像範圍為視野B。如此，若調焦位置變化，視野的大小會變化。當工件的特徵部分的位置相同時，若調焦位置變化，圖像中之特徵部分的位置會變化。

於圖5，表示調焦位置變化時的由照相機所拍攝之圖像之例。圖像66是調焦到1個位置時之圖像，對應於例如圖4的位置A。圖像67是調焦到其他位置時之圖像，且是對應於例如圖4的位置B之圖像。於圖像66、67設定有圖像座標系統73。

於各個圖像66、67，包含作為特徵部分的孔的圖像68a、68b。藉由變更調焦的位置，如箭頭101所示，圖像66中之孔的圖像68a的位置，在圖像67中成為孔的圖像68b的位置。若焦點位置變更，圖像中之特徵點的位置會變化。於數學模型中，使調焦位置變化與焦距變化為同義。

於圖6，表示說明拍到對象物的特徵點的像素感測器上之位置的概略圖。於工件的表面與生成照相機的圖像的圖像感測器之間，配置有透鏡37。焦距f ₁、f ₂相當於從圖像感測器到透鏡37的透鏡中心的距離。於圖6表示有調焦位置A及調焦位置B。於位置A，對應於在焦距f ₁的位置配置有透鏡37之情形。於位置B，對應於在焦距f ₂的位置配置有透鏡37之情形。從透鏡37到工件的距離z ₁、z ₂會因應於焦距f ₁、f ₂而變化。

於位置A，在工件的表面配置於從光軸起算的距離X ₁之特徵部分69，在圖像感測器是在從光軸起算的距離u ₁的位置檢測出來。於位置B，配置於與距離X ₁相同的距離X ₂之位置的特徵部分69，於圖像感測器是在距離u ₂的位置檢測出來。例如關於位置B，X ₂/z ₂=u ₂/f ₂的關係成立。由於焦距f ₂比焦距f ₁大，因此在圖像感測器的距離u ₂比距離u ₁大。如此，即使在工件的表面的位置相同，照相機的圖像中之特徵部分的位置仍會因應於焦點位置而變化。

參數設定部53根據焦點位置來算出計算模型中之參數，前述計算模型是從由照相機所拍攝之圖像，算出工件的特徵部分的位置。特徵位置算出部55利用計算模型，從圖像中特定的位置算出三維之位置。利用對應於焦點位置所設定的參數，來算出工件的表面的特徵部分的三維之位置。

接著，說明從由照相機所拍攝之圖像，算出空間中的三維之位置的計算模型。與空間上任意的位置對應之照相機的圖像中之位置，是藉由針孔照相機的模型而一般由次式(1)表示。

[數1]

圖像上 之位置

內部參數的矩陣

外部參數的矩陣

三維之位置

[ u,v]       ：照相機座標系統的座標值 fx,fy：焦距與像素的有效尺寸的積 Cx,Cy：圖像中心 [ X,Y,Z]  ：基準座標系統的座標值

三維之位置的座標值(X,Y,Z)是以例如基準座標系統71來表現。圖像上之位置的座標值(u,v)是以例如圖像座標系統73來表現。外部參數的矩陣是用以將空間中的三維之位置轉換成照相機座標系統72的座標值之轉換矩陣。又，內部參數的矩陣是用以將照相機座標系統72的座標值轉換成圖像之圖像座標系統73的座標值之矩陣。於此，三維之位置的Z軸之值、或照相機座標系統72中之z軸的座標值，是對應於從照相機到工件的距離而預先決定。

上述式(1)是不存在透鏡的畸變等之理想例。實際上要考慮透鏡的畸變等所造成的參數變化等。首先，式(1)的空間中的三維之位置與外部參數的矩陣的部分之運算可由次式(2)來表示。

[數2]

t：[ t ₁, t ₂, t ₃] R：3×3的旋轉矩陣

依據式(2)，可將以基準座標系統71所表現的座標值(X,Y,Z)，轉換成以照相機座標系統72所表現的座標值(x,y,z)。接著，為了考慮照相機的透鏡的畸變，將變數x’及變數y’定義如次式(3)及次式(4)所示。進而，將考慮到畸變的變數x’’及變數y’’，如式(5)及式(6)所示地算出。於此，變數x’、變數y’及變數r的關係是如式(7)所示。

[數3]

於此， r ²= x’ ²+ y’ ²…(7)

於式(5)及式(6)，係數k ₁～k ₆是關於半徑方向的透鏡的畸變之係數，係數p ₁、p ₂是關於圓周方向的透鏡的畸變之係數。利用考慮到透鏡的畸變的變數x’’及變數y’’，圖像座標系統73的圖像上的座標值(u,v)可如次式(8)及次式(9)所示地算出。式(8)及式(9)是與藉由上述式(1)中之內部參數的矩陣所進行的運算對應的部分。

[數4]

於上述說明中，說明了從空間上的三維之位置算出圖像中之位置的方法，於本實施形態，是根據上述關係式，並根據圖像上之位置的座標值(u,v)及照相機座標系統72中從照相機6到工件38的距離z，來算出空間上的三維之位置(X,Y,Z)。從照相機6到工件38的距離z可預先決定並令記憶部42記憶。特徵位置算出部55根據計算模型，從圖像上之特定的位置的座標值(u,v)算出空間上的三維之位置(X,Y,Z)。

於此，參考式(2)至式(9)，從圖像中之位置算出三維之位置的計算模型需要焦距與圖像的有效尺寸的積f _x、f _y、圖像中心c _x、c _y、及關於畸變的係數k ₁～k ₆、p ₁、p ₂。這些參數會因應照相機合焦時之焦點位置而變化。

於本實施形態，預先決定了設定資訊63，前述設定資訊63用以設定對應於焦點位置的參數。設定資訊63記憶於記憶部42。參數設定部53利用焦點位置及設定資訊63來設定這些參數。於表1，表示與作為設定資訊63的焦點位置pp對應之參數值的表。

[表1]

於此，參數之例表示有焦距與像素之有效尺寸的積f _x之值。於此之設定資訊63是對於複數個離散的焦點位置pp預先決定參數之值。參數設定部53根據就每個焦點位置所決定的參數之值，來設定計算模型的參數。例如由照相機6拍攝圖像時之焦點位置pp為1.4時，參數設定部53可藉由內插來將作為參數的積f _x之值設定為2.8。於參數的設定中，可利用包含離散的參數值的表，並藉由任意的方法來設定參數。例如採用與兩個焦點位置pp對應之兩個參數的中央值，或採用與任一方較接近的焦點位置pp對應之參數之值均可。

藉由利用包含對於離散的焦點位置的參數值之設定資訊，參數設定部可設定與任意的焦點位置相應的參數。參數設定部可藉由簡易的計算來設定參數。或，即使是接著將說明的函數設定困難的情況，仍可設定與焦點位置相應的參數。

作為設定資訊，可因應焦點位置pp來決定用以算出參數的函數。可藉由包含焦點位置pp的數式來算出參數。例如如式(10)所示，可預先決定函數f(pp)，前述函數f(pp)對於焦點位置pp，算出焦距與像素的有效尺寸的積f。或，如式(11)所示，可預先決定函數k(pp)，前述函數k(pp)對於焦點位置pp算出畸變的係數k。

[數5]

此類函數可採用例如作為變數的焦點位置pp的高次式。參數設定部53可利用函數來設定關於畸變的參數等各個參數。特徵位置算出部55可根據由參數設定部53所設定的參數，來算出特徵部分的三維之位置。

於圖7，表示本實施形態的控制的流程圖。參考圖1、圖2及圖7，作業者預先決定用以算出計算模型的參數的設定資訊。然後，作業者令記憶部42記憶設定資訊63。

於步驟80，動作控制部43將照相機6移動到用以拍攝工件38的攝像位置。於本實施形態，將照相機6配置於工件38的基準的位置P38a之正上方。又，調整照相機6的姿勢，使照相機座標系統72之Z軸的方向與鉛直方向呈平行。於此，預先決定了從形成有特徵部分的工件38的板狀部38b的表面到照相機6的距離。

接著，於步驟81，照相機6的焦點調整機構24將照相機6調焦。本實施形態的焦點調整機構24由於具有自動對焦功能，因此會自動地調焦。於步驟82，攝像控制部58是以照相機6拍攝圖像。以合焦的狀態拍攝圖像。

於步驟83，焦點位置檢測部52檢測拍攝圖像時之焦點位置。焦點位置檢測部52檢測例如對應於透鏡的位置之預定的變數。於步驟84，參數設定部53根據焦點位置及設定資訊，來設定用以算出特徵部分的三維之位置的計算模型的參數。

接著，於步驟85，特徵檢測部54藉由進行型樣匹配來檢測圖像中之特徵部分。於本實施形態，藉由利用板狀部38b的緣部38c的基準圖像進行型樣匹配，來檢測圖像中之緣部38c。特徵位置算出部55檢測圖像中之特徵部分的位置。

接著，於本實施形態，當無法檢測出工件的特徵部分的位置時，實施變更照相機6相對於工件38的位置而拍攝圖像的控制。例如有時照明的光反射，特徵部分變白，特徵部分變得不明確。此類情況下，有時藉由移動照相機的位置，可明確地拍攝特徵部分。

於步驟86，圖像處理部51判定是否可檢測特徵部分的位置。當特徵位置算出部55無法檢測特徵部分的位置時，控制轉移到步驟87。

於步驟87，動作指令生成部59生成變更照相機6的位置的指令。例如動作指令生成部59生成將照相機6往預先決定的方向，以預先決定的移動量進行平行移動的指令。參考圖1，例如動作指令生成部59生成將照相機6，往照相機座標系統72的X軸的方向移動的指令。動作指令生成部59將機器人1的動作指令送出至動作控制部43。動作控制部43變更機器人1的位置及姿勢。然後，控制返回步驟81。圖像處理部51重複從步驟81至步驟86的控制。

於步驟86，當特徵位置算出部55算出特徵部分的位置時，控制轉移到步驟88。再者，當以複數次進行機器人的位置及姿勢的變更，仍無法檢測出特徵部分時，亦可中止控制。

於步驟88，特徵位置算出部55根據圖像中之特徵部分的位置，來算出特徵部分的三維之位置。根據圖像中之圖像座標系統73的座標值，來算出基準座標值71的座標值。特徵位置算出部55根據特徵部分的三維之位置，來算出工件的位置。工件的位置可藉由例如基準座標系統71來算出。

於步驟89，動作指令生成部59根據工件的位置，來算出機器人1的位置及姿勢。然後，於步驟90，動作指令生成部59將驅動機器人1的動作指令送出至動作控制部43。動作控制部43根據動作指令來驅動機器人1及手部5。

如此，本實施形態的攝像裝置因應焦點位置，來設定用以算出三維之位置的計算模型的參數，前述三維之位置對應於由視覺感測器所拍攝之圖像中的特定位置。然後，根據與焦點位置相應的參數，來算出特定位置的三維之位置。

藉由進行此控制，可於焦點位置變化時，精度良好地檢測特徵部分的三維之位置。特別是無須預先固定焦點位置，可於任意的焦點位置拍攝圖像，算出誤差少的三維之位置。換言之，無須預先決定照相機對於工件的相對的合焦位置，可於任意的位置配置照相機而調焦並進行攝像。於本實施形態，即使調焦的位置(照相機對於工件的相對位置)增加時，仍無須新追加計算模型的參數。相較於以往的技術，於本實施形態的攝像裝置，可驅動機器人的範圍擴大，或驅動機器人的模式增加。

特別在視覺感測器的焦點調整機構具有自動地調焦的功能時，焦點位置可設定在預定的範圍內之任意的位置。此情況下，攝像裝置可設定對應於焦點位置的參數，可檢測工件的正確位置。再者，視覺感測器亦可不具有自動地調焦的功能。此情況下，作業者能以手動來調焦。例如作業者亦可一面觀看顯示於教示操作盤26的顯示部28的圖像，一面操作輸入部27來調焦。

又，本實施形態的機器人系統具備作為移動裝置的機器人，前述移動裝置移動工件及視覺感測器中之至少一者。如此，於機器人，若照相機對於工件的相對位置變化，合焦的焦點位置會變化。此情況下，攝像裝置可設定對應於焦點位置的參數，可檢測工件的正確位置。

參考圖2，本實施形態的教示操作盤26的顯示部28顯示由參數設定部53所設定的參數之值。作業者可觀看顯示於教示操作盤26的顯示部28的參數，來確認參數之值。特別當由特徵位置算出部55所算出的三維之位置不正確時，作業者可確認因應各個焦點位置所設定的參數之值。

順帶一提，本實施形態的圖像處理部51的距離算出部56可根據由焦點位置檢測部52所檢測到的焦點位置，來算出從照相機6到工件38的距離。焦點位置取決於照相機6與工件38的距離。因此，若焦點位置決定，則可推定照相機6與工件38的距離。

於調焦到板狀部38b的表面時，距離算出部56推定從照相機座標系統72的原點到工件38的板狀部38b的表面的距離。例如作業者可預先製作一種函數，前述函數用以算出將焦點位置pp設為變數之照相機座標系統72的z軸的座標值。照相機座標系統72的z軸的座標值相當於從照相機6到工件38的距離。距離算出部56可利用焦點位置pp及函數，來算出照相機座標系統72的z軸的座標值。或，作業者可就複數個離散的焦點位置，個別事先決定從照相機6到工件38的距離。距離算出部56可根據實際檢測到的焦點位置pp，藉由內插等計算，來算出從照相機6到工件38的距離。

如此，本實施形態的距離算出部56可算出從照相機6到對象物的距離。一般而言，從照相機到對象物的距離必須預先決定。然而，藉由圖像處理部51具備距離算出部56，可算出從照相機6到工件38的距離。例如在一面觀看圖像一面以手動調焦時，可算出從照相機到工件的距離。因此，即使不設定從照相機到對象物的距離，圖像處理部51仍可算出工件的特徵部分的三維之位置。

於圖8，表示說明本實施形態的第1機器人系統之其他控制的第1程序的概略圖。於其他控制中，圖像處理部51根據將照相機6配置於第1攝像位置所拍攝的圖像，來檢測工件38的三維之位置。圖像處理部51根據工件38的位置，來算出比第1攝像位置接近工件38之第2攝像位置。圖像處理部51如箭頭102所示，將機器人1的位置及姿勢移動到第2攝像位置。第2攝像位置是從對象物到視覺感測器的距離比第1攝像位置小的位置。又，第2攝像位置是工件38配置於圖像的大致中央的位置。

接著，圖像處理部51根據在第2攝像位置所拍攝的圖像，來算出工件38的三維之位置。然後，根據此工件38的位置，來實施驅動機器人1以把持工件38的控制。

將工件38配置於架台95時，工件38的位置有時會大幅偏離。因此，可預先決定可將照相機6配置於遠離工件38的第1攝像位置之機器人1的位置及姿勢。於第1攝像位置，實施藉由自動對焦功能來自動地調焦的控制。於第1攝像位置，在由照相機6所拍攝之圖像中，工件38被拍攝得較小。然而，可由特徵檢測部54及特徵位置算出部55來檢測工件38的位置。

接著，動作指令生成部59為了在比第1攝像位置近的位置拍攝工件38，算出照相機6的第2攝像位置。第2攝像位置決定為工件會配置於圖像的幾乎中央。又，第2攝像位置設定為在工件38的正上方，照相機6接近工件38的位置。

現在的工件38的位置、照相機6的移動量、及工件38在照相機座標系統72中的位置的關係是藉由例如下式(12)的關係來表示。

[數6]

[ t _x,t _y,t _z ]   ：照相機的移動量 [ X,Y,Z]  ：現在的工件的位置 [ x,y,z]     ：工件在照相機座標系統的位置 R           ：旋轉矩陣

於此，為了於圖像的幾乎中央配置工件38，只要於照相機的光軸上配置工件即可。亦即，於照相機座標系統72，x=y=0即可。若於式(12)代入x=y=0，將式予以變形，可得到次式(13)。然後，可從式(13)算出照相機在基準座標系統71的移動量(t _x,t _y,t _z)。

[數7]

接著，關於從工件38到照相機6的距離，將在第1攝像位置的照相機座標系統72的工件38之表面的z軸的座標值設為z’。將在第1攝像位置之工件相對於圖像大小的比例設為a。工件相對於圖像大小的比例可採用例如：於圖像的一個方向上，工件的長度相對於圖像的長度的比例。工件相對於圖像大小的比例可由特徵位置算出部55來檢測。

接著，將在第2攝像位置的照相機座標系統72的工件38之表面的z軸的座標值設為z’’。將工件相對於圖像大小的期望之比例設為k。此比例可由作業者預先決定。於此，若將照相機6從第1攝像位置移動到第2攝像位置，照相機6的焦點位置會變化。然而，於此之計算中，即使從第1攝像位置變更為第2攝像位置，仍假定對應於焦點位置的焦距為一定。在第2攝像位置的座標值z’’可藉由z’’=(k/a)z’來表示。可將照相機6接近工件38，以使從照相機6到工件38的距離成為座標值z’’。

動作指令生成部59根據照相機座標系統72的x軸的方向、y軸的方向及z軸的方向的移動量，來變更機器人1的位置及姿勢，以如箭頭102所示，將照相機6配置於第2攝像位置。

於圖9，表示說明第1機器人系統之其他控制的第2程序的概略圖。圖9是表示將照相機配置於第2攝像位置時之機器人系統的概略圖。照相機6的第2攝像位置比第1攝像位置接近工件38。於第2攝像位置，實施藉由照相機6的自動對焦功能來自動地調焦的控制。在第1攝像位置所拍攝之圖像中，由於圖像中之工件38的比例小，因此有時無法正確地檢測工件38的位置。在第2攝像位置所拍攝之圖像中，工件38所佔的比例變大。因此，可正確地算出工件38的位置。

如此，動作指令生成部59可根據在第1攝像位置所拍攝之圖像中之工件38的三維之位置，來算出第2攝像位置。然後，特徵位置算出部55根據在第2攝像位置所拍攝之圖像，來算出特徵部分的三維之位置。即使於第1攝像位置及第2攝像位置，照相機會合焦的焦點位置互異的情況下，仍可於各攝像位置檢測特徵部分的三維之位置。特別是機器人系統根據在第2攝像位置所拍攝之圖像來進行作業，藉此可將作業工具移動到正確的位置，實施精度高的作業。

於第1機器人系統3，為了把持配置於架台95的工件38而檢測架台38的位置，但不限於此形態。圖像處理部51可根據拍攝的圖像來檢測工件38，實施工件38的檢查。例如圖像處理部51可從拍攝的圖像來測量工件的尺寸。然後，圖像處理部51根據預先決定的尺寸的判定值，來實施工件尺寸的檢查。此情況下，亦可不於機器人1安裝作業工具，僅將視覺感測器安裝於機器人1。

工件的檢查不限於工件尺寸的檢查，可實施任意的檢查。例如可針對在工件的表面是否配置有預定的零件來實施檢查。或，可針對在工件的表面是否存在有痕跡來實施檢查。由於在任一情況下，均可因應焦點位置正確地檢測特徵部分的位置，因此可實施精度高的檢查。

於第1機器人系統3，形成為工件停止，照相機由移動裝置移動，但不限於此形態。亦可照相機的位置固定，藉由移動裝置移動工件。或，移動裝置亦可形成為移動照相機及工件雙方。

於圖10，表示本實施形態的第2機器人系統的概略圖。於第2機器人系統4，照相機6固定於架台96。工件38是由機器人1支撐。第2機器人系統4是如箭頭103所示地將載置於架台97的工件38搬送到架台98。機器人1的位置及姿勢變化，藉此工件38從位置P38s搬送到位置P38e。第2機器人系統4的攝像裝置檢測以手部5把持工件38時在手部5內之位置的偏離。

控制裝置2控制機器人1的位置及姿勢，以使工件38配置於用以檢測工件38的三維之位置的預先決定的攝像位置。圖像處理部51根據由照相機6所拍攝之圖像，來檢測工件38的特徵部分的三維之位置。例如可將工件38的底面的緣部作為特徵部分來檢測。圖像處理部51檢測工件38的位置。在預先決定的機器人1的位置及姿勢下之作為工件38之基準的位置，是記憶於記憶部42。圖像處理部51可根據作為工件38之基準的位置，來算出在手部5之工件38的把持偏離。

動作指令生成部59根據手部5內之工件38的位置偏離，來算出可讓工件38在架台98配置於期望的位置P38e之機器人1的位置及姿勢。然後，動作控制部43藉由驅動機器人1，來將工件38配置於位置P38e。

於第2機器人系統4，在工件38配置於預定的攝像位置時，照相機6執行調焦。參數設定部53根據焦點位置來算出計算模型的參數。特徵位置算出部55根據算出的參數來算出特徵部分的三維之位置。然後，根據特徵部分的位置來檢測工件38的位置。

於第2機器人系統4，拍攝工件38時之工件的攝像位置有時亦會從期望的位置偏離。或，工件38的尺寸有時會有個別差異。此情況下，即使照相機6實施合焦，仍可算出工件38的正確位置。結果，機器人系統4可將工件38搬送到期望的位置。

於第2機器人系統4，圖像處理部51亦可於遠離照相機的第1攝像位置拍攝工件，檢測出工件粗略的位置之後，算出比第1攝像位置接近照相機的第2攝像位置。然後亦可根據在第2攝像位置所拍攝的圖像，來算出工件38的把持偏離。又，於第2機器人系統，亦可實施工件的尺寸檢查等檢查。

由於第2機器人系統的其他構成、作用及效果與第1機器人系統同樣，因此於此不重複說明。

於圖11，表示本實施形態的搬送系統的概略圖。於圖12，表示本實施形態的搬送系統的方塊圖。參考圖11及圖12，搬送系統9具備拍攝工件38並檢測工件38的攝像裝置。搬送系統9具備輸送機7來作為移動工件38的移動裝置。搬送系統9具有配置有輸送機7而取代第2機器人系統4的機器人1的構成。

輸送機7進行驅動，藉此工件38往箭頭104所示之方向移動。亦即，輸送機7進行驅動，藉此工件38的位置會變化。作為視覺感測器的照相機6是由支撐構件99所支撐。

搬送系統9具備控制輸送機7及照相機6的控制裝置8。控制裝置8是藉由包含CPU等之運算處理裝置來構成。控制裝置8包含輸送機驅動部46。輸送機7包含輸送機驅動裝置30，前述輸送機驅動裝置30具有用以驅動皮帶的驅動馬達。於各個驅動馬達，配置有檢測驅動馬達的旋轉位置的位置檢測器31。控制裝置8包含圖像處理部51，前述圖像處理部51處理由照相機6所拍攝之圖像。

控制裝置8包含操作盤32。與教示操作盤26同樣，操作盤32具有輸入部27及顯示部28。顯示部28可顯示由參數設定部53所設定的參數等。其他的控制裝置8的構成與圖2所示之機器人系統的控制裝置2同樣。

於搬送系統9，照相機6固定於可進行工件38的攝像之預先決定的位置。於搬送系統9，可根據由照相機6所拍攝之圖像，來進行工件38的位置檢測或工件38的檢查。由輸送機7所搬送的工件38停止的攝像位置有時會不同。或，工件38的尺寸有時會有個別差異。

於搬送系統9，亦在拍攝工件38時實施調焦。然後，根據焦點位置來設定計算模型的參數，前述計算模型算出對應於圖像的特定位置的三維之位置。根據參數來算出工件38的特徵部分的位置。然後，工件38可根據特徵部分的位置，算出工件38的位置或實施工件38的檢查。

如此，照相機6的位置亦可固定。又，移動裝置可採用將對象物或照相機移動之任意的裝置。由於搬送系統的其他構成、作用及效果與前述第1機器人系統及第2機器人系統同樣，因此於此不重複說明。

於上述各個控制中，可在功能及作用未變更的範圍內，適當地變更步驟的順序。上述實施形態可適當地組合。

於上述各圖，對同一或相等的部分附上同一符號。再者，上述實施形態為例示，並不限定發明。又，實施形態中包含申請專利範圍所示之實施形態的變更。

1:機器人 2:控制裝置 3,4:機器人系統 5:手部 6:照相機 6a:視野 7:輸送機 8:控制裝置 9:搬送系統 11:上部臂 12:下部臂 13:迴旋基座 14:基座 15:腕 16:凸緣 18:關節部 21:機器人驅動裝置 22:手部驅動裝置 23:位置檢測器 24:焦點調整機構 26:教示操作盤 27:輸入部 28:顯示部 37:透鏡 30:輸送機驅動裝置 32:操作盤 38:工件 38a,38b:板狀部 38c:緣部 40:控制裝置本體 42:記憶部 43:動作控制部 44:機器人驅動部 45:手部驅動部 51:圖像處理部 52:焦點位置檢測部 53:參數設定部 54:特徵檢測部 55:特徵位置算出部 56:距離算出部 58:攝像控制部 59:動作指令生成部 61:動作程式 63:設定資訊 66,67:圖像 68a,68b:孔的圖像 69:特徵部分 71:基準座標系統 72:照相機座標系統 73:圖像座標系統 80~90:步驟 95~98:架台 99:支撐構件 101~104:箭頭 A,B,P38a,P38b,P38e,P38s:位置 A,B:視野 CPU:中央處理單元 c _x,c _y:圖像中心 f ₁,f ₂:焦距 f,f _x,f _x,f _y:積 k ₁~k ₆,p ₁,p ₂:係數 pp:焦點位置 r,x’,x’’,y’,y’’:變數 RAM:隨機存取記憶體 ROM:唯讀記憶體 u ₁,u ₂,X ₁,X ₂,z,z ₁,z ₂:距離 z’,z’’:座標值

圖1是實施形態的第1機器人系統的概略圖。 圖2是實施形態的第1機器人系統的方塊圖。 圖3是實施形態的工件的俯視圖。 圖4是說明照相機的調焦位置及照相機的視野的概略圖。 圖5是變更了調焦位置時之圖像之例。 圖6是為了調焦而移動了透鏡的位置時之圖像感測器、透鏡及工件的特徵部分的概略圖。 圖7是說明第1機器人系統的控制的流程圖。 圖8是說明第1機器人系統的其他控制的第1概略圖。 圖9是說明第1機器人系統的其他控制的第2概略圖。 圖10是實施形態的第2機器人系統的概略圖。 圖11是實施形態的搬送裝置的概略圖。 圖12是實施形態的搬送裝置的方塊圖。

1:機器人

2:控制裝置

3:機器人系統

5:手部

6:照相機

21:機器人驅動裝置

22:手部驅動裝置

23:位置檢測器

24:焦點調整機構

26:教示操作盤

27:輸入部

28:顯示部

40:控制裝置本體

42:記憶部

43:動作控制部

44:機器人驅動部

45:手部驅動部

51:圖像處理部

52:焦點位置檢測部

53:參數設定部

54:特徵檢測部

55:特徵位置算出部

56:距離算出部

58:攝像控制部

59:動作指令生成部

61:動作程式

63:設定資訊

Claims (7)

1. 一種攝像裝置，其具備： 視覺感測器，其拍攝對象物； 焦點位置檢測部，其檢測前述視覺感測器之合焦時的焦點位置； 參數設定部，其設定用以算出三維之位置的參數，前述三維之位置對應於由前述視覺感測器所拍攝之圖像中的特定位置； 記憶部，其記憶設定資訊，前述設定資訊用以設定對應於焦點位置的參數； 特徵檢測部，其於前述對象物的圖像中，檢測預先決定的特徵部分；及 特徵位置算出部，其利用由前述參數設定部所設定的參數，來算出特徵部分的三維之位置， 前述參數設定部根據焦點位置及前述設定資訊來設定參數。
2. 如請求項1之攝像裝置，其中前述視覺感測器具有自動地調焦的功能。
3. 如請求項1或2之攝像裝置，其中前述設定資訊包含對於複數個離散的焦點位置預先設定的參數， 前述參數設定部根據記憶於前述記憶部之就複數個焦點位置所個別決定的參數，來設定用以算出三維之位置的參數。
4. 如請求項1至3中任一項之攝像裝置，其具備移動裝置，前述移動裝置移動前述對象物及前述視覺感測器中之至少一者。
5. 如請求項4之攝像裝置，其具備動作指令生成部，前述動作指令生成部生成前述移動裝置的動作指令，以變更前述對象物及前述視覺感測器中之至少一者的攝像位置， 前述動作指令生成部根據在第1攝像位置所拍攝之圖像中之前述對象物的三維之位置，來算出第2攝像位置， 前述第2攝像位置是從前述對象物到前述視覺感測器的距離，會比第1攝像位置小的位置， 前述特徵位置算出部根據在前述第2攝像位置所拍攝之圖像，來算出特徵部分的三維之位置。
6. 如請求項1至5中任一項之攝像裝置，其具備顯示部，前述顯示部顯示由前述參數設定部所設定的參數之值。
7. 如請求項1至6中任一項之攝像裝置，其具備距離算出部，前述距離算出部算出從前述視覺感測器到前述對象物的距離， 前述距離算出部根據由前述焦點位置檢測部所檢測到的焦點位置，來算出從前述視覺感測器到前述對象物的距離。

Images