이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명에 따른 공정 자동화 시스템의 개념도, 도 2는 본 발명에 따른 공정 자동화 시스템의 정면도이다.
도면에 도시한 바와 같이, 본 발명에 따른 공정 자동화 시스템은 강판(10)을 이송할 수 있도록 컨베이어(20)가 설치되어 있으며, 크게는 입고되는 강판(10)의 폭, 두께, 기울기 등의 정보를 계측하는 비전 장치(110), 마킹 장치(130)를 제어하는 제어 장치(120), 비전 장치(110)를 통해 획득한 강판(10)의 영상 정보를 이용하여 강판(10) 상에 특정 문자 즉, 강판 부재 정보 및 절단 기준선 등을 마킹할 수 있도록, 마킹 헤더와 마킹 거더 등으로 이루어진 마킹 장치(130) 및 전사 서버로부터 설계 정보를 받아오는 정보 장치(140)로 구성된다.
특별히, 본 발명에서는 실시간으로 카메라 렌즈 왜곡 및 FOV 변화를 보상하여 줌으로써 강판(10)의 위치 및 기울기 정보를 정확하게 획득할 수가 있어 전처리 공정에서 전달 공정까지의 자동화를 가능하게 하도록 강판 정보 계측용 비전 장치(110)에 기술적인 특징이 있다.
본 발명에 따른 강판 정보 계측용 비전 장치(110)는 컨베이어(20)에 의해 입고되는 강판(10)의 폭, 두께, 기울기 등의 강판 정보를 정확하게 계측할 수 있도록, 강판(10)의 상방에 위치하여 빛을 발산하는 LED 조명부(미도시), 상부 레이저 센서 거더(112)에 의해 강판(10)의 상방에 위치하도록 설치되며 강판(10)의 높이 측정을 위해 사용되는 복수의 상부 레이저 센서(113), 하부 레이저 센서 거더(114)에 의해 강판(10)의 하방에 위치하도록 설치되며 상부 레이저 센서(113)와 함께 사용하여 강판(10)의 두께를 측정하기 위한 복수의 하부 레이저 센서(115) 및 강판(10)의 상방에 위치하도록 설치되며 강판(10)의 영상을 획득하는 복수의 라인 스캔 카메라(116)를 포함하여 이루어진다.
상부 및 하부 레이저 센서(113),(115)를 이용하여 강판(10)의 높이 및 두께를 측정하는 방법은 다음과 같다. 우선 상부 및 하부 레이저 센서 거더(112),(114) 에 수직 상태가 되도록, 상부 및 하부 레이저 센서(113),(115)의 레이저 포인터를 조절한다. 그리고, 강판(10)의 동일한 위치를 측정할 수 있도록, 상부 및 하부 레이저 센서(113),(115)를 조절한다.
이와 같이 초기 설정이 마무리 되면, 상부 및 하부 레이저 센서(113),(115)의 영점을 컨베이어(20)의 롤러 상부 위치로 설정한다. 그리고, 강판(10)이 입고되면 상부 및 하부 레이저 센서(113),(115)를 이용하여 강판(10)의 윗면과 아랫면의 위치를 측정한다. 그리고, 측정한 강판(10)의 윗면 및 아랫면의 위치 정보를 이용하여 강판(10)의 높이와 두께를 계산하게 된다.
즉, 강판(10)의 높이는 상부 레이저 센서(113)에서 측정한 강판(10) 윗면 정보값이 된다. 그리고 강판(10)의 두께는 상부 레이저 센서(113)에서 측정한 강판(10)의 윗면 정보값에서 하부 레이저 센서(115)에서 측정한 강판(10)의 아랫면 정보값을 빼면 구해진다.
이와 같이, 본 발명에 따른 강판 정보 계측용 비전 장치(110)는 컨베이어(20)의 진동이나 강판의 변형에 의한 카메라 FOV 변화, 공기 중의 먼지 또는 주야 조도 변화에 의한 영향 등을 받지 않고 강판(10)의 폭, 두께, 기울기 등의 정보를 정확하게 획득할 수 있도록 라인 스캔 카메라(116)를 적용한 것이다.
도 3~도 23은 본 발명에 따른 강판 정보를 계측하는 방법을 설명하기 위한 도면이다.
본 발명에 따른 강판 정보 계측 방법은 상술한 비전 장치(110) 및 비전 장 치(110)에서 컨베이어(20)를 따라 이송되는 강판 상에 비전 장치(110)를 통해 획득한 강판의 영상 정보를 이용하여 강판 부재 정보 및 절단 기준선을 마킹하는 마킹 장치(130)를 포함하여 이루어지는 공정 자동화 시스템을 이용하여 강판 정보를 계측하는 방법에 관한 것이다.
구체적으로, 본 발명에 따른 강판 정보 계측 방법은 강판 정보 계측시, 라인 스캔 카메라 렌즈 왜곡, 강판 두께, 컨베이어 진동 및 강판 변형에 의한 카메라 FOV 변화 등을 보상하기 위해, 2개의 렌즈 해상도 조사표(Lookup-table)를 작성하는 과정 및 높이 보상 및 화상 처리 알고리즘을 이용하여 화상 처리하는 과정을 포함하여 이루어진다.
이하, 상기 2개의 렌즈 해상도 조사표를 작성하는 과정을 도면을 참조하면서 설명하기로 한다. 라인 스캔 카메라(116)는 3개의 카메라 즉, 카메라1,2,3이 설치되어 있는 것으로 가정한다.
먼저, 도 3a,3b에 도시한 바와 같이 제 1단계에서, 마킹 장치(130)의 마킹 헤드와 카메라 캘리브레이션용 지그(30)를 수평으로 만들어주기 위해 프로파일(40)을 상부 레이저 센서(113)가 설치된 상부 레이저 센서 거더(112)와 하부 레이저 센서(115)가 설치된 하부 레이저 센서 거더(114)에 걸쳐서 수직으로 설치한다. 즉, 카메라 수평 조절 기준을 설정하기 위함이다.
다음에, 도 4a,4b에 도시한 바와 같이 제 2단계에서, 카메라 캘리브레이션용 지그(30)를 프로파일(40)에 밀착시킨다. 즉, 카메라 캘리브레이션용 지그(30)를 프로파일(40)에 밀착시킴으로써 카메라 캘리브레이션용 지그(30)와 센서 거 더(112),(114)에 수평으로 만들어주는 것이다.
다음에, 도 5a,5b에 도시한 바와 같이 제 3단계에서, 카메라 캘리브레이션용 지그(30)를 카메라 영상 획득 가능 영역까지 이동시킨 후 카메라 고정용 지그(116a)를 이동시켜 카메라(116)로 카메라 캘리브레이션용 지그(30)의 영상을 획득한다. 즉, 카메라를 수평으로 조절하기 위함이다.
다음에, 도 6a,6b,6c에 도시한 바와 같이 제 4단계에서, 획득한 카메라 캘리브레이션용 지그(30)의 영상을 분석하여 프로파일(40)의 영상이 평행이 되게 카메라 고정용 지그(116a)를 조절한다. 즉, 카메라를 수평으로 조절하기 위함이다.
다음에, 도 7에 도시한 바와 같이 제 5단계에서, 디지털 각도계(50)를 이용하여 카메라(116)의 Y축 각도가 0°가 되도록 조절한다. 즉, 카메라를 수직으로 조절하기 위함이다.
다음에, 도 8에 도시한 바와 같이 제 6단계에서, 디지털 각도계(50)를 이용하여 카메라(116)의 X축 각도가 0°가 되도록 조절한다.
다음에, 도 9에 도시한 바와 같이 제 7단계에서, 각 카메라(116)의 Z축 높이를 동일하게 조절한다. 즉, Z축 높이 조절 나사를 돌려서 설치 높이를 조절하는 것이다.
다음에, 도 10에 도시한 바와 같이 제 8단계에서, 레이저 센서 거더(112),(114)에 수평으로 셋팅된 카메라 캘리브레이션용 지그(30)를 카메라(116)의 방향으로 이동시킨 후에 각 카메라(116)에서 동시에 카메라 캘리브레이션용 지그(30)의 영상을 획득한다.
다음에, 도 11a,11b,11c에 도시한 바와 같이 제 9단계에서, 획득한 영상의 Y축을 분석하여 각 카메라(116)에서 획득한 영상이 동일한 시간에 획득될 수 있도록 카메라 고정용 지그(116a)를 조절하여 카메라 캘리브레이션을 완료한다. 구체적으로, 제 9단계는 각 카메라(116)에서 확득한 카메라 캘리브레이션용 지그(30)의 Y축 영상을 분석한 후, 분석한 영상을 기준으로 각 카메라(116)에 카메라 캘리브레이션용 지그(30)가 동시에 입고될 수 있도록 카메라 고정용 지그(116a)의 Y축 이동 조절 나사(116b)를 조절함으로써 카메라 캘리브레이션을 완료할 수가 있다.
다음에, 도 12에 도시한 바와 같이 제 10단계에서, 카메라 렌즈 왜곡 및 높이를 보상할 수 있도록, 강판 높이가 제 1설정 높이인 경우의 렌즈 해상도 조사표를 작성하기 위해 카메라 캘리브레이션용 지그(30)에 부착되어 있는 자(31)의 영상을 획득한다. 여기에서는 제 1설정 높이가 0mm 라고 가정한다. 구체적으로, 제 10단계는 컨베이어 기준 높이가 제 1설정 높이인 카메라 캘리브레이션용 지그(30)를 만든 후, 카메라 캘리브레이션 프로그램을 이용하여 각 카메라(116)에서 동시에 카메라 캘리브레이션용 지그(30)에 부착되어 있는 자(31)의 영상을 획득할 수가 있다.
다음에, 도 13에 도시한 바와 같이 제 11단계에서, 각 카메라(116)에서 획득한 자(31)의 영상을 이용하여 픽셀 번호에 따른 위치 정보를 나타내는 렌즈 해상도 조사표를 작성한다. 렌즈 해상도 조사표 작성시 정밀도를 위해 50mm 단위로 작성할 수 있다.
다음의 표 1은 제 1설정 높이가 0mm 인 경우의 렌즈 해상도 조사표를 나타낸 다.
다음에, 도 14에 도시한 바와 같이 제 12단계에서, 카메라 렌즈 왜곡 및 높이를 보상할 수 있도록, 강판 높이가 제 2설정 높이인 경우의 렌즈 해상도 조사표를 작성하기 위해 카메라 캘리브레이션용 지그(30)에 부착되어 있는 자(31)의 영상을 획득한다. 여기에서는 제 2설정 높이가 120mm 라고 가정한다. 구체적으로, 제 12단계는 컨베이어 기준 높이가 제 2설정 높이인 카메라 캘리브레이션용 지그(30)를 만든 후, 카메라 캘리브레이션 프로그램을 이용하여 각 카메라(116)에서 동시에 카메라 캘리브레이션용 지그(30)에 부착되어 있는 자(31)의 영상을 획득할 수가 있다.
다음에, 마지막으로 도 15에 도시한 바와 같이 제 13단계에서, 각 카메라(116)에서 획득한 자(31)의 영상을 이용하여 픽셀 번호에 따른 위치 정보를 나타내는 렌즈 해상도 조사표를 작성한다.
다음의 표 2는 제 2설정 높이가 120mm 인 경우의 렌즈 해상도 조사표를 나타낸다.
구체적으로, 제 13단계는 각 카메라(116)에서 획득한 영상의 중앙 픽셀이 제 1설정 높이용 렌즈 해상도 조사표 작성시 획득한 각 카메라(116)의 영상의 중앙 픽셀과 동일한 위치가 되도록 카메라 캘리브레이션용 지그(30)를 재배치하고, 카메라 캘리브레이션 프로그램을 이용하여 각 카메라(116)에서 동시에 카메라 캘리브레이션용 지그(30)에 부착되어 있는 자(31)의 영상을 다시 획득한 후, 각 카메라(116)에서 획득한 자(31)의 영상을 이용하여 픽셀 번호에 따른 위치 정보를 나타내는 렌즈 해상도 조사표를 작성할 수가 있다.
상술한 2개의 렌즈 해상도 조사표를 작성하는 과정을 수행하는 경우 캘리브레이션 및 렌즈 해상도 조사표가 비전 장치(110)의 정밀도를 좌우하게 되므로 정밀한 셋업이 필요하다.
이하, 상기 높이 보상 및 화상 처리 알고리즘을 이용하여 화상 처리하는 과정을 도면을 참조하면서 설명하기로 한다.
먼저, 제 1단계에서, 강판이 입고되면 카메라(116)를 이용하여 노이즈 제거를 위해 3라인의 버퍼 크기(n)만큼 영상을 획득한다.
다음에, 도 16에 도시한 바와 같이 제 2단계에서, 획득한 영상의 노이즈를 제거하기 위해 각 픽셀 값을 정규화한다.
다음에, 도 17a,17b에 도시한 바와 같이 제 3단계에서, 고대역 통과 필터를 이용하여 정규화된 영상 픽셀 값에서 배경 영역의 영상을 제거한다.
다음에, 도 18a,18b에 도시한 바와 같이 제 4단계에서, 이물질 제거 필터를 이용하여 강판 윗면의 이물질을 제거한다.
다음에, 도 19에 도시한 바와 같이 제 5단계에서, 강판의 측면과 윗면을 정확히 구분하기 위해 각 카메라(116)에서 획득한 강판 윗면 경계의 시작과 끝 영역에 대해 전/후 방향 픽셀 값 변화(
)를 검출한다.
다음에, 도 20a,20b에 도시한 바와 같이 제 6단계에서, 강판 개수를 검출하기 위해 강판 상태 플래그(
)를 초기화하고 강판 경계의 시작/끝을 검출한다.
다음에, 도 21에 도시한 바와 같이 제 7단계에서, 카메라 특성을 이용하여 강판 측면의 정보를 제거한 강판 윗면 경계 픽셀을 검출한다.
다음에, 제 8단계에서, 작성된 두개의 렌즈 해상도 조사표(설정 높이 0mm, 120mm)를 이용하여 입고되는 강판의 윗면 경계 위치를 계산한다.
다음에, 도 22에 도시한 바와 같이 제 9단계에서, 상기 제 8단계에서 계산한 강판의 윗면 경계 위치 정보와 현재 입고되는 강판의 높이 정보를 이용하여 강판 높이 변화에 대한 카메라 픽셀의 왜곡을 보정하여, 각 카메라(116)에서 입고되는 강판의 위치를 계산한다.
다음에, 도 23에 도시한 바와 같이 제 10단계에서, 임의의 카메라(116)에서 획득한 강판의 끝과 이웃하는 카메라(116)에서 획득한 강판의 시작 위치를 비교한다. 즉, 카메라1에서 획득한 강판의 끝과 카메라2에서 획득한 강판의 시작 위치를 비교한다. 그리고, 카메라2,3의 경우도 동일한 방법으로 비교한다. 만약, 강판2의 시작 위치가 강판1의 끝 위치보다 작은 값을 가지면 카메라1과 카메라2에 존재하는 강판을 동일 간판으로 인식한다. 그리고, 큰 값을 가지면 새로운 강판으로 인식하여 정확한 강판 개수와 위치 및 폭 정보를 획득한다.
다음에, 마지막으로 제 11단계에서, 컨베이어(20)에 장착된 엔코더를 이용하여 강판의 영상 획득 순간에 해당하는 강판 길이 변화를 측정하고, 획득한 강판 위치 정보와 강판 길이 정보를 이용하여 line fitting하여 직선 방정식을 구한 후, 구해진 직선 방정식을 이용하여 입고 된 강판의 기울어진 정도를 계산하여 구한다.
위에서 언급한 높이 보상 및 화상 처리 알고리즘을 적용하면, 카메라의 위치 조정 없이 한번에 다양한 높이를 갖는 여러 개의 강판의 위치, 폭, 기울기 정보를 계측할 수가 있기 때문에, 전처리 공정에서 절단 공정까지를 자동화 할 수가 있다.
한편, 본 발명에 따른 강판 정보 계측 방법을 한정된 실시예에 따라 설명하였지만, 본 발명의 범위는 특정 실시예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진자에게 자명한 범위내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
도 1은 본 발명에 따른 공정 자동화 시스템의 개념도.
도 2는 본 발명에 따른 공정 자동화 시스템의 정면도.
도 3a는 본 발명에 따라 프로파일이 설치된 상태를 보여주는 정면도.
도 3b는 본 발명에 따라 프로파일이 설치된 상태를 보여주는 측면도.
도 4a는 본 발명에 따라 카메라 캘리브레이션용 지그를 프로파일에 밀착시킨 상태를 보여주는 평면도.
도 4b는 본 발명에 따라 카메라 캘리브레이션용 지그를 프로파일에 밀착시킨 상태를 보여주는 측면도.
도 5a는 본 발명에 따라 카메라 캘리브레이션용 지그를 영상 획득 가능 영역으로 이동시키는 상태를 보여주는 측면도.
도 5b는 본 발명에 따라 카메라 고정용 지그를 이동시키는 상태를 보여주는 측면도.
도 6a는 카메라 평행 틀어짐을 보여주는 도면.
도 6b는 본 발명에 따라 카메라 고정용 지그를 조절하는 상태를 보여주는 측면도.
도 6c는 카메라 평행을 보여주는 도면.
도 7은 본 발명에 따라 디지털 각도계를 이용하여 카메라의 Y축 각도가 0°가 되도록 조절하는 상태를 보여주는 측면도.
도 8은 본 발명에 따라 디지털 각도계를 이용하여 카메라의 X축 각도가 0° 가 되도록 조절하는 상태를 보여주는 측면도.
도 9는 본 발명에 따라 각 카메라의 Z축 높이를 조절하는 상태를 보여주는 측면도.
도 10은 본 발명에 따라 카메라 캘리브레이션용 지그를 카메라 방향으로 이동시키는 상태를 보여주는 평면도.
도 11a는 본 발명에 따라 카메라에서 획득한 영상(평행 조절 전)을 보여주는 도면.
도 11b는 본 발명에 따라 카메라 고정용 지그의 Y축 이동 조절 나사를 조절하는 상태를 보여주는 측면도.
도 11c는 본 발명에 따라 카메라에서 획득한 영상(평행 조절 후)을 보여주는 도면.
도 12는 본 발명에 따라 강판 높이가 제 1설정 높이인 경우의 영상 획득 상태를 보여주는 측면도.
도 13은 본 발명에 따라 강판 높이가 제 1설정 높이인 경우의 렌즈 해상 조사표를 작성하는 상태를 보여주는 도면.
도 14는 본 발명에 따라 강판 높이가 제 2설정 높이인 경우의 영상 획득 상태를 보여주는 측면도.
도 15는 본 발명에 따라 강판 높이가 제 2설정 높이인 경우의 렌즈 해상 조사표를 작성하는 상태를 보여주는 도면.
도 16은 본 발명에 따라 각 픽셀값을 정규화하는 방식을 설명하기 위한 도 면.
도 17a는 배경 제거 전의 상태를 보여주는 도면.
도 17b는 배경 제거 후의 상태를 보여주는 도면.
도 18a는 본 발명에 따라 이물질 제거 알고리즘 적용 전의 상태를 보여주는 도면.
도 18b는 본 발명에 따라 이물질 제거 알고리즘 적용 후의 상태를 보여주는 도면.
도 19는 본 발명에 따라 전/후 방향 픽셀 값 변화를 검출하는 상태를 보여주는 도면.
도 20a는 본 발명에 따라 전/후 방향 강판 경계 픽셀 검출로서, 전방향으로 탐색하는 상태를 보여주는 도면.
도 20b는 본 발명에 따라 전/후 방향 강판 경계 픽셀 검출로서, 후방향으로 탐색하는 상태를 보여주는 도면.
도 21은 본 발명에 따라 강판 윗면 경계 픽셀을 검출하는 상태를 보여주는 도면.
도 22는 본 발명에 따라 강판 높이를 보상하는 방법을 보여주는 도면.
도 23은 본 발명에 따라 강판 영상 정보 결합법을 보여주는 도면.
*도면의 주요부분에 대한 부호의 설명
10 : 강판 20 : 컨베이어
30 : 카메라 캘리브레이션용 지그 31 : 자
40 : 프로파일
50 : 디지털 각도계 110 : 비전 장치
111 : 조명부 112 : 상부 레이저 센서 거더
113 : 상부 레이저 센서 114 : 하부 레이저 센서 거더
115 : 하부 레이저 센서 116 : 라인 스캔 카메라
120 : 제어 장치 130 : 마킹 장치
140 : 정보 장치 116a : 카메라 고정용 지그
116b : Y축 이동 조절 나사