KR101819711B1 - 머신 비전을 이용한 너트 풀림 감지 장치 및 방법 - Google Patents

Abstract

본 발명의 볼트와 너트 간의 체결 상태 풀림을 감지하기 위한 너트 풀림 감지 장치에서, 볼트에 체결된 너트를 촬영하기 위한 카메라, 상기 카메라가 촬영하는 피사체에 조명을 제공하기 위한 조명부, 상기 카메라에서 촬영된 이미지를 이미지 처리하고, 표식을 추출하고, 추출된 표식을 기준으로 너트의 풀림 각도를 측정하고, 측정된 결과 데이터를 출력하는 제어부 및 상기 제어부에서 출력된 데이터를 표시하기 위한 디스플레이부를 포함한다. 본 발명에 의하면, 머신 비전을 이용하여 너트의 풀림을 실시간으로 감지함으로써, 육안을 식별할 수 없는 너트의 움직임을 용이하고도 신속하게 감지할 수 있는 효과가 있다.

Description

머신 비전을 이용한 너트 풀림 감지 장치 및 방법 {Apparatus and method for detecting nut locking using machine vision}

본 발명은 너트 풀림 감지 기술에 관한 것으로서, 더욱 상세하게는 머신 비전을 이용한 너트 풀림 감지 장치 및 방법에 관한 것이다.

볼트와 너트는 체결수단으로서 가장 많이 알려진 것 중의 하나이다. 볼트의 막대형 본체에 너트가 결합되어 서로 체결되는데 외부로부터의 진동이나 충격, 여러 가지 이유로 너트가 볼트에 대해 회전하거나 볼트가 너트에 대해 회전하여 볼트와 너트의 체결상태가 풀리게 되는 경우가 있다.

이렇게 볼트와 너트의 체결이 풀리는 경우 큰 문제를 야기할 수 있다. 예를 들어, 중요한 구조적인 기능을 하는 강재판을 볼트와 너트를 이용하여 서로 결합하는 경우 볼트와 너트의 풀림은 자칫 강재판의 결합 해체를 야기하여 구조물에 심각한 악영향을 줄 수 있다.

따라서, 볼트와 너트의 풀림은 원천적으로 방지하는 것이 가장 중요하지만 볼트와 너트의 풀림을 방지하기 위한 여러 가지 조치를 취하더라도 예측하지 못한 다양한 원인에 의해서 볼트와 너트의 체결이 풀릴 수 있다.

이러한 경우 중요한 것은 볼트와 너트의 풀림을 신속하게 인지하는 것이다. 볼트와 너트의 풀림을 조기에 인지하면 할수록 볼트와 너트의 체결을 다시 견고하게 하는 등의 대처작업이 빨라지게 되고 그에 따라 볼트와 너트의 풀림으로 인하여 야기되는 여러 가지 문제점의 발생을 사전에 예방할 수 있게 된다.

한편, 머신 비전(Machine Vision) 기술은 사람의 눈으로 보아오던 부분을 기계(vision)로 대신해 검사정밀도를 높이고 검사 과정을 자동화함으로써 인건비 감소와 제품의 질적 향상이라는 시너지 효과를 창출할 수 있는 기술로서, 구체적으로는 이미지를 분석하는 기술이고, 주로 표면 마무리 검사, 물리적 결함 추적, 섬유제품의 검사, 색깔 검사, 반도체 제조 공정의 검사 등 다양한 제조과정에서 쓰인다.

또한, 머신 비전(Machine Vision)은 우리나라의 국가 전략 산업인 디스플레이와 반도체 산업 등의 경쟁력 확보에 필수적인 핵심 기술로, 사람이 가지고 있는 시각과 판단 능력을 기계에 부여한 것이다. 즉, 사람의 시각이 인지하고 판단하는 기능을 CCD 카메라, 조명, 렌즈, Vision Board와 S/W 등으로 구성된 머신비전 시스템을 통해 수행하는 것이다.

머신 비전 시스템은 카메라를 통해 획득한 디지털 화상을 화상처리로 가공하고 착목된 특징을 추출하여 기준값에 초점을 맞춰 판정하므로, 애매하고 주관적인 판단을 하지 않아 검사 결과가 매우 정확하다. 또한 사람의 육안검사를 대체함으로써 생산효율 향상, 정확한 검사, 비용 절감, 데이터의 용이한 관리 등 다양한 측면에서 장점이 있다.

머신 비전 시스템을 구현하기 위해서는 이미지 처리, 컴퓨터 그래픽, 형상인식, 인공지능 및 신경망 등의 요소기술의 접목이 요구되며, 최근 영상처리기술의 비약적인 발전에 힘입어 산업전반에 걸쳐 급속히 응용되고 있는 추세이다. 이는 가시광선영역(380~760nm)을 벗어나서 육안으로는 분별이 불가능한 적외선 및 자외선 영역까지 분광특성을 이용한 인식처리를 행함으로써, 방송 미디어 분야를 포함하여 반도체 및 전기전자 분야, 자동차 분야, 의약품 분야, 농수산물 및 식품 분야 등의 형상 및 결함검사 등의 다양한 분야에 적용되고 있다.

국내에서도 머신 비전 시스템을 자동차 안착불량, 농산물의 이물질 분리, 강판의 표면결함 등에 활용되고 있으며, 폐자동차의 슈레더 스크랩에 혼합되어 있는 폐모터 및 모터 와이어 등을 선별하는 분야에 관한 연구 등 머신 비전 시스템의 활용분야는 확대되고 있는 추세이다.

대한민국 등록특허 10-1475415

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 고속으로 진동하는 너트의 풀림 실험에서, 비전 머신을 이용하여 너트의 풀림 여부를 실시간을 측정할 수 있는 너트 풀림 감지 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

이와 같은 목적을 달성하기 위한 본 발명의 볼트와 너트 간의 체결 상태 풀림을 감지하기 위한 너트 풀림 감지 장치에서, 볼트에 체결된 너트를 촬영하기 위한 카메라, 상기 카메라가 촬영하는 피사체에 조명을 제공하기 위한 조명부, 상기 카메라에서 촬영된 이미지를 이미지 처리하고, 표식을 추출하고, 추출된 표식을 기준으로 너트의 풀림 각도를 측정하고, 측정된 결과 데이터를 출력하는 제어부 및 상기 제어부에서 출력된 데이터를 표시하기 위한 디스플레이부를 포함한다.

너트의 표식을 위한 지점에 하나 이상의 반사 물질이 부착되어 있고, 상기 제어부는 상기 카메라에서 촬영된 이미지에서 반사 물질이 부착되어 있는 표식 지점을 추출하여 너트의 풀림 각도를 측정할 수 있다.

볼트와 너트의 체결을 위해 중간에 와셔가 체결되어 있는 경우, 너트 및 와셔에 각각 하나 이상의 반사 물질이 부착되어 있고, 상기 제어부는 상기 카메라에서 촬영된 이미지에서 너트 및 와셔에 부착되어 있는 반사 물질의 표식 지점을 추출하여 너트의 풀림 각도를 측정할 수 있다.

볼트와 너트는 미리 정해진 진동수로 진동하는 진동기와 연결되어 체결되어 있고, 상기 제어부는 상기 진동기의 진동수와 동일한 간격으로 조명이 점멸하도록 상기 조명부를 제어할 수 있다.

상기 제어부는 상기 카메라에서 촬영된 이미지의 명도를 기준으로 이진화하고, 이진화 후에 메디안 필터를 통해 데이터들의 평균값으로 변경하는 방식으로 이미지 처리를 수행할 수 있다.

상기 제어부는 이미지 처리 후에, 너트의 풀림 각도를 측정하기 위하여 너트의 중심을 기준으로 이미지를 스캔할 수 있다.

본 발명의 볼트와 너트 간의 체결 상태 풀림을 감지하기 위한 너트 풀림 감지 장치에서의 너트 풀림 감지 방법에서, 카메라를 통해 촬영된 너트에 대한 이미지를 획득하는 단계, 획득된 이미지를 이미지 처리하는 단계, 표식을 추출하는 단계, 추출된 표식을 기준으로 너트의 풀림 각도를 측정하는 단계 및 측정된 결과 데이터를 출력하는 단계를 포함한다.

너트의 표식을 위한 지점에 하나 이상의 반사 물질이 부착되어 있고, 상기 표식을 추출하는 단계에서, 상기 카메라에서 촬영된 이미지에서 반사 물질이 부착되어 있는 표식 지점을 추출할 수 있다.

볼트와 너트의 체결을 위해 중간에 와셔가 체결되어 있는 경우, 너트 및 와셔에 각각 하나 이상의 반사 물질이 부착되어 있고, 상기 표식을 추출하는 단계에서, 상기 카메라에서 촬영된 이미지에서 너트 및 와셔에 부착되어 있는 반사 물질의 표식 지점을 추출하여 너트의 풀림 각도를 측정할 수 있다.

상기 이미지 처리하는 단계에서, 상기 카메라에서 촬영된 이미지의 명도를 기준으로 이진화하고, 이진화 후에 메디안 필터를 통해 데이터들의 평균값으로 변경하는 방식으로 이미지 처리를 수행할 수 있다.

상기 너트의 풀림 각도를 측정하는 단계에서, 이미지 처리 후에, 너트의 풀림 각도를 측정하기 위하여 너트의 중심을 기준으로 이미지를 스캔할 수 있다.

본 발명에 의하면, 머신 비전을 이용하여 너트의 풀림을 실시간으로 감지함으로써, 육안으로 식별할 수 없는 너트의 움직임을 용이하고도 신속하게 감지할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 너트 풀림 감지 장치의 구성을 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 너트 풀림 감지 장치에서의 너트 풀림 감지 방법을 보여주는 흐름도이다.
도 3은 일반 조명을 사용한 경우의 촬영 이미지와 점멸되는 조명을 사용한 경우의 촬영 이미지를 비교한 도면이다.
도 4는 본 발명의 일 실시예에 따른 반사 물질이 부착된 너트의 모습을 도시한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 이미지 처리 과정을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 너트의 중심점을 표시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 중심점을 기준으로 스캔 방향을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 데이터 출력 결과를 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 발명은 볼트와 너트 간의 체결 상태 풀림을 감지하기 위한 너트 풀림 감지 장치에 대한 것이다.

도 1은 본 발명의 일 실시예에 따른 너트 풀림 감지 장치의 구성을 보여주는 블록도이다.

도 1의 실시예에서, 볼트(10)와 너트(20)가 체결되어 있고, 볼트(10)와 너트(20) 사이에 와셔(50)가 체결되어 있으며, 너트의 풀림 상태를 실험하기 위해 미리 정해진 진동수로 진동하는 진동기(40)가 연결되어 있다.

도 1을 참조하면, 너트 풀림 감지 장치(100)는 카메라(110), 조명부(120), 제어부(130), 디스플레이부(140)를 포함한다.

카메라(110)는 볼트(10)에 체결된 너트(20)를 촬영하는 역할을 한다. 본 발명에서 카메라는 CCD의 이미지 센서를 포함할 수 있다.

조명부(120)는 카메라(110)가 촬영하는 피사체에 조명을 제공하는 역할을 한다.

제어부(130)는 카메라(110)에서 촬영된 이미지를 이미지 처리하고, 표식을 추출하고, 추출된 표식을 기준으로 너트(20)의 풀림 각도를 측정하고, 측정된 결과 데이터를 출력한다.

디스플레이부(140)는 제어부(130)에서 출력된 데이터를 표시하는 역할을 한다.

본 발명에서 너트(20) 및 와셔(50)의 표식을 위한 지점에 하나 이상의 반사 물질(30)이 부착되어 있다. 예를 들어, 반사 물질(30)은 빛을 잘 반사하는 물질로서, 알루미늄 포일로 구현될 수 있다. 도 4는 본 발명의 일 실시예에 따른 반사 물질(30)이 부착된 너트(20)의 모습을 도시한 도면이다.

제어부(130)는 카메라(110)에서 촬영된 이미지에서 너트(20)와 와셔(50)에 부착되어 있는 반사 물질(30)을 추출하여 너트의 풀림 각도를 측정할 수 있다.

도 1의 실시예에서, 볼트(10)와 너트(20)는 미리 정해진 진동수로 진동하는 진동기(40)와 연결되어 체결되어 있고, 이때 제어부(130)는 진동기(40)의 진동수와 동일한 간격으로 조명이 점멸하도록 조명부(120)를 제어할 수 있다.

도 3은 일반 조명을 사용한 경우의 촬영 이미지와 점멸되는 조명을 사용한 경우의 촬영 이미지를 비교한 도면이다.

도 3에서 (a)는 일반 조명을 사용하여 촬영한 경우의 사진이고, (b)는 점멸되는 조명을 사용하여 촬영한 경우의 사진이다.

양자를 비교하면, (b)의 사진이 보다 선명한 것을 알 수 있다. 이처럼 본 발명에서, 일반 LED 조명장치가 아닌 빠른 속도로 점멸하는 조명을 이용하는 이유는 일반 조명 아래에서 고속으로 움직이는 물체를 촬영할 경우, 일반 카메라의 1 프레임에 무수히 많은 잔상이 찍혀 도 1 (a) 처럼 나타나게 되는 반면, 진동기(40)의 진동수와 조명의 점멸 간극을 맞추어 주면, 진동 실험체인 너트에 항상 같은 위치에서 조명이 켜지게 되어 선명한 사진을 얻을 수 있기 때문이다.

본 발명에서 제어부(130)는 카메라(110)에서 촬영된 이미지의 명도를 기준으로 이진화하고, 이진화 후에 메디안 필터를 통해 데이터들의 평균값으로 변경하는 방식으로 이미지 처리를 수행한다. 여기서 메디안 필터란 이미지 전체를 일정한 픽셀 단위로 나눈 후 각 나뉘어진 범위 안에 있는 데이터들을 평균 값으로 변경하는 필터이다.

제어부(130)는 이미지 처리 후에, 너트(20)의 풀림 각도를 측정하기 위하여 너트(20)의 중심을 기준으로 이미지를 스캔할 수 있다.

도 2는 본 발명의 일 실시예에 따른 너트 풀림 감지 장치에서의 너트 풀림 감지 방법을 보여주는 흐름도이다.

도 2를 참조하면, 볼트와 너트 간의 체결 상태 풀림을 감지하기 위한 너트 풀림 감지 장치에서의 너트 풀림 감지 방법에서, 먼저 카메라(110)를 통해 촬영된 너트(20)에 대한 이미지를 획득한다(S210).

그리고, 획득된 이미지를 이미지 처리한다(S220). 그리고, 표식을 추출한다(S230).

그리고, 추출된 표식을 기준으로 너트의 풀림 각도를 측정한다(S240).

그리고, 측정된 결과 데이터를 출력한다(S250).

본 발명에서 너트(20) 및 와셔(50)의 표식을 위한 지점에 하나 이상의 반사 물질(30)이 부착되어 있고, 표식을 추출하는 단계(S230)에서, 카메라(130)에서 촬영된 이미지에서 반사 물질(30)이 부착되어 있는 표식 지점을 추출한다.

이미지 처리하는 단계(S220)에서, 카메라(130)에서 촬영된 이미지의 명도를 기준으로 이진화하고, 이진화 후에 메디안 필터를 통해 데이터들의 평균값으로 변경하는 방식으로 이미지 처리를 수행한다. 여기서 메디안 필터란 이미지 전체를 일정한 픽셀 단위로 나눈 후 각 나뉘어진 범위 안에 있는 데이터들을 평균 값으로 변경하는 필터이다.

너트의 풀림 각도를 측정하는 단계(S240)에서, 이미지 처리 후에, 너트(20)의 풀림 각도를 측정하기 위하여 너트(20)의 중심을 기준으로 이미지를 스캔한다.

본 발명에서는 카메라(110)를 통해 촬영된 이미지에 대해 컴퓨터가 인식하기 용이하도록 이미지 처리 과정을 거친다.

도 5 및 도 6은 본 발명의 일 실시예에 따른 이미지 처리 과정을 보여주는 도면이다.

도 5는 이진화 처리를 보여주는 것으로서, 일정한 명도값을 기준으로 이미지를 흑과 백으로 나눠서 변경하는 방식이다. 도 5의 실시예에서는 실제 샘플 데이터를 이진화 처리한 경우의 모습이 도시되어 있다.

도 6은 메디안 필터 처리를 도시한 것으로서, 이미지 전체를 일정한 픽셀 단위로 나눈 후, 나뉘어진 범위 안에 있는 데이터들을 평균값으로 바꾸어주는 메디언 필터 처리를 한 결과물이 (c)에 도시되어 있다.

본 발명에서는 이미지 처리 후 너트의 풀림 각도를 측정하기 위하여 스캔하게 되는데, 스캔의 기준점은 최초 이진화 시의 너트의 중심이다.

도 7은 본 발명의 일 실시예에 따른 너트의 중심점을 표시한 도면이다.

도 7에서 보는 바와 같이, 너트의 중심점은 안쪽 경사면의 윤곽을 따라 구할 수 있다.

도 8은 본 발명의 일 실시예에 따른 중심점을 기준으로 스캔 방향을 도시한 도면이다.

도 8을 참조하면, 중심점을 기준으로 아래 위 방향으로 스캔을 시작하며 절대값이 동일한 지점에서 같은 명도 값을 가진 포인트를 찾아 저장한다. 예를 들어, 너트에 2개와, 와셔에 2개 등 총 4개의 포인트를 찾아 저장하며, 이를 통해 너트의 풀림 각도를 측정한다.

도 9는 본 발명의 일 실시예에 따른 데이터 출력 결과를 도시한 도면이다.

도 9를 참조하면, (a)는 측정 결과 데이터를 출력한 것이고, (b)는 측정 결과 데이터를 그래프로 표시한 것이다.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

100 너트 풀림 감지 장치 110 카메라
120 조명부 130 제어부
140 디스플레이부 10 볼트
20 너트 30 반사 물질
40 진동기 50 와셔

Claims (11)

1. 볼트와 너트 간의 체결 상태 풀림을 감지하기 위한 너트 풀림 감지 장치에서,
   볼트에 체결된 너트를 촬영하기 위한 카메라;
   상기 카메라가 촬영하는 피사체에 조명을 제공하기 위한 조명부;
   상기 카메라에서 촬영된 이미지를 이미지 처리하고, 표식을 추출하고, 추출된 표식을 기준으로 너트의 풀림 각도를 측정하고, 측정된 결과 데이터를 출력하는 제어부; 및
   상기 제어부에서 출력된 데이터를 표시하기 위한 디스플레이부를 포함하며,
   볼트와 너트의 체결을 위해 중간에 와셔가 체결되어 있는 경우,
   너트 및 와셔에 각각 하나 이상의 반사 물질이 부착되어 있고,
   상기 제어부는 상기 카메라에서 촬영된 이미지에서 너트 및 와셔에 부착되어 있는 반사 물질의 표식 지점을 추출하여 너트의 풀림 각도를 측정하며,
   상기 너트 풀림 감지 장치는 볼트 및 너트의 체결 상태를 검사하기 위하여, 볼트 및 너트와 체결되어 미리 정해진 진동수로 진동하는 진동기를 더 포함하고,
   상기 제어부는 상기 진동기의 진동수와 동일한 간격으로 조명이 점멸하도록 상기 조명부를 제어하며,
   상기 제어부는 상기 카메라에서 촬영된 이미지의 명도를 기준으로 이진화하고, 이진화 후에 메디안 필터를 통해 데이터들의 평균값으로 변경하는 방식으로 이미지 처리를 수행하고,
   상기 제어부는 이미지 처리 후에, 너트의 풀림 각도를 측정하기 위하여, 최초 이진화 시의 너트의 중심을 기준으로 이미지를 스캔하고, 이때 상기 제어부는 이진화 시의 안쪽 경사면의 윤곽을 이용하여 너트의 중심점을 구하며,
   상기 제어부는 상기 중심점을 기준으로 상하 방향으로 스캔을 수행하되, 절대값이 동일한 지점에서 같은 명도를 갖는 포인트를 검색하여 저장하는 방식으로 스캔을 수행하는 것을 특징으로 하는 너트 풀림 감지 장치.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제

Images