KR101972819B1 - 단일 카메라 기반의 대상물 검출 시스템 및 방법 - Google Patents

단일 카메라 기반의 대상물 검출 시스템 및 방법 Download PDF

Info

Publication number
KR101972819B1
KR101972819B1 KR1020140188122A KR20140188122A KR101972819B1 KR 101972819 B1 KR101972819 B1 KR 101972819B1 KR 1020140188122 A KR1020140188122 A KR 1020140188122A KR 20140188122 A KR20140188122 A KR 20140188122A KR 101972819 B1 KR101972819 B1 KR 101972819B1
Authority
KR
South Korea
Prior art keywords
image
angle
camera module
module
detection system
Prior art date
Application number
KR1020140188122A
Other languages
English (en)
Other versions
KR20160078617A (ko
Inventor
임선
정일균
정학상
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020140188122A priority Critical patent/KR101972819B1/ko
Publication of KR20160078617A publication Critical patent/KR20160078617A/ko
Application granted granted Critical
Publication of KR101972819B1 publication Critical patent/KR101972819B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 단일 카메라 기반의 대상물 검출 시스템 및 방법에 관한 것으로, 이동되는 대상물에 대하여 지정된 각도별로 이미지를 획득하는 카메라 모듈, 상기 카메라가 지정된 각도 상태들이 되도록 회전시키는 회전 구동 모듈, 상기 지정된 각도별로 획득된 이미지들을 비교 분석하여 상기 대상물의 상태를 분석하는 제어 모듈을 포함하는 것을 특징으로 하는 대상물 검출 시스템 및 방법을 개시한다.

Description

단일 카메라 기반의 대상물 검출 시스템 및 방법{Object detection system and method based on a single camera}
본 발명은 대상물 검출에 관한 것으로, 더욱 상세하게는 단일 카메라의 회전 각도를 조절하면서 영상을 촬영하여 대상물 상태를 검출할 수 있도록 하는 단일 카메라 기반의 대상물 검출 시스템 및 방법에 관한 것이다.
자동화 시스템은 작업 대상물을 병렬 로봇으로 처리하도록 구성할 수 있다. 이 과정에서 작업 대상물의 올바른 처리를 확인하기 위하여 작업 대상물과 관련한 영상을 촬영하고 분석한다. 상술한 작업 대상물과 관련한 영상을 촬영하기 위하여, 종래에는 지정된 위치에 카메라를 설치하고, 내부 또는 외부 켈리브레이션을 적용하였다.
이에 따라, 종래 작업 대상물 분석과 관련하여 설치된 카메라는 고정된 형태로만 사용해야 하며, 카메라의 위치가 변경되는 등의 외부 환경적 변화가 발생하면, 켈리브레이션을 재수행해야 하는 불편한 작업이 추가적으로 발생하였다. 또한 종래에는 작업 대상물과 관련한 다양한 위치의 영상을 획득하기 위하여 복수개의 카메라의 설치가 필요하였다.
본 발명은 상기와 같은 문제 해결을 위해 제안된 것으로, 단일 카메라를 이용하여 작업 대상물 한번 검출(0ne-shot detection)이 아닌 상시 조종이 가능하도록 한 단일 카메라 기반의 대상물 검출 시스템 및 방법을 제공하는데 있다.
또한, 본 발명은 단일 카메라를 이용하여 작업 대상물 처리 여부를 확인할 수 있으며, 카메라 동작 특성에 최적화된 단일 카메라 기반의 대상물 검출 시스템 및 방법을 제공하는데 있다.
상술한 목적을 달성하기 위하여, 본 발명은 이동되는 대상물에 대하여 지정된 각도별로 이미지를 획득하는 카메라 모듈, 상기 카메라가 지정된 각도 상태들이 되도록 회전시키는 회전 구동 모듈, 상기 지정된 각도별로 획득된 이미지들을 비교 분석하여 상기 대상물의 상태를 분석하는 제어 모듈을 포함하는 것을 특징으로 하는 대상물 검출 시스템의 구성을 개시한다.
상기 대상물 검출 시스템은 상기 카메라 모듈의 대상물 관련 이미지 획득 시점을 결정하는데 필요한 센서 정보를 제공하는 트리거링 센서를 더 포함하는 것을 특징으로 한다.
상기 제어 모듈은 지정된 각도로 회전된 상태에서 획득된 이미지의 아핀변환을 수행하여 최초 획득된 이미지와 매칭 검사를 수행하여 대상물 분석을 수행하도록 제어하는 것을 특징으로 한다.
본 발명은 또한, 카메라 모듈을 이용하여 제1 각도에서 제1 이미지를 획득하는 단계, 상기 카메라 모듈을 회전시킨 후 회전된 제2 각도에서 제2 이미지를 획득하는 단계, 상기 획득된 제1 이미지 및 제2 이미지를 비교하여 대상물 분석을 수행하는 단계를 포함하는 것을 특징으로 하는 대상물 검출 방법의 구성을 개시한다.
상기 방법은 상기 대상물 이동 로봇과 관련한 대상물 처리와 관련한 적어도 하나의 이미지를 획득하는 단계, 상기 획득된 이미지를 기반으로 상기 대상물 처리 상태를 판단하는 단계를 더 포함하는 것을 특징으로 한다.
상기 대상물 분석을 수행하는 단계는 상기 제1 이미지 촬영 각도와 동일한 각도의 뷰로서 상기 제2 이미지의 아핀변환을 수행하여 상기 제1 이미지와 상기 제2 이미지를 비교 분석하는 단계를 포함하는 것을 특징으로 한다.
이상에서 살펴본 바와 같이 본 발명에서 제시하는 단일 카메라 기반의 대상물 검출 시스템 및 방법은 작업 대상물 검출을 상시적으로 수행할 수 있으며, 작업 대상물 처리 확인이 가능하도록 지원한다.
도 1은 본 발명의 실시예에 따른 단일 카메라 기반의 대상물 검출 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 제어 모듈의 구성을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 카메라 모듈의 회전 상태를 예시적으로 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 대상물 관련 획득된 이미지를 예시적으로 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 대상물 검출 방법을 설명하는 도면이다.
도 6은 본 발명의 실시예에 따른 대상물 검출 시스템에 의해 변화된 영상을 예시적으로 나타낸 도면이다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다. 하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 상기한 목적을 달성하기 위한 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.
도 1은 본 발명의 실시예에 따른 단일 카메라 기반의 대상물 검출 시스템을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 대상물 검출 시스템(100)은 카메라 모듈(110), 회전 구동 모듈(120), 자동화 시스템(130), 제어 모듈(160)을 포함할 수 있으며, 추가적으로 트리거링 센서(140)를 더 포함할 수 있다.
이러한 대상물 검출 시스템(100)은 자동화 시스템(130)을 통해 이동하는 대상물에 대한 영상을 카메라 모듈(110)을 이용하여 촬영할 수 있다. 이 동작에서, 대상물 검출 시스템(100)은 대상물의 이동 경로에 따라 지정된 위치에서 복수의 영상을 획득하여 분석할 수 있어, 단일 카메라 모듈(110)을 이용하여 다양한 영상 획득이 가능하도록 한다. 또한 대상물 검출 시스템(100)은 획득된 복수의 영상을 상호 간에 비교 수행하여, 대상물 상태를 보다 정확히 인식할 수 있으며, 그에 따른 대상물 처리를 올바르게 수행할 수 있다.
상기 카메라 모듈(110)은 지정된 뷰 영역에 대한 이미지(또는 영상)를 획득하는 장치이다. 본 발명의 실시에 따른 대상물 검출 시스템(100)은 단일 카메라 기반으로 대상물과 관련한 복수의 영상을 획득할 수 있도록 구성된다. 여기서 단일 카메라의 의미는 자동화 시스템(130)의 모든 공정과 관련한 이미지를 하나의 카메라로 촬영하는 의미를 포함할 수 있으며, 또한 대상물 모니터링에 필요한 복수개의 확인 지점들과 관련한 이미지를 하나의 카메라를 이용하여 촬영하는 의미를 포함할 수도 있다. 이하 설명에서는 카메라 모듈(110)이 복수의 확인 지점들과 관련한 이미지를 촬영하는 의미로서 설명하기로 한다.
상기 카메라 모듈(110)은 회전 구동 모듈(120)과 기계적으로 연결되고, 회전 구동 모듈(120)의 회전에 대응하여 지정된 뷰 영역이 변경될 수 있다. 카메라 모듈(110)은 제어 모듈(160)의 제어에 따라 지정된 뷰 영역에 대한 영상을 촬영할 수 있다. 여기서, 카메라 모듈(110)은 지정된 뷰 영역별로 켈리브레이션이 수행된 상태를 가질 수도 있다. 상기 카메라 모듈(110)은 지정된 뷰 영역에서 예컨대, 대상물과 관련한 이미지를 획득한 후, 제어 모듈(160)에 전달할 수 있다. 한 예시로서, 카메라 모듈(110)은 복수개의 지정된 뷰 영역에 대한 이미지를 획득할 수 있으며, 획득된 복수개의 이미지들은 제어 모듈(160)에 전달할 수 있다.
상기 회전 구동 모듈(120)은 상기 카메라 모듈(110)과 기계적으로 연결되어, 카메라 모듈(110)의 회전을 제어할 수 있다. 예컨대, 상기 회전 구동 모듈(120)은 카메라 모듈(110)이 복수개의 지정된 뷰 영역을 주시할 수 있도록 회전할 수 있다. 이와 관련하여, 회전 구동 모듈(120)의 회전 각도는 사전 정의될 수 있다. 또한, 회전 구동 모듈(120)의 회전 속도 또는 회전 타이밍 역시 사전 정의될 수 있다. 회전 구동 모듈(120)의 회전과 관련하여 정의된 회전 제어 스케줄 정보는 제어 모듈(160)에 제공되거나 또는 별도의 메모리에 저장되었다가, 대상물 모니터링 과정에서 제어 모듈(160)에 의해 액세스될 수 있다.
상기 자동화 시스템(130)은 대상물의 생산, 이동, 포장, 적재 등의 공정 중 적어도 하나의 공정을 자동화한 시스템일 수 있다. 예컨대, 자동화 시스템(130)은 지정된 방식으로 생산된 대상물을 일정 위치로 이동시키는 컨베이어 벨트, 컨베이어 벨트 상에서 이동하는 대상물을 일정 위치로 이동시키는 대상물 이동 로봇 등을 포함할 수 있다. 추가적으로, 자동화 시스템(130)은 이동된 대상물을 포장하는 포장 로봇 또는 포장된 대상물을 적재시키는 적재 로봇 등 다양한 로봇들이 컨베이어 벨트를 기준으로 병렬적으로 배치될 수 있다.
상술한 자동화 시스템(130)은 제어 모듈(160)의 제어에 따라 컨베이어 벨트 또는 대상물 이동 로봇 등의 움직임 제어 또는 대상물 처리를 수행할 수 있다. 한 예시로서, 컨베이어 벨트 상에서 이동하는 대상물과 관련하여 카메라 모듈(110)이 촬영한 이미지를 기반으로 대상물이 어떠한 위치에 어떠한 배치로 몇 개가 있는지 확인되면, 대상물 이동 로봇은 영상 분석에 따른 결과를 기반으로 대상물들의 위치를 추적하고, 이를 기반으로 대상물들을 지정된 위치로 이동시킬 수 있다.
상기 제어 모듈(160)은 대상물 검출 시스템(100)의 운용 및 자동화 시스템(130) 운용과 관련한 다양한 제어를 수행할 수 있다. 예컨대, 제어 모듈(160)은 앞서 설명한 바와 같이, 자동화 시스템(130)에 포함된 컨베이어 벨트의 움직임 제어, 대상물 이동 로봇의 움직임 제어를 수행할 수 있다. 본 발명의 실시예에 따른 제어 모듈(160)은 카메라 모듈(110)을 이용하여 대상물 관련 이미지 획득, 회전 구동 모듈(120)의 회전 각도 제어, 수집된 이미지들의 분석을 수행할 수 있다. 또한 상기 제어 모듈(160)은 이미지들의 분석에 따른 컨베이어 벨트 또는 대상물 이동 로봇 등의 자동화 시스템(130) 제어 등을 수행할 수 있다. 제어 모듈(160)의 세부 구성 및 역할에 대하여 도 2를 참조하여 보다 상세히 후술하기로 한다.
한편, 본 발명의 대상물 검출 시스템(100)은 이미지 획득 시점 지원과 관련하여 트리거링 센서(140)를 포함할 수 있다. 이에 따라, 상기 트리거링 센서(140)는 카메라 모듈(110) 구동 시점 제어와 관련하여 배치될 수 있다. 예컨대, 트리거링 센서(140)는 카메라 모듈(110)이 대상물을 촬영해야 하는 위치보다 일정 지점 앞선 위치에 배치되어 대상물이 존재하는지 여부를 확인하는 센서일 수 있다. 한 예시로서, 트리거링 센서(140)는 압력 또는 광 중 적어도 하나를 이용하여 컨베이어 벨트 상에 대상물이 존재하는지 확인하는 무게 감지 센서 또는 물체 감지 센서를 포함할 수 있다. 트리거링 센서(140)는 지정된 지점에 대상물이 나타나면 이에 대한 센서 정보를 제어 모듈(160)에 전달할 수 있다.
작업 대상물의 무게와 컨베이어 벨트 속도 등에 따라 처음 작업 대상물 검출 상황에서 변동 가능성이 높게 나타날 수 있다. 이에 따라, 초기에 대상물과 관련한 이미지를 적절하게 수집하지 못하고 그에 따른 이미지 분석을 제대로 수행하지 못하는 경우 작업 대상물의 위치 기반의 픽업 수행 시 대상물 픽업 성공률이 현저히 낮아지는 문제점이 있을 수 있다. 상기 대상물 검출 시스템은 상술한 트리거링 센서(140)를 이용하여 대상물 존재 여부를 확인할 수 있다.
도 2는 본 발명의 실시예에 따른 제어 모듈의 구성을 나타낸 도면이다.
도 2를 참조하면, 상기 제어 모듈(160)은 이미지 수집부(161), 회전 제어부(613), 이미지 비교부(165), 센서 제어부(167)를 포함할 수 있다.
상기 이미지 수집부(161)는 카메라 모듈(110)을 제어하여 지정된 뷰 영역에 대한 이미지를 수집하도록 제어할 수 있다. 이러한 이미지 수집부(161)는 트리거링 센서(140)로부터의 센서 정보 또는 지정된 스케줄 정보에 따라 지정된 뷰 영역에서 대상물과 관련한 이미지를 수집할 수 있다. 이미지 수집부(161)는 지정된 뷰 영역이 변경되면, 변경 후 일정 시점에 대상물 관련 이미지를 수집할 수 있다. 이미지 수집부(161)가 수집한 복수개의 이미지는 이미지 비교부(165)에 전달될 수 있다.
상기 회전 제어부(613)는 회전 구동 모듈(120)의 회전 각도를 제어할 수 있다. 회전 제어부(613)는 예컨대, 카메라 모듈(110)이 대상물 관련 이미지를 최초 촬영한 시점을 기준으로 지정된 시간 간격으로 지정된 각도만큼씩 회전 각도를 가지도록 회전 구동 모듈(120)을 제어할 수 있다. 상기 지정된 시간 간격 및 지정된 각도는 카메라 모듈(110)이 배치된 위치, 대상물의 크기, 컨베이어 벨트의 이동 속도 등에 따라 다양하게 설정될 수 있다.
한 예시로서, 적어도 하나의 지정된 각도는 대상물 분석과 관련하여 사전 지정된 컨베이어 벨트의 복수의 지점을 촬영할 수 있는 각도들일 수 있다. 적어도 하나의 지정된 시간 간격은 컨베이어 벨트의 이동 속도에 따라 대상물이 최초 촬영한 지점으로부터 지정된 컨베이어 벨트의 위치까지 도달하는 시간 간격에 대응할 수 있다. 이에 따라, 컨베이어 벨트의 이동 속도 변경 시 회전 구동 모듈(120)의 회전 시간 간격은 변경될 수 있다. 상기 회전 제어부(613)는 지정된 지점에 대한 카메라 모듈(110)의 이미지 획득이 완료되면, 회전 구동 모듈(120)을 최초 상태로 복귀하도록 제어할 수 있다. 이에 따라, 회전 제어부(613)는 카메라 모듈(110)이 최초 촬영 지점을 지정된 뷰 영역으로 주시할 수 있도록 제어할 수 있다.
상기 이미지 비교부(165)는 이미지 수집부(161)가 전달한 복수의 이미지들을 각각 분석하거나 또는 상호 비교 분석할 수 있다. 예컨대, 이미지 비교부(165)는 전달된 이미지의 영상 분석을 수행하여 대상물이 존재하는지 확인할 수 있다. 또한 이미지 비교부(165)는 영상 분석을 통하여 대상물의 개수, 대상물의 배치 상태 등을 확인할 수 있다. 또한, 이미지 비교부(165)는 수집된 영상 중 적어도 하나에 대한 아핀변환(Affine transformation)을 수행할 수 있다. 그리고 이미지 비교부(165)는 아핀변환된 영상과 지정된 다른 영상의 비교 분석 또는 결합을 통하여, 특정 이미지에 대한 영상 왜곡 또는 변화를 제공할 수 있다. 이미지 비교부(165)는 영상 왜곡 또는 변화된 이미지를 기준으로 대상물 판별을 수행할 수 있다.
상기 이미지 비교부(165)는 이미지 분석을 기반으로 대상물에 대한 상태 분석을 수행하고, 이에 따른 자동화 시스템(130) 구동 명령을 제어할 수 있다. 예컨대, 이미지 비교부(165)는 대상물 분석 결과를 기반으로 대상물 이동 로봇의 행동 명령을 생성하고, 이를 대상물 이동 로봇에 전달할 수 있다. 또한, 이미지 비교부(165)는 대상물 이동 로봇에 의한 대상물 이동과 관련한 이미지를 분석할 수 있다.
한 예시로서, 이미지 비교부(165)는 대상물 이동 직전 지정된 지점에 대한 이미지와, 대상물 이동 로봇에 의한 대상물 이동 직후 지정된 지점에 대한 이미지를 이미지 수집부(161)로부터 수신할 수 있다. 이미지 비교부(165)는 이미지들의 상호 비교를 통하여 대상물이 대상물 이동 로봇에 의하여 정상적으로 이동되었는지를 판별할 수 있다. 이미지 비교부(165)는 대상물이 정상적으로 이동되었다고 판단되면, 이전 작업을 반복수행할 수 있다. 이미지 비교부(165)는 대상물 이동이 비정상적으로 수행되었다고 판단되면, 이에 따른 알람을 비디오 또는 오디오, 램프 등 다양한 형태로 출력할 수 있다.
상기 센서 제어부(167)는 트리거링 센서(140)의 운용을 제어할 수 있다. 예를 들면, 센서 제어부(167)는 트리거링 센서(140)를 이용하여 컨베이어 벨트의 일정 지점에서의 대상물 출현에 대한 센서 정보를 수집할 수 있다. 센서 제어부(167)는 대상물 출현과 관련한 센서 정보가 수신되면 이를 이미지 수집부(161) 및 회전 제어부(613) 중 적어도 하나에 전달할 수 있다.
다양한 예시로서, 트리거링 센서(140)는 지정된 뷰 영역을 감지하도록 배치되는 카메라 모듈(110)로 대체될 수 있다. 이 경우 상술한 트리거링 센서(140) 및 센서 제어부(167)의 구성을 대상물 검출 시스템(100)에서 생략될 수 있다. 카메라 모듈(110)이 트리거링 센서(140) 역할을 대신하는 경우, 예컨대, 회전 제어부(613)는 대상물 출현과 관련한 지정된 지점을 카메라 모듈(110)이 지정된 뷰 영역으로 가지도록 제어할 수 있다. 즉, 회전 제어부(613)는 회전 구동 모듈(120)을 제어하여, 대상물 출현 인식이 필요한 컨베이어 벨트의 일정 지점에 대한 이미지를 수집할 수 있도록 카메라 모듈(110)이 일정 각도로 배치되도록 제어할 수 있다.
이와 관련하여, 카메라 모듈(110)은 대상물 출현 인식이 필요한 지점에 대한 이미지를 실시간으로 또는 지정된 시간 간격으로 획득하여 이미지 비교부(165)에 전달할 수 있다. 이미지 비교부(165)는 카메라 모듈(110)이 제공하는 이미지를 실시간 처리하여 객체 추적을 수행하여 대상물 출현 여부를 결정할 수 있다. 대상물 출현으로 판단되면, 이미지 비교부(165)는 이를 회전 제어부(613)에 전달할 수 있다. 회전 제어부(613)는 카메라 모듈(110)이 지정된 위치(예: 대상물의 배치 상태 분석을 위해 지정된 지점)의 이미지를 획득하도록 회전 구동 모듈(120)의 회전 각도를 조절할 수 있다. 한 예시로서, 회전 제어부(613)는 카메라 모듈(110)이 수직으로 컨베이어 벨트 상의 이미지를 획득하도록 회전 구동 모듈(120)을 제어할 수 있다.
도 3은 본 발명의 실시예에 따른 카메라 모듈의 회전 상태를 예시적으로 나타낸 도면이다.
도 3을 참조하면, 본 발명의 대상물 검출 시스템(100)의 카메라 모듈(110)은 301 화면에서와 같이, 직하방을 주시하는 각도로 배치될 수 있다. 예컨대, 회전 구동 모듈(120)은 회전 제어부(613)의 제어에 따라 카메라 모듈(110)이 지면(또는 컨베이어 벨트)을 기준으로 90도 각도로 배치되는 상태를 가질 수 있다. 이에 따라, 카메라 모듈(110)은 컨베이어 벨트 상에 이동되는 대상물에 대하여 수직 상태에서 촬영한 이미지를 제어 모듈(160)에 제공할 수 있다.
또한, 카메라 모듈(110)은 303 화면에서와 같이, 일정 각도 변경된 회전 상태로 배치될 수 있다. 예컨대, 301 화면 상태에서의 카메라 모듈(110)을 기준으로 카메라 모듈(110)은 좌측(또는 우측) 방향으로 일정 각도(5도, 10도, 30도 등의 지정된 각도, 또는 0도에서 90도(180도 이하 등) 범위 등의 각도 범위 중 어느 한 각도)만큼 회전된 상태를 가질 수 있다. 303 화면에서의 카메라 모듈(110) 회전 각도는 앞서 언급한 바와 같이, 컨베이어 벨트의 속도, 대상물의 크기, 대상물의 무게 등 다양한 요소에 의해 조정될 수 있다. 한 예시로서, 상술한 301 화면 상태에서 컨베이어 벨트의 일정 지점을 촬영한 이미지와 303 화면 상태에서 컨베이어 벨트의 일정 지점을 촬영한 이미지는 상호 비교 분석되어 대상물의 위치와 개수 배치 상태 등을 분석하는데 이용될 수 있다.
다양한 예시로서, 카메라 모듈(110)은 305 화면에서와 같이, 303 화면 상태보다는 더 큰 회전각도(303 화면 상태의 카메라 모듈 110이 30도인 경우 305 화면 상태의 카메라 모듈 110은 45도, 또는 303 화면 상태의 카메라 모듈 110이 45도 인 경우 305 화면 상태의 카메라 모듈 110은 45도 이상의 각도 등) 상태로 배치될 수 있다. 이에 따라, 카메라 모듈(110)은 대상물 처리와 관련한 대상물 이동 로봇 등의 대상물 처리와 관련한 이미지를 획득하도록 배치될 수 있다. 카메라 모듈(110)은 제어 모듈(160) 제어에 다라 305 화면 상태의 각도에서 지정된 시간 단위로 복수의 이미지 촬영을 수행할 수도 있다. 제어 모듈(160)은 복수의 이미지를 분석하여 대상물 이동 로봇의 대상물 처리가 정상적으로 이루어지는지를 분석할 수 있다.
도 4는 본 발명의 실시예에 따른 대상물 관련 획득된 이미지를 예시적으로 나타낸 도면이다.
도 4를 참조하면, 자동화 시스템(130)은 앞서 언급한 바와 같이 컨베이어 벨트 및 대상물 이동 로봇 등을 포함할 수 있다. 컨베이어 벨트(420) 상에는 401 화면에서와 같이, 적어도 하나의 대상물(410)이 배치될 수 있다. 적어도 하나의 대상물(410)은 컨베이어 벨트(420) 상에 배치된 후, 컨베이어 벨트(420) 움직임에 대응하여 지정된 방향으로 이동될 수 있다. 한편, 401 화면과 관련하여, 컨베이어 벨트(420)의 이동 경로 상에 배치된 카메라 모듈(110)은 제1 각도(예: 컨베이어 벨트(420)에 수직한 방향의 각도)에서 대상물(410) 이미지를 촬영할 수 있다.
또한, 카메라 모듈(110)은 제2 각도(예: 지면과 수직한 방향을 기준으로 일정 방향으로 이동된 각도)로 컨베이어 벨트(420) 상의 대상물(410) 이미지를 403 화면에서와 같이, 획득할 수 있다. 이와 관련하여, 제어 모듈(160)은 회전 구동 모듈(120)을 제어하여 카메라 모듈(110)을 제2 각도 상태가 되도록 배치시킬 수 있다. 상술한 제2 각도는 사전 지정된 각도일 수 있다. 401 화면과 같은 이미지 및 403 화면과 같은 이미지는 상호 비교되어 대상물(410) 분석에 이용될 수 있다. 한 예시로서, 403 화면과 같이 제2 각도로 촬영 이미지는 아핀변환을 수행하여 제1 각도 형태로 변환될 수 있다. 이후, 제어 모듈(160)은 제1 각도 촬영 이미지를 제2 각도 촬영 이미지로 보간 또는 보정하여 대상물(410) 분석을 수행할 수 있다.
이미지 분석 완료 후, 대상물(410)은 컨베이어 벨트(420)를 통해 이동하다가 405 화면에서와 같이, 지정된 위치에서 대상물 이동 로봇(430)에 의해 처리될 수 있다. 이 동작에서 카메라 모듈(110)은 제3 각도(예: 대상물(410)이 대상물 이동 로봇(430)에 의해 수집되는 컨베이어 벨트(420)의 일정 지점을 촬영할 수 있는 각도)로 배치될 수 있다. 제3 각도는 사전 지정될 수 있으며, 작업자 의도에 따라 변경될 수도 있다. 카메라 모듈(110)은 제어 모듈(160)의 제어에 대응하여 지정된 시간 단위로 401 화면, 403 화면, 405 화면 등을 획득하고 이를 제어 모듈(160)에 제공할 수 있다.
도 5는 본 발명의 실시예에 따른 대상물 검출 방법을 설명하는 도면이다.
도 5를 참조하면, 본 발명의 대상물 검출 방법에 있어서, 대상물 검출 시스템(100)은 단계 501에서 제1 이미지 수집을 처리할 수 있다. 예컨대, 카메라 모듈(110)이 컨베이어 벨트에 제1 각도로 배치된 상태(예: 수직하게 배치된 상태)에서, 지정된 트리거링 이벤트에 대응하여 대상물 관련 제1 이미지를 수집할 수 있다. 상기 트리거링 이벤트는 트리거링 센서(140)가 제공하거나, 카메라 모듈(110)의 대상물 출현 인식에 따른 이벤트, 지정된 스케줄링 정보에 따른 이벤트 등을 포함할 수 있다.
단계 503에서, 대상물 검출 시스템(100)은 카메라 모듈(110)의 회전을 제어할 수 있다. 제1 이미지 수집 이전 또는 이후, 컨베이어 벨트는 지정된 속도로 이동될 수 있고, 이에 따라, 대상물을 제1 이미지 수집 시점 이후 일정 지점으로 이동될 수 있다. 카메라 모듈(110)은 지정된 각도로 회전하여 대상물이 이동된 일정 지점을 촬영할 수 있도록 배치될 수 있다.
단계 505에서, 대상물 검출 시스템(100)은 제2 이미지 수집을 처리할 수 있다. 예를 들어, 대상물이 이동 중인 상태 또는 이동된 상태에 대응하여 카메라 모듈(110)이 회전한 상태를 가지고, 제2 이미지가 수집될 수 있다. 이에 따라, 제2 이미지는 제1 이미지와 비교하여 컨베이어 벨트 상에서 일정 거리 이동된 상태 및 일정 각도 기울어진 상태의 이미지가 될 수 있다.
단계 507에서, 대상물 검출 시스템(100)은 이미지 비교를 수행할 수 있다. 대상물 검출 시스템(100)은 단계 501에서 수집된 제1 이미지와 단계 503에서 수집된 제2 이미지의 비교를 수행할 수 있다. 이 동작에서 대상물 검출 시스템(100)은 제2 이미지에 대한 아핀변환을 수행하여, 제1 이미지와 유사한 위치 변환을 수행할 수 있다. 대상물 검출 시스템(100)은 아핀변환된 제2 이미지와 제1 이미지를 상호 비교하여 대상물의 배치 상태 및 개수를 판단할 수 있다. 또는 대상물 검출 시스템(100)은 제1 이미지를 기준으로 제2 이미지를 참조하여 대상물 배치 상태 및 개수를 판단할 수 있다.
한 예시로서, 대상물 검출 시스템(100)의 제어 모듈(160)은 영상 전처리부를 이용하여 회전 수행 후 촬영된 제2 이미지를 아핀변환하여 탑뷰 이미지(예: 제1 각도 상태의 이미지)로 변환 후 이미지 매칭 검사를 통해 초기 촬영된 이미지와 비교 검사를 수행할 수 있다.
단계 509에서, 대상물 검출 시스템(100)은 비교에 따른 처리를 제어할 수 있다. 예컨대, 대상물 검출 시스템(100)의 제어 모듈(160)은 비교 검사 과정에서 확률 분포곡선에 따른 이미지 오차 여유도를 초과한 변경에 대해서는 작업 분배 및 대상물의 위치를 새로 변경하여 제공할 수 있다.
단계 511에서, 대상물 검출 시스템(100)은 시스템 종료와 관련한 이벤트 발생이 있는지 확인할 수 있다. 대상물 검출 시스템(100)은 시스템 종료 이벤트 발생이 없으면 단계 501 이전으로 분기하여 이하 과정을 재수행할 수 있다.
추가적으로, 대상물 검출 시스템(100)은 제1 이미지 획득과 관련하여 트리거링 센서(140)를 운용할 수 있다. 대상물 검출 시스템(100)은 트리거링 센서(140)를 운용하여 대상물이 지정된 위치에 배치된 것으로 확인되면 카메라 모듈(110)을 이용하여 제1 이미지를 획득할 수 있다.
도 6은 본 발명의 실시예에 따른 대상물 검출 시스템에 의해 변화된 영상을 예시적으로 나타낸 도면이다.
도 6을 참조하면, 대상물 검출 시스템(100)의 카메라 모듈(110)은 601 화면에서와 같이 초기 대상물 진입 후 이미지를 획득할 수 있다. 본 발명의 대상물 검출 시스템(100)은 카메라 모듈(110)의 지정된 각도들에서 이미지들을 촬영한 후, 변환 및 매칭 검사를 수행하여 이미지 보정을 수행할 수 있다. 이에 따라, 대상물 검출 시스템(100)은 603 화면에서와 같이 대상물 위치의 왜곡 또는 변화된 이미지를 획득할 수 있다. 상술한 바와 같이, 대상물 검출 시스템(100)은 대상물 분석에 보다 유리한 또는 보다 정확하게 분석할 수 있는 이미지 획득을 단일 카메라를 이용하여 달성할 수 있다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 대상물 검출 시스템
110 : 카메라 모듈
120 : 회전 구동 모듈
130 : 자동화 시스템
140 : 트리거링 센서
160 : 제어 모듈
161 : 이미지 수집부
163 : 회전 제어부
165 : 이미지 비교부
167 : 센서 제어부

Claims (6)

  1. 회전 구동 모듈;
    상기 회전 구동 모듈의 회전에 따라 지정된 각도가 변경되고, 상기 각도 중 제1 각도에서 제1 이미지를 획득하고, 상기 각도 중 상기 제1 각도에서 변경된 제2 각도에서 제2 이미지를 획득하는 카메라 모듈; 및
    상기 회전 구동 모듈의 회전을 제어하며, 상기 제1 및 제2 이미지를 비교 분석하여, 상기 제1 및 제2 이미지 내에 포함된 대상물의 상태를 분석하는 제어 모듈을 포함하고,
    상기 제어 모듈은,
    상기 제1 이미지가 상기 대상물의 이동 직전 이미지인 경우, 상기 대상물이 이동되게 대상물 이동 로봇으로 행동 명령을 전달하고 상기 카메라 모듈이 상기 제1 각도에서 상기 제2 각도로 변경되게 상기 회전 구동 모듈을 제어하며, 상기 카메라 모듈이 상기 제2 각도에서 획득한 상기 제2 이미지를 분석하여 상기 대상물이 대상물 이동 로봇에 의해 정상적으로 이동되었는지 여부를 판단하고, 상기 대상물이 이동이 비정상적으로 수행된 것으로 판단하면 알람을 출력하는,
    대상물 검출 시스템
  2. 제1항에 있어서,
    상기 카메라 모듈의 대상물 관련 이미지 획득 시점을 결정하는데 필요한 센서 정보를 제공하는 트리거링 센서;
    를 더 포함하는 것을 특징으로 하는 대상물 검출 시스템.
  3. 제1항에 있어서,
    상기 제어 모듈은
    상기 제1 및 제2 각도로 회전된 상태에서 획득한 상기 제1 및 제2 이미지에 대해 아핀변환을 수행하여, 최초 획득한 이미지와 매칭 검사를 수행하여 상기 대상물에 대한 분석을 수행하는 것을 특징으로 하는 대상물 검출 시스템.
  4. 카메라 모듈이 변경된 제1 각도에서 제1 이미지를 획득하는 단계;
    상기 카메라 모듈을 상기 제1 각도에서 제2 각도로 변경하여, 상기 제2 각도에서 제2 이미지를 획득하는 단계;
    상기 제1 및 제2 이미지를 비교 분석하여, 상기 제1 및 제2 이미지 내에 포함된 대상물의 상태를 분석하는 단계를 포함하고,
    상기 대상물의 상태를 분석하는 단계는,
    상기 제1 이미지가 상기 대상물의 이동 직전 이미지인 경우, 상기 대상물이 이동되게 대상물 이동 로봇으로 행동 명령을 전달하고 상기 카메라 모듈이 상기 제1 각도에서 상기 제2 각도로 변경되게 회전 구동 모듈을 제어하며, 상기 제2 이미지를 분석하여 상기 대상물이 대상물 이동 로봇에 의해 정상적으로 이동되었는지 여부를 판단하는 단계; 및
    상기 대상물이 이동이 비정상적으로 수행된 것으로 판단하면 알람을 출력하는 단계를 포함하는 것을 특징으로 하는 대상물 검출 방법.
  5. 삭제
  6. 제4항에 있어서,
    상기 대상물 분석을 수행하는 단계는
    상기 제1 이미지가 상기 대상물의 이동 직전 이미지가 아닌 경우, 상기 제2 이미지를 상기 제1 각도와 동일한 각도의 뷰로서 아핀변환을 수행하여 상기 제1 및 제2 이미지를 비교분석하는 것을 특징으로 하는 대상물 검출 방법.
KR1020140188122A 2014-12-24 2014-12-24 단일 카메라 기반의 대상물 검출 시스템 및 방법 KR101972819B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140188122A KR101972819B1 (ko) 2014-12-24 2014-12-24 단일 카메라 기반의 대상물 검출 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140188122A KR101972819B1 (ko) 2014-12-24 2014-12-24 단일 카메라 기반의 대상물 검출 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20160078617A KR20160078617A (ko) 2016-07-05
KR101972819B1 true KR101972819B1 (ko) 2019-08-19

Family

ID=56501804

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140188122A KR101972819B1 (ko) 2014-12-24 2014-12-24 단일 카메라 기반의 대상물 검출 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101972819B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002082060A (ja) 2000-06-30 2002-03-22 Nissan Motor Co Ltd 表面欠陥検査方法および表面欠陥検査装置
JP2003319145A (ja) * 2002-04-26 2003-11-07 Hitachi Ltd 非接触画像読取システム
JP2005063176A (ja) * 2003-08-13 2005-03-10 Yaskawa Electric Corp 物体認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002082060A (ja) 2000-06-30 2002-03-22 Nissan Motor Co Ltd 表面欠陥検査方法および表面欠陥検査装置
JP2003319145A (ja) * 2002-04-26 2003-11-07 Hitachi Ltd 非接触画像読取システム
JP2005063176A (ja) * 2003-08-13 2005-03-10 Yaskawa Electric Corp 物体認識装置

Also Published As

Publication number Publication date
KR20160078617A (ko) 2016-07-05

Similar Documents

Publication Publication Date Title
US20230024006A1 (en) Embedded system, fast structured light based 3d camera system and method for obtaining 3d images using the same
US7839431B2 (en) Image processing system and method for improving repeatability
CN109977770B (zh) 一种自动跟踪拍摄方法、装置、系统及存储介质
US20130329954A1 (en) Image processing apparatus and image processing system
JP2012132739A (ja) ステレオカメラの校正装置および校正方法
US11022858B2 (en) Multiple camera apparatus and method for synchronized autofocus
US10951809B2 (en) Adaptive camera control and calibration for dynamic focus
US10979645B2 (en) Video capturing device including cameras and video capturing system including the same
CN113129383B (zh) 手眼标定方法、装置、通信设备及存储介质
JP6065629B2 (ja) 物体検知装置
US20110187866A1 (en) Camera adjusting system and method
US20180243913A1 (en) Robot system
US10845776B2 (en) Control device, control method of control device, and recording medium
KR101972819B1 (ko) 단일 카메라 기반의 대상물 검출 시스템 및 방법
KR20130061567A (ko) 무정지 검사를 위한 로봇 시스템 및 그 방법
KR102598910B1 (ko) 왜곡된 이미지에서 객체를 검출하기 위한 방법, 시스템, 및 장치
CN112601007B (zh) 一种特征区域的图像采集方法及设备
US20200128189A1 (en) Camera system, control method and non-transitory computer-readable storage medium
KR20210058329A (ko) 다면 비전 검사 알고리즘 및 이를 이용한 시스템
CN113808212A (zh) 一种线扫描图像同步的标定方法和系统
CN102457657A (zh) 摄影机装置及利用其进行人型侦测的方法
TWI768837B (zh) Led的檢測方法與檢測設備
US20180109766A1 (en) Regional image scanning system and method thereof
US20160037041A1 (en) Adaptive illumination apparatus and method
KR101150563B1 (ko) 분광기를 이용한 감시 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant