KR101461316B1 - 듀얼 카메라를 포함하는 무인차의 컬러 마커 기반 무인 운전 시스템 및 그 방법 - Google Patents

듀얼 카메라를 포함하는 무인차의 컬러 마커 기반 무인 운전 시스템 및 그 방법 Download PDF

Info

Publication number
KR101461316B1
KR101461316B1 KR1020130048727A KR20130048727A KR101461316B1 KR 101461316 B1 KR101461316 B1 KR 101461316B1 KR 1020130048727 A KR1020130048727 A KR 1020130048727A KR 20130048727 A KR20130048727 A KR 20130048727A KR 101461316 B1 KR101461316 B1 KR 101461316B1
Authority
KR
South Korea
Prior art keywords
marker
remote
image data
unmanned vehicle
color
Prior art date
Application number
KR1020130048727A
Other languages
English (en)
Other versions
KR20140130337A (ko
Inventor
현창호
음혁민
이재성
강건
Original Assignee
공주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 공주대학교 산학협력단 filed Critical 공주대학교 산학협력단
Priority to KR1020130048727A priority Critical patent/KR101461316B1/ko
Publication of KR20140130337A publication Critical patent/KR20140130337A/ko
Application granted granted Critical
Publication of KR101461316B1 publication Critical patent/KR101461316B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 무인차의 마커 기반 무인 운행 방법은, 원거리 카메라 센서 모듈을 이용하여 원거리 컬러 마커를 포함하는 영상 데이터의 수집 단계, 상기 원거리 컬러 마커 이외의 배경 영상 데이터 제거 단계, 상기 원거리 컬러 마커의 후보 군 추출 단계, 상기 원거리 컬러 마커의 HOG 특징 추출 단계, SVM 분류기를 이용하여 최종적인 원거리 컬러 마커의 패턴 형상 추출 단계, 근거리 카메라 센서 모듈을 이용하여 근거리 컬러 마커를 포함하는 영상 데이터의 수집 단계, 상기 근거리 컬러 마커 이외의 배경 영상 데이터 제거 단계, 상기 근거리 컬러 마커의 후보 군 추출 단계, 상기 근거리 컬러 마커의 HOG 특징 추출 단계, 및 SVM 분류기를 이용하여 최종적인 근거리 컬러 마커의 패턴 형상 추출 단계를 포함한다. 본 발명에 의하면, 스테레오 카메라 대신 듀얼 USB 카메라를 사용하기 때문에, 비용이 싸다.

Description

듀얼 카메라를 포함하는 무인차의 컬러 마커 기반 무인 운전 시스템 및 그 방법 {System and method for controling Automatic Guided Vehicles based on color maker using dual camera}
본 발명은, 듀얼 카메라(dual camera)를 이용하여 무인차(AGV)의 컬러 마커 기반 무인 자율 주행 시스템 및 방법에 관한 것으로서, 특히 컬러 정보를 이용하여 컬러 마커 후보군을 선별하고, HOG 특징을 추출하여 대략적인 마커의 형상을 나타내며, SVM 분류기를 이용하여 마커의 패턴 정보를 인식하는 컬러 마커 기반의 무인 운전에 관한 것이고, 이러한 컬러 마커 기반에서 더 나아가 원거리 마커를 이용하여 무인차(AGV)의 진로를 정하고, 무인차(AGV)와 원거리/근거리 마커의 각도 정보를 이용하여 무인차(AGV)의 경로 이탈을 방지하며, 무인차(AGV)와 근거리 마커의 거리 정보를 이용하여 무인차(AGV)의 좌회전, 우회전, 및 정지 시점을 결정하는 무인 운행 시스템 및 방법에 관한 것이다.
일반적으로, 무인차(Automatic Guided Vehicles: AGV)는 정해진 레일을 따라 운행하는 경우, 무인차(AGV)를 운행하기 위해서는 무인차(AGV)가 이동할 수 있는 이동 레일을 설치하여야 한다. 이 경우 이동 레일을 설치하기 위해서는 설치비용이 많이 소요된다. 또한 이동 레일의 경로가 변경되는 경우 기존의 이동 레일을 제거하고 새로운 이동 레일을 설치해야 한다. 이동 레일의 설치 및 제거가 어렵기 때문에, 이동 레일의 경로가 자주 변경되는 물류 시스템에 적용하기 곤란한 문제점이 있다.
한편, 이를 해결하기 위하여 바닥에 자기 테이프를 설치하고 자기 센서를 구비하여 자기 테이프를 따라 운행할 수 있는 무인차(AGV)가 개발되고 있다. 그러나 바닥에 설치된 자기 테이프의 경로의 곡률이 클 경우 무인차(AGV)가 운행하면서 자기 센서가 자기 테이프로부터 벗어나는 경우가 발생하고, 결과적으로 무인차(AGV)는 운행 경로를 인식하지 못하여 운행이 정지된다. 따라서 이러한 경우 무인차(AGV)는 경로가 일정하거나 단순한 물류 시스템에만 적용이 가능하고, 운행 경로가 복잡하거나 자주 변경되는 물류 시스템에는 적용되지 못하는 문제점이 있다.
다른 한편, 무인차(AGV)용 비전 시스템은 입력되는 전방 영상으로부터 차선 인식, 선행 차량의 위치 파악 및 충돌 회피 등의 무인 운전 기능을 구현하기 위해 다양하게 활용되고 있다. 특히 스테레오 비전 시스템은 한 쌍의 카메라 센서를 이용해 차량 전방에 대한 3차원 정보를 구할 수 있기 때문에, 활발하게 활용되고 있다. 스테레오 비전 시스템은 각기 다른 시점의 2대의 카메라로부터 촬영된 영상으로부터 대상 장면의 3차원 구조와 거리 정보를 해석할 수 있다.
그러나 스테레오 카메라 시스템에 의하면, 시차 맵(disparity map) 혹은 깊이 맵(depth map)을 구하는 과정에서 정확한 3차원 정보를 구하기 어렵고, 많은 계산 시간이 소요되며, 무엇보다도 비싸다는 문제점이 있다.
따라서 본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 모든 주행 경로에 설치되는 라인 형태(line-type)의 자기 테이프보다, 일정한 간격으로 마커를 설치하여 설치비용이 저감되는 무인차(AGV)의 시스템 및 운전 방법을 제공하는 것이다.
본 발명의 다른 목적은, 근거리에서만 인식되는 자기 테이프보다 원거리에서도 인식되는 컬러 마커를 사용하여 마커 추출이 용이한 무인차(AGV)의 시스템 및 운전 방법을 제공하는 것이다.
본 발명의 또 다른 목적은, 고가이면서도 처리 속도가 느린 스테레오 카메라를 사용하지 않고, 저가의 모노 카메라를 사용하여도 거리 정보 추출이 가능한 무인차(AGV)의 시스템 및 운전 방법을 제공하는 것이다.
전술한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명의 무인차의 마커 기반 무인 운행 시스템은 무인차의 일측에 설치되어, 원거리 영상 데이터를 생성하는 원거리 카메라 센서 모듈, 원거리 마커에 관한 학습 데이터가 저장되는 원거리 마커 메모리 모듈, 상기 원거리 영상 데이터로부터 원거리 마커의 후보군을 추출하고, 상기 원거리 마커 학습 데이터를 참조하여 상기 원거리 마커를 인식하는 원거리 마커 추출 모듈, 상기 무인차의 타측에 설치되어, 근거리 영상 데이터를 생성하는 근거리 카메라 센서 모듈, 근거리 마커에 관한 학습 데이터가 저장되는 근거리 마커 메모리 모듈, 및 상기 근거리 영상 데이터로부터 근거리 마커의 후보군을 추출하고, 상기 근거리 마커 학습 데이터를 참조하여 상기 근거리 마커를 인식하는 근거리 마커 추출 모듈을 포함한다.
본 발명의 다른 특징에 의하면, 본 발명의 무인차의 마커 기반 무인 운행 방법은, 원거리 카메라 센서 모듈을 이용하여 원거리 컬러 마커를 포함하는 영상 데이터의 수집 단계, 상기 원거리 컬러 마커 이외의 배경 영상 데이터 제거 단계, 상기 원거리 컬러 마커의 후보 군 추출 단계, 상기 원거리 컬러 마커의 HOG 특징 추출 단계, SVM 분류기를 이용하여 최종적인 원거리 컬러 마커의 패턴 형상 추출 단계, 근거리 카메라 센서 모듈을 이용하여 근거리 컬러 마커를 포함하는 영상 데이터의 수집 단계, 상기 근거리 컬러 마커 이외의 배경 영상 데이터 제거 단계, 상기 근거리 컬러 마커의 후보 군 추출 단계, 상기 근거리 컬러 마커의 HOG 특징 추출 단계, 및 SVM 분류기를 이용하여 최종적인 근거리 컬러 마커의 패턴 형상 추출 단계를 포함한다.
위에서 설명한 바와 같이, 본 발명의 구성에 의하면 다음과 같은 효과를 기대할 수 있다.
첫째, 무인차(AGV)가 이동하는 모든 경로에 부착되는 라인 대신에 컬러 마커를 일정한 지점에 소정 간격으로 설치함으로써, 라인 설치 및 변경 비용을 크게 줄일 수 있다.
둘째, 듀얼 카메라를 기반으로 하여 마커 인식을 하기 때문에, 싱글 카메라보다 무인차(AGV)의 정확한 운행이 가능하고, 무인차(AGV) 상호간의 교착 상태를 쉽게 확인할 수 있어, 무인차(AGV)간의 충돌 사고를 피할 수 있다.
셋째, 스테레오 카메라를 사용하지 않고 모노 USB 카메라를 사용하기 때문에, 비용이 싸고, 모노 카메라를 전방 및 하부에 듀얼로 설치함으로써 간단하게 거리 정보 및 각도 정보를 이용하여 자율적으로 운행할 수 있는 장점이 있다.
도 1은 본 발명에 의한 무인 운행 시스템을 포함하는 무인차의 구성을 나타내는 개념도.
도 2는 본 발명에 의한 무인차의 컬러 마커 기반 무인 운행 시스템의 구성을 나타내는 블록도.
도 3은 본 발명에 의한 무인차의 컬러 마커 기반 무인 운행 방법의 구성을 나타내는 순서도.
도 4는 본 발명에 의한 무인차의 컬러 마커 기반 무인 운행 방법의 사례를 나타내는 개념도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해 질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려 주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면에서 층 및 영역들의 크기 및 상대적인 크기는 설명의 명료성을 위해 과장된 것일 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 상기한 바와 같은 구성을 가지는 본 발명에 의한 무인차(AGV)의 컬러 마커 기반 무인 운전 시스템 및 방법의 바람직한 실시예를 첨부된 도면을 참고하여 상세하게 설명한다.
도 1 및 도 2를 참조하면, 본 발명에 의한 무인차(AGV)의 마커 기반 무인 운전 시스템(100)은, 무인차(AGV)의 전방을 향하도록 설치되어, 원거리 영상 데이터를 생성하는 원거리 카메라 센서 모듈(112), 원거리 마커(M2)에 관한 학습 데이터가 저장되는 원거리 마커 메모리 모듈(122), 상기 원거리 영상 데이터로부터 원거리 마커(M2)의 후보군을 추출하고, 상기 원거리 마커 학습 데이터를 참조하여 원거리 마커(M2)를 인식하는 원거리 마커 추출 모듈(132), 무인차(AGV)의 바닥을 향하도록 설치되어, 근거리 영상 데이터를 생성하는 근거리 카메라 센서 모듈(114), 근거리 마커(M4)에 관한 학습 데이터가 저장되는 근거리 마커 메모리 모듈(124), 및 상기 근거리 영상 데이터로부터 근거리 마커(M4)의 후보군을 추출하고, 상기 근거리 마커 학습 데이터를 참조하여 근거리 마커(M4)를 인식하는 근거리 마커 추출 모듈(134)을 포함할 수 있다.
본 발명의 무인차(AGV)의 무인 운전 시스템(100)은, 무인차(AGV) 및 원거리/근거리 마커(M2/M4)의 각도 정보를 추출하는 각도 정보 추출 모듈(140)을 더 포함하여, 무인차(AGV)의 경로 이탈을 방지할 수 있다.
본 발명의 무인차(AGV)의 무인 운전 시스템(100)은, 무인차(AGV) 및 근거리 마커(M4)의 거리 정보를 추출하는 거리 정보 추출 모듈(140)을 더 포함하여, 무인차(AGV)의 좌회전 시점, 우회전 시점, 및 정지 시점과 같은 운행 시점을 결정할 수 있다.
원거리 카메라 센서 모듈(112)은, 그 자체로 원거리 영상 데이터를 획득할 수 있도록 촬영 각도를 조절할 수 있거나, 혹은 상기 원거리 영상 데이터를 버드 아이 뷰(birds eye view)로 전환하는 전환 모듈(112a)을 더 포함할 수 있다.
원거리 마커(M2)와 근거리 마커(M4)는 상대적일 수 있다. 동일한 컬러 마커(color maker)가 원거리 카메라 센서 모듈(112)에 의하여 촬영되면 원거리 마커(M2)가 될 수 있고, 근거리 카메라 센서 모듈(114)에 의하여 촬영되면 근거리 마커(M4)가 될 수 있다. 혹은 원거리 마커(M2)와 근거리 마커(M4)를 컬러 혹은 패턴으로 구별하여, 레드(red) 혹은 블루(blue)와 같이 독립적으로 사용할 수 있다. 또한, 원거리 마커(M2)와 근거리 마커(M4)는, 경로의 바닥에 설치되거나 혹은 다른 무인차(AGV)에 설치될 수 있다.
이와 같이, 본 발명은 모노 카메라를 듀얼로 사용하는 듀얼 카메라 기반으로써, 경로의 바닥에 부착된 원거리 마커(M2)와 근거리 마커(M3) 또는 무인차(AGV)에 부착된 마커를 모두 인식하여 무인차(AGV)가 좌회전, 우회전, 정지, 혹은 교착 상태를 쉽게 확인할 수 있게 한다.
상기 컬러 마커(M2, M4)는, 패턴을 통하여 식별력을 가질 수 있다. 가령, 마커(M2, M4)의 패턴 정보는, 무인차(AGV)의 좌회전, 우회전, 및 정지의 식별 표지를 포함할 수 있다.
이하, 본 발명에 의한 무인차(AGV)의 컬러 마커 기반 무인 운전 방법을 도면을 참조하여 자세히 설명한다.
도 3을 참조하면, 본 발명의 무인차(AGV)의 컬러 마커 기반 무인 운전 방법은, 컬러 마커(M2, M4)를 포함하는 영상 데이터를 수집하는 단계, 컬러 정보를 이용하여 상기 영상 데이터에서 상기 컬러 마커(M2, M4)를 제외한 배경을 제거하는 단계, 노이즈를 제거하는 단계, 이진화를 통하여 상기 컬러 마커(M2, M4)의 에지를 부각시켜, 컬러 마커(M2, M4)의 후보군을 추출하는 단계, HOG 정보를 이용하여 컬러 마커(M2, M4)의 특징을 추출하는 단계, 컬러 마커(M2, M4)의 특징을 분류기를 이용하여 컬러 마커(M2, M4)의 유사도를 검출하는 단계, 및 상기 유사도 검출을 통해 컬러 마커(M2, M4)의 존재 여부 및 상기 마커의 패턴 정보를 최종적으로 확정하는 단계를 포함할 수 있다.
이를 도면을 참조하여 더 구체적으로 설명한다.
① 영상을 수집한다(S10).
원거리 및 근거리 카메라 센서 모듈(112, 114)은, 자동 초점 조절 기능을 가지고, 적외선 촬영이 가능하다. 카메라 센서는, CCD 혹은 CMOS와 같은 영상 센서를 포함할 수 있다. 카메라 센서는, 정지 영상 및/혹은 동 영상을 모두 처리할 수 있다. 카메라 센서는 무인 운행 차량의 전방에 설치될 수 있다. 혹은 바닥에 설치될 수 있다.
② 원거리를 보는 카메라를 위에서 보는 것과 같이 버드 아이(bird eyes) 영상으로 변환한다(S12).
원거리 카메라의 경우 USB 카메라를 이용하여 버드 아아 뷰(bird eye view) 기능을 제공함으로써, 원거리 마커(M2)를 촬영할 수 있도록 한다.
③ 컬러 정보를 통해 배경제거를 한다(S20).
마커 정보는 각 프레임 간의 움직임이 전혀 없는 정지 영상이기 때문에, 마커를 특정 컬러로 형성하게 되면, 컬러 정보를 이용하여 바닥에 설치되는 마커를 쉽게 인식할 수 있다. 운행 중인 무인차(AGV)의 경우에도 일정한 속도로 예측 가능하게 운행되기 때문에, 실질적으로 정지 영상과 같이 무인차(AGV)에 부착된 마커를 용이하게 확인할 수 있다.
영상에서 마커는 특정 컬러(maker color)로 표시되고, 나머지는 배경 컬러(maker-background color)로 구분됨으로써, 영상은 마커(M2, M4)와 마커 이외의 배경만을 포함하게 되고, 배경은 마커 컬러 이외의 컬러로 단일화 되어 용이하게 제거될 수 있다. 이때, 컬러 마커와 동일한 컬러의 영상 데이터가 일부 제거되지 않고 남을 수 있다.
④ 중간값 필터(median filter)를 사용하여 노이즈를 제거한다(S30).
노이즈는, 중간값 필터 또는 형태 처리(morphology processing)를 통해 최소화될 수 있다. 그 밖에 가우시안 필터(gaussian filter) 혹은 블러링 필터(blurring filter)를 이용할 수 있다.
⑤ 영상 이진화하여 에지(edge) 정보를 두드러지게 한다(S40).
컬러 마커(M2, M4)에 대하여 에지(edge)를 검출하고, 에지의 평균 그레이 레벨과 표준 편차를 산출하여 스레스홀드 레벨(threshold level)을 결정하고, 이진화를 수행한다.
⑥ 후보군인 마커(marker)들을 추출한다(S50).
전술한 과정을 통하여 관심 영역인 마커(M2, M4)를 추출한다. 전술한 영상 이진법을 이용하여 오브젝트의 에지 정보로부터 마커(M2, M4)의 윤곽 정보가 추출된다. 이하, 마커의 윤곽 정보로부터 마커의 패턴 정보를 획득할 수 있다.
⑦ HOG를 사용하여 특징을 추출한다(S60).
컬러 마커(M2, M4)에 대하여 외부 형상에 관한 정보를 인식하기 위하여, HOG(histogram of oriented gradient)를 이용할 수 있다. 영상 데이터로부터 마커를 추출하기 위하여 여러 단계의 영상 처리 과정을 거치게 되는데, 본 발명은 일정한 규칙을 가지고 패턴화 되어 있는 마커를 추출하기 위하여, 패턴 마커를 추출하는 HOG 정보를 이용할 수 있다.
마커 특징을 추출하는 방식에는 HOG 외에도 하르(Haar) 방식이 이용될 수 있다. 다만, HOG 방식으로 특징 벡터를 이용하여 마커를 추출할 때, 마커의 패턴 인식 성공률이 비교적 높다.
⑧ 사전에 수집된 포지티브/네거티브 데이터(positive/negative data)를 통해 학습(training)시킨 SVM을 사용하여 마커를 구분하여 직진, 좌회전, 우회전, 정지, 및 교착상태를 파악한다(S70).
전술한 HOG 정보를 통하여 추출된 마커는 SVM(Support Vector Machine: SVM) 분류기를 통하여 마커 유사도를 검출할 수 있다. 가령 SVM은 벡터의 분포를 학습하고, 학습 과정에서 획득된 확률 분포에 근거하여 마커 자체 혹은 마커 패턴에 관한 의사 결정이 이루어진다.
한편, 영상 촬영 이전에 마커에 대한 포지티브 데이터(positive data)와 네거티브 데이터(negative data)를 통하여 학습 데이터를 추출하고, 마커 정보에 관한 HOG 특징을 추출하며, SVM을 이용하여 학습 데이터를 메모리 모듈(122, 124)에 저장하여 둔다(S72).
따라서 기 저장된 학습 데이터와 마커 촬영 영상의 영상 처리를 통하여 획득된 HOG 특징을 비교하여 마커 여부 및 마커 패턴에 관한 정보를 인식할 수 있다.
마커 후보군 중에서 SVM 분류기를 사용하게 되면, 최종적으로 마커 여부 및 마커 패턴의 정보를 확정할 수 있다. 이때, SVM은 마커 패턴을 인식하거나 분석하는데 이용될 수 있다.
본 발명에서는 SVM 기계 학습 알고리즘 외에도 리얼 아다부스트(ADABOOST) 알고리즘을 이용하여 마커의 특징을 추출할 수 있다.
⑨ 무인차(AGV)의 보다 정확한 운행을 위해 무인차(AGV)와 마커(marker)간의 거리, 각도 정보를 추출한다(S80).
이와 같이, 원거리 카메라 센서 모듈(112)을 이용하여 원거리 컬러 마커(M2)를 포함하는 영상 데이터를 수집하고, 원거리 컬러 마커(M2) 이외의 배경 영상 데이터를 제거한 다음, 원거리 컬러 마커(M2)의 후보군을 1차로 추출하며, 원거리 컬러 마커(M2)의 HOG 특징을 추출하면, SVM 분류기를 이용하여 최종적인 원거리 컬러 마커(M2)의 패턴 형상을 추출할 수 있다.
또한, 근거리 카메라 센서 모듈(114)을 이용하여 근거리 컬러 마커(M4)를 포함하는 영상 데이터를 수집하고, 근거리 컬러 마커(M4) 이외의 배경 영상 데이터를 제거한 다음, 근거리 컬러 마커(M4)의 후보군을 1차로 추출하며, 근거리 컬러 마커(M4)의 HOG 특징을 추출하고, SVM 분류기를 이용하여 최종적인 근거리 컬러 마커(M4)의 패턴 형상을 추출할 수 있다.
원거리 컬러 마커(M2)와 근거리 컬러 마커(M4)가 인식되면, 이를 활용하여 무인차(AGV)를 다음과 같이 운행할 수 있다.
각도 정보 추출 모듈(140)은, 무인차(AGV)와 원거리/근거리 마커(M2/M4)의 각도 정보를 이용하여 무인차(AGV)의 경로 이탈을 방지할 수 있다. 영상 데이터에서 추출된 원거리/근거리 마커(M2/M4)가 좌우 중심을 벗어나면, 무인차(AGV)가 예상 경로를 벗어나는 것으로 판단하여, 좌우로 무인차(AGV)의 조향 방향을 조절한다. 가령, 원거리/근거리 마커(M2/M4)가 영상 데이터에서 중심의 좌측에 위치하면, 무인차(AGV)가 경로를 이탈하여 좌측으로 조향되고 있다고 판단하여, 무인차(AGV)의 조향을 그 반대 방향인 우측으로 변경할 수 있다.
거리 정보 추출 모듈(140)은, 무인차(AGV)와 근거리 마커(M4)의 거리 정보를 이용하여, 운행 시점을 결정할 수 있다. 추출된 원거리 마커(M4)를 이용하여 좌회전 운행, 우회전 운행, 및 정지 운행이 결정되면, 추출된 근거리 마커(M4)를 이용하여 좌회전 시점, 우회전 시점, 및 정지 시점을 결정할 수 있다. 가령, 무인차(AGV)의 앞바퀴와 근거리 카메라 센서 모듈(114) 사이의 거리가 50cm라고 가정할 때, 근거리 카메라 센서 모듈(114)에 의하여 근거리 마커(M4)가 인식되고 50cm를 더 진행한 후에 좌회전 혹은 우회전을 결정할 수 있도록 설계될 수 있다.
도 4를 참조하면, 추출된 원거리 마커(M2)를 이용하여 좌회전 운행이 결정되면, 도 4의 (a)와 같이 추출된 근거리 마커(M4)가 영상 데이터의 중심을 통과한 시점에서, 도 4의 (b)와 같이 50cm를 더 진행한 후 좌회전 되도록 결정할 수 있기 때문에, 별도로 고가의 스테레오 카메라를 이용하여 거리를 측정하지 않아도 저가의 모노 카메라 2대를 이용하여 거리 측정이 가능한 장점이 있다.
이상에서 살펴본 바와 같이, 본 발명은 컬러 정보를 이용하여 마커 이외의 배경 영상을 제거하고, 마커 특징 추출 방식으로 HOG를 이용하며, 마커 패턴 인식 방식으로 SVM 분류기를 이용하는 마커 인식 알고리즘에 관한 것이고, 이를 활용하여 무인 자율 주행하는 구성을 기술적 사상으로 하고 있음을 알 수 있다. 이와 같은 본 발명의 기본적인 기술적 사상의 범주 내에서, 당업계의 통상의 지식을 가진 자에게 있어서는 다른 많은 변형이 가능할 것이다.
AGV: 무인차 100: 무인 운전 시스템
112: 원거리 카메라 센서 모듈 112a: 버드 아이 뷰 전환 모듈
114: 근거리 카메라 센서 모듈 122: 원거리 마커 메모리 모듈
124: 근거리 마커 메모리 모듈 132: 원거리 마커 추출 모듈
134: 근거리 마커 추출 모듈
140: 각도 정보 및 거리 정보 추출 모듈

Claims (10)

  1. 무인차의 일측에 설치되어, 원거리 영상 데이터를 생성하는 원거리 카메라 센서 모듈;
    원거리 마커에 관한 학습 데이터가 저장되는 원거리 마커 메모리 모듈;
    상기 원거리 영상 데이터로부터 원거리 마커의 후보군을 추출하고, 상기 원거리 마커 학습 데이터를 참조하여 상기 원거리 마커를 인식하는 원거리 마커 추출 모듈;
    상기 무인차의 타측에 설치되어, 근거리 영상 데이터를 생성하는 근거리 카메라 센서 모듈;
    근거리 마커에 관한 학습 데이터가 저장되는 근거리 마커 메모리 모듈;
    상기 근거리 영상 데이터로부터 근거리 마커의 후보군을 추출하고, 상기 근거리 마커 학습 데이터를 참조하여 상기 근거리 마커를 인식하는 근거리 마커 추출 모듈; 및
    상기 무인차 및 상기 원거리/근거리 마커의 각도 정보를 추출하는 각도 정보 추출 모듈; 을 포함하는 것을 특징으로 하는 무인차의 마커 기반 무인 운전 시스템.
  2. 제 1 항에 있어서,
    상기 원거리 카메라 센서 모듈 및 상기 근거리 카메라 센서 모듈은, 각각 모노 카메라이고, 상기 원거리 카메라 센서 모듈은, 상기 원거리 영상 데이터를 버드 아이 뷰(birds eye view)로 전환하는 전환 모듈을 더 포함하는 것을 특징으로 하는 무인차의 마커 기반 무인 운전 시스템.
  3. 제 1 항에 있어서,
    상기 원거리 카메라 센서 모듈은, 상기 무인차의 전방을 향하도록 설치되고,
    상기 근거리 카메라 센서 모듈은, 상기 무인차의 바닥을 향하도록 설치되는 것을 특징으로 하는 무인차의 마커 기반 무인 운전 시스템.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 무인차 및 상기 근거리 마커의 거리 정보를 추출하는 거리 정보 추출 모듈을 더 포함하는 것을 특징으로 하는 무인차의 마커 기반 무인 운전 시스템.
  6. 삭제
  7. 원거리 카메라 센서 모듈을 이용하여 원거리 컬러 마커를 포함하는 영상 데이터의 수집 단계;
    상기 원거리 컬러 마커 이외의 배경 영상 데이터 제거 단계;
    상기 원거리 컬러 마커의 후보 군 추출 단계;
    상기 원거리 컬러 마커의 HOG 특징 추출 단계;
    SVM 분류기를 이용하여 최종적인 원거리 컬러 마커의 패턴 형상 추출 단계;
    근거리 카메라 센서 모듈을 이용하여 근거리 컬러 마커를 포함하는 영상 데이터의 수집 단계;
    상기 근거리 컬러 마커 이외의 배경 영상 데이터 제거 단계;
    상기 근거리 컬러 마커의 후보 군 추출 단계;
    상기 근거리 컬러 마커의 HOG 특징 추출 단계;
    SVM 분류기를 이용하여 최종적인 근거리 컬러 마커의 패턴 형상 추출 단계; 및
    무인차와 상기 근거리 마커의 각도 정보를 이용하여, 상기 무인차의 경로 이탈을 방지하는 단계; 를 포함하여 구성됨을 특징으로 하는 무인차의 마커 기반 무인 운전 방법.
  8. 제 7 항에 있어서,
    상기 원거리 컬러 마커를 포함하는 영상 데이터를 버드 아이 뷰 영상으로 전환하는 단계를 더 포함하여 구성됨을 특징으로 하는 무인차의 마커 기반 무인 운전 방법.
  9. 삭제
  10. 제 7 항에 있어서,
    상기 무인차와 상기 근거리 마커의 거리 정보를 이용하여, 상기 무인차의 운행 시점을 결정하는 단계를 포함하고, 상기 운행 시점은 좌회전 시점, 우회전 시점, 및 정지 시점을 포함하는 것을 특징으로 하는 무인차의 마커 기반 무인 운전 방법.
KR1020130048727A 2013-04-30 2013-04-30 듀얼 카메라를 포함하는 무인차의 컬러 마커 기반 무인 운전 시스템 및 그 방법 KR101461316B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130048727A KR101461316B1 (ko) 2013-04-30 2013-04-30 듀얼 카메라를 포함하는 무인차의 컬러 마커 기반 무인 운전 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130048727A KR101461316B1 (ko) 2013-04-30 2013-04-30 듀얼 카메라를 포함하는 무인차의 컬러 마커 기반 무인 운전 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140130337A KR20140130337A (ko) 2014-11-10
KR101461316B1 true KR101461316B1 (ko) 2014-11-13

Family

ID=52290273

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130048727A KR101461316B1 (ko) 2013-04-30 2013-04-30 듀얼 카메라를 포함하는 무인차의 컬러 마커 기반 무인 운전 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101461316B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230027659A (ko) 2021-08-19 2023-02-28 한국로봇융합연구원 인공 마커 및 인공 마커 인식 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108398881B (zh) * 2018-02-06 2021-02-19 南京信息工程大学 一种基于记忆免疫学的多个飞行器飞行控制方法
KR102219906B1 (ko) * 2018-12-20 2021-02-24 한동대학교 산학협력단 기계학습을 위한 학습데이터 자동 생성 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002268746A (ja) * 2001-03-12 2002-09-20 Canon Inc 移動式ロボット装置、移動式ロボット装置の自己充電方法、及び制御プログラムを提供する媒体
KR100901311B1 (ko) * 2009-03-13 2009-06-05 국방과학연구소 자율이동 플랫폼
KR20130032856A (ko) * 2011-09-23 2013-04-02 광주과학기술원 영상 감시 장치 및 영상 감시 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002268746A (ja) * 2001-03-12 2002-09-20 Canon Inc 移動式ロボット装置、移動式ロボット装置の自己充電方法、及び制御プログラムを提供する媒体
KR100901311B1 (ko) * 2009-03-13 2009-06-05 국방과학연구소 자율이동 플랫폼
KR20130032856A (ko) * 2011-09-23 2013-04-02 광주과학기술원 영상 감시 장치 및 영상 감시 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230027659A (ko) 2021-08-19 2023-02-28 한국로봇융합연구원 인공 마커 및 인공 마커 인식 시스템

Also Published As

Publication number Publication date
KR20140130337A (ko) 2014-11-10

Similar Documents

Publication Publication Date Title
WO2019116958A1 (ja) 車載環境認識装置
WO2018058356A1 (zh) 基于双目立体视觉的汽车防碰撞预警方法和系统
US10129521B2 (en) Depth sensing method and system for autonomous vehicles
US9121717B1 (en) Collision avoidance for vehicle control
US11024051B2 (en) Object detection device
US10803605B2 (en) Vehicle exterior environment recognition apparatus
JP5999127B2 (ja) 画像処理装置
JP5561064B2 (ja) 車両用対象物認識装置
JP6087858B2 (ja) 走行区画線認識装置及び走行区画線認識プログラム
US10108866B2 (en) Method and system for robust curb and bump detection from front or rear monocular cameras
CN111931547B (zh) 行车车线识别装置、行车车线识别方法以及计算机存储介质
US20200302192A1 (en) Outside recognition apparatus for vehicle
JP2020067698A (ja) 区画線検出装置及び区画線検出方法
Javadi et al. A robust vision-based lane boundaries detection approach for intelligent vehicles
KR101720649B1 (ko) 자동주차 방법 및 시스템
JP6572696B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
KR101461316B1 (ko) 듀얼 카메라를 포함하는 무인차의 컬러 마커 기반 무인 운전 시스템 및 그 방법
JP2015210608A (ja) 道路環境認識装置
CN110211172B (zh) 立体图像中的快速地平面区分
US11054245B2 (en) Image processing apparatus, device control system, imaging apparatus, image processing method, and recording medium
CN108944926B (zh) 车外环境识别装置
JP5345999B2 (ja) レーンマーク認識装置
KR101595317B1 (ko) 차량의 정밀 측위를 위한 노면 표시 검출 방법 및 그 시스템
US10810757B2 (en) Vehicle exterior environment recognition apparatus
KR20140087622A (ko) 촬영 영상의 휘도를 이용한 차선 추출 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171106

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181105

Year of fee payment: 5