KR101163453B1 - 레이저 센서와 비전 센서를 이용한 물체거리 측정방법 - Google Patents

Abstract

비전 센서를 이용하여 3차원의 특정 공간을 2차원의 영상정보로 변환하고 이 영상정보에서 대상물체를 분류한 후, 다시 레이저 센서를 이용하여 이 대상물체를 정확히 포커싱한 다음 대상물체까지의 거리를 측정하는 레이저 센서와 비전 센서를 이용한 물체거리 측정방법이 소개된다.
상기한 방법은 비전 센서(100)를 이용하여 특정 공간(10)을 촬영한 후 이를 2차원의 영상 정보(20)로 변환하여 획득하는 단계; 획득된 영상 정보(20)의 전체 픽셀수를 측정하여 가로방향 픽셀(pixel)수는 X로 정의하고 세로방향 픽셀수는 Y로 정의하는 단계; 영상 정보(20)에서 거리측정이 필요한 대상물체(1)를 분류하는 단계; 분류된 대상물체(1) 정보에서 대상물체(1)의 중심 픽셀값(x,y)을 추출하고, 이때 추출된 중심 픽셀값을 기반으로 레이저 센서(200)의 좌우방향 및 상하방향에 대한 회전각도인 (P,T)를 획득하는 단계; 레이저 센서(200)가 대상물체(1)를 향해 회전되도록 획득된 P, T각도만큼 레이저 센서(200)의 각 회전구동용 모터를 구동하는 단계; 레이저 센서(200)로부터 방출된 레이저가 대상물체(1)에 반사돼서 들어오는 시간을 계산하여 대상물체(1)까지의 거리를 측정하는 단계;를 포함한다.

Description

레이저 센서와 비전 센서를 이용한 물체거리 측정방법{MEASURING METHOD OF DISTANCE FROM OBJECT USING LASER SENSOR AND VISION SENSOR}

본 발명은 비전 센서를 이용하여 3차원의 특정 공간을 2차원의 영상정보로 변환하고 이 영상정보에서 대상물체를 분류한 후, 다시 레이저 센서를 이용하여 이 대상물체를 정확히 포커싱한 다음 대상물체까지의 거리를 측정하는 레이저 센서와 비전 센서를 이용한 물체거리 측정방법에 관한 것이다.

자동차 산업은 첨단 기술의 발달에 힘입어 첨단 전략 산업으로 발전하고 있으며 국가 경제에 미치는 비중이 매우 큰 산업분야인 바, 최근 자동차 산업은 종래의 기계 중심적 형태에서 벗어나 전자 기술과 접목되면서 고도의 지능형 안전차량 또는 무인 주행 차량으로 개발 방향이 바뀌는 추세이다.

자동차 개발 중 자동차의 성능이나 내구성 등은 무인 차량을 통해 시험하거나, 완성차 출시 후 원격으로 무인자동차를 제어하기 위해 사용자가 무인 자동차로부터 전송된 영상을 눈으로 보고 무인 자동차를 제어할 수 있는 제어 시스템이 마련되어야 한다.

무인 차량이 주행 시에 돌발적인 장애물 출현 및 속도 제어가 필요한 경우에는 사용자가 무인 자동차의 제어를 위해 원격으로 제어되는 무인 차량에 필요한 명령어를 전송하는 것이 필요하다.

따라서, 무인 자동차의 주변 영상 정보가 가능한 빨리 원격 제어기에 도달하여 사용자로 하여금 적절한 명령을 내리기까지 소요되는 지연 시간을 최대한 줄이는 방법이 필요하다.

이와 같이 무인 자동차를 제어하기 위해서는 주변에 있는 차량과의 거리를 측정하는 것이 무엇보다 중요한데, 종래에는 레이저스캐너를 사용하여 주변 차량과의 거리를 측정하였으나, 종래 레이저스캐너에 의한 거리측정방식은 레이저스캐너가 주변 차량만을 인식할 수 없기 때문에 주위에 있는 모든 물체(예를 들면 빌딩이나 도로 표지판)까지의 거리를 측정하게 되는바, 이에 따라 필요하지 않은 정보까지 입력되어 정보 프로세싱 과정이 복잡하며 사용자가 별도의 필터링 과정을 통해 필요한 정보를 선정해야 하며, 레이저스캐너의 부피가 크고 가격이 매우 고가여서, 현실적으로 무인 자동차에 적용하기 어려운 문제점이 있다.

본 발명은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 그 목적은 부피가 크고 고가이며 데이터 처리 과정이 복잡한 레이저스캐너를 사용하지 않고도 비전 센서를 통해 주변 차량과 같은 대상물체만을 별도로 분류한 후 레이저 센서를 통해 그 대상물체까지의 거리를 간단하게 측정할 수 있도록 함으로써 저가의 비용으로 대상물체까지의 거리를 정밀하게 측정할 수 있도록 함에 있다.

상술한 바와 같은 목적을 해결하기 위하여 본 발명은,

비전 센서를 이용하여 특정 공간을 촬영한 후 이를 2차원의 영상정보로 변환하여 획득하는 단계;

획득된 영상정보의 전체 픽셀수를 측정하여 가로방향 픽셀(pixel)수는 X로 정의하고 세로방향 픽셀수는 Y로 정의하는 단계;

영상정보에서 거리측정이 필요한 대상물체를 분류하는 단계;

분류된 대상물체 정보에서 대상물체의 중심 픽셀값(x,y)을 추출하고, 이때 추출된 중심 픽셀값을 기반으로 레이저 센서의 좌우방향 및 상하방향에 대한 회전각도인 (P,T)를 획득하는 단계;

레이저 센서가 대상물체를 향해 회전되도록 획득된 P, T각도만큼 레이저 센서의 각 회전구동용 모터를 구동하는 단계;

레이저 센서로부터 방출된 레이저가 대상물체에 반사돼서 들어오는 시간을 계산하여 대상물체까지의 거리를 측정하는 단계;를 포함하는 레이저 센서와 비전 센서를 이용한 물체거리 측정방법을 제공한다.

여기서 상기 비전 센서가 특정 공간 촬영시 시야범위(Field of View)에 대한 수평 및 수직성분의 실제거리를 (a, b)로 정의할 때, 상기 대상물체를 향해 회전되어야 할 레이저 센서의 회전각도는 "(P, T) = (ax/X, by/Y)"의 식에 의해 구해지는 것을 특징으로 한다.

또한 상기 대상물체가 두개 이상인 경우 위 식에 의해 하나의 대상물체에 대한 레이저 센서의 회전각도를 산출하고 거리를 측정한 후, 다음 대상물체에 대한 레이저 센서의 회전각도를 산출하여 거리를 측정하는 방법을 차례대로 수행하여 각 대상물체까지의 거리를 측정하는 것을 특징으로 한다.

바람직하게는 상기 비전 센서의 렌즈초점이 이루는 면과 레이저 센서의 회전 중심은 동일면에 존재하는 것을 특징으로 한다.

또한 상기 대상물체가 차량인 경우, 획득된 영상정보에서 차량 형상에 해당하는 형상정보를 대상물체로 선정하는 것을 특징으로 한다.

본 발명에 의하면, 비전센서를 통해 3차원의 특정공간을 2차원의 영상정보로 변환하고 여기서 대상물체의 위치를 별도로 추출한 후, 레이저 센서의 포커스가 대상물체와 일치되도록 회전시키고 대상물체까지의 거리를 측정하는 바, 이에 따라 저가의 레이저센서를 이용하여 대상물체에 대한 거리정보만을 보다 정밀하게 측정할 수 있는 장점이 있다.

도1은 본 발명에 따른 순서도,
도2 내지 도6은 본 발명의 이해를 돕기 위한 참고도.
도7은 레이저센서와 비전센서의 거리를 최소화하기 위하여 상호 일체화된 구조를 나타낸 예시도.

이하, 본 발명의 바람직한 실시예를 첨부된 도면에 의거하여 상세하게 설명한다.

도1의 순서도와, 도2 내지 도6을 참조하여 본 발명에 따른 레이저 센서와 비전 센서를 이용한 물체거리 측정방법에 대하여 설명하면 먼저, 거리측정이 필요한 대상물체(1)가 존재하는 특정 공간(10)을 비전 센서(100)를 이용하여 촬영한다.

여기서, 대상물체(1)란 본 발명의 레이저 센서(200)로부터 거리 측정이 필요한 물체를 말하는 것으로 1개 또는 2개 이상이 될 수 있으며 이러한 대상물체(1)가 존재하는 특정 공간(10)은 3차원이 되는바, 상기 비전 센서(100)는 3차원의 특정 공간(10)을 연속적으로 촬영할 수 있는 일종의 카메라이다.

예를 들어, 본 발명이 무인 자동차에 적용되는 경우 무인 자동차가 주행하기 위해서는 주변에 있는 다른 자동차를 인식하여 그들과의 거리가 측정되어야 하는바, 여기에서 대상물체(1)란 주변에 있는 다른 자동차를 말하고 특정 공간이란 이같은 다른 자동차가 존재하는 도로나 기타 공간으로서 비전 센서(100)에 의해 촬영되어질 3차원의 공간을 말한다.

물론, 본 발명이 반드시 무인 자동차에 적용되어야 하는 것은 아니고 방범/보안 장비나 자동초점 카메라에도 적용 가능하기 때문에 이때의 대상물체(1)와 특정 공간은 달라질 수 있지만, 이는 대상물체(1)를 분류하기 위해 서버에 입력될 각종 정보만 변경 설정하면 된다. 설명의 편의상 이하에서는 무인 자동차 시스템을 예로 들어 설명한다.

도2를 참조해 보면 촬영 대상이 되는 특정 공간(10)은 가로, 세로, 높이를 갖는 3차원으로, 이 3차원의 공간은 사람들이 실질적으로 생활하는 모든 주변 환경이 될 수 있는바 자동차가 주행하는 도로 역시 비전 센서(100)로 촬영하게 되면 비전 센서(100)의 시야범위(Field of View)에 들어오는 것은 도2와 같이 특정 공간(10)으로 구획된 3차원 공간이다.

이러한 특정 공간(10)에는 여러 가지 다양한 피사체, 예를 들어 건물이나 육교 나무, 교통표지판, 다양한 형태의 자동차 등이 존재하지만 무인 자동차의 경우를 상정한다면 거리측정이 필요한 대상물체(1)는 무인 자동차 주변을 주행하고 있는 다른 자동차들이므로 이를 거리측정이 불필요한 비대상물체(건물, 육교, 나무 등)와 별도로 분류해야 한다.

따라서, 도2에서는 거리측정이 불필요한 비대상물체는 무시하고 본 발명의 대상물체(1)에 해당하는 것을 도면상 편의를 위하여 원기둥과 육면체로 나타낸다. 참고로, 상기 원기둥과 육면체는 주위에서 주행하고 있는 서로 다른 형상의 자동차를 뜻하는 것으로 예컨대 원기둥은 승용차로, 육면체는 트럭으로 이해하면 좋을 것이다.

도2와 같이 대상물체(1)가 존재하는 특정 공간(10)이 특정되고 나면, 도3과 같이 비전 센서(100)가 특정 공간(10)을 촬영한 후 이를 도4에 나타낸 바와 같이 2차원의 영상 정보(20)로 변환하여 획득하게 된다.

즉, 비전 센서(100)는 3차원으로 이루어진 특정 공간(10)의 풍경과 대상물체(1) 및 비대상물체를 촬영하여 약 30Hz 이상의 영상 정보로 저장하고 서버로 전송한다.

도4에서 보듯이, 비전 센서(100)를 통해 획득된 영상 정보(20)는 가로와 세로만 존재하는 2차원 정보이며, 대상물체(1)는 2차원 평면에 투영되어 거리정보는 사라지게 된다.

한편, 서버는 상기 비전 센서(100)로부터 획득한 영상 정보(20)의 전체 픽셀(pixel)수를 측정하는데, 이때 전체 픽셀수는 도4에 나타낸 바와 같이 가로방향 픽셀수와 세로방향 픽셀수로 구분되어 측정되는바, 설명의 편의상 가로방향 픽셀수는 X로 정의하고 세로방향 픽셀수는 Y로 정의한다.

또한 서버는 도3에 나타낸 바와 같이 비전센서(100)의 시야범위에 들어 온 특정 공간(10)의 실제 크기를 판단하기 위해 특정 공간(10) 촬영시 비전 센서(100)의 시야범위에 대한 수평성분 및 수직성분의 실제거리를 측정하는데 이때 시야범위에 대한 수평성분의 실제거리를 a로 정의하고 수직성분의 실제거리를 b로 정의한다.

여기서 시야범위에 대한 수평, 수직성분의 실제거리는 상기 수평, 수직성분의 길이에 축척(배율)을 곱하여 산출될 수 있는바, 예를 들어 시야범위의 수평성분의 길이가 10cm이고 축척이 1:100이라고 가정한다면 비전 센서(100)에 의해 촬영되어진 수평성분의 실제거리는 10m(즉, 1000cm)가 되는 것이다.

한편, 상기 서버는 비전 센서(100)로부터 획득한 도4와 같은 영상 정보(20)에서 비대상물체는 무시하고 도5와 같이 거리측정이 필요한 대상물체(1)만을 분류하여야 하는바, 대상물체(1)를 분류하기 위하여 서버에는 대상물체(1)를 구분하기 위한 각종의 형상정보나 색상정보, 에지(테두리)정보 등이 입력되고 이를 대상물체(1)와 비교함으로써 대상물체(1)가 구분될 수 있다. 어떤 특정한 대상물체(1)를 영상 정보(20)로부터 분류하는 방법은 일반적으로 널리 알려진 공지기술에 해당하므로 여기에서 자세한 설명은 생략한다.

다만, 본 발명이 무인 자동차에 적용되는 경우 대상물체(1)는 주위의 차량이 될 것이므로, 상기 서버에는 색상정보 및 에지정보와 함께 차량에 대한 형상정보가 입력되는 것이 바람직하고, 차량도 차종에 따라 그 형상이 몇 개로 구분되므로 다양한 형상의 차량 정보가 입력되는 것이 좋다.

따라서, 서버는 미리 입력되어 있는 차량의 형상정보와 획득한 영상 정보(20)를 비교해서 차량 형상에 해당하는 형상정보만을 대상물체(1)로 선정하게 되는바, 서버에 원기둥과 육면체의 형상정보가 입력되어 있는 경우 도4로부터 획득한 영상 정보(20)로부터 형상이 서로 일치하는 원기둥 및 육면체만을 대상물체(1)로 선정하여 비대상물체와 구분하게 된다. 참고로, 원기둥은 도면의 편의상 승용차 형상을 대신하는 것이고 육면체는 트럭의 형상을 대신하는 것이다.

이와 같이 대상물체(1)가 분류되면 서버는 대상물체(1) 정보에서 대상물체(1)의 중심 픽셀값(x, y)을 추출하고, 이때 추출된 중심 픽셀값을 기반으로 레이저 센서(200)의 포커스를 대상물체(1)로 맞춘 후 레이저를 방출하여 대상물체(1)까지의 거리를 측정한다.

상기 대상물체(1)의 중심 픽셀값(x, y)은 앞 단계에서 획득된 영상 정보(20)의 전체 픽셀수를 알고 있기 때문에 대상물체(1)가 위치하는 지점에 대한 픽셀값도 알 수 있는 바 이를 좌표 형태로 표현할 수 있다.

도5에 예시된 바에 의하면, 제1대상물체(1)인 원기둥의 픽셀값은 (x1, y1)으로 하고, 제2대상물체(1)인 육면체의 픽셀값은 (x2, y2)로 한다.

이와 같이 대상물체(1)의 픽셀값이 추출되면 서버는 이를 기반으로 레이저 센서(200)의 포커스를 해당 대상물체(1)에 맞추기 위해 레이저 센서(200)의 좌우방향 및 상하방향에 대한 각각의 회전각도를 산출하게 되는바, 도6에 도시된 바와 같이 레이저 센서(200)의 좌우방향에 대한 회전각도를 설명의 편의상 P라고 정의하고 상하방향에 대한 회전각도를 T라고 정의하여, 실질적으로 레이저 센서(200)가 회전되어야 할 각도(P, T)를 획득한다.

여기서, 대상물체(1)를 향해 회전되어야 할 레이저 센서(200)의 회전각도 중 좌우방향 회전각도 P는 위에서 정의된 X(가로방향 전체픽셀수), a(시야범위에 대한 수평성분의 실제거리), x(대상물체(1) 중심점의 가로방향 픽셀값)와의 관계에서 산출되고 상하방향 회전각도 T는 위에서 정의된 Y(세로방향 전체픽셀수), b(시야범위에 대한 수직성분의 실제거리), y(대상물체(1) 중심점의 세로방향 픽셀값)와의 관계에서 산출되는바, 이를 정리하면 아래 식과 같다.

(P, T) = (ax/X, by/Y)

여기서, 바람직하게는 비전 센서(100)의 렌즈 초점이 이루는 면과 레이저 센서(200)의 회전중심은 동일면에 존재하면서 도7에 나타낸 바와 같이 렌즈 초점으로부터 레이저 센서의 회전중심까지의 거리(d)가 작을수록 회전각도 및 거리의 정밀도가 높아질 수 있어 좋다. 이때 상기 "렌즈 초점이 이루는 면"이란 초점을 포함하는 면 중에서 상기 렌즈의 중심면과 평행하는 면을 의미한다.

그리고, 상기 렌즈초점과 레이저 센서의 회전 중심과의 거리(d)는 렌즈초점으로부터 대상물체까지의 거리에 비해 매우 작다고 가정한다.

레이저 센서(200)의 회전각도 (P, T)가 구해지면 서버는 레이저 센서(200)가 대상물체(1)를 향해 회전되도록 획득된 (P, T) 각도만큼 레이저 센서(200)를 회전시켜 레이저 센서(200)의 포커스가 해당 대상물체(1)와 일치하도록 하는데, 이때 서버는 레이저 센서(200)를 좌우방향으로 회전시킬 수 있는 회전구동용 모터(210)와 레이저 센서(200)를 상하방향으로 회전시킬 수 있는 회전구동용 모터(220)를 각각 제어하여 레이저 센서(200)의 포커스가 해당 대상물체(1)에 일치되도록 한다.

레이저 센서(200)의 포커스가 해당 대상물체(1)에 일치되면 레이저 센서(200)를 작동시켜 레이저 센서(200)로부터 레이저가 방출되도록 하는데, 이때 방출된 레이저가 해당 대상물체(1)에 반사돼서 들어오는 시간을 계산하여 해당 대상물체(1)까지의 거리를 측정하게 된다.

여기서, 대상물체(1)가 2개 이상인 경우에는 위 식에 의해 하나의 대상물체(1)(예컨대 원기둥)에 대한 레이저 센서(200)의 회전각도(P1, T1)을 산출하고 해당 대상물체(1)(원기둥)까지의 거리를 측정한 후, 다음 대상물체(1)(예컨대 육면체)에 대한 레이저 센서(200)의 회전각도(P2, T2)를 산출하고 해당 대상물체(1)(육면체)까지의 거리를 측정하는 방법을 대상물체(1)만큼 차례대로 수행하여 각 대상물체(1)까지의 거리를 측정한다.

예를 들어 도5에 도시된 바와 같이 대상물체(1)가 원기둥과 육면체 2개로 분류되어 있는 경우, 원기둥의 중심점(x1, y1)에 레이저 센서(200)의 포커스를 맞추기 위해 회전되어야 할 레이저 센서(200)의 회전각도 (P1, T1) = (ax1/X, by1/Y)를 구하여 그 회전각도만큼 레이저 센서(200)를 회전시킨 후 레이저를 방출하여 원기둥까지의 거리를 먼저 측정한다.

그 다음 육면체의 중심점(x2, y2)에 레이저 센서(200)의 포커스를 맞추기 위해 회전되어야 할 레이저 센서(200)의 회전각도 (P2, T2) = (ax2/X, by2/Y)를 구하고 그 회전각도만큼 레이저 센서(200)를 회전시킨 후 동일한 방법으로 육면체까지의 거리를 측정한다.

이상, 본 발명을 바람직한 실시예를 사용하여 상세히 설명하였으나, 본 발명의 범위는 설명된 특정 실시예에 한정되는 것은 아니며, 당해 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 범위 내에서 얼마든지 구성요소의 치환과 변형이 가능한바, 이 또한 본 발명의 권리에 속하게 된다.

1 : 대상물체 10 : 특정공간
20 : 영상 정보 100 : 비전 센서
200 : 레이저 센서

Claims (5)

1. 비전 센서(100)를 이용하여 특정 공간(10)을 촬영한 후 이를 2차원의 영상 정보(20)로 변환하여 획득하는 단계;
   획득된 영상 정보(20)의 전체 픽셀수를 측정하여 가로방향 픽셀(pixel)수는 X로 정의하고 세로방향 픽셀수는 Y로 정의하는 단계;
   영상 정보(20)에서 거리측정이 필요한 대상물체(1)를 분류하는 단계;
   분류된 대상물체(1) 정보에서 대상물체(1)의 중심 픽셀값(x,y)을 추출하고, 이때 추출된 중심 픽셀값을 기반으로 레이저 센서(200)의 좌우방향 및 상하방향에 대한 회전각도인 (P,T)를 획득하는 단계;
   레이저 센서(200)가 대상물체(1)를 향해 회전되도록 획득된 P, T각도만큼 레이저 센서(200)의 각 회전구동용 모터를 구동하는 단계;
   레이저 센서(200)로부터 방출된 레이저가 대상물체(1)에 반사돼서 들어오는 시간을 계산하여 대상물체(1)까지의 거리를 측정하는 단계;를 포함하는 레이저 센서와 비전 센서를 이용한 물체거리 측정방법.
2. 청구항 1에 있어서, 상기 비전 센서(100)가 특정 공간(10) 촬영시 시야범위(Field of View)에 대한 수평 및 수직성분의 실제거리를 (a, b)로 정의할 때, 상기 대상물체(1)를 향해 회전되어야 할 레이저 센서(200)의 회전각도는 "(P, T) = (ax/X, by/Y)"의 식에 의해 구해지는 것을 특징으로 하는 레이저 센서와 비전 센서를 이용한 물체거리 측정방법.
3. 청구항 2에 있어서, 상기 대상물체(1)가 두개 이상인 경우 위 식에 의해 하나의 대상물체(1)에 대한 레이저 센서(200)의 회전각도를 산출하고 거리를 측정한 후, 다음 대상물체(1)에 대한 레이저 센서(200)의 회전각도를 산출하여 거리를 측정하는 방법을 차례대로 수행하여 각 대상물체(1)까지의 거리를 측정하는 것을 특징으로 하는 레이저 센서와 비전 센서를 이용한 물체거리 측정방법.
4. 청구항 2에 있어서, 상기 비전 센서(100)의 렌즈초점이 이루는 면과 레이저 센서(200)의 회전 중심은 동일면에 존재하는 것을 특징으로 하는 레이저 센서와 비전 센서를 이용한 물체거리 측정방법.
5. 청구항 3에 있어서, 상기 대상물체(1)가 차량인 경우, 획득된 영상 정보(20)에서 차량 형상에 해당하는 형상정보를 대상물체(1)로 선정하는 것을 특징으로 하는 레이저 센서와 비전 센서를 이용한 물체거리 측정방법.

Images