KR20130015973A - 소실점 및 광류를 기반으로 한 검출 장치 및 검출 방법 - Google Patents

Abstract

본 명세서는, 카메라를 통해 시차를 두고 획득한 복수의 이미지 중 적어도 하나의 이미지에서 파악되는 소실점 및 상기 복수의 이미지 사이에 존재하는 광류 중 적어도 하나를 근거로 카메라의 피치 모션에 기인한 오차를 최소화한 후, 임의의 오브젝트를 검출하는 검출 장치 및 검출 방법을 제공한다.
이를 위하여, 일 실시예에 따른 검출 방법은, 임의의 동적인 또는 정적인 오브젝트를 검출하는 방법으로서, 카메라를 통해 시차를 두고 복수의 이미지를 획득하는 단계; 및 상기 복수의 이미지 중 적어도 하나의 이미지를 통해 상기 임의의 오브젝트를 검출하는 단계를 포함하되, 상기 복수의 이미지를 획득하는 도중 상기 카메라에 대한 피치 모션이 발생한 경우, 상기 복수의 이미지들 중 적어도 하나의 이미지에서 파악되는 소실점 및 상기 복수의 이미지들 사이에 존재하는 광류 중 적어도 하나를 기반으로 한 상기 카메라의 피치 모션에 의한 오차의 최소화를 통하여 상기 임의의 오브젝트의 검출이 이루어지는 것 일 수 있다.

Description

소실점 및 광류를 기반으로 한 검출 장치 및 검출 방법{APPARATUS AND METHOD FOR DETECTING OBJECT BASED ON VANISHING POINT AND OPTICAL FLOW}

본 명세서는 카메라를 통해 오브젝트를 검출하는 장치 및 그 방법에 관한 것이다.

최근, 차량에 장착된 카메라를 통하여, 차선, 신호, 차량 또는 기타 지표들 같은 오브젝트를 검출하는 검출 장치의 개발이 활발히 진행되고 있다. 이러한 검출 장치를 통해 검출된 오브젝트에 대한 정보는 상기 차량의 주행에 이용될 수 있다.

그러나, 차량의 주행 중에는 도로상 노면의 상태에 따라 피치 모션(Pitch Motion)이 발생할 수 있다. 차량의 피치 모션(Pitch Motion)이란 움직이는 노면 상태에 기인한 상기 차량의 업-다운(up-down) 운동을 말한다.

이러한 차량의 피치 모션은 상기 검출 장치가 상기 오브젝트를 검출하는 데 있어 오류를 발생시킬 수 있다. 따라서, 상기 피치 모션에 대한 오류를 최소화하는 기술이 필요하게 되었다.

기존의 피치 모션에 대한 보정방법은, 상기 피치 모션의 방향의 역방향으로 차량에 장착된 카메라의 촬영방향 또는 상기 카메라의 위치를 변경하는 방법이 있을 수 있다.

그러나, 상기 방법은 상기 카메라의 촬영방향 또는 위치를 변경함에 있어, 상기 피치 모션에 대한 반응 속도가 느리며, 일반적인 카메라의 움직임보다 차량의 움직임이 더 클 수밖에 없어 상기 카메라의 촬영방향 또는 위치를 변경하는 것으로는 상기 피치 모션에 대한 보정이 부정확하게 되는 문제가 있을 수 있다.

본 명세서는, 카메라를 통해 시차를 두고 획득한 복수의 이미지 중 적어도 하나의 이미지에서 파악되는 소실점 및 상기 복수의 이미지 사이에 존재하는 광류 중 적어도 하나를 근거로 카메라의 피치 모션의 영향을 최소화함으로써 보다 정확하고 안정되게 임의의 오브젝트를 검출할 수 있는 검출 장치 및 검출 방법을 제공하는 데 그 목적이 있다.

상기 목적들을 달성하기 위한 본 명세서에 따른 검출 방법은, 임의의 동적인 또는 정적인 오브젝트를 검출하는 방법으로서, 카메라를 통해 시차를 두고 복수의 이미지를 획득하는 단계; 및 상기 복수의 이미지 중 적어도 하나의 이미지를 통해 상기 임의의 오브젝트를 검출하는 단계를 포함하되, 상기 복수의 이미지를 획득하는 도중 상기 카메라에 대한 피치 모션이 발생한 경우, 상기 복수의 이미지들 중 적어도 하나의 이미지에서 파악되는 소실점 및 상기 복수의 이미지들 사이에 존재하는 광류 중 적어도 하나를 기반으로 한 상기 카메라의 피치 모션에 의한 오차의 최소화를 통하여 상기 임의의 오브젝트의 검출이 이루어지는 것일 수 있다.

본 명세서와 관련된 일 예로서, 제1항에 있어서, 상기 오차의 최소화는, 상기 소실점 및 광류 중 적어도 하나를 근거로 상기 카메라의 피치 모션에 대한 정보를 추출하고, 상기 추출된 카메라의 피치 모션에 대한 정보를 기초로 하여 이루어지는 것일 수 있다.

본 명세서와 관련된 일 예로서, 상기 카메라의 피치 모션에 대한 정보는, 상기 피치 모션의 방향 및 상기 피치 모션의 각도 중 적어도 하나인 것일 수 있다.

본 명세서와 관련된 일 예로서, 상기 카메라의 피치 모션에 대한 정보는, 상기 소실점을 근거로 추출된 제 1 정보 및 상기 광류를 근거로 추출된 제 2 정보 중 적어도 하나를 포함하고, 상기 오차의 최소화는, 상기 제 1 정보 및 상기 제 2 정보 중 적어도 하나를 기초로 하여 이루어지는 것일 수 있다.

본 명세서와 관련된 일 예로서, 상기 카메라의 피치 모션에 대한 정보는, 상기 제 1 정보 및 상기 제 2 정보에 각각에 대응되는 가중치를 곱한 값을 근거로 추출되는 것일 수 있다.

본 명세서와 관련된 일 예로서, 상기 임의의 오브젝트를 검출하는 단계는, 상기 촬영된 영상 내에서 상기 임의의 오브젝트의 후보군이 되는 지지점(support point)을 추출하는 단계; 상기 지지점을 월드 좌표(world coordinate)로 변환하는 단계; 및 상기 변환된 월드 좌표 상에서 상기 임의의 오브젝트를 검출하는 단계를 포함하고, 상기 오차의 최소화는, 상기 소실점 및 광류 중 적어도 하나를 근거로 상기 지지점을 월드 좌표로 변환함에 의해 이루어지는 것일 수 있다.

본 명세서와 관련된 일 예로서, 상기 지지점의 월드 좌표(world coordinate)로의 변환은, 변환 행렬을 근거로 이루어지고, 상기 오차의 최소화는, 상기 소실점 및 광류 중 적어도 하나를 근거로 상기 변환 행렬의 계수를 변경함으로써 이루어지는 것일 수 있다.

본 명세서와 관련된 일 예로서, 상기 카메라는 차량에 장착되고, 상기 임의의 오브젝트는 상기 차량의 이동 속도에 비하여, 상대 속도를 갖는 것일 수 있다.

본 명세서와 관련된 일 예로서, 상기 복수의 이미지를 획득하기 위한 시차는, 상기 차량의 속도에 따라 가변 되는 것일 수 있다.

본 명세서와 관련된 일 예로서, 상기 카메라의 피치 모션은 상기 차량의 가감속 또는 상기 차량이 주행하는 노면의 상태에 의하여 발생하는 것일 수 있다.

본 명세서와 관련된 일 예로서, 상기 오차의 최소화는, 상기 차량의 쇼크업쇼버의 탄성 계수 및 감쇠 계수에 의한 상기 카메라의 피치 모션이 최소화되기 전까지 지속되는 것일 수 있다.

상기 목적들을 달성하기 위한 본 명세서에 따른 검출 장치는, 임의의 동적인 또는 정적인 오브젝트를 검출하는 장치로서, 카메라를 통해 시차를 두고 복수의 이미지를 획득하는 카메라 모듈; 및 상기 복수의 이미지 중 적어도 하나의 이미지를 통해 상기 임의의 오브젝트를 검출하는 제어부를 포함하되, 상기 복수의 이미지를 획득하는 도중 상기 카메라에 대한 피치 모션이 발생한 경우, 상기 복수의 이미지들 중 적어도 하나의 이미지에서 파악되는 소실점 및 상기 복수의 이미지들 사이에 존재하는 광류 중 적어도 하나를 기반으로 한 상기 카메라의 피치 모션에 의한 오차의 최소화를 통하여 상기 임의의 오브젝트의 검출이 이루어지는 것일 수 있다.

본 명세서와 관련된 일 예로서, 상기 오차의 최소화는, 상기 소실점 및 광류 중 적어도 하나를 근거로 상기 카메라의 피치 모션에 대한 정보를 추출하고, 상기 추출된 카메라의 피치 모션에 대한 정보를 기초로 하여 이루어지는 것일 수 있다.

본 명세서와 관련된 일 예로서, 상기 카메라의 피치 모션에 대한 정보는, 상기 피치 모션의 방향 및 상기 피치 모션의 각도 중 적어도 하나인 것일 수 있다.

본 명세서에 개시된 일 실시예에 따르면, 카메라를 통해 시차를 두고 획득한 복수의 이미지 중 적어도 하나의 이미지에서 파악되는 소실점 및 상기 복수의 이미지 사이에 존재하는 광류 중 적어도 하나를 근거로 카메라의 피치 모션에 기인한 오차를 최소화한 후, 임의의 오브젝트를 검출하는 검출 장치 및 검출 방법을 제공한다.

특히, 본 명세서에 개시된 일 실시예에 따른 검출 장치 및 검출 방법에 따르면, 소실점 및 광류 중 적어도 하나를 근거로 카메라의 피치 모션의 영향을 최소화함으로써 보다 정확하고 안정되게 임의의 오브젝트를 검출할 수 있는 이점이 존재한다.

도 1은 본 명세서에 개시된 실시예들에 따른 검출 장치의 구성을 나타낸 블록도이다.
도 2는 본 명세서에 개시된 실시예들에 따른 검출 방법을 나타내는 순서도이다.
도 3은 차량에 장착된 카메라의 피치 모션(Pitch motion)에 따른 가시영역의 변화를 도시한 것이다.
도 4는 카메라의 피치 모션에 따른 영상의 변화를 보여주는 예시도이다.
도 5는 카메라로부터 획득된 이미지로부터 파악되는 소실점을 보여주는 예시도이다.
도 6은 시차를 두고 획득한 복수의 이미지들 간에 존재하는 광류를 나타내는 예시도이다.
도 7은 본 명세서에 개시된 제 1 실시예에 따른 검출방법을 나타내는 순서도이다.
도 8은 본 명세서에 개시된 제 2 실시예에 따른 검출 방법을 나타내는 예시도이다.
도 9는 본 명세서에 개시된 제 3 실시예에 따른 피치 모션에 의한 오차를 최소화하는 과정을 나타낸 예시도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 명세서에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" , "기" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한 상기 접미사들은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

이하에서는, 본 명세서에 개시된 실시예들에 따른 검출 장치의 구성을 도 1을 참조하여 설명한다.

본 명세서에 개시된 실시예들에 따른 검출 장치의 구성에 대한 설명

여기서, 도 1의 검출 장치는, 스탠드 얼론(stand alone)으로 구성될 수 있을 뿐만 아니라, 이동 단말기(Mobile Terminal), 텔레매틱스 단말기(Telematics Terminal), 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 개인 정보 단말기(Personal Digital Assistant : PDA), 휴대용 멀티미디어 플레이어(Portable Multimedia Player : PMP), 노트북 컴퓨터, 태블릿 PC(Tablet PC), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 텔레비전(Television), 3D 텔레비전, 영상 기기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, AVN(Audio Video Navigation) 단말기 등과 같이 다양한 단말기에 적용될 수 있다.

도 1은 본 명세서에 개시된 실시예들에 따른 검출 장치의 구성을 나타낸 블록도로서, 이에 도시한 바와 같이, 검출 장치(10)는, 카메라 모듈(110), 제어부(120), 표시부(130) 및, 저장부(140)로 구성된다. 도 1에 도시한 검출 장치(10)의 구성 요소가 모두 필수 구성 요소인 것은 아니며, 도 1에 도시한 구성 요소보다 많은 구성 요소에 의해 검출 장치(10)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 검출 장치(10)가 구현될 수도 있다.

상기 카메라 모듈(110)은, 상기 검출 장치(10)의 임의의 동일면의 동일 중심축 상에 수평 간격으로 이격되어 설치되는 적어도 한 쌍의 카메라(일 예로, 스테레오 카메라(stereo camera) 또는, 스테레오코스픽 카메라(stereoscopic camera)) 또는, 단일 카메라를 포함한다. 이때, 상기 고정된 수평 간격은, 일반적인 사람의 두 눈 간의 거리를 고려하여 설정할 수 있으며, 상기 검출 장치(10)를 구성할 때 설정한다. 또한, 상기 카메라 모듈(110)은, 영상 촬상이 가능한 임의의 모든 카메라 모듈일 수도 있다.

또한, 상기 카메라 모듈(110)은, 상기 한 쌍의 카메라에 의해 동시에 촬영된 제1 영상(일 예로, 상기 한 쌍의 카메라에 포함된 좌측 카메라에 의해 촬영된 좌측 영상)과 제2 영상(일 예로, 상기 한 쌍의 카메라에 포함된 우측 카메라에 의해 촬영된 우측 영상)을 수신한다.

또한, 상기 카메라 모듈(110)은, CCD 소자, CMOS 소자 등과 같은 이미지 센서일 수 있다.

또한, 상기 카메라 모듈(110)은, 차량에 설치되는 경우, 상기 차량의 소정 위치에 고정되어, 주행 방향의 전방, 측방, 후방 등을 촬영하고, 상기 촬영된 영상을 수신하도록 구성할 수도 있다.

본 명세서에 개시된 실시예들에 따르면, 상기 카메라 모듈(110)는 카메라를 통해 시차를 두고 복수의 이미지를 획득할 수 있다. 상기 복수의 이미지는 카메라의 피치 모션(pitch motion)에 대한 영향을 분석하기 위한 소실점 또는 광류 중 적어도 적어도 하나를 추출하는 데 사용될 수 있다. 상기 복수의 이미지는 동영상의 프레임 이미지일 수 있다.

상기 피치 모션은 일반적으로 움직이는 물체로부터 발생한 노이즈(noise)에 기인한 상기 물체의 업-다운(up-down) 이동을 말할 수 있다. 예를 들어, 차량의 운행에 있어서, 상기 피치 모션은 상기 차량이 주행하는 노면의 상태에 기인한 상기 차량의 위-아래 방향의 진동이 될 수 있다.

상기 소실점(vanishing point)은 물체에 연장선을 그었을 때 연장선들이 원근 효과에 의해 만나는 점을 의미한다. 예를 들어, 자동차의 경우에는 전/후방 카메라 영상에서 주차선 또는 차선을 직선 성분으로 이용할 수 있고, 풍경 영상에서는 건물의 외곽 선을 직선 성분으로 이용할 수도 있다. 영상 내에서 직선 검출 방법으로는 허프 변환(Hough Transform)을 이용할 수 있다

상기 소실점은 상기 피치 모션의 영향을 분석하는 데 사용될 수 있다. 즉, 카메라로부터 획득된 이미지로부터 파악되는 소실점의 추적을 통하여 카메라의 피치 모션을 검출할 수 있다. 예를 들어, 상기 획득된 이미지로부터 소실점을 추출하고, 상기 소실점의 시간적 변화를 추적하는 경우, 상기 카메라의 피치 모션에 따라 상기 소실점은 위 또는 아래로 이동할 수 있다. 따라서, 상기 소실점의 수직 방향으로의 이동을 관찰을 통해 상기 카메라의 피치 모션을 검출할 수 있다.

또한, 상기 광류(optical flow)란 명도 유형(brightness pattern)을 서서히 변화시킴으로써 발생하는 영상에서의 명백한 움직임의 속도 분포를 나타내는 것이다. 즉, 광류란 카메라에 의해 촬영되어 입력되는 시간적으로 다른 2개의 영상데이터로부터 그 영상에 나타나는 외견상 움직임을 벡터로 나타낸 것을 말한다.

또한 상기 광류를 기반으로 하여 오브젝트등(예를 들어, 차선 또는 차량)을 검출할 수 있는데, 바로 전에 촬영한 프레임의 이전 영상과 각각의 픽셀들을 현재 촬영한 프레임의 현재 영상의 모든 픽셀들과 각각 비교하거나, 또는 이전 영상데이터를 소정의 픽셀을 가지는 복수의 단위 블록으로 구분함과 아울러 현재 영상데이터를 픽셀 단위로 이동시키면서 상기 이전 영상데이터의 단위블록과 동일한 크기를 가지는 단위블록으로 구분한 후 그 이전 영상데이터의 각각의 단위블록들을 현재 영상데이터의 복수의 단위블록들과 비교하여 단위블록 내의 픽셀들의 휘도 및 색도 등의 차이 값을 구하며, 그 구한 차이 값으로 이전 영상데이터의 픽셀이 움직인 위치를 벡터로 표시하고, 특정 영역에서 특정 크기 이상의 벡터가 발생될 경우에 이를 기준으로 하여 오브젝트를 검출하는 것이다.

상기 제어부(120)는, 상기 검출 장치(10)의 전반적인 동작을 제어한다.

본 명세서에 개시된 실시예들에 따르면, 상기 제어부(120)는 상기 카메라 모듈로부터 획득된 복수의 이미지 중 적어도 하나의 이미지를 통해 임의의 오브젝트가 검출되도록 상기 검출 장치(10)의 전반적인 동작을 제어할 수 있다.

예를 들어, 상기 검출 장치(10)가 차선을 검출하는 동작을 하는 경우, 상기 제어부(120)는 상기 차선을 검출하기 위해 상기 검출 장치(10)의 전반적인 동작을 다음과 같이 제어할 수 있다.

이 경우, 상기 제어부(120)는, 미리 설정된 가이드 라인(guide line)을 근거로 상기 적어도 한 쌍의 카메라에 의해 수신된 제1 영상 및 제2 영상 중 어느 하나의 영상 내에서 복수의 지지점(support point)을 추출하거나 또는, 상기 단일 카메라에 의해 수신된 영상 내에서 복수의 지지점을 추출한다. 여기서, 상기 가이드 라인은, 해당 영상에 대해서 수평축을 기준으로 좌우 방향으로 설정되며, 복수의 가이드 라인의 수직축 간의 간격은 영상의 아래쪽에 있는 가이드 라인 간의 간격이 영상의 위쪽에 있는 가이드 라인 간의 간격보다 더 넓게 설정한다. 즉, 상기 가이드 라인은, 원본 영상(또는, 원본 이미지)의 데이터(지지점 등 포함)를 월드 좌표로 변환할 때 최대한 균일한 포인트 간격을 얻기 위해서, 영상의 아래쪽에서 위쪽으로 갈수록 가이드 라인 간의 간격을 좁게 설정할 수 있다.

또한, 상기 제어부(120)는, 상기 추출된 복수의 지지점을 월드 좌표로 변환한다. 즉, 상기 제어부(120)는, 상기 저장부(140)에 미리 저장된 변환 행렬(예를 들어, 호모그래픽 행렬(homographic matrix) 등 포함)을 이용하여 상기 추출된 복수의 지지점을 월드 좌표로 각각 변환한다. 여기서, 상기 월드 좌표로 각각 변환된 복수의 지지점들은, 수직 방향의 간격이 동일한 간격을 유지하게 되며, 이에 따라 상기 월드 좌표로 각각 변환된 복수의 지지점들 중에서 일부 에러가 있더라도, 이러한 에러를 확인하기 위한 정확도를 높일 수 있게 된다. 여기서, 상기 에러는, 실제 차선과의 오차를 의미할 수 있다.

또한, 상기 제어부(120)는, 상기 월드 좌표로 변환된 포인트들에 대해서 상기 저장부(140)에 미리 저장된 커브 방정식을 근거로 상기 월드 좌표로 변환된 포인트들 중에서 커브에 해당하는 복수의 포인트들을 확인(또는, 추출)한다.

또한, 상기 제어부(120)는, 캘리브레이션 시간을 감소시키고 노이즈를 감소시키기 위해서, 상기 확인된 커브에 해당하는 복수의 포인트들을 근거로 트래킹(tracking)을 수행한다.

또한, 상기 제어부(120)는, 상기 확인된 커브에 해당하는 복수의 포인트들을 근거로 차선의 중앙점을 추종하는 커브 정보를 계산한다. 이때, 상기 계산되는 커브 정보는, 카메라의 캘리브레이션 상태의 영향을 최소화하여, 월드 좌표 상에서의 차선 유지 성능을 향상시키는데 이용할 수 있다. 즉, 상기 제어부(120)는, 상기 확인된 커브에 해당하는 복수의 포인트들에 대해서 최소 자승법(least square method), 랜삭(Random Sample Consensus : RANSAC), 일반 허프 변환법(general hough transform method), 스플라인(spline) 보간법 등 중 어느 하나의 방식을 적용하여 차선의 중앙점을 추종하는 커브 정보를 계산한다.

또한, 상기 제어부(120)는, 상기 계산된 차선의 중앙점을 추종하는 커브 정보, 상기 확인된 커브 등의 정보를 상기 수신한 원본 영상에 오버랩(overlap)하여 상기 표시부(130)에 표시한다. 즉, 상기 제어부(120)는, 월드 좌표인 상기 계산된 차선의 중앙점을 추종하는 커브 정보, 상기 확인된 커브 등의 정보를 이미지 도메인 상에서의 좌표로 각각 변환(또는, 매핑(mapping))하고, 상기 변환된 각각의 좌표를 상기 수신한 원본 영상에 오버랩하여 상기 표시부(130)에 표시한다.

또한, 상기 제어부(120)는, 임의의 GPS 모듈(미도시)을 통해 확인되는 상기 검출 장치(10)(또는, 상기 검출 장치(10)가 구비된 차량)의 위치 및 상기 확인된 커브(또는, 차선)를 근거로 차선 유지와 관련된 기능(경고 메시지 기능, 자동 차선 유지 기능 등 포함)을 수행한다.

본 명세서에 개시된 실시예들에 따르면, 상기 제어부(120)는 상기 임의의 오브젝트(예를 들어, 차선)의 검출에 있어서, 상기 오브젝트의 피치 모션에 대한 영향을 최소화하면서 상기 임의의 오브젝트를 검출할 수 있다. 예를 들어, 상기 임의의 오브젝트는 차선 또는 차량일 수 있다.

이 경우, 상기 제어부(120)는 상기 임의의 오브젝트의 검출을 위해, 상기 복수의 이미지를 획득하는 도중 상기 카메라에 대한 피치 모션이 발생한 경우, 상기 복수의 이미지 중 적어도 하나의 이미지에서 파악되는 소실점 및 상기 복수의 이미지들 사이에 존재하는 광류 중 적어도 하나를 기반으로 하여 상기 카메라의 피치 모션에 의한 오차를 최소화할 수 있다.

또한, 상기 제어부(120)는, 상기 소실점 및 광류 중 적어도 하나를 근거로 상기 카메라의 피치 모션에 대한 정보를 추출할 수 있다. 또한, 상기 제어부(120)는 상기 카메라의 피치 모션에 대한 정보를 기초로 하여 상기 오차를 최소화할 수 있다.

상기 카메라의 피치 모션에 대한 정보는, 상기 피치 모션의 방향 및 상기 피치 모션의 각도 중 적어도 하나일 수 있다.

예를 들어, 상기 제어부(120)는 상기 소실점을 근거로 상기 오브젝트(예를 들어, 차선)의 피치 모션의 각도를 위의 방향으로(pitch-up의 경우) 18도로 검출할 수 있고, 상기 검출된 피치 모션의 각도인 18도의 보정을 통하여 상기 오브젝트를 검출할 수 있다.

또한 예를 들어, 상기 제어부(120)는 상기 광류를 근거로 상기 오브젝트(예를 들어, 차선)의 피치 모션의 각도를 위의 방향으로(pitch-up의 경우) 20도로 검출할 수 있고, 상기 검출된 피치 모션의 각도인 20도의 보정을 통하여 상기 오브젝트를 검출할 수 있다.

또는, 상기 제어부(120)는 상기 소실점 및 상기 광류를 근거로 하여 검출된 각각의 피치 모션의 각도를 선택 또는 조합하여 피치 모션의 보정에 사용할 수 있고, 이를 통해 상기 오브젝트를 검출할 수 있다.

예를 들어, 상기 각각의 피치 모션의 각도 중 어느 하나의 선택은, 상기 검출 장치(10)의 상기 검출 장치(10)의 검출 상태에 의존하여 이루어질 수 있다. 예를 들어, 상기 검출 장치(10)의 검출 상태가 실외 환경인 경우, 다양한 조명조건과 인공구조물 등을 고려하여 광류를 기반으로 한 피치 모션 보정 방법이 선택될 수 있다. 또한, 예를 들어, 카메라로부터 선택된 복수의 이미지상에 존재하는 오브젝트의 종류, 색깔, 또는 배경 이미지의 색깔 등에 따라 상기 광류를 기반으로 한 피치 모션 보정 방법이 부적당한 경우(예를 들어, 오브젝트 및 배경 이미지의 색깔등이 유사하여 복수의 이미지간의 명암차이가 작은 경우), 소실점을 기반으로 한 피치 모션 보정 방법이 사용될 수 있다.

이 경우, 상기 제어부(120)는 상기 검출 상태를 확인하고, 기결정된 기준에 따라 상기 검출상태에 적합한 피치 모션 보정 방법을 선택할 수 있다.

상기 표시부(130)는, 상기 제어부(120)의 제어에 의해 상기 저장부(140)에 포함된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시한다. 여기서, 상기 표시부(130)에 표시되는 콘텐츠는, 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다.

또한, 상기 표시부(130)는, 3차원 디스플레이(3D Display) 또는 2차원 디스플레이(2D Display)를 포함한다. 또한, 상기 표시부(130)는, 액정 디스플레이(Liquid Crystal Display : LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display : TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode : OLED), 플렉시블 디스플레이(Flexible Display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수도 있다.

또한, 상기 표시부(130)는, 상기 제어부(120)의 제어에 의해 상기 3차원 영상(또는, 2차원 영상)을 표시한다.

또한, 상기 검출 장치(10)의 구현 형태에 따라 상기 표시부(130)가 2개 이상 존재할 수 있다. 예를 들면, 상기 검출 장치(10)에 복수의 표시부들이 하나의 면(동일면)에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.

한편, 상기 표시부(130)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 상기 표시부(130)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 상기 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드, 터치 패널 등의 형태를 가질 수 있다.

또한, 상기 터치 센서는, 상기 표시부(130)의 특정 부위에 가해진 압력 또는 상기 표시부(130)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 또한, 상기 터치 센서는, 터치되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 상기 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 상기 제어부(120)로 전송한다. 이로써, 상기 제어부(120)는, 상기 표시부(130)의 어느 영역이 터치되었는지 여부 등을 알 수 있게 된다.

또한, 상기 표시부(130)는, 근접 센서를 포함할 수 있다. 또한, 상기 근접 센서는, 터치 스크린에 의해 감싸지는 검출 장치(10)의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다.

또한, 상기 근접 센서는, 소정의 검출 면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 상기 근접 센서는, 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.

상기 근접 센서의 예로는, 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치 스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다.

이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다. 이하에서는 설명의 편의를 위해, 상기 터치 스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(Proximity Touch)"라고 칭하고, 상기 터치 스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(Contact Touch)"라고 칭한다. 상기 터치 스크린 상에서 포인터로 근접 터치가 되는 위치는, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다.

또한, 상기 근접 센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 상기 터치 스크린상에 출력될 수 있다.

이와 같이, 상기 표시부(130)가 입력 장치로 사용되는 경우, 사용자에 의한 버튼 조작을 입력받거나, 디스플레이되는 화면을 터치/스크롤하는 등의 조작에 의해 명령 또는 제어 신호를 입력받을 수 있다.

상기 저장부(140)는, 각종 메뉴 화면, 다양한 사용자 인터페이스(User Interface : UI) 및/또는 그래픽 사용자 인터페이스(Graphic User Interface : GUI)를 저장한다.

본 명세서에 개시된 실시예들에 따르면, 상기 저장부(140)는 상기 피치 모션에 대한 영향의 최소화를 통하여 상기 오브젝트(예를 들어, 차선)를 검출함에 있어서, 상기 복수의 이미지 중 적어도 하나로부터 파악되는 소실점 및 상기 복수의 이미지들 간의 차이를 나타내는 광류 중 적어도 하나가 상기 제어부(120)에 의해 추출된 경우, 상기 추출된 소실점 위치(또는 이미지 상의 좌표) 또는 광류값(또는 움직임 벡터)을 저장할 수 있다.

또한, 상기 저장부(140)는, 변환 행렬(예를 들어, 호모그래픽 행렬 등), 커브 방정식, 최소 자승법 등의 수학식을 저장한다.

또한, 상기 저장부(140)는, 상기 검출 장치(10)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.

또한, 상기 저장부(140)는, 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 롬(Read-Only Memory : ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 램(Random Access Memory : RAM), SRAM(Static Random Access Memory), 자기 메모리, 자기 디스크, 광 디스크 중 적어도 하나의 저장 매체를 포함할 수 있다.

또한, 상기 검출 장치(10)는, 상기 제어부(120)의 제어에 의해 임의의 단말기 또는 서버와의 통신 기능을 수행하는 통신부(미도시)를 더 포함할 수 있다.

이때, 상기 통신부는, 유/무선 통신 모듈을 포함할 수 있다. 여기서, 상기 무선 인터넷 기술은, 무선랜(Wireless LAN : WLAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband : Wibro), 와이맥스(World Interoperability for Microwave Access : Wimax), 고속 하향 패킷 접속(High Speed Downlink Packet Access : HSDPA), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution : LTE), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service : WMBS) 등을 포함할 수 있고, 상기 근거리 통신(Short Range Communication) 기술은, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association : IrDA), 초광대역 무선(Ultra Wideband : UWB), 지그비(ZigBee) 등을 포함할 수 있다. 또한, 상기 유선 통신 기술은, USB(Universal Serial Bus) 통신 등을 포함할 수 있다.

또한, 상기 통신부는, 상기 검출 장치(10)가 구비되는 임의의 차량과의 통신을 위한, CAN 통신, 차량용 이더넷, 플렉스레이(flexray), LIN(Local Interconnect Network) 등을 포함할 수 있다.

또한, 상기 통신부는, 상기 제어부(120)의 제어에 의해 임의의 영상에 대해 추출된 복수의 지지점, 상기 복수의 지지점을 월드 좌표로 각각 변환한 포인트들, 상기 월드 좌표로 변환한 포인트들 중에서 커브에 해당하는 복수의 포인트들, 상기 커브에 해당하는 복수의 포인트들을 근거로 계산되는 차선의 중앙점을 추종하는 커브 정보 등을 상기 임의의 단말기 또는 서버에 전송한다.

또한, 상기 통신부는, 상기 임의의 단말기 또는 서버로부터 전송되는 임의의 한 쌍의 스테레오 카메라를 통해 동시에 촬영된 제1 영상 및 제2 영상을 수신한다.

또한, 상기 검출 장치(10)는, 오디오 신호를 수신하기 위한 적어도 하나 이상의 마이크(미도시)를 포함하는 입력부(미도시)를 더 포함할 수 있다. 상기 마이크는, 통화 모드, 녹음 모드, 음성 인식 모드, 영상 회의 모드, 영상 통화 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호(사용자의 음성(음성 신호 또는 음성 정보) 포함)를 수신하여 전기적인 음성 데이터로 처리한다. 또한, 상기 처리된 음성 데이터는 음성 출력부(미도시)를 통해 출력하거나 또는, 상기 통신부를 통하여 외부 단말기로 송신 가능한 형태로 변환되어 출력될 수 있다. 또한, 상기 마이크는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수도 있다.

또한, 상기 입력부는, 사용자에 의한 버튼 조작에 따른 신호를 수신하거나, 디스플레이되는 화면을 터치/스크롤하는 등의 조작에 의해 생성된 명령 또는 제어 신호를 수신한다.

또한, 상기 입력부는, 사용자에 의해 입력된 정보에 대응하는 신호를 수신하며, 키보드(keyboard), 키 패드(Key Pad), 돔 스위치(Dome Switch), 터치 패드(정압/정전), 터치 스크린(touch screen), 조그 셔틀(Jog Shuttle), 조그 휠, 조그 스위치, 마우스(mouse), 스타일러스 펜(Stylus Pen), 터치 펜(Touch Pen), 레이저 포인터 등의 다양한 장치가 사용될 수 있다. 이때, 상기 입력부는, 상기 다양한 장치에 의한 입력에 대응하는 신호를 수신한다.

또한, 상기 검출 장치(10)는, 상기 제어부(120)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력하는 음성 출력부(미도시)를 더 포함할 수 있다. 여기서, 상기 음성 출력부는, 스피커가 될 수도 있다.

이와 같이, 영상 내에서 차선의 후보군이 되는 지지점을 추출하여 월드 좌표로 변환하고, 상기 변환된 월드 좌표 상에서 차선을 인식하여, 카메라 정보와 월드 좌표 간의 캘리브레이션의 오차 전이에 있어서, 영상에서 직접 차선을 인식하는 방법에 비하여 누적 에러의 가능성을 줄일 수 있다.

또한, 이와 같이, 월드 좌표 상에서 인식된 차선에 대한 정보를 표시하고 이를 근거로 경고 메시지를 생성 및 출력하여, 정확성/민감성을 향상시키고 사용자의 편의를 향상시킬 수 있다.

이하에서는 도 2를 참조하여 본 명세서에 개시된 실시예들에 따른 검출 방법에 대해 설명한다.

본 명세서에 개시된 실시예들에 따른 검출 방법에 대한 설명

도 2는 본 명세서에 개시된 실시예들에 따른 검출 방법을 나타내는 순서도이다.

도 2를 참조하면, 본 명세서에 개시된 실시예들에 따른 검출 방법은 다음과 같은 단계로 이루어질 수 있다.

먼저, 상기 검출 장치(10)는 카메라를 통해 시차를 두고 복수의 이미지를 획득할 수 있다(S110).

다음으로, 상기 검출 장치(10)는 상기 복수의 이미지를 획득하는 도중 카메라에 대한 피치 모션이 발생하였는지 여부를 판단할 수 있다(S120).

상기 판단결과, 상기 카메라에 대한 피치 모션이 발생한 경우, 상기 검출 장치(10)는 상기 복수의 이미지들 중 적어도 하나의 이미지에서 파악되는 소실점 및 상기 복수의 이미지들 사이에 존재하는 광류 중 적어도 하나를 기반으로 하여 카메라의 피치 모션에 의한 오차를 최소화할 수 있다(S130).

다음으로, 상기 검출 장치(10)는 상기 오차의 최소화를 통하여 상기 복수의 이미지 중 적어도 하나의 이미지를 통해 상기 임의의 오브젝트를 검출할 수 있다(S140).

전술한 바와 같이, 상기 카메라의 피치 모션에 대한 정보는, 상기 피치 모션의 방향 및 상기 피치 모션의 각도 중 적어도 하나일 수 있다.

또한, 상기 검출 장치(10)는 차량에 장착되어 상기 임의의 오브젝트를 검출하는 역할을 할 수 있다.

이 경우, 상기 카메라는 차량에 장착되고, 상기 임의의 오브젝트는 상기 차량의 이동 속도에 비하여, 상대 속도를 갖는 것일 수 있다. 상기 검출 장치(10)는 상기 상대 속도를 검출하여, 상기 상대 속도를 상기 임의의 오브젝트의 검출에 사용할 수 이TEk.

또한, 상기 복수의 이미지를 획득하기 위한 시차는, 상기 차량의 속도에 따라 가변 되는 것일 수 있다. 예를 들어, 상기 검출 장치(10)는 상기 차량의 속도가 80km/h인 경우보다, 100km/h인 경우 상기 시차를 더 작게 가져갈 수 있다.

상기 카메라의 피치 모션은 상기 차량의 가감속 또는 상기 차량이 주행하는 노면의 상태에 의하여 발생하는 것일 수 있다.

또한, 상기 오차의 최소화는, 상기 차량의 쇼크업쇼버의 탄성 계수 및 감쇠 계수에 의한 상기 카메라의 피치 모션이 최소화되기 전까지 지속될 수 있다. 이렇게 함으로써, 상기 검출 장치(10)는 상기 카메라의 피치 모션의 영향을 받지 않고 상기 임의의 오브젝트를 검출할 수 있다.

쇼크업쇼버(shock absorber)는 차량의 주행 중에 노면에서 받는 충격을 완화하는 스프링의 자유 진동을 흡수하는 역할을 할 수 있다.

제 1 실시예

이하에서는 도 3 내지 도 7을 참조하여, 본 명세서에 개시된 제 1 실시예에 따른 검출 방법이 설명된다.

도 3은 차량에 장착된 카메라의 피치 모션(Pitch motion)에 따른 가시영역의 변화를 도시한 것이다.

도 3을 참조하면, 상기 임의의 오브젝트(예를 들어, 차선 또는 다른 차량)를 검출하기 위하여, 상기 검출 장치(10)는 상기 차량에 장착된 카메라를 통해 상기 차량의 전면을 촬영할 수 있다.

도 3(a)은 상기 차량이 정상적인 노면상태를 가지는 도로를 주행하고 있을 때의 상기 카메라의 가시영역을 보여준다. 이 경우를 정상(normal) 상태라고 할 수 있다.

그러나, 도 3(b)의 경우, 상기 차량의 후방 바퀴가 도로상에 존재하는 돌출된 장애물을 지나면서 상기 카메라의 피치 모션이 일어날 수 있다. 이 경우를 피치-다운(pitch-down) 상태라고 할 수 있다. 상기 피치-다운 상태의 경우, 상기 카메라는 상기 정상 상태보다 도로를 아래를 향하여 촬영하기 때문에, 상기 카메라로부터 촬영된 영상은 상기 정상 상태의 경우보다 위로 올라간 영상일 수 있다.

또한, 도 3(c)의 경우, 상기 차량의 전방 바퀴가 도로상에 존재하는 돌출된 장애물을 지나면서 상기 카메라의 피치 모션이 일어날 수 있다. 이 경우를 피치-업(pitch-up) 상태라고 할 수 있다. 상기 피치-업 상태의 경우, 상기 카메라는 상기 정상 상태보다 도로를 위를 향하여 촬영하기 때문에, 상기 카메라로부터 촬영된 영상은 상기 정상 상태의 경우보다 아래로 내려간 영상일 수 있다.

따라서, 상기 검출 장치(10)는 상기 피치-다운 내지 상기 피치-업 상태가 발생하는 경우, 상기 피치 모션에 대한 영향을 최소화하여야 상기 임의의 오브젝트에 대한 검출을 올바르게 할 수 있다.

도 4는 카메라의 피치 모션에 따른 영상의 변화를 보여주는 예시도이다.

도 4를 참조하면, 상기 검출 장치(10)는 촬영된 영상에 존재하는 다양한 오브젝트를 검출할 수 있다. 예를 들어, 상기 오브젝크는 차선 또는 차량일 수 있다. 그러나, 전술한 바와 같이 카메라의 피치 모션이 발생한 경우, 상기 피치 모션에 의해 상기 검출 장치(10)는 올바르게 상기 오브젝트를 검출하지 못할 수 있다.

도 4(a)는 정상 상태에서 상기 카메라 모듈(110)에 의해 획득된 영상을 나타낸다. 상기 정상 상태에서의 영상을 이용하여 상기 검출 장치(10)는 차선을 올바르게 검출할 수 있다.

예를 들어, 검출 대상이 차선인 경우, 전술한 바와 같이 상기 제어부(120)는 상기 획득된 영상을 통해 차선에 해당하는 복수의 지지점들을 추출하고, 상기 추출된 복수의 지지점을 월드 좌표로 변환한다. 이 경우, 상기 제어부(120)는, 상기 저장부(140)에 미리 저장된 변환 행렬(예를 들어, 호모그래픽 행렬(homographic matrix) 등 포함)을 이용할 수 있다. 또한, 상기 제어부(120)는, 상기 월드 좌표로 변환된 포인트들을 통하여 차선에 상응하는 커브 방정식을 결정하고, 상기 커브 방정식을 근거로 상기 차선을 검출할 수 있다.

도 4(b)는 상기 피치 모션이 피치-업인 경우에 있어서 획득된 영상을 나타낸다. 도 4(b)의 경우, 상기 획득된 영상이 도 4(a)의 경우보다 아래로 내려간 영상임을 알 수 있다.

이 경우, 상기 피치-업에 의해 발생된 영상 노이즈에 의해 차선 검출에 있어서 오류가 발생할 수 있다. 따라서, 상기 검출 장치(10)는 상기 피치-업에 의한 영상 노이즈를 제거한 후, 상기 차선을 검출해야 할 수 있다.

본 명세서에 개시된 제 1 실시예에 따르면, 상기 피치-업에 의한 영향을 줄이기 위하여, 상기 제어부(120)는 상기 복수의 이미지 중 적어도 하나로부터 파악되는 소실점 및 상기 복수의 이미지 사이에 존재하는 광류 중 적어도 하나를 기반으로 하여 상기 피치 모션에 대한 정보를 추출할 수 있다.

도 5는 카메라로부터 획득된 이미지로부터 파악되는 소실점을 보여주는 예시도이다.

도 5를 참조하면, 소실점(vanishing point)은 물체에 연장선을 그었을 때 연장선들이 원근 효과에 의해 만나는 점이기 때문에, 도 5의 경우, 소실점(200)이 상기 획득된 이미지에 존재하는 차선에 대해 연장선을 그었을 때 만나는 점으로 파악되었다.

도 5에서는 상기 차선에 대한 연장선을 이용하여 상기 소실점(200)을 추출하였으나, 소실점을 추출하는 방법은 다양하게 존재할 수 있다. 예를 들어, 카메라로부터 획득된 이미지에 존재하는 다양한 객체(예를 들어, 주차선 또는 건물의 외곽선등)의 연장선을 이용하여 복수의 소실점 후보들을 선정하고, 가장 많은 소실점 후보들이 있는 위치(또는 이미지상의 좌표)를 소실점으로 결정할 수 있다. 이를 보팅 방법(voting scheme)이라고 한다. 이외에도 소실점을 결정하는 다양한 방법이 본 피치 모션 보정방법에 적용될 수 있음이 본 기술분야의 당업자에게 자명하다.

도 6은 시차를 두고 획득한 복수의 이미지들 간에 존재하는 광류를 나타내는 예시도이다.

도 6를 참조하면, 위의 도 4(a) 및 도 4(b)에 나타난 이미지 간의 명암 차이를 나타내는 광류(300)가 도시되었다. 상기 광류는(300) 상기 복수의 이미지들 간의 화소 차이를 벡터형태로 표현한 것으로 움직임 벡터의 일종일 수 있다.

도 4의 경우처럼, 피치-업이 된 경우, 도 4(a) 및 도 4(b)에 나타난 이미지 간의 명암 차이인 광류(300)는 도 6처럼 도시될 수 있다.

상기 광류(300)는 도 6에서처럼, 상기 화소의 변화방향에 따라 수직방향의 성분만을 가지는 제 1 광류(300a) 또는 수식 및 수평 방향의 성분을 모두 가지는 제 2 광류(300b)등 다양한 방향을 가지는 벡터로 표현될 수 있다.

이하에서는 도 7을 참조하여, 상기 소실점 및 광류 중 적어도 하나를 기반으로 한 검출 방법이 설명된다.

도 7은 본 명세서에 개시된 제 1 실시예에 따른 검출방법을 나타내는 순서도이다.

도 7을 참조하면, 본 명세서에 개시된 제 1 실시예에 따른 검출방법은 다음과 같은 단계로 이루어질 수 있다.

먼저, 상기 검출 장치(10)는 카메라를 통해 시차를 두고 복수의 이미지를 획득할 수 있다(S210).

다음으로, 상기 검출 장치(10)는 상기 복수의 이미지를 획득하는 도중 상기 카메라에 대한 피치 모션이 발생하였는지 여부를 판단할 수 있다(S220).

다음으로, 상기 검출 장치(10)는 상기 복수의 이미지들 중 적어도 하나의 이미지에서 소실점 추출할 수 있다(S230).

다음으로, 상기 검출 장치(10)는 상기 복수의 이미지들 사이에 존재하는 광류를 추출할 수 있다(S240).

다음으로, 상기 검출 장치(10)는 상기 소실점 및 상기 광류 중 적어도 하나를 근거로 카메라의 피치 모션에 대한 정보를 추출할 수 있다.(S250).

다음으로, 상기 검출 장치(10)는 상기 피치 모션에 대한 정보를 근거로 상기 피치 모션에 의한 오차를 최소화할 수 있다(S260).

다음으로, 상기 검출 장치(10)는 상기 오차를 최소한 후, 복수의 이미지 중 적어도 하나의 이미지를 통해 임의의 오브젝트를 검출할 수 있다(S270).

제 2 실시예

본 명세서에 개시된 제 2 실시예에 따르면, 상기 검출 장치(10)는 복수의 이미지로부터 추출된 소실점 및 광류 중 적어도 하나를 근거로 상기 카메라의 피치 모션에 대한 정보를 추출하고, 상기 카메라의 피치 모션에 대한 정보를 기초로 하여 오차를 최소화할 수 있다.

본 명세서에 개시된 제 2 실시예는 상술된 실시예들이 포함하고 있는 구성 또는 단계의 일부 또는 조합으로 구현되거나 실시예들의 조합으로 구현될 수 있으며, 이하에서는 본 명세서에 개시된 제 2 실시예의 명확한 표현을 위해 중복되는 부분을 생략하기로 한다.

상기 카메라의 피치 모션에 대한 정보는, 상기 피치 모션의 방향 및 상기 피치 모션의 각도 중 적어도 하나일 수 있다.

또한, 상기 카메라의 피치 모션에 대한 정보는, 상기 소실점을 근거로 추출된 제 1 정보 및 상기 광류를 근거로 추출된 제 2 정보 중 적어도 하나를 포함하고, 상기 오차의 최소화는, 상기 제 1 정보 및 상기 제 2 정보 중 적어도 하나를 기초로 하여 이루어지는 것일 수 있다.

도 8은 본 명세서에 개시된 제 2 실시예에 따른 검출 방법을 나타내는 예시도이다.

제 2 실시예에 따르면, 상기 제어부(120)는 상기 소실점 및 상기 광류를 근거로 하여 추출된 상기 제 1 정보 및 상기 제 2 정보를 선택 또는 조합하여 피치 모션의 보정을 통해 상기 오차를 최소화할 수 있다.

이를 위해, 상기 제어부(120)는 상기 카메라의 피치 모션에 대한 정보를 상기 제 1 정보 및 상기 제 2 정보에 각각에 대응되는 가중치를 곱한 값을 근거로 추출할 수 있다. 예를 들어, 상기 제어부(120)가 상기 제 1 정보 및 상기 제 2 정보 중 어느 하나를 선택하는 경우, 상기 각각에 대응되는 가중치 중 어느 하나를 '0'으로 설정할 수 있다.

또한 예를 들어, 상기 제 2 정보에 해당하는 가중치는 상기 제 1 정보에 해당하는 가중치보다 더 큰 것일 수 있다. 예를 들어, 상기 제 2 정보의 가중치는 0.8이고, 상기 제 1 성분의 가중치는 0.2일 수 있다.

도 8을 참조하면, 소실점 추적을 이용한 상기 피치 모션의 각도가 pitch up방향으로 20도이고, 광류 추출을 이용한 상기 피치 모션의 각도가 pitch up 방향으로 10도인 경우, 상기 제어부(120)는 상기 소실점 추적에 대응되는 가중치를 p로 설정하고, 상기 추출된 광류에 대응되는 가중치를 q로 설정할 수 있다. 또한, 상기 제어부(120)는 상기 소실점 추적 및 상기 광류를 근거로 한 상기 피치 모션의 각도에 상기 p 및 q를 곱하여 합한 값을 최종 피치 모션의 각도로 결정할 수 있다. 상기 p 및 q값이 0.5인 경우, 상기 제어부(120)는 도 8에서처럼 상기 최종 피치 모션의 각도를 pitch up방향으로 15도로 결정할 수 있다.

제 3 실시예

본 명세서에 개시된 제 3 실시예에 따르면, 상기 제어부(120)는 상기 임의의 오브젝트를 검출함에 있어서, 상기 촬영된 영상 내에서 상기 임의의 오브젝트의 후보군이 되는 지지점(support point)을 추출할 수 있다.

또한, 상기 제어부(120)는 상기 지지점을 월드 좌표(world coordinate)로 변환하고, 상기 변환된 월드 좌표 상에서 상기 임의의 오브젝트를 검출할 수 있다.

또한, 상기 제어부(120)는 상기 소실점 및 광류 중 적어도 하나를 근거로 상기 지지점을 월드 좌표로 변환함으로써 피치 모션에 의한 오차를 최소화할 수 있다.

본 명세서에 개시된 제 3 실시예는 상술된 실시예들이 포함하고 있는 구성 또는 단계의 일부 또는 조합으로 구현되거나 실시예들의 조합으로 구현될 수 있으며, 이하에서는 본 명세서에 개시된 제 3 실시예의 명확한 표현을 위해 중복되는 부분을 생략하기로 한다.

상술한 상기 지지점의 월드 좌표(world coordinate)로의 변환은, 변환 행렬을 근거로 이루어질 수 있다.

따라서, 상기 제어부(120)는 상기 소실점 및 광류 중 적어도 하나를 근거로 상기 변환 행렬의 계수를 변경함으로써 상기 오차를 최소화할 수 있다.

도 9는 본 명세서에 개시된 제 3 실시예에 따른 피치 모션에 의한 오차를 최소화하는 과정을 나타낸 예시도이다.

도 9를 참조하면, 카메라로부터 획득한 이미지상에 존재하는 제 1 지점(410)이 상기 이미지 평면상에 (1,1) 좌표에 위치하고 있다.

이 경우, 상기 제어부(120)는 상기 저장부(140)에 미리 저장된 변환 행렬(500)을 이용하여 상기 제 1 지점을 월드 좌표로 변환할 수 있다. 예를 들어, 상기 변환 행렬은 호모그래픽 행렬(homographic matrix)이 될 수 있다.

상기 제 1 지점이 월드 좌표로 변환된 제 2 지점(420)이 도 9에 도시되어 있다.

상기 제어부(120)는 상기 추출된 광류를 근거로 피치 모션에 대한 정보를 추출하고, 상기 추출된 정보를 기초로 상기 변환 행렬(500)의 계수를 변경할 수 있다. 이렇게 함으로써, 상기 검출 장치(10)는 상기 피치 모션에 대한 영향을 최소화하면서 상기 임의의 오브젝트를 검출할 수 있다. 예를 들어, 상기 변환 행렬이

인 경우, 변경된 행렬은

일 수 있다.

이상에서 설명한 방법은 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 지금까지 설명한 방법들은 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 예를 들어, 상기 방법들은 상기 검출 장치(10)의 제어부(120)에 구현될 수도 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 상기 검출 장치(10)의 저장부(140)에 저장될 수 있고, 상기 제어부(120)에 의해 실행될 수 있다.

본 발명의 범위는 본 명세서에 개시된 실시 예들로 한정되지 아니하고, 본 발명은 본 발명의 사상 및 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있다.

10 : 검출 장치 110 : 카메라 모듈
120 : 제어부 130 : 표시부
140 : 저장부

Claims (14)

1. 임의의 동적인 또는 정적인 오브젝트를 검출하는 방법으로서,
   카메라를 통해 시차를 두고 복수의 이미지를 획득하는 단계; 및
   상기 복수의 이미지 중 적어도 하나의 이미지를 통해 상기 임의의 오브젝트를 검출하는 단계를 포함하되,
   상기 복수의 이미지를 획득하는 도중 상기 카메라에 대한 피치 모션이 발생한 경우,
   상기 복수의 이미지들 중 적어도 하나의 이미지에서 파악되는 소실점 및 상기 복수의 이미지들 사이에 존재하는 광류 중 적어도 하나를 기반으로 한 상기 카메라의 피치 모션에 의한 오차의 최소화를 통하여 상기 임의의 오브젝트의 검출이 이루어지는 것을 특징으로 하는 검출 방법.
2. 제1항에 있어서, 상기 오차의 최소화는,
   상기 소실점 및 광류 중 적어도 하나를 근거로 상기 카메라의 피치 모션에 대한 정보를 추출하고,
   상기 추출된 카메라의 피치 모션에 대한 정보를 기초로 하여 이루어지는 것인 검출 방법.
3. 제2항에 있어서, 상기 카메라의 피치 모션에 대한 정보는,
   상기 피치 모션의 방향 및 상기 피치 모션의 각도 중 적어도 하나인 것인 검출 방법.
4. 제2항에 있어서, 상기 카메라의 피치 모션에 대한 정보는,
   상기 소실점을 근거로 추출된 제 1 정보 및 상기 광류를 근거로 추출된 제 2 정보 중 적어도 하나를 포함하고,
   상기 오차의 최소화는,
   상기 제 1 정보 및 상기 제 2 정보 중 적어도 하나를 기초로 하여 이루어지는 것인 검출 방법.
5. 제4항에 있어서, 상기 카메라의 피치 모션에 대한 정보는,
   상기 제 1 정보 및 상기 제 2 정보에 각각에 대응되는 가중치를 곱한 값을 근거로 추출되는 것인 검출 방법.
6. 제1항에 있어서, 상기 임의의 오브젝트를 검출하는 단계는,
   상기 촬영된 영상 내에서 상기 임의의 오브젝트의 후보군이 되는 지지점(support point)을 추출하는 단계;
   상기 지지점을 월드 좌표(world coordinate)로 변환하는 단계; 및
   상기 변환된 월드 좌표 상에서 상기 임의의 오브젝트를 검출하는 단계를 포함하고,
   상기 오차의 최소화는,
   상기 소실점 및 광류 중 적어도 하나를 근거로 상기 지지점을 월드 좌표로 변환함에 의해 이루어지는 것인 검출 방법.
7. 제6항에 있어서, 상기 지지점의 월드 좌표(world coordinate)로의 변환은,
   변환 행렬을 근거로 이루어지고,
   상기 오차의 최소화는,
   상기 소실점 및 광류 중 적어도 하나를 근거로 상기 변환 행렬의 계수를 변경함으로써 이루어지는 것인 검출 방법.
8. 제1항에 있어서,
   상기 카메라는 차량에 장착되고, 상기 임의의 오브젝트는 상기 차량의 이동 속도에 비하여, 상대 속도를 갖는 것인 검출 방법.
9. 제8항에 있어서,
   상기 복수의 이미지를 획득하기 위한 시차는,
   상기 차량의 속도에 따라 가변 되는 것인 검출 방법.
10. 제8항에 있어서,
    상기 카메라의 피치 모션은 상기 차량의 가감속 또는 상기 차량이 주행하는 노면의 상태에 의하여 발생하는 것인 검출 방법.
11. 제8항에 있어서, 상기 오차의 최소화는,
    상기 차량의 쇼크업쇼버의 탄성 계수 및 감쇠 계수에 의한 상기 카메라의 피치 모션이 최소화되기 전까지 지속되는 것인 검출 방법.
12. 임의의 동적인 또는 정적인 오브젝트를 검출하는 장치로서,
    카메라를 통해 시차를 두고 복수의 이미지를 획득하는 카메라 모듈; 및
    상기 복수의 이미지 중 적어도 하나의 이미지를 통해 상기 임의의 오브젝트를 검출하는 제어부를 포함하되,
    상기 복수의 이미지를 획득하는 도중 상기 카메라에 대한 피치 모션이 발생한 경우,
    상기 복수의 이미지들 중 적어도 하나의 이미지에서 파악되는 소실점 및 상기 복수의 이미지들 사이에 존재하는 광류 중 적어도 하나를 기반으로 한 상기 카메라의 피치 모션에 의한 오차의 최소화를 통하여 상기 임의의 오브젝트의 검출이 이루어지는 것인 검출 장치.
13. 제12항에 있어서, 상기 오차의 최소화는,
    상기 소실점 및 광류 중 적어도 하나를 근거로 상기 카메라의 피치 모션에 대한 정보를 추출하고,
    상기 추출된 카메라의 피치 모션에 대한 정보를 기초로 하여 이루어지는 것인 검출 장치.
14. 제13항에 있어서,
    상기 카메라의 피치 모션에 대한 정보는,
    상기 피치 모션의 방향 및 상기 피치 모션의 각도 중 적어도 하나인 것인 검출 장치.
    

Images