KR20230089637A - 고속의 외곽선 영상 인식 시스템 - Google Patents

Abstract

발명은 처리속도를 향상시킨 실시간 외곽선 인식 및 이탈 인식 시스템에 관한 것으로서, 더욱 상세하게는, 카메라에서 촬영한 영상으로부터 추출되는 관심영역의 위치를 보정하여 저사양 하드웨어에서 도 실시간으로 외곽선을 정보를 인식하도록 처리속도를 향상시킨 시스템에 관한 것이다.

Description

고속의 외곽선 영상 인식 시스템 {High Speed Vision Recognition System of Outer Line}

발명은 처리속도를 향상시킨 실시간 외곽선 인식 및 이탈 인식 시스템에 관한 것으로서, 카메라에서 촬영한 영상으로부터 추출되는 관심영역의 위치를 보정하여 저사양 하드웨어에서도 실시간으로 외곽선을 정보를 인식하도록 처리속도를 향상시킨 시스템에 관한 것이다.

종래의 외곽선을 찾는 시스템에 관한 기술 중 허프변환을 이용하는 기술은 히스토그램을 이용하거나 에지연결 정보를 이용하는 방법에 비하여 간단하지만, 픽셀 도메인에 존재하는 직선상의 각 픽셀에 대하여 파라미터 평면에 각각의 궤적을 그리는 방법을 이용하는 경우 처리 대상 픽셀수가 증가하여 많은 처리시간을 필요로 하고 복잡한 연산을 이용하여 차선을 원본 영상 전체에서 분리하기 때문에 연산량이 과다하고 불필요한 정보도 포함되어 결과적으로 전체적인 연산속도의 증가를 가져오는 문제점이 있었다.

등록특허공보 KR 10-149956호

본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로서, 카메라에서 촬영한 동영상으로부터 추출되는 관심영역의 위치를 보정하여 저사양 하드웨어를 구비한 시스템에게도 실시간으로 외곽선 정보처리속도 가지는 시스템을 제공하는데 목적이 있다.

영상정보입력부는, RGB방식 및 YUV방식 중 어느 하나의 영상포맷으로 형성되는 영상정보를 추가조작 없이 원시영상데이터로 입력받아 상기 영상처리용 전처리부에 전달할 수 있다.

상기 영상처리용 전처리부는, 상기 영상정보로부터 외곽선 선을 검출하기 위한 관심영역에 대응되며 가로 길이가 세로길이에 비해 상대적으로 길게 형성되는 파노라마 형태의 ROI이미지를 추출하는 ROI이미지 추출부;

상기 ROI이미지 추출부를 통해 추출된 관심영역의인식이 가능한 최소 사이즈에 대응되는 특정 크기로 재조정하는 ROI사이즈 재조정부; 및 상기 ROI사이즈 재조정부를 통해 사이즈가 재조정된 ROI이미지로부터 영상처리가 가능하도록 흑백이미지를 생성하는 흑백이미지 생성부;를 구비할 수 있다.

또한, 상기 ROI이미지 추출부는, 상기 파노라마 형태의 ROI이미지를 상기 도로영상정보를 구성하는 영상화면의 하측방향 중심부에서 최초 추출한 다음 상기 캘리브레이션부에서 전달되는 관심영역의 위치값에 대응되게 ROI이 미지가 추출되는 위치를 실시간으로 변경할 수 있다.

본 발명은, 카메라에서 영상으로부터 추출되는 관심영역의 위치를 보정하여 저사양 하드웨어를 구비한 시스템에도 실시간으로 외곽선 처리속도를 향상시킨 실시간 시스템을 제공하는 효과가 있다.

또한, 본 발명은, 영상처리용 이미지를 생성하는 경우에 관심영역에 대응되는 ROI이미지의 크기를 영상 시스템에서 인식이 가능한 최소사이즈로 재조정함으로써 처리속도롤 향상시킬 수 있는 효과가 있다.

또한, 본 발명은, ROI이미지의 크기를 재조정하는 경우 검출할 수 있도록 넓은 영역의 파노라마 형태를 갖는 이미지를 영상정보에서 추출한 다음 추출한 이미지에서 세로길이를 고정값으로 하여 가로길이 전체를 줄이는 방법을 사용함으로써 처리속도를 향상시키면서도 검출효율을 향상시키는 효과가 있다.

또한, 본 발명은, 영상처리부에서 추출하는 경우에 수평 그라디언트 이미지를 생성하고 극소값과 극대값의 관계를 이용하여 후보차선을 추출한 다음 중앙값만으로 이용하여 형성함으로써 연산에 필요한 데이터크기를 줄여 처리속도를 향상시키는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 처리속도를 향상시킨 실시간 전체 구성을 나타내기 위한 도면이다.
도 2는 도 1의 영상처리용 전처리부를 구성하는 세부구성도이다.
도 3은 도 2의 ROI이미지 추출부를 설명하기 위한 도면이다.
도 4는 도 2의 ROI사이즈 재조정부를 설명하기 위한 도면이다.
도 5는 도 2의 흑백이미지생성부를 설명하기 위한 도면이다.
도 6은 도 1의 영상처리부를 구성하는 세부구성도이다.
도 7은 도 6의 가우시안 블러 이미지 생성부를 설명하기 위한 도면이다.
도 8 내지 도 9는 도 6의 외곽선 추출 부를 설명하기 위한 도면이다.
도 10 내지 도 12는 도 6의 외곽선선 데이터처리부를 설명하기 위한 도면이다.
도 13은 도 1의 캘리브레이션부를 구성하는 세부구성도이다.
도 14 내지 도 16은 도 13의 캘리브레이션부를 설명하기 위한 도면이다.
도 17은 본 발명의 다른 실시예에 따른 처리속도를 향상시킨 실시간 방법을 나
타내는 흐름도이다.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로이해되어야 한다.

한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는여기에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

한편, 본 발명에 따른 명세서에 기재된 관심영역은 영상처리에 필요한 영역을 가리키는 것으로 관심영역에 해당하는 영역의 데이터를 ROI데이터(관심영역데이터, Rigion of interest)라 부를수 있다.

여기서, 관심영역은 영상전체에 영상처리를 적용하지 않고 필요한 부분의 특정영역에만 영상처리를 해도 원하는 결과를 얻을 수 있을 경우에 사용하며, 이와 같이 영상의 전체영역을 처리하는 대신 부분영역만 처리하는 경우에 영상처리에 걸리는 시간을 단축할 수 있다.

본 발명에 따른 명세서에서, 관심영역은 주로 영상을 구성하는 이미지프레임에서 추출하는 영역으로 본 발명의 실시예에서는 XY좌표범위를 사용하여 구체적으로 파노라마나 직사각형 형태로 한정하여 사용한 것을 알 수 있으며 단순히 프레임의 좌표범위만을 가리키는 것이 아니라 필요에 따라 각종 정보를 추가로 추출하여 사용할수 있다.

첨부된 도면을 참조하여 본 발명의 실시예들을 설명하기로 한다.

도 1은 본 발명의 외곽선 따른 처리속도를 향상시킨 실시간 외곽선 인식 경보시스템의 전체 구성을 나타내기 위한 도면이다.

도면에 도시된 바와 같이, 본 발명에 따른 실시간 외곽선 인식시스템은, 카메라의 영상정보를 이용하는 시스템으로 서, 영상정보 입력부(100), 영상처리용 전처리부(200), 영상처리부(300), 경고신호부(400), 및 캘리브레이션부(500)를 포함할 수 있다.

보다 상세하게는, 상기 영상정보입력부(100)는 상기 카메라를 통하여 영상정보를 입력받고, 상기 영상처리

용 전처리부(200)는 상기 영상정보입력부(100)에 입력된 영상정보를 전처리하여 외곽선을 검출하기 위한 관심

영역의 실시간 외곽선인식을 위한 영상처리용 이미지를 생성할 수 있다.

또한, 상기 영상처리부(300)는 상기 영상처리용 전처리부(200)를 통해 생성된 영상처리용 이미지의 노이즈를 제거하고 후보외곽선을 추출한 다음 RANSAC알고리즘을 이용하여 외곽선 데이터를 검출할 수 있다.

또한, 상기 경고신호부(400)는 상기 영상처리부(300)에서 검출되는 외곽선 데이터가 경고발생조건을 만족하는 경우에 외곽선이탈 경고신호를 발생시키고, 상기 캘리브레이션부(500)는 상기 영상처리부(300)에서 검출되는 데이터를 이용하여 상기 영상처리용 전처리부(200)에서 추출되는 관심영역의 위치 값 및 상기 신호부(400)에 전달되는 값을 조정할 수 있다.

한편, 본 발명의 실시예에서, 상기 영상정보입력부(100)는, RGB방식 및 YUV방식 중 어느 하나의 영상포맷으로 형성되는 영상정보를 추가조작없이 원시영상데이터로 입력받아 상기 영상처리용 전처리부(200)에 전달할 수 있다.

도 2는 도 1의 영상처리용 전처리부를 구성하는 세부구성도이고, 도 3 내지 도 5는 도 2의 세부구성을 상세하게 설명하기 위한 도면이다.

도면에 도시된 바와 같이, 본 발명의 실시예에서, 상기 영상처리용 전처리부(200)는, 외곽선을 인식하기 위한 영상처리용 이미지를 만들기 위한 구성으로 ROI이미지 추출부(210), ROI사이즈 재조정부(220), 및 흑백이미지생성부(230)를 구비할 수 있다.

상기 ROI사이즈 재조정부(220)는, 상기 ROI이미지 추출부(210)를 통해 추출된 관심영역의 ROI이미지를 인식이 가능한 최소 사이즈에 대응되는 특정크기로 재조정할 수 있다.

또한, 상기 흑백이미지 생성부(230)는, 상기 ROI사이즈 재조정부(220)를 통해 사이즈가 재조정된 이미지로 부터 영상처리가 가능하도록 흑백이미지를 생성할 수 있다.

도 3 내지 도 5를 참조하여 본 발명의 실시예에 따른 영상처리용 전처리부를 더욱 상세하게 설명하면 다음과 같다.

도 3에 도시된 바와 같이, 상기 ROI이미지 추출부(210)는, 관심영역에 대응되는 파노라마 형태의 ROI이미지를 영상정보를 구성하는 영상화면의 하측방향 중심부에서 추출할 수 있으며, 이것은 외곽선 검출이 가능한 특정 영역만을 관심영역으로 추출함으로써 데이터 처리속도를 향상시킬 수 있다.

한편, 본 발명의 실시예에서, 상기 ROI이미지 추출부(210)서 최초 추출된 ROI이미지는 도 1의 캘리브레이션부(500)에서 전달되는 관심영역의 위치값에 대응되게 ROI이미지가 추출되는 위치가 실시간으로 변경될 수 있다.

도 4는 상기 ROI이미지 추출부(210)에 의해 추출된 ROI이미지의 사이즈를 조정하는 것을 나타내는 도면이다.

이것은 상술한 바와 같이, ROI이미지 추출부(210)에 의해 추출된 ROI이미지에 해당하는 영상정보의 관심영

역도 실시간으로 처리하기엔 사이즈가 크기 때문에 외곽선인식이 가능하도록 최소한의 작은 사이즈로 변환을 할

수 있다.

[즉, 도 4에 도시된 바와 같이, 상기 ROI사이즈 재조정부(220)는, 상기 파노라마 형태의 ROI이미지를 세로길이는 기준값으로 고정하고 가로길이를 전체적으로 축소하여 가로길이가 세로길이에 비하여 상대적으로 짧게 형성된 직사각형 형태의 ROI이미지로 사이즈를 재조정할 수 있다.

본 발명에 따른 실시예에서는, 최초 추출된 ROI이미지의 크기가 외곽선이 검출될 만한 320×100의 픽셀단위크기를 가지며 재조정된 ROI이미지는, 80 ×120 의 픽셀 단위크기로 형성될 수 있다.

이와 같이, ROI사이즈 재조정부(220)가 ROI이미지의 가로길이만 줄이고 세로길이는 고정시킨 것은 외곽선이 나타 나는 방향이 가로방향의 특징보다는 세로방향의 특징을 나타내고 있기 때문이다.

도 5는 흑백이미지 생성부(230)에 의해 처리된 결과를 나타내는 도면이다.

도면에 도시된 바와 같이, 영상처리를 위한 흑백이미지(gray scale)를 필요로 하며, 상기 흑백이미지 생성부(230)는, 영상정보입력부를 통해 입력되는 영상정보가 휘도신호인 Y값과 색채신호인 U값 및 V값으로 이루어진YUV방식의 영상포맷일 경우에는 휘도신호인 Y값만을 추출하여 흑백이미지를 생성하고, 영상정보입력부를 통해 입력되는 영상정보가 RGB방식의 영상포맷일 경우에는 흑백이미지(gray)를 생성할수 있다.

도 6은 도 1의 영상처리부를 구성하는 세부구성도이고, 도 7 내지 도 12는 도 6을 더욱 상세하게 설명하기 위한 도면이다.

도면에 도시된 바와 같이, 본 발명의 실시예에 따른 영상처리부(300)는, 가우시안 블러 이미지 생성부(310), 외곽선추출부(320), 및 데이터처리부(330)를 구비할 수 있다.

보다 상세하게는, 상기 가우시안 블러 이미지 생성부(310)는 도 7 에서와 같이 상기 영상처리용 전처리부(200)를 통해 생성된 영상처리용 이미지의 노이즈가 제거된 가우시안 블러 이미지를 생산할 수 있다.

또한, 상기 후보외곽선 추출부(320)는, 상기 가우시안 블러 이미지 생성부(310)에서 생성된 가우시안 블러 이미지에서 수평 그라디언트를 이용하여 후보외곽선을 추출할 수 있다.

즉, 도 8 내지 도 9와 같이, 상기 후보외곽선 추출부(320)는, 수평 그라디언트 이미지를 생성하고 수평 그라디언트 값의 극소값과 극대값의 관계를 이용하여 후보외곽선을 추출하는 수평그라디언트 처리부(321), 상기 수평그라디언트 처리부(321)에서 추출된 후보외곽선에 대해 중앙값을 남기고 제거하여 최소

두께의 후보외곽선을 형성하는 후보외곽선 형성부(322), 및 상기 후보외곽선 형성부(322)에서 형성된 후보외곽선을 시간의 경과에 따라 변화가 없을 경우 제거하는 외곽선제거부(323)를 구비할 수 있다.

더욱 상세하게는, 본 발명은, 상술한 바와 같이, 수평그라디언트의 값을 이용하여 후보 외곽선을 추출하는데,수평 그라디언트 값의 지역적 극소/극대 값의 관계를 이용하여 외곽선인지 아닌지 판단할 수 있다.

즉, 도 8에 도시된 그래프와 같이, 상기 수평그라디언트 처리부(321)는, 상기 생성된 수평 그라이디언트 이미지를 구성하는 수평 그라디언트 값의 극소값과 극대값의 값 차이가 일정값 이상일 경우와 수평그라디언트 값의극소값과 극대값의 거리 차이가 일정거리 이하일 경우를 동시에 만족하는 경우에 후보외곽선으로 판단할 수 있다.

상술한 후보외곽선 판단 근거가 되는 조건을 수식으로 나타내면 다음과 같다.

한편, 본 발명의 실시예에서는, 정지상태일 경우에는 후보외곽선을 제거할 수 있는데, 이것은 영상의 변화가 없는 정지상태에서 오인식을 없애기 위해 시간의 변화에 따라 변화가 없는 경우 후보외곽선에 제외 할 수 있다.

또한, 본 발명의 실시예에서, 앞서 상술한 상기 외곽선 데이터처리부(330)는 RANSAC알고리즘을 이용하여 상기 외곽선으로부터 외곽선 데이터를 검출하고 외곽선을 안정적으로 추적함과 동시에 RANSAC알고리즘을 적용하기 위한 외곽선검색영역을 설정할 수 있다.

더욱 상세하게는, 상기 외곽선 데이터처리부(330)는, 앞서 상술한 도 6에 도시된 바와 같이, 상기 후보외곽선에

대한 초기 검색영역을 설정하는 검색영역 설정부(331)와, 상기 검색영역에서 RANSAC알고리즘을 이용하여 외곽선을

이루는 점들을 찾은 다음 각각의 점들을 직선으로 연결함으로써 외곽선 데이터를 검출하는 외곽선검출부(332)와 상기 검출된 외곽선 데이터로 이루어진 외곽선에 대해 칼만필터를 이용하여 안정적으로 추적하는 외곽선추적부(333), 및 상기 외곽선추적부(333)의 추적결과에 대응하여 상기 후보외곽선에 대한 검색영역을 재설정하는 검색영역 재설정부(334)를 구비할 수 있다.

한편, 상기 검색영역 설정부(331)는, 도 10에 도시된 조건으로 검색영역이 설정되며, 도 11에 도시된 바와 같이, 후보외곽선에 대한 초기 검색영역에 해당하는 기준선의 검색넓이(W)와 기준선의 기울기(θ) 및 기준선의 거리(rho)를 설정할 수 있으며, 후술하는 외곽선의 추적결과에 따라 검색영역의 조건이 변화될 수 있다.

여기서, 또한, 본 발명의 실시예에서, 도 12에 도시된 바와 같이, 외곽선검출부(332)는, 상기 후보외곽선의 검색영역에서 외곽선을 이루는 점들에 대응되며 랜덤하게 샘플링된 데이터들을 이용하여 대표적인 단일의 직선을 형성하는 외곽선을 검출할 수 있다. 이것은, RANSAC(RANdom Sample Consensus) 이론을 이용하여 무작위로 샘플링된 데이터들을 이용하여 최대의 inlier가 선택(consensus)된 파라미터로 결정하는 방법을 가리킨다.

또한, 상기 외곽선추적부(333)에서 사용하는 칼만필터의 수식은 일반화된 수식을 사용하는 것이 바람직하며, 하기에 도시된 캘리브레이션부에 적용된 칼만필터의 수식을 참조할 수 있다.

또한, 상기 검색영역 재설정부는, 일정시간 동안 검색영역의 넓이(W)값이 초기값과 동일하면 추적실패로 간주하고 검색영역을 초기검색영역으로 재설정 할 수 있으며, 칼만필터에 의해 추정된 변수를 이용하는 하기의 RANSAC검색영역을 재설정할 수 있다.

한편, 본 발명의 실시예에서, 도 1에 도시된 경고신호부(400)는, 일정시간 이상 상기 외곽선추적부에 의한 외곽선추적이 성공하는 경우, 추적 외곽선의 x좌표가 관심영역 내 외곽선 넓이 대비 임계값으로 설정된 위치이상 접근할 경우, 및 상기 외곽선검출부에 검출된 외곽선의 x좌표가 관심영역 내 외곽선의 임계값으로 설정된 위치 이상 접근할 경우를 동시에 모두 만족하면 외곽선이탈 경고신호를 발생시킬 수 있다.

도 13은 도 1의 캘리브레이션부를 구성하는 세부구성도이다.

도면에 도시된 바와 같이, 본 발명의 실시예에 따른 시스템을 구성하는 캘리브레이션부(500)는, ROI위치조정부(510), 외곽선넓이조정부(520), 및 데이터안정화부(530)를 구비할 수 있다.

한편, 본 발명은 저가의 저사양 블랙박스에서도 실시간 처리를 위해 전체 입력영상영역에서 외곽선을 검출하는 것이 아니라 일정영역의 관심영역(ROI)를 설정하고 이를 이용하여 외곽선을 검출하는 것으로 ROI의 위치는 외곽선검출과 그에 따른 시스템의 퀄리티에 많은 영향을 미칠 수 있다.

도 14 내지 도 16은 도 13의 캘리브레이션부를 설명하기 위한 도면이다.

도 14에 도시된 바와 같이, 본 발명의 실시예에서, 관심영역의 위치이동 기준값은 ROI[left(x), top(y)] 인 것을 알 수 있다.

본 발명의 실시예에 따른 캘리브레이션부(500)는,도 13에 도시된 ROI위치 조정부(510)가 도 1의 영상처리부(300)에서 검출되는 외곽선 데이터를 이용하여 관심영역의 위치값을 조정하기 위한 변동값을 생성하는 것을 알 수 있다.

한편, 도 15는 외곽선의 y=ROIheight 의 위치에서 x좌표를 이용하여 ROI의 left위치를 먼저 조정하는 것과 y좌표를 이용하여 ROI의 top위치를 조정할 수 있다.

즉, 왼쪽외곽선만 검출될 경우는 ROIleft = ROIleft + Leftx + margin, 오른쪽 외곽선만 검출될 경우는 ROIleft=ROIleft+(ROIwidth-Rightx)+margin, 왼쪽 오른쪽 외곽선 모두 검출되면 ROIleft=Leftx+((Rightx-Leftx)/2)-(ROIwidth/2)를 적용할 수 있다.

도 15를 참고로 하여 더욱 상세하게 설명하면, 왼쪽과 오른쪽의 RANSAC의 inlier 데이터 y좌표가 가장 큰 위치 기준으로 top값을 조정할 수 있으며 Leftbottom>Rightbottom 이면 ROItop=ROItop-(ROIheight-Leftbottom)+margin, 그렇지 않을 경우엔 ROItop=ROItop-(ROIheight-Rightbottom)+margin 을 적용한다.

또한, 본 발명의 실시예에 따른 캘리브레이션부(500)는 도 1의 영상처리부(300)에서 검출되는 외곽선 데이터를 이용하여 외곽선넓이값을 추정하고 상기 경고신호부에 전달되어 외곽선넓이를 조정하기 위한 변동값을 생성하도록 도 13에 도시된 외곽선넓이 조정부(520)를 구비할 수 있다.

이때, 도 16에 도시된 바와 같이,두 외곽선의 y=ROIheight 의 위치에서 x좌표를 이용하여 외곽선의 넓이를 추정할 수 있으며, width=Right x-Left x 를 적용할 수 있다.

여기서, 도 13의 데이터 안정화부(530)는, 칼만필터 및 평균값 중 어느 하나를 이용한 방식으로 상기 ROI위치 조정부(510) 및 상기 외곽선넓이 조정부(520)에 의해 생성된 변동값 데이터를 각각 안정화시킬 수 있다.

이하에서는 흐름도를 참조하여 상술한 처리속도를 향상시킨 실시간 외곽선 인식시스템을 이용한 외곽선이탈 경보방법을 설명하기로 한다.

도 1 내지 도 16에서 상술한 동일한 구성에 [0150] 대한 설명은 생략하기로 한다.

도 17은 본 발명의 다른 실시예에 따른 처리속도를 향상시킨 자동차 블랙박스용 실시간 외곽선이탈 경보방법을 나타내는 흐름도이다.

본 발명의 실시예에 따른 처리속도를 향상시킨 실시간 외곽선이탈 카메라의 영상정보를 이용하여 외곽선이탈시 운전자에게 외곽선이탈을 경고하는 외곽선이탈 경보방법에 있어서, 상기 카메라를 통하여 RGB방식 및 YUV방식 중 어느 하나의 영상포맷으로 형성되는 영상정보를 추가조작없이 원시영상데이터로 입력받는 단계; 영상정보를 전처리하여 외곽선을 검출하기 위한 관심영역의 실시간 외곽선인식을 위한 영상처리용 이미지를 생성하는 단계; 상기 생성된 영상처리용 이미지의 노이즈를 제거하고 후보외곽선을 추출한 다음 RANSAC알고리즘을 이용하여 외곽선 데이터를 검출하는 단계; 및 상기 검출된 외곽선 데이터가 경고발생 조건을 만족하는 경우에 외곽선이탈 경고신호를 발생시키는 단계;를 구비할 수 있다.

또한, 본 발명의 실시예에 따른 처리속도를 향상시킨 실시간 외곽선이탈 경보방법은, 외곽선 데이터를 이용하여 상기 영상정보에서 추출되는 관심영역의 위치값 및 경고신호를 발생시키기 위해 참조되는 외곽선넓이값을 실 시간으로 조정하는 단계;를 더 구비할 수 있다.

도 18 내지 도 20은 도 17의 흐름도를 더욱 상세하게 설명하기 위한 흐름도이다.

상기 영상정보를 전처리하여 외곽선을 검출하기 위한 관심영역의 실시간 외곽선인식을 위한 영상처리용 이미지를 생성하는 단계는, 영상정보를 구성하는 영상화면의 하측 중심부를 기준으로 외곽선검출을 위한 관심영역에 대응되는 ROI이미지를 추출하는 단계; 상기 관심영역의 ROI이미지를 외곽선인식이 가능한 최소 사이즈에 대응되는 특정크기로 재조정하는 단계; 및 상기 재조정된 ROI이미지로부터 흑백이미지를 생성하는 단계;를 구비할 수 있다.

또한, 본 발명의 실시예에 따른 처리속도를 향상시킨 실시간 외곽선이탈 경보방법은, 외곽선데이터를 이용하여 관심영역의 위치값이 조정될 경우 상기 영상정보를 구성하는 영상화면에서 ROI이미지가 추출되는 위치를 실시간으로 변경하는 단계;를 더 포함할 수 있다.

또한, 상기 관심영역의 ROI이미지를 외곽선인식이 가능한 최소 사이즈에 대응되는 특정크기로 재조정하는

단계는, 파노라마 형태의 ROI이미지를 세로길이는 기준값으로 고정하고 가로길이를 전체적으로 축소하여 가로길이가 세로길이에 비하여 상대적으로 짧게 형성된 직사각형 형태의 ROI이미지로 사이즈를 재조정하는 단계일 수 있다.

또한, 상기 재조정된 ROI이미지로부터 흑백이미지를 생성하는 단계는, 입력되는 영상정보가 휘도신호인 Y값과 색채신호인 U값 및 V값으로 이루어진 YUV방식의 영상포맷일 경우에는 휘도신호인 Y값만을 추출하여 흑백이미지를 생성하는 과정을 수행하고, 영상정보입력부를 통해 입력되는 영상정보가 RGB방식의 영상포맷일 경우에는 상기의 수학식 1을 이용하여 흑백이미지(gray)를 생성하는 과정을 수행할 수 있다.

또한, 상기 생성된 영상처리용 이미지의 노이즈를 제거하고 후보외곽선을 추출한 다음 ANSAC알고리즘을 이용하여 외곽선 데이터를 검출하는 단계는, 영상처리용 이미지의 노이즈 제거를 위한 가우시안 블러 이미지를 생성하는 단계; 가우시안 블러 이미지에서 수평 그라디언트를 이용하여 후보외곽선을 추출하는 단계; 상기 후보외곽선에 대한 초기 검색영역을 설정하는 단계; 상기 검색영역에서 RANSAC알고리즘을 이용하여 외곽선을 이루는 점들을 찾은 다음 각각의 점들을 직선으로 연결함으로써 외곽선 데이터를 검출하는 단계; 상기 검출된 외곽선 데이터로 이루어진 외곽선에 대해 칼만필터를 이용하여 안정적으로 추적하는 단계; 및 상기 추적결과에 대응하여 상기 후보외곽선에 대한 검색영역을 재설정하는 단계;를 구비할 수 있다.

또한, 상기 가우시안 블러 이미지에서 수평 그라디언트를 이용하여 후보외곽선을 추출하는 단계는; 상기의 수평 그라디언트 이미지를 생성하고 수평 그라디언트 값의 극소값과 극대값의 관계를 이용하여 후보외곽선을 추출하는 단계; 추출된 후보외곽선에 대해 중앙값을 남기고 제거하여 최소 두께의 후보외곽선을 형성하는 단계; 시간의 경과에 따라 변화가 없을 경우 후보외곽선을 제거하는 단계;를 구비할 수 있다.

또한, 상기 후보외곽선을 추출하는 단계는, 상기 생성된 수평 그라이디언트 이미지를 구성하는 수평 그라디언트 값의 극소값과 극대값의 값 차이가 일정값 이상일 경우와 수평그라디언트 값의 극소값과 극대값의 거리 차이가 일정거리 이하일 경우를 동시에 만족하는 경우에 후보외곽선으로 판단하는 단계일 수 있다.

또한, 상기 후보외곽선에 대한 초기 검색영역을 설정하는 단계는 후보외곽선에 대한 초기 검색영역에 해당하는 기준선의 검색넓이(W)와 기준선의 기울기(θ) 및 기준선의 거리(rho)를 설정하는 단계일 수 있다.

또한, 상기 검색영역에서 RANSAC알고리즘을 이용하여 외곽선을 이루는 점들을 찾은 다음 각각의 점들을 직선으로 연결함으로써 외곽선 데이터를 검출하는 단계는, 상기 후보외곽선의 검색영역에서 외곽선을 이루는 점들에 대응되며 랜덤하게 샘플링된 데이터들을 이용하여 단일의 직선을 형성하는 외곽선을 검출하는 단계일 수 있다.

또한, 상기 추적결과에 대응하여 상기 후보외곽선에 대한 검색영역을 재설정하는 단계는, 일정시간 동안 검색영역의 넓이(W)값이 초기값과 동일하면 추적실패로 간주하고 검색영역을 초기검색영역으로 재설정 하는 단계를 포함 할 수 있다.

또한, 상기 검출된 외곽선 데이터가 경고발생조건을 만족하는 경우에 외곽선이탈 경고신호를 발생시키는 단계는, 일정시간 이상 상기 외곽선추적부에 의한 외곽선추적이 성공하는 경우, 추적 외곽선의 x좌표가 관심영역 내외곽선 넓이 대비 임계값으로 설정된 위치이상 접근할 경우, 및 상기 외곽선검출부에 검출된 외곽선의 x좌표가 관심영역 내 외곽선의 임계값으로 설정된 위치 이상 접근할 경우를 동시에 모두 만족하면 외곽선이탈 경고신호를 발생시키는 단계일 수 있다.

또한, 상기 외곽선 데이터를 이용하여 상기 영상정보에서 추출되는 관심영역의 위치값 및 경고신호를 발생시키기 위해 참조되는 외곽선넓이값을 실시간으로 조정하는 단계는, 외곽선 데이터를 이용하여 관심영역의 위치값을 조정하기 위한 변동값을 생성하는 단계와; 상기 영상처리부에서 검출되는 외곽선 데이터를 이용하여 외곽선넓이값을 추정하고 상기 경고신호부에 전달되어 외곽선넓이를 조정하기 위한 변동값을 생성하는 단계; 및 칼만필터 및 평균값 중 어느 하나를 이용한 방식으로 생성된 변동값 데이터를 안정화시키는 단계;를 구비할 수 있다.

상기와 같이, 본 발명은, 카메라에서 촬영한 영상으로부터 추출되는 관심영역의 위치를 보정하여 저사양 하드웨어를 구비한 시스템을 사용하는 사용자에게도 실시간으로 처리속도를 향상시킨 실시간 외곽선이탈 경보시스템을 제공하는 효과가 있다.

또한, 본 발명은, 영상처리용 이미지를 생성하는 경우에 관심영역에 대응되는 ROI이미지의 크기를 블랙박스에서 외곽선인식이 가능한 최소사이즈로 재조정함으로써 처리속도롤 향상시킬 수 있는 효과가 있다.

또한, 본 발명은, ROI이미지의 크기를 재조정하는 경우에 외곽선을 검출할 수 있도록 넓은 영역의 파노라마 형태를 갖는 이미지를 영상정보에서 추출한 다음 추출한 이미지에서 세로길이를 고정값으로 하여 가로길이 전체를 줄이는 방법을 사용함으로써 처리속도를 향상시키면서도 외곽선검출효율을 향상시키는 효과가 있다.

또한, 본 발명은, 영상처리부에서 후보외곽선을 추출하는 경우에 수평 그라디언트 이미지를 생성하고 극소값과 극대값의 관계를 이용하여 후보외곽선을 추출한 다음 중앙값만으로 이용하여 후보외곽선을 형성함으로써 연산에 필요 한 데이터크기를 줄여 처리속도를 향상시키는 효과가 있다.

또한, 본 발명은, 영상처리부에서 검출되는 외곽선데이터를 검출하는 경우에 RANSAC알고리즘을 이용하여 외곽선을 이루는 점들을 찾은 다음 각각의 점들을 단일의 직선으로 연결하여 검출함으로써 여러개의 라인 중에서 외곽선을 검출하는 방식에 비해 처리되는 데이터크기를 줄일 수 있어 처리속도를 향상시키고 실시간 인식이 가능한 효과가 있다.

또한, 본 발명은, 영상처리부를 구성하는 외곽선 데이터처리부에 후보외곽선에 대한 검색영역을 재설정하는 검색영역 재설정부를 구비하여 관심영역에서의 후보외곽선의 위치변화에 실시간으로 대응하여 외곽선을 추적할 수 있는 효과가 있다.

또한, 본 발명은, 경고신호부에서 경고신호를 발생시키기 위하여 외곽선추적이 성공한 경우와 추적외곽선 및 외곽선의 X좌표에 대한 임계값내 접근할 경우 모두의 조건을 만족하는 경우로 한정함으로써 안전성을 향상시키는 효과가 있다.

지금까지 본 발명에 대해서 상세히 설명하였으나, 그 과정에서 언급한 실시예는 예시적인 것일 뿐이며, 한정적인 것이 아님을 분명히 하고, 본 발명은 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상이나 분야를 벗어나지 않는 범위내에서, 균등하게 대처될 수 있는 정도의 구성요소 변경은 본 발명의 범위에 속한다 할 것이다.

100 : 영상정보입력부 200 : 영상처리용 전처리부
210 : ROI이미지 추출부 220 : ROI사이즈 재조정부
230 : 흑백이미지 생성부 300 : 영상처리부
310 : 가우시안블러 이미지 생성부 320 : 후보외곽선 추출부
321 : 수평그라디언트 처리부 322 : 후보외곽선 형성부
323 : 외곽선제거부 330 : 외곽선 데이터 처리부
331 : 검색영역 설정부 332 : 외곽선 검출부
333 : 외곽선추적부 334 : 검색영역 재설정부
400 : 경고신호부 500 : 캘리브레이션부
510 : ROI위치 조정부 520 : 외곽선넓이 조정부
530 : 데이터 안정화부

Claims (2)

1. 영상정보를 전처리하여 외곽선을 검출하기 위한 관심영역의 실시간 외곽선인식을 위한 영상처리용 이미지를 생성하는 단계는, 영상정보를 구성하는 영상화면의 하측 중심부를 기준으로 외곽선검출을 위한 관심영역에 대응되는 ROI이미지를 추출하는 단계; 상기 관심영역의 ROI이미지를 외곽선인식이 가능한 최소 사이즈에 대응되는
   특정크기로 재조정하는 단계; 및 상기 재조정된 ROI이미지로부터 흑백이미지를 생성하는 단계;를 구비하며, 상기 관심영역의 ROI이미지를 외곽선인식이 가능한 최소 사이즈에 대응되는 특정크기로 재조정하는 단계는, 파노라마 형태의 ROI이미지를 세로길이는 기준값으로 고정하고 가로길이를 전체적으로 축소하여 가로길이가 세로길이에 비하여 상대적으로 짧게 형성된 직사각형 형태의 ROI이미지로 사이즈를 재조정하는 단계인 것을 특징으로하는 처리속도를 향상시킨 실시간 방법
   
2. 청구항 1에 있어서,
   외곽선 데이터를 이용하여 관심영역의 위치값이 조정될 경우 상기 영상정보를 구성하는 영상화면에서 ROI 이미지가 추출되는 위치를 실시간으로 변경하는 단계;를 더 포함하는 것을 특징으로 하는 처리속도를 향상시킨 방법
   

Images