KR101895678B1 - 차량용 영상 인식 시스템의 효율적인 탐색 영역 설정 방법 - Google Patents

Abstract

차량용 영상 인식 시스템의 효율적인 탐색 영역 설정 방법이 제공된다. 본 발명의 실시예에 따른 영상 인식 방법은, 원본 이미지를 스케일 변환하여 다수의 이미지들을 생성하고, 슬라이딩 윈도우를 스캔할 관심 영역들을 이미지들의 일부 영역들로 설정한다. 이에 의해, ADAS 시스템에서 도로상에 존재하는 객체를 인식하기 위하여 이미지 전 영역을 탐색하지 않고, 이미지 피라미드에 따라 효과적으로 탐색 영역을 설정함으로써, 슬라이딩 윈도우의 생성 개수를 최소화하여 처리속도를 획기적으로 높일 수 있게 된다.

Description

차량용 영상 인식 시스템의 효율적인 탐색 영역 설정 방법{Efficient Search Window Set-Up Method for the Automotive Image Recognition System}

본 발명은 영상 인식 기술에 관한 것으로, 더욱 상세하게는 차량용 운전자 지원 시스템(ADAS: Advanced Driver Assistance System)을 위한 영상 인식 시스템에서 효율적인 탐색 영역 설정 방법에 관한 것이다.

ADAS 용 영상 인식 시스템은 보행자나 차량 등의 장애물을 인식하고 사고를 회피하기 위한 목적이 있다.

보행자나 차량 등이 카메라 영상 내에 어느 지점에 어떠한 크기로 나타날지 알 수 없기 때문에, 보통은 이미지 피라미드를 사용하여, 한 장의 이미지를 다양한 스케일로 변환하여 다단계로 영상인식을 수행하고 있다.

한 장의 이미지에 대해 다양한 스케일의 이미지 피라미드를 구성하는 방식은 처리를 위한 슬라이딩 윈도우의 개수가 너무 많아 시스템 처리속도의 바틀랙으로 작용하게 되며 실시간 처리를 어렵게 하는 주요한 원인이다.

이에 따라 슬라이딩 윈도우의 생성 개수를 줄이기 위한 방안의 모색이 요청된다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, ADAS 시스템에서 도로상에 존재하는 객체를 인식하기 위하여 이미지 전 영역을 탐색하지 않고, 이미지 피라미드에 따라 효과적으로 탐색 영역을 설정하는 방법을 제공함에 있다.

또한, 본 발명의 다른 목적은, 생성된 슬라이딩 윈도우가 텍스쳐가 충분하지 않는 것은 사전에 제거함으로써 인식 속도를 효율적으로 개선하는 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상 인식 방법은, 원본 이미지를 스케일 변환하여 다수의 이미지들을 생성하는 단계; 및 슬라이딩 윈도우를 스캔할 관심 영역들을 이미지들의 일부 영역들로 설정하는 단계;를 포함한다.

그리고, 관심 영역의 중심에 대한 x 좌표는, 이미지의 스케일 값에 따라 조정될 수 있다.

또한, 관심 영역의 중심에 대한 y 좌표는, 이미지의 스케일 값에 따라 조정될 수 있다.

그리고, 관심 영역의 중심에 대한 y 좌표는, 거리가 무한대인 기준선의 중심의 y 좌표일 수 있다.

또한, 관심 영역들의 폭들은 동일할 수 있다.

그리고, 관심 영역들의 높이들은 동일할 수 있다.

또한, 본 발명의 실시예에 따른 영상 인식 방법은, 관심 영역들 각각에 대해 일부 영역들을 선정하는 단계; 및 선정된 영역들에서 영상 인식을 수행하는 단계;를 더 포함할 수 있다.

그리고, 선정단계는, 텍스쳐 밀도가 기준을 초과하는 영역들일 수 있다.

또한, 원본 이미지는, 차량용 카메라를 통해 생성한 이미지일 수 있다.

한편, 본 발명의 다른 실시예에 따른, 영상 인식 시스템은, 원본 이미지를 생성하는 촬영부; 및 촬영부에 의해 생성된 원본 이미지를 스케일 변환하여 다수의 이미지들을 생성하고, 슬라이딩 윈도우를 스캔할 관심 영역들을 이미지들의 일부 영역들로 설정하는 프로세서;를 포함한다.

한편, 본 발명의 다른 실시예에 따른, 영상 인식 방법은, 이미지에서 관심 영역을 설정하는 단계; 관심 영역에 대해 일부 영역들을 선정하는 단계; 선정된 영역들에서 영상 인식을 수행하는 단계;를 포함한다.

한편, 본 발명의 다른 실시예에 따른, 영상 인식 시스템은, 이미지를 생성하는 촬영부; 및 촬영부에 의해 생성된 이미지에서 관심 영역을 설정하고, 관심 영역에 대해 일부 영역들을 선정하며, 선정된 영역들에서 영상 인식을 수행하는 프로세서;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, ADAS 시스템에서 도로상에 존재하는 객체를 인식하기 위하여 이미지 전 영역을 탐색하지 않고, 이미지 피라미드에 따라 효과적으로 탐색 영역을 설정함으로써, 슬라이딩 윈도우의 생성 개수를 최소화하여 처리속도를 획기적으로 높일 수 있게 된다.

또한, 본 발명의 실시예들에 따르면, 생성된 슬라이딩 윈도우가 텍스쳐가 충분하지 않는 것은 사전에 제거함으로써, 인식 속도를 효율적으로 개선할 수 있게 된다.

도 1은 이미지 피라미드의 설명에 제공되는 도면,
도 2는 윈도우 이동의 설명에 제공되는 도면,
도 3은 거리가 먼 객체의 위치 및 크기를 나타낸 이미지,
도 4는 거리가 가까운 객체의 위치 및 크기를 나타낸 이미지,
도 5는 Perspective Projection 계산의 설명에 제공되는 도면,
도 6 내지 도 8은, 이미지 피라미드의 구성 예를 나타낸 도면들.
도 9는 텍스쳐가 없는 영역을 표시한 이미지,
도 10은 슬라이딩 윈도우의 유효성 검사 과정의 설명에 제공되는 흐름도,
도 11에는 소벨 엣지 필터링을 위한 마스크와 Magnitude M을 구하는 과정을 나타낸 도면,
도 12는 본 발명의 일 실시예에 따른 차량용 영상 인식 시스템의 블럭도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

영상 인식 시스템에서는 해당 대상체의 위치를 미리 알 수 없으며 영상 내에 어떠한 크기로 나타나는지 또한 미리 알 수 없기 때문에, 한 장의 이미지를 여러 스케일에 걸쳐서 인식을 수행해야 한다.

이미지를 여러 스케일(scale)에 걸쳐서 분석하는 가장 기본적인 방법은 입력 이미지의 크기를 단계적으로 변화(축소)시켜 가면서 필요한 분석 작업을 하는 것이다. 이 때 이렇게 생성된 일련의 이미지 집합을 이미지 피라미드(image pyramid)라 부른다.

예를 들어 영상에서 보행자를 검출하는 경우, 먼저 도 1과 같이 이미지 피라미드를 생성한 후, 도 2와 같이 각 스케일 영상에서 고정된 크기의 윈도우를 이동(슬라이딩 윈도우)시켜 가면서 윈도우 내 영역이 보행자인지 여부를 판단하는 것이 일반적이다.

입력 기준 스케일을 1이라고 가정하고 스케일팩터를 0.8로 둔다면, 이때 생성되는 이미지 피라미드의 스케일은 (1, 0.8, 0.8×0.8, 0.8×0.8×0.8, ...)에 해당하며, 도 1과 같은 피라미드 형태가 될 것이다.

이미지 한 장에 대해서 구성된 다양한 스케일의 이미지 피라미드에 대하여 인식을 수행하기 때문에, 생성되는 슬라이딩 윈도우의 개수가 기하학적으로 증가하게 된다.

슬라이딩 윈도우의 개수가 증가하면 인식을 위한 처리시간도 기하학적으로 증가하게 되므로, 슬라이딩 윈도우의 개수를 줄이는 것이 인식 시스템의 시스템 효율을 향상시킬 수 있는 방법이 된다.

생성되는 슬라이딩 윈도우의 개수를 줄이기 위해서, 본 발명의 실시예에서는 두 가지 기법을 제시한다.

첫째는 이미지 피라미드에 대한 효율적인 탐색영역 설정이며, 둘째는 슬라이딩 윈도우의 유효성 테스트를 먼저 진행하여 유효하지 않은 윈도우는 인식 대상에서 제외하는 것이다.

1. 이미지 피라미드에 대한 효율적인 탐색영역 설정 방법

운전자 보조 시스템(ADAS)에서 인식해야 할 대상물체, 예를 들면 보행자 혹은 차량 등은 크기가 일정 범위 이내 이며, 이들 물체는 모두 도로상에 존재한다. 따라서 인식물체는 도로상에서 거리가 멀면 카메라 영상 내에서는 작은 이미지(도 3 참조)로 거리가 가까우면 영상 내에서는 큰 이미지(도 4 참조)로 나타나게 된다.

이와 같은 원리를 이용하면, 이미지 피라미드를 구성하였을 때, 각 피라미드 마다 전체 영역을 슬라이딩 윈도우로 스캔할 필요가 없으며, 이미지 피라미드의 스케일 팩터에 따라서 특정 영역으로 관심영역을 한정할 수 있다.

차량의 실제 거리와 이미지 픽셀 간의 관계는 Perspective Projection을 통해 계산할 수 있다.

예를 들어, 도 5에 나타난 바와 같이, ADAS 카메라가 장착된 차량의 도로상의 위치를 원점(0,0,0)으로 잡는다면, 카메라 장착 위치를 (0,H,0)이라 가정할 수 있으며, 카메라와 도로 지면과의 Tilt angle이

라면, 도로면에 존재하는 Object는 (x, 0, z)로 표현할 수 있으며, 이미지 좌표 (u, v)와의 관계는 다음과 같이 표현한다. z값이 실제 차량과의 Distance를 나타낸다. 여기에서 u₀와 v₀는 카메라의 주점의 좌표이다.

카메라로 취득한 이미지의 해상도가 w×h인 영상 인식 시스템에서, 거리 z가 무한대의 위치에 존재하는 물체의 v 좌표는 아래와 같으며, 이를 기준으로 기준선을 그을 수가 있다.

도 6과 같이 v_∞를 기준으로 가로 RW와 세로 RH의 탐색 영역 ROI(Region Of Interest)를 설정할 수 있으며, RW와 RH는 슬라이딩 윈도우의 크기(sw×sh) 보다 커야 한다.

'이미지 피라미드 0'은 scale=1 이므로 피라미드의 크기는 원래 이미지의 크기 w×h 와 같으며, '이미지 피라미드 0' 내에 RW×RH의 크기에 해당하는 ROI 영역을 v_∞를 기준으로 설정할 수 있다. 즉, ROI 영역의 중심 좌표(x,y)를 v_∞의 중심 좌표(x,y)로 설정하는 것이다.

v_∞를 기준으로 높이의 배분 비율은 a(0≤a≤1)에 의해 상황에 의해 결정될 수 있다. a=0.5가 적정하지만, 그 밖의 다른 값을 배제하는 것은 아니다.

'이미지 피라미드 1'은 '이미지 피라미드 0'에 대해 Scale factor(Fs)를 적용하여 Scale-down을 수행한 것이며, 도 7의 예에서는 Fs=0.6을 적용하였다. 이에 따라 '이미지 피라미드 1'의 scale값은 0.6이 되며, 이미지의 크기와 기준선의 좌표 또한 scale값(0.6)에 의해 조정되나, RW와 RH의 크기는 '이미지 피라미드 0'와 같은 고정값 사용하며, a값도 고정값으로 설정하여 ROI를 설정한다.

이와 같은 방식으로 ROI의 크기는 '이미지 피라미드 0'과 동일하게 RW×RH로 변화시키지 않으면서, 스케일 팩터를 적용하여 원본 이미지를 작게 만들고 해당 ROI를 아래와 같이 적용하면, 효과적으로 영상 인식 시스템의 탐색 영역을 구성할 수 있게 된다.

도 8에는 '이미지 피라미드 2'의 구성 예를 제시하였다. 이에 따르면, ROI의 크기(폭×높이)는 모든 이미지들에 대해 동일하며, ROI의 중심 좌표(x,y)는 해당이미지의 스케일 값에 따라 조정/이동되게 된다.

기존의 슬라이딩 윈도우 전체를 탐색 영역으로 지정하는 경우 HD급 영상을 기준으로 총 175,421개의 슬라이딩 윈도우가 생성이 되었으며, 본 발명의 실시예에서 제시한 방식을 이용할 경우 생성되는 슬라이딩 윈도우의 개수는 8,860개였다. RH와 RW의 크기를 어떻게 설정하느냐에 따라 그 효율이 결정이 되겠지만 기존 기술 대비 90% 이상의 슬라이딩 윈도우의 개수를 줄일 수 있을 것으로 판단된다.

2. 슬라이딩 윈도우의 유효성 검사

어떠한 물체를 포함하고 있는 슬라이딩 윈도우는 도 9에 표시된 바와 같은 텍스쳐가 없는 영역을 인식 대상에서 제외할 수 있다. 운전자 지원 시스템의 경우 도로 영역과 하늘 영역과 같은 텍스쳐가 거의 존재하지 않는 영역은 슬라이딩 윈도우의 유효성 검사를 수행하여, 인식 대상에서 제외 시킴으로써 유효한 슬라이딩 윈도우를 효과적으로 줄일 수 있고, 이로써 인식을 위한 수행 시간을 단축 시킬수 있다.

이러한 텍스쳐가 거의 없는 영역을 인식 대상에서 제거하기 위하여, 도 10에 도시된 흐름도에 따른 처리를 수행할 수 있다.

구체적으로, 도 10에 도시된 바와 같이, Sobel Filter 나 Canny Filter와 같은 엣지를 추출하는 필터로 필터링한 후(S110), 슬라이딩 윈도우 내에서 엣지의 Magnitude 값을 누적하고(S120), 이 누적값을 슬라이딩 윈도우의 크기로 Normalize 함으로써, 해당 슬라이딩 윈도우 내에서 텍스쳐의 밀도를 구한다(S130).

그리고, 텍스쳐의 밀도가 기준 문턱치보다 큰 경우(S140-Y), 해당 슬라이딩 윈도우는 유효한 윈도우로 정의하고 인식 알고리즘을 수행한다(S150). 반면, 텍스쳐의 밀도가 기준 문턱치 이하인 경우(S140-N), 해당 슬라이딩 윈도우는 유효하지 않은 윈도우로 정의하고 인식 알고리즘을 수행하지 않는다(S160).

엣지 필터링은 Sobel 엣지 필터링, Prewitt, Canny 엣지 필터링 등을 사용할 수 있으며, 이미지 내에서 윤곽선을 추출하기 위한 알고리즘을 사용한다.

도 11에는 소벨 엣지 필터링을 위해 사용하는 수평 마스크 Sx와 수직 마스크 Sy를 나타내었고, 이를 이용해 Magnitude M을 구하는 과정을 예를 나타내었다.

슬라이딩 윈도우 내에서 엣지 필터 결과값 중에서 Magnitude 값의 누적값을 구한다. w는 슬라이딩 윈도우의 width를 h는 height를 의미한다.

이 누적값을 w×h로 Normalize 하여 슬라이딩 윈도우 내에서 텍스쳐의 밀도 T를 계산한다.

실험을 통하여 텍스쳐의 밀도의 Threshold를 20으로 설정하여 생성되는 슬라이딩 윈도우의 개수는 기존에 175,421개에서 122,828개로 약 30% 정도 개수가 줄어들었으며, 이에 따라 인식 속도가 30% 빨라질 것으로 예상된다.

3. 차량용 영상 인식 시스템

도 12는 본 발명의 일 실시예에 따른 차량용 영상 인식 시스템의 블럭도이다. 본 발명의 실시예에 따른 차량용 영상 인식 시스템은, 도 12에 도시된 바와 같이, 촬영부(110), 영상 프로세서(120), 출력부(130) 및 저장부(140)를 포함한다.

촬영부(110)는 차량에 장착되어, 차량 전방/주변을 촬영하여 영상을 생성한다. 촬영부(110)에 의해 생성된 영상은 영상 프로세서(120)로 인가된다.

영상 프로세서(120)는 전술한 촬영부(110)에 의해 생성된 영상에서 대상물체(차량, 사람 등)를 인식한다. 영상 프로세서(120)에 의한 영상 인식에는 전술한 "1. 이미지 피라미드에 대한 효율적인 탐색영역 설정"과 "2. 슬라이딩 윈도우의 유효성 검사"가 적용된다.

출력부(130)는 영상 프로세서(120)에 의한 영상 인식 결과를 다른 디바이스(이를 테면, 제동 시스템)로 전달하거나, 디스플레이를 통해 시각적으로 출력하기 위한 구성이다.

저장부(140)는 촬영부(110)에 의해 생성된 영상이 임시 저장되고, 영상 프로세서(120)가 영상 인식을 수행함에 있어 필요한 저장 공간을 제공한다.

4. 변형예

본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어져서는 안될 것이다.

110 : 촬영부
120 : 영상 프로세서
130 : 출력부
140 : 저장부

Claims (12)

1. 원본 이미지를 스케일 변환하여 다수의 이미지들을 생성하는 단계;
   슬라이딩 윈도우를 스캔할 관심 영역들을 이미지들의 일부 영역들로 설정하는 단계;를 포함하고,
   다수의 이미지들 각각에 대한 관심 영역들은,
   폭과 높이가 동일하며,
   원본 이미지의 관심 영역의 중심 좌표는,
   거리가 무한대인 기준선의 중심 좌표와 동일하고,
   스케일 변환된 이미지의 관심 영역의 중심 좌표는,
   원본 이미지의 관심 영역의 중심 좌표를 스케일 값에 따라 조정한 좌표인 것을 특징으로 하는 영상 인식 방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 청구항 1에 있어서,
   관심 영역들 각각에 대해 인식 대상 영역들을 선정하는 단계; 및
   선정된 영역들에서 영상 인식을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 영상 인식 방법.
   
8. 청구항 7에 있어서,
   선정단계는,
   텍스쳐 밀도가 기준을 초과하는 영역들인 것을 특징으로 하는 영상 인식 방법.
   
9. 청구항 1에 있어서,
   원본 이미지는,
   차량용 카메라를 통해 생성한 이미지인 것을 특징으로 하는 영상 인식 방법.
   
10. 원본 이미지를 생성하는 촬영부;
    촬영부에 의해 생성된 원본 이미지를 스케일 변환하여 다수의 이미지들을 생성하고, 슬라이딩 윈도우를 스캔할 관심 영역들을 이미지들의 일부 영역들로 설정하는 프로세서;를 포함하고,
    다수의 이미지들 각각에 대한 관심 영역들은,
    폭과 높이가 동일하며,
    원본 이미지의 관심 영역의 중심 좌표는,
    거리가 무한대인 기준선의 중심 좌표와 동일하고,
    스케일 변환된 이미지의 관심 영역의 중심 좌표는,
    원본 이미지의 관심 영역의 중심 좌표를 스케일 값에 따라 조정한 좌표인 것을 특징으로 하는 영상 인식 시스템.
    
11. 원본 이미지를 스케일 변환하여 생성한 이미지에서 관심 영역을 설정하는 단계;
    관심 영역에 대해 일부 영역들을 선정하는 단계;
    선정된 영역들에서 영상 인식을 수행하는 단계;를 포함하고,
    이미지에 대한 관심 영역은,
    원본 이미지를 다르게 스케일 변환하여 생성한 다른 이미지에 대한 관심 영역과 폭과 높이가 동일하며,
    원본 이미지의 관심 영역의 중심 좌표는,
    거리가 무한대인 기준선의 중심 좌표와 동일하고,
    스케일 변환된 이미지의 관심 영역의 중심 좌표는,
    원본 이미지의 관심 영역의 중심 좌표를 스케일 값에 따라 조정한 좌표인 것을 특징으로 하는 영상 인식 방법.
    
12. 원본 이미지를 생성하는 촬영부;
    촬영부에 의해 생성된 원본 이미지를 스케일 변환하여 생성한 이미지에서 관심 영역을 설정하고, 관심 영역에 대해 일부 영역들을 선정하며, 선정된 영역들에서 영상 인식을 수행하는 프로세서;를 포함하고,
    이미지에 대한 관심 영역은,
    원본 이미지를 다르게 스케일 변환하여 생성한 다른 이미지에 대한 관심 영역과 폭과 높이가 동일하며,
    원본 이미지의 관심 영역의 중심 좌표는,
    거리가 무한대인 기준선의 중심 좌표와 동일하고,
    스케일 변환된 이미지의 관심 영역의 중심 좌표는,
    원본 이미지의 관심 영역의 중심 좌표를 스케일 값에 따라 조정한 좌표인 것을 특징으로 하는 영상 인식 시스템.
    

Images