KR101920281B1

KR101920281B1 - 차량 내에서 입력 영상 데이터로부터 객체를 검출하는 장치 및 방법

Info

Publication number: KR101920281B1
Application number: KR1020170080586A
Authority: KR
Inventors: 송호현; 조태호; 최현규
Original assignee: (주)넥스트칩
Priority date: 2017-06-26
Filing date: 2017-06-26
Publication date: 2018-11-21

Abstract

일실시예에 따른 객체 검출 장치는 복수의 프레임을 포함하는 입력 영상을 수신하고 복수의 프레임에 대하여 다운스케일 로직 또는 크롭 로직을 선택적으로 적용하여 복수의 프레임 각각에 대응하는 복수의 저해상도 프레임을 생성한다. 이러한 방식에 의해 하드웨어 인식 엔진이 저해상도 영상만을 처리할 수 있는 환경 하에서도 하드웨어 인식 엔진의 설계변경 없이 고해상도 입력 영상에 따른 장점을 살릴 수 있으며, 원거리 객체에 대한 인식 성능과 미검출 영역 존재에 따른 위험을 필요에 따라 조정할 수 있다.

Description

차량 내에서 입력 영상 데이터로부터 객체를 검출하는 장치 및 방법{APPARATUS AND METHOD FOR DETECTING AN OBJECT FROM INPUT IMAGE DATA IN VEHICLE}

입력 영상 데이터로부터 객체를 검출하는 장치 및 방법에 연관되며, 보다 구체적으로는 주행 중인 차량 환경에서 실시간으로 입력되는 영상 데이터로부터 객체를 효과적으로 검출하는 장치 및 방법에 연관된다.

일반적으로 주행 중인 차량 환경에서 실시간으로 영상 데이터로부터 객체를 검출하는 경우 하드웨어의 제한된 성능으로 인하여 고해상도 영상을 높은 인식 성능으로 처리하는 데 한계가 있다.

예를 들어, VGA급 이하의 영상을 처리하는 인식 엔진을 구비한 경우 HD급 이상의 영상에 대하여 설계변경 없이 동일한 연산 속도와 인식 성능을 가질 수 없게 된다.

종래에 이러한 문제를 해결하기 위하여 검출할 수 있는 객체의 크기(필터)를 고정시키고 입력 영상을 다운스케일 처리하는 방식이 적용된 예가 있으나, 검출 가능한 객체의 크기가 크기 때문에 원거리의 객체 또는 작은 객체의 검출이 불가능하다는 단점이 있다.

또한, 입력 영상을 다운스케일 처리하지 않거나 검출할 수 있는 객체의 크기를 작게 설정하는 경우 연산의 대상이 되는 정보량이 많아지기 때문에 차량 내 하드웨어를 통해서 실시간으로 처리하기에는 연산 시간이 길어진다는 문제가 있다.

일측에 따르면, 영상 내의 객체를 검출하는 방법은 복수의 프레임을 포함하는 입력 영상을 수신하는 단계, 상기 복수의 프레임 중 제1 프레임에 대하여 다운스케일 로직을 적용하여 상기 제1 프레임과 연관된 제1 저해상도 프레임을 생성하는 단계, 상기 복수의 프레임 중 제2 프레임에 대하여 크롭 로직을 적용하여 상기 제2 프레임과 연관된 제2 저해상도 프레임을 생성하는 단계, 및 상기 제1 저해상도 프레임 및 상기 제2 저해상도 프레임을 영상 저장부에 저장하는 단계를 포함한다.

일실시예에서, 상기 제1 프레임 및 상기 제2 프레임은 시간적으로 인접한 프레임이다. 일실시예에서, 상기 제1 저해상도 프레임 및 상기 제2 저해상도 프레임의 해상도는 서로 동일하다.

일실시예에서, 영상 내의 객체를 검출하는 방법은 상기 복수의 프레임 중 제3 프레임에 대하여 다운스케일 로직을 적용하여 상기 제3 프레임과 연관된 제3 저해상도 프레임을 생성하는 단계, 및 상기 복수의 프레임 중 제4 프레임에 대하여 크롭 로직을 적용하여 상기 제4 프레임과 연관된 제4 저해상도 프레임을 생성하는 단계를 더 포함한다.

일실시예에서, 영상 내의 객체를 검출하는 방법은 상기 영상 저장부에 저장된 상기 제1 저해상도 프레임 및 상기 제2 저해상도 프레임에 기초하여 입력 영상 내의 객체를 검출하는 단계를 더 포함한다.

일실시예에서, 영상 내의 객체를 검출하는 방법은 상기 검출된 객체에 기초하여 상기 입력 영상 내에서 상기 크롭 로직이 적용되는 영역의 위치를 결정하는 단계를 더 포함한다.

일실시예에서, 상기 객체를 검출하는 단계는, 상기 제1 저해상도 프레임에 기초하여 광시야각의 객체 검출을 수행하는 단계, 및 상기 제2 저해상도 프레임에 기초하여 원거리의 객체 검출을 수행하는 단계를 포함한다.

다른 일측에 따르면, 영상 내의 객체를 검출하는 방법은 복수의 프레임을 포함하는 입력 영상을 수신하는 단계, 상기 복수의 프레임에 대하여 다운스케일 로직 또는 크롭 로직을 선택적으로 적용하여 상기 복수의 프레임 각각에 대응하는 복수의 저해상도 프레임을 생성하는 단계, 및 상기 복수의 저해상도 프레임을 영상 저장부에 저장하는 단계를 포함한다.

일실시예에서, 상기 복수의 저해상도 프레임을 생성하는 단계는, 상기 복수의 프레임 중 M개의 연속된 프레임에 대하여 상기 다운스케일 로직을 적용하고, 상기 M개의 연속된 프레임에 후속하는 N개의 연속된 프레임에 대하여 상기 크롭 로직을 적용하는 단계를 포함한다.

일실시예에서, 영상 내의 객체를 검출하는 방법은 상기 M의 값 및 상기 N의 값을 설정하는 단계를 더 포함한다.

일실시예에서, 영상 내의 객체를 검출하는 방법은 상기 영상 저장부에 저장된 상기 복수의 저해상도 프레임에 기초하여 입력 영상 내의 객체를 검출하는 단계를 더 포함한다.

다른 일측에 따르면, 영상 내의 객체를 검출하는 장치는 복수의 프레임을 포함하는 입력 영상을 수신하는 영상 입력부, 상기 복수의 프레임 중 제1 프레임에 대하여 다운스케일 로직을 적용하여 상기 제1 프레임과 연관된 제1 저해상도 프레임을 생성하고, 상기 복수의 프레임 중 제2 프레임에 대하여 크롭 로직을 적용하여 상기 제2 프레임과 연관된 제2 저해상도 프레임을 생성하는 영상 스위치부, 및 상기 제1 저해상도 프레임 및 상기 제2 저해상도 프레임이 저장되는 영상 저장부를 포함한다.

일실시예에서, 영상 내의 객체를 검출하는 장치는 상기 영상 저장부에 저장된 상기 제1 저해상도 프레임 및 상기 제2 저해상도 프레임에 기초하여 입력 영상 내의 객체를 검출하는 객체 검출부를 더 포함한다.

다른 일측에 따르면, 영상 내의 객체를 검출하는 장치는 복수의 프레임을 포함하는 입력 영상을 수신하는 영상 입력부, 상기 복수의 프레임에 대하여 다운스케일 로직 또는 크롭 로직을 선택적으로 적용하여 상기 복수의 프레임 각각에 대응하는 복수의 저해상도 프레임을 생성하는 영상 스위치부, 및 상기 복수의 저해상도 프레임이 저장되는 영상 저장부를 포함한다.

일실시예에서, 영상 내의 객체를 검출하는 장치는 상기 영상 저장부에 저장된 상기 복수의 저해상도 프레임에 기초하여 입력 영상 내의 객체를 검출하는 객체 검출부를 더 포함한다.

도 1은 일실시예에 따른 영상 내의 객체를 검출하는 장치를 설명하기 위한 블록도이다.
도 2는 일실시예에 따른 영상 스위치부의 예시적 구조를 설명하기 위한 블록도이다.
도 3은 일실시예에 따른 다운스케일 로직을 설명하기 위한 예시적인 도면이다.
도 4는 일실시예에 따른 크롭 로직을 설명하기 위한 예시적인 도면이다.
도 5 는 일실시예에 따른 영상 내의 객체를 검출하는 방법을 설명하기 위한 흐름도이다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하에서, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 권리범위는 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일실시예에 따른 영상 내의 객체를 검출하는 장치를 설명하기 위한 블록도이다. 일실시예에서, 영상 내의 객체를 검출하는 장치(100)는 영상 입력부(110), 영상 스위치부(120) 및 영상 저장부(130)를 포함할 수 있다. 또한, 영상 내의 객체를 검출하는 장치(100)는 객체 검출부(미도시)를 더 포함할 수 있다.

영상 내의 객체를 검출하는 장치(100)를 통해, 차량 내에 구비되는 제한된 성능의 하드웨어 가속기 등을 설계변경 없이 이용하여 실시간 연산을 수행하면서도 객체 검출의 인식 성능을 크게 저하시키지 않는 기법이 제안된다. 특히, 차량 내에서 사용되는 인식 엔진을 이용하여 실시간으로 처리할 수 있는 정보량 만을 제공하면서도 원거리의 물체 등 작은 객체를 높은 인식률로 검출할 수 있다.

일반적으로, 고해상도 영상의 처리를 통해 객체 검출의 인식 성능을 높이고자 하는 경우 연산의 대상이 되는 정보량이 증가하기 때문에 연산 시간이 늘어나거나 하드웨어 성능에 변화를 주어야 한다. 예를 들어, HD급(1280x960) 영상을 입력으로 받는 경우 VGA급(640x480) 영상에 비하여 4배의 연산 시간 또는 4배의 성능을 가지는 인식 엔진이 필요하다.

차량 환경을 고려하여 기존 인식 엔진을 그대로 이용하기 위해서는, 관심 영역(Region of Interest; ROI)를 설정하여 영상 내의 일부 영역에 대하여만 객체 검출을 수행하거나, 영상 전체를 다운스케일 하여 연산 시간을 유지하는 방식이 이용되어 왔다. 그러나, 이러한 경우 HD급 영상 등의 고해상도 영상을 입력으로 받는 이점이 사라지게 된다.

제안되는 실시예는 각 프레임별로 상이한 처리를 수행하는 영상 스위치부(120)를 통해 일부의 프레임에 대하여는 전체 영역을 저해상도로 다운스케일 하여 고해상도 영상의 특정 영역만을 ROI로 설정하지 않도록 함으로써 미검출 영역 없이 넓은 시야각으로 객체를 검출하고, 다른 일부의 프레임에 대하여는 고해상도 영상의 일부 영역을 크롭(crop)하여 객체 검출을 수행함으로써 원거리의 물체 등 작은 크기의 객체에 대한 인식도 놓치지 않게 할 수 있다.

일실시예에서, 영상 입력부(110)는 카메라 또는 센서 등에 의해 캡처된 입력 영상을 수신할 수 있다. 예를 들어, 입력 영상은 블랙박스 시스템 등을 구현하기 위하여 차량에 장착된 카메라에 의해 캡처된 영상일 수 있다. 카메라는 컬러 영상을 생성하는 비디오 카메라에 국한되지 않으며, 임의의 적합한 카메라 또는 센서로 선택될 수 있다. 일실시예에서, 카메라는 외부 장치에 의해 캡처된 영상을 수신하는 통신부로 대체될 수 있다.

일실시예에서, 영상 스위치부(120)는 영상 입력부(100)에 의해 수신된 입력 영상의 복수의 프레임에 대하여 다운스케일 로직 또는 크롭 로직을 선택적으로 적용하여 저해상도 프레임을 생성할 수 있다. 구체적으로, 영상 스위치부(120)는 입력 영상에 대하여 고해상도 영상을 저해상도 영상으로 다운스케일 처리하는 다운스케일 로직과 고해상도 영상 중 일부의 영역을 크롭 처리하는 크롭 로직 및 이들 사이를 스위칭하는 스위치를 포함할 수 있다.

영상 스위치부(120)의 스위치는 하드웨어 및/또는 소프트웨어의 조합으로 구현될 수 있으며, 바람직하게는 객체 검출부 등의 인식 엔진에 연결된 하드웨어 스위치로 구현될 수 있다. 영상 스위치부(120)의 구조 및 기능에 대하여는 아래에서 도 2를 참조하여 추가적으로 설명된다.

일실시예에서, 영상 저장부(130)는 영상 스위치부(120)의 다운스케일 로직 또는 크롭 로직을 적용하여 생성된 일련의 저해상도 프레임이 일시적으로 또는 비일시적으로 저장될 수 있다. 이를 위하여, 영상 저장부(130)는 SDRAM과 같은 메모리 소자를 포함할 수 있다. 영상 저장부(130)에 저장되는 저해상도 프레임은 주행 중인 차량 내에서 실시간으로 영상 처리를 수행하는 객체 검출부 등의 인식 엔진에 제공되기 위한 것으로, 인식 엔진의 성능에 맞는 해상도로 저장되도록 설계될 수 있다.

일실시예에서, 영상 저장부(130)는 객체 검출부에 저장된 저해상도 프레임을 전달하여, 입력 영상 내의 객체를 검출하도록 할 수 있다. 예를 들어, 객체 검출부는 기존에 차량 내에서 이용되는 VGA급 영상을 처리하는 인식 엔진일 수 있다. 이 경우, 영상 저장부(130)는 다운스케일 로직 또는 크롭 로직이 적용되어 VGA급 영상의 크기로 조정된 저해상도 프레임을 객체 검출부에 전달하여 차량 및 보행자 등의 객체를 인식하도록 할 수 있다. 이러한 방식으로, 주행 중인 차량 환경에서 이용되는 인식 엔진 등을 설계변경 없이 이용할 수 있도록 호환 가능하게 구현될 수 있다.

일실시예에서, 영상 저장부(130)에 저해상도 프레임이 저장되지 않고 바로 객체 검출부 등의 인식 엔진에 전달될 수 있다. 즉, 설계 상의 필요에 따라 영상 저장부(130)가 생략될 수 있다. 이 경우, 영상 스위치부(120)에서 출력되는 영상은 별도의 메모리 소자에 저장되는 단계를 거치지 않고 객체 검출부에 직접 제공될 수 있다.

일실시예에서, 객체 검출부에 의해 검출된 객체에 기초하여 다음 프레임의 크롭 로직이 적용될 위치를 변경할 수 있다. 제한적이지 않은 예로서, 객체 검출부에 의해 차선이 검출된 경우 양쪽 차선 사이의 객체 인식을 향상시키기 위하여, 영상 스위치부(120)의 크롭 로직에 의해 입력 영상에서 크롭되는 영역의 위치가 검출된 차선과 연관된 영역의 위치로 변경될 수 있다. 즉, 차선 검출(Lane Detection) 기능과의 연계를 통해 크롭되는 영역의 위치를 실시간으로 변경시킬 수 있다.

도 2는 일실시예에 따른 영상 스위치부의 예시적 구조를 설명하기 위한 블록도이다. 도 2의 영상 스위치부(200)는 예를 들어 도 1을 참조하여 설명된 영상 내의 객체를 검출하는 장치(100)를 구현하는 데 이용될 수 있다. 일실시예에서, 영상 스위치부(200)는 다운스케일 로직(210), 크롭 로직(220) 및 스위치(230)를 포함할 수 있다.

일실시예에서, 다운스케일 로직(210)은 고해상도 영상의 프레임에 다운스케일 처리를 하여 저해상도 영상을 생성하도록 설계될 수 있다. 예를 들어, 다운스케일 로직(210)은 HD급(1280x960) 영상을 입력으로 받아서 VGA급(640x480) 영상을 출력으로 내보내도록 설계될 수 있다.

일실시예에서, 크롭 로직(220)은 고해상도 영상의 프레임의 일부 영역을 크롭하여 저해상도 영상을 생성하도록 설계될 수 있다. 예를 들어, 크롭 로직(210)은 HD급(1280x960) 영상의 프레임 내에서 VGA급(640x480) 영상의 크기만큼의 영역을 크롭하여 크롭된 영역을 출력으로 내보내도록 설계될 수 있다.

이 때, 크롭 로직(220)에 의해 크롭되는 영역의 위치는 입력 영상의 중앙으로 설정될 수 있고, 중앙이 아닌 다른 영역으로 지정될 수 있다. 예를 들어, 크롭되는 영역의 위치는 초기에는 입력 영상의 중앙으로 설정되어 있다가 사용자의 의사에 따른 커스터마이징 또는 주행 중 차선 검출에 따른 관심 영역 변경에 의해 변경될 수 있다.

다운스케일 로직(210)에 의해 생성되는 저해상도 프레임과 크롭 로직(220)에 의해 생성되는 저해상도 프레임의 크기는 서로 동일한 것이 바람직하다. 즉, 서로 상이한 로직에 의해 해상도가 감소되더라도 별도의 처리 없이 단일의 인식 엔진에서 수용할 수 있도록 서로 동일한 크기의 프레임을 출력할 수 있다.

일실시예에서, 스위치(230)는 다운스케일 로직(210) 및 크롭 로직(220)에 연결되며, 다운스케일 로직(210) 및 크롭 로직(220) 중 어느 하나의 출력 영상만이 영상 저장부에 전달되도록 스위칭 될 수 있다. 예를 들어, 스위치(230)는 입력 영상의 프레임 별로 다운스케일 로직(210) 및 크롭 로직(220)의 출력 영상이 번갈아 가며 영상 저장부에 전달되도록 스위칭 될 수 있다. 스위치(230)는 하드웨어 및/또는 소프트웨어의 조합으로 구현될 수 있으며, 바람직하게는 하드웨어 스위치로 구현될 수 있다.

일실시예에서, 스위치(230)는 입력 영상의 복수의 프레임 중 하나 이상의 연속된 프레임에 다운스케일 로직(210) 또는 크롭 로직(220)이 적용되도록 스위칭 될 수 있다. 예를 들어, 복수의 프레임 중 M개의 연속된 프레임에 대하여 다운스케일 로직(210)을 적용하고, M개의 연속된 프레임에 후속하는 N개의 연속된 프레임에 대하여 크롭 로직(220)을 적용하도록 스위칭 될 수 있다. 여기서, M 및 N은 각각 연속된 프레임의 개수를 의미하는 자연수이다.

예를 들어, M=1 이고 N=1 인 경우, 입력 영상의 프레임이 하나씩 번갈아 가며 다운스케일 로직(210) 또는 크롭 로직(220)이 적용된다. 이에 비하여, M=1 이고 N=2 인 경우, 입력 영상의 하나의 프레임에는 다운스케일 로직(210)이 적용되고, 후속하는 2개의 연속된 프레임에는 크롭 로직(220)이 적용된다. 반대로, M=2 이고 N=1 인 경우, 입력 영상의 2개의 연속된 프레임에 다운스케일 로직(210)이 적용되고, 후속하는 하나의 프레임에 크롭 로직(220)이 적용된다.

이와 같이, 복수의 연속된 프레임에 대하여 동일한 로직이 적용된 후 스위칭이 이루어지도록 설계될 수 있다. 다운스케일 로직(210)에 의해 생성된 프레임으로 객체 검출을 수행하는 경우 미검출 영역이 없이 광시야각으로 검출이 진행될 수 있다는 장점이 있고, 크롭 로직(220)에 의해 생성된 프레임으로 객체 검출을 수행하는 경우 원거리의 객체 등 작은 크기의 객체에 대한 검출이 가능하다는 장점이 있다. 따라서, 설계자 또는 사용자는 필요에 따라 다운스케일 로직(210)과 크롭 로직(220)을 원하는 비율로 적용되도록 할 수 있다. 특정 비율에 대한 설계 상의 요구 또는 이용 상의 요구가 없는 경우, M 과 N 은 초기값으로서 각각 1로 설정될 수 있다.

이러한 프레임 별 스위칭 방식을 통해, 입력 영상의 일부 영역에 대하여는 원거리의 차량 또는 보행자를 검출할 수 있도록 하여 높은 객체 인식 성능을 유지하는 한편, 단순한 ROI 설정 방식에서 미검출 영역이 존재하던 위험을 최소화할 수 있다. 이처럼, 제안되는 실시예를 통해 하드웨어 인식 엔진이 저해상도 영상만을 처리할 수 있는 환경 하에서도 하드웨어 인식 엔진의 설계변경 없이 고해상도 입력 영상에 따른 이점을 향유할 수 있다.

도 3은 일실시예에 따른 다운스케일 로직을 설명하기 위한 예시적인 도면이다. 도 3에 도시된 입력 영상(310) 및 출력 영상(320)은 각각 도 2의 다운스케일 로직(210)에 입력되는 영상 및 출력되는 영상의 예시를 보여준다.

예를 들어, 입력 영상(310)의 각 프레임은 HD급(1280x960) 사이즈를 가지고, 출력 영상(320)의 각 프레임은 VGA급(640x480) 사이즈를 가질 수 있다. 다운스케일 로직이 적용되면 해상도는 감소하지만 입력 영상(310)의 모든 영역이 출력 영상(320)에 반영되기 때문에 미검출 영역이 없이 광시야각으로 객체를 검출할 수 있다.

도 4는 일실시예에 따른 크롭 로직을 설명하기 위한 예시적인 도면이다. 도 4에 도시된 입력 영상(410) 및 출력 영상(420)은 각각 도 2의 크롭 로직(220)에 입력되는 영상 및 출력되는 영상의 예시를 보여준다.

예를 들어, 입력 영상(410)의 각 프레임은 HD급(1280x960) 사이즈를 가지고, 출력 영상(420)의 각 프레임은 VGA급(640x480) 사이즈를 가질 수 있다. 크롭 로직이 적용되면 전체 프레임의 사이즈는 감소하지만 입력 영상(410)의 부분 해상도가 출력 영상(320)에 그대로 전달되기 때문에 원거리의 차량 또는 보행자 등의 작은 크기의 객체를 검출할 수 있다.

도 5 는 일실시예에 따른 영상 내의 객체를 검출하는 방법을 설명하기 위한 흐름도이다. 도 5에 도시된 객체 검출 방법은 예를 들어 도 1의 객체 검출 장치를 이용하는 방법일 수 있다.

단계(510)에서, 영상 입력부를 통해 카메라 또는 센서 등에 의해 캡처된 입력 영상을 수신할 수 있다. 예를 들어, 입력 영상은 블랙박스 시스템 등을 구현하기 위하여 차량에 장착된 카메라에 의해 캡처된 영상일 수 있다. 입력 영상이 HD급의 고해상도 영상인 경우 영상 전체를 주행 중인 차량의 인식 엔진에서 실시간으로 처리하기 어려울 수 있다. 따라서, 입력 영상의 각 프레임의 사이즈를 감소시키는 단계가 필요하다.

단계(520)에서, 영상 스위치부를 통해 입력 영상의 프레임 별로 다운스케일 로직 또는 크롭 로직이 선택적으로 적용될 수 있다. 이를 위하여, 영상 스위치부는 다운스케일 로직 및 크롭 로직에 연결된 스위치를 포함할 수 있다. 영상 스위치부는 시간적으로 인접한 연속된 프레임에 대하여 서로 상이한 로직이 적용되도록 할 수 있다. 구체적인 예로서, 시간적으로 연속하는 제1 내지 제4 프레임에 대하여 제1 프레임 및 제3 프레임에는 다운스케일 로직을 적용하고, 제2 프레임 및 제4 프레임에는 크롭 로직을 적용할 수 있다. 다운스케일 로직 및 크롭 로직은 각각 축소된 사이즈의 프레임, 예컨대 VGA급의 저해상도 프레임을 출력할 수 있다.

단계(530)에서, 축소된 사이즈의 프레임이 영상 저장부에 저장될 수 있다. 영상 저장부에 저장되는 저해상도 프레임은 주행 중인 차량 내에서 실시간으로 영상 처리를 수행하는 객체 검출부 등의 인식 엔진에 제공되기 위한 것으로, 인식 엔진의 성능에 맞는 해상도로 저장되도록 설계될 수 있다. 다운스케일 로직과 크롭 로직에 의해 각각 해상도가 감소되더라도 별도의 처리 없이 단일의 인식 엔진에서 수용할 수 있도록 서로 동일한 크기의 프레임으로 저장될 수 있다. 이러한 방식으로, 주행 중인 차량 환경에서 이용되는 인식 엔진 등을 설계변경 없이 이용할 수 있도록 호환 가능하게 구현될 수 있다.

이상에서 설명된 바와 같이, 제안되는 방법에 따르면 하드웨어 인식 엔진이 저해상도 영상만을 처리할 수 있는 환경 하에서도 하드웨어 인식 엔진의 설계변경 없이 고해상도 입력 영상에 따른 장점을 살릴 수 있다. 특히, 원거리 객체에 대한 인식 성능과 미검출 영역 존재에 따른 위험을 필요에 따라 절충적으로 조정할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

복수의 프레임을 포함하는 입력 영상을 수신하는 단계;
상기 복수의 프레임 중 제1 프레임에 대하여 다운스케일 로직을 적용하여 상기 제1 프레임과 연관된 제1 저해상도 프레임을 생성하는 단계;
상기 복수의 프레임 중 제2 프레임에 대하여 크롭 로직을 적용하여 상기 제2 프레임과 연관된 제2 저해상도 프레임을 생성하는 단계;
상기 제1 저해상도 프레임 및 상기 제2 저해상도 프레임을 영상 저장부에 저장하는 단계; 및
상기 영상 저장부에 저장된 상기 제1 저해상도 프레임 및 상기 제2 저해상도 프레임에 기초하여 입력 영상 내의 객체를 검출하는 단계
를 포함하는, 영상 내의 객체를 검출하는 방법.
제1항에 있어서,
상기 제1 프레임 및 상기 제2 프레임은 시간적으로 인접한 프레임인,
영상 내의 객체를 검출하는 방법.
제1항에 있어서,
상기 제1 저해상도 프레임 및 상기 제2 저해상도 프레임의 해상도는 서로 동일한,
영상 내의 객체를 검출하는 방법.
제1항에 있어서,
상기 복수의 프레임 중 제3 프레임에 대하여 다운스케일 로직을 적용하여 상기 제3 프레임과 연관된 제3 저해상도 프레임을 생성하는 단계; 및
상기 복수의 프레임 중 제4 프레임에 대하여 크롭 로직을 적용하여 상기 제4 프레임과 연관된 제4 저해상도 프레임을 생성하는 단계
를 더 포함하는, 영상 내의 객체를 검출하는 방법.
삭제
제1항에 있어서,
상기 검출된 객체에 기초하여 상기 입력 영상 내에서 상기 크롭 로직이 적용되는 영역의 위치를 결정하는 단계
를 더 포함하는, 영상 내의 객체를 검출하는 방법.
제1항에 있어서,
상기 객체를 검출하는 단계는,
상기 제1 저해상도 프레임에 기초하여 광시야각의 객체 검출을 수행하는 단계; 및
상기 제2 저해상도 프레임에 기초하여 원거리의 객체 검출을 수행하는 단계
를 포함하는, 영상 내의 객체를 검출하는 방법.
복수의 프레임을 포함하는 입력 영상을 수신하는 단계;
상기 복수의 프레임에 대하여 다운스케일 로직 또는 크롭 로직을 선택적으로 적용하여 상기 복수의 프레임 각각에 대응하는 복수의 저해상도 프레임을 생성하는 단계;
상기 복수의 저해상도 프레임을 영상 저장부에 저장하는 단계; 및
상기 영상 저장부에 저장된 상기 복수의 저해상도 프레임에 기초하여 입력 영상 내의 객체를 검출하는 단계
를 포함하는, 영상 내의 객체를 검출하는 방법.
제8항에 있어서,
상기 복수의 저해상도 프레임을 생성하는 단계는,
상기 복수의 프레임 중 M개의 연속된 프레임에 대하여 상기 다운스케일 로직을 적용하고, 상기 M개의 연속된 프레임에 후속하는 N개의 연속된 프레임에 대하여 상기 크롭 로직을 적용하는 단계를 포함하는,
영상 내의 객체를 검출하는 방법.
제9항에 있어서,
상기 M의 값 및 상기 N의 값을 설정하는 단계
를 더 포함하는, 영상 내의 객체를 검출하는 방법.
삭제
제1항 또는 제8항에 따른 영상 내의 객체를 검출하는 방법을 실행하는 프로그램이 기록된 컴퓨터 판독 가능 기록 매체.
복수의 프레임을 포함하는 입력 영상을 수신하는 영상 입력부;
상기 복수의 프레임 중 제1 프레임에 대하여 다운스케일 로직을 적용하여 상기 제1 프레임과 연관된 제1 저해상도 프레임을 생성하고, 상기 복수의 프레임 중 제2 프레임에 대하여 크롭 로직을 적용하여 상기 제2 프레임과 연관된 제2 저해상도 프레임을 생성하는 영상 스위치부;
상기 제1 저해상도 프레임 및 상기 제2 저해상도 프레임이 저장되는 영상 저장부; 및
상기 영상 저장부에 저장된 상기 제1 저해상도 프레임 및 상기 제2 저해상도 프레임에 기초하여 입력 영상 내의 객체를 검출하는 객체 검출부
를 포함하는, 영상 내의 객체를 검출하는 장치.
삭제
복수의 프레임을 포함하는 입력 영상을 수신하는 영상 입력부;
상기 복수의 프레임에 대하여 다운스케일 로직 또는 크롭 로직을 선택적으로 적용하여 상기 복수의 프레임 각각에 대응하는 복수의 저해상도 프레임을 생성하는 영상 스위치부;
상기 복수의 저해상도 프레임이 저장되는 영상 저장부; 및
상기 영상 저장부에 저장된 상기 복수의 저해상도 프레임에 기초하여 입력 영상 내의 객체를 검출하는 객체 검출부
를 포함하는, 영상 내의 객체를 검출하는 장치.
삭제