KR102557837B1 - 객체 검출 시스템 및 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 - Google Patents

Abstract

본 발명은 객체 검출 시스템 및 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 본 발명의 일 실시 예에 따른 객체 검출 시스템은, 입력 영상을 수집하는 입력 장치; 상기 수집된 영상에 존재하는 객체를 검출하는 객체 검출 모듈; 및 상기 검출된 객체가 특정 객체인지 여부를 판단하고, 상기 특정 객체의 의미를 해석하는 객체 인식 모듈을 포함하되, 상기 객체 검출 모듈은, 상기 영상 내 객체 검출을 위한 후보 박스를 생성하고 상기 후보 박스 내에 객체가 포함되어 있는지 여부를 판단하여 상기 후보 박스의 위치를 조정하고 상기 조정된 후보박스를 객체 추출을 위한 입력 영역으로 생성하는 후보박스 처리 모듈과, 상기 입력 영역 내에서 객체 검출에 필요한 특징을 추출하는 객체 추출 모듈로서, 상기 객체 추출 모듈은 상기 입력 영역 내에 포함된 각 픽셀의 위치별로 오프셋(offset)을 학습하고, 상기 오프셋을 적용한 동적인 입력 영역 내에서 상기 객체 검출에 필요한 특징을 추출하는 상기 객체 추출 모듈을 포함하는 객체 검출 시스템과, 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체를 제공함으로써, 입력 영상 또는 이미지 내에 존재하는 각 픽셀의 위치마다 오프셋을 추가로 학습하는 동적 연산으로 하여, 객체 검출에 필요한 객체의 특징을 보다 효과적으로 추출하여 해석할 수 있는 특징을 가진다.

Description

객체 검출 시스템 및 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 {Object detection system, object detection method using the same, and computer-readable recording medium in which a program for performing the object detection method is recorded}

본 발명은 객체 검출 시스템 및 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체에 관한 것으로서, 보다 구체적으로는 입력 영상 또는 이미지 내에 존재하는 각 픽셀의 위치마다 오프셋을 추가로 학습하는 동적 연산으로 하여, 객체 검출에 필요한 객체의 특징을 보다 효과적으로 추출하여 해석할 수 있는 객체 검출 시스템 및 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

최근 정보화 기술의 발달로 IOT 기술이 적용된 자율주행 차량의 기술개발이 활발히 진행되고 있으며, 다양한 자동차 회사와 전기 전자 분야의 회사가 협력하여 기술개발을 진행하고 있는 상황이다.

이에 따라서 자연스럽게 자율주행 차량에 이용되는 시스템 역시 꾸준한 기술 개발이 이루어지고 있는 상황이며, 그 중, 자율 주행을 위한 기술 중, 기술의 큰 부분을 차지하고 있는 분야가 바로 객체 인식 기술이다.

그러나, 종래 기술의 객체 인식 기술은, 객체를 촬영하기 위한 촬영 장치와, 객체를 해석하는 해석 장치의 기술개발의 고도화 되고 있으며, 그 예로, 한국공개특허 제10-2016-0093809호 "프레임 영상과 모션 벡터에 기초하는 객체 검출 방법 및 장치"와, 한국공개특허 제10-2016-0093293호 "영상에서 장면 단위 컨텍스트 정보를 이용한 객체 검출 장치 및 방법"과 같은 객체 인식과 관련된 기술개발이 수행되었으나, 실시간으로 업데이트 되는 영상 또는 이미지를 해석하는데 이용되는 프로그램이 다량의 영상을 수용하지 못하고, 프로그램의 과부하가 발생함으로 인해 시스템이 다운되는 문제가 발생되었다.

또한, 자동차의 자율 주행을 위해서는 도로 위에 여러 객체와 교통 신호, 표지판을 정확하게 인식하는 것이 매우 중요한 일이며, 영상 내에서 객체의 크기는 다양하게 존재할 수 있고, 같은 객체이더라도 객체와 카메라의 거리에 따라 그 크기가 변화할 수 있으나, 이를 효과적으로 검출해 내기 위한 대안에 대한 뚜렷한 방법이 없는 실정이었다.

이에 따라, 객체 검출을 위해 입력 영상에 따라 동적인 영역을 활용하여 객체의 특성을 더 효과적으로 추출할 수 있는 객체 인식 기술에 관한 기술개발이 절실한 실정이며, 아직까지는 이러한 객체 검출 기술이 개발되지 못하고 있어, 빠른 속도와 더불어 정밀한 객체 검출이 가능한 시스템에 관한 필요성이 대두되고 있으며, 영상 또는 이미지 상에 존재하는 객체를 빠른 속도로 검출하고, 이를 정밀하게 해석할 수 있는 객체 검출 시스템 및 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체에 관한 기술개발이 절실한 실정이였다.

본 발명의 실시 예에 따른 객체 검출 시스템 및 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체는, 상기와 같은 문제점을 해결하기 위한 것으로서, 입력 영상 또는 이미지 내에 존재하는 각 픽셀의 위치마다 오프셋을 추가로 학습하는 동적 연산으로 하여, 객체 검출에 필요한 객체의 특징을 보다 효과적으로 추출하여 해석할 수 있는 객체 검출 시스템 및 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체를 제공하는데 그 목적이 있다.

상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 객체 검출 시스템은, 입력 영상을 수집하는 입력 장치; 상기 수집된 영상에 존재하는 객체를 검출하는 객체 검출 모듈; 및 상기 검출된 객체가 특정 객체인지 여부를 판단하고, 상기 특정 객체의 의미를 해석하는 객체 인식 모듈을 포함하되, 상기 객체 검출 모듈은, 상기 영상 내 객체 검출을 위한 후보 박스를 생성하고 상기 후보 박스 내에 객체가 포함되어 있는지 여부를 판단하여 상기 후보 박스의 위치를 조정하고 상기 조정된 후보박스를 객체 추출을 위한 입력 영역으로 생성하는 후보박스 처리 모듈과, 상기 입력 영역 내에서 객체 검출에 필요한 특징을 추출하는 객체 추출 모듈로서, 상기 객체 추출 모듈은 상기 입력 영역 내에 포함된 각 픽셀의 위치별로 오프셋(offset)을 학습하고, 상기 오프셋을 적용한 동적인 입력 영역 내에서 상기 객체 검출에 필요한 특징을 추출하는 상기 객체 추출 모듈을 포함할 수 있다.

또한, 상기 특정 객체는, 신호와 표지 중 적어도 하나이고, 상기 객체 인식 모듈은, 점등된 신호의 종류와 표지의 종류를 구분하여 그 의미를 해석할 수 있다.

또한, 상기 객체 인식 모듈은, 상기 검출된 객체 중 상기 특정 객체에 해당하는 영역을 크롭하고 상기 영역의 크기를 조정하는 전처리부를 더 포함할 수 있다.

또한, 상기 객체 추출 모듈은, deformable convolution 에 기초하여 상기 객체를 추출할 수 있다.

또한, 상기 입력장치는, 프레임의 축선상에 수평하게 배열되는 복수의 입력장치로 구비되되, 상기 복수의 입력장치는, 서로 일정한 간격으로 이격되어 배치되며, 프레임과 결합되는 결합부를 기준으로 각도 조절 가능할 수 있다.

또한, 본 발명의 실시 예에 따른 객체 검출 방법은, 입력 영상을 수집하는 수집 단계; 상기 수집된 영상에 존재하는 객체를 검출하는 객체 검출 단계 및 상기 검출된 객체된 객체가 특정 객체인지 여부를 판단하고, 상기 특정 객체의 의미를 해석하는 해석 단계를 포함하되, 상기 객체 검출 단계는, 상기 영상 내 객체 검출을 위한 후보 박스를 생성하고 상기 후보 박스 내에 객체가 포함되어 있는지 여부를 판단하여 상기 후보 박스의 위치를 조정하고 상기 조정된 후보박스를 객체 추출을 위한 입력 영역으로 생성하는 후보박스 처리 단계 및 상기 입력 영역 내에서 객체 검출에 필요한 특징을 추출하되, 상기 객체 검출에 필요한 특징은, 상기 입력 영역 내에 포함된 각 픽셀의 위치별로 오프셋(offset)을 학습하고, 상기 오프셋을 적용한 동적인 입력 영역 내에서 상기 객체 검출에 필요한 특징을 추출하는 추출 단계를 포함할 수 있다.

또한, 상기 특정 객체는, 신호와 표지 중 적어도 하나이고, 상기 해석 단계는, 점등된 신호의 종류와 표지의 종류를 구분하여 그 의미를 해석할 수 있다.

또한, 상기 해석 단계는, 상기 객체 검출 단계에서 검출된 객체 중 상기 특정 객체에 해당하는 영역을 크롭하고 상기 영역에 크기를 조정하는 조정 단계를 더 포함할 수 있다.

또한, 상기 객체 검출 단계는, deformable convolution 에 기초하여 상기 객체를 추출할 수 있다.

본 발명의 실시 예에 따른 객체 검출 시스템 및 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체는, 입력 영상 또는 이미지 내에 존재하는 각 픽셀의 위치마다 오프셋을 추가로 학습하는 동적 연산으로 하여, 객체 검출에 필요한 객체의 특징을 보다 효과적으로 추출하여 해석할 수 있는 장점을 가진다.

또한, 본 발명의 실시 예에 따른 객체 검출 시스템 및 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체는, 복수의 입력장치를 통해 입력되는 영상 또는 이미지를 토대로 보다 정밀한 객체 이미지의 해석이 가능한 장점을 가진다.

또한, 본 발명의 실시 예에 따른 객체 검출 시스템 및 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체는, Deformable convolution이 이용되는 RefineDet프로그램을 기반으로 수행됨으로써, 종래의 객체 검출 시스템보다 정교한 정보처리가 가능한 장점을 가진다.

도 1 은 본 발명의 실시 예에 따른 객체 검출 시스템의 박스구성도이다.
도 2 의 (a) 내지 (c) 는 본 발명의 실시 예에 따른 각도 조절 모듈이 구비된 입력장치의 예시도이다.
도 3 는 본 발명의 실시 예에 따른 입력장치의 배열을 보여주기 위한 평면도이다.
도 4 는 deformable convolution을 기반으로 하는 픽셀 추출 방법의 예시도이다.
도 5 은 본 발명의 실시 예에 따른 객체 검출 시스템의 객체 검출 및 해석의 과정을 보여주기 위한 예시도이다.
도 6 은 의 (a) 및 (b) 는 본 발명의 실시 예에 따른 객체 검출 시스템을 통해 특정 객체를 추출한 결과를 보여주기 위한 예시도이다.
도 7 의 (a) 및 (b) 는 deformable convolution 과 convolution을 통해 검출된 객체의 해석결과의 예시도이다.
도 8 의 (a) 및 (b) 는 본 발명의 실시 예에 따른 객체 검출 시스템의 신호 및 표지 인식 결과의 결과표이다.
도 9 는 본 발명의 실시 예에 따른 객체 검출 방법의 과정을 보여주기 위한 흐름도이다.

이하, 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있다. 또한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

이하의 설명에서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.

본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하, 도 1 내지 도 9 를 참조로 하여 본 발명의 실시 예에 따른 객체 검출 시스템(1) 및 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체를 상세히 설명하기로 한다.

먼저, 도 1 은 본 발명의 실시 예에 따른 객체 검출 시스템의 박스구성도이고, 도 2 의 (a) 내지 (c) 는 본 발명의 실시 예에 따른 각도 조절 모듈이 구비된 입력장치의 예시도이며, 도 3 는 본 발명의 실시 예에 따른 입력장치의 배열을 보여주기 위한 평면도이고, 도 4 는 deformable convolution을 기반으로 하는 픽셀 추출 방법의 예시도이며, 도 5 은 본 발명의 실시 예에 따른 객체 검출 시스템의 객체 검출 및 해석의 과정을 보여주기 위한 예시도이고, 도 6 은 의 (a) 및 (b) 는 본 발명의 실시 예에 따른 객체 검출 시스템을 통해 특정 객체를 추출한 결과를 보여주기 위한 예시도이며, 도 7 의 (a) 및 (b) 는 deformable convolution 과 convolution을 통해 검출된 객체의 해석결과의 예시도이고, 도 8 의 (a) 및 (b) 는 본 발명의 실시 예에 따른 객체 검출 시스템의 신호 및 표지 인식 결과의 결과표이다.

도 1 내지 도 8 을 참조하면, 본 발명의 실시 예에 따른 객체 검출 시스템(1)은, 입력장치(100), 객체 검출 모듈(200) 및 객체 인식 모듈(300)을 포함할 수 있다.

먼저, 상기 입력장치(100)는, 영상 또는 이미지를 수집할 수 있다.

구체적으로, 상기 입력장치(100)는, 차량용 블랙박스 혹은 캠코더와 같은 영상 또는 이미지를 수집할 수 있는 영상 입력 장치가 모두 이용될 수 있다.

여기서, 본 발명의 실시 예에 따른 입력장치(100)는, 소정 길이를 가지는 하나 이상의 프레임 축선상에 수평하게 배열되는 복수의 입력장치(100)로 구비될 수 있다.

또한, 상기 복수의 입력장치(100)는, 서로 일정한 간격으로 이격되어 배치되며, 프레임과 결합되는 결합부를 기준으로 각도 조절 가능하도록 구비될 수 있다.

구체적으로, 상기 입력장치(100)의 각도 가변을 위해, 상기 입력장치(100)는 각도 조절 모듈(110)을 포함할 수 있으며, 상기 각도 조절 모듈(110)은, 종(縱) 회동 장치(111) 및 횡(橫) 회동 장치(112)를 포함할 수 있다.

먼저, 상기 종 회동 장치(111)는, 수직의 방향으로 입력장치(100)의 각도를 가변시킬 수 있다.

또한, 상기 횡 회동 장치(112)는, 수평의 방향으로 입력장치(100)의 각도를 가변시킬 수 있다.

이때, 상기 종 회동 장치(111) 및 횡 회동 장치(112)는, 도 2 에 도시된 바와 같이, 영상 또는 이미지를 촬영하기 위한 카메라의 형상을 갖는 입력장치(100)의 하부에 구비되는 회전모터 또는 축 모터로 구비될 수 있으나, 이는 바람직한 실시 예일 뿐, 입력장치(100)의 각도를 가변시킬 수 있는 기계적 수단을 모두 포함할 수 있다.

이를 통해, 본 발명의 실시 예에 따른 하나의 입력장치(100)가 아닌 복수개의 입력장치(100)가 다양한 시점의 이미지와 영상을 수집하여, 한 장면으로만 판별될 수도 있는 객체를 다각도에서 탐지함으로써, 객체 인식률에 대한 정확도를 향상시킬 수 있는 장점을 가진다.

또한, 도 3 을 참조하면, 본 발명의 실시 예에 따른 입력장치(100)는 복수로 구비되되, 중심에 구비되는 입력장치(100)를 기준으로 지그재그 엇갈리도록 도 3 과 같은 형태로 배열될 수 있으며, 구체적으로는, 촬영중인 입력장치(100)의 시야각(A1, A2)에 다른 입력장치(100)가 간섭되지 않는 위치에 배열되는 것이 가장 바람직하다.

이는, 평면의 이미지 또는 영상뿐만이 아닌, 지그재그 형식으로 엇갈려 있는 형태의 입력장치(100)로 하여, 촬영되는 영상 또는 이미지의 전체적인 형상에 대한 정보를 수집하여, 객체 인식률에 대한 정확도를 향상시킬 수 있는 장점을 가진다.

정리하자면, 본 발명의 실시 예에 따른 객체 검출 시스템(1)은, 복수의 입력장치(100)를 통해 입력되는 영상 또는 이미지를 토대로 보다 정밀한 객체 이미지의 해석이 가능한 장점을 가진다.

또한, 상기 객체 검출 모듈(200)은, 상기 입력장치(100)를 통해 수집된 영상에 존재하는 객체를 검출할 수 있다.

여기서, 상기 객체 검출 모듈(200)은, 후보박스 처리 모듈(210) 및 객체 추출 모듈(220)을 포함할 수 있다.

먼저, 상기 후보박스 처리 모듈(210)은, 상기 영상 내 객체 검출을 위한 후보 박스를 생성할 수 있다.

또한, 상기 후보 박스 내에 객체가 포함되어 있는지 여부를 판단하여 상기 후보 박스의 위치를 조정할 수 있다.

또한, 상기 조정된 후보박스를 객체 추출을 위한 입력 영역으로 생성할 수 있다.

구체적으로, 상기 후보박스 처리 모듈(210)은, 입력장치(100)를 통해 수집된 영상 또는 이미지 상에 존재하는 객체를 객체 추출 모듈(220)을 통해 객체를 추출하기 이전, 픽셀의 명암과 채도를 토대로 후보 박스를 예비적으로 지정할 수 있다.

예를 들어, 표지의 테두리가 일반적으로 빨간색 표지의 형상으로 구비되어, 외곽 면이 빨간색이 아닌 다른 색채를 가질 경우, 후보 박스의 위치를 그의 테두리에 예비적으로 지정할 수 있는 것이다.

이를 통해, 후보 박스의 위치는, 객체 검출 모듈(200)이 객체를 검출하는데 있어서 보다 빠른 객체 검출 및 인식을 위한 데이터로 활용할 수 있어 보다 빠른 객체 검출 및 인식 과정을 수행할 수 있는 장점을 가진다.

또한, 상기 객체 추출 모듈(220)은, 상기 입력 영역 내에서 객체 검출에 필요한 특징을 추출하는 모듈로서, 상기 객체 추출 모듈(220)은, 상기 입력 영역 내에 포함된 각 픽셀의 위치별로 오프셋(offset)을 학습하고, 상기 오프셋을 적용한 동적인 입력 영역 내에서 상기 객체 검출에 필요한 특징을 추출할 수 있다.

구체적으로, 상기 객체 추출 모듈(220)은, 상기 입력장치(100)를 통해 수집된 영상 또는 이미지를 전달받아 영상 또는 이미지 상에 존재하는 픽셀값을 토대로 객체를 검출 및 인식할 수 있다.

보다 구체적으로, 상기 객체 추출 모듈(220)은, 상기 입력장치(100)를 통해 수집된 영상 또는 이미지 픽셀의 위치마다 픽셀 주위로 오프셋을 추가로 인식 및 학습함으로써 동적인 영역을 입력값으로 입력받아 객체 검출 및 객체 인식에 필요한 특성을 추출할 수 있다.

또한, 상기 객체 추출 모듈(220)은, RefineDet프로그램의 deformable convolution 에 기초하여 영상 또는 이미지 상에 존재하는 객체만을 추출할 수 있다.

이하, 본 발명의 실시 예에 따라 이용되는 RefineDet프로그램의 이해를 돕기 위하여 자세한 설명을 이어나가도록 하지만, 본 발명의 실시 예에 따른 객체 검출 시스템과 객체 검출 방법은 반드시 밑에 기술되는 RefineDet프로그램에 한정하여 이용될 수 있는 것이 아니다.

RefineDet프로그램의 경우 두가지의 특징적인 모듈이 존재하며, 이는 ARM(Anchor refine module) 과 ODM(Object detection module)일 수 있다.

먼저, ARM(anchor refine module)은, 본 발명에 앞서 설명된 후보박스 처리 모듈(210)일 수 있으며, 입력장치(100)를 통해 수집되는 영상 또는 이미지에 존재하는 객체를 박스처리하고, 이 박스들의 위치를 조정하는 역할을 수행할 수 있다.

또한, ODM(Object detection module)은, 본 발명에 앞서 설명된 객체 추출 모듈(220)일 수 있으며, 앞서 ARM, 즉, 후보박스 처리 모듈(210)을 거쳐 조정된 박스, 즉, 객체들의 정확한 위치와 객체의 특성을 추출할 수 있다.

보다 구체적으로 도 4 를 참조하여 이를 자세히 설명하자면, deformable convolution(변형 가능한 컨볼루션)이 이용되는 RefineDet프로그램의 경우, 기존의 convolution이 구축된 RefineDet프로그램과는 다르게 고정된 영역을 입력으로 받지 않고, 입력 영역 내 각 픽셀 위치마다 오프셋(offset)을 추가로 학습할 수 있다.

또한, deformable convolution 으로 대체된 RefineDet프로그램의 경우, Single stage 방식의 해석 방식을 이용함으로써, 일정한 간격과 다양한 크기를 갖는 후보영역을 설정하고, 이를 기준으로 위치보정, 후보영역 설정시 픽셀 위치마다 오프셋을 추가적으로 학습하여 상기 후보영역을 동적으로 설정할 수 있는 것이다.

이에 따라, 이러한 연산을 동적(dynamic)인 영역을 입력으로 사용하여 객체 검출에 필요한 특정을 더 효과적으로 추출할 수 있는 장점을 가진다.

도 7 의 (a) 및 (b) 를 참조하면, deformable convolution가 이용되는 RefineDet프로그램은, 기존의 convolution이 이용되는 RefineDet프로그램을 사용하였을 때 검출하지 못했던 다양한 객체를 검출하는 것을 확인할 수 있었다.

또한, deformable convolution을 사용한 RefineDet프로그램은, 기존의 convolution이 이용되는 RefineDet프로그램을 이용한 것 보다 작은 크기의 객체를 검출할 수 있는 결과를 나타내었으며, 도 8 을 함께 살펴보면, 신호, 차와 같은 객체의 점수(confidence score)가 더 높음을 확인할 수 있었다.

이와 같은 결과는, deformable convolution을 사용한 RefineDet프로그램이 보다 정밀한 결과값을 산출할 수 있다는 결과를 반증할 수 있으며, deformable convolution을 사용한 RefineDet프로그램이 이용되는 본 발명의 실시 예에 따른 객체 검출 시스템(1)은, 전기 자동차의 자율주행에 환경에서 필요한 객체와 표지, 신호등의 정보를 도출해낼 수 있으며, 다(多)종류, 보다 구체적으로는 사람, 차, 버스, 트럭, 오토바이, 자전거, 신호, 개, 교통 표지등과 같은 도로상의 주요 객체를 정확히 검출할 수 있는 것이다.

또한, 상기 객체 인식 모듈(300)은, 특정 객체의 종류를 구분하여 그 의미를 해석할 수 있으며, 이때 말하는 해석이란, 앞서 서술된 후보박스 처리 모듈(210)을 통해 추출된 객체의 후보 박스를 토대로, 후보박스 내의 특정 객체를 인식하여, 특정 객체만을 해석할 수 있는 것이다.

여기서, 상기 특정 객체는, 신호와 표지 중 적어도 하나일 수 있으며, 도 6 (a)에 도시된 바와 같이, 총 5 종의 신호(Green, Red, Yellow, Green-left, Red-left)와, 3 종의 표지(Warring, Prohibitory, Mandatory)일 수 있다.

또한, 상기 객체 인식 모듈(300)은, 상기 검출된 객체 중 상기 특정 객체에 해당하는 영역을 크롭한 이후, 상기 크롭된 영역의 크기를 조정 및 필터링하는 전처리부(310)를 더 포함할 수 있다.

구체적으로, 상기 객체 인식 모듈(300)의 전처리부(310)는, 상기 추출된 특성을 크롭(Crop)하는 과정을 통해, 교통상황을 표시하는 도로상의 신호와 표지를 검출할 수 있으며, 이때, 상기 크롭된 특성을 토대로 객체를 검출하되, 상기 크롭된 신호와 표지의 가로세로의 비율값을 토대로 객체 인식을 수행할 수 있다.

예를 들어, 일반적인 교통 신호등이 40*16 의 비율값을 가진다고 가정한다면, 객체 추출 모듈(220)을 통해 추출된 객체가 이와 같은 비율값을 가질 경우, 40*16 픽셀값으로 검출된 객체는 교통 신호등일 확률이 높고, 교통 표지가32*32의 픽셀값을 가진다고 가정한다면, 32*32 픽셀값으로 검출된 객체는 교통 표지일 가능성이 높은 것이다.

여기서, 본 발명의 실시 예에 따른 객체 인식 모듈(300)은, 크롭된 특정 객체의 의미를 해석하기 어려울 경우, 전처리부(310)를 통해 크롭된 영역의 크기를 확장함으로써, 특정 객체가 가진 픽셀 이미지 정보를 추가로 수집할 수 있다.

보다 구체적으로, 상기 객체 인식 모듈(300)을 통해 특정 객체의 해석이 수행되는 과정에 대해 보다 자세히 서술하자면, 상기 객체 검출 모듈(200)을 통해 검출된 객체 중, 전처리부(310)를 통해 신호와 표지로 검출된 객체의 영역을 크롭(Crop)하고, 신호와 표지의 가로세로비의 크기에 맞추어 객체 인식 모듈(300)의 입력값으로 사용할 수 있으며, 이때, 상기 객체 인식 모듈(300)은, 합성곱 신경망인 CNN(Convolutional Neural Network)을 기반으로 특정 객체의 해석과 학습을 수행할 수 있다.

여기서, 본 발명의 실시 예에 따른 객체 인식 모듈(300)의 학습에 기반이 되는 CNN의 수행 과정에 관하여 보다 구체적으로 서술하자면, 본 발명에 개시된 CNN에서는 주요 교통 관련 정보 인식을 위해 탐지된 객체 중, 신호와 표지의 세부 종류를 다시 분류한 이후, 신호와 표지를 인식하는 객체 인식 모듈(300)의 학습 데이터셋 구성을 위해 객체 인식 모듈(300)에 신호와 표지를 먼저 학습시킨 후, 검출되는 특정 객체인 표지와 신호의 검출 결과를 추출해 낼 수 있다.

여기서, 상기 객체 검출 모듈(200)을 통해 표지나 신호로 검출된 객체들은, 객체 인식 모듈(300)에 학습되어 있던 데이터셋의 GT(ground truth)와 비교하여 IoU(Intersection over Union)의 값이 가장 높은 객체를 분류한 이후, 여기서, IoU의 값이 0.4보다 작으면 배경(background)으로 분류하고, 0.4보다 클 경우에는 도 6 의 (a) 및 (b) 에 도시된 바와 같이 특정 객체를 신호 5종, 신호 3종으로 해석 및 분류함으로써 객체 인식 모듈(300)의 학습 데이터로 사용할 수 있는 것이다.

그러나, 도 6 의 (a) 및 (b) 에 도시된 신호와 표지는 본 발명의 이해를 돕기 위해 제시한 신호와 표지일 뿐, 반드시 한정되는 것은 아닌, 사람, 오토바이, 차량과 같은 도로의 주행상황에 마주칠 수 있는 객체를 모두 포함할 수 있다.

이에 따라, 본 발명의 실시 예에 따른 객체 검출 시스템(1)은, 입력 영상 또는 이미지 내에 존재하는 각 픽셀의 위치마다 오프셋을 추가로 학습하는 동적 연산과 더불어, 객체 검출 시스템(1)에 구축되는 객체 검출에 필요한 객체의 특징을 보다 효과적으로 추출하여 해석할 수 있는 모듈들을 이용함으로서, 보다 정밀하고 빠른 정보처리 능력을 가지는 객체 검출 시스템(1)을 제공할 수 있는 장점을 가진다.

또한, 도 9 는 본 발명의 실시 예에 따른 객체 검출 방법의 과정을 보여주기 위한 흐름도이다.

도 9 와, 앞서 참조되었던 도 1 내지 8 을 함께 참조하면, 본 발명의 실시 예에 따른 객체 인식 방법은, 수집 단계, 객체 검출 단계 및 해석 단계를 통해 수행될 수 있다.

먼저, 상기 수집 단계는, 앞서 상술되었던 입력장치(100)를 이용해 영상 또는 이미지를 수집하는 단계이다. (S10)

이때, 본 발명의 실시 예에 따른 수집 단계는, 다중 영상 수집 단계 및 영상 합성 단계를 포함할 수 있다.

먼저, 상기 다중 영상 수집 단계는, 한 개의 이상의 영상 입력장치(100)를 통해 한 개 이상의 입력 영상 또는 이미지를 수집할 수 있다.

또한, 상기 영상 합성 단계는, 상기 수집된 다중 영상 또는 이미지를 하나의 시점을 가지는 영상으로 합성할 수 있다.

구체적으로, 본 발명의 실시 예에 따른 수집 단계는, 동일한 대상물에 관한 영상 또는 이미지를 수집하되, 각기 다른 시점값을 가지는 영상 또는 이미지를 서로 겹치는 방식, 즉, 대상물의 어라운드 뷰에 관한 이미지 또는 영상으로 합성하고, 이를 토대로 객체에 관한 정보를 추출함으로써, 객체 인식과 해석에 있어 보다 정밀한 정보를 추출할 수 있는 장점을 가진다.

또한, 상기 객체 검출 단계는, 객체 인식 모듈(200)을 통해 상기 수집된 영상 또는 이미지 상에 존재하는 객체를 검출하는 단계이다.

또한, 상기 해석 단계는, 상기 검출된 객체가 특정 객체인지 여부를 판단하고, 상기 특정 객체의 의미를 해석하는 단계이다. (S50)

여기서, 상기 객체 검출 단계는, 후보박스 처리 단계(S20) 및 추출 단계(S30)를 포함할 수 있다.

구체적으로, 상기 후보박스 처리 단계(S20)는, 상기 영상 내 객체 검출을 위한 후보 박스를 생성하고 상기 후보 박스 내에 객체가 포함되어 있는지 여부를 판단하여 상기 후보 박스의 위치를 조정하고 상기 조정된 후보박스를 객체 추출을 위한 입력 영역으로 생성하는 단계이다.

또한, 상치 추출 단계(S30)는, 상기 입력 영역 내에서 객체 검출에 필요한 특징을 추출하되, 상기 객체 검출에 필요한 특징은, 상기 입력 영역 내에 포함된 각 픽셀의 위치별로 오프셋(offset)을 학습하고, 상기 오프셋을 적용한 동적인 입력 영역 내에서 상기 객체 검출에 필요한 특징을 추출하는 단계이다.

여기서, 상기 특정 객체는, 신호와 표지 중 적어도 하나일 수 있으며, 상기 해석 단계는, 점등된 신호의 종류와 표지의 종류를 구분하여 그 의미를 해석할 수 있다. (S50)

또한, 상기 해석 단계는, 후보박스 처리 단계(S20)에서 추출된 객체 중, 특정 객체에 해당하는 영역을 크롭(S40)하고 상기 영역에 크기를 조정하는 전처리 단계를 더 포함할 수 있다.

구체적으로, 상기 전처리 단계는, 상기 검출된 객체 중 상기 특정 객체에 해당하는 영역을 크롭한 이후, 상기 크롭된 영역의 크기를 조정하는 단계이다.

또한, 상기 해석 단계는, 상기 추출 단계를 통해 추출된 특정 객체가 크롭된 이후, 신호와 표지를 인식하는 단계로써, 이때, 상기 해석 단계는, 상기 크롭된 신호와 표지의 픽셀값에 따른 가로세로의 비율값을 토대로 수행될 수 있으며, 이때 상기 해석 단계는, 합성곱 신경망인 CNN(Convolutional Neural Network)을 기반으로 특정 객체의 해석과 학습을 수행할 수 있다.

또한, 상기 객체 검출 단계는, deformable convolution이 구축된 RefineDet프로그램에 기초하여 영상 또는 이미지 상에 존재하는 객체를 추출할 수 있다.

한편, 상술된 RefineDet프로그램은, 앞서 상술되었던 본 발명의 실시 예에 따른 객체 검출 시스템(1)과 동일한 객체 검출 단계를 구성하고 있으므로, 자세한 설명은 생략하도록 한다.

이에 따라, 본 발명의 실시 예에 따른 객체 검출 방법은, 입력 영상 또는 이미지 내에 존재하는 각 픽셀의 위치마다 오프셋을 추가로 학습하는 동적 연산과 더불어, 객체 검출에 필요한 객체의 특징을 보다 효과적으로 추출하여 해석할 수 있는 단계들을 거침으로서, 보다 정밀하고 빠르게 객체의 인식을 완료할 수 있는 객체 인식 방법을 제공할 수 있다.

또한, 상술한 본 발명의 실시 예에 따른 객체 검출 방법은, 컴퓨터가 판독할 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다.

여기서, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다.

구체적으로, 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터와 같은 저장장치를 모두 포함할 수 있으며, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

또한, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있는 프로그램이 모두 이용될 수 있다.

이상에서 도 1 내지 도 9 를 참조하여 본 발명의 실시 예에 따른 객체 검출 시스템(1) 및 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체를 설명하였으나, 서술된 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

또한, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

1 : 객체 검출 시스템
100 : 입력 장치 111 : 종 회동 장치
112 : 횡 회동 장치 200 : 객체 검출 모듈
210 : 후보박스 처리 모듈 220 : 객체 추출 모듈
300 : 객체 인식 모듈 310 : 전처리부

Claims (10)

1. 입력 영상을 수집하는 입력 장치;
   상기 수집된 영상에 존재하는 객체를 검출하는 객체 검출 모듈; 및
   상기 검출된 객체가 특정 객체인지 여부를 판단하고, 상기 특정 객체의 의미를 해석하는 객체 인식 모듈을 포함하되,
   상기 객체 검출 모듈은,
   상기 영상 내 객체 검출을 위한 후보 박스를 생성하고 상기 후보 박스 내에 객체가 포함되어 있는지 여부를 판단하여 상기 후보 박스의 위치를 조정하고 상기 조정된 후보박스를 객체 추출을 위한 입력 영역으로 생성하는 후보박스 처리 모듈과,
   상기 입력 영역 내에서 객체의 특징을 추출하는 객체 추출 모듈로서, 상기 객체 추출 모듈은 상기 입력 영역 내에 포함된 각 픽셀의 위치별로 오프셋(offset)을 학습하고, 상기 오프셋을 적용한 동적인 입력 영역 내에서 상기 객체의 특징을 추출하는 상기 객체 추출 모듈을 포함하고,
   상기 후보박스 처리 모듈은,
   상기 입력장치를 통해 수집된 영상에 존재하는 객체를 객체 추출 모듈을 통해 추출하기 이전에, 픽셀의 명암과 채도를 토대로 상기 후보 박스를 예비적으로 지정하고,
   상기 객체 인식 모듈은,
   상기 검출된 객체 중 상기 특정 객체에 해당하는 영역을 크롭하고 상기 영역의 크기를 조정하는 전처리부를 더 포함하고,
   상기 객체 인식 모듈은, 크롭된 특정 객체의 의미를 해석하기 어려울 경우, 상기 전처리부를 통해 크롭된 영역의 크기를 확장함으로써, 특정 객체가 가진 픽셀 이미지 정보를 추가로 수집하고.
   상기 객체 추출 모듈은,
   deformable convolution에 기초하여 상기 객체를 추출하며, 일정한 간격과 다양한 크기를 갖는 입력 영역을 설정하고, 입력 영역 설정시 각 픽셀의 위치마다 오프셋을 추가적으로 학습하여 상기 입력 영역을 동적으로 설정하는 것을 특징으로 하는 객체 검출 시스템
   
2. 제 1 항에 있어서,
   상기 특정 객체는,
   신호와 표지 중 적어도 하나이고,
   상기 객체 인식 모듈은,
   점등된 신호의 종류와 표지의 종류를 구분하여 그 의미를 해석하는 것을 특징으로 하는 객체 검출 시스템
   
3. 삭제
4. 삭제
5. 제 1 항에 있어서,
   상기 입력장치는,
   프레임의 축선상에 수평하게 배열되는 복수의 입력장치로 구비되되,
   상기 복수의 입력장치는,
   서로 일정한 간격으로 이격되어 배치되며, 프레임과 결합되는 결합부를 기준으로 각도 조절 가능한 것을 특징으로 하는 객체 검출 시스템
   
6. 입력 영상을 수집하는 수집 단계;
   상기 수집된 영상에 존재하는 객체를 검출하는 객체 검출 단계 및
   상기 검출된 객체된 객체가 특정 객체인지 여부를 판단하고, 상기 특정 객체의 의미를 해석하는 해석 단계를 포함하되,
   상기 객체 검출 단계는,
   상기 영상 내 객체 검출을 위한 후보 박스를 생성하고 상기 후보 박스 내에 객체가 포함되어 있는지 여부를 판단하여 상기 후보 박스의 위치를 조정하고 상기 조정된 후보박스를 객체 추출을 위한 입력 영역으로 생성하는 후보박스 처리 단계 및
   상기 입력 영역 내에서 객체의 특징을 추출하되, 상기 입력 영역 내에 포함된 각 픽셀의 위치별로 오프셋(offset)을 학습하고, 상기 오프셋을 적용한 동적인 입력 영역 내에서 상기 객체의 특징을 추출하는 추출 단계를 포함하고,
   상기 후보박스 처리 단계는,
   상기 수집된 영상에 존재하는 객체를 추출하기 이전, 픽셀의 명암과 채도를 토대로 상기 후보 박스를 예비적으로 지정하고,
   상기 해석 단계는,
   상기 객체 검출 단계에서 검출된 객체 중 상기 특정 객체에 해당하는 영역을 크롭하고 상기 영역에 크기를 조정하는 조정 단계를 더 포함하고,
   상기 해석 단계는,
   크롭된 특정 객체의 의미를 해석하기 어려울 경우, 크롭된 영역의 크기를 확장함으로써, 특정 객체가 가진 픽셀 이미지 정보를 추가로 수집하고.
   상기 추출 단계는,
   deformable convolution에 기초하여 상기 객체를 추출하며, 일정한 간격과 다양한 크기를 갖는 입력 영역을 설정하고, 입력 영역 설정시 각 픽셀 위치마다 오프셋을 추가적으로 학습하여 상기 입력 영역을 동적으로 설정하는 것을 특징으로 하는 객체 검출 방법
   
7. 제 6 항에 있어서,
   상기 특정 객체는,
   신호와 표지 중 적어도 하나이고,
   상기 해석 단계는,
   점등된 신호의 종류와 표지의 종류를 구분하여 그 의미를 해석하는 것을 특징으로 하는 객체 검출 방법
   
8. 삭제
9. 삭제
10. 제 6 항 및 제 7 항 중 어느 한 항에 따른,
    상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체