KR101669713B1

KR101669713B1 - 물체 검출

Info

Publication number: KR101669713B1
Application number: KR1020130135336A
Authority: KR
Inventors: 조세프 페르난데즈; 스린나트 코텍코드
Original assignee: 아날로그 디바이시즈 글로벌
Priority date: 2012-11-09
Filing date: 2013-11-08
Publication date: 2016-10-27
Also published as: KR20140060244A; US9460354B2; DE102013112163A1; US20140133698A1

Abstract

전 VGA 초당 30 프레임 해상도로 실시간으로 물체가 검출된다. 프리프로세서는 런-길이 인코딩(RLE)을 수행하고 이미지의 합산 영역 테이블(SAT)을 발생시킨다. RLE 및 SAT은 후보 물체를 식별하고 그들 경계를 반복적으로 리파인하도록 사용된다. 그래디언트의 히스토그램(HoG) 및 서포트 벡터 머신(SVM)은 그 후 물체를 신뢰할만하게 분류한다. 그 방법은 첨단 운전자 보조 시스템(ADAS)의 일부분일 수 있다.

Description

물체 검출{OBJECT DETECTION}

우선권 정보

본 출원은 2012년 11월 9일자로 출원된 미국 특허 가출원 제61/724,867호 및 2013년 4월 9일자로 출원된 미국 특허 가출원 제61/810,047호의 정규 출원이며, 이들 가출원은 둘 다 그들의 전문이 참조에 의해 본 명세서에 편입된다.

발명의 기술분야

본 발명은 일반적으로는 물체 검출에 관한 것으로, 더 구체적으로는 전방 충돌 경고(forward collision warning: FCW) 시스템용 비디오 스트림 내 자동차의 검출에 관한 것이다.

최신 차량은 첨단 운전자 보조 시스템(advanced driver assistance system: ADAS)을 포함할 수 있다. ADAS의 역할은 위험을 운전자에게 단지 수동적으로 경고하는 것으로부터 비상 상황에서 차량을 제어하는 것으로 소망 상황에서 차량을 완전히 자율적으로 제어하는 것으로까지의 범위에 이를 수 있다. ADAS는 전용 매립형 마이크로컴퓨터일 수 있고, 예컨대, 차선 이탈 경고(Lane Departure Warning: LDW), 교통 신호 인식(Traffic Signal Recognition: TSR), 보행자 검출(Pedestrian Detection: PD), 자동화된 상향등/하향등(High Beam/Low Beam: HBLB) 제어 및 FCW를 포함하는 특정 실시간 동작을 제공할 수 있다.

특히 FCW용 물체 검출에 관하여는, 차와 같은 물체를 식별하기 위해 서포트 벡터 머신(support vector machine: SVM) 분류기 및 그래디언트의 히스토그램(histogram of gradient)을 사용하는 것이 업계에 알려져 있다. SVM 및 그래디언트의 히스토그램은 매우 신뢰할 만하지만, 비교적 계산 집약적 태스크이기도 하다.

도 1은 물체 검출의 일례의 방법의 흐름도;
도 2는 일반화된 물체 검출 컴퓨터의 기능적 블록 선도;
도 3은 차량 검출을 제공하는 첨단 운전자 보조 시스템용 일례의 매립형 컴퓨터의 블록 선도;
도 4는 일반화된 대칭 방법의 블록 선도 뷰;
도 4a는 대칭 방법 후 물체의 블록 선도;
도 5는 일반화된 코너 검출 결과의 블록 선도;
도 6은 비디오 스트림으로부터 취한 일례의 이미지;
도 7은 런-길이 인코딩 플롯의 일례의 그래픽 뷰;
도 8은 런-길이 인코딩 플롯 상의 영역 생성의 일례도;
도 9는 도 6의 이미지상의 대칭 프로세싱의 일례도;
도 10은 도 6의 이미지상의 코너 검출의 일례도;
도 11은 도 6의 이미지상의 음영 검출의 일례도.

개요

본 발명은 이미지 내 관심 물체를 검출하는 방법으로서 아래의 것을 포함하는 방법을 제공한다:

a. 이미지를 수신한다;

b. 후보 물체의 경계를 나타내는 형상에 대한 에지를 식별하기 위해 이미지 상에 런-길이 인코딩을 수행한다;

c. 후보 물체가 관심 물체라는 가설을 발생시킨다;

d. 후보 물체에 대하여 그래디언트의 히스토그램을 계산한다; 그리고

e. 서포트 벡터 머신 방법을 사용하여 후보 물체를 관심 물체로서 분류한다.

부가적 실시예에 의하면, 위에서 개시된 방법은 아래의 것을 더 제공할 수 있다:

a. 제2 이미지에 대해 합산 영역 테이블을 산출(computing)한다, 제2 이미지에는 제1 이미지의 후보 물체가 들어있다, 후보 물체는 그것과 연관되어 후보 물체의 경계를 나타내는 형상을 갖는다;

b. 형상을 이산 영역으로 분할하고 합산 영역 테이블을 사용하여 영역 간 대칭인지 테스트한다; 그리고

c. 적어도 하나의 코너를 식별하기 위해 하르 템플릿(Haar template)을 형상에 적용한다.

또 다른 실시예에 의하면, 본 발명은 관심 물체를 검출하기 위한 컴퓨터로서 아래의 것을 포함하는 컴퓨터를 제공한다:

a. 프로세서;

b. 카메라; 및

c. 실행될 때 프로세서에 아래의 것을 하도록 명령하도록 구성되는 소프트웨어 명령어를 저장한 메모리:

i. 카메라로부터 제1 이미지를 수신한다;

ii. 제1 이미지의 런-길이 인코딩을 산출한다;

iii. 후보 물체의 에지를 검출하기 위해 런-길이 인코딩을 사용한다;

iv. 카메라로부터 제2 이미지를 수신한다, 제2 이미지는 제1 이미지의 이전 상태를 표현하고 후보 물체를 포함한다;

v. 제2 이미지의 합산 영역 테이블을 계산한다;

vi. 후보 물체의 검출된 에지를 리파인(refine)하기 위해 합산 영역 테이블을 사용한다.

vii. 그래디언트의 히스토그램 및 서포트 벡터 머신 인가를 사용하여 후보 물체가 관심 물체임을 검증한다.

또 다른 실시예에 의하면, 본 발명은 아래의 것을 포함하는 첨단 운전자 보조 시스템을 제공한다:

a. 주변 환경으로부터 시각적 데이터를 취하고 초당 30 프레임으로 적어도 640×480 픽셀의 해상도를 갖는 비디오 스트림을 제공하도록 구성된 카메라;

b. 비디오 스트림을 수신하고 실시간으로 640×480 픽셀 해상도로 초당 적어도 30 프레임을 프로세싱하도록 구성된 컴퓨터, 스트림을 프로세싱하는 것은 초당 불과 250 밀리언의 명령어를 소모하면서 비디오 스트림 내 위험하게 근접한 물체를 식별하는 것을 포함한다.

발명의 설명

본 명세서는, 일반적으로는 컴퓨터에 의한 자동화된 물체 검출에 관한 것이지만, 특히 FCW에 관한 것이고 본 명세서에 개시되고 도면에 도시된 구체적 실시예와 관련하여 가장 잘 이해된다. 본 명세서에 개시된 실시예는, 디지털 신호 프로세서(DSP), 마이크로프로세서, 마이크로컨트롤러, 또는 그 유사한 것 상에서 불과 250 밀리언의 명령어/초(millions of instructions per second: MIPS)를 소모하면서, 30 프레임/초(frame per second: fps) 및 640×480 픽셀의 전 비디오 그래픽 어레이(video graphics array: VGA) 해상도로 실시간 FCW를 제공하도록 적응되어 있다. 이것은 대략 500 MHz로 동작하는 아날로그 디바이시스사(Analog Devices, Inc.: ADI)의 "Blackfin" BF609 듀얼-코어 프로세서와 같은 단일 듀얼-코어 DSP 상에서 실시간 풀-스케일 VGA 검출을 가능하게 한다. 이러한 DSP는 기본 이미지 프로세싱을 수행하도록 설계된 DSP 코어 다음 기능적 하드웨어 블록의 세트인 파이프라인 방식 비전 프로세서를 포함한다.

예시적 실시예의 FCW 방법은 두 갈래이다: 하나의 갈래는 소벨 에지 맵(Sobel edge map) 및 그 다음의 런 길이 인코딩(run length encoding: RLE) 분석에 기반하고, 두 번째 경로는 합산 영역 테이블(summed area table: SAT) 분석에 기반한다. 예시적 실시예에 있어서, 2개의 경로(RLE 기반 경로 및 SAT 기반 경로)는 서로 독립적이다. 독립적 경로는 (예컨대, 음영 또는 다른 환경 조건으로부터 초래되어) 에지 맵이 악영향을 받게 되어서 RLE 기반 경로가 영향을 받게 되더라도 SAT 기반 경로는 여전히 신뢰할만한 검출을 제공할 수 있음을 보장한다.

예시적 실시예에 있어서, VGA FCW 프로세싱은 약 249 MIPS의 피크로 평균적으로 약 110 MIPS로 수행된다. 일례에 있어서, RLE 기반 경로(예컨대, RLE 기반 가설 발생)는 부가적으로는 예컨대 자동 헤드램프 제어를 위해 차량 빛을 검출하도록 사용될 수 있다.

관용적 차량 검출 방법과는 대조적으로, 개시된 검출 방법은 대칭, 코너 및 음영 검출을 이산적으로 그리고 최적으로 채용한다. 예컨대, 단순 하르 특징이 코너 검출을 달성하도록 구현되고, 그로써 MIPS를 감축한다. 더욱, 대칭, 코너 및 음영 검출 특징은 현재 프레임 내 가능한 차량 대신에 이전 이미지 프레임 내 차량 상에 수행되고, 그로써 결정성 MIPS를 제공한다.

개시된 차량 검출 방법은 모든 스테이지에서 모든 검출 특징을 사용하는 것을 삼가고, 대신에 관련 검출 특징의 재량적 캐스케이드를 구현한다. 예컨대, 개시된 차량 검출 방법은 아래의 것을 사용한다:

차량의 좌측 변 및 우측 변을 검출하기 위한 대칭;

차량의 하단 변, 좌측 변 및 우측 변을 재계산하기 위한 코너;

차량의 하단 변을 재계산하기 위한 음영 및 도로 강도 및

차량의 상단 변을 재조절하기 위해 에지 맵의 RLE로부터 유도된 세그먼트.

포함된 도면을 이제 보면, 물체 검출 방법 및 시스템의 예시적 실시예가 더 상세하게 개시되어 있다. 표준 실무에 따라, 다양한 도면은 축척대로 그려진 것은 아니며 단지 예시 목적으로만 사용된다.

도 1은 비디오 스트림의 프레임 내 차량과 같은 하나 이상의 관심 물체를 검출하는 일례의 방법(100)의 흐름 선도이다. FCW에서의 코어 태스크는 충돌 위험을 표현할 수 있는 "가장 가까운" 차량을 검출하는 것이기 때문에 구체적 예로서 차량 검출이 유용하다. 예컨대, 도 6은 예컨대 ADAS 구비 차량(도시하지 않음)의 온보드 카메라의 비디오 스트림으로부터 취할 수 있는 일례의 도로 장면의 이미지(600)를 도시하고 있다. 이미지(600)는 3대의 차(610, 630, 640)를 포함하고, 모두 도로(620) 상에 있다. 차량(610)은 ADAS 구비 차에 가장 가깝고 그와 동일 차선(622)에 있으므로, 가장 근접한 충돌 위험을 표현한다. 차(640)는 더 멀리 있고 옆 차선에 있으므로 더 적은 충돌 위험을 표현한다. 차(630)는 거의 차(610)만큼 가깝지만 옆 차선에 있으므로, 역시 더 적은 충돌 위험을 표현한다. 차(610)를 성공적으로 식별함에 있어서 복잡하게 하는 문제는 차(610)의 거짓 에지처럼 보이는 나무(660)와 장대(650)를 포함할 수 있고, 차(610)를 도로(620) 및 음영(612)과 구별하는 것이다. 성공적 FCW 이벤트는 도로(620), 음영(612), 장대(650) 및 나무(660)와 분리하여 차(610)를 차라고 검출하고 차(610)가 불안전하게 근접함을 검출하는 것을 포함할 수 있다. 검출에 응답하여, FCW 시스템은 운전자에게 경고 또는 브레이크 걸기와 같은 적절한 조치를 취할 수 있다.

위에서 언급된 바와 같이, 차량(610)은 그래디언트의 히스토그램 및 SVM 분류(HoG/SVM) 방법으로 비교적 신뢰할만하게 검출될 수 있다. 그러나 30 fps로 640×480 픽셀의 전 VGA 필드 상에 HoG/SVM을 수행하는 것은 엄청나게 계산 집약적이고, 그리하여, 특히 프로세서가 실시간으로 LDW, TSR, PD 및 HBLB도 수행하도록 요구될 때, Blackfin BF609와 같은 매립형 프로세서상에서는 실행가능하지 않을 수 있다. 도 1의 방법 없이, DSP 상에서의 실시간 프로세싱을 위한 옵션은, 예컨대, 이미지를 15 fps로 언더샘플링하는 것, 또는 프로세서를 사용하여 해상도를 320×240 픽셀로 압축하는 것을 포함할 수 있다. 그렇지만, 그러한 기술은 더 낮은 신뢰도의 결과를 초래한다. 또 다른 옵션은 부가적 코어 또는 프로세서를 사용하는 것이고, 그리하여 코어 또는 프로세서를 부가하는 것으로부터 얻어지는 부가적 이득의 기회 비용뿐만 아니라 부가적 비용 또는 복잡함의 불이익을 초래하게 된다. 예컨대, 부가적 코어 또는 프로세서는 1280×920 픽셀로 고선명도 이미지의 실시간 프로세싱을 가능하게 하도록 사용될 수 있다. 그리하여, 도 1은 HoG/SVM이 이미지에서 픽셀의 선택된 서브세트 상에서만 수행되는 물체 검출 방법(100)을 개시하고 있는데, 그로써 FCW 루틴에 의해 더 적은 프로세서 사이클이 소모되어서, 단일 듀얼-코어 프로세서상에서 30 fps로 전-VGA 해상도로 실시간 검출을, 또는 2-듀얼-코어 프로세서 구성상에서 30 fps로 1280x960 해상도로 실시간 검출을 - 모두 신뢰할만한 LDW, TSR, PD 및 HBLB에 부가하여 가능하게 한다.

도 1로 돌아가서, 방법(100)에 의하면, 이미지는 블록(104)에서 캡처링된다. 예시적 방법에 있어서, 캡처링된 이미지는 가장 가까운 차량과 같이 검출될 관심 물체를 포함한다. 블록(120)에서, 종래 기술의 소벨 에지 검출 방법이 이미지 상에 수행된다. 소벨 오퍼레이터는 강도에 무관하게 이미지 강도의 그래디언트의 근사치를 계산하거나, 또는 바꿔 말하면, 소벨 오퍼레이터는 각각의 포인트에서 그 포인트에서의 강도 변화율과 더불어 변화 방향도 표현하는 벡터를 계산한다. 강도 그래디언트가 첨예할수록 (또는 달리 말하면, 휘도에서의 급변화가 더 많을수록) 에지를 표현할 가능성이 더 크다. 유사하게, 첨예한 수직 그래디언트는 수평 에지를 표현할 가능성이 더 크고, 한편 첨예한 수평 그래디언트는 수직 에지를 표현할 가능성이 더 크다.

블록(124)에서, 소벨 에지 검출(120)의 출력이 런-길이 인코딩(RLE)을 수행하도록 사용된다. RLE은 유사하거나 똑같은 픽셀의 "런"들이 런 길이 및 값으로 인코딩되는 방법이다. 예컨대, "B"가 흑색을 표현하고 "W"가 백색을 표현하는 일례의 흑백 이미지에 있어서, 50개의 연이은 흑색 픽셀은 "50B"로 런-길이 인코딩될 것이다. 이러한 방법에 있어서, 소벨 에지 극 크기는 임계값에 달려 있다; 임계값 아래의 값은 0으로 할당되고; 임계값보다 더 큰 값은 1로 할당된다. 그 후 1의 런-길이는 인코딩되고 다음의 성형 스테이지에서 사용된다. 당업자는 이러한 방법의 변형, 예컨대, 서로의 특정 분산 내에 드는 픽셀을 그룹화하는 것, 또는 픽셀의 패턴을 반복하는 것(예컨대, 패턴 "BBWW"의 50 어커런스는 "50BBWW"로 인코딩될 수 있음) 또한 가능함을 인식할 것이다. RLE 연산은 RLE 플롯(700)(도 7)과 같은 높은 콘트라스트 RLE 플롯을 산출할 수 있다.

블록(130)에서, RLE 플롯(700)에서 정의된 형상을 더 리파인하기 위해 성형 및 세그멘테이션의 프로세스가 수행된다. 예컨대, 도 8은 RLE 플롯(700)(도 7)으로부터 식별된 3개의 관심 영역(ROI)을 개시하고 있는데, 각각은 실질적으로 직사각형이다. 물체(810)는, 예시적 실시예에 있어서, 전방 충돌 위험일 수 있는 물체이다. 그래서, 물체(810)의 경계를 나타내는 영역을 더 정밀하게 리파인하는 것이 유익하다. 소정 경우에 있어서, 성형 및 세그멘테이션은 과도한 프로세싱 전력을 소모하지 않도록 최소일 수 있다.

블록(132)에서, 얼마나 많은 차량이 현 프레임에 있는지에 관한 가설이 형성된다. 블록(134)에서, 현재 프레임 내 가능한 차량의 세트가 제공된다.

이롭게도, 개시된 차량 검출 방법이 RLE 기반 경로를 포함하는 경우, 이미지의 RLE는 명료한 위치가 이용가능하므로 선천적으로 더 신뢰할만하다. 그렇지만, RLE는 그것이 프로세서-집약적일 수 있기 때문에 실시간 프로세싱에는 사용되지 않는 것이 보통이다. 위에서 언급된 바와 같이, 본 발명은 RLE 발생을 PVP 비디오 프리프로세서(preprocessor)에 분담시키는 것을 가능하게 하는, 아날로그 디바이시스사에 의한 Blackfin 609 DSP와 같은 DSP에서 그 개시된 차량 검출 방법을 구현한다.

도 1의 별개 브랜치에 있어서, 블록(110)에서, 이전 이미지, 예컨대, 이전의 반복에서 블록(120) 브랜치에 따라 프로세싱되었던 이미지에 대해 합산 영역 테이블(SAT)이 산출된다. 블록(110) 브랜치에서의 방법은 가설을 리파인하도록 제공된다. SAT 연산은 이미지를 복수의 이산 정사각형으로 분할하고, 그 각각은 예시적 실시예에서는 사이즈가 균일하고, 그 각각은, 개개의 픽셀의 강도이든지 하나의 정사각형 픽셀보다 더 큰 블록에 대해 성분 픽셀의 강도의 합이든지 어느 것일 수 있는 특성 강도를 갖는다.

SAT 연산은 첫 블록에서 시작하고, 그 후 순서대로 이미지 전체를 가로질러 진행하여, 각각의 블록에 대해서 그 블록의 강도와 이전 블록에 대해 기록된 값의 합을 기록한다. 그리하여, SAT은 각각의 블록에 대해 그 블록을 포함하여 그까지 모든 강도의 런 합을 기록한다. SAT은 각각의 이미지에 대해 한번만 산출되고, 다른 연산을 위해 합 계산을 매우 단순화한다. 예컨대, (좌측 상단으로부터 시작하여 시계 방향으로 이동하는) 변 A, B, C, D에 의해 경계가 나타내어지는 직사각형 영역은 A+D-(B+C)의 강도 합을 갖는다. A, B, C 및 D에 대한 강도 합은 이미 SAT에 기록되어 있기 때문에, 멋대로 큰 직사각형 영역의 합을 계산하는 것은 단지 3개의 이산 연산하고만 관련된다.

블록(140)에서는, 이전 프레임에서 식별된 차량 또는 다른 후보 물체를 포함하는 이미지가 제공된다. 블록(144)에서는, 좌측 변 및 우측 변의 검출을 리파인하기 위해 대칭 체크가 수행된다. 이것은 모든 자동차가 뒤에서 볼 때 수직축을 따라 필연적으로 대칭적이기 때문에 차량 검출에 유용하다. 프레임 내 모든 차량을 똑바로 뒤에서 볼 수 있는 것은 아니므로, 대칭 분석에는 코너 검출보다 더 낮은 우선순위가 부여될 수 있다.

도 4는 블록(144)의 대칭 프로세스를 거치는 물체의 포괄적 버전을 개시하고 있다. 도 4에 있어서, 후보 관심 물체(410)가 식별되었다. 이전 스테이지로부터의 RLE 프로세싱은 이 예에서는 물체(410)보다 조금 더 크고 또한 중심에서 벗어난 근사적 형상(420)을 산출하였다. 형상(420)은 복수의 세그먼트(422)로 분할된다. 세그멘테이션은 대칭이라는 거짓 긍정을 회피하는데 유용하다. 예컨대, 물체(410)의 좌측 하단 코너에서의 특징은 물체(410)의 우측 상단 코너에서의 특징을 오프셋하여, 그리하여 거짓 수직 대칭을 생성할 수 있다.

물체(420)가 세그먼트(422)로 분할된 후에, 수직축(450)은 형상(420)의 중심을 통하여 확립된다. 강도 합은 세그먼트(422)의 좌측 변(A) 및 우측 변(B) 둘 다에 대해 취해진다. 그 후 이들 합의 차는 (A-B)로 산출된다. 합은 그것이 SAT(240)(도 2)에 기반하기 때문에 프로세서 집약적이지 않다. 그 후 형상(420)은 좌우로 슬라이딩되고, 수평으로 수축 및 확장된다. 각각의 변화로, 합의 부가적 차가 취해진다. 이상적 이미지에 있어서, 물체(410)의 2개의 변은 정확하게 대칭적이고, 합의 차는 형상(420)이 물체(410)와 중심이 맞춰지고 폭이 같을 때 정확히 영이 될 것이다. 실제 애플리케이션에 있어서는, 도 4a에 도시된 바와 같이, 그 차가 최소일 때 형상(420)이 물체(410)와 중심이 맞춰진다.

블록(150)에서는, 코너의 검출을 리파인하기 위해 하르 템플릿(1010)이 사용된다. 코너 검출은 그것이 수직 및 수평 에지 둘 다에 신뢰를 증가시키기 때문에 유용하다. 하르 템플릿(1010)은 좌측 하단 코너 형상과 대략 균등한 형상 및 차(610)(도 6)의 사이즈에 대략 비례하는 사이즈를 갖도록 선택된다. 도 10에 있어서, 하르 템플릿(1010)은 우측 상단 사분면(1012)이 +1(백색)이고 템플릿의 나머지(1014)가 -1(흑색)인 것으로 도시되어 있다. 대칭 방법으로와 같이, 1012(A) 및 1014(B)에 대한 강도 합이 계산되고, 그 차(A-B)가 산출된다. 소정 경우에 있어서는, 강도를 스케일링하도록 승산기가 사용될 수도 있다. 그 후 템플릿은 차(610)의 좌측 하단 코너 가까이에서 2차원적으로 이리저리 움직여진다. 각각의 움직임으로 합의 차가 계산되고, 그 차가 최대일 때, 코너가 검출되는 것이다. 소정 실시예에 있어서, 템플릿은 반전(1012에 대해 -1 그리고 1014에 대해 +1)될 수 있고 신뢰도를 개선하기 위해 코너 검출에 부가적 프로세싱 단계가 부가될 수 있다.

도 5는 물체(410)의 블록 선도를 개시하고 있는데, 하단 코너가 검출되었고 물체(410)의 하단 코너와 꼭 매칭하는 형상(510)이 형성되어 있다. 형상(510)은 예시적 실시예에서는 이전에 도 4의 대칭 방법을 사용하여 물체(410)와 중심이 맞춰졌었던 형상(420)(도 4 및 도 4a)을 리파인한 것임을 주목하라. 또한 하단 에지만이 신뢰할만하게 검출되었음을 주목하라. 관심 있는 상단 에지의 위치를 신뢰할만하게 찾아내기 위해 유사한 하르 템플릿이 사용될 수 있다. 그렇지만, 소정의 예시적 도로 장면에 있어서는, (간판, 나무, 장대 등과 같은 사물을 배경으로 대비될 수 있는) 차량의 상단보다 (도로를 배경으로 대비되는) 차량의 하단이 더 신뢰할만하게 검출될 수 있다.

태스크가 전방 충돌 위험일 수 있는 차량을 식별하려는 것인 예시적 실시예에 있어서는, 알려져 있는 하단 에지가, 카메라의 초점 길이와 함께, 차량까지의 거리를 신뢰할만하게 추정하여 차량이 충돌 위험이기에 충분히 가까이 있는지 아닌지 결정하도록 사용될 수 있기 때문에 하단 에지를 정의하는 것이 우선순위이다. 상단 에지 검출을 리파인하는 것은 이 태스크에 필요하지 않고, 그래서 프로세서 사이클은 그렇게 하는데 쓰이지 않는다.

블록(154)에서, 현재 이미지 내 위치하는 차량의 리파인된 이미지는 이전 프레임 상에 행해진 프로세싱에 기반하여 제공된다. 블록(160)에서, 블록(154, 132)의 출력이 현재 프레임 내 가능한 차량의 세트를 형성하도록 조합된다.

블록(170)에서는, 예컨대 차(610, 630, 640)를 포함하여 현재 프레임 내 모든 가능한 차량의 하단의 검출을 리파인하기 위해 음영 및 도로 검출이 사용된다. 차량의 하단의 정확한 검출은 차량까지의 거리를 정확히 계산하는데 중요하다. 이 방법에 있어서는, 하르 템플릿(1110)이 제공된다. 하르 템플릿(1110)은 음영(612) 및 차(610)의 하단 범퍼의 형상과 대략 같은 직사각형 형상을 갖고, 2개의 영역(1112, 1114)을 갖는다. 하르 템플릿은 또한 매칭될 특징에 맞도록 사이즈 조절될 수 있다. 이러한 예시적 실시예에 있어서, 영역(1112)은 +1(백색)의 승수를 제공하고, 영역(1114)은 -1(흑색)의 값을 갖는다. 그래서, (1112)는 음영(612)과 더 꼭 매칭할 것이고, 한편 (1114)는 도로(620)와 더 꼭 매칭할 것이다. 하르 템플릿(1110)은 상하로 슬라이딩되고 (1112)와 (1114) 간 차가 계산된다. 그 차가 가장 큰 콘트라스트를 의미하는 최대값에 도달할 때, 차(610)의 하단이 더 정확하게 검출되는 것이다. 주목할만하게도, 차의 계산은 합이 모두 블록(110)의 SAT으로부터 취해지기 때문에 프로세서 집약적이지 않다.

블록(160)에서는, 예시적 실시예에 있어서 차(610, 630, 640)를 포함하는, 현재 프레임 내 모든 후보 차량이 식별된다. 블록(180)에서는, HoG가 그들 후보 상에 실행되고, 블록(184)에서는, SVM에 따라 후보가 분류된다. 그들 리파인된 것으로, 블록(190)에서는, 현재 프레임 내 차량이 식별된다. 블록(190) 내 식별된 차량은 그 후 다음 프레임 동안 SAT 기반 분석을 위해 블록(140)에 제공될 수 있다.

블록(144, 150, 170)은 일반적으로 SAT 기반 분석이라고 지칭될 수 있고 재량적 캐스케이드로 제공될 수 있다. 특징은 블록(120) 브랜치에서 수행된 프로시저에 리던던시 및 리파인을 제공하기 때문에, (144, 150, 170)의 연산은 이미지 내 물체의 양호한 근사에 필요하지는 않다. 이들 단계 중 특정 단계는 정확도가 중요하지 않으면 특정 실시예에서는 없앨 수 있다.

도 2는 도 1의 방법을 수행하는 프로세서의 기능적 태양의 블록 선도이다. 예시적 실시예에 있어서, 파이프라인 비전 프로세서(pipeline vision processor: PVP)(210)와 같은 프리프로세서는 소벨 에지 검출 블록(120), RLE 블록(124) 및 SAT 블록(110)에 사용된다. PVP(210)는 예시적 Blackfin BF609 DSP 상에 제공된다.

더 구체적으로 적분 이미지(IIM) 블록(242)은 SAT(240)을 계산한다. 극 크기 각(PMA) 블록(238)과 조합된 2개의 컨벌루션(CNV) 블록은 소벨 에지(236)를 산출한다. 소벨 에지(236)는 임계값, 히스토그램 및 압축(THC) 블록(231)에 제공되어, RLE 플롯(234)을 계산한다.

예컨대, 종래 기술에서 알려져 있는 방법에 의하면, 에지는 수직 합산을 사용하여 검출된다. 수직 합은 픽셀의 각각의 칼럼에 대해 계산된다. 수직 합은 에지가 표현되지 않은 픽셀의 칼럼에 대해 비교적 낮고 에지가 표현되는 픽셀의 칼럼에 대해 비교적 높다. 완벽하게 백색 필드 및 절대적으로 수직 흑색 에지를 갖는 이상적 백색 배경의 흑색 이미지에 있어서, 수직 합 함수는 도 12에 도시된 바와 같이 영으로부터 최대값으로 순간적으로 점프하는 임펄스 함수의 특성을 가질 것이다.

어느 정도의 강도 및 불완전한 에지를 갖는 실세계의 이미지에 있어서, 수직 합은 도 13에서와 같이 불완전하지만 특성 "피크" 또는 로컬 최대값을 갖고 그 피크 주위에 가파른 기복이 있다.

그러한 로컬 최대값이 수개 나타날 수 있고, 복수의 수직 에지를 표현한다. 예컨대, 도 6의 수직 합은 차(610, 630, 640)의 각각의 좌측 및 우측 에지 주위에 로컬 최대값들을 나타낼 수 있다.

수직 합산의 한계는 그것이 배경 방해에 민감하다는 것이다. 예컨대, 도 6에 있어서, 장대(650-4)는 매우 큰 로컬 최대값을 형성할 것이어서, 도 14에 보이는 바와 같이 차(630)의 좌측에 대한 로컬 최대값을 뒤덮어 버릴 수 있다.

이러한 한계 때문에, 본 발명의 몇몇 실시예는 수직 합산을 수행하지 않고 그보다는 수평 런 길이에 의존한다. 하나의 픽셀 폭에 완벽하게 수직의 에지를 갖는 이상적 백색 배경의 흑색 이미지에 있어서, 수직 에지는, 각각은 하나의 픽셀 폭 및 백색이고, 각각은 아주 똑같은 수평 오프셋으로 있고, 각각은 어느 측에서든 백색으로부터 흑색으로(또는 흑색으로부터 백색으로) 무한으로 가파른 그래디언트를 갖는 런의 "스택"에 의해 특징지어질 것이다. 스택은 상단 및 하단 에지를 표현하는, 상단 및 하단에서의 백색 픽셀의 긴 런에 의해 제한된다. 또, 이러한 이상적 서명은 불완전한 이미지에 맞는 것으로 추론될 수 있는데, 이 경우 비교적 직사각형 물체의 경계는 비교적 인텐스 픽셀의 긴 런(아마도 불완전한 에지에 대해 깊은 수개의 층)으로 시작하여 그 후 상단 에지를 부분적으로 오버랩하는 비교적 인텐스 픽셀의 비교적 더 짧은 런의 스택인 "박스"로 구성될 수 있다. 박스의 하단은 첫 번째 긴 런과 실질적으로 오버랩하고 수직 에지 스택과 일부 오버랩하는 비교적 인텐스 픽셀의 두 번째 긴 런으로 구해진다.

본 발명의 예시적 실시예에 있어서, RLE로부터 구성된 박스는 차량과 같은 관심 물체에 대한 후보를 식별하기 위한 베이스라인 가설을 형성한다.

주목할만하게도, 차(630) 위에 앉은 도 6의 장대(650-4)로 돌아가서, RLE 박스는 장대(650-4) 주위에 형성될 수 있지만, 장대 주위의 박스는 차(630) 주위의 박스와는 특성상 그리고 시각상 구별될 것이다. (650) 주위의 긴 좁은 박스는 자동차의 프로파일에 맞지 않을 것이기 때문에, 그 박스는 부가적 프로세싱 없이 폐기될 수 있다. (장대(650-4)는 또한 눈에 띄게는 그 상에 게시된 표지를 포함한다. 그래서, 장대(650-4)는 실제로 2개의 긴 좁은 박스와 정사각형에 가까운 하나의 부가적 박스로 분할될 수 있다. 이러한 세 번째 박스는 차량의 프로파일에 더 꼭 맞을 수 있고, 그래서 부가적 프로세싱을 위한 후보일 수 있다.)

이미지 상에서 런 길이를 계산하기 위해, PVP(210)는 우선 카메라로부터의 데이터 피드인 카메라 파이프(230)를 수신한다. PVP(210)는 그 후 이미지 상에 소벨 연산을 수행하여, 소벨 크기 및 각을 표현하는 벡터를 소벨 출력(236)으로 출력한다. 소벨 출력(236)은 메모리 파이프(232)에 제공되고, PVP(210)가 이미지 상에 RLE를 수행하기 위해 THC(231)에 넘겨준다. 이러한 함수의 출력은 그래프로는 RLE 플롯(700)(도 7)으로 표현되는 RLE 플롯(234)이다. RLE 플롯(234)은 관심 영역(ROI)을 선택하고 예시적 실시예에서는 RLE 플롯(234)에서 박스 형상을 찾아내는 것을 포함하는 프로세싱 코어(220)에 제공된다.

PVP(210)는 SAT(240) 및 RLE 플롯(234)을 코어(220)에 제공한다. 블록(250)에서는, 코어(220)가 관심 영역을 선택한다. 블록(254)에서는, 블록(130)(도 1)에 대해 더 상세히 설명된 바와 같이, 코어(220)가 관심 물체를 세그먼트로 분할한다. 그 후 코어(220)는, 블록(260)에서, SAT(240)을 사용하여 이미지의 이전 반복에서의 후보 물체 상에 코너, 대칭 및 음영 검출 연산을 수행한다. 블록(260)의 연산은 후보 물체 상에 HoG/SVM이 수행되는 블록(270)에 제공되는 후보 물체의 세트를 제공한다. 블록(290)에서는 현재 프레임에 대해 차량으로 분류된 모든 물체 상에 트래킹이 구현된다. 후보 물체가 잠재적 충돌 위험이면, 블록(280)에서 경고가 발생될 수 있다.

도 3은 도 1의 방법을 수행하기 위한 일례의 하드웨어 아키텍처를 개시하고 있다. 예시적 하드웨어 아키텍처에 있어서, 카메라(310)는 비디오 피드를 제공한다. 옵션으로서(예컨대, 테스트 목적으로) 호스트 PC(320)가 또한 제공될 수 있다. 멀티플렉서 보드(330)는 카메라(310)와 한편에서는 호스트 PC(320)와 매립형 마더보드(340) 간 통신을 중재한다. 이러한 예시적 실시예에 있어서, 예시적 마더보드(340)는 아날로그 디바이시스사의 ADRP2 비전 보드이다. 마더보드(340)에는 2개의 디지털 신호 프로세서(350, 360)가 실려 있다. 이 예시적 실시예에 있어서, DSP(350, 360)는 둘 다 아날로그 디바이시스사의 Blackfin BF609 듀얼-코어 프로세서이다. 각각의 BF609에는 일종의 비디오 프리프로세서(358, 368)인 파이프라인 비전 프로세서(PVP)뿐만 아니라 2개의 프로세싱 코어가 구비되어 있다. PVP는 예시적 실시예에 있어서는 이미지에 대한 합산 영역 테이블을 발생시키는 것뿐만 아니라 소벨 에지 검출 및 런-길이 인코딩을 포함하는 프리-프로세싱을 수행하도록 구성된다.

도 3의 실시예에 있어서, FCW가 실시간 성능을 양보함이 없이 초당 30 프레임으로 1280×960 픽셀의 해상도로 고선명도(HD) 데이터 상에 수행될 수 있도록 2개의 DSP가 제공된다. FCW는 LDW, TSR, HBLB 및 PD에 부가하여 수행된다. 대신 VGA급 비디오가 사용되면, 그 때 프로세서(360)는 불필요하다; 그 경우에는 단일 프로세서가 모든 5개의 애플리케이션을 처리할 수 있다.

2-프로세서 구성에 있어서, 프로세서0(350)의 코어0(352)는 LDW 및 TSR 계산을 수행한다. 프로세서0의 코어1(353)는 FCW 및 HBLB를 수행한다. 이러한 실시예에 있어서, PD는 전적으로 프로세서1(360)에 의해 처리된다. 이것은 PD가 가장 계산 집약적 태스크이기 때문이다. 프로세서1(360)의 코어0(362)는 전적으로 PD에 전용이다. 프로세서1(360)의 코어1(363)는 PD를 보조하고 또한 테스트 목적으로 출력 그래픽 서브루틴을 제공한다. 따라서 프로세서(360)는 또한 비디오 스트림을 모니터(380)에 제공하는 아날로그 디바이시스사의 ADV7393과 같은 비디오 프로세서(370)에 비디오 출력을 제공한다.

위 시퀀스에 그러한 특징을 구현하는 것은 신뢰할만한 차량 검출을 제공한다. 본 발명은 관련 특징의 재량적 캐스케이드를 위해 다양한 다른 시퀀싱 기법을 고려한다. 예컨대, 도로 검출과 통합된 음영 검출이 더 초기 스테이지에서, 예컨대, 코너 검출 전에 차량의 강건한 하단 변 검출에 사용될 수 있다. 또 다른 예에 있어서, 차량의 상단은 RLE 대신에 수평 에지 합에 기반하여 재조절될 수 있다.

개시된 차량 검출 방법은 수많은 이점을 제공하는데, 서로 다른 실시예는 서로 다른 이점을 가질 수 있고 어느 실시예의 이점이 반드시 요구되는 것은 아니라고 이해된다.

위 실시예의 논의에 있어서, 커패시터, 버퍼, 그래픽 엘리먼트, 인터커넥트 보드, 클록, DDR, 카메라 센서, 디바이더, 인덕터, 레지스터, 증폭기, 스위치, 디지털 코어, 트랜지스터 및/또는 다른 컴포넌트는 특정 회로 요구를 수용하기 위해 쉽게 교체, 대체 또는 그렇지 않으면 수정될 수 있다. 더욱, 상보적 전자 디바이스, 하드웨어, 비-일시적 소프트웨어 등의 사용은 본 발명의 교시를 구현하기 위해 동등하게 실행가능한 옵션을 제공함을 주목해야 한다.

일례의 실시예에 있어서, 도면 중 전기 회로의 어떠한 수라도 연관된 전자 디바이스의 보드 상에 구현될 수 있다. 보드는 전자 디바이스의 내부 전자 시스템의 다양한 컴포넌트를 보유할 수 있는 일반적 회로 보드일 수 있고, 나아가, 다른 주변 장치에 커넥터를 제공할 수 있다. 더 구체적으로, 보드는 시스템의 다른 컴포넌트가 전기적으로 통신할 수 있게 하는 전기적 커넥션을 제공할 수 있다. (디지털 신호 프로세서, 마이크로프로세서, 지원 칩셋 등을 포함하는) 어떠한 적합한 프로세서, 메모리 엘리먼트 등이라도 특정 구성 요구, 프로세싱 요구, 컴퓨터 설계 등에 기반하여 보드에 적합하게 결합될 수 있다. 외부 스토리지, 부가적 센서, 오디오/비디오 디스플레이용 컨트롤러, 주변 디바이스와 같은 다른 컴포넌트는 플러그-인 카드와 같이 케이블을 통해 보드에 부착되거나 보드 자체에 통합될 수 있다.

또 다른 일례의 실시예에 있어서, 도면 중 전기 회로는 스탠드-얼론 모듈(예컨대, 특정 애플리케이션 또는 기능을 수행하도록 구성된 연관 컴포넌트 및 회로를 갖는 디바이스)로 구현되거나 전자 디바이스의 애플리케이션 특정 하드웨어로의 플러그-인 모듈로 구현될 수 있다. 본 발명의 특정 실시예는 시스템 온 칩(system on chip: SOC) 패키지에 일부로든 전체로든 쉽게 포함될 수 있음을 주목하라. SOC는 컴퓨터 또는 다른 전자 시스템의 컴포넌트를 단일 칩으로 집적하는 IC를 표현한다. 그것에는 디지털, 아날로그, 혼합-신호 및 흔히 RF 기능이 들어있을 수 있다: 그 모두는 단일 칩 기판 상에 제공될 수 있다. 다른 실시예는 단일 전자 패키지 내에 위치하고 전자 패키지를 통해 서로 밀접하게 상호작용하도록 구성된 복수의 별개 IC를 갖는 멀티 칩 모듈(multi-chip-module: MCM)을 포함할 수 있다. 다양한 다른 실시예에 있어서, 기능성은 주문형 반도체(Application Specific Integrated Circuit: ASIC), 필드 프로그램가능한 게이트 어레이(Field Programmable Gate Array: FPGA) 및 다른 반도체 칩 내 하나 이상의 실리콘 코어에 구현될 수 있다.

본 명세서에서 제공된 수많은 예로는, 2개, 3개, 4개 또는 더 많은 전기적 컴포넌트의 관점에서 상호작용이 설명될 수 있음을 주목하라. 그렇지만, 이것은 명확성 및 단지 예의 목적으로 행해진 것이다. 시스템은 어떠한 적합한 방식으로라도 통합될 수 있음을 인식해야 한다. 유사한 설계 대안을 따라, 도면 중 예시된 컴포넌트, 모듈 및 엘리먼트의 어느 것이라도 다양한 가능한 구성으로 조합될 수 있고, 그 모두는 명확하게 본 명세서의 넓은 범위 내에 있는 것이다. 특정 경우에 있어서, 단지 제한된 수의 전기적 엘리먼트만을 참조함으로써 흐름의 주어진 세트의 기능성 중 하나 이상을 설명하는 것이 더 용이할 수 있다. 도면 및 그 교시의 전기 회로는 쉽게 스케일링 가능하고 더 많은 복잡한/정교한 배열 및 구성뿐만 아니라 다수의 컴포넌트를 수용할 수 있다. 따라서, 제공된 예들은 무수한 다른 아키텍처에 잠재적으로 적용될 때 전기 회로의 넓은 교시를 제약하거나 범위를 제한하지 않아야 한다.

본 명세서에서 개략 설명된 사양, 치수 및 관계는 단지 예 및 교시의 목적으로만 제공되었을 뿐이다. 이들 각각은 본 발명의 취지 또는 첨부 청구범위로부터 벗어남이 없이 상당히 달리 될 수 있다. 사양은 비-제한적 예로만 적용되고, 그에 따라, 그것들은 그처럼 해석되어야 한다. 앞선 설명에 있어서, 예시의 실시예는 특정 컴포넌트 배열을 참조하여 설명되었다. 첨부 청구범위로부터 벗어남이 없이 그러한 실시예에 다양한 수정 및 변경이 이루어질 수 있다. 따라서, 설명 및 도면은 제한적 의미보다는 예시적으로 여겨지려는 것이다. 나아가, 선행 도면을 참조하여 설명된 동작 및 단계는 본 명세서에서 설명된 다양한 장치, 프로세서, 디바이스 및/또는 시스템 내 또는 그에 의해 실행될 수 있는 가능한 시나리오 중 일부만을 예시한다. 이들 동작 중 일부는 적합한 경우 삭제 또는 제거될 수 있거나 또는 이들 단계는 논의된 개념의 범위로부터 벗어남이 없이 상당히 수정 또는 변경될 수 있다. 부가하여, 이들 동작의 타이밍은 상당히 바뀔 수 있고 여전히 본 발명에서 교시된 결과를 달성할 수 있다. 선행 동작 흐름은 예 및 논의의 목적으로 제공되었다. 어떠한 적합한 배열, 연대순, 구성 및 타이밍 메커니즘이라도 논의된 개념의 교시로부터 벗어남이 없이 제공될 수 있다는 점에서 시스템에 의해 실질적 융통성이 제공된다.

당업자가 본 발명의 태양을 더 잘 이해할 수 있도록 수개의 실시예의 특징을 앞서 개략 설명하고 있다. 당업자는 본 명세서에 소개된 실시예의 동일 목적을 수행하고/하거나 동일 이점을 달성하도록 다른 프로세스 및 구조를 설계 또는 수정하기 위한 기초로서 본 발명을 쉽게 사용할 수 있음을 인식해야 한다. 당업자는 또한 그러한 균등물 구성이 본 발명의 취지 및 범위로부터 벗어나지 않고, 그들이 본 발명의 취지 및 범위로부터 벗어남이 없이 본 명세서에서 다양한 변경, 대체 및 개조를 행할 수 있음을 또한 지각해야 한다.

당업자에게는 수많은 다른 변경, 대체, 변형, 개조 및 수정이 확인될 수 있고 본 발명은 모든 그러한 변경, 대체, 변형, 개조 및 수정이 첨부 청구범위 내에 드는 것으로 아우르려는 의도이다. 미국특허청(USPTO) 및 부가적으로 본 출원에 발행된 어떠한 특허의 어느 독자라도 여기 첨부된 청구범위를 해석하는 것을 보조하기 위해, 출원인은 (a) 첨부 청구범위 중 어느 것도 특정 청구항에 "위한 수단" 또는 "위한 단계"라는 단어가 특히 사용되고 있지 않으면 본 출원일에 존재하는 바의 35 U.S.C. 제112장 제6절을 적용하려는 의도가 아니며; 그리고 (b) 본 명세서 내 어떠한 서술에 의해서도, 첨부 청구범위에 달리 반영되지 않은 어떠한 방식으로라도 본 발명을 제한하려는 의도가 아님을 주목하기를 바라고 있다.

Claims

제1 이미지 내 관심 물체를 검출하는 방법으로서,
상기 제1 이미지를 수신하는 단계;
후보 물체의 경계를 나타내는 형상에 대한 에지를 식별하기 위해 상기 제1 이미지 상에 런-길이 인코딩(run-length encoding)을 수행하는 런-길이 인코딩 단계;
상기 후보 물체가 상기 관심 물체라는 가설을 발생시키는 단계;
상기 후보 물체에 대하여 그래디언트의 히스토그램(histogram of gradient)을 계산하는 단계;
서포트 벡터 머신 방법(support vector machine method)을 사용하여 상기 후보 물체를 상기 관심 물체로서 분류하는 단계;
제2 이미지에 대해 합산 영역 테이블을 산출하는 단계; 및
상기 형상을 이산 영역으로 분할하고 상기 합산 영역 테이블을 사용하여 영역 간 대칭인지 테스트하는 단계를 포함하며,
상기 제2 이미지에는 상기 제1 이미지의 상기 후보 물체가 들어있고, 상기 후보 물체는 그것과 연관되어 상기 후보 물체의 경계를 나타내는 형상을 갖는 것인,
제1 이미지 내 관심 물체를 검출하는 방법.
제1항에 있어서, 상기 런-길이 인코딩 단계를 수행하기 전에 상기 제1 이미지 상에 소벨 연산(Sobel operation)을 수행하는 단계를 더 포함하되, 상기 소벨 연산의 출력은 상기 런-길이 인코딩으로의 입력을 제공하는 것인, 제1 이미지 내 관심 물체를 검출하는 방법.
제1항에 있어서,
적어도 하나의 코너를 식별하기 위해 하르 템플릿(Haar template)을 상기 형상에 적용하는 단계를 더 포함하는, 제1 이미지 내 관심 물체를 검출하는 방법.
제3항에 있어서, 상기 후보 물체의 하단과 음영 간 경계를 식별하기 위해 후보 형상에 하르 템플릿을 적용하는 단계를 더 포함하는, 제1 이미지 내 관심 물체를 검출하는 방법.
제1항에 있어서, 상기 제1 이미지의 해상도는 적어도 640×480 픽셀인 것인, 제1 이미지 내 관심 물체를 검출하는 방법.
제1항에 있어서, 상기 제1 및 제2 이미지는 초당 적어도 30 프레임을 제공하는 비디오 피드의 이산 프레임인 것인, 제1 이미지 내 관심 물체를 검출하는 방법.
제1항에 있어서, 상기 제1 및 제2 이미지는 비디오 피드의 이산 프레임이고, 상기 제1 및 제2 이미지는 적어도 640×480 픽셀을 가지며, 상기 피드는 초당 적어도 30 프레임을 제공하고, 상기 방법은 실시간으로 수행되는 것인, 제1 이미지 내 관심 물체를 검출하는 방법.
제1항에 있어서, 상기 물체는 차량이고, 상기 관심 물체는 가장 가까운 다른 차량인 것인, 제1 이미지 내 관심 물체를 검출하는 방법.
제8항에 있어서, 상기 방법은 전방 충돌 경고 방법을 포함하고, 상기 전방 충돌 경고 방법과 병렬로, 차선 드리프트 경고 방법, 교통 신호 인식 방법, 상향등/하향등 자동화 방법 및 보행자 검출 방법을 수행하는 단계를 더 포함하는, 제1 이미지 내 관심 물체를 검출하는 방법.
제8항에 있어서, 상기 방법은 전방 충돌 경고 루틴의 일부분으로서 수행되는 것인, 제1 이미지 내 관심 물체를 검출하는 방법.
제10항에 있어서, 상기 방법은 차선 이탈 경고, 교통 신호 인식, 보행자 검출 및 자동화된 상향등/하향등 제어를 수행하도록 또한 구성된 컴퓨팅 디바이스 상에서 수행되기 위한 것인, 제1 이미지 내 관심 물체를 검출하는 방법.
관심 물체를 검출하기 위한 컴퓨터로서:
프로세서;
카메라; 및
소프트웨어 명령어를 저장한 메모리를 포함하되,
상기 소프트웨어 명령어는, 실행될 때, 상기 프로세서에,
상기 카메라로부터 제1 이미지를 수신하고;
상기 제1 이미지의 런-길이 인코딩을 산출하고;
후보 물체의 경계를 나타내는 형상에 대한 에지를 검출하기 위해 상기 런-길이 인코딩을 사용하고;
상기 제1 이미지의 이전 상태를 표현하고 상기 제1 이미지의 상기 후보 물체를 포함하는 제2 이미지를 상기 카메라로부터 수신하고 - 상기 후보 물체는 그것과 연관되어 상기 후보 물체의 경계를 나타내는 형상을 갖는 것임 -;
상기 제2 이미지의 합산 영역 테이블을 계산하고;
상기 후보 물체의 검출된 에지를 리파인(refine)하기 위해, 상기 형상을 이산 영역으로 분할하고, 합산 영역 테이블을 사용하여 영역 간 대칭인지 테스트하고; 그리고
그래디언트의 히스토그램 및 서포트 벡터 머신 인가를 사용하여 상기 후보 물체가 상기 관심 물체임을 검증하도록 명령하도록 구성된 것인, 관심 물체를 검출하기 위한 컴퓨터.
제12항에 있어서, 런-길이 인코딩을 산출하고 합산 영역 테이블을 계산하는 것은 전용 프리프로세서에 의해 수행되는 것인, 관심 물체를 검출하기 위한 컴퓨터.
제12항에 있어서, 상기 카메라는 초당 적어도 30 프레임 및 적어도 640×480 픽셀의 비디오 스트림을 제공하고, 상기 소프트웨어 명령어는 실시간으로 수행되기 위한 것인, 관심 물체를 검출하기 위한 컴퓨터.
제12항에 있어서, 상기 카메라는 초당 적어도 30 프레임 및 적어도 1280×960 픽셀의 비디오 스트림을 제공하고, 상기 소프트웨어 명령어는 실시간으로 수행되는 것인, 관심 물체를 검출하기 위한 컴퓨터.
물체 검출 장치로서,
적어도 프로세서를 포함하여 하나 이상의 로직 요소를 포함하고, 상기 프로세서는,
제1 이미지를 수신하고;
후보 물체의 경계를 나타내는 형상에 대한 에지를 식별하기 위해 상기 제1 이미지 상에 런-길이 인코딩(run-length encoding)을 수행하고,;
상기 후보 물체가 관심 물체라는 가설을 발생시키고;
상기 후보 물체에 대하여 그래디언트의 히스토그램을 계산하고;
서포트 벡터 머신 방법을 사용하여 상기 후보 물체를 상기 관심 물체로서 분류하고;
제2 이미지에 대해 합산 영역 테이블을 산출하고;
상기 형상을 이산 영역으로 분할하고 상기 합산 영역 테이블을 사용하여 영역 간 대칭인지 테스트하도록 동작 가능하며,
상기 제2 이미지에는 상기 제1 이미지의 상기 후보 물체가 들어있고, 상기 후보 물체는 그것과 연관되어 상기 후보 물체의 경계를 나타내는 형상을 갖는 것인,
물체 검출 장치.
제16항의 물체 검출 장치를 포함하는 첨단 운전자 보조 시스템으로서,
주변 환경으로부터 시각적 데이터를 취하고 초당 30 프레임으로 적어도 640×480 픽셀의 해상도를 갖는 비디오 스트림을 제공하도록 구성된 카메라; 및
상기 비디오 스트림을 수신하고 실시간으로 640×480 픽셀 해상도로 초당 적어도 30 프레임을 프로세싱하도록 구성된 컴퓨터를 더 포함하며,
상기 스트림을 프로세싱하는 것은 초당 250 밀리언 이하의 명령어를 소모하면서 상기 비디오 스트림 내에서 위험하게 근접한 물체를 식별하는 것을 포함하고, 상기 명령어는,
제1 이미지를 포함하는 제1 프레임을 수신하고;
후보 물체의 경계를 나타내는 형상에 대한 에지를 식별하기 위해 상기 제1 이미지 상에 런-길이 인코딩(run-length encoding)을 수행하고,;
상기 후보 물체가 상기 위험하게 근접한 물체라는 가설을 발생시키고;
상기 후보 물체에 대하여 그래디언트의 히스토그램을 계산하고;
서포트 벡터 머신 방법을 사용하여 상기 후보 물체를 상기 위험하게 근접한 물체로서 분류하고;
제2 이미지를 포함하는 제2 프레임에 대해 합산 영역 테이블을 산출하고;
상기 형상을 이산 영역으로 분할하고 상기 합산 영역 테이블을 사용하여 영역 간 대칭인지 테스트하도록 하는 것을 포함하며,
상기 제2 이미지에는 상기 제1 이미지의 상기 후보 물체가 들어있고, 상기 후보 물체는 그것과 연관되어 상기 후보 물체의 경계를 나타내는 형상을 갖는 것인, 첨단 운전자 보조 시스템.
제17항에 있어서, 상기 시스템은 차선 드리프트 경고, 교통 신호 인식 및 자동 상향등/하향등 제어를 실시간으로 수행하도록 더 구성되는 것인 첨단 운전자 보조 시스템.
제17항에 있어서, 상기 비디오 스트림은 적어도 1280×960 픽셀 해상도를 제공하고, 상기 시스템은 차선 드리프트 경고, 교통 신호 인식, 자동 상향등/하향등 제어 및 보행자 검출을 실시간으로 수행하도록 더 구성되며, 상기 컴퓨터는 4개 이하의 계산 코어를 포함하는 것인, 첨단 운전자 보조 시스템.
삭제