KR100912746B1 - 교통 표지판 탐지를 위한 방법 - Google Patents

교통 표지판 탐지를 위한 방법 Download PDF

Info

Publication number
KR100912746B1
KR100912746B1 KR1020077002966A KR20077002966A KR100912746B1 KR 100912746 B1 KR100912746 B1 KR 100912746B1 KR 1020077002966 A KR1020077002966 A KR 1020077002966A KR 20077002966 A KR20077002966 A KR 20077002966A KR 100912746 B1 KR100912746 B1 KR 100912746B1
Authority
KR
South Korea
Prior art keywords
traffic sign
image
color
score
area
Prior art date
Application number
KR1020077002966A
Other languages
English (en)
Other versions
KR20070027768A (ko
Inventor
클라우스 발만
잉 쭈
비스바나탄 라메쉬
마틴 펠코퍼
토르스텐 쾨흘러
Original Assignee
지멘스 코포레이트 리서치, 인코포레이티드
지멘스 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 코포레이트 리서치, 인코포레이티드, 지멘스 악티엔게젤샤프트 filed Critical 지멘스 코포레이트 리서치, 인코포레이티드
Publication of KR20070027768A publication Critical patent/KR20070027768A/ko
Application granted granted Critical
Publication of KR100912746B1 publication Critical patent/KR100912746B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

적어도 하나의 교통 표지판을 탐지하여 인지하기 위한 방법이 기재되어 있다. 다수의 이미지 프레임들을 갖는 비디오 시퀀스가 수신된다. 하나 이상의 필터들이 해당 대상물을 나타내는 적어도 하나의 이미지 프레임에서 특징들을 측정하기 위해 사용된다. 측정된 특징들은 대상물의 가능한 존재를 나타내는 스코어에 결합되어 집계된다. 스코어들은 확실한 탐지를 위해서 여러 이미지 프레임들에 걸쳐 융합된다. 만약 스코어가 이미지 프레임의 영역에서 대상물의 가능한 존재를 나타낸다면, 그 영역은 모델과 정렬된다. 다음으로, 그 영역이 교통 표지판을 나타내는지 여부에 대한 결정이 이루어진다. 만약 그 영역이 교통 표지판을 나타낸다면, 그 영역은 특정 타입의 교통 표지판으로 분류된다. 본 발명은 또한 교통 표지판들을 탐지하여 인지하기 위한 시스템을 훈련하는 것에 관한 것이다.

Description

교통 표지판 탐지를 위한 방법{METHOD FOR TRAFFIC SIGN DETECTION}
본 출원은 2004년 8월 16일에 미국 가출원된 제 60/601,788호 및 2004년 12월 21일에 미국 가출원된 제 60/637,841호의 우선권을 청구하며, 이들은 참조문헌으로서 포함된다.
본 발명은 교통 표지판 탐지를 위한 방법에 관한 것으로, 특히, 그레이스케일 또는 컬러, 모양 및 이동 정보를 사용하여 교통 표지판을 탐지 및 인지하기 위한 시스템 및 방법에 관한 것이다.
교통 상황에서, 표지판들은 교통을 통제하고, 운전자에게 경고를 하고, 특정 행위를 명령하거나 또는 특정 행위를 금지시킨다. 실시간적이면서 확실한 자동 교통 표지판 인지는 운전자를 보좌하고 또한 부담을 덜어줄 수 있기 때문에 운전의 안전성 및 편리성을 상당히 증가시킨다. 예컨대, 자동 교통 표지판 인지는 현재의 속도 제한치를 운전자에게 상기시킬 수 있고, 운전자로 하여금 일방통행 거리로 진입하는 것, 추월금지 구역에서 다른 차를 추월하는 것, 불필요하게 속도를 높이는 것 등과 같은 부적절한 행위들을 못하게 한다. 또한, 자동 교통 표지판 인지는 운전 중에 보다 덜 스트레스를 받도록 하기 위해서 ACC(적응형 주행 조절:adaptive cruise control)에 포함될 수 있다. 더 포괄적인 상황에서, 자동 교통 표지판 인지는 교통 상황에 대한 실황 인지에 기여할 수 있다(예컨대, 자동차가 도심이나 고속도로에서 운행 중일 경우).
교통 표지판 인지는 일부 기본적인 가정사항들이 전제되며, 교통 표지판들의 일부 유리한 특징들을 이용한다. 먼저, 교통 표지판의 디자인은 독특하기 때문에 대상물(object)의 변경은 작다. 또한, 표지판 컬러들은 종종 주위환경에 비해서 매우 잘 돋보인다. 또한, 표지판들은 (차량과는 달리) 주위환경에 고정적으로 위치되며, 종종 운전자에게 잘 보이게 설치된다.
그럼에도 불구하고, 성공적인 인지에 있어서는 여러 문제점이 존재한다. 먼저, 날씨와 조명 상태들은 교통 상황에서 자주 바뀌고 이는 언급한 대상물의 독특함에 대한 장점을 감소시킨다. 또한, 카메라는 이동하고 있기 때문에, 움직임 블러(motion blur)와 같은 추가적인 이미지 왜곡들과 갑작스런 콘트라스트 변화가 자주 발생한다. 또한, 표지 장치 및 표면 물질은 재난 및 날씨에 의해 영향을 받아 시간이 지남에 따라 물리적으로 변하고, 따라서 표지판이 돌아가고 컬러가 변질된다. 마지막으로, 응용 분야에 의해 제공되는 제약사항들은 저가 시스템들(즉, 저품질 센서, 저속 하드웨어), 높은 정확도 및 실시간 계산을 필요로 한다.
교통 표지판 인지를 위한 매우 많은 공지된 기술들은 적어도 두 개의 단계들을 활용하는데, 한 단계는 탐지에 주안점을 두고, 다른 단계는 분류, 즉 탐지된 표지만 이미지를 그것의 의미론적인 카테고리에 일치시키는 작업에 주안점을 준다. 탐지 문제에 관해서는, 몇 가지 해결방법들이 제안되었었다. 그 해결방법들 중 일부는 그레이스케일 데이터에 의존한다. 하나의 그러한 해결방법은 거리 변환과 연계하여 템플릿-기반 기술을 이용한다. 다른 해결방법은 방사 대칭의 측정을 활용하고 그것을 구성 내에서 사전-분할로서 적용한다. 방사 대칭은 간단한(즉, 고속의) 원형 허프 변환(circular Hough transform)에 상응하기 때문에, 원형 표지판들의 가능한 존재들을 탐지하는 것에 특별히 적용될 수 있다. 가설 검증이 상기 분류 내에 포함된다.
교통 표지판 탐지를 위한 일부 다른 기술들은 컬러 정보를 사용한다. 이러한 기술들은 두 단계 전략을 공유한다. 먼저, 사전-분할이 RGB(Red Green Blue)와 같은 컬러 표현에서 임계 연산에 의해 이용된다. RGB 표현의 선형 또는 비선형 변환이 널리 사용되었다. 그 결과, 사전-분할된 영역에만 적용되는 모양-기반 피쳐(feature)들로부터 최종 탐지 결정이 이루어진다. 코너 및 에지 피쳐들, 일반 알고리즘들 및 템플릿 일치가 사용되었다.
이러한 순차적인 전략들의 단점은 컬러 분할에 의해 잘못 거절되어진 영역들이 추가적인 처리에서 복원될 수 없다는 점이다. 또한, 컬러 분할은 대부분이 시간 소모적이면서 에러가 발생하기 쉬운 수동 튜닝으로부터 획득되는 임계치들의 고정을 필요로 한다.
컬러 및 모양 해결방법의 결합된 처리가 또한 제안되었다. 이러한 해결방법은 형태적인 표지판 모델을 포함해서 컬러 및 경사도 정보에 기초하여 전체 이미지 프레임의 피쳐 맵을 계산한다. 이러한 해결방법은 또한 수동적인 임계치 튜닝을 필요로 하며, 계산적으로 비용이 많이 든다.
분류 작업을 위해서, 대부분의 해결방법들은 템플릿 일치, 다층 인식(multi-layer perception), 방사 기저 함수 네트워크(radial basis function networks), 및 Laplace kernel 분류 기준(classifier)과 같은 널리 공지된 기술들을 활용한다. 몇몇 해결방법들은 더욱 확고한 전체적인 탐지를 획득하기 위해서 프레임-기반 결정의 일시적인 융합을 이용한다. 이러한 해결방법들은 몇몇 종류의 추적 구성을 필요로 한다. 여기서는, 일반적인 대상물 탐지의 컬러 및 모양을 모델링하기 위한 통합된 해결방법을 사용하지만 임계치들을 수동으로 튜닝하는 것을 필요로 하지 않는, 교통 표지판들을 탐지하여 인지하기 위한 방법이 필요하다.
본 발명은 적어도 하나의 교통 표지판을 탐지하여 인지하기 위한 방법에 관한 것이다. 다수의 이미지 프레임들로 구성되는 비디오 시퀀스가 수신된다. 하나 이상의 필터들이 해당 대상물을 나타내는 적어도 하나의 이미지 프레임의 피쳐들을 측정하기 위해 사용된다. 여기서 상기 하나 이상의 필터는 컬러 표현 필터이고, 상기 하나 이상의 필터는 그레이스케일 표현 필터이다. 측정된 피쳐들에 대상물의 가능한 존재를 나타내는 스코어가 결합되어 총 합산된다. 그 스코어들은 확고한 탐지를 위해 여러 프레임들에 걸쳐 융합된다. 만약 스코어가 이미지 프레임 영역에서 대상물의 가능한 존재를 나타낸다면, 그 영역은 모델과 정렬된다. 이어서, 그 영역이 교통 표지판을 나타내는지 여부에 대한 결정이 이루어진다. 만약 그 영역이 교통 표지판을 나타낸다면, 그 영역은 특정 타입의 교통 표지판으로 분류된다. 본 발명은 또한 교통 표지판을 탐지하고 인지하기 위해서 시스템을 훈련하는 것에 관한 것이다.
본 발명의 바람직한 실시예들이 첨부 도면들을 참조하여 아래에서 더 상세히 설명되는데, 도면들에서는 동일한 참조 번호들은 동일한 엘리먼트들을 나타낸다.
도 1은 본 발명에 따라 교통 표지판을 인지하기 위한 시스템의 시스템 블록도.
도 2는 본 발명에 따라 탐지될 수 있는 교통 표지판들의 예들을 예시하는 일련의 이미지들을 나타낸 도면.
도 3은 본 발명에 따라 교통 표지판을 인지하기 위한 방법을 나타내는 개략도.
도 4는 본 발명에 따라 약한 분류 기준에 따른 부분적인 응답의 네가티브(negative) 및 포지티브(positive) 예들에 대한 그래프들.
도 5는 본 발명에 따른 링 모양 필터의 예를 나타내는 도면.
도 6은 본 발명에 따른 링 필터 웨이브렛들을 포함해서 AdaBoost 알고리즘에 의해 선택되는 제 1의 6개의 Haar 웨이브렛들을 나타내는 도면.
도 7은 본 발명에 따른 표지판에 대한 3개의 정해진 영역들을 나타내는 도면.
본 발명은 교통 표지판들을 탐지하고 인지하기 위한 방법에 관한 것이다. 도 1은 본 발명을 구현하기 위한 시스템의 블록도를 도시한다. 카메라(102)가 도로의 이미지들 및 도로의 주위사물들을 포착하기 위해 사용된다. 카메라(102)는 통상적으로 자동차에 장착되어 교통 표지판들을 포착하기 위한 방향으로 향한다. 통상적인 도로 이미지를 통해 예상될 바와 같이, 이미지는 도로, 빌딩들, 나무들, 및 집들과 도로 위에서 운행 중인 자동차들과 같은 배경 이미지들을 포함한다. 이미지들은 장면의 동적인 상황에서 임의의 변경을 탐지하기 위해 이미지 강도 및 이미지 움직임을 분석하는 프로세서(104)에 전달된다.
표지판 탐지 구성은 필터에 기초한 피쳐들을 결합하기 위해 AdaBoost 훈련을 사용하여 구현된다. 탐지된 대상물들은 시간적인 정보 전달 구성 내에서 추적된다. 다음으로, 정확한 정규화(normalization)를 획득하기 위해서, 탐지된 표지판들은 표지판 형태의 통계적인 모델링을 사용하여 최대 픽셀 정확도까지 정확하게 정렬된다. 마지막으로, 여러 프레임들에 걸쳐 가설 융합을 포함하는 Bayesian 생성 모델링에 기초하여 분류가 수행된다.
일단 교통 표지판이 탐지되면, 그 교통 표지판은 출력 장치(106)를 통해 식별된다. 출력 장치(106)는 교통 표지판의 존재를 사용자에게 전달하는 출력 신호를 제공한다. 출력 신호는 청각 신호나 또는 다른 타입의 경고 신호일 수 있다. 출력 장치(106)는 또한 탐지된 교통 표지판들을 보여주기 위한 디스플레이를 포함할 수도 있다. 디스플레이는 탐지되어서 추적되고 있는 표지판들의 아이콘 표현(iconic representation)을 제공한다. 이러한 아이콘들은 데이터베이스(108)에 저장될 수 있다.
본 발명은 실시간적이고 확실한 교통 표지판 탐지 및 인지를 위한 구성을 제공하는데, 상기 구성은 컬러, 모양 및 움직임을 융합한다. 그러한 시스템은 예컨대 지능적인 자동 조정(cockpit) 환경에서 운전자를 보조하기 위해 사용될 수 있다. 도 2는 본 발명의 방법을 사용하여 탐지될 수 있는 교통 표지판들을 예시하는 일련의 이미지 프레임들을 도시한다. 비록 이미지들은 검정색과 백색이지만, 다른 그레이스케일 강도들이 위에서 설명한 바와 같이 배경 컬러와 확실히 구별되는 표지판들의 채색을 나타낸다.
본 발명은 3개의 주 성분들로 구성된다. 도 3은 교통 표지판들을 탐지하기 위한 본 발명의 방법에 대한 개략도를 도시한다. 거리 환경에 대한 초기 이미지 프레임(302)이 획득된다. 그 이미지 프레임(302)은 도로의 상황뿐만 아니라 배경 상황을 포함한다. 첫 번째로, 표지판 탐지 구성은 필터에 기초한 피쳐들을 결합하기 위해서 AdaBoost 훈련을 사용하여 구현된다. 탐지된 대상물들은 시간적인 정보 전달 구성 내에서 추적된다. 본 발명은 탐지될 표지판의 모양에 특별히 적응되는 필터 설계를 활용한다. 컬러에 민감한 Haar 웨이브렛 피쳐들이 각각의 프레임(t)에서 표지판들의 외형을 탐지하기 위해 사용된다. 프레임(304)과 같은 각각의 후속하는 이미지 프레임에 대해서, 대상물(예컨대, 교통 표시판)이 탐지되는지 여부에 대한 결정이 이루어진다. 일단 표지판이 탐지되면, 상기 표지판은 추적되고, 프레임들(t-t0,...t)로부터 개별적인 탐지들이 확실한 전체 탐지에 걸쳐서 일시적으로 융합된다. 두 번째로, 정확한 정규화를 획득하기 위해서, 탐지된 표지판들은 표지판 형태의 통계적인 모델링을 사용하여 최대 픽셀 정확도까지 정확하게 정렬된다. 표지판은 위치, 스케일 및 밝기에 관련하여 정규화된다. 그로 인한 이미지가 잠재적인 대상물을 분리하는 프레임(306)에 도시되어 있다. 세 번째로, 여러 프레임들에 걸쳐 가상 융합을 포함해서 Bayesian 생성 모델링에 기초하여 분류가 수행된다. 만약 탐지된 대상물이 해당하는 대상물이 아니라면, 최종 대상물이 이미지(308)에 의해 도시되는 바와 같이 도시된다.
대상물들의 탐지는, 이 경우에 교통 표지판에서, 패치(patch) 기반의 해결방법에 의해서 처리된다. 상세히는, 이미지 패치(
Figure 112009004540444-pct00001
)(벡터로서 취해짐)가 간단한 피쳐들 및 간단한 분류 기준들의 총 스코어 값을 평가함으로써 "대상물"(yi≥0) 및 "비-대상물"(yi<0)과 같은 두 부류 중 하나에 할당된다:
Figure 112007011361711-pct00002
(1)
변수들(ft)(벡터로서 취해짐)은 Haar 웨이브렛들의 넘침-완전 세트(over-complete set of Haar wavelets)를 나타내는 필터 마스크들이다. 상기 넘침-완전 세트는 위치(a,b), 폭(w), 또는 높이(h)와 같은 특정의 형태 파라미터들을 변경함으로써 생성된다. 이러한 웨이브렛들의 최적의 서브세트뿐만 아니라 가중치(αt) 및 분류 기준 임계치들(θt)이 AdaBoost 훈련 알고리즘으로부터 획득된다.
본 발명은 이후에 더 상세히 설명되는 바와 같이 AdaBoost 훈련 구성 내에서 결합형의 컬러 및 모양 모델링 해결방법을 이용한다. 교통 표지판 인지에 대한 애플리케이션에 있어서, 컬러는 중요한 정보를 나타내는데, 그 이유는 대부분의 대상물 컬러가 통상적인 배경 패턴들(예컨대, 나무들, 집들, 아스팔트 등)에서 관측되지 않기 때문이다.
AdaBoost는 컬러가 피쳐 선택으로서 해석될 때 그 컬러의 적분을 위해서 간단하지만 매우 효과적인 레버리지(leverage)를 제공한다. 종래의 해결방법들에서는, AdaBoost가 위치(a,b), 폭(w), 또는 높이(h)와 같은 형태적인 특성들에 의해서 파라미터화되는 웨이브렛 피쳐들 세트를 선택(그리고 가중화)하기 위해서 사용되었다. 이러한 웨이브렛들은 통상적으로 그레이-스케일 이미지들의 패치들에 적용되었다. 그레이-스케일 정보를 대신해서 컬러가 이용가능한 상황들에서, 종래 기술은 어떤 컬러 표현이 사용되어야 하는지 또는 그것들이 선형 또는 비선형 컬러 변환 내에서 어떻게 최적으로 결합될 수 있는지를 선택하기 위한 어떠한 일반적인 지침도 제공하지 않는다.
본 발명에 따르면, 컬러 표현은 나란히 a, b, w 및 h에 대해서 자유 웨이브렛 파라미터로서 동작하는 것으로 간주되고, 그럼으로써 AdaBoost 구성 내에서 완전 자동 컬러 선택을 달성한다. 적분될 여러 컬러 표현들은 R, G, 및 B로 제한되지 않는다. 종래 영역의 지식은 선형 또는 비선형 컬러 변환을 적응시킴으로써 포함될 수 있다. 이러한 모델링의 한 가지 유리한 특성은 이러한 변환들이 단지 AdaBoost 훈련에 대한 유일한 "제안"이라는 것이다.
본래, 컬러 및 형태적인 공간의 각각의 결합이 제안될 수 있다. AdaBoost 구성은 가장 효과적인 것을 선택하고 효과적이지 않은 것을 무시하도록 설계된다. 여러 "제안들"은 단지 계산 및 메모리 자원들에 의해서만 제한된다. 본 발명에 따르면, 9가지의 컬러 표현들이 다음과 같이 이용된다:
1) 평면 채널들 R, G, 및 B,
2) 정규화된 채널들 S=R+G+B를 갖는 r=R/S, g=G/S, 및 b=B/S,
3) 그레이스케일 채널 S/3, 및
4) 두 선형 변환들 T1(R,G,B) 및 T2(R,G,B). 여기서 Ti는 3차원 RGB 공간에서 선형적인 구별 분석(LDA:linear discriminant analysis)(Fisher Discriminant Analysis로도 공지되어 있음)의 제 1 주요 성분에 상응한다. 여기서 데이터는 두 부류로 표현되는데, 부류 1은 통상적인 대상물들을 포함하고, 부류 2는 배경 픽셀들을 포함한다. 이 점에서, Ti는 대상물들과 배경 픽셀들을 구별하기 위한 최적의 선형적인 변환이다. T1은 표지판들에 대해서 평가되는데, 여기서 큰 적색 영역들이 제공되고(표지판들의 "처음"에 상응함), T2는 그레이 컬러들(표지판들의 "서스펜션"에 상응함)에 의해서 표현된 표지판들에 대해서 평가된다. 다른 결합들 또는 다른 타입들의 컬러 표현들이 본 발명의 범위 및 사상으로부터 벗어나지 않으면서 사용될 수 있다는 것을 당업자라면 이해할 것이다. 이와 같이, 컬러 필터는 하나 이상의 컬러 채널들을 통합한다.
교통 표지판들에 대한 AdaBoost 훈련의 결과가 도 4에 도시되어 있는데, 도 4는 표지판 탐지를 위해서 AdaBoost에 의해 선택되는 제 1의 6개의 웨이브렛들을 도시한다. 6개의 Haar 웨이브렛들 각각에 대해서, 백색 영역 아래의 픽셀들은 +1 만큼 가중화되고, 검정색 영역 아래의 픽셀들은 -1 만큼 가중화된다. 웨이브렛들은 그들의 폭(w), 높이(h), 및 상대적인 좌표들(a 및 b)에 의해서 파라미터화된다. 다른 그레이 레벨들로 도시된 배경 "컬러링"이 개별적인 피쳐들이 계산되는 컬러 채널을 나타낸다. 본 예에서는, 컬러 채널들은 r, R, G, r, S/3, g에 상응한다.
본 발명을 설명하는데 있어서, 본 방법은 자신의 둘레에 적색 링을 갖는 원형 표지판들의 위치를 찾아내는데 사용되고 있다는 것이 가정된다. 그러나, 컬러 표현들 및 웨이브렛 피쳐들은 본 발명의 범위 및 사상으로부터 벗어나지 않고 다른 특징들을 갖는 표지판들을 탐지하기 위에 적절히 변경될 수 있다는 것은 당업자라면 이해할 것이다. 웨이브렛들이 표지판 탐지를 위해 사용될 때, 가장 중요한 정보는 컬러 표현으로부터 선택된다. 본 예의 경우에는, r, R 및 G가 포지티브 샘플 세트에서 자주 관측되는 적색 링에 상응하고 네가티브 샘플 세트에서는 나무들에 상응한다. 이는 본 발명에서 컬러의 유용성을 뒷받침한다.
패치 기반의 탐지는 스케일 불변적이지 않기 때문에, 다른 탐지기들이 여러 구별된 스케일들에 대해서 훈련된다. 탐지 이후에는, 탐지된 표지판 파라미터들(즉, 위치(a0, b0) 및 스케일(r0))의 추정치가 각 탐지기들의 응답 맵에서 최대치로부터 획득될 수 있다.
일단 탐지되면, 표지판은 간단한 움직임 모델 및 시간적인 정보 전달을 사용하여 추적된다. 더욱 확실한 탐지를 위해서, 각각의 프레임에 기초한 탐지들의 결과들이 결합된 스코어에 융합된다.
본 발명의 다른 양상에 따르면, 링-타입 대상물들의 탐지를 위한 새로운 타입의 필터 피쳐가 이용된다. 이러한 새로운 필터 피쳐는 상이한 크기 및 동일한 중심을 갖는 3개의 직사각형 영역들의 결합을 활용함으로써 링 구조와 비슷하다. 링 피쳐의 형태가 도 5에 도시되어 있다. 도시된 바와 같이, 백색 영역은 필터에 의해서 +1이 가중되는 포지티브 픽셀들에 상응한다. 검정색 영역들은 네가티브 픽셀들에 상응하며, 필터에 의해서 -1이 가중된다. 그레이스케일은 배경을 나타내는데, 가중치 0에 상응한다. 이러한 타입의 모델링은 표지판들이 이미지 패치의 중심에서 정렬된다는 것을 가정함을 주시하자.
AdaBoost 추적을 할 수 있도록 총 변화량을 유지하기 위해서, 자유 파라미터들의 수는 가능한 작게 유지되었다. 링 피쳐는 내부 직사각형의 높이(h)(폭과 동일함) 및 대역폭(b)에 의해서 파라미터화될 수 있다. 외부 직사각형의 높이 및 폭은 2h이다. 작은 중심 점들(502, 504, 506)에 상응하는 대상물들(예컨대, 표지판들)의 적절한 정합은 링이 중심에 있게 유지한다.
본 발명의 다른 양상은 수식(1)에 정의된 바와 같이 "강한 분류 기준(strong classifier)"의 효율적인 평가에 관한 것이다. 여기서 이용되는 패치에 기초한 대상물 탐지 원리의 일반적인 상황에 있어서, 다음의 두 가지 관측들이 유지된다:
1) 매우 많은(원칙적으로, 99.99% 보다 큼) 관측된 테스트 패치들(
Figure 112009004540444-pct00003
)은 대상물이 아닌데, 즉, 그것들은 네가티브 yi를 초래한다.
2) 대부분의 그러한 비-대상물들은 yi의 정확한 추정치가 수식(1)에서 제 1의 몇몇 피가수들(summands)만으로부터 형성될 수 있다는 점에서 "분명한" 네가티브들이다.
제 2 관측의 실험적인 검사가 도 4에 도시되어 있다. 도 4는 약한 분류 기준 인덱스(t)의 함수로서 500개의 포지티브(도 4(a)) 및 500개의 네가티브(도 4(b)) 훈련 예들(
Figure 112009004540444-pct00004
)의 부분 응답을 도시한다:
Figure 112007011361711-pct00005
(2)
도 4(b)로부터, 대부분의 네가티브 예들이 거의 10-50개의 약한 분류 기준 계산들 이후에 비교적 큰 네가티브 값(여기서는,
Figure 112009004540444-pct00006
)을 이미 갖는다는 것이 획득될 수 있다. 포지티브 예들은 약한 분류 기준 평가들의 동일한 간격 내에서
Figure 112009004540444-pct00007
인 값들을 항상 유도한다.
이 점에서, 상당한 계산적인 비용 감소가 적절한 경우에 yi를 초기에 결정함으로써 가능하다. 순차적으로 도달하는 데이터에 기초하여 모델을 확인하는 이러한 매우 일반적인 문제는 명칭 순차적인 가설 테스팅 하에서 논문에서 연구되었다. 이러한 개념은 다음과 같이 강한 분류 기준 계산에 적용될 것이다.
Figure 112009004540444-pct00008
인 임계치들 세트가 주어지는 경우, 부분적인 분류 기준 결정들은 다음과 같이 정의되고,
Figure 112007011361711-pct00009
(3)
다음에서 설명되는 바와 같은 후보 제거 전략(candidate pruning strategy)을 안출한다. 각각의 단계
Figure 112009004540444-pct00010
이후에,
Figure 112009004540444-pct00011
는 제로와 비교된다. 만약
Figure 112009004540444-pct00012
이라면, 합산은 계속될 것이다. 만약
Figure 112009004540444-pct00013
이라면, 합산은 종료되고,
Figure 112009004540444-pct00014
는 네가티브 패턴으로서 분류된다.
효율성과 정확성 사이의 절충은 임계치
Figure 112009004540444-pct00015
에 의해서 제어될 수 있다.
Figure 112009004540444-pct00016
가 커질수록, 보다 적은 후보들이 단계(t)에서 제거된다. 다음의 두 상황들은 극단적인 경우들을 나타낸다:
1) 만약
Figure 112007011361711-pct00017
(
Figure 112007011361711-pct00018
)라면,
Figure 112007011361711-pct00019
이 항상 유지될 것이다. 따라서, 합산은 결코 t=T 이전에 종료되지 않을 것이고, 결과는 수식(1)의 단순한 평가와 동일할 것이다.
2) 만약
Figure 112009004540444-pct00020
(
Figure 112009004540444-pct00021
인 임의의 작은 수)라면,
Figure 112009004540444-pct00022
이고, xi를 네가티브 샘플로서 분류하는 반복은 즉시 종료할 것이다. 그러나, 실제로는,
Figure 112009004540444-pct00023
가 종종 포지티브로 선택되어야만 할 것이다.
임계치(
Figure 112009004540444-pct00024
)는 주어진 데이터로부터 채택될 수 있다. 하나의 적절한 전략은 특정의 오류 네가티브 비율 1-dt이 단계(t)에서 다음과 같이 훈련 데이터세트에 대해서(또는 해체된 평가에 대해서) 충족되도록 AdaBoost 훈련 동안에(또는 그 다음에)
Figure 112009004540444-pct00025
의 세트를 조정할 것이다:
Figure 112007011361711-pct00026
(4)
제로 목표 오류 네가티브 비율, 1-dt=0,
Figure 112009004540444-pct00027
의 특수한 경우에, 이는 다음과 같고:
Figure 112007011361711-pct00028
(5)
여기서,
Figure 112009004540444-pct00029
는 단계(t)에서의 포지티브 훈련(또는 평가) 설정에서 최소 응답이다. 도 4(a)에 관련해서,
Figure 112009004540444-pct00030
는 모든
Figure 112009004540444-pct00031
의 하부 경계에 상응한다.
교통 표지판 탐지의 현재 애플리케이션에 대해서 위에 설명된 전략을 사용함으로써, 평균적으로 네가티브
Figure 112009004540444-pct00032
에 대해 250개의 약한 분류 기준 평가들 중 95%를 제거하는 것이 가능하였다. 포지티브
Figure 112009004540444-pct00033
의 일부로 인해서(참고: 위의 관측 1), 이는 후보들의 종합적인 효과 내에서 대략적으로 동일한 퍼센티지에 상응한다.
본 발명에 따르면, 직렬로서 공지되어 있는 순차적인 테스팅이 강한 분류 기준들을 식별하기 위해 사용된다. 직렬(즉, 축중한 결정 나무(degenerated decision tree))의 탐지기들의 평가는 복잡도를 증가시킨다(그것들 각각은 수식(1)을 통해 증대된 강한 분류 기준에 의해서 구현된다). 이러한 직렬에서, 초기의(그리고 덜 복잡한) 노드들은 명확한 네가티브 예들의 대량 거절을 목적으로 하는 반면에, 나중의(그리고 더 복잡한) 노드들은 어려운 네가티브 및 포지티브 샘플들 간의 정확한 구별을 위해 전문화된다.
이러한 순차적인 테스팅 해결방법은 다음과 같은 장점들을 제공한다. 명확한 네가티브 후보들에 대한 초기의 결정이 이루어진다. 순차적인 테스팅은 하나의 단일의 강한 분류 기준 결정을 평가하는데, 그 목적은 하나의 특별히 정해진 오류 비율을 최소화하기 위해서다. 또한, 순차적인 테스팅은 추가적인 계산없이 이전 노드들로부터의 응답들을 재사용한다. 순차적인 테스팅 방법은 또한 각각 약한 분류 기준 평가 이후에 후보들을 제거한다.
본 발명은 정확히 정렬된 대상물들(예컨대, 표지판들)의 탐지에 기초한다. 필터 피쳐들에 기초하는 탐지는 미리 정해진 이산적인 스케일들에서 패치들을 탐지하기 때문에 표지판 위치 및 스케일의 대략적인 추정치를 제공한다. 아래에서는 본 발명에 따라 탐지되는 대상물을 정렬하기 위한 방법을 설명한다. 설명되는 예에서, 탐지될 모든 표지판들은 원형 모양을 갖는다. 따라서, 그들의 장소 및 크기는 파라미터들(a,b,r)로 표현될 수 있는데, 여기서 (a,b)는 중심 위치를 나타내고, r은 표지판의 반경을 나타낸다.
본 발명은 표지판 형태에 대한 추가의 통계적 정보를 통해 보강된 에지 이미지들 및 Hough 변환을 사용한다. 탐지될 표지판들 중 대부분은 그들의 원형적인 전체 모양에 의해서 배경로부터 윤곽이 나타나지만, 또한 예컨대 주위 링 또는 내부 그림문자 영역의 고유의 동종 영역에 의해서 구별된다.
대상물 파라미터(a,b,r)가 제공되면, 이미지의 4개의 영역들
Figure 112007011361711-pct00034
이 도 7에서 다음과 같이 정해진다:
Figure 112007011361711-pct00035
Figure 112007011361711-pct00036
인 양이 표지판들의 모든 "처음"에 대해 내부 원의 반경에 상응한다.
파라미터(a,b,r)를 갖는 올바른 표지판 대상물에 대해서, 다음들이 예상된 다:
1)
Figure 112007011361711-pct00037
는 (a,b)T를 향하는 경사 벡터의 성분에서 높은 값들을 가짐.
2)
Figure 112007011361711-pct00038
는 (a,b)T를 향하는 경사 벡터의 성분에서 높은 값들을 가짐.
3)
Figure 112007011361711-pct00039
는 유니모달 컬러 분포(unimodal color distribution)에서 하나의 좁은 피크를 가짐.
4)
Figure 112009004540444-pct00040
는
Figure 112009004540444-pct00041
Figure 112009004540444-pct00042
를 갖는 배경 영역
Figure 112009004540444-pct00043
및 포그라운드(텍스트) 영역
Figure 112009004540444-pct00044
로 이루어진 두 모드들로
Figure 112009004540444-pct00045
를 분할하는 바이모달 컬러 분포(bimodal color distribution)에서 두 개의 좁은 피크들을 가짐.
5)
Figure 112009004540444-pct00046
의 분포는 내부 배경 모드
Figure 112009004540444-pct00047
와 상당히 다름.
이러한 심사숙고에 기초하여, 에너지 함수가 다음과 같이 정해지는데,
Figure 112007011361711-pct00048
(10)
이는 올바른 표지판 파라미터들에 대해서는 다음과 같이 최소이어야 한다;
Figure 112007011361711-pct00049
(11)
수식(10)에서,
Figure 112007011361711-pct00050
는 가중치들인데, 조정되어야 한다. 본 발명에서, 이러한 문제점은 분류 오차에 대해 6차원적인
Figure 112007011361711-pct00051
공간에서 하강하는 경사를 통해 해결된다.
Figure 112007011361711-pct00052
에서 두 모드들의 발견은 표준 기술들(예컨대, 평균 이동(EM))에 의해서 해결된다.
추정되는 표지판 파라미터들(a0,b0,r0)에 기초하여, 다음의 정규화 단계들이 수행된다:
1) 파라미터들(a,b,r)을 갖는 표지판 영역에 상응하는 원형 영역이 추출된다.
2) 이미지 밝기가 히스토그램 등화에 의해 그 영역 내에서 정규화된다.
3) 최종적인 이미지가 분류 기준 분해도로 바이-리니어적으로(bi-linearly) 스케일링된다.
다음으로, 대상물의 분류가 수행된다. 분류 구성은 유니모달 가우시안 확률 밀도들을 이용하는 생성 패러다임에 기초한다. 확률적인 모델링에 앞서, 피쳐 변환이 표준 선형 구별 분석(LDA)을 사용하여 수행된다. 이 점에서, 표지판 패턴의 피쳐 벡터
Figure 112009004540444-pct00053
는 LDA의 제 1의 25개의 주요 성분들을 포함한다.
각각의 부류(l)에 대해서, 확률 밀도 함수
Figure 112007011361711-pct00054
는 유니모달 다변량 가우시안에 기초하여 추정되고,
Figure 112007011361711-pct00055
(12)
따라서, 전체적인 분류 기준이 평균 및 공분산
Figure 112009004540444-pct00056
으로 이루어진 23개의(상이한 표지판 부류들의 수와 동일함) 쌍들에 의해서 결정된다.
프레임(t)에서 테스트 시퀀스로부터 피쳐 벡터
Figure 112009004540444-pct00057
가 제공되면, 최대 가능(ML) 해결방법이 다음의 수식에 의해 정해지는 분류 결정
Figure 112009004540444-pct00058
을 포함한다:
Figure 112007011361711-pct00059
(13)
및
Figure 112009004540444-pct00060
(14)
분류 성능은 시간 의존성을 고려함으로써 개선될 수 있다. 추적의 결과로서 피쳐 시퀀스
Figure 112009004540444-pct00061
가 제공되면, 분류 기준 결정은 지금까지의 관측들로부터 결합될 수 있다.
Figure 112009004540444-pct00062
의 통계적인 무관성을 가정하면, 결합되는 거리는 다음과 같이 주어진다:
Figure 112007011361711-pct00063
(15)
실질적인 관점에서, 개별적인 프레임들의 임팩트를 다음과 같이 상이하게 가중시키는 것은 가치가 있다:
Figure 112007011361711-pct00064
(16)
예시적인 가중치는
Figure 112007011361711-pct00065
인 경우에 다음과 같다:
Figure 112007011361711-pct00066
(17)
이 값은 교통 표지판들이 나중 프레임에서 더 커서 더욱 정확한 프레임 분류를 유도하기 때문에 선택된다.
분류를 위한 확률적인 신뢰도 측정은 각각의 부류(l')에 대한 다음 확률에 의해서 주어지고,
Figure 112007011361711-pct00067
(18)
따라서, 예컨대 교통 환경(예컨대, 도심 또는 고속도로)으로부터 해결방법에 표지판들에 대한 정보를 통합하는 것이 간단하다.
본 발명은 교통 표지판들을 탐지, 추적 및 인지하기 위한 시스템 및 방법에 관한 것이다. 상기 시스템은 컬러, 모양 및 움직임 정보를 통합한다. 그것은 3가지 성분들, 즉, AdaBoost 및 Haar 웨이브렛 특징들에 기초한 탐지 및 추적 구성, 표지판 형태의 통계적인 모델링에 기초한 정확한 정렬, 및 가우시안 분포들에 기초한 분류 기준을 통해 구성된다.
비록 교통 표지판들을 탐지하기 위한 방법에 대한 실시예를 설명하였지만, 위의 교시를 통해 해당 분야에서 당업자에 의해 변경 및 변형이 이루어질 수 있음이 주시된다. 그러므로, 첨부된 청구항들에 의해 정해지는 범위 및 사상 내에 있는 설명된 본 발명의 특정 실시예들에서는 변화가 이루어질 수 있음이 이해될 것이다. 따라서, 특허법에 의해서 요구되는 상세한 설명 및 내용을 통해 본 발명을 설 명하였지만, 특허증에 의해 보호되는 청구되고 원하는 것은 첨부된 청구항들에서 설명된다.

Claims (28)

  1. 적어도 하나의 교통 표지판(traffic sign)을 탐지 및 인지하기 위한 방법으로서,
    a. 다수의 이미지 프레임들로 구성되는 비디오 시퀀스를 수신하는 단계;
    b. 해당 대상물을 나타내는 적어도 하나의 이미지 프레임에서 피쳐(feature)들을 측정하기 위해 하나 이상의 필터들을 사용하는 단계;
    c. 대상물의 가능한 존재를 나타내는 스코어를 피쳐들에 결합하여 총 합산하는 단계;
    d. 확실한 탐지를 위해서 여러 이미지 프레임들에 걸쳐 상기 스코어들을 융합하는(fusing) 단계;
    e. 만약 스코어가 이미지 프레임의 영역에서 대상물의 가능한 존재를 나타낸다면, 상기 영역을 모델과 정렬시키는 단계;
    f. 상기 영역이 교통 표지판을 나타내는지를 결정하는 단계; 및
    g. 만약 상기 영역이 교통 표지판을 나타낸다면, 상기 영역을 특정 타입의 교통 표지판으로 분류하는 단계를 포함하는,
    교통 표지판 탐지 및 인지 방법.
  2. 제 1항에 있어서, 상기 이미지 프레임들은 컬러 이미지 프레임들인, 교통 표지판 탐지 및 인지 방법.
  3. 제 1항에 있어서, 상기 이미지 프레임들은 그레이스케일 이미지 프레임들인, 교통 표지판 탐지 및 인지 방법.
  4. 제 2항에 있어서, 적어도 하나의 필터는 컬러 표현 필터인, 교통 표지판 탐지 및 인지 방법.
  5. 제 3항에 있어서, 적어도 하나의 필터는 그레이스케일 표현 필터인, 교통 표지판 탐지 및 인지 방법.
  6. 제 4항에 있어서, 상기 컬러 필터는 하나 이상의 컬러 채널들을 통합하는, 교통 표지판 탐지 및 인지 방법.
  7. 제 6항에 있어서, 적어도 하나의 컬러 채널은 정규화된(normalized) 컬러 채널인, 교통 표지판 탐지 및 인지 방법.
  8. 제 6항에 있어서, 적어도 하나의 채널은 그레이 채널인, 교통 표지판 탐지 및 인지 방법.
  9. 제 6항에 있어서, 적어도 하나의 컬러 채널은 컬러 채널의 선형 변환인, 교 통 표지판 탐지 및 인지 방법.
  10. 제 1항에 있어서, 적어도 하나의 필터는 링 필터(ring filter)인, 교통 표지판 탐지 및 인지 방법.
  11. 제 1항에 있어서, 피쳐들에 스코어를 결합하는 상기 단계는 간단한 분류 기준들(classifiers) 및 웨이브렛 피쳐들의 총 스코어 값을 평가하는 단계를 더 포함하는, 교통 표지판 탐지 및 인지 방법.
  12. 제 11항에 있어서, 상기 총 스코어 값을 가진 분류 기준은 순차적인 가설 테스팅 방식 및 부분적인 분류 기준 결정들을 사용하여 평가되는, 교통 표지판 탐지 및 인지 방법.
  13. 제 1항에 있어서, 교통 표지판을 탐지 및 인지하기 위한 방법은,
    누적된 스코어를 획득하기 위해서 연속적인 이미지 프레임들에 대한 스코어들을 누적하는 단계;
    상기 스코어가 미리 결정된 임계치보다 높은지 여부를 결정하기 위해 각각의 이미지 프레임 다음에 상기 누적된 스코어를 비교하는 단계;
    만약 상기 스코어가 임계치보다 높다면, 다음 이미지 프레임으로부터의 특징 스코어를 상기 누적된 스코어에 더하는 단계; 및
    만약 상기 스코어가 임계치보다 낮다면, 피쳐가 해당 대상물과 연관이 없다는 것을 결정하는 단계를 더 포함하는, 교통 표지판 탐지 및 인지 방법.
  14. 제 1항에 있어서, 이미지의 영역을 정렬하는 상기 단계는,
    에지 영역, 경계 영역, 링 영역 및 내부 영역을 정하는 단계;
    표지판 모델 및 후보 표지판 이미지 패치(patch)의 차이를 측정하는 비용 함수를 정하는 단계; 및
    파라미터 공간에서 오차 함수의 최소화로부터 정확한 표지판 파라미터들을 추정하는 단계를 더 포함하는, 교통 표지판 탐지 및 인지 방법.
  15. 제 14항에 있어서, 표지판 파라미터들을 추정하는 상기 단계는 이미지 정규화를 위해 사용되고,
    상기 표지판 파라미터들의 위치 및 스케일을 정규화하는 단계; 및
    x, y, 및 r을 통해 정해진 영역 및 상기 영역의 통계적인 특성들을 사용함으로써 이미지 강도를 정규화하는 단계를 더 포함하는, 교통 표지판 탐지 및 인지 방법.
  16. 제 14항에 있어서, 상기 추정되는 표지판 파라미터들은 x, y, 및 r이며, 이미지 관심영역(ROI:region-of-interest)을 형성하기 위해 사용되는, 교통 표지판 탐지 및 인지 방법.
  17. 제 16항에 있어서, 분류 피쳐 벡터가 상기 ROI에서 픽셀들의 선형적인 구별 분석(LDA:linear discriminant analysis)으로부터 획득되는, 교통 표지판 탐지 및 인지 방법.
  18. 제 1항에 있어서, 표지판 이미지의 분류는 피쳐 공간의 다변량(multivariate) 가우시안 확률 밀도 함수 및 MAP(maximum-a-priori)를 사용하여 이루어지거나, 특징 공간의 다변량(multivariate) 가우시안 확률 밀도 함수 및 ML(maximum likelihood) 해결방법을 사용하여 획득되는, 교통 표지판 탐지 및 인지 방법.
  19. 제 18항에 있어서, 상기 분류 단계는 누적된 분류 스코어를 획득하기 위해서 연속적인 이미지 프레임들에 대한 분류 스코어들을 누적하는 단계를 더 포함하는, 교통 표지판 탐지 및 인지 방법.
  20. 제 1항에 있어서, 탐지되는 상기 교통 표지판은 자신의 둘레에 컬러링된 링을 갖는 원형 표지판인, 교통 표지판 탐지 및 인지 방법.
  21. 제 1항에 있어서, 필터들(ft), 가중치들(
    Figure 112009004540444-pct00068
    t), 및 분류 기준 임계치들(
    Figure 112009004540444-pct00069
    )이 AdaBoost를 사용하여 적응되는, 교통 표지판 탐지 및 인지 방법.
  22. 제 1항에 있어서, 필터들(ft)의 형태 파라미터들은 AdaBoost를 사용하여 적응되는, 교통 표지판 탐지 및 인지 방법.
  23. 제 1항에 있어서, 필터들(ft)의 컬러 표현은 AdaBoost를 사용하여 적응되는, 교통 표지판 탐지 및 인지 방법.
  24. 제 17항에 있어서, 선형적인 변환이 컬러 공간에서 대상물 및 비-대상물 픽셀들의 LDA(linear discriminant analysis)에 의해서 결정되는, 교통 표지판 탐지 및 인지 방법.
  25. 제 21항에 있어서, 순차적인 가설 테스팅을 위한 임계치들(
    Figure 112009004540444-pct00070
    )은 목표 오차 네가티브 비율
    Figure 112009004540444-pct00071
    를 사용하여
    Figure 112009004540444-pct00072
    로부터 결정되는, 교통 표지판 탐지 및 인지 방법.
  26. 제 21항에 있어서, 순차적인 가설 테스팅을 위한 임계치들(
    Figure 112007011361711-pct00073
    )은
    Figure 112007011361711-pct00074
    로부터 결정되는, 교통 표지판 탐지 및 인지 방법.
  27. 제 14항에 있어서, 파라미터들(
    Figure 112007011361711-pct00075
    )을 다음 수식에 적응하는 것은
    Figure 112007011361711-pct00076
    분류 오차에 대해 하강하는 경사에 의해서 수행되는, 교통 표지판 탐지 및 인지 방법.
  28. 제 18항에 있어서, 표지판 부류들을 훈련하는 것은 훈련 이미지들의 자동적인 정렬, 이미지 정규화, 관심영역 형성, LAD(linear discriminant analysis) 피쳐 변환, 및 가우시안 확률 밀도 함수들의 추정을 포함하는, 교통 표지판 탐지 및 인지 방법.
KR1020077002966A 2004-08-16 2005-04-29 교통 표지판 탐지를 위한 방법 KR100912746B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US60178804P 2004-08-16 2004-08-16
US60/601,788 2004-08-16
US63784104P 2004-12-21 2004-12-21
US60/637,841 2004-12-21
US11/109,106 US7466841B2 (en) 2004-08-16 2005-04-19 Method for traffic sign detection
US11/109,106 2005-04-19

Publications (2)

Publication Number Publication Date
KR20070027768A KR20070027768A (ko) 2007-03-09
KR100912746B1 true KR100912746B1 (ko) 2009-08-18

Family

ID=35800002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077002966A KR100912746B1 (ko) 2004-08-16 2005-04-29 교통 표지판 탐지를 위한 방법

Country Status (7)

Country Link
US (1) US7466841B2 (ko)
EP (1) EP1782335B1 (ko)
JP (1) JP4723582B2 (ko)
KR (1) KR100912746B1 (ko)
CN (1) CN101023436B (ko)
DE (1) DE602005012967D1 (ko)
WO (1) WO2006022910A1 (ko)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7203669B2 (en) * 2003-03-17 2007-04-10 Intel Corporation Detector tree of boosted classifiers for real-time object detection and tracking
US7466841B2 (en) * 2004-08-16 2008-12-16 Siemens Corporate Research, Inc. Method for traffic sign detection
US7620208B2 (en) * 2005-02-09 2009-11-17 Siemens Corporate Research, Inc. System and method for detecting features from images of vehicles
JP4166253B2 (ja) * 2006-07-10 2008-10-15 トヨタ自動車株式会社 物体検出装置、物体検出方法、および物体検出用プログラム
WO2008048933A2 (en) 2006-10-16 2008-04-24 Assa Abloy Hospitality, Inc. Centralized wireless network for multi-room large properties
EP2383713B1 (en) 2006-12-06 2013-05-29 Mobileye Technologies Limited Detecting and recognizing traffic signs
DE102007001099A1 (de) * 2007-01-04 2008-07-10 Siemens Ag Fahrerassistenzsystem zur Verkehrszeichenerkennung
US20100030462A1 (en) * 2007-02-15 2010-02-04 Pioneer Corporation Display control apparatus, display control method, display control program, and recording medium
US8184159B2 (en) * 2007-03-26 2012-05-22 Trw Automotive U.S. Llc Forward looking sensor system
US20100292895A1 (en) * 2007-04-27 2010-11-18 Aisin Aw Co. Ltd Driving support device
DE102007021577A1 (de) * 2007-05-08 2008-11-13 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur Verkehrszeichenerkennung
DE102007021578A1 (de) * 2007-05-08 2008-11-13 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Klassifizieren mindestens eines Verkehrszeichens
DE102007021576A1 (de) * 2007-05-08 2008-11-13 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Bestimmen der Position eines Verkehrszeichens
US8233670B2 (en) * 2007-09-13 2012-07-31 Cognex Corporation System and method for traffic sign recognition
US8116519B2 (en) * 2007-09-26 2012-02-14 Honda Motor Co., Ltd. 3D beverage container localizer
EP2048597A1 (de) 2007-10-10 2009-04-15 Delphi Technologies, Inc. Verfahren zur Objekterfassung
JP4849061B2 (ja) * 2007-12-06 2011-12-28 トヨタ自動車株式会社 車両用逆走防止装置
US8370755B2 (en) * 2007-12-27 2013-02-05 Core Wireless Licensing S.A.R.L. User interface controlled by environmental cues
GB2458278A (en) * 2008-03-11 2009-09-16 Geoffrey Cross A method of recognising signs in images taken from video data
US8265425B2 (en) * 2008-05-20 2012-09-11 Honda Motor Co., Ltd. Rectangular table detection using hybrid RGB and depth camera sensors
US8229170B2 (en) * 2008-07-31 2012-07-24 General Electric Company Method and system for detecting a signal structure from a moving video platform
EP3975138A1 (en) * 2008-10-06 2022-03-30 Mobileye Vision Technologies Ltd. Bundling of driver assistance systems
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
CN102246506B (zh) * 2009-01-14 2014-05-14 松下电器产业株式会社 摄像装置以及摄像方法
EP2259207B8 (en) * 2009-06-02 2012-11-28 Fundacion Centro de Tecnologias de Interaccion Visual y comunicaciones Vicomtech Method of detection and recognition of logos in a video data stream
US8649594B1 (en) 2009-06-04 2014-02-11 Agilence, Inc. Active and adaptive intelligent video surveillance system
US8374390B2 (en) * 2009-06-24 2013-02-12 Navteq B.V. Generating a graphic model of a geographic object and systems thereof
US8358855B2 (en) * 2009-07-08 2013-01-22 Honeywell International Inc. Determining probabilities from compared covariance appearance models to detect objects of interest in images
DE102009048066A1 (de) 2009-10-01 2011-04-07 Conti Temic Microelectronic Gmbh Verfahren zur Verkehrszeichenerkennung
CN101706873B (zh) * 2009-11-27 2012-05-30 东软集团股份有限公司 数字类限制标志的识别方法和装置
US8447139B2 (en) 2010-04-13 2013-05-21 International Business Machines Corporation Object recognition using Haar features and histograms of oriented gradients
DE102010020330A1 (de) * 2010-05-14 2011-11-17 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen
DE102010039634B4 (de) * 2010-08-23 2013-05-08 Ford Global Technologies, Llc Anordnung und Verfahren zur Verkehrszeichenerkennung
DK2447884T3 (en) * 2010-10-28 2015-03-30 Cyclomedia Technology B V A method for the detection and recognition of an object in an image and an apparatus and a computer program therefor
US8527445B2 (en) 2010-12-02 2013-09-03 Pukoa Scientific, Llc Apparatus, system, and method for object detection and identification
TW201227381A (en) * 2010-12-20 2012-07-01 Ind Tech Res Inst Real-time traffic situation awareness system and method
CN102073848A (zh) * 2010-12-31 2011-05-25 深圳市永达电子股份有限公司 一种基于智能优化的道路识别系统与方法
JP5370375B2 (ja) * 2011-01-06 2013-12-18 株式会社デンソー 画像認識装置
DE102011018157A1 (de) * 2011-04-19 2012-10-25 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Erkennung einer Bushaltestelle
US9183447B1 (en) * 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
CN102867427A (zh) * 2011-07-07 2013-01-09 鸿富锦精密工业（深圳）有限公司 交通标志提示系统及方法
DE102011109387A1 (de) 2011-08-04 2013-02-07 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen
DE102011083378B4 (de) * 2011-09-26 2015-07-16 Robert Bosch Gmbh Vorrichtung und Verfahren zum Überprüfen von Streckendaten
KR101298937B1 (ko) * 2011-11-11 2013-08-23 서강대학교산학협력단 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법
CN102542260A (zh) * 2011-12-30 2012-07-04 中南大学 一种面向无人驾驶车的道路交通标志识别方法
US9336456B2 (en) 2012-01-25 2016-05-10 Bruno Delean Systems, methods and computer program products for identifying objects in video data
JP5928010B2 (ja) * 2012-03-07 2016-06-01 株式会社豊田中央研究所 道路標示検出装置及びプログラム
RU2488164C1 (ru) * 2012-04-03 2013-07-20 Федеральное государственное бюджетное учреждение науки Институт систем обработки и изображений Российской академии наук (ИСОИ РАН) Способ локализации дорожных знаков и распознавания их групп и подгрупп
WO2014016695A2 (en) 2012-07-27 2014-01-30 Assa Abloy Ab Presence-based credential updating
WO2014016705A2 (en) 2012-07-27 2014-01-30 Assa Abloy Ab Setback controls based on out-of-room presence information
KR20140043225A (ko) * 2012-09-27 2014-04-08 한국전자통신연구원 기호 정보 제공 방법 및 장치
DE102012221159A1 (de) * 2012-11-20 2014-05-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Wechselverkehrszeichen
CN103593973B (zh) * 2012-12-18 2016-07-06 北京科技大学 一种城市道路交通态势评估系统
US9651393B2 (en) * 2013-01-28 2017-05-16 Nec Corporation Driving support device, driving support method, and recording medium storing driving support program
US9092696B2 (en) * 2013-03-26 2015-07-28 Hewlett-Packard Development Company, L.P. Image sign classifier
CN104123532B (zh) * 2013-04-28 2017-05-10 浙江大华技术股份有限公司 对目标对象进行检测、确定目标对象数量的方法和设备
DE102013219909A1 (de) 2013-10-01 2015-04-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen
CN103577809B (zh) * 2013-11-12 2016-08-17 北京联合大学 一种基于智能驾驶的地面交通标志实时检测的方法
KR101596299B1 (ko) 2014-01-06 2016-02-22 현대모비스 주식회사 교통 표지판 인식 방법 및 장치
KR101912914B1 (ko) * 2014-01-17 2018-10-29 주식회사 만도 전방 카메라를 이용한 속도제한 표지판 인식 시스템 및 방법
EP3736732A1 (en) 2014-01-30 2020-11-11 Mobileye Vision Technologies Ltd. Systems and methods for lane end recognition
EP3123397A4 (en) * 2014-03-27 2017-11-08 The Georgia Tech Research Corporation Systems and methods for identifying traffic control devices and testing the retroreflectivity of the same
JP6243780B2 (ja) * 2014-03-28 2017-12-06 株式会社Ｓｕｂａｒｕ 車外環境認識装置
KR102233391B1 (ko) * 2014-06-16 2021-03-29 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
CN104102776B (zh) * 2014-07-14 2018-06-19 浙江众合科技股份有限公司 一种城市轨道交通列车的模型自动辨识方法
US9336448B2 (en) 2014-08-11 2016-05-10 Here Global B.V. Variable speed sign value prediction and confidence modeling
US9424475B1 (en) * 2014-09-17 2016-08-23 Google Inc. Construction object detection
US10109184B2 (en) 2014-10-08 2018-10-23 Here Global B.V. Probe based variable speed sign value
US9460355B2 (en) * 2014-10-14 2016-10-04 Here Global B.V. Lateral sign placement determination
CN104361350B (zh) * 2014-10-28 2017-12-12 奇瑞汽车股份有限公司 一种交通标识识别系统
US10332266B2 (en) * 2014-11-18 2019-06-25 Agency For Science, Technology And Research Method and device for traffic sign recognition
KR20160072676A (ko) 2014-12-15 2016-06-23 삼성전자주식회사 객체 검출 장치 및 방법과, 컴퓨터 보조 진단 장치 및 방법
WO2016103258A1 (en) * 2014-12-24 2016-06-30 Raiman Timor System and method for preventing accidents
CN104637300B (zh) * 2015-02-06 2017-01-04 南京理工大学 公路交通标志牌信息化普查分析与展示系统
DE102015205524B4 (de) * 2015-03-26 2020-11-05 Mando Corporation Verfahren und Vorrichtung zum Klassifizieren eines Objekts, beispielsweise eines Verkehrsschildes, in einem Bild
DE102015207902A1 (de) * 2015-04-29 2016-11-03 Mando Corporation Verfahren und Vorrichtung zur Bestätigung des relevanten inneren weißen Kreises bei der Erkennung des Umfelds eines kreisförmigen Verkehrszeichens
US9141883B1 (en) * 2015-05-11 2015-09-22 StradVision, Inc. Method, hard negative proposer, and classifier for supporting to collect hard negative images using a similarity map
US9230193B1 (en) * 2015-05-11 2016-01-05 StradVision, Inc. Method for increasing object detection rate or object recognition rate and classifier using locally decorrelated channel feature (LDCF)
CN104809877B (zh) * 2015-05-14 2017-09-08 重庆大学 基于特征参数加权gefcm算法的高速公路地点交通状态估计方法
JP6549898B2 (ja) * 2015-05-20 2019-07-24 株式会社日立製作所 物体検出システム、物体検出方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム
CN104978570B (zh) * 2015-06-25 2018-10-23 西北工业大学 基于增量学习的行车视频中交通标志的检测和识别方法
CN105118287A (zh) * 2015-09-01 2015-12-02 南京理工大学 道路交通标志信息普查系统
CN105426819A (zh) * 2015-10-30 2016-03-23 河海大学 基于多尺度hog的行人检测方法
US10769667B2 (en) 2016-10-25 2020-09-08 At&T Intellectual Property I, L.P. Billboard-based advertising system
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
US10380438B2 (en) * 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
US10147200B2 (en) 2017-03-21 2018-12-04 Axis Ab Quality measurement weighting of image objects
US10325166B2 (en) 2017-04-13 2019-06-18 Here Global B.V. Method, apparatus, and system for a parametric representation of signs
US20180299893A1 (en) * 2017-04-18 2018-10-18 nuTonomy Inc. Automatically perceiving travel signals
US10643084B2 (en) 2017-04-18 2020-05-05 nuTonomy Inc. Automatically perceiving travel signals
US10650256B2 (en) 2017-04-18 2020-05-12 nuTonomy Inc. Automatically perceiving travel signals
KR101834778B1 (ko) 2017-05-30 2018-03-07 만도헬라일렉트로닉스(주) 교통 표지판 인식장치 및 방법
KR102125285B1 (ko) * 2017-12-22 2020-06-22 남서울대학교 산학협력단 도로교통표지 정보 인식장치 및 그 방법
US11507775B2 (en) 2018-12-05 2022-11-22 Here Global B.V. Method and apparatus for matching heterogeneous feature spaces
US10928828B2 (en) 2018-12-14 2021-02-23 Waymo Llc Detecting unfamiliar signs
KR102505717B1 (ko) 2019-01-29 2023-03-02 모셔널 에이디 엘엘씨 교통 신호등 추정
CN111753592A (zh) * 2019-03-29 2020-10-09 长沙智能驾驶研究院有限公司 交通标志识别方法、装置、计算机设备和存储介质
CN114008682A (zh) * 2019-06-28 2022-02-01 宝马股份公司 用于标识对象的方法和系统
CN111062309B (zh) * 2019-12-13 2022-12-30 吉林大学 一种雨天交通标志检测方法、存储介质及系统
US11335100B2 (en) 2019-12-27 2022-05-17 Industrial Technology Research Institute Traffic light recognition system and method thereof
CN111523390B (zh) * 2020-03-25 2023-11-03 杭州易现先进科技有限公司 一种图像识别的方法及增强现实ar图标识别的系统
RU2760038C1 (ru) * 2021-06-02 2021-11-22 Олег Борисович Лапшев Способ распознавания дорожных знаков
CN115704696A (zh) * 2021-08-04 2023-02-17 泰为股份有限公司 具有基于单目相机的交通标志跟踪和定位机制的导航系统及其操作方法
US11861915B2 (en) 2021-09-03 2024-01-02 Waymo Llc Pipeline architecture for road sign detection and evaluation

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
DE19852631C2 (de) 1998-11-14 2001-09-06 Daimler Chrysler Ag Vorrichtung und Verfahren zur Verkehrszeichenerkennung
US7203669B2 (en) * 2003-03-17 2007-04-10 Intel Corporation Detector tree of boosted classifiers for real-time object detection and tracking
US7764808B2 (en) * 2003-03-24 2010-07-27 Siemens Corporation System and method for vehicle detection and tracking
US7212651B2 (en) * 2003-06-17 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Detecting pedestrians using patterns of motion and appearance in videos
US7508979B2 (en) * 2003-11-21 2009-03-24 Siemens Corporate Research, Inc. System and method for detecting an occupant and head pose using stereo detectors
US7072494B2 (en) * 2004-02-20 2006-07-04 Siemens Corporate Research, Inc. Method and system for multi-modal component-based tracking of an object using robust information fusion
JP2005250771A (ja) * 2004-03-03 2005-09-15 Fuji Photo Film Co Ltd 対象物識別装置および方法並びにプログラム
US7466841B2 (en) * 2004-08-16 2008-12-16 Siemens Corporate Research, Inc. Method for traffic sign detection
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US7526101B2 (en) * 2005-01-24 2009-04-28 Mitsubishi Electric Research Laboratories, Inc. Tracking objects in videos with adaptive classifiers
US7724962B2 (en) * 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Lindner F, "Robust recognition of traffic signals"

Also Published As

Publication number Publication date
WO2006022910A1 (en) 2006-03-02
EP1782335A1 (en) 2007-05-09
DE602005012967D1 (de) 2009-04-09
US7466841B2 (en) 2008-12-16
CN101023436B (zh) 2013-10-23
JP4723582B2 (ja) 2011-07-13
KR20070027768A (ko) 2007-03-09
EP1782335B1 (en) 2009-02-25
JP2008517353A (ja) 2008-05-22
CN101023436A (zh) 2007-08-22
US20060034484A1 (en) 2006-02-16

Similar Documents

Publication Publication Date Title
KR100912746B1 (ko) 교통 표지판 탐지를 위한 방법
US8041080B2 (en) Method for recognizing traffic signs
US9269001B2 (en) Illumination invariant and robust apparatus and method for detecting and recognizing various traffic signs
US8487991B2 (en) Clear path detection using a vanishing point
Keller et al. Real-time recognition of US speed signs
US9384401B2 (en) Method for fog detection
US20090309966A1 (en) Method of detecting moving objects
Ellahyani et al. Traffic sign detection and recognition using features combination and random forests
CN106682586A (zh) 一种复杂光照条件下基于视觉的实时车道线检测的方法
Le et al. Real time traffic sign detection using color and shape-based features
CN106022243B (zh) 一种基于图像处理的机动车道车辆逆行识别方法
Shi et al. A vision system for traffic sign detection and recognition
JP2011013838A (ja) 移動体検出装置、移動体検出方法及びコンピュータプログラム
CN109255326A (zh) 一种基于多维信息特征融合的交通场景烟雾智能检测方法
Liu et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification
CN108520528B (zh) 基于改进差分阈值和位移匹配模型的移动车辆跟踪方法
Mammeri et al. North-American speed limit sign detection and recognition for smart cars
CN115546763A (zh) 基于视觉测距的交通信号灯识别网络训练方法及测试方法
Parada-Loira et al. Local contour patterns for fast traffic sign detection
CN107862341A (zh) 一种车辆检测方法
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
Kim Detection of traffic signs based on eigen-color model and saliency model in driver assistance systems
CN104966064A (zh) 基于视觉的前方行人测距方法
Płaczek A real time vehicle detection algorithm for vision-based sensors
Cheng et al. Vehicle detection and classification using model-based and fuzzy logic approaches

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130711

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140715

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160715

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170803

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180802

Year of fee payment: 10