KR20160115853A - 이미지 내 타원형 구조들을 감지하기 위한 방법 및 장치 - Google Patents

이미지 내 타원형 구조들을 감지하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20160115853A
KR20160115853A KR1020160036633A KR20160036633A KR20160115853A KR 20160115853 A KR20160115853 A KR 20160115853A KR 1020160036633 A KR1020160036633 A KR 1020160036633A KR 20160036633 A KR20160036633 A KR 20160036633A KR 20160115853 A KR20160115853 A KR 20160115853A
Authority
KR
South Korea
Prior art keywords
image
pair
structures
circular
arcuate structures
Prior art date
Application number
KR1020160036633A
Other languages
English (en)
Other versions
KR101822909B1 (ko
Inventor
앱하우 요헨
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Publication of KR20160115853A publication Critical patent/KR20160115853A/ko
Application granted granted Critical
Publication of KR101822909B1 publication Critical patent/KR101822909B1/ko

Links

Images

Classifications

    • G06K9/4633
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G06K9/00818
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • B60W2550/22
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Image Analysis (AREA)
  • Signal Processing (AREA)

Abstract

본 발명은 이미지(9) 내 타원형 구조들(10)을 감지하는 방법에 관한 것이며, 다음을 포함:
- 각각의 원호 형상 구조(11)로부터 반경과 중심점(12)이 결정되는, 이미지(9)의 원형 허프 변환(CHT)을 이용하여 이미지(9) 내의 원호 형상 구조들(11)을 감지하는 단계,
- 대체적으로 동일한 반경의 감지된 두 원호 형상 구조들(11)로 이루어지는 원호 형상 구조들(11)의 쌍들을 식별하는 단계,
- 이 쌍들 각각에 대해, 원호 형상 구조들(11) 각각의 쌍의 중심점들(12)에 따라 이미지(9) 내의 탐색영역(14)을 정의하는 단계,
- 임의의 주어진 원호 형상 구조들(11) 쌍에 대해 정의된 탐색영역(14) 내에서, 이 2개의 원호 형상 구조들(11)을 연결하는 테두리들 쌍을 탐색하는 단계. 본 발명은 이미지에서 타원형 구조들을 감지하는 장치와 더욱 관련이 있다.

Description

이미지 내 타원형 구조들을 감지하기 위한 방법 및 장치{Method and device for detecting elliptical structure in an image}
본 발명은 이미지 내 타원형 구조들을 감지하기 위한 방법 및 장치에 관한 것이다. 본 발명은 더욱 상세하게는 차량의 운전자에게 지원을 제공하기 위한 방법과 시스템 및 이러한 시스템을 갖춘 차량에 관한 것이다. 더욱이, 본 발명은 교통표지 감지 수단에 관한 것이다.
이미지 내의 타원형 구조들의 감지는 다양한 분야의 기술에 적용된다. 예를 들면, 이미지에서 타원형으로 일그러져 보이는 원형의 도로 교통표지들(또는 다른 어떤 원형의 것들)을 식별하기 위하여, 타원형 구조들을 감지하는 것이 요구된다. 교통표지가 이미지의 테두리 근처에 나타나거나 또는 교통표지가 기울어져 있거나 또는 이미지를 얻을 때 사용되는 카메라에 대해 원형의 교통 표지 정면이 똑바르지 않고 비스듬하게 향해져 있어 비교적 회전돼있는 때와 같이, 본래의 원형 교통표지의 타원형 일그러짐이 발생한다. 그러나, 이것은 카메라가 차량에 설치되었을 때 및 교통표지가 도로의 측면에 위치할 때 일반적인 상황이다.
그러한 효과들을 고려하지 않은 교통표지 감지의 일반적인 기술들은, 기울어지거나 비스듬한 원형 교통표지들에 실패하고, 결과적으로, 이 표지들은 전혀 감지되지 않거나 많은 수의 오탐지를 일으키고, 각 시스템의 좋지 않은 실행시간을 야기시킨다. 그러므로 사용자는 상기 시스템으로부터 제공되는 정보에 의존하기 때문에 운전자 지원 시스템은 확실하게 탐지할 수 있어야 하고 원형 교통표지들을 상기 언급한 상황들에서조차 식별할 수 있어야 한다.
이미지에서 타원형 구조를 감지하는 알려진 방법들 중 하나는 타원형 허프 변환(elliptical Hough transform)을 이용하는 것이다. 타원형 허프 변환은 타원을 정의하기 위해 5개의 파라미터를 필요로 하고 따라서 많은 시간과 기억 용량을 소모한다. 이러한 문제들을 극복하기 위해서, 수정된 허프 변환 방법들(modified Hough transform methods)이 제안되어 왔다.
예컨대, 미국 공개특허 US 4,618,989 A는 5차원의 허프 공간 변환(Hough transformation space)을 3개의 1차원 또는 2차원 하위 공간들: 2차원의 중앙 히스토그램 공간(center histogram space), 2차원의 편심률(eccentricity)과 축 기울기 히스토그램 공간(axis slope histogram space) 및 1차원의 C 히스토그램 공간(C histogram space)으로 분해함으로써 타원들을 식별하는 방법을 밝힌다. 이 방법 역시 다양한 매개변수 공간들(parametric spaces)을 사용하기 때문에, 시간과 기억장치가 소모된다.
미국 공개특허 US 8,170,340 B2는 이미지를 다른 방향들로 빠르게 살펴 선 영역들의 최다 수(plurality of line sections)를 식별하는 허프 변환자(Hough transformer)와, 원형 또는 타원형 원호 조각들(circular or elliptical arc segments) 및 타원 위치 감지를 위한 타원 감지기를 식별하는 더 발전된 허프 변환자를 사용하여 이미지에서 교통표지들을 식별하는 방법을 밝혔다. 이 방법은 2개의 다른 허프 변환자를 사용하여 시간과 기억장치가 소모된다.
국제 공개특허 WO 2013/082812 A1은 타원의 대칭 특성에 기초하여 타원들을 감지하는 방법을 밝힌다. 이 방법은 포지티브(positively) 및 네가티브(negatively) 픽셀들에 근거한 투표 방식을 이용한다. 이 방법은 낮은 컴퓨터 비용으로 좋은 수행성과를 가져온다. 그러나 타원의 배경이 고르지 않을 때, 예컨대 타원의 절반이 검은 배경이고 다른 절반이 하얀 배경일 때, 이 방법은 계산된 경사도 방향(gradient orientation) 때문에 실패한다.
미국 공개특허 US 4618989 A 미국 등록특허 US 8170340 B2 국제 공개특허 WO 2013-052812 A1
따라서 본 발명은 비교적 적은 기억 용량만을 소모하면서도 가능한 한 확실하고 빠르게 이미지에서 타원형 구조들을 감지하기 위한 수단을 제공하는데 목표를 삼았다
이 문제는 독립항 제1항에 따른 타원형 구조들을 감지하는 방법 및 청구항 제12항에 따른 이미지 내 타원형 구조들을 감지하는 장치에 의해 해결되었다. 발명의 일부 실시예들은 종속항의 주제이다.
상기 제안된 이미지 내 원호 형상 구조들(circular arc-shaped structures)을 감지하는 방법은 다음 단계를 이와 같이 포함:
- 각각의 원호 형상 구조에 대한 반경(radius) 및 중심점(center point)이 결정되는, 이미지의 원형 허프 변환(circle Hough transform, CHT)에 의해 이미지 내의 원호 형상 구조들을 감지하는 단계,
- 대체적으로 동일한 반경의 감지된 2개의 원호 형상 구조들로 이루어지는 원호 형상 구조들 쌍(pair)을 식별하는 단계,
- 원호 형상 구조들의 쌍 각각에 대해, 원호 형상 구조들 각각의 쌍의 중심점들에 의해 결정된 이미지 내의 탐색영역(search area)을 정의하는 단계,
- 상기 원호 형상 구조 쌍에 의해 정의된 상기 탐색영역 내에서, 원호 형상 구조들 각각에 대하여, 이 원호 형상 구조들 쌍의 2개의 원호 형상 구조들을 연결하는 테두리들(edges) 쌍에 대해 탐색하는 단계,
- 원호 형상 구조들 쌍의 2개의 원호 형상 구조들을 연결하는 테두리들 쌍이 발견되면, 상기 테두리들 쌍과 상기 원호 형상 구조들 쌍으로 둘러싸인 구역(area)을 타원형 구조로 식별하는 단계.
상기 제안된 방법에서는, 고차원의 타원 허프 변환 수행 대신에, 원호 형상 구조들을 감지하기 위해 비교적 간단한 이미지의 원형 허프 변환이 사용된다. 상기 제안된 방법은 어떠한 타원도 양 끝부분에 대략 원호 모양을 갖는다는 사실을 이용한다. 원호 형상 구조들의 쌍을 연결하는 (대체로 곧은) 2개의 테두리들을 감지하는 것은 이미지 내 타원형 구조를 위해 이와 같이 지시로서 사용된다. 타원 허프 변환을 사용하지 않고 타원형 구조들이 감지되기 때문에, 이러한 방식으로 상기 제안된 방법의 주요 이점은 상대적으로 적은 연산 시간과 기억 용량이 요구된다는 것이다.
이미지는 보통 이미지 정보(image data)에 의해 정의된 디지털 이미지(digital image), 예컨대 이미지 점(image point)의 휘도(btightness) 값과 같은, 각각의 이미지의 (이미지의 픽셀로도 칭해지는)이미지 점은 (픽셀 값으로도 칭해지는)이미지 값을 가진다. 처음에, 예를 들어 상기 이미지를 흑백(grayscale) 이미지나 2차 이미지(binary image)로 변환하기 위해 상기 이미지(즉, 상기 이미지 정보)는 임의로 전처리될 수 있다. 추가적으로 또는 그 대신에, 상기 이미지의 전처리는 이미지의 노이즈 감소를 위한 노이즈 감소 알고리즘(noise reduction algorithm) 적용이 포함될 수 있다. 추가적으로 또는 그 대신에, 상기 이미지의 전처리는 각 이미지 점들의 이미지 휘도(예컨대 흑백 값에 대한)의 경사도와 같은, 이미지 값들(즉, 픽셀 값들)의 경사도를 계산하기 위한 경사도 추출 알고리즘(gradient extraction algorithm)을 포함할 수 있다. 경사도를 계산하는 것은 절대값(absolute value) 계산뿐만 아니라 각 이미지 점에서의 경사의 방향 계산도 포함한다. 그렇지 않으면, 단지 각 이미지 점들에서의 경사 방향만을 계산하는 것도 가능하다. 경사도 추출 알고리즘의 결과는, 각 이미지 점들에서, 이미지가 가진, 경사도 이미지가 될 수 있고, 각각의 상기 경사도 또는 원본 이미지의 정규화된 경사도가 될 수 있다. 추가적으로 또는 그 대신에, 상기 이미지의 전처리는 Canny edge detection 알고리즘 또는 Sobel edge detection 알고리즘과 같은, 이미지의 테두리 감지 알고리즘(edge detection algorithm) 적용이 포함될 수 있다. 상기 테두리 감지 알고리즘은 (휘도와 같은) 이미지 값이 급격하게 변화하는 이미지 점들을 식별하기 위해 일반적으로 사용된다. 이러한 점들은 일반적으로 선들(lines) 및 테두리들을 따라 배열된다. 이와 같이 테두리 감지 알고리즘의 결과는 테두리 이미지, 즉 이미지의 감지된 테두리들만을 포함하는 이미지가 될 수 있다. 상기 원형 허프 변환은 원본 이미지 정보 또는 상기 전처리된 이미지 정보에 근거하여 계산한다. 특히, 경사도 이미지 및/또는 상기 테두리 감지 알고리즘의 결과와 같은, 테두리 이미지와 같은, 경사도 추출 알고리즘의 결과를 이용하여 원형 허프 변환을 계산하는 것이 가능하다.
대체적으로, 이미지의 원형 허프 변환을 계산하기 위한 기술들은 이미지 처리 분야가 일반적으로 알려져 있다. 이것은 보통 원형 허프 공간 파라미터(circle Hough parameter space) 정의단계, 투표 방식(voting scheme) 적용단계 및 (투표 배열로도 불리는) 원형 허프 누산기(circle Hough accumulator) 계산단계를 포함한다. 그런 이유로, 이미지 내 원호 형상 구조들을 감지하는 상기 언급된 단계는 다음의 단계들을 포함할 수 있다:
- 원형 허프 공간 파라미터의 각각의 점 파라미터(parameter point)는 상기 이미지 내의 가능한 원 (또는 원 후보)을 정의하고, 원형 허프 누산기는 각 점 파라미터에 값을 할당하는, 상기 원 허프 공간 파라미터와 상기 원형 허프 누산기를 정의하는 단계,
- 상기 점 파라미터들에 의해 정의된 상기 원들의 하나 또는 그 이상에 대해 투표한 상기 이미지의 이미지 점들을 식별하는 단계,
- 상기 각각의 점 파라미터들에 의해 정의된 상기 원들에 대해 투표함으로써 식별되는 상기 이미지 점들의 개수에 따라 상기 원형 허프 누산기의 상기 값들이 증가하는 단계,
- 상기 감지된 원호 형상 구조들이 상기 감지된 점 파라미터들에 의해 표시됨으로써, 상기 원형 허프 누산기가 미리 정의된 임계값(threshold value)을 초과하거나 및/또는 특정 최대값(local maximum)을 가지는 상기 원형 허프 공간 파라미터 내의 점 파라미터들을 감지하는 단계.
원형 허프 공간 파라미터는 통상적으로 이미지 내 원의 중심점 좌표들로 정의되는 2개의 구성요소들(x, y) 및 이 원의 반경으로 정의되는 1개의 구성요소(r)의 3개의 구성요소들을 가지는 상기 원형 허프 공간 파라미터의 각 점 파라미터들과 같은, 원형 허프 변환들에 대해 전형적으로 정의될 수 있다. 그 다음에, 이미지 내의 가능한 각 원은 3차원 원형 허프 공간 파라미터 안에 점 파라미터들 중 하나로 표시된다. 다음과 같은 누산기(accumulator)로 언급되는, 상기 원형 허프 누산기는 3차원 원형 허프 공간 파라미터의 점 파라미터들의 함수, 즉 A값(x, y, r)을 각 점 파라미터(x, y, r)로 할당시키는 함수로 정의될 수 있다.
주어진 어떤 점 파라미터에서의 상기 누산기 값은 원호 형상 구조 또는 그 점 파라미터에 의해 정의된 반경과 중심점을 가지는 이미지의 완전한 원의 존재 가능성을 나타낸다. 주어진 점 파라미터에서의 상기 누산기 값은 그 점 파라미터에 의해 표시된 원에 대해 투표한 이미지 점들의 개수에 비례하거나 상당하도록 정의될 수 있다. 가능한 하나의 투표 방식에 따르면, 이미지 점은 원의 원주 선(circumferential line)에 위치할 때(즉 원의 중심점과 이미지 점의 거리가 원의 반경과 같을 때)와 또 큰 경사도 값 및/또는 경사 방향이 원의 중심점을 가리키거나 반대 방향을 가리킬 때 중심점과 반경이 정의된 원에 대해 투표(즉 상기 이미지 점은 일치하는 점 파라미터에 투표)한다. 게다가, 만약 상기 일치하는 이미지 점이 특정한 원에 대해 투표함으로써 누산기에 기여하는 경우 상기 경사도가 특정 임계치를 초과하는 크기를 갖는 것이 요구될 수 있다. 다른 가능한 투표 방식에 따르면, 이미지 점이 적어도 부분적으로 또는 전체적으로, 원의 원주 선을 따라 실행되는, 이미지 내 테두리에 위치할 때 이 이미지 점은 원에 대해 투표한다. 이 경우, 이 이미지 점의 테두리를 교차하는 직선 및 이 이미지 점의 테두리에 대해 수직으로 향해지는 직선이 원의 중심점을 지나는 것이 요구될 수 있다.
이와 같은 이미지의 원은 대략 중심점과 반경을 정의하는 점 파라미터들에게 큰 누산기 값들을 제공하고, 원의 중심점 주위의 중심점들 및/또는 약간 다른 반경을 정의하는 점 파라미터들에게는 상대적으로 작은 값들을 제공한다. 따라서, 이미지의 원호 형상 구조는 또한 증가된 누산기 값들을 대략 이들의 중심점과 반경(그러나 이러한 누산기 값들은 완전한 원의 경우와 일치하는 누산기 값들보다 작다)으로 표시되는 점 파라미터들에게 제공하고, 비교적 작은 값들을 상기 중심점 주위의 중심점들 및/또는 상기 반경과는 다른 반경들을 정의하는 점 파라미터들에게 제공한다(이 누산기 값들은 완전한 원의 경우와 일치하는 누산기 값들보다 그만큼 더 작다).
이와 같이, 이미지 내 타원형 구조의 경우에, 상기 누산기 A(x, y, r)의 값들은 적어도 약간 증가하고 보통 타원형 구조의 거의 원호 형상 양 끝부분과 일치하는 주어진 반경(또는 대체로 동일한 반경들의 범위)에 대해 두 중심점들의 특정 최대값들을 보인다. 그러나 이 증가된 두 값들 또는 누산기의 특정 최대값들은 완전한 원의 하나의 중심점에서의 매우 큰 누산기 값들과 일반적으로 비교하면 상대적으로 작다. 따라서, 이미지에 타원형 구조로 나타나는 원형 교통표지에 관하여, 상기 누산기는 하나의 높은 단일값 또는 높은 특정 최대값을 제공하지 않으나, 비교적 서로 근접한 두 이미지 점들에서 오히려 2개의 약간 증가된 값들 또는 작은 특정 최대값들을 제공한다.
예를 들자면, 이미지의 상기 원호 형상 구조들은 이진화(thresholding), 즉 상기 언급된 미리 결정된 임계값을 가진 누산기의 값들을 비교하여 탐색된다. 상기 임계값은 각각의 점 파라미터에 의해 정의된 원의 반경에 따라 결정될 수 있다. 예컨대, 상기 임계값은 상기 반경에 비례할 수 있다.
대신에 또는 추가적으로, 이미지의 상기 원호 형상 구조들은 원형 허프 누산기의 특정 최대값들에 대해 탐색함으로써 탐색될 수 있다.
상기 언급된 식별된 원호 형상 구조들의 쌍들은 상기 원호 형상 구조들의 반경들이 상당히 동일한 것과 같이 식별된다. 원호 형상 구조들 쌍의 상기 반경들은 예를 들어, 원호 형상 구조들 쌍의 두 반경의 상대적 차이가, 두 반경 중 큰 반경의 10%보다 작을 때, 상당히 동일한 것처럼 고려될 수 있다. 일 실시예에서, 상기 원호 형상 구조들의 쌍들은 상기 식별된 쌍의 각 하나의 원호 형상 구조의 상기 중심점들 사이의 거리가 거리 임계치보다 작은 것과 같이 식별될 수 있고, 거리 임계치는 상기 원호 형상 구조들 쌍의 원호 형상 구조의 반경들에 따라 정의될 수 있다. 예를 들면, 상기 거리 임계치는 상기 감지된 원호 형상 구조의 반경의 10배와 20배 사이의 어디에서도 정의될 수 있다.
전술한 바와 같이, 상기 누산기의 높은 단일값(single high value)은 실제로 이미지의 원으로 나타나는 원형 교통표지에 대한 지시(indicator)로서 사용될 수 있다. 따라서, 상기 제안된 방법의 일 실시예로, 식별된 원호 형상 구조들 쌍들이 전혀 포함되지 않은 감지된 원호 형상 구조는, 이 감지된 원호 형상 구조를 표시하는 점 파라미터에서의 상기 원형 허프 누산기 값이 미리 정의된 임계치를 초과하는 경우 완전한 원으로 식별될 수 있다. 이 미리 정의된 임계치(threshold)는 전술한 원호 형상 구조들을 탐지하는데 사용되는 미리 정의된 임계값보다 커야 한다.
전술한 바와 같이, 상기 식별된 원호 형상 구조들 쌍들을 가진 후에, 상기 이미지는 더 처리된다. 이 목적을 위해, 상기 원본 이미지 정보가 사용되거나 또는, 만약 존재한다면, 상기 미리 처리된 이미지 정보가 사용될 수 있다. 만약 상기 선택적 테두리 감지 알고리즘이 적용되었다면, 예를 들어, 어떤 감지된 테두리들 또는 상기 이미지의 테두리 이미지는 정의된 탐색영역들 안에서 테두리들의 쌍들을 찾는 것으로 사용될 수 있다. 이 경우, 정의된 탐색영역들 내에서 상기 테두리들의 쌍들을 찾는 단계는 이미지의 상기 원형 허프 변환을 계산하기 전에 테두리 감지 알고리즘을 이미지에 적용함으로써 감지된 이미지의 테두리들을 평가하는 단계를 더 포함할 수 있다.
상기 테두리들의 쌍들을 탐색하는 단계는, 특히 이 단계 이전에 테두리 감지 알고리즘이 실행되지 않았다면, 상기 Canny edge detection 또는 상기 Sobel edge detection 알고리즘과 같은, 테두리 감지 알고리즘을 적용하는 것을 포함할 수 있다. 가급적 상기 테두리 감지 일고리즘은 오로지, 정의된 탐색 구역 바깥에 위치한 구역들은 제외된 상기 정의된 탐색영역들에 적용된다. 테두리 감지 알고리즘들은 일반적으로 상대적으로 많은 양의 시간과 기억 용량을 소모하기 때문에, 상기 테두리 감지 알고리즘의 적용은 각각의 탐색영역들에 제한되기 때문에, 이 실시 예는 특히 유리하다.
상기 제안된 방법의 일부 실시예들은, 어떠한 상기 원호 형상 구조들의 식별된 쌍들에 대한 상기 탐색영역은 원호 형상 구조들의 각각의 쌍의 두 중심점들을 연결하는 연결 직선에 의해 서로로부터 분리된 2개의 하위영역(subarea)을 포함할 수 있다. 이 경우, 상기 테두리들 쌍을 탐색하는 단계는 각각의 원호 형상 구조들의 쌍에 대해 정의된 탐색영역의 2개의 분리된 하위영역들 중 각 하나에서 테두리들의 쌍을 탐색하는 단계로 제한될 수 있고 이 테두리들 쌍의 감지된 2개의 테두리들 중 하나를 포함할 수 있다.
일부 실시예들에서, 상기 방법은, 원호 형상 구조들 쌍들 중 하나에서 찾아진 테두리들의 각 쌍에 대해, 다음의 하나 또는 두 개의 단계를 더 포함할 수 있다:
- 상기 테두리들이 대체적으로 곧은지 여부를 평가하는 단계, 상당히 곧은지는, 예를 들어, 상기 원호형상 구조들의 각각의 쌍의 곡률 반경(radius of curvature)이 상기 반경들보다 크거나, 또는 상기 반경들의 두 배보다 큰지 여부로 정의될 수 있다.
- 각각의 원호 형상 구조들 쌍의 중심점들 사이의 거리와 2개의 테두리들 길이를 비교하는 단계.
상기 제안된 타원 감지 방법은 다양한 응용들, 예컨대 산업에서의 자동 조립을 위한 기계적인 부분들을 찾거나 또는 차량의 운전자에게 지원을 제공하는데 사용될 수 있다.
상기 타원형 구조는 여기 기술된 방법에 의해, 특히, 위에 설명한 이유들과 같이 타원형으로 나타날 수 있는 둥근 교통표지가 이미지 내에서 감지된다. 제안된 방법에 의해 얻은, 중심점 정보 및 상기 테두리 정보와 같은, 정보를 사용하여, 특히 기울어지거나 비스듬한 교통표지가 이미지에 존재하는 경우 확실하게 결정될 수 있고, 추가적인 분석을 위해 이미지에서 발견될 수 있다.
차량의 운전자에게 지원을 제공하는 유용한 방법은, 예를 들어, 다음 단계를 포함할 수 있다:
- 적어도 하나의 카메라(camera)에 의한 차량 주위의 이미지들을 제작하는 단계,
- 전술된 이미지 내 원형 구조들을 감지하는 방법에 의한 이미지들 내에서 타원형 구조들을 감지하는 단계, 및
- 감지된 타원형 구조들에 관한 정보를 이용한 원형 교통표지들을 식별하는 단계.
따라서, 일반적인 실시예들에서, 상기 감지된 타원형 구조들은 원형 교통표지들 또는 원형 교통표지들의 후보들로 식별될 수 있다. 상기 방법은 어느 식별된 원형 교통표지의 후보의 추가적인 분석하는 단계를 더 포함할 수 있다. 이렇게 상기 식별된 원형 교통표지들은, 예컨대, 경고들 또는 속도 제한들과 같은 각각의 교통 표지에 의해 표현된 정보 또는 지시에 따라 분류될 수 있다. 상기 식별된 원형 교통 표지들에 대한 정보는, 예컨대 운전자 정보 유닛(driver information unit)에 의해 운전자에게 제공될 수 있다.
따라서, 상기 제안된 이미지 내 타원형 구조들을 감지하는 장치는 전술된 상기 임의의 실시예들 중에서 제안된 방법의 단계를 수행하기 위해 설정된 이미지 정보 처리 유닛(data processing unit)을 포함한다. 특히, 상기 정보 처리 유닛은 다음 단계들을 수행하기 위하여 설정될 수 있다:
- 각각의 원호 형상 구조에 대한 반경 및 중심점이 결정되는, 이미지의 원형 허프 변환(CHT)에 의해 이미지 내 원호 형상 구조들을 감지하는 단계,
- 대체적으로 동일한 반경의 감지된 2개의 원호 형상 구조들로 이루어지는 원호 형상 구조들 쌍을 식별하는 단계,
- 원호 형상 구조들의 쌍들 각각에 대해, 원호 형상 구조들 각각의 쌍의 중심점들에 의해 결정된 이미지 내 탐색영역을 정의하는 단계,
- 상기 원호 형상 구조들 쌍에 의해 정의된 상기 탐색영역 내에서, 원호 형상 구조들의 쌍들 각각에 대하여, 이 원호 형상 구조들 쌍의 2개의 원호 형상 구조들을 연결하는 테두리들 쌍을 탐색하는 단계,
- 원호 형상 구조들 쌍의 2개의 상기 원호 형상 구조들을 연결하는 테두리들 쌍이 발견되면, 상기 테두리들 쌍과 이 원호 형상 구조들 쌍으로 둘러싸인 영역을 타원형 구조로 식별하는 단계.
전술한 유형의 장치는, 특히, 다음을 포함하는 교통표지들을 감지하기 위한 운전자 지원 시스템(driver assistance system)에 사용될 수 있다:
- 차량 주위의 이미지들을 제작하기 위한 적어도 하나의 카메라,
- 이미지 내 타원형 구조들을 감지하기 위한 장치에서, 상기 카메라로부터 상기 이미지들을 받기 위한 적어도 하나의 카메라와 연결되는 상기 장치의 정보 처리 유닛,
- 감지된 타원형 구조들을 원형 교통표지들로 식별하도록 설정되고, 운전자에게 식별된 원형 교통표지들 정보를 제공하도록 설정된 상기 정보 처리 유닛과 연결된 운전자 정보 유닛.
상기 운전자 지원 시스템의 적어도 하나의 카메라는 차량에 설치될 수 있고, 예컨대 전면 유리 뒤에, 차량 주위의 이미지들을 제작하기 위함이다.
다음과 같이, 상기 발명의 일부 실시예들은 도 1 내지 5D에 따른 세부 사항이 묘사된다. 아래에 표시
도 1은 운전자 지원 시스템이 설치된 차량의 개략도,
도 2는 운전자 지원 시스템 구현의 개략도,
도 3은 도 2의 상기 운전자 지원 시스템에 의해 실행되는, 차량의 운전자에게 지원을 제공하는 방법의 단계들을 보여주는 흐름도,
도 4A 내지 C는 타원형 구조를 나타내는 이미지,
도 5A 내지 B는 원형 교통표지의 원형 이미지, 및
도 5C내지 D는 원형 교통표지의 타원형 이미지.
도면들에서, 유사하거나 동일한 특징들은 같은 참조 표지들로 제공된다. 참조 표지들의 목록은 아래 제공된다.
도 1은 차량(vehicle, 1)의 개략도를 보여준다. 운전자 지원 시스템이 차량(1)에 설치된다. 도 1에서, 상기 운전자 지원 시스템의 카메라(2)는 차량(1)의 전면 유리 뒤에 위치하여 차량(1) 안에 설치된다는 것을 보여준다. 이런 식으로, 상기 차량(1)의 앞의 상기 차량(1)의 주위의 디지털 이미지들이 카메라(2)에 의해 제작될 수 있다. 상기 차량(1)의 상기 운전자 지원 시스템은 (도 1에는 나타나지 않았지만) 차량(1)의 양 측면들 주위의 이미지들이 이 추가적인 카메라들에 의해 제작되는 것처럼 차량(1)의 더 나은 위치들에 장착되는 2개의 카메라들을 더 포함할 수 있다.
도 2는 운전자 지원 시스템 3의 실시예를 보여준다. 이 운전자 지원 시스템(3)은, 예컨대, 도 1에 나타난 차량(1) 안에 설치될 수 있다. 상기 운전자 지원 시스템(3)은 하나 또는 그 이상의 카메라(예를 들어, 전술한 것처럼, 3개의 카메라들) 및 이미지들 내 타원형 구조들을 감지하기 위한 장치(device, 4)가 포함될 수 있다. 상기 장치(4)는 상기 카메라들(2)의 상기 카메라로부터 신호들을 받도록 설정된다. 상기 신호들은 카메라들(2)의 이미지들을 표시할 수 있고 상기 이미지들의 상기 이미지 점들의 이미지 값들과 같은, 이미지 정보를 포함할 수 있다. 상기 장치(4)는 이미지들 내 타원형 구조들을 감지하기 위해 및 상기 감지된 타원형 구조들의 정보를 이용한 원형 교통표지들을 식별하기 위해 상기 이미지들 즉, 이미지 정보를 처리하도록 설정된 이미지 정보 처리 유닛(5)을 포함한다. 이렇게 하려면, 상기 정보 처리 유닛(5)는 아래 상세 설명된 이미지들 내 타원형 구조들을 감지하는 방법을 수행하도록 설정된다. 그 목적을 위해, 상기 정보 처리 유닛(5)는 하나 또는 그 이상의 전자 정보 처리장치(electronic data processor)들과 하나 또는 그 이상의 정보 저장 유닛(data storage unit)들을 포함할 수 있다.
상기 운전자 지원 시스템(3)은 상기 차량의 운전자에게 식별되고 감지된 교통표지들의 정보를 제공하도록 설정된 운전자 정보 유닛(6)을 더 포함한다. 상기 운전자 정보 유닛(6)은, 예컨대, 디스플레이(display, 7)과 스피커(loudspeaker, 8)을 포함한다. 예컨대, 상기 디스플레이(7)은 상기 시스템(3)이 설치된 차량의 전면 유리에 상기 정보를 표시하도록 설정된 전방 표시 장치(head-up display)일 수 있다.
도 3은 타원형 구조들을 감지하는 방법 및 이미지의 내 교통표지들을 식별하는 방법의 실시예의 방법 단계들을 표시하는 흐름도를 보여준다. 이 방법 단계들은, 예를 들어, 도 2에 나타난 운전자 지원 시스템(3)에 의해 수행될 수 있다. 또한 상기 방법의 상기 설명은, 예컨대 도 2에 나타난 운전자 지원 시스템(3)에 의한 상기 방법에 의해 제작되고 처리된 디지털 이미지(9)의 단순화 형태를 보여주는 도 4A 내지 4C와 관련되어 있다.
S1 단계에서 디지털 이미지는 상기 카메라 또는 상기 카메라들(2)로부터 제작되고 상기 정보 처리 유닛(5)로부터 받는다. 일반적으로, 이 이미지는 상기 카메라(2)로부터 제작된 영상의 단일 프레임이다. 도 4A는 상기 디지털 이미지(9)의 단순화 형태를 보여준다. 상기 이미지(9)는, 예를 들어, 원형 교통표지 이미지의 일부가 될 수 있는 타원형 구조(10)가 들어있다. 상기 원형 교통표지는 상기 차량(1)이 다니는 도로의 측면에 위치하고 따라서 이미지(9)처럼 타원형으로 왜곡되어 있다. 원형 교통표지들의 가능한 예시들은 도 5A 내지 5D에서 보여준다.
S2 단계에서, 상기 정보 처리 유닛(5)는 상기 이미지(9)에 스무딩 알고리즘(smoothing algorithm)을 적용하여 전처리한다. 뿐만 아니라, 상기 이미지(9)의 각 이미지 점들에 대하여, 상기 이미지(9)의 휘도 경사도가 계산된다. 이 경우에, 경사도의 절대값 계산 및 경사도 추출 알고리즘에 의한 각 이미지 점들의 상기 경사도 방향 계산을 포함한다.
S3 단계에서 상기 이미지(9)의 원형 허프 변환은 상기 정보 처리 유닛(5)에 의해 계산된다. 상기 S3 단계는 포함:
- 원형 허프 공간 파라미터의 각 점 파라미터는 원의 중심 및 반경과 함께 원을 정의하고, 원형 허프 누산기는 각 점 파라미터에 값을 할당하는, 상기 원형 허프 공간 파라미터와 상기 원형 허프 누산기를 정의하는 단계, 및
- 상기 원형 허프 공간 파라미터의 각 점 파라미터들에 대하여, 각각의 점 파라미터에 대해 투표한 이미지(9)의 이미지 점들을 식별하는 단계.
본 실시예에서는, 이미지 점이 아래 조건들을 만족할 때 점 파라미터에 대해 투표함으로써 결정된다: (a) 점 파라미터에 의해 명시된 이미지 점과 중심점의 거리가 (대략) 상기 점 파라미터에 의해 명시된 반경과 같을 때, (b) 상기 이미지 점이 미리 정의된 경사도 임계치보다 큰 절대 경사도 값을 가질 때 및 (c) 이 이미지 점에서의 상기 경사도 방향이 상기 점 파라미터에 의해 명시된 중심점을 (대략) 향하거나 또는 (대략) 반대 방향일 때이다. 원칙적으로, 이 투표 방식은 수정되거나 다른 투표 방식이 사용될 수 있다. 예컨대, 상기 조건 (b) 하나가 생략될 수 있다. 뿐만 아니라, 상기 이미지(9)가 단계 2에서 이미지(9)에 테두리 알고리즘이 적용되어 전처리된 경우, 이미지의 상기 감지된 테두리들에 근거한 투표 방식을 정의하는 것이 가능하다(예컨대, 상기 이미지의 테두리 이미지를 사용함으로써).
S3 단계는 상기 이미지(9)의 각 점 파라미터에 대한 누산기 값 계산을 더 포함한다. 본 실시예에서, 이 계산은 각각의 점 파라미터들에 의해 정의된 상기 원들에 대한 투표로서 식별된 이미지 점들의 개수에 따른 상기 원형 허프 누산기의 증가한 상기 값들을 포함한다. 이 실시예에서, 주어진 점 파라미터에 대한 상기 누산기의 상기 값은, 예를 들어, 상기 점 파라미터에 대해 투표하는, 즉 전술한 (a) 내지 (c) 조건들을 만족하는 이미지 점들의 개수가 계산될 수 있다.
상기 방법의 S4 단계에서, 상기 원형 허프 누산기의 상기 값인 상기 원형 허프 공간 파라미터 내 점 파라미터들은 미리 정의된 임계값과 감지된 특정 최대값을 초과한다. 그 때문에, 상기 원호 형상 구조(11)은 그러한 감지된 점 파라미터들에 의해 표시된 원들의 부분으로서 감지된다, 도 4B을 보라.
도 4B에서, 이미지(9)의 상기 경사도는 상기 타원형 구조(10)에 의해 감지된 테두리에 위치하는 몇몇 이미지 점들에 대한 화살표들로서 표시된다. 뿐만 아니라, 감지된 2개의 원호 형상 구조들(11)은 상기 원호 형상 구조들(11)의 중심점들(12)과 일치하는 것도 보여준다. 상기 2개의 감지된 원호 형상 구조들(11)은 상기 타원형 구조(10)의 양 끝에 위치한다. 이 호상 구조들(11)이 위치한 상기 이미지 점들은 상기 전술한 (a) 내지 (c) 조건들에 부응하도록 만족되기 때문에, 중심점들(12)을 정의하는 점 파라미터들에 대해 투표한다. 특히, 상기 이미지 점들과 상기 각각의 중심점들(12)의 거리는 이 원호 형상 구조들(11)과 일치하는 2개의 점 파라미터들에 의해 정의된 상기 반경과 (대략) 동일하고 상기 경사도들은 (대략) 상기 각각의 중심점들(12)를 향해 가리킨다.
S5 단계에서, 상당히 동일한 반경들의 감지된 2개의 원호 형상 구조들(11)을 포함하는 원호 형상 구조들(11)의 쌍들이 식별된다. 이 실시예에서, 원호 형상 구조들(11)의 쌍의 상기 반경은 상기 원호 형상 구조들 쌍의 두 반경 사이의 상대적 차이가, 예를 들면, 상기 두 반경 중 큰 반경의 5%보다 작을 때 상당히 동일한 것으로 여겨진다. 뿐만 아니라, 상기 분석은 상기 원호 형상 구조들(11)의 상기 중심점들(12) 사이의 거리가 그 반경들의 20배 값보다 작으면 원호 형상 구조들(11)의 쌍들로 제한될 수 있다. 따라서, 단계 4에서 감지된 상기 특정 최소값들이 상당히 동일한 반경들을 같는 원호 형상 구조(11)의 쌍들과 일치하는 특정 최대값들의 쌍을 포함하는지 단계 5에서 확인된다. 도 4B에서 보여지는 이미지(9)의 경우에서, 상기 감지된 2개의 원호 형상 구조들(11)은 원호 형상 구조들(11)의 쌍으로 식별되어왔다.
적어도 하나의 그러한 원호 형상 구조들(11)의 쌍이 식별된 경우에, 도 4B에서 보여지는 상기 이미지(9)와 같이, 단계 S6는 다음을 포함하여 수행:
- 각각의 원호 형상 구조들(11)의 쌍들에 대하여, 원호 형상 구조들(11)의 각각의 쌍의 상기 중심점들(12)에 따른 이미지(9) 안의 탐색영역(14)를 정의하는 단계, 도 4C를 보라, 및
- 각각의 원호 형상 구조들(11)의 쌍들에 대하여, 원호 형상 구조들의 상기 쌍에 대해 정의된 탐색영역(14) 안에서, 이 원호 형상 구조들(11)의 쌍의 2개의 원호 형상 구조들(11)을 연결하는 테두리들(16)의 쌍을 탐색하는 단계. 이것은 일반적으로 상기 Canny edge detection 알고리즘 또는 상기 Sobel edge detection 알고리즘과 같은, 테두리 감지 알고리즘 적용을 포함한다. 유리하게, 상기 이런 알고리즘의 적용은 정의된 탐색영역(14)로 제한되고, 상기 정의된 탐색영역(14)의 바깥에 위치한 구역들은 시간과 기억 용량들을 절약하기 위해 생략된다. 테두리 감지 알고리즘의 실시예는 이미 상기 이미지(9)에 대해 수행되었고, 예컨대 S2 단계에서, 이 알고리즘의 상기 결과들, 즉 상기 감지된 테두리들은, S6 단계에서 테두리들을 찾는데 재사용될 수 있다.
본 실시예에서는, 상기 원호 형상 구조들(11)의 쌍에 대해 정의된 상기 탐색영역(14)은 원호 형상 구조들(11)의 각각의 쌍의 두 중심점들(12)을 연결하는 곧은 연결 선(15)에 의해 서로가 분리된 2개의 하위영역들(13)을 포함하고, 상기 선(15)과 상기 하위영역(13) 사이의 거리는 대략 상기 원호 형상 구조들(11)의 반경들과 동일해진다.
도 4C는 이 원호 형상 구조들(11)의 쌍에 대해 정의된 탐색영역(14)의 2개의 하위영역들(13)을 보여준다. 이 실시예에서, 상기 하위영역들(13)은 원호 형상 구조들(11)의 각각의 쌍의 두 중심점들(12) 사이의 연결 선(15)를 따라 연장되는 것처럼 정의된다. 일반적으로 상기 하위영역들(13)은 직사각형의 박스들처럼 되어있다. 상기 하위영역들(13)은 상기 중심점들 및/또는 상기 반경들 사이의 거리에 따라 정의되고, 도 4C의 상기 일치하는 원호 형상 구조들(11)의 쌍의, 언급 표시와 같이 파선들로 표시된다. 특히, 그들의 길이는, 상기 연결 선(15)에 평행한 방향으로 측정되고, 그들의 너비는, 상기 연결 선(15)에 수직한 방향으로 측정되고, 및/또는 상기 두 하위영역들 사이의 거리는, 상기 연결선에 수직한 방향으로 측정되고, 상기 중심점들 사이의 거리에 따라 및/또는 상기 일치하는 원호 형상 구조들(11)의 쌍의 반경들 r에 따라 정의될 수 있다.
S7 단계에서, 각 탐색영역(14) 안의 테두리들(16)에 대한 상기 탐색 결과는 평가된다. 이것은, 감지된 원호 형상 구조들(11)의 쌍들 각 하나에 대하여, 상기 각각의 탐색영역(14)에서 테두리들(16)의 쌍이 찾아진 것인지, 확인하는 단계가 포함될 수 있다. 뿐만 아니라, 상기 평가는, 상기 찾아진 테두리들(16)의 쌍들 각각에 대하여, 상기 각각의 원호 형상 구조들(11)에 대해 정의된 상기 탐색영역(14)의 2개의 분리된 하위영역(13) 각 하나가 1개 또는 2개의 감지된 테두리들을 포함하고 있는지를 포함한다. 이것은 (굵은 파선으로 표시되는) 테두리들(16)의 쌍이 상기 탐색영역(14) 안에서 발견되고 각 하위영역들(13)은 이 쌍의 둘 중 하나의 테두리들을 포함하기 때문에, 도4C에 나타난 상기 이미지(9)에서의 유형이다.
S7 단계의 상기 평가는, 원호 형상 구조들(11)의 어느 쌍에 대해 발견된 테두리들(16)의 쌍들 각각에 대하여, 적어도 하나의 다음 단계들을 더 포함:
- 예를 들어, 상기 일치하는 원호 형상 구조들(11)의, 곡률 반경이 상기 반경들의 두 배보다 큰 것으로 정의되는, 상기 테두리들(16)이 상당히 곧은지를 평가하는 단계,
- 상기 두 테두리들(16)의 상기 길이가 상기 각각의 원호 형상 구조들의 쌍의 상기 중심점들(12) 사이의 거리와 대략 동일한지 평가하는 단계.
S7 단계의 상기 평가가 긍정적인 경우, 즉 원호 형상 구조들(11)의 쌍과 일치하는 테두리들(16)의 쌍이 발견된 경우, S8 단계는 수행된다. S8 단계에서, 이 테두리들(16)의 쌍과 이 원호 형상 구조들(11)의 쌍으로 둘러싸인 구역(18)은 타원형 구조(10)로 식별된다. 뿐만 아니라, (이미지에서 타원형으로 왜곡되어 나타나는) 원형 교통표지는 상기 구역(18)에 위치하는 이미지(9) 안에 존재하는 것으로 결정된다. 단계 8은 운전자에게 운전자 정보 유닛(6)에 의한 원형 교통표지의 감지에 대한 정보를 또한 제공한다.
S7 단계의 상기 평가가 부정적인 경우, S9 단계가 수행된다. 단계 9에서 (이미지에서 타원형으로 왜곡되어 나타나는) 원형 교통표지가 이미지(9) 안에 감지되지 않는 것으로 결정된다.
그러나 S5 단계에서 식별된 어느 원호 형상 구조들 쌍들도 일부가 아닌, 원호 형상 구조가 감지된 경우에, 이 호상 구조는 S10 단계에서 추가적으로 평가된다. S10 단계에서, 감지된 호상 구조와 일치하는 점 파라미터에서의 상기 누산기 값이 누산기의 매우 큰 특정 최대값와 일치하는지 평가된다, 예를 들어 상기 값이 상기 원호 형상 구조들(11)을 감지하는데 사용되는 상기 미리 정의된 임계 값인 미리 정의된 임계치를 초과하는지 평가함으로써 평가된다.
S10 단계의 상기 평가가 긍정적인 경우, S11 단계가 수행된다. S11 단계에서, 원형 교통 표지가 상기 감지된 완전한 원의 위치에서 이미지(9) 안에 존재하는 것으로 결정된다. 뿐만 아니라, 단계 11은 운전자에게 상기 운전자 정보 유닛(6)에 의한 원형 교통표지의 감지에 대한 정보를 제공하는 것을 포함한다.
S10 단계의 상기 평가가 부정적인 경우, S12 단계가 수행된다. 단계 12에서 이미지(9) 안에 감지된 원형 교통표지가 없는 것으로 결정한다.
뿐만 아니라, S8 및 S11 단계에서, 이미지 내의 상기 식별된 원형 또는 타원형 구역들은 그것들이 특정 유형의 교통표지와 일치하는지를 증명하기 위해 더 분석될 수 있다.
도 5A 및 5B는 그 본래의 원형 형상으로 나타나는, 원형 교통표지(17)의 이미지들을 보여준다. 도 5C 및 5D는 도 5A 및 5B에서 보인 것과 같이 몇몇 원형 교통표지(17)의 이미지들을 더 보여준다. 그러나, 이 이미지들에서, 상기 교통표지(17)는 타원형으로 왜곡되어 나타난다. 도 5B 및 5D는 (작은 화살표들로 표시된) 경사도 벡터들과 이미지들에 S1 내지 S4 단계 방법들이 적용된 후 얻은 중심점들(12)을 보여준다. 뿐만 아니라, 도 5D는 또한 S5 및 S6 단계 방법들이 적용된 후 수용된 (파선들로 표시된) 감지된 테두리들(16)의 쌍을 보여준다.
도 5B에서, 상기 원형 허프 누산기는 상기 원형 교통표지(17)의 상기 중심점(12)에서의 매우 큰 값과 함께 하나의 단일한 특정 최대값을 갖는다. 이것은 중심점(12) 주위의 완전한 원으로부터 상기 중심점(12)에 대해 투표하는 상기 이미지 점들에 대한 강력한 지시를 제공한다. 도 5D에서, 상기 원형 허프 변환은 도 5B의 상기 특정 최대값과 비교하여 상대적으로 낮은 값들을 가진 2개의 인접한 특정 최대값들을 갖는다. 이것과 별도로 감지된 테두리들(16)의 쌍은 이 이미지 내의 타원형 구조에 강력한 지시를 제공한다.
1 차량
2 카메라
3 운전자 지원 시스템
4 장치
5 정보 처리 유닛
6 운전자 정보 유닛
7 디스플레이
8 스피커
9 이미지
10 타원형 구조
11 원호 형상 구조
12 중심점
13 하위영역
14 탐색영역
15 연결 선
16 테두리
17 교통표지
18 구역

Claims (15)

  1. 다음 단계를 포함하는, 이미지(9) 내 타원형 구조들(elliptical structures, 10)을 감지하는 방법:
    - 각각의 원호 형상 구조(circular arc-shaped structure, 11)에 대한 반경(radius) 및 중심점(center point, 12)이 결정되는, 상기 이미지(9)의 원형 허프 변환(circle Hough transform, CHT)에 의해 상기 이미지(9) 내 원호 형상 구조들(11)을 감지하는 단계,
    - 대체적으로 동일한 반경들의 상기 2개의 감지된 원호 형상 구조들(11)로 이루어지는 원호 형상 구조들(11)의 쌍들을 식별하는 단계,
    - 상기 원호 형상 구조들(11)의 쌍들 각각에 대해, 원호 형상 구조들(11) 각각의 쌍의 중심점들(12)에 따라 이미지(9) 내 탐색영역(search area, 14)을 정의하는 단계,
    - 상기 원호 형상 구조들(11)의 쌍들 각각에 대하여, 상기 원호 형상 구조들(11)의 쌍에 대해 정의된 상기 탐색영역(14) 내에서, 이 원호 형상 구조들(11) 쌍의 상기 2개의 원호 형상 구조들(11)을 연결하는 테두리들(edges, 16)의 쌍에 대해 탐색하는 단계,
    - 원호 형상 구조들(11) 쌍의 상기 2개의 원호 형상 구조들(11)을 연결하는 테두리들(16)의 쌍이 발견되면, 이 테두리들(16)의 쌍 및 이 원호 형상 구조들(11)의 쌍으로 둘러싸인 구역(area, 18)을 타원형 구조(10)로 식별하는 단계.
  2. 제1항의 방법에 있어서, 상기 원호 형상 구조들(11)을 감지하는 단계는 다음 단계들을 포함:
    - 원형 허프 공간 파라미터(circle Hough parameter space)의 각 점 파라미터(parameter point)는 상기 이미지 내 원을 정의하고, 원형 허프 누산기(circle Hough accumulator)는 각 점 파라미터에 값을 할당하는, 상기 원형 허프 공간 파라미터와 상기 원형 허프 누산기를 정의하는 단계,
    - 상기 점 파라미터들에 의해 정의된 상기 원들의 하나 또는 그 이상에 대해 투표(vote)한 상기 이미지(9)의 이미지 점(image point)들을 식별하는 단계,
    - 상기 각각의 점 파라미터들에 의해 정의된 상기 원들에 대해 투표함으로써 식별되는 상기 이미지 점들의 개수에 따라 상기 원형 허프 누산기의 상기 값들이 증가하는 단계,
    - 상기 감지된 원호 형상 구조들(11)이 상기 감지된 점 파라미터들에 의해 표시되는, 상기 원형 허프 누산기가 미리 정의된 임계값(predefined threshold value)를 초과하거나 및/또는 특정 최대값(local maximum)을 가지는 상기 원형 허프 공간 파라미터 내의 점 파라미터들을 감지하는 단계.
  3. 제2항의 방법에서, 상기 식별된 어느 원호 형상 구조들(11)의 쌍들도 포함하지 않는 감지된 원호 형상 구조(11)는 이 감지된 원호 형상 구조(11)를 표시하는 상기 점 파라미터에서의 상기 원형 허프 누산기의 상기 값이 미리 정의된 임계치를 초과한다면 완전한 원형으로 식별되는, 상기 방법.
  4. 상기 선행 청구항들 중 하나의 방법에서, 상기 식별된 원호 형상 구조들(11)의 쌍들 각각에 대하여, 상기 원호 형상 구조들(11) 쌍의 상기 탐색영역(14)은 이 원호 형상 구조들(11) 쌍의 상기 두 중심점들(12)을 곧은 연결 선(connection line. 15)에 의해 서로가 분리되어 있는 2개의 하위영역(subarea, 13)으로 이루어지는, 상기 방법.
  5. 제4항의 방법에서, 상기 식별된 원호 형상 구조들(11)의 쌍들 각각에 대하여, 테두리들(16)의 쌍을 탐색하는 상기 단계는 이 원호 형상 구조들(11)의 쌍에 대해 정의된 각각의 상기 두 하위영역들(13)이 이 테두리들(16) 쌍의 상기 두 테두리들(16) 중 하나를 정확히 포함하는 테두리들(16)의 쌍 탐색으로 제한되는, 상기 방법.
  6. 상기 선행 청구항들 중 하나의 방법에서, 다음 단계를 포함하는 상기 방법:
    - 상기 이미지(9)의 상기 원형 허프 변환(CHT)을 계산하기 전에, 경사도 추출(gradient extraction)을 적용하여 및/또는 경사도들을 결정하기 위해 및/또는 상기 이미지(9) 내의 테두리들을 감지하기 위해 상기 이미지(9)에 테두리 감지 알고리즘(edge detection algorithm) 적용하여 상기 이미지(9)를 전처리하는 단계, 및
    - 상기 이미지(9)의 상기 원형 허프 변환(CHT)을 계산하기 위해 상기 전처리 단계의 결과를 이용하는 단계.
  7. 제6항의 방법에서, 상기 정의된 탐색영역들(14) 내의 테두리들(16)의 쌍들을 탐색하는 상기 단계는 다음을 포함하는 상기 방법:
    - 상기 이미지(9)의 상기 원형 허프 변환을 계산하기 전에 상기 이미지(9)에 적용된 상기 테두리 감지 알고리즘에 의해 감지된 상기 이미지(9)의 테두리들을 평가하는 단계.
  8. 상기 선행 청구항들 중 하나의 방법에서, 상기 테두리들(16)의 쌍들을 탐색하는 상기 단계는 상기 이미지(9)의 상기 원형 허프 변환을 계산한 후 상기 정의된 탐색영역들(14)에 오로지 테두리 감지 알고리즘 적용을 포함하는, 상기 방법.
  9. 상기 선행 청구항들 중 하나의 방법에서, 상기 식별된 원호 형상 구조들(11)의 쌍들 중 하나에서 찾아진 적어도 하나의 상기 테두리들의 쌍들(16)에 대하여, 다음 단계들 중 적어도 하나를 더 포함하는, 상기 방법:
    - 상기 테두리들(16)이 대체적으로 곧은지를 평가하는 단계,
    - 상기 원호 형상 구조들(11)의 각 쌍의 상기 중심점들(12) 사이의 거리와 상기 두 테두리들(16)의 상기 길이들을 비교하는 단계.
  10. 다음 단계들을 포함하는, 차량(1)의 운전자에게 지원을 제공하는 방법:
    - 적어도 하나의 카메라(2)에 의한 상기 차량(1) 주위의 이미지들(9)을 제작하는 단계,
    - 상기 선행 청구항들 중 하나에 따른 상기 방법에 의해 상기 이미지들(9) 내에서 타원형 구조들을 감지하는 단계,
    - 감지된 타원형 구조들에 관한 정보를 이용하여 원형 교통표지들을 식별하는 단계.
  11. 상기 제10항 중 하나의 방법에서, 상기 방법은 식별된 원형 교통표지들에 관한 정보를 운전자 정보 유닛(driver information unit)에 의해 운전자에게 제공하는 것을 더 포함하는, 상기 방법.
  12. 다음 단계들를 수행하도록 설정된 정보 처리 유닛(data processing unit, 5)를 포함하는, 이미지(9) 내에서 타원형 구조들을 감지하기 위한 장치(4):
    - 상기 이미지(9)의 원형 허프 변환(CHT), 각 원호 형상 구조에 대해 결정되는 반경 및 중심점(12)에 의해 상기 이미지(9) 내의 원호 형상 구조들(11)을 감지하는 단계,
    - 대체적으로 동일한 반경들의 상기 감지된 두 원호 형상 구조들(11)로 이루어지는 원호 형상 구조들(11)의 쌍들을 식별하는 단계,
    - 상기 원호 형상 구조들(11)의 각 쌍들에 대하여, 원호 형상 구조들(11) 각각의 쌍의 상기 중심점들(12)에 따른 상기 이미지(9) 내 탐색영역(14)을 정의하는 단계,
    - 상기 원호 형상 구조들(11)의 각 쌍들에 대하여, 상기 원호 형상 구조들(11) 쌍에 대해 정의된 상기 탐색영역(14) 내에서, 이 원호 형상 구조들(11) 쌍의 상기 두 원호 형상 구조들(11)을 연결하는 테두리들(16) 쌍을 탐색하는 단계,
    - 원호 형상 구조들(11) 쌍의 상기 두 원호 형상 구조들(11)을 연결하는 테두리들(16) 쌍이 발견되면, 이 테두리들(16) 쌍과 이 원호 형상 구조들(11) 쌍으로 둘러싸인 구역(18)을 타원형 구조(10)로 식별하는 단계.
  13. 제12항의 상기 장치(4)에 있어서, 제1항 내지 제10항 중 어느 한 항에 따른 상기 방법의 상기 단계들을 수행하도록 설정되는 상기 장치(4)의 상기 정보 처리 유닛(5).
  14. 다음을 포함하는, 운전자 지원 시스템(driver assistance system, 3):
    - 차량(1) 주위의 이미지들(9)을 제작하기 위한 적어도 하나의 카메라(2),
    - 제12항 및 제13항 중 어느 한 항에 따른 장치(4)에서, 상기 카메라(2)로부터 상기 이미지들(9)을 받기 위한 적어도 하나의 상기 카메라(2)와 연결된 상기 장치(4)의 상기 정보 처리 유닛(5),
    - 상기 운전자에게 식별된 원형 교통표지들(17) 정보를 제공하도록 설정되고, 상기 정보 처리 유닛(5)과 연결된 운전자 정보 유닛(6).
  15. 상기 차량(1) 주위의 이미지들(9)을 제작하기 위해 적어도 하나의 상기 카메라(2)가 상기 차량(1)에 설치된, 제14항의 운전자 지원 시스템(3)을 포함하는 차량(1).
KR1020160036633A 2015-03-26 2016-03-28 이미지 내 타원형 구조들을 감지하기 위한 방법 및 장치 KR101822909B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015205505.1A DE102015205505A1 (de) 2015-03-26 2015-03-26 Verfahren und Vorrichtung zum Detektieren elliptischer Strukturen in einem Bild
DE102015205505.1 2015-03-26

Publications (2)

Publication Number Publication Date
KR20160115853A true KR20160115853A (ko) 2016-10-06
KR101822909B1 KR101822909B1 (ko) 2018-01-29

Family

ID=56890159

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160036633A KR101822909B1 (ko) 2015-03-26 2016-03-28 이미지 내 타원형 구조들을 감지하기 위한 방법 및 장치

Country Status (3)

Country Link
US (1) US10013619B2 (ko)
KR (1) KR101822909B1 (ko)
DE (1) DE102015205505A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190037043A (ko) * 2017-09-28 2019-04-05 최일 원형(圓形) 허프(Hough) 변환을 이용한 원형물체 검출 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205693A1 (en) * 2017-12-28 2019-07-04 MorphoTrak, LLC Scale-Invariant Feature Point Extraction in Edge Map
CN111652894B (zh) * 2020-04-27 2023-11-14 中国人民解放军火箭军工程大学 一种面向飞行器的环形目标自适应检测方法
CN113012181B (zh) * 2021-03-18 2023-09-19 上海应用技术大学 一种基于Hough变换的新型类圆形检测方法
CN116402784A (zh) * 2023-03-29 2023-07-07 湖北工业大学 基于机器视觉的辅助对中方法、系统、设备及存储介质
CN117132655B (zh) * 2023-10-25 2024-01-26 江苏金旺智能科技有限公司 基于机器视觉的灌装桶口位置测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4618989A (en) 1983-01-21 1986-10-21 Michio Kawata, Director-General of Agency of Industrial Science and Technology Method and system for detecting elliptical objects
US8170340B2 (en) 2006-12-18 2012-05-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, method and computer program for identifying a traffic sign in an image
WO2013052818A1 (en) 2011-10-06 2013-04-11 Massachusetts Institute Of Technology Coherent transmission from distributed wireless transmitters

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006062061B4 (de) * 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
WO2009071106A1 (en) * 2007-12-05 2009-06-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Image analysis method, image analysis system and uses thereof
WO2013052812A1 (en) 2011-10-05 2013-04-11 Siemens Healthcare Diagnostics Inc. Generalized fast radial symmetry transform for ellipse detection
WO2013082812A1 (zh) * 2011-12-09 2013-06-13 华为技术有限公司 确定主时钟设备的方法、设备、其他方法、设备与系统
US9053389B2 (en) * 2012-12-03 2015-06-09 Analog Devices, Inc. Hough transform for circles
US9646221B2 (en) * 2013-07-24 2017-05-09 Nec Corporation Image recognition apparatus and storage medium
JP5961207B2 (ja) * 2014-03-28 2016-08-02 富士重工業株式会社 車外環境認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4618989A (en) 1983-01-21 1986-10-21 Michio Kawata, Director-General of Agency of Industrial Science and Technology Method and system for detecting elliptical objects
US8170340B2 (en) 2006-12-18 2012-05-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, method and computer program for identifying a traffic sign in an image
WO2013052818A1 (en) 2011-10-06 2013-04-11 Massachusetts Institute Of Technology Coherent transmission from distributed wireless transmitters

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190037043A (ko) * 2017-09-28 2019-04-05 최일 원형(圓形) 허프(Hough) 변환을 이용한 원형물체 검출 방법

Also Published As

Publication number Publication date
US10013619B2 (en) 2018-07-03
US20160283806A1 (en) 2016-09-29
KR101822909B1 (ko) 2018-01-29
DE102015205505A1 (de) 2016-09-29

Similar Documents

Publication Publication Date Title
KR101822909B1 (ko) 이미지 내 타원형 구조들을 감지하기 위한 방법 및 장치
US9269001B2 (en) Illumination invariant and robust apparatus and method for detecting and recognizing various traffic signs
JP6347827B2 (ja) 車線境界線を検出する方法、装置、およびデバイス
US10025998B1 (en) Object detection using candidate object alignment
US9953229B2 (en) Traffic light detection
US8099213B2 (en) Road-edge detection
CN107392139B (zh) 一种基于霍夫变换的车道线检测方法及终端设备
US20180181796A1 (en) Image processing method and apparatus
CN111047615B (zh) 基于图像的直线检测方法、装置以及电子设备
US20170124710A1 (en) Automatic feature point detection for calibration of multi-camera systems
CN111080661A (zh) 基于图像的直线检测方法、装置以及电子设备
JP2009048629A (ja) 検出方法
JP2009175802A (ja) 物体検出装置
CN112598922A (zh) 车位检测方法、装置、设备及存储介质
US9519060B2 (en) Methods and systems for vehicle classification from laser scans using global alignment
CN109558765B (zh) 汽车及车道线的检测方法、装置
US9600894B2 (en) Image processing apparatus and computer-readable storage medium
KR101236223B1 (ko) 차선 검출 방법
CN108090425B (zh) 一种车道线检测方法、装置及终端
Pan et al. An efficient method for skew correction of license plate
CN113744200B (zh) 一种摄像头脏污检测方法、装置及设备
KR101714131B1 (ko) 주차구획 인식 장치 및 방법
US11138447B2 (en) Method for detecting raised pavement markers, computer program product and camera system for a vehicle
US10664997B1 (en) Method, camera system, computer program product and computer-readable medium for camera misalignment detection
CN108470144B (zh) 一种基于曲线分段的汽车方向盘检测方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant