KR101667835B1 - 수직 대칭을 이용한 대상물 위치 지정 - Google Patents

수직 대칭을 이용한 대상물 위치 지정 Download PDF

Info

Publication number
KR101667835B1
KR101667835B1 KR1020130149827A KR20130149827A KR101667835B1 KR 101667835 B1 KR101667835 B1 KR 101667835B1 KR 1020130149827 A KR1020130149827 A KR 1020130149827A KR 20130149827 A KR20130149827 A KR 20130149827A KR 101667835 B1 KR101667835 B1 KR 101667835B1
Authority
KR
South Korea
Prior art keywords
pixel values
binary
bins
map
image
Prior art date
Application number
KR1020130149827A
Other languages
English (en)
Other versions
KR20140074219A (ko
Inventor
벤카테산 크리시나무어티
Original Assignee
아나로그 디바이시즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아나로그 디바이시즈 인코포레이티드 filed Critical 아나로그 디바이시즈 인코포레이티드
Publication of KR20140074219A publication Critical patent/KR20140074219A/ko
Application granted granted Critical
Publication of KR101667835B1 publication Critical patent/KR101667835B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

이미지 내의 대칭 대상물은, (a) 취득한 이미지의 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하고; (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈으로 분할하고; (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하고; 및 (d) 상기 빈들 내의 합산된 이진법 픽셀 값들에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별함으로써 식별된다.

Description

수직 대칭을 이용한 대상물 위치 지정{OBJECT LOCALIZATION USING VERTICAL SYMMETRY}
관련 출원에 대한 교차 참조
본 출원은 2012년 12월 7일자로 출원된 미국 가출원 번호 제61/734,572호에 대해 우선권 주장하고, 그의 이득들을 주장하며, 이 출원의 전체 개시내용은 이로써 참고로 포함된다.
발명 분야
본 발명은 일반적으로 이미지 프로세싱에 관한 것이고, 더욱 구체적으로, 카메라로 기록된 디지털 이미지들 내의 대상물들을 위치 지정(locating)하는 것에 관한 것이다.
충돌 방지 시스템들과 같은 지능형 교통 시스템들(intelligent transportation systems)은 안전성을 증가시키고 및/또는 차 사고를 감소시키기 위해 자동차 운전자들에게 다양한 수준의 경고를 제공한다. 차량의 이동 경로, 다른 차량들의 위치, 및/또는 주변 환경에 관한 정보를 모으기 위하여 다양한 기술들이 개발되었다. 예를 들어, 시각 기반 보행자 검출 시스템들은 보행자들을 차량과 보행자들 사이의 거리 또는 보행자들과의 충돌을 피하는 데 요구되는 속도 감소를 운전자들에게 알려주기 위하여 보행자 위치들을 결정한다. 사실상, 상대적으로 인구밀도가 높은 환경들(예를 들어, 도시지역)에서 광범위한 보행자 부상으로 인해, 차량의 경로에서 보행자들의 존재를 검출하고 운전자에게 경고할 수 있는 시스템들이 충돌 방지 시스템들에 포함되었다. 통상적인 보행자 검출 시스템에서, 차량 앞에 있는 카메라가 주변 환경의 이미지들을 캡처하고 이미지 프로세싱 소프트웨어가 그 이미지들 내의 보행자들을 식별한다.
취득한 이미지 내의 보행자들을 검출하기 위하여 다양한 접근법들이 이용되었다. 예를 들어, 하나의 접근법은 일련의 이미지들 상에 보행 중이거나 달리는 사람의 주기적인 모션 특성을 검출함으로써 보행자들을 식별하는데, 복수의 이미지들이 분석되어야 하기 때문에 프로세스가 느리다. 다른 접근법은 텍스처 정보(texture information; 예를 들어, 이미지 구조들)의 통합, 템플릿 매칭(template matching), 및 "역 원근법 맵핑(inverse perspective mapping)"(IPM)을 활용하여 보행자들을 인식한다. 이들 접근법들은 보행자들을 식별하고 추적함에 있어서 강건성(robustness)을 제공할 수 있지만, 예를 들어, (거리 공간(metric space)의 2개의 서브세트가 서로 얼마나 떨어져 있는지를 측정하는) 하우스도르프(Hausdorff) 거리에 기초한 템플릿 매칭을 위한 인간 보행 모델(human walking model)에 대한 템플릿에 의존한다. 상이한 보행 스타일을 갖는 보행자들을 검출하기 위하여, 2개 이상의 보행 모델이 필요할 수 있다. "형상 기반" 시스템들은 이미지 내의 다양한 대상물의 형상들 사이에 인간 형상을 식별하려고 시도한다. 형상 기반 접근법은 통상적으로 트레이닝 이미지들의 세트에서 다양한 다른 형상들 사이에 인간 형상을 인식하기 위해 트레이닝될 수 있는 분류기를 포함한다. 이러한 트레이닝 프로세스는 특히 이미지 품질이 좋지 않은 경우(예를 들어, 낮은 콘트라스트로 인해), 시간 소모적이고 및/또는 난해할 수 있다. 보행자들을 검출하고 위치 지정하기 위해 소위 "신경 회로망(neural net)"도 제안되었다. 이 접근법들 중 임의의 것은 일정 수준이 가능하게 이용될 수 있지만, 그것들은 효율적으로 동작하기 위해 통상 집약적 계산을 수반하고, 따라서 과도한 프로세싱 시간 및/또는 고성능 프로세싱 시스템들을 요구한다. 이것은 실시간 보행자 검출에 있어서 상당한 지연을 야기하고 안전상 위험 요소들(safety hazards)로 이어질 수 있다.
따라서, 저비용 프로세싱 시스템을 이용하는 차량 내에 이용될 수 있는 보행자 검출에 대한 빠른 접근법이 필요하다.
다양한 실시예들에서, 본 발명은 수직 대칭에 적어도 부분적으로 기초하여 이미지 내의 보행자들을 개략적이지만 신속하게 검출하기 위한 시스템들 및 방법들에 관한 것이다. 여기에 설명된 접근법들은 값비싼 시스템 요건들이 필요 없이 실시간 보행자 정보를 제공한다. 다양한 실시예들에서, 취득한 이미지는 먼저 종래의 접근법을 이용하여 에지 맵으로 변환되고; 다음으로 변환된 에지 맵은 이진법 픽셀 값들을 갖는 이진법 이미지 맵으로 변환된다. 이진법 이미지 맵의 복잡도에 기초하여 결정된 스캐닝 윈도우는 이진법 이미지 맵에 걸쳐서 이동된다. 각각의 위치에서, 스캐닝 윈도우 내의 이진법 이미지 맵은 복수의 수평 또는 수직 빈(bin)들로 분할되고, 각각의 빈 내의 이진법 픽셀 값들이 합산된다. 그 다음에, 보행자들의 위치들이 빈들 내의 합산된 이진법 픽셀 값들에 기초하여 식별될 수 있다. 일 실시예에서, 스캐닝 윈도우의 중심으로부터 등거리에 있는 2개의 수평 또는 수직 빈이 서로 쌍을 이루고, 주어진 쌍의 각각의 빈 내의 합산된 이진법 픽셀 값이 미리 결정된 임계값 위에 있으면, 이 빈들의 쌍에 보행자의 이미지가 위치할 가능성이 있다. 임계값 위의 합산된 이진법 픽셀 값들을 갖는 빈 쌍들의 개수가 많다는 것은 스캐닝 윈도우에서 보행자를 검출할 가능성이 더 높다는 것을 나타낸다.
다른 실시예에서, 쌍 내의 빈들의 이진법 픽셀 값들은 또한 서로 합산된다. 쌍의 합산된 값이 제2 미리 결정된 임계값보다 크면, 그것은 보행자 존재의 가능성을 나타낸다. 또한, 제2 임계값 위의 합산된 이진법 픽셀 값들을 갖는 빈들의 쌍의 개수가 많다는 것은 스캐닝 윈도우 내의 보행자 존재의 가능성이 더 높다는 것을 나타낸다. 본 발명의 실시예들은 스캐닝 윈도우 내의 적은 개수의 빈들에 대해 간단한 계산, 예를 들어, 합산을 활용하기 때문에, 보행자 위치들에 관한 실시간 정보가 신속하게 최소의 계산 복잡도로 획득될 수 있다. 부가적으로, 이러한 접근법은 다른 접근법(들)의 프로세싱에 있어 검출 포인트들의 개수를 줄이도록 다른 보행자 검출 접근법들과 통합될 때 제1 패스(pass)로서 이용될 수 있으므로, 더욱 상세하고 정확한 보행자 위치들을 신속하게 획득할 수 있다.
따라서, 일 양태에서, 본 발명은 에지 맵으로서 표현된 이미지에서 대칭 대상물을 식별하기 위한 방법에 관한 것이다. 이 방법은, (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하는 단계; (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈으로 분할하는 단계; (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하는 단계; 및 (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하는 단계를 포함한다. 다양한 실시예들에서, 스캐닝 윈도우는 이진법 이미지 맵 내의 상이한 위치로 이동되고, 단계들 (b), (c) 및 (d)가 각각의 위치에서 반복된다. 스캐닝 윈도우의 치수들은 대상물의 사이즈에 기초하여 결정될 수 있다.
일 구현에서, 상기 에지 맵을 이진법 이미지 맵으로 변환하는 단계는 상기 에지 맵 내의 각각의 픽셀 값을 에지 맵 내의 픽셀 값들에 적어도 부분적으로 기초하여 미리 결정되는 임계값과 비교하는 단계를 포함한다. 일부 실시예들에서, 상기 대칭 대상물을 식별하는 단계는 합산된 이진법 픽셀 값들을 제2 임계값과 비교하는 단계를 포함한다. 제2 임계값은 미리 결정되거나 또는 이미지에 기초하여 동적으로 계산될 수 있다. 예를 들어, 제2 임계값은 수학식
Figure 112013110999872-pat00001
을 만족하고, 여기서, THa는 제2 임계값 위의 값들을 갖는 픽셀들의 개수의 함수이고, THb는 각각의 빈 내의 픽셀들의 개수의 퍼센티지를 나타내고, Max는 THa 또는 THb 중 더 큰 값을 리턴하는 함수이다.
상기 방법은 상기 스캐닝 윈도우에서 대칭적인 위치들을 갖는 2개의 수평 또는 수직 빈들의 합산된 이진법 픽셀 값들을 비교하는 단계를 포함할 수 있다. 일 실시예에서, 상기 방법은 상기 스캐닝 윈도우에서 대칭적인 위치들을 갖는 2개의 수평 또는 수직 빈들의 합산된 이진법 픽셀 값들을 합산하는 단계를 더 포함할 수 있다. 상기 대칭 대상물은 상기 2개의 빈의 합산된 이진법 픽셀 값들을 제3 임계값과 비교함으로써 식별된다. 복수의 빈은 중첩하거나 또는 중첩하지 않을 수 있다. 일 실시예에서, 복수의 빈은 동일한 개수의 이진법 픽셀들을 포함한다. 수평 및 수직 빈들의 개수들은 수학식
Figure 112013110999872-pat00002
을 만족하고, 여기서, Bh 및 Bv는 각각 스캐닝 윈도우 내의 수평 및 수직 빈들의 개수를 나타내고, N 및 M은 각각 스캐닝 윈도우의 이진법 픽셀들의 수평 및 수직 개수들이고, n 및 m은 각각, 각 빈 내의 이진법 픽셀들의 수평 및 수직 개수들이다. 다양한 실시예들에서, 각각의 빈은 복수의 서브 빈으로 더 분할되고, 대칭 대상물은 서브 빈들 내의 합산된 이진법 픽셀 값들에 적어도 부분적으로 기초하여 결정된다.
제2 양태에서, 본 발명은 이미지에서 대칭 대상물을 식별하기 위한 시스템에 관한 것이다. 시스템은 이미지의 에지 맵을 저장하기 위한 컴퓨터 메모리 및 컴퓨터 프로세서를 포함하고, 상기 컴퓨터 프로세서는, (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하고; (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈으로 분할하고; (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하고; 및 (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하도록 구성된다. 다양한 실시예들에서, 상기 이진법 이미지 맵은 상기 컴퓨터 메모리에 저장된다. 상기 프로세서(예를 들어, 디지털 신호 프로세서)는 또한 상기 스캐닝 윈도우에서 대칭적인 위치들을 갖는 2개의 수평 또는 수직 빈들의 합산된 이진법 픽셀 값들의 합을 계산하도록 구성될 수 있다.
본 명세서에서 이용되는 바와 같이, 용어 "보행자"는 임의의 방향(예를 들어, 차량)에서 대칭적인 사람 또는 임의의 대상물을 광범위하게 가리키고; 용어 "실질적으로"는 (예를 들어, 거리 또는 각도에 의해) ±10%, 및 일부 실시예들에서, ±5%를 의미한다. 본 명세서 전체에 걸쳐서 "일 예", "예", "일 실시예", 또는 "실시예"에 대한 참조는, 그 예와 관련되어 설명된 특정 특징, 구조, 또는 특성이 본 기술의 적어도 하나의 예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전체에 걸쳐서 다양한 곳에서 "일 예에서", "예에서", 일 실시예", 또는 "실시예"라는 구절의 존재는 반드시 모두 동일한 예를 가리키는 것은 아니다. 또한, 특정 특징들, 구조들, 루틴들, 단계들, 또는 특성들은 기술의 하나 이상의 예에서 임의의 적절한 방식으로 결합될 수 있다. 본 명세서에 제공된 제목들은 단지 편의를 위한 것이고, 청구된 기술의 범위 또는 의미를 한정하거나 해석하도록 의도되지 않는다.
본 명세서에 개시된 본 발명의 이점들 및 특징들과 함께, 이들 및 다른 목적들은 다음의 설명, 첨부 도면들, 및 청구항들을 참조하여 더욱 명백해질 것이다. 또한, 본 명세서에 설명된 다양한 실시예들의 특징들은 상호 배타적이지 않고, 다양한 결합들 및 치환들에 존재할 수 있다는 것이 이해될 것이다.
다음의 설명에서, 본 발명의 다양한 실시예들은 다음의 도면들을 참조하여 설명된다.
도 1은 예시적인 차도 장면을 개략적으로 예시한다.
도 2는 본 발명의 실시예에 따른 이미지에서 보행자를 검출하기 위한 시스템을 도시한다.
도 3a는 취득한 이미지로부터 변환된 에지 맵이다.
도 3b는 본 발명의 실시예에 따른 에지 맵으로부터 변환된 이진법 이미지 맵 및 그 위에 이동된 스캐닝 윈도우이다.
도 4a 및 도 4b는 본 발명의 실시예에 따라, 스캐닝 윈도우 내에서 수평 및 수직으로 각각, 이진법 이미지 맵을 복수의 빈들로 분할하는 것을 예시한다.
도 5a는 보행자를 포함하는 예시적인 이미지를 도시한다.
도 5b는 본 발명의 실시예에 따라 복수의 수평 부분들로 분할된 스캐닝 윈도우를 도시한다.
도 5c는 상이한 검출 기준을 갖는 다양한 접근법들의 검출 비율 및 오검출 비율들을 도시한다.
도 6은 본 발명의 실시예에 따른 이미지에서 보행자를 검출하기 위한 방법을 도시하는 흐름도이다.
도 1은 보행자(114)가 도로를 건너고 있는 차도(112)에 운행중인 차량(110)을 예시한다. 이미지 취득 장치(116), 예를 들어, 디지털 카메라가 차량(110)에 장착되어 보행자(114)가 이미지 장치(116)의 가시 영역(viewing area)에 위치한다. 도 2는 도 1에 도시된 것과 같은 차도 이미지에서 보행자들을 검출하기 위한 보행자 검출 시스템(200)의 일 실시예를 도시한다. 이미지 취득 장치(210)는 캡처된 이미지를 네트워크 링크(212)를 통해 메인 프로세서(214)에 전달하는데; 이미지는 장치(210)에 의해 (예를 들어, 주기적인 간격으로) 자동으로 또는 프로세서(214)의 명령에 응답하여 전송될 수 있다. 네트워크 링크(212)는 버스(bus) 접속, 이더넷(Ethernet), USB, 또는 임의의 다른 타입의 유선 또는 무선 네트워크 링크일 수 있다. 이미지 취득 장치(210)는 하나 이상의 정지 이미지 카메라들, 비디오 카메라들, 또는 임의의 다른 장치 또는 이미지를 캡처할 수 있는 장치들일 수 있다. 수신된 이미지는 일련의 픽셀 값들로서 로컬 메모리(216) 및/또는 메인 메모리(218)에 저장될 수 있고 프로세서(214)로 인출될 수 있다. 아래 더 상세히 설명되는 바와 같이, 프로세서(214)는 그 다음에 보행자들을 식별하고, 사용자 인터페이스(220)(예를 들어, 와이파이 링크) 및/또는 알람과 같은, 출력 디바이스(222)를 통해 차량 운전자와 통신한다.
로컬 메모리(216)는 메인 프로세서(214) 외부 또는 내부, 예를 들어, 메인 비휘발성 메모리 또는 프로세서 캐시의 파티션 내에 물리적으로 배치될 수 있다. 메인 프로세서(214)는 컴퓨터, 모바일 장치, 내비게이션 시스템, 또는 임의의 다른 타입의 컴퓨팅 시스템의 부분으로서 구현될 수 있다. 사용자 인터페이스(220)는 사용자에게 결과들을 출력 및 표시하고 및/또는 사용자로부터 명령들 및/또는 파라미터들과 같은 요구들을 수신할 수 있다. 출력 디바이스(222)는 예를 들어, 보행자가 차량에 너무 가까이 있을 때 사용자에게 오디오 또는 비주얼 경보를 제공할 수 있다. 일 실시예에서, 프로세서(214)는 차량의 스티어링 시스템(steering system)에 접속한다. 차량이 검출된 보행자에 너무 가까이 있을 때, 프로세서(214)는 스티어링 시스템으로 하여금 차량을 보행자로부터 멀어지도록 강제로 조정한다. 자동 구동 시스템이 활성화되면, 스티어링 시스템은 차량의 위치를 검출된 보행자로부터 멀리 유지한다. 검출된 위험 요소들에 응답하여 운전자 경고로부터 자동 동작까지의 범위에서 규칙적으로 실행하도록 구성된 자동차 시스템들이 이 기술분야에 공지되어 있다.
도 3a를 참조하면, 다양한 실시예들에서, 보행자를 포함하는 이미지를 수신시, 보행자 검출기가 수신된 이미지를 스캔한다. 종래의 오퍼레이터, 예를 들어, 로버츠(Roberts), 프리윗(Prewitt), 또는 소벨(Sobel) 오퍼레이터를 이용하여, 예를 들어, 이미지 내의 2개의 상이한 영역 사이의 경계에 대응하는 그레이스케일 레벨들에서 그림에 있는 의미 있는 불연속들(pictorially meaningful discontinuities)을 식별하는 에지 맵(예를 들어, 300으로 표시된 대표적인 예)이 발생된다. 예시된 에지 맵(300)은 보행자가 서 있는 위치들에 대응하는 포인트들(312)에서 더 높은 값들을 갖는다. 예를 들어, 차도면은 더 어두운 색의 아스팔트 또는 콘크리트일 수 있고, 보행자는 더 밝은 색의 옷을 입고 있을 수 있으며, 보행자의 더 밝은 색상들은 에지 맵(300)에서 더 큰 값들을 생성한다.
도 3b를 참조하면, 일부 실시예들에서, 에지 맵은 거기에 임계값 TH0을 적용하여 이진법 이미지 맵(320)으로 변환된다. 임계값보다 크거나 같은 값들을 갖는 에지 픽셀들은 "1"로 표시되고, 임계값 아래의 값들을 갖는 에지 픽셀들은 "0"으로 표시된다. 예를 들어, 임계값은 2로 설정되고, 도 3a에서 2보다 크거나 같은 값들을 갖는 에지 픽셀들은 도 3b에서 "1"로 표시되고, 2보다 작은 값들을 갖는 에지 픽셀들은 "0"으로 표시된다. 그러나, 할당된 이진법 픽셀 값들은 "0" 및 "1"로 한정되지 않으며, 임계값 위 및 아래의 에지 픽셀 값들을 각각 나타내는 임의의 수들이 본 발명의 범위 내에 있다는 것이 이해되어야 한다. 임계값 TH0은 특정 이미지에 대해 계산되거나 미리 결정(예를 들어, 고정된 값)될 수 있다. 예를 들어, 임계값은 선택된 시간 프레임 내에서 이전에 취한 이미지들 및/또는 현재 이미지에 기초하여 결정될 수 있다. 또한, 임계값은 취득한 이미지의 품질 및 밝기를 반영하도록 적응하여 조정될 수 있다. 예를 들어, 임계값은 이미지가 어둑한 달밤에 취해지면 낮은 값으로 또는 이미지가 밝은 햇빛에서 취해지면(또는 다른 방법으로 과노출되면) 높은 값으로 설정될 수 있다. 그러나, 너무 낮은 임계값은 거짓 양성(false positives)을 야기할 수 있고, 과도하게 높은 임계값은 이미지에서의 보행자들의 검출 에러를 초래할 수 있다. 그러나, 본 발명은 임계값들의 임의의 특정 값(또는 수)으로 한정되지 않고, 임계값들은 본 발명이 유용하게 동작하기 위해 정확하게 선택되어야 하는 것도 아니며; 주어진 이미지에 적절한 임의의 임계값들이 본 발명의 범위 내에 있다.
통상적으로 이진법 이미지 맵(320)의 사이즈보다 작은 사이즈를 갖는 스캐닝 윈도우(330)가 정의되어 거기에 적용될 수 있다. 스캐닝 윈도우(330) 내의 이진법 픽셀 값들을 분석 및 활용하여 보행자가 이미지에 존재할 가능성을 결정할 수 있다. 스캐닝 윈도우(330)는 전체 이진법 이미지 맵(320) 또는 오직 그의 일부분(예를 들어, 관심 영역, ROI)에 걸쳐서 이동될 수 있고; 스캐닝 윈도우(330)를 "이동"한다는 것은 윈도우에 사이즈가 대응하는 (그리고 중첩하거나 중첩하지 않을 수 있는) 이미지의 상이한 영역들이 개별적으로 및 순차적으로 분석된다는 것을 의미하므로, 그 효과는 윈도우가 이미지의 전체 또는 일부분에 대해 변환된 것과 같다.
스캐닝 윈도우(330)는 N×M 이진법 픽셀들을 포함할 수 있고, N 및 M은 각각 수평 및 수직 방향의 픽셀들의 개수이고, N 및 M은 동일하거나 상이할 수 있으며, 일반적으로 0<N<이미지 길이 및 0<M<이미지 높이이다. 스캐닝 윈도우의 치수들은 대상물 또는 보행자의 사이즈에 기초하여 조정될 수 있다. 일 실시예에서, 스캐닝 윈도우(330)는 매회 수평으로 N 픽셀 및/또는 수직으로 M 픽셀보다 적게 움직이므로, 스캐닝 윈도우(330)는 분석 중에 중첩되며, 복수의 중첩된 스캐닝 윈도우들 내의 보행자들의 검출은 보행자의 이미지가 사실상 중첩 영역에 위치할 가능성이 높다는 것을 나타낸다. 다른 실시예에서, 분석되는 스캐닝 윈도우들의 개수를 줄이고, 그에 의해 프로세싱 시간을 줄이기 위해 스캐닝 윈도우(330)는 수평으로 N 픽셀 및/또는 수직으로 M 픽셀보다 더 큰 거리를 움직인다 - 즉, 이미지의 순차적으로 분석된 영역들 사이에 픽셀 중첩이 없게 된다.
도 4a 및 도 4b를 참조하면, 다양한 실시예들에서, 스캐닝 윈도우(330)는 다음 수학식을 만족하는 Bh 수평 빈(bin)들 또는 Bv 수직 빈(bin)들로 분할되며,
Figure 112013110999872-pat00003
여기서, n 및 m은 각각의 빈에서 각각 이진법 픽셀들의 수평 및 수직 개수들이고; 각각의 수평 빈은 N×m 이진법 픽셀들을 포함하고, 각각의 수직 빈은 n×M 이진법 픽셀들을 포함한다. 각각의 빈은 다른 빈들과 중첩할 수 있거나 중첩하지 않을 수 있다. 각각의 빈에서의 이진법 픽셀 값들은 그 다음에 함께 합산된다(예를 들어, Sum(B1), Sum(Bh), 또는 Sum(Bv)). 스캐닝 윈도우(430)에서 수평으로 또는 수직으로 대칭인 위치들을 갖는 - 즉, 스캐닝 윈도우(430)의 중심으로부터 수평으로 또는 수직으로 등거리에 있는 - 2개의 빈이 쌍을 이룬다. 예를 들어, 빈들(410과 412, 414와 416, 418과 420, 및 422와 424) 각각은 수평으로 또는 수직으로 대칭인 위치들을 갖는 빈들의 쌍을 나타낸다. 빈들의 각각의 쌍에서의 합산된 이진법 픽셀 값들은 보행자 위치를 식별하기 위해 분석된다. 쌍(예를 들어, 쌍(418과 420, 또는 422와 424)) 내의 두 빈들의 합산된 이진법 픽셀 값들이 임계값 TH1 위에 있으면, 이 빈들에서의 보행자 존재의 가능성(그 레벨은 임계값에 의해 설정됨)이 있다. 이러한 조건은 다음과 같이 표현될 수 있다.
Sum(B1)> TH1 및 Sum(Bv)>TH1 또는
Sum(B2)> TH1 및 Sum(Bv -1)>TH1
빈들의 각각의 쌍에 대한 임계값 TH1은 상이할 수 있다. 임계값 위의 이진법 픽셀 값들을 갖는 빈 쌍들이 많다는 것은, 이 빈들에 보행자가 위치할 가능성이 더 높다는 것을 나타낸다. 일 실시예에서, Bh 및 Bv는 스캐닝 윈도우 내의 모든 이진법 픽셀이 분석되도록 짝수들이다. 임계값 TH1은 고정된 값 또는 취득한 이미지에 기초하여 동적으로 계산되는 변수일 수 있다. 스캐닝 윈도우 내의 이진법 이미지가 임계값 TH0 위의 픽셀 값들의 개수가 매우 적은 경우, 임계값 TH1이 너무 낮게 설정되어 검출 에러를 제공하는 것일 수도 있다. 이러한 상황을 피하기 위하여, TH1은
Figure 112013110999872-pat00004
에 의해 정의될 수 있고,
여기서, THa는 임계값 TH0 위의 값들을 갖는 픽셀들의 개수의 함수이고(예를 들어,
Figure 112013110999872-pat00005
; b(i,j)는 스캐닝 윈도우의 이진법 이미지임); THb는 각각의 빈 내의 픽셀들의 개수의 퍼센티지 P를 나타내며(예를 들어,
Figure 112013110999872-pat00006
); Max 함수는 THa 또는 THb 중 더 큰 값을 리턴한다. 임계값 TH0 위의 픽셀 값들이 충분히 존재하면, THa>THb이고, 따라서, TH1=THa이다. 그러나, 임계값 TH0 위의 픽셀 값들의 개수가 적으면, THb>THa이고, 따라서, TH1=THb이다. 이러한 접근법은 이진법 이미지가 어둡거나 TH0이 너무 높게 설정될 때 검출 에러를 회피한다.
도 5a는 전술한 접근법을 이용하여 보행자가 검출될 수 있는 예시적인 이미지를 도시한다. 스캐닝 윈도우가 8개의 수직 빈으로 분할된다. 빈(3) 및 빈(4)가 각각 임계값 TH0 위의 값들을 갖는 충분한 개수의 픽셀들을 갖기 때문에, 두 빈에 대한 합산된 이진법 픽셀 값들은 임계값 TH1보다 크고; 이에 의해 보행자가 위치 지정(localize)될 수 있다. 취득한 이미지에서 보행자들의 다양한 사이즈들에 적절하기 위하여, 스캐닝 윈도우의 사이즈가 수정될 수도 있다.
보행자의 높이가 서 있는 어른의 높이보다 낮은 경우(예를 들어, 보행자가 아이이거나, 휠체어에 앉아 있거나, 굽힌 자세로 있음), 임계값 TH1이 적절하게 감소할 수도 있다. 임계값 TH1의 감소로부터 생기는 검출 에러를 피하기 위하여, 스캐닝 윈도우는 도 5b에 도시된 바와 같이, 복수의 수평 부분들로 더 분할될 수 있다. 다음으로 전술한 바와 동일한 접근법이 각각의 수평 부분에 개별적으로 적용될 수 있다. 예를 들어, 스캐닝 윈도우는 3개의 수평 스트립(머리, 몸통, 및 다리에 대응함)으로 분할될 수 있고; 이 3 부분의 수직 대칭이 그 다음에 개별적으로 체크된다. 전술한 바와 같이 수직 대칭 체크를 패스한 경우(즉, 임계값 TH1 위의 이진법 픽셀 값들을 갖는 빈 쌍들의 개수가 많은 경우)가 3 부분 중 임의의 2 부분일 때만 보행자는 윈도우에 위치한 것으로 고려된다. 이러한 기준은 도 5c에 도시된 바와 같이, 95% 검출 레이트 및 41% 오검출 레이트의 만족스러운 검출을 제공한다.
다른 실시예에서, 쌍 내의 2개의 빈의 합산된 이진법 픽셀 값들은 또한 서로 합산되어 임계값 TH2와 비교된다. 합산된 값이 TH2 위인 경우, 보행자는 이러한 빈들의 쌍 내에 위치할 가능성이 있는 것으로 고려된다. 스캐닝 윈도우 내의 모든 빈들의 쌍에 대한 이진법 픽셀 값들이 합산되어 임계값 TH2와 비교된다. 이러한 조건은 다음과 같이 표현될 수 있다.
Sum(B1)+Sum(Bv)>TH2 또는
Sum(B2)+Sum(Bv -1)>TH2
다시, 임계값 TH2 위의 합산된 픽셀 값들을 갖는 쌍들의 개수가 많다는 것은, 이 빈들에 보행자가 위치할 가능성이 더 높다는 것을 나타낸다. 일부 실시예들에서, 빈들의 쌍에서 합산된 이진법 픽셀 값들이 실질적으로 유사한 경우 - 예를 들어,
Figure 112013110999872-pat00007
Figure 112013110999872-pat00008
- 이 쌍 내에 보행자 존재의 가능성이 증가한다. 서로 유사한 합산된 이진법 픽셀 값들을 포함하는 쌍들의 개수가 많다는 것은 스캐닝 윈도우에 보행자가 위치할 가능성이 더 높다는 것을 나타낸다. 따라서 보행자의 위치는 실시간으로 신속하게 식별될 수 있으므로, 전술한 바와 같이 하나의 이미지 또는 ROI가 스캐닝되고 그의 이진법 맵이 분석되자마자 일어난다. 따라서, 본 발명의 실시예들은 저비용 시스템으로 구현될 수 있다. 다시, 임계값들 TH1 및 TH2는 스캐닝 윈도우(430) 내의 이진법 픽셀 값들에 기초하여 계산되거나 미리 결정될 수 있다.
전술한 접근법의 활용은 이미지에서 보행자들을 검출하는 것으로 한정되지 않고; 오히려, 이미지에서 임의의 방향으로 대칭인 임의의 대상물들을 식별하는 데 이용될 수 있다. 예를 들어, 대상물이 이미지에 걸쳐서 대각선 대칭인 경우, 대상물이 수평 또는 수직 대칭이 되도록 이진법 이미지 맵을 복수의 빈으로 분할하기 전에 이미지 회전이 수행될 수 있다. 전술한 검출 접근법은 대상물들을 위치 지정하기 위해 회전된 이진법 이미지 맵에 적용될 수 있다. 부가적으로, 취득한 이미지는 정면도 이미지들로 한정되지 않고, 예를 들어, 후면도 이미지가 주차 지원을 위해 보행자를 위치 지정하도록 프로세싱될 수 있다.
일부 실시예들에서, 보행자 검출 접근법은 상세 검출의 수준 또는 정확성을 향상시키기 위하여 다른 검출 접근법과 결합된다. 예를 들어, 스캐닝 윈도우 내의 보행자 존재 가능성이 있는 빈 쌍들의 개수가 임계값 수보다 큰 경우, 윈도우(즉, 윈도우 내의 픽셀 값들)는 보행자의 위치를 정확하게 위치 지정하기 위해 집약적 계산들을 요구하는 다른 검출 접근법들로 패스된다. 다른 한편, 스캐닝 윈도우 내의 보행자 존재 가능성이 있는 빈 쌍들의 개수가 임계값 수보다 작은 경우, 윈도우는 폐기될 수 있다. 따라서, 이러한 접근법은 다른 보행자 검출 접근법들을 적용하기 이전에 검출 윈도우들의 개수를 줄이기 위한 제1 패스를 제공함으로써, 더욱 상세하고 정확한 보행자 위치들을 신속하게 획득할 수 있다.
본 발명의 실시예들에 따른 보행자들 또는 임의의 대칭 대상물을 검출하기 위한 대표적인 방법(500)이 도 6에 도시된다. 제1 단계(610)에서, 보행자를 포함하는 이미지가 수신된다. 제2 단계(612)에서, 취득한 이미지는 에지 맵으로 변환된다. 제3 단계(614)에서, 변환된 에지 맵은 이진법 이미지 맵으로 변환된다. 그 다음에 이진법 맵에서의 스캐닝 윈도우가 할당되고(단계(616)), 대상물의 대칭 방향에 기초하여 복수의 빈으로 분할된다(단계(618)). 각각의 빈 내의 이진법 픽셀 값들은 합산된다(단계(620)). 단계(622)에서, 대칭 대상물은 빈들 내의 이진법 픽셀 값들의 합산에 기초하여 식별된다. 단계(624)에서, 스캐닝 윈도우는 이진법 이미지 맵 또는 ROI 내에서 다른 위치로 이동한다. 전체 이진법 이미지 맵 또는 ROI가 분석될 때까지 단계들(618-622)이 반복된다. 일부 실시예들에서, 검색 대상물을 포함할 가능성이 있는 스캐닝 윈도우 내의 빈 쌍들의 개수가 임계값 수를 초과하는 경우, 이 윈도우는 대상물에 관한 상세한 위치 정보를 획득하기 위해 다른 검출 접근법들로 패스된다(단계(626)). 다른 한편, 빈 쌍들의 개수가 임계값 수 아래인 경우, 스캐닝 윈도우는 폐기된다(단계(628)).
다른 이미지 프로세싱 애플리케이션으로 윈도우를 패스하는 것에 대안적으로 또는 부가적으로, 단계(626)의 결과를 이용하여 자동차에서 제어 애플리케이션 또는 장치, 예를 들어, 경보 시스템을 구동할 수 있다. 예를 들어, 차량이 보행자에 접근하고 있을 가능성이 제1 임계값을 초과하는 경우, 운전자에게 시각 또는 가청 신호를 통해 경고할 수 있고, 더 높은 가능성은 차량에 구현된 충돌 방지 시스템을 트리거할 수 있다.
본 명세서에서 이용된 용어들 및 표현들은 한정이 아닌 설명의 용어들 및 표현들로서 이용되고, 그러한 용어들 및 표현들의 이용에서, 도시되고 설명된 특징들의 임의의 등가물들 또는 그의 부분들을 배제하는 것을 의도하지 않는다. 또한, 본 발명의 특정 실시예를 설명하였지만, 이 기술분야의 통상의 기술자에게는 본 명세서에 개시된 개념들을 포함하는 다른 실시예들이 본 발명의 사상 및 범위에서 벗어나지 않고 이용될 수 있다는 것이 명백할 것이다. 따라서, 설명된 실시예들은 모든 면에서 한정이 아닌 오직 예시인 것으로 고려되어야 한다.

Claims (29)

  1. 에지 맵(edge map)으로서 표현된 이미지에서 대칭 대상물을 식별하기 위한 방법으로서,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하는 단계;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하는 단계;
    (c) 상기 빈들의 적어도 일부의 이진법 픽셀 값들을 합산하는 단계; 및
    (d) 하나 이상의 빈들의 합산된 이진법 픽셀 값들을 적어도 하나의 임계값과 비교하는 것에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하는 단계
    를 포함하는, 대칭 대상물의 식별 방법.
  2. 제1항에 있어서, 상기 에지 맵을 이진법 이미지 맵으로 변환하는 단계는 상기 에지 맵 내의 각각의 픽셀 값을 미리 결정된 임계값과 비교하는 단계를 포함하는, 대칭 대상물의 식별 방법.
  3. 제2항에 있어서, 상기 임계값은 상기 에지 맵 내의 픽셀 값들에 적어도 부분적으로 기초하여 결정되는, 대칭 대상물의 식별 방법.
  4. 삭제
  5. 제1항에 있어서, 상기 임계값은 미리 결정되는, 대칭 대상물의 식별 방법.
  6. 제1항에 있어서, 상기 임계값은 상기 이미지에 기초하여 동적으로 계산되는, 대칭 대상물의 식별 방법.
  7. 에지 맵(edge map)으로서 표현된 이미지에서 대칭 대상물을 식별하기 위한 방법으로서,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하는 단계;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하는 단계;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하는 단계; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하는 단계를 포함하고,
    상기 대칭 대상물을 식별하는 단계는 상기 합산된 이진법 픽셀 값들을 임계값과 비교하는 단계를 포함하고,
    상기 임계값은 상기 이미지에 기초하여 동적으로 계산되며,
    상기 임계값은 수학식
    Figure 112016048055508-pat00009

    을 만족하고, 여기서, THa는 제2 임계값 위의 값들을 갖는 픽셀들의 개수의 함수이고, THb는 각각의 빈 내의 픽셀들 개수의 퍼센티지를 나타내고, Max는 THa 또는 THb 중 더 큰 것을 리턴하는 함수인, 대칭 대상물의 식별 방법.
  8. 에지 맵(edge map)으로서 표현된 이미지에서 대칭 대상물을 식별하기 위한 방법으로서,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하는 단계;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하는 단계;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하는 단계; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하는 단계를 포함하고,
    상기 방법은 상기 스캐닝 윈도우에서 대칭적인 위치들을 갖는 2개의 수평 또는 수직 빈들의 합산된 이진법 픽셀 값들을 비교하는 단계를 더 포함하는, 대칭 대상물의 식별 방법.
  9. 에지 맵(edge map)으로서 표현된 이미지에서 대칭 대상물을 식별하기 위한 방법으로서,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하는 단계;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하는 단계;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하는 단계; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하는 단계를 포함하고,
    상기 스캐닝 윈도우에서 대칭적인 위치들을 갖는 2개의 수평 또는 수직 빈들의 합산된 이진법 픽셀 값들을 합산하는 단계를 더 포함하는, 대칭 대상물의 식별 방법.
  10. 에지 맵(edge map)으로서 표현된 이미지에서 대칭 대상물을 식별하기 위한 방법으로서,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하는 단계;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하는 단계;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하는 단계; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하는 단계를 포함하고,
    상기 대칭 대상물을 식별하는 단계는 상기 합산된 이진법 픽셀 값들을 임계값과 비교하는 단계를 포함하고,
    상기 임계값은 상기 이미지에 기초하여 동적으로 계산되며,
    상기 대칭 대상물을 식별하는 단계는, 상기 2개의 빈의 합산된 이진법 픽셀 값들을 미리 결정된 임계값과 비교하는 단계를 포함하는, 대칭 대상물의 식별 방법.
  11. 에지 맵(edge map)으로서 표현된 이미지에서 대칭 대상물을 식별하기 위한 방법으로서,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하는 단계;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하는 단계;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하는 단계; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하는 단계를 포함하고,
    상기 복수의 빈은 중첩하지 않는, 대칭 대상물의 식별 방법.
  12. 에지 맵(edge map)으로서 표현된 이미지에서 대칭 대상물을 식별하기 위한 방법으로서,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하는 단계;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하는 단계;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하는 단계; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하는 단계를 포함하고,
    상기 복수의 빈은 동일한 개수의 이진법 픽셀들을 포함하는, 대칭 대상물의 식별 방법.
  13. 제1항에 있어서, 수평 및 수직 빈들의 개수들은 수학식
    Figure 112015114659949-pat00010

    을 만족하고, 여기서, Bh 및 Bv는 각각 스캐닝 윈도우 내의 수평 및 수직 빈들의 개수를 나타내고, N 및 M은 각각 스캐닝 윈도우의 이진법 픽셀들의 수평 및 수직 개수들이고, n 및 m은 각각, 각 빈 내의 이진법 픽셀들의 수평 및 수직 개수들인, 대칭 대상물의 식별 방법.
  14. 에지 맵(edge map)으로서 표현된 이미지에서 대칭 대상물을 식별하기 위한 방법으로서,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하는 단계;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하는 단계;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하는 단계; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하는 단계를 포함하고,
    상기 방법은 상기 이진법 이미지 맵 내의 상이한 위치로 상기 스캐닝 윈도우를 이동하고, 각각의 위치에서 단계들 (b), (c) 및 (d)를 반복하는 단계를 더 포함하는, 대칭 대상물의 식별 방법.
  15. 에지 맵(edge map)으로서 표현된 이미지에서 대칭 대상물을 식별하기 위한 방법으로서,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하는 단계;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하는 단계;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하는 단계; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하는 단계를 포함하고,
    상기 방법은 각각의 빈을 복수의 서브 빈(sub-bin)으로 분할하는 단계를 더 포함하고, 상기 대칭 대상물은 상기 서브 빈들 내의 합산된 이진법 픽셀 값들에 적어도 부분적으로 기초하여 결정되는, 대칭 대상물의 식별 방법.
  16. 에지 맵(edge map)으로서 표현된 이미지에서 대칭 대상물을 식별하기 위한 방법으로서,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하는 단계;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하는 단계;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하는 단계; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하는 단계를 포함하고,
    상기 스캐닝 윈도우의 치수들은 상기 대상물의 사이즈에 기초하여 결정되는, 대칭 대상물의 식별 방법.
  17. 이미지에서 대칭 대상물을 식별하기 위한 시스템으로서,
    상기 이미지의 에지 맵을 저장하기 위한 컴퓨터 메모리; 및
    컴퓨터 프로세서
    를 포함하고,
    상기 컴퓨터 프로세서는,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하고;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하고;
    (c) 상기 빈들의 적어도 일부의 이진법 픽셀 값들을 합산하고; 및
    (d) 하나 이상의 빈들의 합산된 이진법 픽셀 값들을 적어도 하나의 임계값과 비교하는 것에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하도록 구성되는, 대칭 대상물의 식별 시스템.
  18. 제17항에 있어서, 상기 이진법 이미지 맵은 상기 컴퓨터 메모리에 저장되는, 대칭 대상물의 식별 시스템.
  19. 이미지에서 대칭 대상물을 식별하기 위한 시스템으로서,
    상기 이미지의 에지 맵을 저장하기 위한 컴퓨터 메모리; 및
    컴퓨터 프로세서
    를 포함하고,
    상기 컴퓨터 프로세서는,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하고;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하고;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하고; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하도록 구성되며,
    상기 프로세서는 또한 상기 스캐닝 윈도우에서 대칭적인 위치들을 갖는 2개의 수평 또는 수직 빈들의 합산된 이진법 픽셀 값들의 합을 계산하도록 구성되는, 대칭 대상물의 식별 시스템.
  20. 제17항에 있어서, 상기 프로세서는 디지털 신호 프로세서인, 대칭 대상물의 식별 시스템.
  21. 이미지에서 대칭 대상물을 식별하기 위한 시스템으로서,
    상기 이미지의 에지 맵을 저장하기 위한 컴퓨터 메모리; 및
    컴퓨터 프로세서
    를 포함하고,
    상기 컴퓨터 프로세서는,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하고;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하고;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하고; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하도록 구성되며,
    상기 컴퓨터 프로세서는 또한 상기 스캐닝 윈도우에서 대칭적인 위치들을 갖는 2개의 수평 또는 수직 빈들의 합산된 이진법 픽셀 값들을 비교하도록 더 구성되는, 대칭 대상물의 식별 시스템.
  22. 이미지에서 대칭 대상물을 식별하기 위한 시스템으로서,
    상기 이미지의 에지 맵을 저장하기 위한 컴퓨터 메모리; 및
    컴퓨터 프로세서
    를 포함하고,
    상기 컴퓨터 프로세서는,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하고;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하고;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하고; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하도록 구성되며,
    상기 컴퓨터 프로세서는 상기 스캐닝 윈도우에서 대칭적인 위치들을 갖는 2개의 수평 또는 수직 빈들의 합산된 이진법 픽셀 값들을 합산하도록 더 구성되는, 대칭 대상물의 식별 시스템.
  23. 이미지에서 대칭 대상물을 식별하기 위한 시스템으로서,
    상기 이미지의 에지 맵을 저장하기 위한 컴퓨터 메모리; 및
    컴퓨터 프로세서
    를 포함하고,
    상기 컴퓨터 프로세서는,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하고;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하고;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하고; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하도록 구성되며,
    상기 복수의 빈은 중첩하지 않는, 대칭 대상물의 식별 시스템.
  24. 이미지에서 대칭 대상물을 식별하기 위한 시스템으로서,
    상기 이미지의 에지 맵을 저장하기 위한 컴퓨터 메모리; 및
    컴퓨터 프로세서
    를 포함하고,
    상기 컴퓨터 프로세서는,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하고;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하고;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하고; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하도록 구성되며,
    상기 복수의 빈은 동일한 개수의 이진법 픽셀들을 포함하는, 대칭 대상물의 식별 시스템.
  25. 에지 맵으로서 표현된 이미지에서 대칭 대상물을 식별하기 위한 방법을 구현하기 위한 컴퓨터 프로그램을 갖는 컴퓨터 판독 가능 저장 매체로서, 상기 방법은,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하는 단계;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하는 단계;
    (c) 상기 빈들의 적어도 일부의 이진법 픽셀 값들을 합산하는 단계; 및
    (d) 하나 이상의 빈들의 합산된 이진법 픽셀 값들을 적어도 하나의 임계값과 비교하는 것에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하는 단계
    를 포함하는, 컴퓨터 판독 가능 저장 매체.
  26. 에지 맵으로서 표현된 이미지에서 대칭 대상물을 식별하기 위한 방법을 구현하기 위한 컴퓨터 프로그램을 갖는 컴퓨터 판독 가능 저장 매체로서, 상기 방법은,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하는 단계;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하는 단계;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하는 단계; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하는 단계를 포함하고,
    상기 방법은 상기 스캐닝 윈도우에서 대칭적인 위치들을 갖는 2개의 수평 또는 수직 빈들의 합산된 이진법 픽셀 값들을 비교하는 단계를 더 포함하는, 컴퓨터 판독 가능 저장 매체.
  27. 에지 맵으로서 표현된 이미지에서 대칭 대상물을 식별하기 위한 방법을 구현하기 위한 컴퓨터 프로그램을 갖는 컴퓨터 판독 가능 저장 매체로서, 상기 방법은,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하는 단계;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하는 단계;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하는 단계; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하는 단계를 포함하고,
    상기 방법은 상기 스캐닝 윈도우에서 대칭적인 위치들을 갖는 2개의 수평 또는 수직 빈들의 합산된 이진법 픽셀 값들을 합산하는 단계를 더 포함하는, 컴퓨터 판독 가능 저장 매체.
  28. 에지 맵으로서 표현된 이미지에서 대칭 대상물을 식별하기 위한 방법을 구현하기 위한 컴퓨터 프로그램을 갖는 컴퓨터 판독 가능 저장 매체로서, 상기 방법은,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하는 단계;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하는 단계;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하는 단계; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하는 단계를 포함하고,
    상기 복수의 빈은 중첩하지 않는, 컴퓨터 판독 가능 저장 매체.
  29. 에지 맵으로서 표현된 이미지에서 대칭 대상물을 식별하기 위한 방법을 구현하기 위한 컴퓨터 프로그램을 갖는 컴퓨터 판독 가능 저장 매체로서, 상기 방법은,
    (a) 상기 에지 맵을 이진법 픽셀 값들을 포함하는 이진법 이미지 맵으로 변환하는 단계;
    (b) 스캐닝 윈도우 내의 상기 이진법 이미지 맵을 복수의 빈(bin)으로 분할하는 단계;
    (c) 각각의 빈 내의 이진법 픽셀 값들을 합산하는 단계; 및
    (d) 상기 빈들 내의 합산된 이진법 픽셀 값에 적어도 부분적으로 기초하여 상기 대칭 대상물을 식별하는 단계를 포함하고,
    상기 복수의 빈은 동일한 개수의 이진법 픽셀들을 포함하는, 컴퓨터 판독 가능 저장 매체.
KR1020130149827A 2012-12-07 2013-12-04 수직 대칭을 이용한 대상물 위치 지정 KR101667835B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261734572P 2012-12-07 2012-12-07
US61/734,572 2012-12-07
US13/755,916 2013-01-31
US13/755,916 US9076034B2 (en) 2012-12-07 2013-01-31 Object localization using vertical symmetry

Publications (2)

Publication Number Publication Date
KR20140074219A KR20140074219A (ko) 2014-06-17
KR101667835B1 true KR101667835B1 (ko) 2016-10-19

Family

ID=49766867

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130149827A KR101667835B1 (ko) 2012-12-07 2013-12-04 수직 대칭을 이용한 대상물 위치 지정

Country Status (3)

Country Link
US (1) US9076034B2 (ko)
EP (1) EP2741234B1 (ko)
KR (1) KR101667835B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885916B1 (en) 2014-03-28 2014-11-11 State Farm Mutual Automobile Insurance Company System and method for automatically measuring the dimensions of and identifying the type of exterior siding
US9646345B1 (en) 2014-07-11 2017-05-09 State Farm Mutual Automobile Insurance Company Method and system for displaying an initial loss report including repair information
US10755357B1 (en) 2015-07-17 2020-08-25 State Farm Mutual Automobile Insurance Company Aerial imaging for insurance purposes
KR20230017365A (ko) * 2016-06-27 2023-02-03 모빌아이 비젼 테크놀로지스 엘티디. 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어
WO2019066704A1 (en) * 2017-09-26 2019-04-04 Dozero Tech Ab METHOD IN IMAGE COMPRESSION DEVICE AND IMAGE DECOMPRESSION DEVICE
CN110399771B (zh) * 2019-04-12 2020-09-11 厦门瞳景智能科技有限公司 交通环境现场维护系统
CN112565614B (zh) * 2021-02-22 2021-05-14 四川赛狄信息技术股份公司 一种信号处理模块及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008192100A (ja) * 2007-02-08 2008-08-21 Aisin Seiki Co Ltd 瞼検出装置及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
DE10301468B4 (de) * 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
WO2005022077A2 (en) * 2003-08-28 2005-03-10 Sarnoff Corporation Method and apparatus for differentiating pedestrians, vehicles, and other objects
KR100543706B1 (ko) * 2003-11-28 2006-01-20 삼성전자주식회사 비젼기반 사람 검출방법 및 장치
KR101030430B1 (ko) * 2007-09-12 2011-04-20 주식회사 코아로직 영상 처리 장치와 방법 및 그 기록매체
JP5372680B2 (ja) * 2009-09-24 2013-12-18 日立オートモティブシステムズ株式会社 障害物検知装置
KR101240469B1 (ko) * 2010-11-23 2013-03-11 현대모비스 주식회사 객체 인식 시스템, 차량용 장애물 인식 시스템 및 차량용 장애물 인식 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008192100A (ja) * 2007-02-08 2008-08-21 Aisin Seiki Co Ltd 瞼検出装置及びプログラム

Also Published As

Publication number Publication date
US9076034B2 (en) 2015-07-07
KR20140074219A (ko) 2014-06-17
EP2741234B1 (en) 2023-03-29
EP2741234A2 (en) 2014-06-11
US20140161308A1 (en) 2014-06-12
EP2741234A3 (en) 2016-12-21

Similar Documents

Publication Publication Date Title
EP3418943B1 (en) Object detecting apparatus, object detecting method, and computer-readable medium
KR101667835B1 (ko) 수직 대칭을 이용한 대상물 위치 지정
US10860870B2 (en) Object detecting apparatus, object detecting method, and computer program product
US10452931B2 (en) Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system
US9721460B2 (en) In-vehicle surrounding environment recognition device
JP5401344B2 (ja) 車両用外界認識装置
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
EP2924653B1 (en) Image processing apparatus and image processing method
CN113284366A (zh) 车辆盲区预警方法、预警装置、mec平台和存储介质
US20200143179A1 (en) Infrastructure-free nlos obstacle detection for autonomous cars
CN109948552B (zh) 一种复杂交通环境中的车道线检测的方法
US20140002655A1 (en) Lane departure warning system and lane departure warning method
US20130202155A1 (en) Low-cost lane marker detection
US20200143177A1 (en) Systems and methods of detecting moving obstacles
Ponsa et al. On-board image-based vehicle detection and tracking
Krasner et al. Automatic parking identification and vehicle guidance with road awareness
US9558410B2 (en) Road environment recognizing apparatus
JP2014056295A (ja) 車両周辺監視装置
CN109238281B (zh) 基于图像螺旋线的视觉导航及避障方法
Taubel et al. A lane departure warning system based on the integration of the optical flow and Hough transform methods
CN114119955A (zh) 一种潜在危险目标检测方法及装置
Irshad et al. Real-time lane departure warning system on a lower resource platform
WO2017077261A1 (en) A monocular camera cognitive imaging system for a vehicle
Kim et al. Vision-based autonomous detection of lane and pedestrians
JP2015001966A (ja) 物体検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 4