KR20180085211A - 차량의 보행자 검출 장치 및 방법 - Google Patents

차량의 보행자 검출 장치 및 방법 Download PDF

Info

Publication number
KR20180085211A
KR20180085211A KR1020170008600A KR20170008600A KR20180085211A KR 20180085211 A KR20180085211 A KR 20180085211A KR 1020170008600 A KR1020170008600 A KR 1020170008600A KR 20170008600 A KR20170008600 A KR 20170008600A KR 20180085211 A KR20180085211 A KR 20180085211A
Authority
KR
South Korea
Prior art keywords
pedestrian
vehicle
detecting
image
coordinates
Prior art date
Application number
KR1020170008600A
Other languages
English (en)
Inventor
조영하
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020170008600A priority Critical patent/KR20180085211A/ko
Publication of KR20180085211A publication Critical patent/KR20180085211A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G06K9/00369—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B60R2021/0032—Position of passenger
    • B60R2021/0037—Position of passenger standing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 GPS신호에 기초하여 보행자를 검출하고, 자차량과 보행자간의 충돌을 판단하는 차량의 보행자 검출 장치 및 방법에 관한 것이다.
본 발명의 실시 예에 따른 차량의 보행자 검출 장치는, 자차량의 전방영상을 생성하는 영상 생성부와, 보행자의 GPS(Global Positioning System)좌표를 영상좌표로 변환하는 좌표 변환부와, 영상좌표가 표시된 전방영상에서 GPS좌표의 주변을 관심영역으로 설정하는 영역 설정부와, 관심영역에서 보행자를 검출하는 보행자 검출부와, 자차량과 보행자의 충돌 여부를 판단하는 제어부를 포함한다.

Description

차량의 보행자 검출 장치 및 방법{Apparatus and method for detecting pedestrian of vehicle}
본 발명은 차량의 보행자 검출 장치 및 방법에 관한 것으로, 보다 자세하게는 GPS신호에 기초하여 보행자를 검출하고, 자차량과 보행자간의 충돌을 판단하는 차량의 보행자 검출 장치 및 방법에 관한 것이다.
최근에는 카메라 및 레이더 센서를 이용하여 전방의 보행자를 인식하고, 보행자와의 거리 및 상대속도를 측정하여 보행자와의 충돌 위험성을 판단하여 위험성이 있는 것으로 판단되면 긴급 제동 시스템을 작동시켜 충돌을 회피한다.
한편, 긴급 제동 시스템은 차량 주행 시, 전방차량 및 보행자를 인식하고, 충돌 위험이 있다고 판단되면 자차량의 긴급제동을 수행함으로써 충돌을 방지할 수 있는 시스템이다.
그러나, 이러한 긴급 제동 시스템은 레이더 센서를 이용하여 전방차량 및 보행자를 인식하는 경우에 차량과 달리 보행자의 반사판의 크기가 작아서 보행자의 검출이 지연되는 문제가 있다. 따라서, 사고 보행자와 자차량의 충돌에 의한 사고 발생 확률이 높아지게 된다.
본 발명은 앞에서 설명한 문제점을 해결하기 위한 것으로, 자차량 전방의 보행자를 검출하는 차량의 보행자 검출 장치 및 방법을 제공하는 것을 목적으로 한다.
또한, 검출한 보행자와 자차량 간의 거리를 검출하여 보행자와 자차량의 충돌을 방지하는 차량의 보행자 검출 장치 및 방법을 제공하는 것을 목적으로 한다.
위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
앞에서 설명한 목적을 달성하기 위한 본 발명의 실시 예에 따른 차량의 보행자 검출 장치는, 자차량의 전방영상을 생성하는 영상 생성부와, 보행자의 GPS(Global Positioning System)좌표를 영상좌표로 변환하는 좌표 변환부와, 영상좌표가 표시된 전방영상에서 GPS좌표의 주변을 관심영역으로 설정하는 영역 설정부와, 관심영역에서 보행자를 검출하는 보행자 검출부와, 자차량과 보행자의 충돌 여부를 판단하는 제어부를 포함한다.
여기서, 보행자 검출부는, 관심영역에서 보행자의 형태 또는 특징에 대한 제1 특징점을 추출한다.
또한, 보행자 검출부는, 보행자의 형태 및 특징에 대한 학습에 의해서 생성된 제2 특징점이 저장된 보행자 인식기를 더 포함하고, 보행자 인식기의 제2 특징점과 제1 특징점을 비교하여 제1 특징점과 일치하는 데이터를 판단한다.
또한, 보행자 검출부는, 제1 특징점이 제2 특징점과 일치하면 제1 특징점을 보행자로 검출한다.
또한, 제어부는, 영상좌표에 기초하여 보행자와 자차량 간의 충돌 여부를 판단한다.
또한, 제어부는, 보행자와 자차량 간의 충돌 여부를 판단한 결과, 보행자와 자차량의 충돌이 판단되면, 자차량을 긴급 제동 시킨다.
앞에서 설명한 목적을 달성하기 위한 본 발명의 실시 예에 따른 차량의 보행자 검출 방법은, 보행자의 GPS좌표가 표시된 전방영상에 기초하여 보행자를 검출하는 단계와, 자차량과 상기 보행자의 충돌 여부를 판단하는 단계를 포함한다.
여기서, 보행자를 검출하는 단계에 있어서, 보행자의 GPS(Global Positioning System)좌표를 영상좌표로 변환한다.
또한, 보행자를 검출하는 단계에 있어서, 영상좌표가 표시된 전방영상에서 GPS좌표의 주변을 관심영역으로 설정한다.
또한, 보행자를 검출하는 단계에 있어서, 관심영역에서 보행자의 형태 또는 특징에 대한 제1 특징점을 추출한다.
또한, 보행자를 검출하는 단계에 있어서, 보행자의 형태 또는 특징에 대한 학습에 의해서 생성된 제2 특징점과 제1 특징점을 비교하여 제1 특징점과 일치하는 데이터를 판단한다.
또한, 보행자를 검출하는 단계에 있어서, 제1 특징점이 제2 특징점과 일치하면 제1 특징점을 보행자로 검출한다.
또한, 자차량과 보행자의 충돌 여부를 판단하는 단계에 있어서, 영상좌표에 기초하여 보행자와 자차량 간의 충돌 여부를 판단한다.
또한, 자차량과 보행자의 충돌 여부를 판단하는 단계에 있어서, 보행자와 자차량 간의 충돌 여부를 판단한 결과, 보행자와 자차량의 충돌이 판단되면, 자차량을 긴급 제동 시킨다.
본 발명의 실시 예에 따른 차량의 보행자 검출 장치 및 방법은 보행자의 GPS좌표를 이용하여 자차량 전방의 보행자를 인식할 수 있다.
또한, 자차량 전방의 보행자를 인식하여 차량을 긴급제동 시켜 자차량과 보행자의 충돌 사고를 방지할 수 있다.
이 밖에도, 본 발명의 실시 예들을 통해 본 발명의 또 다른 특징 및 이점들이 새롭게 파악될 수도 있을 것이다.
도 1은 본 발명의 실시 예에 따른 차량의 보행자 검출 장치의 구성을 나타내는 도면이다.
도 2는 GPS좌표를 영상좌표로 변환하는 것을 나타내는 도면이다.
도 3은 보행자의 특징점을 검출하는 것을 나타내는 도면이다.
도 4는 전방영상에서 인식한 보행자가 표시되는 것을 나타내는 도면이다.
도 5는 본 발명의 실시 예에 따른 차량의 보행자 검출 방법을 나타내는 동작 흐름도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.
제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.
여기서 사용되는 전문 용어는 단지 특정 실시 예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
도 1은 본 발명의 실시 예에 따른 차량의 보행자 검출 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 차량의 보행자 검출 장치(100)는 영상 생성부(110), 좌표 변환부(120), 영역 설정부(130), 보행자 검출부(140) 및 제어부(150)를 포함한다.
영상 생성부(110)는 자차량의 전방에 설치된 카메라를 구동시켜 자차량의 전방을 실시간으로 촬영하여 전방영상을 생성한다. 여기서, 영상 생성부(110)는 자차량의 전방에 한정되지 않고, 자차량의 후방 및 측면에 설치된 카메라를 추가로 구동시켜 자차량의 후방영상 및 측면영상을 생성할 수 있다. 영상 생성부(110)는 전방영상을 영역 설정부(130)에 제공한다.
좌표 변환부(120)는 보행자의 GPS(Global Positioning System)좌표를 영상좌표로 변환한다. 구체적으로, 보행자가 소지한 전자기기는 GPS신호로부터 보행자의 GPS좌표를 생성할 수 있다. 이에 따라, 좌표 변환부(120)는 3차원의 GPS좌표를 2차원의 영상좌표로 변환할 수 있다. 여기서, 보행자가 전자기기를 소지하고 있으므로, GPS좌표에 표시된 전자기기의 위치를 보행자의 위치로 판단할 수 있다. 따라서, GPS를 이용하여 보행자의 위치를 검출할 수 있다. 좌표 변환부(120)는 영상좌표를 영역 설정부(130)에 제공한다.
도 2는 GPS좌표를 영상좌표로 변환하는 것을 나타내는 도면이다.
도 2를 참조하면, 좌표변환부(120)는 3차원의 GPS좌표를 2차원의 영상좌표로 변환할 수 있다.
[수학식1]
Figure pat00001
상기 수학식1에서 W는 3차원 좌표이고, U는 후보 영상의 좌표이다. 그리고, P는 Projection Matrix이고, K는 차량에 배치된 카메라의 내부 파라미터(Intrinsic parameter matrix, fc: focal length, u0, v0: principal point)이고, R은 차량에 배치된 카메라가 3차원으로 회전된 정도를 나타내는 행렬(3Χ3 rotation matrix)이고, T는 차량에 배치된 카메라와 차량 범퍼 중심간의 3차원 좌표의 차이(3Χ1 translation matrix)이다.
3차원 좌표 W를 구성하는 x, y, z 중에서 하나의 성분을 0으로 설정하면 2차원으로 변환할 수 있다. 본 발명에서 보행자와 지면이 만나는 지점을 기준으로 하여 관심영역을 설정하므로 y 성분을 0으로 설정한다.
이어서, 영역 설정부(130)는 영상좌표가 표시된 전방영상에서 GPS좌표의 주변을 관심영역으로 설정한다. 구체적으로, 영역 설정부(130)는 좌표 변환부(120)에서 변환한 영상좌표가 표시된 전방영상에서 관심영역을 설정한다. 이때, 보행자의 GPS좌표가 2차원의 영상좌표에 표시되어 있고, 이에 따라 전방영상에도 GPS좌표가 표시된다. 영역 설정부(130)는 전방영상의 GPS좌표가 표시된 지점에서 기 설정된 거리만큼의 일정한 영역을 관심영역으로 설정할 수 있다. 영역 설정부(130)는 관심영역에 대한 정보를 보행자 검출부(140)에 제공한다.
보행자 검출부(140)는 관심영역에서 보행자를 검출한다. 구체적으로, 보행자 검출부(140)는 관심영역에서 제1 특징점을 추출한다. 여기서, 제1 특징점은 보행자의 형태 또는 특징을 나타낼 수 있다. 이때, 보행자 검출부(140)는 보행자에 한정하지 않고, 표지판, 전방차량 및 횡단보도 등의 비보행자의 제1 특징점을 추출할 수 있다. 여기서, 보행자 검출부(140)는 전방영상의 여러 프레임에서 제1 특징점이 연속적으로 추출되면 보행자로 인식하고, 전방영상의 여러 프레임에서 제1 특징점이 연속적으로 추출되지 않으면 비보행자로 인식할 수 있다.
또한, 보행자 검출부(140)는 보행자 및 비보행자에 대한 학습에 의해서 생성된 제2 특징점이 저장된 보행자 인식기와 제1 특징점을 비교한다. 여기서, 보행자 인식기는 보행자 및 비보행자에 대해 미리 학습되어 보행자에게 나타나는 특징점 및 비보행자에게 나타나는 특징점이 저장되어 있다. 또한, 보행자 인식기는 자차량의 주행 중에 보행자 및 비보행자에 대한 제2 특징점이 추가로 저장될 수 있다. 예로서, 자차량이 주행 중에 횡단보도에서 정지하고, 다수의 보행자가 횡단보도를 건너가면, 보행자 인식기는 횡단보도를 건너가는 다수의 보행자의 제2 특징점을 추가로 저장할 수 있다.
보행자 검출부(140)는 보행자 인식기에 저장된 보행자 및 비보행자에 대한 제2 특징점을 제1 특징점과 비교하여 제1 특징점이 보행자의 제2 특징점과 일치하는지 확인한다. 이때, 보행자 검출부(140)는 제1 특징점이 보행자의 제2 특징점과 일치하면 제1 특징점을 보행자로 검출한다. 이때, 보행자 검출부(140)는 전방영상에 표시된 영상좌표를 이용하여 보행자와 자차량 간의 거리를 검출할 수 있다. 보행자 검출부(140)는 검출한 보행자 정보를 제어부(150)에 제공한다.
도 3은 보행자의 특징점을 검출하는 것을 나타내는 도면이다.
도 3을 참조하면, 보행자 검출부(140)는 관심영역에서 보행자를 검출한다. 구체적으로, 보행자 검출부(140)는 관심영역에서 제1 특징점을 추출한다. 보행자 검출부(140)는 검출한 제1 특징점을 보행자 및 비보행자의 제2 특징점에 대해 미리 학습된 보행자 인식기와 비교한다. 여기서, 보행자 인식기는 메모리에 저장된 제2 특징점 중에서 제1 특징점과 가장 비슷한 형태를 가진 제2 특징점을 검출한다. 이때, 보행자 검출부(140)는 검출된 제1 특징점을 여러 부분으로 분할하고, 분할된 각 부분 별로 제2 특징점과 비교하여 가장 비슷한 형태의 제2 특징점을 검출할 수 있다. 그리고, 보행자 인식기는 제1 특징점과 가장 비슷한 제2 특징점이 보행자의 특징점인지, 비보행자의 특징점인지 구분하여 보행자 또는 비보행자를 검출할 수 있다.
도 4는 전방영상에서 인식한 보행자가 표시되는 것을 나타내는 도면이다.
도 4를 참조하면, 보행자 검출부(140)는 관심영역에서 검출한 제1 특징점을 보행자 및 비보행자의 제2 특징점이 미리 학습되어 저장된 보행자 인식기와 비교한다. 보행자 검출부(140)는 제1 특징점 및 제2 특징점을 비교하여 차량 전방의 보행자를 인식할 수 있다. 이때, 전방영상에 보행자를 표시할 수 있다. 또한, 보행자 검출부(140)는 전방영상에 표시된 영상좌표로 자차량과 보행자 간의 거리를 검출할 수 있다.
이어서, 제어부(150)는 보행자 검출부(150)에서 검출한 보행자와 자차량 간의 충돌 여부를 판단한다. 제어부(150)는 보행자 검출부(150)에서 검출한 보행자와의 거리에 기초하여, 보행자와 자차량의 충돌이 판단되면 자차량이 긴급 제동하도록 제동장치를 제어한다. 구체적으로, 제어부(150)는 보행자와 자차량의 충돌 판단 시, 자차량을 정지시키기 위한 제동 제어신호를 생성하고, 상기 제동 제어신호를 제동장치로 전송한다. 이를 통해 자챠량의 제동장치가 구동되어 자차량을 제동시킬 수 있다.
한편, 제어부(150)는 보행자 검출부(150)에서 검출한 보행자와의 거리에 기초하여 보행자와 자차량이 충돌하지 않는다고 판단하면 자차량이 주행을 유지하도록 제어할 수 있다.
도 5는 본 발명의 실시 예에 따른 차량의 보행자 검출 방법을 나타내는 동작 흐름도이다.
도 5를 참조하면, 좌표 변환부(120)는 보행자의 GPS신호가 표시된 GPS좌표를 영상좌표로 변환한다(S510). 구체적으로, 보행자가 소지한 전자기기는 GPS신호로부터 보행자의 GPS좌표를 생성하고, 이에 따라, 좌표 변환부(120)는 3차원의 GPS좌표를 2차원의 영상좌표로 변환할 수 있다. 여기서, 보행자가 전자기기를 소지하고 있으므로, GPS좌표에 표시된 전자기기의 위치를 보행자의 위치로 판단할 수 있다.
이어서, 영상 생성부(110)는 영상좌표가 표시된 전방영상을 생성한다(S520). 구체적으로, 영상 생성부(110)는 자차량의 전방에 설치된 카메라를 구동시켜 자차량의 전방을 실시간으로 촬영하여 전방영상을 생성한다. 이때, 좌표 변환부(120)에서 변환한 영상좌표가 전방영상에 오버랩되어 표시될 수 있다.
이어서, 영역 설정부(130)는 영상좌표가 표시된 전방영상에서 GPS좌표의 주변을 관심영역으로 설정한다(S530). 구체적으로, 보행자의 GPS좌표가 2차원의 영상좌표에 표시되어 있고, 이에 따라 전방영상에도 GPS좌표가 표시된다. 여기서, 영역 설정부(130)는 전방영상의 GPS좌표가 표시된 지점에서 기 설정된 거리만큼의 일정한 영역을 관심영역으로 설정할 수 있다.
이어서, 보행자 검출부(140)는 관심영역에서 보행자를 검출한다(S540). 구체적으로, 보행자 검출부(140)는 관심영역에서 제1 특징점을 추출한다. 여기서, 제1 특징점은 보행자 및 비보행자의 형태 또는 특징을 나타낼 수 있다.
그리고, 보행자 검출부(140)는 보행자 및 비보행자에 대한 학습에 의해서 생성된 제2 특징점이 저장된 보행자 인식기와 제1 특징점을 비교한다. 구체적으로, 보행자 검출부(140)는 보행자 인식기에 저장된 보행자 및 비보행자에 대한 제2 특징점을 제1 특징점과 비교하여 제1 특징점이 보행자의 제2 특징점과 일치하는지 판단한다. 이때, 보행자 검출부(140)는 제1 특징점이 보행자의 제2 특징점과 일치하면 제1 특징점을 보행자로 검출할 수 있다. 또한, 보행자 검출부(140)는 전방영상에 표시된 영상좌표를 이용하여 보행자와 자차량 간의 거리를 검출할 수 있다.
이어서, 제어부(150)는 보행자와 자차량 간의 충돌 여부를 판단한다(S550). 제어부(150)는 보행자 검출부(150)에서 검출한 보행자와의 거리에 기초하여 보행자와 자차량의 충돌이 판단되면 자차량이 긴급 제동하도록 제어한다. 여기서, 제어부(150)는 보행자와 자차량의 충돌 판단 시, 자차량을 정지시키기 위한 제동 제어신호를 생성하고, 상기 제동 제어신호를 제동장치로 전송한다. 이를 통해 자챠량의 제동장치가 구동되어 자차량을 제동시킬 수 있다.
한편, 제어부(150)는 보행자 검출부(150)에서 검출한 보행자와의 거리에 기초하여 보행자와 자차량이 충돌하지 않는다고 판단하면 자차량이 주행을 유지하도록 제어할 수 있다.
전술한 바와 같이 본 발명은 GPS신호에 기초하여 보행자를 검출하고, 자차량과 보행자간의 충돌을 판단하는 차량의 보행자 검출 장치 및 방법을 실현할 수 있다.
본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 차량의 보행자 검출 장치
110: 영상 생성부
120: 좌표 변환부
130: 영역 설정부
140: 보행자 검출부
150: 제어부

Claims (14)

  1. 자차량의 전방영상을 생성하는 영상 생성부;
    보행자의 GPS(Global Positioning System)좌표를 영상좌표로 변환하는 좌표 변환부;
    상기 영상좌표가 표시된 상기 전방영상에서 상기 GPS좌표의 주변을 관심영역으로 설정하는 영역 설정부;
    상기 관심영역에서 보행자를 검출하는 보행자 검출부; 및
    상기 자차량과 상기 보행자의 충돌 여부를 판단하는 제어부;를 포함하는 차량의 보행자 검출 장치.
  2. 제1 항에 있어서, 상기 보행자 검출부는,
    상기 관심영역에서 보행자의 형태 또는 특징에 대한 제1 특징점을 추출하는 차량의 보행자 검출 장치.
  3. 제2 항에 있어서, 상기 보행자 검출부는,
    상기 보행자의 형태 및 특징에 대한 학습에 의해서 생성된 제2 특징점이 저장된 보행자 인식기를 더 포함하고,
    상기 보행자 인식기의 제2 특징점과 상기 제1 특징점을 비교하여 상기 제1 특징점과 일치하는 데이터를 판단하는 차량의 보행자 검출 장치.
  4. 제3 항에 있어서, 상기 보행자 검출부는,
    상기 제1 특징점이 상기 제2 특징점과 일치하면 상기 제1 특징점을 상기 보행자로 검출하는 차량의 보행자 검출 장치.
  5. 제4 항에 있어서, 상기 제어부는,
    상기 영상좌표에 기초하여 상기 보행자와 상기 자차량 간의 충돌 여부를 판단하는 차량의 보행자 검출 장치.
  6. 제5 항에 있어서, 상기 제어부는,
    상기 보행자와 상기 자차량 간의 충돌 여부를 판단한 결과, 상기 보행자와 상기 자차량의 충돌이 판단되면, 상기 자차량을 긴급 제동 시키는 차량의 보행자 검출 장치.
  7. 보행자의 GPS좌표가 표시된 전방영상에 기초하여 보행자를 검출하는 단계;및
    자차량과 상기 보행자의 충돌 여부를 판단하는 단계;를 포함하는 차량의 보행자 검출 방법.
  8. 제7 항에 있어서, 상기 보행자를 검출하는 단계에 있어서,
    보행자의 GPS(Global Positioning System)좌표를 영상좌표로 변환하는 차량의 보행자 검출 방법.
  9. 제8 항에 있어서, 상기 보행자를 검출하는 단계에 있어서,
    상기 영상좌표가 표시된 상기 전방영상에서 상기 GPS좌표의 주변을 관심영역으로 설정하는 차량의 보행자 검출 방법.
  10. 제9 항에 있어서, 상기 보행자를 검출하는 단계에 있어서,
    상기 관심영역에서 보행자의 형태 또는 특징에 대한 제1 특징점을 추출하는 차량의 보행자 검출 방법.
  11. 제10 항에 있어서, 상기 보행자를 검출하는 단계에 있어서,
    상기 보행자의 형태 또는 특징에 대한 학습에 의해서 생성된 제2 특징점과 상기 제1 특징점을 비교하여 상기 제1 특징점과 일치하는 데이터를 판단하는 차량의 보행자 검출 방법.
  12. 제11 항에 있어서, 상기 보행자를 검출하는 단계에 있어서,
    상기 제1 특징점이 상기 제2 특징점과 일치하면 상기 제1 특징점을 상기 보행자로 검출하는 차량의 보행자 검출 방법.
  13. 제12 항에 있어서,
    상기 자차량과 상기 보행자의 충돌 여부를 판단하는 단계에 있어서,
    상기 영상좌표에 기초하여 상기 보행자와 상기 자차량 간의 충돌 여부를 판단하는 차량의 보행자 검출 방법.
  14. 제13 항에 있어서,
    상기 자차량과 상기 보행자의 충돌 여부를 판단하는 단계에 있어서,
    상기 보행자와 상기 자차량 간의 충돌 여부를 판단한 결과, 상기 보행자와 상기 자차량의 충돌이 판단되면, 상기 자차량을 긴급 제동 시키는 차량의 보행자 검출 방법.
KR1020170008600A 2017-01-18 2017-01-18 차량의 보행자 검출 장치 및 방법 KR20180085211A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170008600A KR20180085211A (ko) 2017-01-18 2017-01-18 차량의 보행자 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170008600A KR20180085211A (ko) 2017-01-18 2017-01-18 차량의 보행자 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180085211A true KR20180085211A (ko) 2018-07-26

Family

ID=63047768

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170008600A KR20180085211A (ko) 2017-01-18 2017-01-18 차량의 보행자 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20180085211A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102266996B1 (ko) * 2019-12-10 2021-06-18 성균관대학교산학협력단 이미지센서와 함께 회전 감지용 센서 또는 위치 센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102266996B1 (ko) * 2019-12-10 2021-06-18 성균관대학교산학협력단 이미지센서와 함께 회전 감지용 센서 또는 위치 센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법 및 장치

Similar Documents

Publication Publication Date Title
EP3229041B1 (en) Object detection using radar and vision defined image detection zone
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
CN107380164B (zh) 基于计算机视觉的驾驶员辅助系统和支持系统
CN106503653B (zh) 区域标注方法、装置和电子设备
US7672514B2 (en) Method and apparatus for differentiating pedestrians, vehicles, and other objects
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
JP4892518B2 (ja) 車両用外界認識装置、および、車両システム
US10846542B2 (en) Systems and methods for augmentating upright object detection
US20150298621A1 (en) Object detection apparatus and driving assistance apparatus
US20140156178A1 (en) Road marker recognition device and method
JP2013232091A (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
KR102051397B1 (ko) 안전운전 지원 장치 및 방법
JP2009237898A (ja) 画像認識装置
KR101995223B1 (ko) 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램
CN108021899A (zh) 基于双目相机的车载智能前车防撞预警方法
KR20140118157A (ko) 기계학습기법에 의한 자동차 충돌 경보 시스템 및 방법
KR20150145685A (ko) 위치정보를 이용한 제동대상 인식 장치 및 그 방법
JP2020046882A (ja) 情報処理装置、車両制御装置および移動体制御方法
US11667295B2 (en) Apparatus and method for recognizing object
JP2011103058A (ja) 誤認識防止装置
KR20190134303A (ko) 영상 인식 장치 및 그 방법
EP3495222A1 (en) Image-capturing device
KR20170138842A (ko) 템플릿 매칭 기반의 차량 추적 시스템 및 방법
JP3954053B2 (ja) 車両周辺監視装置
KR20180085211A (ko) 차량의 보행자 검출 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application