KR20190062852A - 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램 - Google Patents

보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램 Download PDF

Info

Publication number
KR20190062852A
KR20190062852A KR1020170161467A KR20170161467A KR20190062852A KR 20190062852 A KR20190062852 A KR 20190062852A KR 1020170161467 A KR1020170161467 A KR 1020170161467A KR 20170161467 A KR20170161467 A KR 20170161467A KR 20190062852 A KR20190062852 A KR 20190062852A
Authority
KR
South Korea
Prior art keywords
pedestrian
data
noise
distance information
mapping image
Prior art date
Application number
KR1020170161467A
Other languages
English (en)
Other versions
KR101995223B1 (ko
Inventor
김성호
손민석
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to KR1020170161467A priority Critical patent/KR101995223B1/ko
Publication of KR20190062852A publication Critical patent/KR20190062852A/ko
Application granted granted Critical
Publication of KR101995223B1 publication Critical patent/KR101995223B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B60W2420/62—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램이 개시된다. 본 발명의 일 실시예에 따른 보행자 검출 시스템은 레이저 센서가 대상 영역을 센싱하여 획득한 라이다 데이터에서 노이즈를 제거하여 보행자를 검출하는 보행자 검출부; 상기 노이즈가 제거된 상기 라이다 데이터를 2차원 직교 좌표계 형식으로 변환하고, 상기 2차원 직교 좌표계 형식으로 변환된 상기 라이다 데이터를 그리드 맵에 맵핑시켜 맵핑 영상 데이터를 획득하며, 상기 맵핑 영상 데이터에 상기 2차원 직교 좌표계 형식으로 변환된 상기 라이다 데이터의 수평 좌표를 거리 정보로 추가하여 맵핑 영상을 생성하는 맵핑 영상 생성부; 상기 거리 정보를 이용하여 상기 보행자에 대응되는 경계 박스의 크기를 설정하는 경계 박스 설정부; 및 카메라 센서가 상기 대상 영역을 촬영하여 획득한 촬영 영상에서 상기 보행자에 대응되는 부분에 설정된 크기의 상기 경계 박스를 표시하는 경계 박스 표시부를 포함한다.

Description

보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램{SYSTEM, MODULE AND METHOD FOR DETECTING PEDESTRIAN, COMPUTER PROGRAM}
본 발명의 실시예들은 영상에서 보행자 검출 기술과 관련된다.
최근, 자율 주행이 가능한 지능형 자동차에 대한 기술개발 및 연구가 증가하고 있으며, 특히 자율 주행의 핵심 기술인 첨단 운전자 지원 시스템(ADAS : Advanced Driving Assistance System) 중 하나인 자동 긴급 제동 시스템(AEBS : Automatic Emergency Braking System)에 대한 관심이 증가하고 있다.
AEBS는 자동차 전방의 충돌 사고를 예방하기 위한 기술로서, 다양한 환경에서 차량 전방의 보행자를 정확하고 빠르게 검출하는 것이 그 목적이다. 최근 레이저 센서를 통하여 보행자 검출이 이뤄지고 있는데, 레이저 센서가 획득한 라이다 데이터는 그리드 맵에 맵핑되면서 거리 정보를 잃어버리므로, 레이저 센서를 통한 보행자 검출에는 경계 박스의 크기를 설정하기 어려운 문제가 있다. 또한, 레이저 센서를 통한 보행자 검출 과정에서 노이즈가 보행자로 잘못 판단되는 문제가 있다.
이에, 최근 경계 박스의 크기를 적절히 설정하며 보행자가 아닌 객체를 보행자로 잘못 판단되는 것을 방지하기 위한 연구가 이루어지고 있다.
본 발명의 실시예들은 경계 박스의 크기를 적절히 설정하며 보행자가 아닌 객체를 보행자로 잘못 판단되는 것을 방지하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 레이저 센서가 대상 영영을 센싱하여 획득한 라이다 데이터와 카메라 센서가 상기 대상 영영을 촬영하여 획득한 촬영 영상을 정합시키는 센서 정합부; 상기 라이다 데이터에서 노이즈를 제거하여 보행자를 검출하는 보행자 검출부; 상기 노이즈가 제거된 상기 라이다 데이터를 2차원 직교 좌표계 형식으로 변환하고, 상기 2차원 직교 좌표계 형식으로 변환된 상기 라이다 데이터를 그리드 맵에 맵핑시켜 맵핑 영상 데이터를 획득하며, 상기 맵핑 영상 데이터에 상기 2차원 직교 좌표계 형식으로 변환된 상기 라이다 데이터의 수평 좌표를 거리 정보로 추가하여 맵핑 영상을 생성하는 맵핑 영상 생성부; 상기 거리 정보를 이용하여 상기 보행자에 대응되는 경계 박스의 크기를 설정하는 경계 박스 설정부; 및 카메라 센서가 상기 대상 영역을 촬영하여 획득한 촬영 영상에서 상기 보행자에 대응되는 부분에 설정된 크기의 상기 경계 박스를 표시하는 경계 박스 표시부를 포함하는, 보행자 검출 시스템이 제공된다.
상기 보행자 검출부는, 상기 라이더 데이터에서 설정된 값 이하인 신호 세기 정보를 포함하는 데이터를 노이즈로 판단하여 제거할 수 있다.
상기 보행자 검출부는, 상기 라이더 데이터에서 설정된 범위를 벗어나는 거리 정보를 포함하는 데이터를 노이즈로 판단하여 제거할 수 있다.
상기 보행자 검출부는, 상기 라이더 데이터에서 설정된 범위를 벗어나는 방위각 정보를 포함하는 데이터를 노이즈로 판단하여 제거할 수 있다.
상기 경계 박스 설정부는, 상기 맵핑 영상 데이터에 포함된 상기 거리 정보에 기초하여, 상기 보행자까지의 거리가 멀수록 상기 경계 박스의 크기를 작게 설정할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 레이저 센서가 대상 영역을 센싱하여 획득한 라이다 데이터에서 노이즈를 제거하여 보행자를 검출하는 보행자 검출부; 상기 노이즈가 제거된 상기 라이다 데이터를 2차원 직교 좌표계 형식으로 변환하고, 상기 2차원 직교 좌표계 형식으로 변환된 상기 라이다 데이터를 그리드 맵에 맵핑시켜 맵핑 영상 데이터를 획득하며, 상기 맵핑 영상 데이터에 상기 2차원 직교 좌표계 형식으로 변환된 상기 라이다 데이터의 수평 좌표를 거리 정보로 추가하여 맵핑 영상을 생성하는 맵핑 영상 생성부; 상기 거리 정보를 이용하여 상기 보행자에 대응되는 경계 박스의 크기를 설정하는 경계 박스 설정부; 및 카메라 센서가 상기 대상 영역을 촬영하여 획득한 촬영 영상에서 상기 보행자에 대응되는 부분에 설정된 크기의 상기 경계 박스를 표시하는 경계 박스 표시부를 포함하는, 보행자 검출 모듈이 제공된다.
상기 보행자 검출부는, 상기 라이더 데이터에서 설정된 값 이하인 신호 세기 정보를 포함하는 데이터를 노이즈로 판단하여 제거할 수 있다.
상기 보행자 검출부는, 상기 라이더 데이터에서 설정된 범위를 벗어나는 거리 정보를 포함하는 데이터를 노이즈로 판단하여 제거할 수 있다.
상기 보행자 검출부는, 상기 라이더 데이터에서 설정된 범위를 벗어나는 방위각 정보를 포함하는 데이터를 노이즈로 판단하여 제거할 수 있다.
상기 경계 박스 설정부는, 상기 맵핑 영상 데이터에 포함된 상기 거리 정보에 기초하여, 상기 보행자까지의 거리가 멀수록 상기 경계 박스의 크기를 작게 설정할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 보행자 검출부에서, 레이저 센서가 대상 영역을 센싱하여 획득한 라이다 데이터에서 노이즈를 제거하여 보행자를 검출하는 단계; 맵핑 영상 생성부에서, 상기 노이즈가 제거된 상기 라이다 데이터를 2차원 직교 좌표계 형식으로 변환하고, 상기 2차원 직교 좌표계 형식으로 변환된 상기 라이다 데이터를 그리드 맵에 맵핑시켜 맵핑 영상 데이터를 획득하며, 상기 맵핑 영상 데이터에 상기 2차원 직교 좌표계 형식으로 변환된 상기 라이다 데이터의 수평 좌표를 거리 정보로 추가하여 맵핑 영상을 생성하는 단계; 경계 박스 설정부에서, 상기 거리 정보를 이용하여 상기 보행자에 대응되는 경계 박스의 크기를 설정하는 단계; 및 경계 박스 표시부에서, 카메라 센서가 상기 대상 영역을 촬영하여 획득한 촬영 영상에서 상기 보행자에 대응되는 부분에 설정된 크기의 상기 경계 박스를 표시하는 단계를 포함하는, 보행자 검출 방법이 제공된다.
상기 보행자를 검출하는 단계는, 상기 라이더 데이터에서 설정된 값 이하인 신호 세기 정보를 포함하는 데이터를 노이즈로 판단하여 제거할 수 있다.
상기 보행자를 검출하는 단계는, 상기 라이더 데이터에서 설정된 범위를 벗어나는 거리 정보를 포함하는 데이터를 노이즈로 판단하여 제거할 수 있다.
상기 보행자를 검출하는 단계는, 상기 라이더 데이터에서 설정된 범위를 벗어나는 방위각 정보를 포함하는 데이터를 노이즈로 판단하여 제거할 수 있다.
상기 경계 박스의 크기를 설정하는 단계는, 상기 맵핑 영상 데이터에 포함된 상기 거리 정보에 기초하여, 상기 보행자까지의 거리가 멀수록 상기 경계 박스의 크기를 작게 설정할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 비일시적 컴퓨터 판독 가능한 저장매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 보행자 검출 시스템에 의해 실행될 때, 보행자 검출 시스템로 하여금, 레이저 센서가 대상 영역을 센싱하여 획득한 라이다 데이터에서 노이즈를 제거하여 보행자를 검출하고, 상기 노이즈가 제거된 상기 라이다 데이터를 그리드 맵에 맵핑시켜 맵핑 영상 데이터를 획득하며, 상기 맵핑 영상 데이터에 상기 노이즈가 제거된 상기 라이다 데이터의 거리 정보를 추가하여 맵핑 영상을 생성하고, 상기 맵핑 영상 데이터에 포함된 상기 거리 정보를 이용하여 상기 보행자에 대한 경계 박스의 크기를 설정하고, 그리고 카메라 센서가 상기 대상 영역을 촬영하여 획득한 촬영 영상에서 상기 보행자에 대응되는 부분에 설정된 크기의 경계 박스를 표시하도록 하는, 컴퓨터 프로그램이 제공된다.
라이다 데이터의 거리 정보를 이용하여 경계 박스의 크기를 설정함으로써, 경계 박스의 크기를 적절히 설정할 수 있다.
라이다 데이터에서 노이즈를 제거하여 보행자를 검출함으로써, 보행자가 아닌 객체를 보행자로 잘못 판단되는 것을 방지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 보행자 검출 시스템의 상세 구성을 나타낸 블록도
도 2는 본 발명의 일 실시예에 캘리브레이션을 위한 타겟을 나타낸 도면
도 3은 본 발명의 일 실시예에 따른 라이다 데이터를 나타낸 도면
도 4는 본 발명의 일 실시예에 따른 매칭점을 나타낸 도면
도 5는 본 발명의 일 실시예에 매칭점을 추출하는 과정을 설명하기 위한 도면
도 6은 본 발명의 일 실시예에 따른 노이즈 제거 과정을 설명하기 위한 도면
도 7은 본 발명의 일 실시예에 따른 가시화된 라이다 데이터 및 맵핑 영상을 나타내는 도면
도 8는 본 발명의 일 실시예에 따른 경계 박스가 표시된 촬영 영상을 나타내는 도면
도 9은 본 발명의 일 실시예에 따른 맵핑 영상 데이터에 거리 정보를 추가하는 과정을 설명하기 위한 도면
도 10은 본 발명의 일 실시예에 따른 경계 박스의 크기를 설정하는 과정을 설명하기 위한 도면
도 11은 본 발명의 일 실시예에 따른 보행자 검출 방법을 설명하기 위한 흐름도
도 12은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 도면들을 참조하여 본 발명의 실시 예에 대해 상세히 설명하기로 한다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
도 1은 본 발명의 일 실시예에 따른 보행자 검출 시스템(100)의 상세 구성을 나타낸 블록도이다. 도 1을 참조하면 본 발명의 일실시예에 따른 보행자 검출 시스템(100)은 센서 정합부(110) 및 보행자 검출 모듈(200)을 포함한다. 본 발명의 일실시예에 따른 보행자 검출 모듈(200)은 보행자 검출부(120), 맵핑 영상 생성부(130), 경계 박스 설정부(140) 및 경계 박스 표시부(150)를 포함한다.
상기 구성들은 별개의 구성인 것처럼 설명 또는 도시되지만, 이는 각각의 기능적인 부분을 나누어 설명하기 위하여 별개의 구성인 것처럼 설명 또는 도시되는 것이다. 따라서, 각각의 구성들의 기능은 별개의 부분에서 수행될 수 있음은 물론, 각각의 구성들의 기능은 동일한 부분에서 수행될 수 있음은 당업자에게 자명하다. 또한, 각각의 구성은 서로 전기적인 연결을 포함한 유선 또는 무선의 형태로 연결되어 데이터를 송신 또는 수신할 수 있도록 연결될 수 있다.
레이저 센서(10)는 대상 영역으로 레이저를 발사하여 상기 레이저 센서(10)로부터 대상 객체까지의 거리 정보 및 신호 세기 정보 등을 포함하는 3차원 구 좌표계 형식의 라이다 데이터(LIDAR, Light Detection And Ranging)를 획득할 수 있다. 카메라 센서(20)는 대상 영역을 촬영하여 2차원 직교 좌표계 형식의 촬영 영상을 획득할 수 있다.
센서 정합부(110)는 레이저 센서(10)가 대상 영영을 센싱하여 획득한 라이다 데이터와 카메라 센서(20)가 대상 영영을 촬영하여 획득한 촬영 영상을 정합시킨다. 구체적으로, 센서 정합부(110)는 대상 영역의 특징점을 추출하고, 레이저 센서(10)가 획득한 라이다 데이터를 2차원 직교 좌표계 형식으로 변환하고, 2차원 직교 좌표계 형식으로 변환된 라이다 데이터에 변환 행렬을 곱하여 카메라 센서(20)가 획득한 촬영 영상과 정합시킨다. 구체적인 영상 정합 과정은 아래의 캘리브레이션 작업을 참조한다.
캘리브레이션 작업에 대하여 구체적으로 살펴보도록 한다. 보행자 검출 시스템(100)이 레이저 센서(10)로부터 획득한 라이다 데이터에 포함되는 거리 정보를 이용하여 보행자에 대응되는 경계 박스의 크기를 설정하기 위해서는, 서로 다른 특성을 가진 레이저 센서(10) 및 카메라 센서(20)로부터 획득한 데이터들을 융합하기 위한 캘리브레이션 작업이 필요하다. 왜냐하면, 레이저 센서(10)가 획득한 라이다 데이터에 포함된 거리 정보는 3차원 구 좌표계 형식의 데이터로 구성되는 반면, 카메라 센서(20)가 획득한 촬영 영상은 2차원 직교 좌표계 형식의 영상으로 구성되기 때문이다.
캘리브레이션 작업을 위해서는 먼저, 3차원 구 좌표계 형식의 라이다 데이터를 2차원 직교 좌표계 형식으로 변환하는 것이 필요하다. 3차원 구 좌표계 형식의 라이다 데이터를 2차원 직교 좌표계 형식으로 변환하기 위해 아래의 수학식 1이 이용될 수 있다. r은 라이다 데이터에 포함된 거리이고 θ는 방위각이다. xi는 2차원 공간상의 수평 좌표, yi는 2차원 공간상의 수직 좌표를 나타낸다.
[수학식 1]
xi = ri * cosθi, yi = ri * cosθi
두 평면 공간에서의 매칭점(Maching Point)을 얻기 위해, 두 센서의 대응하는 특징점(Feature Point)이 추출되어야 한다. 이에 대한 구체적인 설명은 도 4와 함께 후술하기로 한다.
캘리브레이션 작업을 위한 변환행렬(Transformation Matrix)을 구하여야 한다. 본 발명의 일 실시예에 따른 변환행렬을 구함에 있어서는 특이치 분해(Singular Value Decomposition, SVD)가 이용된다. 카메라 센서(20)로 촬영된 영상에 대한 A 행렬(M * N)을 특이치 분해한 뒤에 나오는 U 행렬(M * N)의 마지막 열을 호모그래피(변환행렬)로 사용한다. 당업자는 수학식 2를 이용하여 호모그래피를 구하면, 특징점을 이용하여 쉽게 캘리브레이션 작업을 수행할 수 있다. U 및 V는 직교행렬, S는 대각행렬이며, H는 호모그래피, XC는 맵핑 영상 데이터, XL는 좌표계 변환이 수행된 라이다 데이터이다.
[수학식 2]
SVD(A) = U * S * V
H = U(:, end)
XC = H * XL
보행자 검출부(120)는 레이저 센서(10)가 대상 영역을 센싱하여 획득한 라이다 데이터에서 노이즈를 제거하여 보행자를 검출한다. 레이저 센서(10)가 대상 영역을 센싱하여 획득한 라이다 데이터에는 보행자 외 노이즈에 관한 데이터가 포함되어 있기 때문이다. 구체적으로, 보행자 검출부(120)는 라이다 데이터에서 설정된 값 이하(예를 들어, 잡음)인 신호 세기 정보를 포함하는 데이터를 노이즈로 판단하여 제거할 수 있다. 또한, 보행자 검출부(120)는 라이다 데이터에서 설정된 범위(예를 들어, 1mm부터 40m)를 벗어나는 거리 정보를 포함하는 데이터를 노이즈로 판단하여 제거할 수 있다. 또한, 보행자 검출부(120)는 라이다 데이터에서 설정된 범위(예를 들어, 도로가 아닌 인도)를 벗어나는 방위각 정보를 포함하는 데이터를 노이즈로 판단하여 제거할 수 있다.
맵핑 영상 생성부(130)는 노이즈가 제거된 상기 라이다 데이터를 2차원 직교 좌표계 형식으로 변환하고, 2차원 직교 좌표계 형식으로 변환된 라이다 데이터를 그리드 맵에 맵핑시켜 맵핑 영상 데이터를 획득하며, 맵핑 영상 데이터에 2차원 직교 좌표계 형식으로 변환된 라이다 데이터의 수평 좌표를 거리 정보로 추가하여 맵핑 영상을 생성한다. 맵핑 영상 데이터란 그리드 맵에 맵핑된 라이다 데이터를 말하며, 맵핑 영상이란 맵핑 영상 데이터에 거리 정보가 추가되어 생성된 영상을 말한다. 이하, 맵핑 영상 데이터에 거리 정보를 추가하는 과정에 대하여 구체적으로 설명한다.
라이다 데이터는 그리드 맵에 맵핑되는 과정에서 거리 정보를 잃어버리게 된다. 따라서, 맵핑 영상 데이터는 거리 정보를 포함하지 않는다. 이에, 맵핑 영상 데이터에 아래의 수학식 3과 같이 2차원 공간상의 수직 좌표인 xi를 포함시켜 거리 정보를 갖게 하여야 한다. 거리 정보가 맵핑 영상 데이터에 추가되면 맵핑 영상에서도 거리 정보를 사용할 수 있다. LIDARcartesian는 라이다 데이터, H는 호모그래피, XC는 맵핑 영상 데이터, XD는 거리 정보가 포함된 맵핑 영상 데이터이다.
[수학식 3]
LIDARcartesian = (xi, yi)
XC = H * LIDARcartesian = (xj, yj)
XD = (xj, yj, xi)
(i, j = 1, 2, 3, …, n)
경계 박스 설정부(140)는 맵핑 영상 데이터에 포함된 거리 정보를 이용하여 보행자에 대한 경계 박스의 크기를 설정한다. 구체적으로, 경계 박스 설정부(140)는 맵핑 영상 데이터에 포함된 거리 정보에 기초하여, 보행자까지의 거리가 멀수록 경계 박스의 크기를 작게 설정할 수 있다.
경계 박스 표시부(150)는 카메라 센서(20)가 상기 대상 영역을 촬영하여 획득한 촬영 영상에서 상기 보행자에 대응되는 부분에 설정된 크기의 경계 박스를 표시한다.
도 2는 본 발명의 일 실시예에 캘리브레이션을 위한 타겟을 나타낸 도면이다.
레이저 센서와 카메라 센서처럼 서로 다른 특성을 가진 두 센서를 융합하기 위해서는 캘리브레이션(Calibration) 작업이 필요하다. 본 발명의 일 실시예에 따른 캘리브레이션을 수행함에 있어서는 도 2에 도시된 바와 같이, 'ㄷ'모양과 'v'모양의 타겟이 이용될 수 있다. Target 1은 'ㄷ'모양의 타겟이며, Target 2는 'v'모양의 타겟이다. 'ㄷ' 모양의 타겟 또는 'v'모양의 타겟이 이용됨으로써 특징점이 쉽게 추출될 수 있다. 다만, 컬레브레이션 작업을 수행함에 있어서 타겟의 모양은 이에 한정되지 않으며, 다른 모양의 타겟이 이용될 수 있음은 당업자에게 자명하다.
도 3은 본 발명의 일 실시예에 따른 레이저 센서로부터 획득한 라이다 데이터를 나타낸 도면이다.
도 3의 왼쪽 도면에 도시된 바와 같이, 레이저 센서가 획득한 라이다 데이터에 포함된 거리 정보는 3차원 구 좌표계 형식의 데이터(방위각(AZIMUTH) 및 거리(DISTANCE))로 구성된다. 한편, 라이다 데이터는 신호 세기(SIGNAL_STRANGTH) 정보를 포함한다. 3차원 구 좌표계 형식의 라이다 데이터를 2차원 직교 좌표계 형식으로 변환하기 위해서는 전술한 바와 같이 수학식 1이 이용될 수 있다. 도 3의 오른쪽 도면에 도시된 바와 같이, 좌표계 변환이 수행되면 라이다 데이터가 가시적으로 표현될 수 있다. x축은 xi를 y축은 yi를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 매칭점을 나타낸 도면이다.
특징점은 양 끝점 및 코너 지점이 될 수 있다. 두 평면 공간에서의 매칭점(Maching Point)을 추출하기 위한 두 센서의 대응하는 특징점(Feature Point)으로서, 특징점(P1 - P4, P5 - P7)이 매칭점으로 사용될 수 있다.
도 5는 본 발명의 일 실시예에 매칭점을 추출하는 과정을 설명하기 위한 도면이다.
도 5의 왼쪽 도면에 도시된 바와 같이, 카메라 센서로 촬영된 영상에서는 해당 점의 좌표 값(P1, P2, P3, P4)이 특징점이 된다. 도 5의 오른쪽 도면에 도시된 바와 같이, 레이저 센서의 특징점은 라이다 데이터가 분할(Segmentation)된 후의 양 끝점(P1, P4) 및 라인 피팅(Line-Fitting)이 수행된 후의 직선의 교차점(P2, P3)이다.
도 6은 본 발명의 일 실시예에 따른 노이즈 제거 과정을 설명하기 위한 도면이다.
보행자 검출부는 레이저 센서가 대상 영역을 센싱하여 획득한 라이다 데이터에서 노이즈를 제거하여 보행자를 검출한다. 구체적으로, 보행자 검출부는 라이다 데이터에서 설정된 값 이하(예를 들어, 잡음)인 신호 세기 정보를 포함하는 데이터를 노이즈로 판단하여 제거할 수 있다. 또한, 보행자 검출부(120)는 라이다 데이터에서 설정된 범위(예를 들어, 1mm부터 40m)를 벗어나는 거리 정보를 포함하는 데이터를 노이즈로 판단하여 제거할 수 있다. 또한, 보행자 검출부는 라이다 데이터에서 설정된 범위(예를 들어, 도로가 아닌 인도)를 벗어나는 방위각 정보를 포함하는 데이터를 노이즈로 판단하여 제거할 수 있다. 도 6의 위쪽 도면은 노이즈가 제거되기 전의 도면이며, 도 6의 아래쪽 도면은 노이즈가 제거된 후의 도면이다. 도6에서 '+'로 표시된 부분은 보행자로 검출된 부분을 나타내며, 도 6에 표시된 박스 영역을 비교해 보면, 실제 보행자 외에 보행자로 검출된 부분이 제거된 것을 확인할 수 있다.
도 7은 본 발명의 일 실시예에 따른 가시화된 라이다 데이터 및 맵핑 영상을 나타내는 도면이다.
2차원 직교 좌표계 형식으로 변환된 라이다 데이터가 그리드 맵에 맵핑되면 맵핑 영상이 생성될 수 있다. 맵핑 영상 데이터는 픽셀을 가진 영상으로 다룰 수 있다. 다만, 도 7의 위쪽 도면에 도시된 바와 같이, 라이다 데이터는 그리드 맵에 맵핑되는 과정에서 거리 정보를 잃어버리게 되고, 도 7의 아래쪽 도면에 도시된 바와 같이, 맵핑 영상 데이터는 거리 정보를 포함하지 않는다.
도 8는 본 발명의 일 실시예에 따른 경계 박스가 표시된 촬영 영상을 나타내는 도면이다.
도 8은 거리 정보가 추가되지 않은 맵핑 영상 데이터를 이용하여 경계 박스의 크기를 설정하는데 있어서의 문제점을 보여준다. 보행자가 레이저 센서로부터 5m 거리에 존재하는 경우(위쪽 도면)와 10m 거리에 존재하는 경우(아래쪽 도면)의 경계 박스의 크기가 동일하다.
도 9은 본 발명의 일 실시예에 따른 맵핑 영상 데이터에 거리 정보를 추가하는 과정을 설명하기 위한 도면이다.
도 9의 위쪽 도면에 도시된 바와 같이, 거리 정보를 갖지 않는 맵핑 영상 데이터(x, y, Width, Height)에, 도 9의 아래쪽 도면에 도시된 바와 같이, 거리 정보(Dist.)를 추가할 수 있다. 맵핑 영상 데이터에 전술한 수학식 3과 같이 2차원 공간상의 수직 좌표인 xi를 포함시켜 거리 정보를 갖게 할 수 있다. 거리 정보를 맵핑 영상 데이터에 추가하면 맵핑 영상에서도 거리 정보를 사용할 수 있다.
도 10은 본 발명의 일 실시예에 따른 경계 박스의 크기를 설정하는 과정을 설명하기 위한 도면이다.
경계 박스 설정부는 맵핑 영상 데이터에 포함된 거리 정보를 이용하여 보행자에 대한 경계 박스의 크기를 설정한다. 구체적으로, 경계 박스 설정부는 맵핑 영상 데이터에 포함된 거리 정보에 기초하여, 보행자까지의 거리가 멀수록 경계 박스의 크기를 작게 설정할 수 있다. 도 10에 도시된 바와 같이 5m targets, 10m targets, 15m targets의 순서대로 경계 박스의 크기를 작게 설정할 수 있다.
도 11은 본 발명의 일 실시예에 따른 보행자 검출 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
먼저 보행자를 검출한다(S202). 구체적으로, 보행자 검출부에서, 상기 라이다 데이터에서 노이즈를 제거하여 보행자를 검출한다.
다음으로, 맵핑 영상을 생성한다(S204). 구체적으로, 맵핑 영상 생성부에서, 노이즈가 제거된 라이다 데이터를 2차원 직교 좌표계 형식으로 변환하고, 2차원 직교 좌표계 형식으로 변환된 라이다 데이터를 그리드 맵에 맵핑시켜 맵핑 영상 데이터를 획득하며, 맵핑 영상 데이터에 2차원 직교 좌표계 형식으로 변환된 라이다 데이터의 수평 좌표를 거리 정보로 추가하여 맵핑 영상을 생성한다.
다음으로, 경계 박스의 크기를 설정한다(S206). 구체적으로, 경계 박스 설정부에서, 상기 거리 정보를 이용하여 상기 보행자에 대응되는 경계 박스의 크기를 설정한다.
마지막으로, 경계 박스를 표시한다(S208). 구체적으로, 경계 박스 표시부에서, 카메라 센서가 상기 대상 영역을 촬영하여 획득한 촬영 영상에서 보행자에 대응되는 부분에 설정된 크기의 경계 박스를 표시한다.
도 12는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다.
도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되는 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 보행자 검출 시스템(100)일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
10 : 레이저 센서
20 : 카메라 센서
100 : 보행자 검출 시스템
110 : 센서 정합부
120 : 보행자 검출부
130 : 맵핑 영상 생성부
140 : 경계 박스 설정부
150 : 경계 박스 표시부

Claims (16)

  1. 레이저 센서가 대상 영영을 센싱하여 획득한 라이다 데이터와 카메라 센서가 상기 대상 영영을 촬영하여 획득한 촬영 영상을 정합시키는 센서 정합부;
    상기 라이다 데이터에서 노이즈를 제거하여 보행자를 검출하는 보행자 검출부;
    상기 노이즈가 제거된 상기 라이다 데이터를 2차원 직교 좌표계 형식으로 변환하고, 상기 2차원 직교 좌표계 형식으로 변환된 상기 라이다 데이터를 그리드 맵에 맵핑시켜 맵핑 영상 데이터를 획득하며, 상기 맵핑 영상 데이터에 상기 2차원 직교 좌표계 형식으로 변환된 상기 라이다 데이터의 수평 좌표를 거리 정보로 추가하여 맵핑 영상을 생성하는 맵핑 영상 생성부;
    상기 거리 정보를 이용하여 상기 보행자에 대응되는 경계 박스의 크기를 설정하는 경계 박스 설정부; 및
    상기 카메라 센서가 상기 대상 영역을 촬영하여 획득한 촬영 영상에서 상기 보행자에 대응되는 부분에 설정된 크기의 상기 경계 박스를 표시하는 경계 박스 표시부를 포함하는, 보행자 검출 시스템.
  2. 제 1항에 있어서,
    상기 보행자 검출부는, 상기 라이다 데이터에서 설정된 값 이하인 신호 세기 정보를 포함하는 데이터를 노이즈로 판단하여 제거하는, 보행자 검출 시스템.
  3. 제 1항에 있어서,
    상기 보행자 검출부는, 상기 라이다 데이터에서 설정된 범위를 벗어나는 거리 정보를 포함하는 데이터를 노이즈로 판단하여 제거하는, 보행자 검출 시스템.
  4. 제 1항에 있어서,
    상기 보행자 검출부는, 상기 라이다 데이터에서 설정된 범위를 벗어나는 방위각 정보를 포함하는 데이터를 노이즈로 판단하여 제거하는, 보행자 검출 시스템.
  5. 제 1항에 있어서,
    상기 경계 박스 설정부는, 상기 맵핑 영상 데이터에 포함된 상기 거리 정보에 기초하여, 상기 보행자까지의 거리가 멀수록 상기 경계 박스의 크기를 작게 설정하는, 보행자 검출 시스템.
  6. 상기 라이다 데이터에서 노이즈를 제거하여 보행자를 검출하는 보행자 검출부;
    상기 노이즈가 제거된 상기 라이다 데이터를 2차원 직교 좌표계 형식으로 변환하고, 상기 2차원 직교 좌표계 형식으로 변환된 상기 라이다 데이터를 그리드 맵에 맵핑시켜 맵핑 영상 데이터를 획득하며, 상기 맵핑 영상 데이터에 상기 2차원 직교 좌표계 형식으로 변환된 상기 라이다 데이터의 수평 좌표를 거리 정보로 추가하여 맵핑 영상을 생성하는 맵핑 영상 생성부;
    상기 거리 정보를 이용하여 상기 보행자에 대응되는 경계 박스의 크기를 설정하는 경계 박스 설정부; 및
    상기 카메라 센서가 상기 대상 영역을 촬영하여 획득한 촬영 영상에서 상기 보행자에 대응되는 부분에 설정된 크기의 상기 경계 박스를 표시하는 경계 박스 표시부를 포함하는, 보행자 검출 모듈.
  7. 제 6항에 있어서,
    상기 보행자 검출부는, 상기 라이다 데이터에서 설정된 값 이하인 신호 세기 정보를 포함하는 데이터를 노이즈로 판단하여 제거하는, 보행자 검출 모듈.
  8. 제 6항에 있어서,
    상기 보행자 검출부는, 상기 라이다 데이터에서 설정된 범위를 벗어나는 거리 정보를 포함하는 데이터를 노이즈로 판단하여 제거하는, 보행자 검출 모듈.
  9. 제 6항에 있어서,
    상기 보행자 검출부는, 상기 라이다 데이터에서 설정된 범위를 벗어나는 방위각 정보를 포함하는 데이터를 노이즈로 판단하여 제거하는, 보행자 검출 모듈.
  10. 제 6항에 있어서,
    상기 경계 박스 설정부는, 상기 맵핑 영상 데이터에 포함된 상기 거리 정보에 기초하여, 상기 보행자까지의 거리가 멀수록 상기 경계 박스의 크기를 작게 설정하는, 보행자 검출 모듈.
  11. 보행자 검출부에서, 상기 라이다 데이터에서 노이즈를 제거하여 보행자를 검출하는 단계;
    맵핑 영상 생성부에서, 상기 노이즈가 제거된 상기 라이다 데이터를 2차원 직교 좌표계 형식으로 변환하고, 상기 2차원 직교 좌표계 형식으로 변환된 상기 라이다 데이터를 그리드 맵에 맵핑시켜 맵핑 영상 데이터를 획득하며, 상기 맵핑 영상 데이터에 상기 2차원 직교 좌표계 형식으로 변환된 상기 라이다 데이터의 수평 좌표를 거리 정보로 추가하여 맵핑 영상을 생성하는 단계;
    상기 거리 정보를 이용하여 상기 보행자에 대응되는 경계 박스의 크기를 설정하는 단계; 및
    경계 박스 표시부에서, 상기 카메라 센서가 상기 대상 영역을 촬영하여 획득한 촬영 영상에서 상기 보행자에 대응되는 부분에 설정된 크기의 상기 경계 박스를 표시하는 단계를 포함하는, 보행자 검출 방법.
  12. 제 11항에 있어서,
    상기 보행자를 검출하는 단계는, 상기 라이다 데이터에서 설정된 값 이하인 신호 세기 정보를 포함하는 데이터를 노이즈로 판단하여 제거하는, 보행자 검출 방법.
  13. 제 11항에 있어서,
    상기 보행자를 검출하는 단계는, 상기 라이다 데이터에서 설정된 범위를 벗어나는 거리 정보를 포함하는 데이터를 노이즈로 판단하여 제거하는, 보행자 검출 방법.
  14. 제 11항에 있어서,
    상기 보행자를 검출하는 단계는, 상기 라이다 데이터에서 설정된 범위를 벗어나는 방위각 정보를 포함하는 데이터를 노이즈로 판단하여 제거하는, 보행자 검출 방법.
  15. 제 11항에 있어서,
    상기 경계 박스의 크기를 설정하는 단계는, 상기 맵핑 영상 데이터에 포함된 상기 거리 정보에 기초하여, 상기 보행자까지의 거리가 멀수록 상기 경계 박스의 크기를 작게 설정하는, 보행자 검출 방법.
  16. 비일시적 컴퓨터 판독 가능한 저장매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 보행자 검출 시스템에 의해 실행될 때, 보행자 검출 시스템로 하여금,
    레이저 센서가 대상 영역을 센싱하여 획득한 라이다 데이터에서 노이즈를 제거하여 보행자를 검출하고,
    상기 노이즈가 제거된 상기 라이다 데이터를 그리드 맵에 맵핑시켜 맵핑 영상 데이터를 획득하며, 상기 맵핑 영상 데이터에 상기 노이즈가 제거된 상기 라이다 데이터의 거리 정보를 추가하여 맵핑 영상을 생성하고,
    상기 맵핑 영상 데이터에 포함된 상기 거리 정보를 이용하여 상기 보행자에 대한 경계 박스의 크기를 설정하고, 그리고
    카메라 센서가 상기 대상 영역을 촬영하여 획득한 촬영 영상에서 상기 보행자에 대응되는 부분에 설정된 크기의 경계 박스를 표시하도록 하는, 컴퓨터 프로그램.
KR1020170161467A 2017-11-29 2017-11-29 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램 KR101995223B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170161467A KR101995223B1 (ko) 2017-11-29 2017-11-29 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170161467A KR101995223B1 (ko) 2017-11-29 2017-11-29 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램

Publications (2)

Publication Number Publication Date
KR20190062852A true KR20190062852A (ko) 2019-06-07
KR101995223B1 KR101995223B1 (ko) 2019-07-02

Family

ID=66849938

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170161467A KR101995223B1 (ko) 2017-11-29 2017-11-29 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램

Country Status (1)

Country Link
KR (1) KR101995223B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101303A (zh) * 2020-11-05 2020-12-18 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置以及计算机可读存储介质
KR20220121947A (ko) * 2021-02-25 2022-09-02 주식회사 에스오에스랩 센서를 이용한 보안 장치의 동작 방법
KR20220121948A (ko) * 2021-02-25 2022-09-02 주식회사 에스오에스랩 센서를 이용한 보안 장치의 동작 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230141103A (ko) 2022-03-31 2023-10-10 주식회사 비솔 Ai 학습을 위한 배경 데이터의 실사 기반 오브젝트 생성 시스템
KR20230146272A (ko) 2022-04-12 2023-10-19 주식회사 비솔 AI 학습을 위한 배경 데이터의 3d 그래픽 기반 캐릭터 생성 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003302470A (ja) * 2002-04-05 2003-10-24 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置および歩行者検出方法
KR20040046088A (ko) * 2002-11-26 2004-06-05 현대자동차주식회사 차량의 추돌 경보장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003302470A (ja) * 2002-04-05 2003-10-24 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置および歩行者検出方法
KR20040046088A (ko) * 2002-11-26 2004-06-05 현대자동차주식회사 차량의 추돌 경보장치 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101303A (zh) * 2020-11-05 2020-12-18 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置以及计算机可读存储介质
CN112101303B (zh) * 2020-11-05 2021-02-05 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置以及计算机可读存储介质
KR20220121947A (ko) * 2021-02-25 2022-09-02 주식회사 에스오에스랩 센서를 이용한 보안 장치의 동작 방법
KR20220121948A (ko) * 2021-02-25 2022-09-02 주식회사 에스오에스랩 센서를 이용한 보안 장치의 동작 방법

Also Published As

Publication number Publication date
KR101995223B1 (ko) 2019-07-02

Similar Documents

Publication Publication Date Title
KR101995223B1 (ko) 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
CN109059902B (zh) 相对位姿确定方法、装置、设备和介质
CN113486797B (zh) 无人车位置检测方法、装置、设备、存储介质及车辆
CN112861653B (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
CN110119698B (zh) 用于确定对象状态的方法、装置、设备和存储介质
CN109116374B (zh) 确定障碍物距离的方法、装置、设备及存储介质
US20210295090A1 (en) Electronic device for camera and radar sensor fusion-based three-dimensional object detection and operating method thereof
US11783507B2 (en) Camera calibration apparatus and operating method
JP2017134814A (ja) 点群データに基づく車両輪郭検出方法、および装置
EP3968266B1 (en) Obstacle three-dimensional position acquisition method and apparatus for roadside computing device
US10165246B2 (en) Method and device for processing stereoscopic data
JP2020042819A (ja) 運動ベクトル場の決定方法、運動ベクトル場の決定装置、機器、コンピュータ読み取り可能な記憶媒体及び車両
WO2022217988A1 (zh) 传感器配置方案确定方法、装置、计算机设备、存储介质及程序
CN113838125A (zh) 目标位置确定方法、装置、电子设备以及存储介质
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
KR102163774B1 (ko) 영상 인식 장치 및 그 방법
CN114255274A (zh) 基于二维码识别的车辆定位方法、系统、设备及存储介质
CN111833443A (zh) 自主机器应用中的地标位置重建
JP6631691B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法、及び、プログラム
CN113536867B (zh) 物体识别的方法、装置及系统
CN112639822A (zh) 一种数据处理方法及装置
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
CN111832347B (zh) 动态选取感兴趣区域的方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant