KR102367138B1 - 라이다 센서를 이용하여 횡단보도를 검출하는 방법 및 상기 방법을 수행하는 횡단보도 검출 장치 - Google Patents

라이다 센서를 이용하여 횡단보도를 검출하는 방법 및 상기 방법을 수행하는 횡단보도 검출 장치 Download PDF

Info

Publication number
KR102367138B1
KR102367138B1 KR1020210135744A KR20210135744A KR102367138B1 KR 102367138 B1 KR102367138 B1 KR 102367138B1 KR 1020210135744 A KR1020210135744 A KR 1020210135744A KR 20210135744 A KR20210135744 A KR 20210135744A KR 102367138 B1 KR102367138 B1 KR 102367138B1
Authority
KR
South Korea
Prior art keywords
crosswalk
point
area
detecting
points
Prior art date
Application number
KR1020210135744A
Other languages
English (en)
Inventor
천창환
이승용
Original Assignee
(주)뷰런테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)뷰런테크놀로지 filed Critical (주)뷰런테크놀로지
Priority to KR1020210135744A priority Critical patent/KR102367138B1/ko
Priority to US17/582,678 priority patent/US20230111364A1/en
Application granted granted Critical
Publication of KR102367138B1 publication Critical patent/KR102367138B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4873—Extracting wanted echo signals, e.g. pulse detection by deriving and controlling a threshold value
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/52—Radar, Lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Abstract

본 발명의 실시예에 따른 횡단보도 검출 장치에 의해 수행되는 횡단보도를 검출하는 방법은, 라이다 센서로부터, 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 단계; 포인트 데이터에 포함된 복수의 포인트들의 세기에 기초하여, 복수의 포인트들 중에서 적어도 하나의 횡단보도 포인트를 검출하는 단계; 및 적어도 하나의 횡단보도 포인트의 위치에 기초하여, 횡단보도를 검출하는 단계를 포함할 수 있다.

Description

라이다 센서를 이용하여 횡단보도를 검출하는 방법 및 상기 방법을 수행하는 횡단보도 검출 장치{METHOD OF DETECTION CROSSWALK USING LIDAR SENSOR AND CROSSWALK DETECTION DEVICE PERFORMING METHOD}
본 발명은 라이다 센서를 이용하여 횡단보도를 검출하는 방법 및 상기 방법을 수행하는 횡단보도 검출 장치에 관한 것이다.
라이다(Light Detection And Ranging, LiDAR)는 고출력의 펄스 레이저를 이용하여 물체에 반사되어 돌아오는 레이저 빔의 시간을 측정하여 거리 정보를 획득하는 기술로, 자율주행차량, 지구환경 관측, 대기분석, 및 무인기기 등 다양한 분야에 활용되고 있다. 최근에는 상기 라이다가 3D 리버스 엔지니어링, 자율주행 및 무인 자동차를 위한 레이저 스캐너 및 3D 영상 카메라의 핵심 기술로 활용되면서 그 활용성과 중요성이 점차 증가되고 있다.
한편, 자율주행을 위해서는 차량의 위치를 정밀하게 파악하는 것이 필요하다. 현재는 GPS 센서를 이용하여 차량의 위치를 파악하고 있지만, 자율주행을 위해서는 차량의 위치를 수 센티미터 이내의 오차로 구분할 수 있어야 하기 때문에 차량의 위치를 보다 정밀하게 측정할 필요가 있다.
차량의 위치를 보다 정확하게 측정하기 위해서는, 관성 측정 장치 또는 주행거리 측정 장치와 같은 차량 내부의 감지 정보와 GPS, 라이다, 카메라, 레이더와 같은 차량 외부의 센서들을 이용하여 검출된 정보들을 융합, 보완하는 것이 일반적이다. 이러한 차량 외부의 센서들은 건물의 벽, 가드레일, 차선, 이정표, 신호등 과 같은 도로의 특징 정보들을 추출할 수 있으며, 추출된 정보들은 고정밀지도와 함께 정밀한 위치를 추정하는데 이용된다.
차량의 위치와 관련된 정보들 중에서 횡단보도의 위치 정보는 자율주행 차량의 도심 주행 시 차량의 종 방향 위치를 추정하기 위해 이용될 수 있다. 따라서, 정밀한 횡단보도 검출 결과는 정밀 측위 기술 결과의 성능을 높이는데 큰 도움을 줄 수 있다.
종래 카메라 센서를 이용하여 횡단보도를 검출하는 방법은, 급격한 조도 변화에 따른 횡단보도를 검출하는 성능 저하가 크고, 정확한 거리 정보를 측정하기 어려운 단점을 가지고 있다. 또한, 카메라 센서를 이용하는 경우, 그림자와 같이 빛에 의해 발생할 수 있는 주행 환경에서의 다양한 요소들에 의해 오인식 사례가 발생할 수 있어 문제된다.
따라서, 조도 변화 및 다양한 주행 환경에서도 강건한 횡단보도를 검출하는 방법이 문제된다.
본 발명이 해결하고자 하는 과제는, 라이다 센서를 이용하여 횡단보도를 검출하는 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 횡단보도 검출 장치에 의해 수행되는 횡단보도를 검출하는 방법은, 라이다 센서로부터, 상기 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 단계; 상기 포인트 데이터에 포함된 복수의 포인트들의 세기에 기초하여, 상기 복수의 포인트들 중에서 적어도 하나의 횡단보도 포인트를 검출하는 단계; 및 상기 적어도 하나의 횡단보도 포인트의 위치에 기초하여, 상기 횡단보도를 검출하는 단계를 포함한다.
상기 적어도 하나의 횡단보도 포인트를 검출하는 단계는, 상기 복수의 포인트들의 세기를 가우시안 혼합 모델에 적용하여, 상기 복수의 포인트들을 노면에 대응하는 노면 포인트와 상기 횡단보도 포인트로 구분하는 단계를 포함할 수 있다.
상기 적어도 하나의 횡단보도 포인트를 검출하는 단계는, 상기 횡단보도 검출 장치 또는 상기 라이다 센서에 의해 검출된 주변 영역을 차량 진행방향으로의 소정 너비와 상기 차량 진행방향에 수직한 방향의 소정 폭을 갖는 횡단보도 셀로 구획하는 단계를 포함하고, 상기 구획된 횡단보도 각 셀 영역에서 횡단보도 포인트를 검출할 수 있다.
상기 적어도 하나의 횡단보도 포인트를 검출하는 단계는, 상기 각 횡단보도 셀에 포함된 복수 포인트들의 세기 차이에 의해 상기 복수의 포인트들을 가우시안 혼합 모델에 적용하여 포인트 세기의 임계 값을 연산하는 단계; 및 상기 각 횡단보도 셀에 포함된 상기 복수 포인트들 중에서 포인트의 세기가 상기 임계 값 이상인 포인트를 횡단보도 포인트로 결정하는 단계를 더 포함할 수 있다.
상기 횡단보도 검출 방법은, 적어도 하나의 횡단보도 포인트를 검출하는 단계 이전에 수행되는, 상기 포인트 데이터에 포함된 복수의 포인트들의 세기에 기초하여, 노면을 검출하는 단계를 더 포함하고, 상기 노면을 검출하는 단계는, 상기 복수의 포인트들 중에서 선택된 제 1 포인트들을 이용하여, 제 1 평면을 생성하는 단계; 상기 복수의 포인트들 중에서 선택된 제 2 포인트들을 이용하여, 상기 제 1 평면과 상이한 제 2 평면을 생성하는 단계; 및 상기 제 1 평면에 포함된 제 1 인라이어 포인트의 개수가 상기 제 2 평면에 포함된 제 2 인라이어 포인트의 개수보다 많은 경우, 상기 제 1 평면을 도로의 노면으로 검출하는 단계를 포함하고, 상기 적어도 하나의 횡단보도 포인트는 상기 제 1 평면에 포함할 수 있다.
상기 횡단보도를 검출하는 단계는, 상기 횡단보도 검출 장치 또는 라이다 센서에 의해 검출된 주변 영역을 차량 진행방향으로 소정의 길이를 가지며, 상기 진행방향에 수직한 횡방향에 있어서의 상기 주변영역의 폭과 동일한 폭을 갖는 횡단보도 후보 영역으로 구획하는 단계; 및 상기 구획된 횡단보도 후보 영역에 포함된 상기 적어도 하나의 횡단보도 포인트의 위치에 기초하여, 횡단보도 영역을 검출하는 단계를 포함하되, 상기 구분된 횡단보도 후보 영역에서 각각 상기 횡단보도 영역을 검출할 수 있다.
상기 횡단보도 영역을 검출하는 단계는, 상기 적어도 하나의 횡단보도 포인트 중에서 상기 횡단보도 후보 영역에 포함된 복수의 횡단보도 영역 포인트에 대하여, 상기 라이다 센서를 기준으로 상기 라이다 센서의 좌측 횡방향으로 잇는 기준선으로부터 상기 라이다 센서와 상기 횡단보도 영역 포인트를 잇는 직선 사이의 각도에 기초해 0이상의 정수값 중에서 상기 횡단보도 영역 포인트의 인덱스 값을 순서대로 생성하는 단계; 상기 생성된 인덱스 값이 가장 가까운 상기 횡단보도 영역 포인트 사이의 길이가 소정의 제 1 길이 이하인 경우에만, 상기 인접하는 횡단보도 영역 포인트를 연결하는 단계; 상기 연결된 횡단보도 영역 포인트 중에서 상기 인덱스 값이 가장 작은 횡단보도 영역 포인트와 상기 인덱스 값이 가장 큰 횡단보도 영역 포인트를 직선으로 연결한 복수의 횡단보도 라인을 생성하는 단계; 및 상기 생성된 복수의 횡단보도 라인의 길이가 소정의 제 2 길이 이상인 상기 생성된 복수의 횡단보도 라인의 개수가 소정의 개수 이상인 경우, 상기 횡단보도 후보 영역을 상기 횡단보도 영역으로 검출하는 단계를 포함할 수 있다.
상기 인덱스 값을 순서대로 생성하는 단계는, 상기 각도가 큰 상기 횡단보도 영역 포인트의 인덱스 값이 크도록 상기 인덱스 값을 생성하는 단계를 포함할 수 있다. 상기 횡단보도를 검출하는 단계는, 상기 검출된 횡단보도 영역을 상기 차량 진행방향으로 연결하여 횡단보도를 검출하는 단계를 더 포함할 수 있다.
상기 횡단보도를 검출하는 방법은, 제 1 시점에서 상기 검출된 횡단보도와 상기 라이다 센서의 이동정보를 이용하여 제 1 시점 소정 시간 후인 제 2 시점에서 상기 횡단보도의 위치를 예측하는 단계; 및 상기 예측된 횡단보도의 위치와 제 2 시점에서 검출된 횡단보도의 위치 사이의 오차를 이용하여, 횡단보도의 위치를 보정하는 단계를 더 포함할 수 있다.
본 발명의 다른 측면에 따른 횡단보도 검출 장치는 라이다 센서로부터, 상기 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 송수신기; 및 상기 송수신기를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 포인트 데이터에 포함된 복수의 포인트들의 세기에 기초하여, 상기 복수의 포인트들 중에서 상기 횡단보도에 대응되는 적어도 하나의 횡단보도 포인트를 검출하고, 상기 적어도 하나의 횡단보도 포인트를 이용하여 상기 횡단보도를 검출한다.
본 발명의 실시예에 따라, 라이다 센서로부터 획득한 포인트 데이터를 이용하여 셀 기반의 적응적 횡단보도 포인트 추출 방법을 사용함으로써, 급격한 조도 변화 또는 다양한 주행 환경에서도 강건하게 횡단보도를 검출할 수 있다.
또한, 라이다를 이용하여 노면을 검출하고, 횡단보도 포인트를 추출한 후 추출된 횡단보도 포인트를 이용하여 횡단보도를 검출함으로써 정확한 거리 정보를 제공할 수 있고, 정확한 위치를 파악하여 횡단보도 주변 객체에 대한 위험도 판단 및 횡단보도 검출 시 차량 속도 제어와 같은 다양한 추가 기능을 위해 활용될 수 있는 정보를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 횡단보도 검출 장치 및 라이다 센서를 포함하는 횡단보도 검출 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 횡단보도 셀을 설정하는 일 예시이다.
도 3은 횡단보도 검출부가 횡단보도 포인트가 포함된 영역을 종방향으로 횡단보도 후보 영역을 구분한 예시를 나타낸다.
도 4는 횡단보도 검출부가 구분된 횡단보도 후보 영역에서, 횡단보도 포인트의 순서를 결정하고 횡단보도 포인트 사이 길이를 비교하는 일 예시를 나타낸다.
도 5는 구분된 횡단보도 후보 영역의 횡단보도 라인 길이를 측정하여, 횡단보도 영역을 결정하는 일 예시를 나타낸다.
도 6은 결정된 횡단보도 영역을 연결하여 횡단보도를 검출하는 일 예시를 나타낸다.
도 7은 횡단보도 검출 시스템에 포함된 횡단보도 검출 장치를 하드웨어적 측면에서 설명하기 위한 블록 구성도이다.
도 8은 본 발명의 실시예에 따라 횡단보도 검출 장치가 횡단보도를 검출하는 방법을 나타내는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 횡단보도 검출 장치 및 라이다 센서를 포함하는 횡단보도 검출 시스템을 나타내는 블록도이다.
본 명세서에서는, 설명의 편의상, 횡단보도 검출 시스템(10)이 자율주행차량(이하 간략하게, 차량)에 탑재되는 것으로 설명하지만, 이에 한정되지 않는다. 즉, 횡단보도 검출 시스템(10)은 자율주행차량 뿐만 아니라 드론 등의 무인 이동체에도 탑재될 수 있으며, 자율주행체나 무인 이동체가 아닌 다른 이동 가능한 이동체(자동차, 오토바이, 비행체 등)에도 탑재될 수 있다.
뿐만 아니라, 본 명세서에서 라이다 센서(200)는 횡단보도 검출 장치(100)와 구분되는 별개의 장치로서, 횡단보도 검출 장치(100)로 포인트 데이터를 전송하는 것으로 설명하지만, 이에 한정되지 않는다. 즉, 실시예에 따라, 라이다 센서(200)는 횡단보도 검출 장치(100)에 포함될 수 있으며, 이와 같은 경우, 라이다 센서(200)는 내부 시그널링 등을 통해 후술할 포인트 데이터 수신부(110)로 포인트 데이터를 전송할 수 있다.
라이다 센서(200)는 소정의 방향(예컨대, 횡단보도 검출 장치의 이동 방향(전방)뿐만 아니라, 측방, 후방을 포함하는 360도 방향)으로 레이저를 방사하고, 주위의 지형지물 등에 의해 반사된 레이저를 수신할 수 있다. 라이다 센서(200)는 반사된 레이저를 통해 포인트 데이터를 수집할 수 있다. 여기에서, 포인트 데이터는 점 구름으로 어떤 좌표계에 속한 점들의 집합을 의미할 수 있다. 3차원 좌표계에서 점은 보통 X, Y, Z 좌표로 정의되며 종종 사물의 표면을 나타내기 위해 사용되기도 한다. 또한, 라이다 센서(200)는 포인트 데이터에 포함된 포인트의 반사 세기(intensity)를 수집할 수 있다.
횡단보도 검출 장치(100)는 라이다 센서(200)로부터 포인트 데이터를 수신하고, 수신된 포인트 데이터를 이용하여 횡단보도 검출 장치(100)(또는 횡단보도 검출 장치(100)가 탑재된 차량)의 주변에 위치하는 횡단보도를 검출할 수 있다. 또한, 횡단보도 검출 장치(100)는 검출된 횡단보도와 차량의 이동 정보를 이용하여, 횡단보도의 위치를 안정적으로 검출할 수 있다.
이를 위해, 횡단보도 검출 장치(100)는 횡단보도 검출을 위한 기능을 개념적으로 나타내는 포인트 데이터 수신부(110), 노면 검출부(120), 횡단보도 포인트 검출부(130), 횡단보도 검출부(140) 및 횡단보도 추적부(150)를 포함할 수 있다.
포인트 데이터 수신부(110)는 라이다 센서(200)가 수집한 포인트 데이터들을 수신할 수 있다. 포인트 데이터 수신부(110)가 수신하는 포인트 데이터들은 라이다 센서(200) 주변에서 획득된 포인트 데이터일 수 있다.
노면 검출부(120)는 포인트 데이터 수신부(110)가 수신한 포인트 데이터들을 이용하여 도로의 노면을 검출할 수 있다. 여기서, 도로의 노면은 도로 상 또는 도로 주위의 장애물 등을 제외한 도로의 표면을 의미할 수 있다.
실시예에 따라, 노면 검출부(120)는 평면 피팅 방법을 이용하여 도로의 노면을 검출할 수 있다.
보다 자세하게는, 노면 검출부(120)는 수신한 포인트 데이터 중에서 소정의 개수(예컨대, 4개)의 포인트들을 선택하고, 선택한 포인트들을 포함하는 평면(ax+by+cz+d=0)을 생성할 수 있다.
이후, 노면 검출부(120)는 평면을 생성하는데 이용한 포인트와는 상이한 포인트 중에서 상기 평면에 대한 인라이어(inlier) 포인트를 결정할 수 있다. 여기서, 인라이어 포인트는 생성한 평면과의 수직 거리가 소정의 값 이하인 포인트를 의미할 수 있다.
노면 검출부(120)는 위의 과정을 복수 번 반복하여 복수 개의 평면들을 생성할 수 있다. 노면 검출부(120)는 생성한 복수 개의 평면들 중에서 인라이어 포인트 개수가 가장 많은 평면을 도로의 노면(표면)으로 선택할 수 있다.
노면 검출부(120)가 평면을 생성하는 과정을 반복하는 횟수는 기 설정된 값으로서, 수신한 포인트 데이터에 포함된 포인트들의 개수에 기초하여 결정된 값일 수 있다. 예컨대, 상기 횟수는 수신한 포인트 데이터에 포함된 포인트들 중에서 서로 다른 소정의 개수의 포인트들을 선택하는 경우의 수이거나, 상기 경우의 수보다는 작은 수 중에서 기 설정된 수일 수 있다.
노면 검출부(120)가 검출한 노면 평면에 포함된 인라이어 포인트에는 횡단보도에 해당하는 횡단보도 포인트와 노면에 해당하는 노면 포인트를 포함할 수 있다.
이어서, 횡단보도 포인트 검출부(130)은 노면 검출부가 검출한 노면 평면의 인라이어 포인트의 세기를 이용하여 노면 포인트와 횡단보도 포인트를 구분하여 횡단보도 포인트를 검출할 수 있다. 이는, 도로의 노면 중에서 횡단보도의 반사율이, 횡단보도가 아닌 표면의 반사율에 비해 높기 때문이다.
일 실시예에서, 횡단보도 포인트 검출부(130)는 획득된 복수의 포인트들의 세기를 가우시안 혼합 모델(gaussian mixture model, GMM)에 적용하여, 복수의 포인트들을 노면에 대응하는 노면 포인트와 횡단보도 포인트로 구분하여, 횡단보도 포인트를 검출할 수 있다.
또한, 횡단보도 포인트 검출부(130)는 주행 상황에 적응적으로(주변 환경에 기초하여) 설정된 임계 값을 이용하여 인라이어 포인트들 중에서 횡단보도 포인트를 추출할 수 있다. 즉, 횡단보도 포인트 추출부(230)는 인라이어 포인트의 세기와 적응적으로 설정된 임계 값을 비교하여, 세기가 임계 값 이상(초과)인 인라이어 포인트는 횡단보도 포인트에 해당한다고 결정할 수 있다.
이는, 주행 상황(즉, 주변 환경)을 고려하지 않고, 하나의 임계 값만을 이용하여 횡단보도 포인트를 추출하는 경우, 다양한 주행 상황(주간, 야간, 우천시 등과 같은 조도 양의 차이 또는 터널 진입, 구조물 또는 차량에 의한 음영 지역과 같은 조도의 급격한 변화)에서 적절한 횡단보도 포인트가 추출되지 못할 수도 있기 때문이다.
여기서, 다양한 주행 상황이라 함은, 주간, 야간, 우천시 등과 같이 조도가 차이 나는 상황이나, 터널 진입, 구조물 또는 차량에 의한 음영 지역 발생 등 조도 변화가 급격하게 발생하는 상황을 의미할 수 있다.
따라서, 횡단보도 포인트 검출부(130)는 주행 상황의 변화에 강인하게 횡단보도 포인트를 추출하기 위해, 주행 상황에 따라 적응적으로 설정된 임계 값을 이용하여 횡단보도 포인트를 추출할 수 있다.
예를 들어, 횡단보도 포인트 검출부(130)는 횡단보도 검출 장치(100) 또는라이다 센서(200)에 의해 검출된 주변영역에 횡단보도 셀을 설정하고, 각 횡단보도 셀마다 적응적으로 임계 값을 각각 설정하여 각 횡단보도 셀에서 노면 포인트와 횡단보도 포인트를 구분하여, 횡단보도 포인트를 검출할 수 있다.
여기서, 횡단보도 셀은 횡단보도 검출 장치(100) 또는 라이다 센서(200)에 의해 검출된 영역일 수 있다. 상기 영역은 라이다 센서의 포인트 신호가 반사되어 돌아온 영역을 의미하고, 그 중에서 노면 또는 횡단보도에 의해 반사되어 수신된 포인트가 포함된 영역일 수 있다.
도 2는 본 발명의 실시예에 따른 횡단보도 셀을 설정하는 일 예시이다.
도 2를 더 참조하면, 횡단보도의 단 크기는 차량(v)의 주행 방향과 평행한 방향인 종방향 길이(b)와 차량(v)의 주행방향과 수직하고 노면과 평행한 횡방향 길이(a)로 정의될 수 있다. 횡단보도의 단 크기(a x b) 및 횡단보도의 단과 단 사이의 길이는 국가의 법률 및 규정에 따라 상이하게 정의될 수 있다. 예를 들어, 대한민국의 도로교통공단에서 규정한 횡단보도의 단의 횡방향 길이(a)는 50cm이고, 횡단보도의 단의 종방향 길이(b)는 600cm이며, 횡단보도의 단과 단 사이의 거리는 75cm이다.
횡단보도 포인트 검출부(130)는 규정된 횡단보도의 크기에 기초하여 횡단보도 셀을 생성할 수 있다. 일 실시예에 따라, 횡단보도 포인트 검출부(130)가 생성하는 횡단보도 셀은 차량 진행방향으로의 소정 너비와 상기 차량 진행방향에 수직한 방향의 소정 폭을 갖는 직사각형 셀일 수 있다.
또한, 횡단보도 포인트 검출부(130)는 횡단보도의 크기를 고려하여, 횡단보도 셀의 크기(c x d)를 설정할 수 있다. 횡단보도 셀 내에서 노면 포인트와 횡단보도 포인트를 구분해야 하기 때문에 횡단보도 셀의 횡방향 길이는 횡단보도의 단의 횡방향 길이 또는 횡단보도의 횡방향 길이와 횡단보도의 단과 단사이 길이를 더한 길이보다 길게 설정될 수 있다. 예를 들어, 횡단보도 셀의 횡방향 길이(c)는 150cm일 수 있고, 횡단보도 셀의 종방향 길이(d)는 500cm일 수 있다.
횡단보도 포인트 검출부(130)는 설정된 각 횡단보도 셀마다 셀기반 가우시안 혼합 모델을 적용하여 연산된 포인트의 반사 세기 임계 값을 이용하여 각 횡단보도 셀에서 노면 포인트와 횡단보도 포인트를 구분하고 횡단보도 포인트를 검출할 수 있다.
보다 자세하게는, 횡단보도 셀에 포함된 횡단보도 포인트와 노면 포인트의 반사 세기의 차이가 나기 때문에, 횡단보도 셀에 포함된 인라이어 포인트들에 가우시안 혼합 모델을 적용할 경우, 두 개의 가우시안 분포가 혼합된 형태로 모델링될 수 있으며, 횡단보도 포인트 검출부(130)는 두 개의 혼합된 가우시안 분포를 이용하여 임계 값을 결정할 수 있다.
이어서, 횡단보도 포인트 검출부(130)는 각 횡단보도 셀마다 정해진 임계 값을 기준으로 임계 값 이상인 인라이어 포인트를 횡단보도 포인트로 검출할 수 있다.
이처럼, 횡단보도 포인트 검출부(130)가 횡단보도 셀을 나누어 각 셀마다 횡단보도 포인트를 검출하기 위한 포인트 세기의 임계 값을 달리함으로써, 횡단보도 검출 장치(100)는 고정된 임계 값을 이용하지 않으므로 주간/야간 또는 우천 상황에서도 적응적으로 횡단보도 포인트를 검출할 수 있고, 횡단보도의 단이 일부 옅어진 경우나, 횡단보도 내에 음영지역이 발생한 경우에도 횡단보도 포인트를 검출할 수 있다.
이하, 도 3 내지 도 6에서는 횡단보도 검출부(100)가 검출된 횡단보도 포인트를 이용하여 횡단보도를 검출하는 방법을 살펴본다.
횡단보도 검출부(140)는 횡단보도 포인트 검출부(130)가 검출한 횡단보도 포인트를 기초로, 검출된 횡단보도 포인트가 위치하는 영역이 횡단보도 영역인지 아닌지를 판단하고, 횡단보도를 검출할 수 있다.
도 3은 횡단보도 검출부가 횡단보도 포인트가 포함된 영역을 종방향으로 횡단보도 후보 영역을 구분한 예시를 나타낸다.
도 3을 더 참조하면, 먼저, 횡단보도 검출부(140)는 횡단보도 포인트 검출부(130)가 라이다 센서(또는 라이다 센서를 탑재한 차량(V))의 종방향 또는 차량의 진행 "?향으?* 소정의 길이(e)를 가지며, 상기 진행방향에 수직한 횡방향에 있어서의 상기 주변영역의 폭과 동일한 폭을 갖는 횡단보도 후보 영역으로 할 수 있다. 구획된 영역중에 횡단보도 포인트가 위치하는 영역을 횡단보도 후보 영역(300-1,300-2,300-3,300-4)으로 정할 수 있다. 여기서, 소정 길이(e)는 0.2m일 수 있다. 이어서, 횡단보도 검출부(140)는 각 횡단보도 후보 영역에서 횡단보도 포인트 사이의 거리를 이용하여, 각 횡단보도 후보 영역이 횡단보도 영역에 해당하는 지를 판단할 수 있다.
도 4는 횡단보도 검출부가 구분된 횡단보도 후보 영역에서, 횡단보도 포인트의 순서를 결정하고 횡단보도 포인트 사이 길이를 비교하는 일 예시를 나타낸다.
도 4의 (a)를 더 참조하면, 횡단보도 검출부(140)는 횡단보도 후보 영역(300-1)에 포함된 횡단보도 포인트의 위치에 기초하여, 횡단보도 포인트의 인덱스 값을 생성할 수 있다. 보다 자세하게는, 횡단보도 검출부(140)는 라이다 센서(200)를 기준으로 라이다 센서(200)의 좌측 횡방향으로 잇는 기준선으로부터, 라이다 센서(200)와 횡단보도 영역 포인트를 잇는 직선 사이의 각도에 기초해 0이상의 정수 값 중에서 횡단보도 영역 포인트의 인덱스 값을 순서대로 생성할 수 있다. 실시예에 따라, 횡단보도 검출부(140)는 각도가 큰 횡단보도 영역 포인트의 인덱스 값이 크도록 횡단보도 영역 포인트의 인덱스 값을 생성할 수 있다.
이어서, 도 4의 (b)를 더 참조하면, 횡단보도 검출부(140)는 생성된 인덱스 값에 따라 횡단보도 포인트들(401-1, ... , 401-8)을 인덱스 값이 가장 가까운 횡단보도 포인트 사이의 길이가 소정의 제 1 길이 이하인 경우에만 인접하는 횡단보도 포인트를 연결할 수 있다. 여기에서 소정의 제 1 길이는 횡단보도의 단과 단 사이의 길이 일 수 있다.
예를 들어, 횡단보도 검출부(140)는 소정의 길이 이하인 인접하는 횡단보도 포인트 400-1 내지 401-4 및 401-5 내지 401-7을 연결할 수 있으나, 소정의 길이를 초과하는 횡단보도 포인트 401-4와 401-5 및 401-7과 401-8은 연결하지 않을 수 있다.
이어서, 횡단보도 검출부(140)는 연결된 횡단보도 포인트 각각에서 가장 인덱스 값이 작은 점과 가장 인덱스 값이 큰 점을 직선으로 연결한 횡단보도 라인을 생성할 수 있다. 예를 들어, 횡단보도 라인은 횡단보도 포인트 401-1과 401-4를 직선으로 연결한 선분과 횡단보도 포인트 401-5와 401-7을 연결한 선분일 수 있다.
횡단보도 검출부(140)는 횡단보도 라인의 길이를 이용하여 횡단보도 후보 영역(300-1)이 횡단보도 영역인지를 결정할 수 있다.
도 5는 구분된 횡단보도 후보 영역의 횡단보도 라인 길이를 측정하여, 횡단보도 영역을 결정하는 일 예시를 나타낸다.
도 5를 더 참조하면, 횡단보도 검출부(140)는 횡단보도 라인(501-1,501-2,501-3,503-1,503-2,503-3)이 생성되면, 각 횡단보도 라인(501-1,501-2,501-3,503-1,503-2,503-3)의 길이를 연산하고, 연산된 길이가 소정의 제 2 길이 이상인 횡단보도 라인의 개수를 카운트한다.
이어서, 횡단보도 검출부(140)는 카운트된 소정의 제 2 길이 이상인 횡단보도 라인의 개수가 기 설정된 소정의 개수 이상인 경우, 횡단보도 후보 영역(300-1)을 횡단보도 영역으로 결정할 수 있다.
예를 들어, 횡단보도 검출부(140)는 소정의 제 2 길이 이상인 횡단보도 라인(501-1,501-2,501-3)을 확인하고, 소정의 제 2 길이 이상인 횡단보도 라인의 개수가 3개라고 카운트할 수 있고, 기 설정된 소정의 개수가 3인 경우, 횡단보도 후보 영역 300-1을 횡단보도 영역으로 결정할 수 있다.
횡단보도 검출부(140)는 결정된 횡단보도 영역을 연결하여, 횡단보도를 검출할 수 있다. 실시예에 따라, 횡단보도 검출부(140)은 결정된 횡단보도 영역이 존재하는 위치를 이용하여, 횡단보도의 종방향 최대 위치와 횡방향 최대 위치를 결정하고, 횡단보도를 검출할 수 있다.
도 6은 결정된 횡단보도 영역을 연결하여 횡단보도를 검출하는 일 예시를 나타낸다.
도 6을 더 참조하면, 횡단보도 검출부(140)는 결정된 횡단보도 영역을 연결하고, 결정된 횡단보도 영역이 존재하는 위치를 이용하여, 횡단보도의 종방향 최대/최소 위치와 횡방향 최대/최소 위치를 결정하여, 횡단보도(600)을 검출할 수 있다.
이와 같이, 횡단보도 검출 장치(100)는 영역 단위로 나누어 다른 표식보다 횡방향 길이가 큰 횡단보도의 특성을 이용하여 횡단 보도를 검출함으로써, 도로의 노면에 존재하는 화살표나 글씨에 위치하고, 노면보다 반사 세기가 큰 포인트들과 실제 횡단보도에 위치하는 포인트를 구분할 수 있다. 따라서, 횡단보도 검출 장치(100)는 도로상에 존재하는 다른 표식과 횡단보도를 구분할 수 있기 때문에 오인식에 강건한 효과를 가질 수 있다.
횡단보도 추적부(150)는 라이다 센서(또는 라이다 센서를 탑재한 차량)이 이동함에 따라, 횡단보도의 위치가 어긋날 수 있기 때문에, 보다 정확한 횡단보도의 위치를 검출하기 위하여, 칼만 필터(Kalman filter)를 이용하여 횡단보도 위치를 추적할 수 있다.
보다 자세하게는, 횡단보도 추적부(150)은 제 1 시점에서 검출된 횡단보도의 위치와 라이다 센서(또는 라이다 센서를 탑재한 차량)의 이동 속도를 입력으로 하여, 제 1 시점 이후의 제 2 시점에서 횡단보도의 위치를 예측하고, 예측된 횡단보도의 위치와 제 2 시점에서 검출된 횡단보도의 위치 사이의 오차를 이용하여, 횡단보도의 위치를 보정할 수 있다.
이에 따라, 횡단보도 검출 장치(100)는 라이다 센서가 이동하여도, 횡단보도의 위치를 정확하게 검출할 수 있는 효과가 있다.
도 7은 횡단보도 검출 시스템에 포함된 횡단보도 검출 장치를 하드웨어적 측면에서 설명하기 위한 블록 구성도이다.
도 1 및 도 7를 참조하면, 횡단보도 검출 장치(100)는 적어도 하나의 명령을 저장하는 저장장치(171) 및 상기 저장장치(171)의 적어도 하나의 명령을 실행하는 프로세서(172), 송수신 장치(173), 입력 인터페이스 장치(174) 및 출력 인터페이스 장치(175)를 포함할 수 있다.
횡단보도 검출 장치(100)에 포함된 각각의 구성 요소들(171, 172, 173, 174, 175)은 데이터 버스(bus, 176)에 의해 연결되어 서로 통신을 수행할 수 있다.
저장장치(171)는 메모리 또는 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나를 포함할 수 있다. 예를 들어, 저장장치(171)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나를 포함할 수 있다.
저장장치(171)는 후술될 프로세서(172)에 의해 실행될 적어도 하나의 명령을 더 포함할 수 있고, 입력 인터페이스 장치(174)에서 사용자로부터 입력된 횡단보도 셀의 크기에 대한 정보, 소정의 제 1 길이 및 제 2 길이, 횡단 보도 영역을 결정하기 위한 횡단보도 라인의 개수 등을 저장할 수 있다.
프로세서(172)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), MCU(micro controller unit) 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.
프로세서(172)는 앞서 설명한 바와 같이, 저장장치(171)에 저장된 적어도 하나의 프로그램 명령에 의해 노면 검출부(110), 횡단보도 포인트 검출부(120), 횡단보도 검출부(140) 및 횡단보도 추적부(150)의 기능을 수행할 수 있으며, 이들 각각은 적어도 하나의 모듈의 형태로 메모리에 저장되어 프로세서에 의해 실행될 수 있다.
송수신 장치(173)은 내부 장치 또는 통신으로 연결된 외부 장치로부터 데이터를 수신하거나 송신할 수 있고, 포인트 데이터 수신부(110)의 기능을 수행할 수 있다. 예를 들어, 송수신 장치(173)는 라이다 센서(200)로부터 획득된 포인트 데이터를 수신할 수 있고, 라이다 센서(또는 라이다 센서를 탑재한 차량)의 이동 정보를 획득할 수 있다.
입력 인터페이스 장치(174)는 사용자로부터 적어도 하나의 제어 신호 또는설정 수치를 입력받을 수 있다. 예를 들어, 입력 인터페이스 장치(174)는 횡단보도 셀의 크기에 대한 정보, 소정의 제 1 길이 및 제 2 길이, 횡단 보도 영역을 결정하기 위한 횡단보도 라인의 개수 및 횡단보도 검출 시작 명령 등의 사용자 입력을 받을 수 있다.
출력 인터페이스 장치(175)는 프로세서(172)의 동작에 의해 횡단보도의 위치를 포함하는 적어도 하나의 정보를 출력하여 가시화할 수 있다.
이상에서는, 본 발명의 일 실시예에 따른 횡단보도 검출 장치(100)를 설명하였다. 이하에서는 본 발명의 다른 실시예에 따른 상기 횡단보도 검출 장치 내 프로세서 동작에 의해 실행되는 횡단보도 검출 방법을 설명한다.
도 8은 본 발명의 실시예에 따라 횡단보도 검출 장치가 횡단보도를 검출하는 방법을 나타내는 흐름도이다.
도 8을 더 참조하면, 먼저, 송수신 장치(173)는 라이다 센서(200)으로부터 라이다 센서 주변의 포인트 데이터를 획득할 수 있다(S100).
이어서, 프로세서(172)는 획득된 포인트 데이터를 기초로 노면을 검출할 수 있다(S200).
프로세서(172)는 노면 검출부(120)가 평면 피팅 방법을 이용하여 노면 평면을 검출하는 방식을 이용하여, 노면 평면을 검출할 수 있다. 노면 평면 검출방법은 상술한 바와 같다.
프로세서(172)는 라이다 센서를 중심으로 횡단보도 셀 단위로 라이다 센서 주변을 구분하고(S300), 각 셀에서 가우시안 혼합 모델을 이용하여 횡단보도 포인트를 검출 할 수 있다(S400).
프로세서(172)는 횡단보도 포인트를 검출하기 위하여, 횡단보도 셀의 크기를 설정하고 설정된 횡단보도 셀에 따라 노면 평면에 포함된 인라이너 포인트를 노면 포인트와 횡단보도 포인트로 구분하여, 횡단보도 포인트를 검출할 수 있다.
이어서, 프로세서(172)는 검출된 횡단보도 포인트를 이용하여 횡단보도를 검출한다.
먼저, 프로세서(172)는 차량의 진행방향으로 소정 길이를 갖고 차량 진행방향에 수직한 횡방향의 폭이 검출된 주변영역의 폭과 동일한 각 횡단보도 후보 영역에 포함된 횡단보도 포인트 중에서 상기 라이다 센서의 좌측 횡방향으로 잇는 기준선으로부터, 상기 라이다 센서와 상기 횡단보도 영역 포인트를 잇는 직선 사이의 각도에 기초해 0이상의 정수 값 중에서 상기 횡단보도 영역 포인트의 인덱스 값을 순서대로 생성할 수 있다(S500).
여기서, 각도가 큰 횡단보도 영역 포인트의 인덱스 값이 크도록 횡단보도 영역 포인트의 인덱스 값을 생성할 수 있다.
이어서, 프로세서(172)는 결정된 횡단보도 포인트의 인덱스 값이 가장 인접하는 횡단보도 포인트사이의 거리가 소정의 제 1 길이 이하인 경우만 연결할 수 있다(S600).
또한, 프로세서(172)는 연결된 횡단보도 포인트 내에서 인덱스 값이 최대, 최소인 점 사이의 길이가 소정의 제 2 길이 이상인 횡단보도 라인을 선정할 수 있다(S700).
이어서, 프로세서(172)는 횡단보도 후보 영역에서 선정된 횡단보도 라인의 개수가 소정의 개수 이상이면, 횡단보도 후보 영역을 횡단보도 영역으로 결정할 수 있다(S800).
프로세서(172)는 결정된 횡단보도 영역을 연결하여, 횡단보도의 횡방향, 종방향 길이를 결정하여, 횡단보도를 검출할 수 있다(S900).
마지막으로, 프로세서(172)는 제 1 시점과 제 2 시점에서 검출된 횡단보도 위치, 송수신 장치(173)로부터 획득한 차량의 이동 정보를 칼만필터의 입력으로 하여 횡단보도의 위치를 추적할 수 있다(S1000).
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 횡단보도 검출 시스템
100 : 횡단보도 검출 장치
110 : 포인트 데이터 수신부
120 : 노면 검출부
130 : 횡단보도 포인트 검출부
140 : 횡단보도 검출부
150 : 횡단보도 추적부
171 : 저장장치
172 : 프로세서
173 : 송수신장치
174 : 입력 인터페이스 장치
175 : 출력 인터페이스 장치
200 : 라이다 센서

Claims (14)

  1. 횡단보도 검출 장치에 의해 수행되는 횡단보도를 검출하는 방법에 있어서,
    라이다 센서로부터, 상기 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 단계;
    상기 포인트 데이터가 획득된 영역을 소정의 넓이를 갖는 복수의 셀로 구획하는 단계;
    각 셀에 위치하는 상기 포인트 데이터에 포함된 복수의 포인트들의 세기에 기초하여, 상기 복수의 포인트들 중에서 적어도 하나의 횡단보도 포인트를 검출하는 단계; 및
    상기 적어도 하나의 횡단보도 포인트의 위치에 기초하여, 상기 횡단보도를 검출하는 단계를 포함하는
    횡단보도 검출 방법.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 횡단보도 포인트를 검출하는 단계는,
    상기 복수의 포인트들의 세기를 가우시안 혼합 모델에 적용하여, 상기 복수의 포인트들을 노면에 대응하는 노면 포인트와 상기 횡단보도 포인트로 구분하는 단계를 포함하는
    횡단보도 검출 방법.
  3. 제 1 항에 있어서,
    상기 복수의 셀로 구획하는 단계는,
    상기 횡단보도 검출 장치 또는 상기 라이다 센서에 의해 검출된 주변 영역을 차량 진행방향으로의 소정 너비와 상기 차량 진행방향에 수직한 방향의 소정 폭을 갖는 횡단보도 셀로 구획하는 단계를 포함하고,
    상기 구획된 횡단보도 각 셀 영역에서 횡단보도 포인트를 검출하는,
    횡단보도 검출 방법.
  4. 제 3 항에 있어서,
    상기 적어도 하나의 횡단보도 포인트를 검출하는 단계는,
    상기 각 횡단보도 셀에 포함된 복수 포인트들의 세기 차이에 의해 상기 복수의 포인트들을 가우시안 혼합 모델에 적용하여 포인트 세기의 임계 값을 연산하는 단계; 및
    상기 각 횡단보도 셀에 포함된 상기 복수 포인트들 중에서 포인트의 세기가 상기 임계 값 이상인 포인트를 횡단보도 포인트로 결정하는 단계를 더 포함하는
    횡단보도 검출 방법.
  5. 제 1 항에 있어서,
    상기 횡단보도 검출 방법은,
    적어도 하나의 횡단보도 포인트를 검출하는 단계 이전에 수행되는, 상기 포인트 데이터에 포함된 복수의 포인트들의 세기에 기초하여, 노면을 검출하는 단계를 더 포함하고,
    상기 노면을 검출하는 단계는,
    상기 복수의 포인트들 중에서 선택된 제 1 포인트들을 이용하여, 제 1 평면을 생성하는 단계;
    상기 복수의 포인트들 중에서 선택된 제 2 포인트들을 이용하여, 상기 제 1 평면과 상이한 제 2 평면을 생성하는 단계; 및
    상기 제 1 평면에 포함된 제 1 인라이어 포인트의 개수가 상기 제 2 평면에 포함된 제 2 인라이어 포인트의 개수보다 많은 경우, 상기 제 1 평면을 도로의 노면으로 검출하는 단계를 포함하고,
    상기 적어도 하나의 횡단보도 포인트는 상기 제 1 평면에 포함되는
    횡단보도 검출 방법.
  6. 제 1 항에 있어서,
    상기 횡단보도를 검출하는 단계는,
    상기 횡단보도 검출 장치 또는 라이다 센서에 의해 검출된 주변 영역을 차량의 진행방향으로 소정의 길이를 가지며, 상기 진행방향에 수직한 횡방향에 있어서의 상기 주변영역의 폭과 동일한 폭을 갖는 횡단보도 후보 영역으로 구획하는 단계; 및
    상기 구획된 횡단보도 후보 영역에 포함된 상기 적어도 하나의 횡단보도 포인트의 위치에 기초하여, 횡단보도 영역을 검출하는 단계를 포함하되,
    상기 구분된 횡단보도 후보 영역에서 각각 상기 횡단보도 영역을 검출하는,
    횡단보도 검출 방법.
  7. 제 6 항에 있어서,
    상기 횡단보도 영역을 검출하는 단계는,
    상기 적어도 하나의 횡단보도 포인트 중에서 상기 횡단보도 후보 영역에 포함된 복수의 횡단보도 영역 포인트에 대하여, 상기 라이다 센서를 기준으로 상기 라이다 센서의 좌측 횡방향으로 잇는 기준선으로부터, 상기 라이다 센서와 상기 횡단보도 영역 포인트를 잇는 직선 사이의 각도에 기초해 0이상의 정수 값 중에서 상기 횡단보도 영역 포인트의 인덱스 값을 순서대로 생성하는 단계;
    상기 생성된 인덱스 값이 가장 가까운 상기 횡단보도 영역 포인트 사이의 길이가 소정의 제 1 길이 이하인 경우에만, 상기 인접하는 횡단보도 영역 포인트를 연결하는 단계;
    상기 연결된 횡단보도 영역 포인트 중에서 상기 인덱스 값이 가장 작은 횡단보도 영역 포인트와 상기 인덱스 값이 가장 큰 횡단보도 영역 포인트를 직선으로 연결한 복수의 횡단보도 라인을 생성하는 단계; 및
    상기 생성된 복수의 횡단보도 라인의 길이가 소정의 제 2 길이 이상인 상기 생성된 복수의 횡단보도 라인의 개수가 소정의 개수 이상인 경우, 상기 횡단보도 후보 영역을 상기 횡단보도 영역으로 검출하는 단계를 포함하는,
    횡단보도 검출 방법.
  8. 제 7 항에 있어서,
    상기 인덱스 값을 순서대로 생성하는 단계는,
    상기 각도가 큰 상기 횡단보도 영역 포인트의 인덱스 값이 크도록 상기 인덱스 값을 생성하는 단계를 포함하는
    횡단보도 검출 방법.
  9. 제 8 항에 있어서,
    상기 횡단보도를 검출하는 단계는,
    상기 검출된 횡단보도 영역을 상기 차량 진행방향으로 연결하여 횡단보도를 검출하는 단계를 더 포함하는,
    횡단보도 검출 방법.
  10. 제 1 항에 있어서,
    상기 횡단보도를 검출하는 방법은,
    제 1 시점에서 상기 검출된 횡단보도와 상기 라이다 센서의 이동정보를 이용하여 제 1 시점 소정 시간 후인 제 2 시점에서 상기 횡단보도의 위치를 예측하는 단계; 및
    상기 예측된 횡단보도의 위치와 제 2 시점에서 검출된 횡단보도의 위치 사이의 오차를 이용하여, 횡단보도의 위치를 보정하는 단계를 더 포함하는
    횡단보도 검출 방법.
  11. 횡단보도를 검출하는 횡단보도 검출 장치에 있어서,
    라이다 센서로부터, 상기 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 송수신기; 및
    상기 송수신기를 제어하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 포인트 데이터가 획득된 영역을 소정의 넓이를 갖는 복수의 셀로 구획하고, 각 셀에 위치하는 상기 포인트 데이터에 포함된 복수의 포인트들의 세기에 기초하여, 상기 복수의 포인트들 중에서 상기 횡단보도에 대응되는 적어도 하나의 횡단보도 포인트를 검출하고, 상기 적어도 하나의 횡단보도 포인트를 이용하여 상기 횡단보도를 검출하는,
    횡단보도 검출 장치.
  12. 주변을 검색한 포인트 데이터를 획득하는 라이다 센서; 및
    상기 포인트 데이터가 획득된 영역을 소정의 넓이를 갖는 복수의 셀로 구획하고, 각 셀에 위치하는 상기 포인트 데이터에 포함된 복수의 포인트들의 세기에 기초하여, 상기 복수의 포인트들 중에서 상기 횡단보도에 대응되는 적어도 하나의 횡단보도 포인트를 검출하고, 상기 적어도 하나의 횡단보도 포인트를 이용하여 상기 횡단보도를 검출하는 횡단보도 검출 장치를 포함하는
    횡단보도 검출 시스템.
  13. 컴퓨터 판독 가능한 기록 매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    횡단보도 검출 장치에 의해 수행되는 도로 상의 횡단보도를 검출하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,
    상기 방법은,
    라이다 센서로부터, 상기 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 단계;
    상기 포인트 데이터가 획득된 영역을 소정의 넓이를 갖는 복수의 셀로 구획하는 단계;
    각 셀에 위치하는 상기 포인트 데이터에 포함된 복수의 포인트들의 세기에 기초하여, 상기 복수의 포인트들 중에서 상기 횡단보도에 대응되는 적어도 하나의 횡단보도 포인트를 검출하는 단계; 및
    상기 적어도 하나의 횡단보도 포인트를 이용하여 상기 횡단보도를 검출하는 단계를 포함하는
    컴퓨터 프로그램.
  14. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    상기 컴퓨터 프로그램은,
    횡단보도 검출 장치에 의해 수행되는 도로 상의 횡단보도을 검출하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,
    상기 방법은,
    라이다 센서로부터, 상기 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 단계;
    상기 포인트 데이터가 획득된 영역을 소정의 넓이를 갖는 복수의 셀로 구획하는 단계;
    각 셀에 위치하는 상기 포인트 데이터에 포함된 복수의 포인트들의 세기에 기초하여, 상기 복수의 포인트들 중에서 상기 횡단보도에 대응되는 적어도 하나의 횡단보도 포인트를 검출하는 단계; 및
    상기 적어도 하나의 횡단보도 포인트를 이용하여 상기 횡단보도를 검출하는 단계를 포함하는
    컴퓨터 판독 가능한 기록 매체.
KR1020210135744A 2021-10-13 2021-10-13 라이다 센서를 이용하여 횡단보도를 검출하는 방법 및 상기 방법을 수행하는 횡단보도 검출 장치 KR102367138B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210135744A KR102367138B1 (ko) 2021-10-13 2021-10-13 라이다 센서를 이용하여 횡단보도를 검출하는 방법 및 상기 방법을 수행하는 횡단보도 검출 장치
US17/582,678 US20230111364A1 (en) 2021-10-13 2022-01-24 Method for detecting crosswalk using lidar sensor and crosswalk detection device for performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210135744A KR102367138B1 (ko) 2021-10-13 2021-10-13 라이다 센서를 이용하여 횡단보도를 검출하는 방법 및 상기 방법을 수행하는 횡단보도 검출 장치

Publications (1)

Publication Number Publication Date
KR102367138B1 true KR102367138B1 (ko) 2022-02-25

Family

ID=80490173

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210135744A KR102367138B1 (ko) 2021-10-13 2021-10-13 라이다 센서를 이용하여 횡단보도를 검출하는 방법 및 상기 방법을 수행하는 횡단보도 검출 장치

Country Status (2)

Country Link
US (1) US20230111364A1 (ko)
KR (1) KR102367138B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102642165B1 (ko) * 2023-02-15 2024-03-04 아주대학교산학협력단 지도 상의 보도를 갱신하는 방법, 이를 이용하는 서버 및 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102499334B1 (ko) * 2021-06-28 2023-02-14 (주)뷰런테크놀로지 라이다 센서를 이용하여 차선을 검출하는 방법 및 상기 방법을 수행하는 차선 검출 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101843866B1 (ko) * 2016-11-30 2018-05-14 네이버 주식회사 라이다 데이터를 이용하여 도로 영역과 차선을 검출하는 방법 및 그 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101843866B1 (ko) * 2016-11-30 2018-05-14 네이버 주식회사 라이다 데이터를 이용하여 도로 영역과 차선을 검출하는 방법 및 그 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102642165B1 (ko) * 2023-02-15 2024-03-04 아주대학교산학협력단 지도 상의 보도를 갱신하는 방법, 이를 이용하는 서버 및 시스템

Also Published As

Publication number Publication date
US20230111364A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
KR102083909B1 (ko) 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법
KR102595897B1 (ko) 차선 결정 방법 및 장치
CN112665556B (zh) 使用被动和主动测量生成场景的三维地图
KR102069666B1 (ko) 포인트 클라우드 맵 기반의 자율주행차량용 실시간 주행경로 설정 방법
JP6399100B2 (ja) 走行経路演算装置
KR102367138B1 (ko) 라이다 센서를 이용하여 횡단보도를 검출하는 방법 및 상기 방법을 수행하는 횡단보도 검출 장치
US11938926B2 (en) Polyline contour representations for autonomous vehicles
JP7165201B2 (ja) 認識装置
JP6870475B2 (ja) 車線情報出力方法および車線情報出力装置
WO2020242945A1 (en) Systems and methods for vehicle navigation based on image analysis
RU2660425C1 (ru) Устройство вычисления маршрута движения
KR20200093271A (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
US20220371583A1 (en) Systems and Methods for Selectively Decelerating a Vehicle
WO2021191683A1 (en) Systems and methods for optimizing map tile requests for navigation
CN111160132B (zh) 障碍物所在车道的确定方法、装置、电子设备和存储介质
KR102316818B1 (ko) 도로 네트워크를 갱신하는 방법 및 장치
KR102499334B1 (ko) 라이다 센서를 이용하여 차선을 검출하는 방법 및 상기 방법을 수행하는 차선 검출 장치
KR102426583B1 (ko) 라이다 센서를 이용하여 이정표를 검출하는 방법 및 상기 방법을 수행하는 이정표 검출 장치
JP7344182B2 (ja) 情報処理装置
WO2021170140A1 (zh) 一种车道结构检测方法及装置
KR20230073601A (ko) 라이다 센서를 이용하여 횡단보도를 검출하는 방법 및 상기 방법을 수행하는 횡단보도 검출 장치
WO2020195166A1 (ja) 環境認識装置
CN115195773A (zh) 用于控制车辆驾驶的装置和方法及记录介质
KR102423781B1 (ko) 라이다 센서를 이용하여 가드레일을 검출하는 방법 및 상기 방법을 수행하는 가드레일 검출 장치
KR102603877B1 (ko) 차량의 정밀 측위 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant