KR20210014239A - 도로영상을 이용한 자율주행차를 위한 운행환경 정보수집 및 분석 방법 및 장치 - Google Patents

도로영상을 이용한 자율주행차를 위한 운행환경 정보수집 및 분석 방법 및 장치 Download PDF

Info

Publication number
KR20210014239A
KR20210014239A KR1020190091497A KR20190091497A KR20210014239A KR 20210014239 A KR20210014239 A KR 20210014239A KR 1020190091497 A KR1020190091497 A KR 1020190091497A KR 20190091497 A KR20190091497 A KR 20190091497A KR 20210014239 A KR20210014239 A KR 20210014239A
Authority
KR
South Korea
Prior art keywords
road
environment information
driving environment
driving
static
Prior art date
Application number
KR1020190091497A
Other languages
English (en)
Inventor
조충호
이대국
윤석호
곽재혁
Original Assignee
고려대학교 세종산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 세종산학협력단 filed Critical 고려대학교 세종산학협력단
Priority to KR1020190091497A priority Critical patent/KR20210014239A/ko
Publication of KR20210014239A publication Critical patent/KR20210014239A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/14—Tractor-trailers, i.e. combinations of a towing vehicle and one or more towed vehicles, e.g. caravans; Road trains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/36—Cycles; Motorcycles; Scooters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/11—Passenger cars; Automobiles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/13—Bicycles; Tricycles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/14—Trucks; Load vehicles, Busses
    • B60Y2200/147—Trailers, e.g. full trailers or caravans
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/80—Other vehicles not covered by groups B60Y2200/10 - B60Y2200/60
    • B60Y2200/83—Perambulators; Buggies; Strollers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/80—Other vehicles not covered by groups B60Y2200/10 - B60Y2200/60
    • B60Y2200/84—Wheelchairs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

일 실시예에 따른 도로영상을 이용한 운행환경 정보를 수집 및 분석하는 방법은, 전자 기기를 통하여 획득되는 도로 주행 영상으로부터 운행환경 정보를 수집하는 단계; 상기 수집된 운행환경 정보를 분석하여 분류된 정적 객체 또는 동적 객체를 각각의 학습 모델을 통하여 학습시킴에 따라 정적 객체 또는 동적 객체를 식별하는 단계; 및 상기 식별된 정적 객체 또는 동적 객체에 대한 운행환경정보 체크리스트를 작성하는 단계를 포함할 수 있다.

Description

도로영상을 이용한 자율주행차를 위한 운행환경 정보수집 및 분석 방법 및 장치{METHOD AND APPARATUS FOR COLLECTING AND ANALYZING OPERATIONAL ENVIRONMENT INFORMATION FOR AUTONOMOUS VEHICLES USING ROAD IMAGES}
아래의 설명은 도로영상을 이용한 운행환경 정보수집 및 분석 방법 및 장치에 관한 것이다.
도로의 형태, 도로의 주행환경, 교통상황, 날씨와 기후, 보행자와 자전거 등 자율주행을 위한 수없이 많은 다양한 운행환경 정보가 존재한다. 도로주행을 하면서 사람의 능력으로, 사람의 눈으로 직접 자율주행을 위한 운행환경 정보를 수작업으로 동시에 수집하기에는 어려움이 있다. 또한, 다양한 운행환경 정보에 따라 객체와 이벤트에 대한 탐지 및 대응 시나리오 추출도 일일이 식별하기 힘들다.
갑작스런 폭우 또는 폭설, 흐릿한 도로 차선, 예측하지 못한 장애물의 발견 등 운행환경 변화를 신속하고 정확하게 인지하지 못하거나, 판단하지 못한다면 심각한 교통사고 발생이 불가피하다. 국가, 지역, 도시, 상황, 도로 별로 다양한 도로 운행환경 정보를 이용하여 어떠한 운행환경에서도 안전하게 자율주행이 가능토록 설계가 필요하다. 이에 따라 다양한 운행환경 정보 수집 및 객체와 이벤트에 대한 탐지 및 대응 시나리오 추출 기술이 요구된다.
비특허문헌(미국 도로교통안전국(NHTSA), "A Framework for Automated Driving System Testable Cases and Scenarios", 2018, DOT HS 812 623)에 따르면, 최상위 카테고리와 하위 카테고리가 있는 ODD 분류 프레임워크를 개시하고 있다. 상기 기술에 따르면, 도로의 종류, 구조 및 시설, 도로표지의 제작 및 설치 기준, 교통안전신호체계, 주행하는 차량의 종류 및 용도, 차량번호판 규격 등 국가 및 도시별로 전반적으로 다른 시스템이기 때문에 대한민국 도로에 맞는 운행환경 정보 수집 및 분석이 필요하다. 또한, 대한민국 도로에서 자율주행차를 운행하기 위해서는 관련 법률 및 제도, 각종 지침 및 규격을 완벽하게 이해하고, 도로주행을 위한 방대한 정보 수집이 필수이며, 신속하고 정확한 정보 분석이 필요하나 수작업으로 진행한다는 것은 사실상 불가능하다.
도로 운행환경 정보를 수집 및 이용하여 운행환경에 따라 안전하게 자율주행이 가능하도록 자율주행차의 설계를 위한 운행환경 정보수집 방법 및 시스템을 제공할 수 있다.
도로영상을 이용한 운행환경 정보를 수집 및 분석하는 방법은, 전자 기기를 통하여 촬영되는 영상 정보로부터 운행환경 정보를 수집하는 단계; 상기 수집된 운행환경 정보를 분석하여 분류된 정적 객체 또는 동적 객체를 각각의 학습 모델을 통하여 학습시킴에 따라 정적 객체 또는 동적 객체를 식별하는 단계; 및 상기 식별된 정적 객체 또는 동적 객체에 대한 운행환경정보 체크리스트를 작성하는 단계를 포함할 수 있다.
상기 운행환경 정보를 수집하는 단계는, 전자 기기를 통하여 획득되는 도로 주행 영상으로부터 차량 식별정보, 신호표지판의 문자 정보, 도로의 차선 정보를 인식함에 따라 도로 주행환경 정보를 수집하는 단계를 포함할 수 있다.
상기 운행환경 정보를 수집하는 단계는, 상기 도로 주행 영상으로부터 복수 개의 구간의 영상으로 추출하고, 상기 추출된 복수 개의 구간의 영상 각각에 대하여 도로 주행환경 정보를 수집하는 단계를 포함할 수 있다.
상기 운행환경 정보를 수집하는 단계는, 상기 도로 주행 영상으로부터 도로의 종류, 도로의 유형 및 구조, 도로의 크기, 도로의 표면, 도로의 구조, 도로 가장자리 및 표식, 도로 차선의 종류 및 차선 수, 중앙분리대 및 차선장벽, 교차로, 대교/다리, 도로중앙기둥, 터널, 동적 표지판을 포함하는 도로 정보, 도로표지판, 교통신호등, 교통안전표지판을 포함하는 정적 객체, 도로주행차량, 보행자, 자전거, 동물, 장애물, 유모차, 장애우 전동휠체어, 오토바이, 캠핑 트레일러를 포함하는 동적 객체를 운행환경 정보로 수집하는 단계를 포함할 수 있다.
상기 정적 객체 또는 동적 객체를 식별하는 단계는, 전자 기기를 통하여 촬영되는 도로 주행 영상으로부터 수집된 운행환경 정보에 기초하여 객체를 감지하고, 상기 감지된 객체를 정적 객체 또는 동적 객체로 분류하는 단계를 포함할 수 있다.
상기 정적 객체 또는 동적 객체를 식별하는 단계는, 상기 정적 개체를 식별하기 위한 운영환경 정적 객체 학습 모델을 구성하고, 상기 분류된 정적 객체를 정밀지도맵과 상기 구성된 운영환경 정적 객체 학습 모델에 학습시킴에 따라 정적 객체를 식별하는 단계를 포함할 수 있다.
상기 정적 객체 또는 동적 객체를 식별하는 단계는, 상기 동적 객체를 식별하기 위한 운영환경 동적 객체 학습 모델을 구성하고, 상기 분류된 동적 객체를 상기 구성된 운영환경 동적 객체 학습 모델에 학습시킴에 따라 동적 객체를 식별하고, 상기 식별된 동적 객체의 경로를 추적함에 따라 동적 객체의 경로를 예측하여 동적 객체와 관련된 이벤트를 식별하는 단계를 포함할 수 있다.
도로영상을 이용한 운행환경 정보를 수집 및 분석하는 방법을 실행시키기 위하여 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램은, 전자 기기를 통하여 촬영되는 영상 정보로부터 운행환경 정보를 수집하는 단계; 상기 수집된 운행환경 정보를 분석하여 분류된 정적 객체 또는 동적 객체를 각각의 학습 모델을 통하여 학습시킴에 따라 정적 객체 또는 동적 객체를 식별하는 단계; 및 상기 식별된 정적 객체 또는 동적 객체에 대한 운행환경정보 체크리스트를 작성하는 단계를 포함할 수 있다.
도로영상을 이용한 운행환경 정보를 수집 및 분석하기 위한 운행환경 정보 시스템은, 전자 기기를 통하여 촬영되는 영상 정보로부터 운행환경 정보를 수집하는 입력부; 상기 수집된 운행환경 정보를 분석하여 분류된 정적 객체 또는 동적 객체를 각각의 학습 모델을 통하여 학습시킴에 따라 정적 객체 또는 동적 객체를 식별하는 영상 분석부; 및 상기 식별된 정적 객체 또는 동적 객체에 대한 운행환경정보 체크리스트를 작성하는 운행환경 정보 출력부를 포함할 수 있다.
상기 입력부는, 전자 기기를 통하여 획득되는 도로 주행 영상으로부터 차량 식별정보, 신호표지판의 문자 정보, 도로의 차선 정보를 인식함에 따라 도로 주행환경 정보를 수집할 수 있다.
상기 입력부는, 상기 도로 주행 영상으로부터 복수 개의 구간의 영상으로 추출하고, 상기 추출된 복수 개의 구간의 영상 각각에 대하여 도로 주행환경 정보를 수집할 수 있다.
상기 입력부는, 상기 도로 주행 영상으로부터 도로의 종류, 도로의 유형 및 구조, 도로의 크기, 도로의 표면, 도로의 구조, 도로 가장자리 및 표식, 도로 차선의 종류 및 차선 수, 중앙분리대 및 차선장벽, 교차로, 대교/다리, 도로중앙기둥, 터널, 동적 표지판을 포함하는 도로 정보, 도로표지판, 교통신호등, 교통안전표지판을 포함하는 정적 객체, 도로주행차량, 보행자, 자전거, 동물, 장애물, 유모차, 장애우 전동휠체어, 오토바이, 캠핑 트레일러를 포함하는 동적 객체를 운행환경 정보로 수집할 수 있다.
상기 영상 분석부는, 전자 기기를 통하여 촬영되는 도로 주행 영상으로부터 수집된 운행환경 정보에 기초하여 객체를 감지하고, 상기 감지된 객체를 정적 객체 또는 동적 객체로 분류할 수 있다.
상기 영상 분석부는, 상기 정적 개체를 식별하기 위한 운영환경 정적 객체 학습 모델을 구성하고, 상기 분류된 정적 객체를 정밀지도맵과 상기 구성된 운영환경 정적 객체 학습 모델에 학습시킴에 따라 정적 객체를 식별할 수 있다.
상기 정적 객체 또는 동적 객체를 식별하는 단계는, 상기 동적 객체를 식별하기 위한 운영환경 동적 객체 학습 모델을 구성하고, 상기 분류된 동적 객체를 상기 구성된 운영환경 동적 객체 학습 모델에 학습시킴에 따라 동적 객체를 식별하고, 상기 식별된 동적 객체의 경로를 추적함에 따라 동적 객체의 경로를 예측하여 동적 객체와 관련된 이벤트를 식별할 수 있다.
자율주행을 위한 정확한 도로주행 환경 정보를 수집 및 분석할 수 있고, 수집 및 분석된 도로주행 환경 정보에 기초하여 자율주행차를 개발 시 인지, 판단, 제어 분야에 필요한 관련 기술 및 개발에 도움을 제공할 수 있다.
도 1은 일 실시예에 따른 운행환경 정보 시스템의 개괄적인 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 운행환경 정보 시스템에서 자율주행차를 위한 운행환경 정보 수집 및 분석 동작을 설명하기 위한 예이다.
도 3은 일 실시예에 따른 운행환경 정보 시스템의 구성을 설명하기 위한 블록도이다.
도 4는 일 실시예에 따른 운행환경 정보 시스템에서 정적 객체에 대한 체크리스트를 작성하는 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 운행환경 정보 시스템에서 정적 객체 및 동적 객체에 대한 체크리스트를 작성하는 방법을 설명하기 위한 흐름도이다.
도 6 내지 도 11은 일 실시예에 따른 운행환경 정보 시스템에서 운행환경 정보를 수집하는 것을 설명하기 위한 예이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 일 실시예에 따른 운행환경 정보 시스템의 개괄적인 동작을 설명하기 위한 도면이다.
운행환경 정보 시스템은 전자 기기를 통하여 촬영되는 영상 정보로부터 운행환경 정보를 수집할 수 있다. 실시예에서, 전자 기기는 자전거용 블랙박스, 액션캠이나 블랙박스 기능이 수행 가능한 스마트폰, 태블릿PC, 웨어러블 기기, 드론 등 이동형 단말기를 의미할 수 있다. 예를 들면, 영상 정보를 촬영하는 전자 기기로 블랙박스를 예를 들어 설명하기로 한다.
운행환경 정보 시스템은 영상 정보로부터 자동으로 차량의 식별 정보(예를 들면, 차종, 모델명 등), 신호표지판 문자 정보, 도로 차선 정보, 도로 주행환경 정보 등을 자동으로 인식할 수 있다. 운행환경 정보 시스템은 인식된 차량의 식별정보, 신호표지판 문자 정보, 도로 차선 정보, 도로 주행환경 정보를 운행환경 정보로 수집할 수 있다.
운행환경 정보 시스템은 수집된 운행환경 정보를 분석함에 따라 객체 및/또는 이벤트를 탐지할 수 있다. 예를 들면, 운행환경 정보 시스템은 수집된 운행환경 정보를 분석하여 분류된 정적 객체 또는 동적 객체를 각각의 객체 학습 모델을 통하여 학습시킴에 따라 정적 객체 또는 동적 객체를 식별할 수 있다. 또한, 운행환경 정보 시스템은 수집된 운행환경 정보를 분석하여 이벤트를 학습 모델을 통하여 학습시킴에 따라 이벤트를 식별할 수 있다.
도 2는 일 실시예에 따른 운행환경 정보 시스템에서 자율주행차를 위한 운행환경 정보 수집 및 분석 동작을 설명하기 위한 예이다.
운행환경 정보 시스템은 도로주행 영상이 입력됨을 수신할 수 있다. 운행환경 정보 시스템은 입력된 도로주행 영상으로부터 객체를 감지할 수 있다. 예를 들면, 운행환경 정보 시스템은 도로주행 영상에 포함된 도로, 차량, 자전거, 건물, 표지판, 번호판, 버스정류장, 차선, 신호등 다양한 객체를 감지할 수 있다. 상세하게는, 운행환경 정보 시스템은 도로 인프라(정적 객체)와 도로 사용자/장애물(동적 객체)를 감지할 수 있다. 도로 인프라 측면에서 예를 들면, 운행환경 정보 시스템은 신호판/신호등이 있는지 여부를 판단할 수 있고, 도로 차선이 있는지 여부를 판단할 수 있다. 도로 사용자/장애물 측면에서 예를 들면, 운행환경 정보 시스템은 주행차량이 있는지 여부를 판단할 수 있고, 보행자/자전거가 있는지 여부를 판단할 수 있다.
운행환경 정보 시스템은 감지된 객체를 분류할 수 있다. 도로 인프라 측면에서 예를 들면, 운행환경 정보 시스템은 신호판/신호등이 존재할 경우, 어떤 종류의 신호판/신호등인지 분석할 수 있다. 또한, 운행환경 정보 시스템은 도로 차선이 존재할 경우, 어떤 종류의 차선인지 분류할 수 있다. 도로 사용자/장애물 측면에서 예를 들면, 운행환경 정보 시스템은 주행차량이 존재할 경우, 어떤 종류의 주행차량인지 분석할 수 있다. 또한, 운행환경 정보 시스템은 보행자/자전거가 존재할 경우, 보행자/자전거를 분류할 수 있다.
운행환경 정보 시스템은 분류된 객체를 식별할 수 있다. 도로 인프라 측면에서 예를 들면, 운행환경 정보 시스템은 분석된 신호판/신호등이 무슨 뜻의 신호판/신호등인지 식별할 수 있다. 또한, 운행환경 정보 시스템은 분류된 차선의 뜻이 의미하는 바, 몇 차선인지 여부를 식별할 수 있다. 도로 사용자/장애물 측면에서 예를 들면, 운행환경 정보 시스템은 분석된 주행차량의 차종/모델명/기타 정보 등을 식별할 수 있다. 또한, 운행환경 정보 시스템은 분류된 보행자/자전거의 위치를 식별할 수 있다.
운행환경 정보 시스템은 객체를 식별함에 따라 객체와 관련된 객체 정보를 기록 및 저장할 수 있다.
도 3은 일 실시예에 따른 운행환경 정보 시스템의 구성을 설명하기 위한 블록도이다.
운행환경 정보 시스템(100)은 도로 영상을 이용하여 자율주행차를 위한 운행환경 정보를 수집 및 분석하기 위한 것으로, 입력부(310), 영상 분석부(320), 운행환경정보 출력부(330)를 포함할 수 있다.
입력부(310)는 전자 기기를 통하여 촬영되는 영상 정보로부터 운행환경 정보를 수집할 수 있다. 예를 들면, 입력부(310)는 실제 도로를 주행하며 GPS 수신부 및 카메라를 이용하여 영상을 촬영할 수 있다. 이때, 촬영되는 영상은 실시간으로 녹화될 수 있으며, 도로 및 도보를 포함할 수 있다. 또한, 촬영되는 영상은 배경 및 객체를 포함할 수 있으며, 실시간으로 녹화되는 시간 정보 및 위치 정보가 기록될 수 있다. 입력부(310)는 GPS 수신부를 통하여 전자 기기의 위치 정보를 식별할 수 있다. 입력부(310)는 전자 기기로부터 촬영되는 영상 정보를 데이터베이스(304)에 영상기록 정보로 저장할 수 있다.
영상 분석부(320)는 수집된 영상 정보로부터 객체를 감지하는 객체 감지 모듈, 감지된 객체를 정적 객체 또는 동적 객체로 분류하는 객체 분류 모듈, 정적 객체 또는 동적 객체의 식별 정보를 식별하는 객체 식별 모듈을 포함할 수 있다. 영상 분석부(320)는 초정밀지도맵(301)과 객체 학습 모델(302)을 통하여 객체를 정적 객체 또는 동적 객체로 분류할 수 있다. 이때, 초정밀지도맵(301)은 지도 정보를 저장하는 데이터베이스에 저장되어 있을 수 있으며, 객체 학습 모델(302)은 객체를 분류하기 위하여 구성된 학습 모델을 의미할 수 있다. 영상 분석부(320)는 분류된 정적 객체 또는 동적 객체를 식별할 수 있다. 영상 분석부(320)는 정적 객체 또는 동적 객체에 대하여 식별된 객체 식별 정보를 운행환경정보 데이터베이스(303)에 저장할 수 있다. 정적 객체 정보 및 동적 객체 정보가 저장될 때, 위치 정보와 맵핑되어 저장될 수 있다. GPS 수신부와 카메라를 통해 기록되는 영상기록정보 데이터베이스에 저장된 위치 정보(위도, 경로)와 운행환경정보 데이터베이스에 저장된 위치 정보를 맵핑하여 정적 객체 정보 및 동적 객체 정보를 저장할 수 있다.
이때, 운행환경정보 데이터베이스(303)에 저장된 객체 식별 정보에 기초하여 객체 학습 모델(302) 및 초정밀지도맵(301)을 업데이트할 수 있다.
운행환경 정보 출력부(330)는 운행환경 정보를 출력할 수 있다. 운행환경 정보 출력부(330)는 식별된 정적 객체 또는 동적 객체에 대한 운행환경정보 체크리스트를 작성할 수 있다. 운행환경 정보 출력부(330)는 영상 정보에 대한 정적 객체 또는 동적 객체 각각의 체크리스트를 작성할 수 있다.
도 4는 일 실시예에 따른 운행환경 정보 시스템에서 정적 객체에 대한 체크리스트를 작성하는 방법을 설명하기 위한 흐름도이다.
운행환경 정보 시스템은 전자 기기로부터 도로주행 영상이 입력됨을 수신할 수 있다(401). 예를 들면, 운행환경 정보 시스템은 블랙박스에서 촬영되는 도로주행 영상이 입력됨을 수신할 수 있다. 이외에도 도로 정보를 수집하는 다양한 전자 기기로부터 도로주행 영상이 입력될 수 있다.
운행환경 정보 시스템은 도로주행 영상을 복수 개(N개, N은 자연수)의 구간의 영상으로 추출할 수 있다(402). 예를 들면, 도로주행 영상을 분당, 초당, 시간당 영상으로 추출할 수 있다. 실시예에서는 도로주행 영상으로부터 1초 간격으로 이미지를 추출할 수 있다. 또한, 필요 시 주행속도 및 도로상황에 따라 도로주행 영상을 0.01초 단위까지 영상추출이 가능하다. 운행환경 정보 시스템은 도로주행 영상으로부터 객체를 감지하기 위한 프로세스를 시작할 수 있다(403). 다시 말해서, 운행환경 정보 시스템은 도로주행 영상으로부터 처음으로 객체 감지를 시작할 수 있다.
운행환경 정보 시스템은 도로주행 영상으로부터 정적 객체를 판단할 수 있다(404). 운행환경 정보 시스템은 도로주행 영상에 존재하는 객체가 정적 객체가 아닐 경우, 동적 객체 데이터베이스를 검색하여 체크리스트를 작성할 수 있다(405).
운행환경 정보 시스템은 도로주행 영상으로부터 정적 객체가 존재하는 것으로 판단됨에 따라 정적 객체를 분류할 수 있다(406). 구체적으로, 운행환경 정보 시스템은 초정밀지도맵(411)과 운영환경 정적 객체 학습 모델(412)에 학습시킴에 따라 정적 객체를 분류할 수 있다. 이때, 초정밀지도맵(411)이란 도로 정보뿐만 아니라 도로와 관련된 상황 정보가 포함된 것을 의미하며, 수시로 변화하는 상황 정보를 실시간으로 업데이트할 수 있다. 운행환경 정보 시스템은 정적 객체의 내용을 추출할 수 있다(407). 예를 들면, 운행환경 정보 시스템은 정적 객체의 식별정보, 정적 객체를 추출한 시간, 정적 객체를 추출한 위치 등 정적 객체와 관련된 다양한 정보를 추출할 수 있다.
운행환경 정보 시스템은 정적 객체 체크리스트를 작성할 수 있다(408). 운행환경 정보 시스템은 기 저장된 영상기록정보(413)를 통하여 정적 객체 체크리스트를 작성할 수 있다. 예를 들면, 운행환경 정보 시스템은 저장된 영상기록 정보(413)에 포함된 시간, 위치 등에 기반하여 정적 객체에 대한 체크리스트를 작성할 수 있다. 운행환경 정보 시스템은 도로주행 영상에 존재하는 정적 객체에 체크할 수 있다. 예를 들면, 운행환경 정보 시스템은 각각의 카테고리(예를 들면, 도로 인프라, 도로 사용자/장애물)에 따라 정적 객체에 대한 체크리스트를 작성할 수 있다. 예를 들면, 도로 인프라에서 도로 유형 정보, 도로 표면 정보 등을 제공할 수 있고, 식별된 정적 객체가 해당하는 도로 유형 정보, 도로 표면 정보에 체크할 수 있다.
운행환경 정보 시스템은 단계(404)에서 단계(408)의 프로세스를 수행한 횟수가 복수 개의 구간의 수(N 개)보다 큰 지 여부를 판단할 수 있다(409). 운행환경 정보 시스템은 단계(404)에서 단계(408)의 프로세스를 수행한 횟수가 복수 개의 구간의 수(N 개)보다 클 경우, 해당 프로세스를 종료할 수 있다. 또한, 운행환경 정보 시스템은 단계(404)에서 단계(408)의 프로세스를 수행한 횟수가 복수 개의 구간(N 개)보다 작을 경우, 프로세스를 수행한 횟수를 1 증가시키고(410), 단계(404) 내지 단계(408)을 반복적으로 수행할 수 있다.
도 5는 일 실시예에 따른 운행환경 정보 시스템에서 정적 객체 및 동적 객체에 대한 체크리스트를 작성하는 방법을 설명하기 위한 흐름도이다.
도 5에서는 정적 객체 및 동적 객체에 체크리스트를 동시에 작성하는 방법을 설명하기로 한다.
운행환경 정보 시스템은 전자 기기로부터 도로주행 영상이 입력됨을 수신할 수 있다(501). 운행환경 정보 시스템은 도로주행 영상에 포함된 객체를 감지할 수 있다(502). 운행환경 정보 시스템은 도로주행 영상에 포함된 객체가 정적 객체인지 또는 동적 객체인지 판단할 수 있다(503). 예를 들면, 사전에 정적 객체 또는 동적 객체를 판단하기 위한 기준을 설정해놓을 수 있다. 영상 정보에 포함된 객체가 움직일 경우 동적 객체로 판단하고, 객체가 정지해있을 경우 정적 객체로 판단할 수 있다. 또는, 영상 정보에 포함된 객체가 사람, 차량과 연관되어 있을 경우, 동적 객체로 판단하고, 사람, 차량과 연관되어 있지 않을 경우 정적 객체로 판단할 수 있다. 이와 같이, 정적 객체 또는 동적 객체를 판단하기 위한 기준에 의하여 정적 객체 또는 동적 객체를 판단할 수 있고, 정적 객체 또는 동적 객체를 판단하기 위한 기준은 변경될 수 있다.
운행환경 정보 시스템은 도로주행 영상으로부터 정적 객체를 분류할 수 있다(503). 구체적으로, 운행환경 정보 시스템은 정적 객체를 초정밀지도맵(506)과 운영환경 정적 객체 학습 모델(507)에 학습시킴에 따라 정적 객체를 분류할 수 있다.
운행환경 정보 시스템은 정적 객체를 식별할 수 있다(504). 예를 들면, 운행환경 정보 시스템은 정적 객체의 식별정보, 정적 객체를 추출한 시간, 정적 객체를 추출한 위치 등 정적 객체와 관련된 다양한 정보를 추출할 수 있다. 운행환경 정보 시스템은 정적 객체 체크리스트를 작성할 수 있다(505). 이때, 체크리스트란 정적 객체가 존재하는지 여부를 체크하는 리스트를 의미할 수 있다. 운행환경 정보 시스템은 정적 객체가 존재하는지 여부를 판단하기 위하여 사전에 정적 객체와 관련된 각각의 요소 정보를 결정해놓을 수 있고, 결정된 각각의 요소 정보에 따라 정적 객체가 존재하는지 여부가 체크될 수 있다.
운행환경 정보 시스템은 도로주행 영상으로부터 동적 객체를 분류할 수 있다(511). 운행환경 정보 시스템은 단계 503과 동시에 도로주행 영상으로부터 동적 객체를 분류할 수 있다. 구체적으로, 운행환경 정보 시스템은 동적 객체를 운영환경 동적 객체 학습 모델(514)에 학습시킴에 따라 동적 객체를 분류할 수 있다. 운행환경 정보 시스템은 동적 객체를 식별할 수 있다(512). 예를 들면, 운행환경 정보 시스템은 동적 객체의 식별 정보, 동적 객체를 추출한 시간, 동적 객체를 추출한 위치 등 동적 객체와 관련된 다양한 정보를 추출할 수 있다. 이때, 운행환경 정보 시스템은 식별된 동적 객체의 경로를 추적할 수 있다(515). 운행환경 정보 시스템은 동적 객체의 경로를 추적함에 따라 경로를 예측할 수 있다(516). 예를 들면, 운행환경 정보 시스템은 동적 객체의 경로에 기초하여 미래의 경로, 예를 들면, 1시간 뒤의 경로, 5분 뒤의 경로, 최종 목적지 등을 예측할 수 있다. 운행환경 정보 시스템은 동적 객체의 이벤트를 식별할 수 있다(517).
운행환경 정보 시스템은 동적 객체 체크리스트를 작성할 수 있다(513). 이때, 체크리스트란 동적 객체가 존재하는지 여부를 체크하는 리스트를 의미할 수 있다. 운행환경 정보 시스템은 동적 객체가 존재하는지 여부를 판단하기 위하여 사전에 동적 객체와 관련된 각각의 요소 정보를 결정해놓을 수 있고, 결정된 각각의 요소 정보에 따라 동적 객체가 존재하는지 여부가 체크될 수 있다.
운행환경 정보 시스템은 정적 객체 체크리스트 및 동적 객체 체크리스트가 작성됨에 따라 정적 객체 정보 및 동적 객체 정보와 관련된 영상기록정보를 데이터베이스에 저장할 수 있다(508). 운행환경 정보 시스템은 정적 객체 정보 및 동적 객체 정보를 저장할 때, 위치 정보와 맵핑하여 저장할 수 있다. GPS 수신부와 카메라를 통해 기록되는 영상기록정보 데이터베이스에 저장된 위치 정보(위도, 경로)와 운행환경정보 데이터베이스에 저장된 위치 정보를 맵핑하여 정적 객체 정보 및 동적 객체 정보를 저장할 수 있다. 이때, 운행환경 정보 시스템은 정적 객체 정보 및 동적 객체 정보의 시간, 위치, 노출횟수 등을 영상기록정보로 저장할 수 있다.
도 6 내지 도 11은 일 실시예에 따른 운행환경 정보 시스템에서 운행환경 정보를 수집하는 것을 설명하기 위한 예이다.
예를 들면, 차량이 도로를 주행하면서 블랙박스 영상 촬영을 시작할 수 있다. 운행환경 정보 시스템은 촬영된 블랙박스 영상으로부터 1초 간격으로 이미지를 추출하여 운행 환경정보를 수집할 수 있다. 운행환경 정보 시스템은 블랙박스 영상으로부터 시간 단위별로 로그정보 및 이미지 파일을 추출할 수 있다. 이때, 블랙박스 영상으로부터 위치정보, 속도 정보, 시간 정보 등이 로그정보로 추출될 수 있다.
이때, 예를 들면, 운행환경 정보 시스템은 운행 환경정보 수집을 위한 요소 정보를 설정해놓을 수 있다. 운행환경 정보 시스템은 운행 환경정보 수집을 위하여 설정된 요소 정보에 기초하여 영상 정보로부터 도로 정보, 정적 객체 또는 동적 객체를 인식하여 수집할 수 있다. 또는, 운행환경 정보 시스템은 영상 정보에 포함된 운행 환경정보에 기초하여 체크리스트를 작성하기 위한 요소 정보로 설정할 수 있다. 다시 말해서, 운행환경 정보 시스템은 블랙박스 영상으로부터 도로 정보를 추출하기 위하여, 각각의 도로의 종류, 도로의 유형 및 구조, 도로의 크기 등을 세분화하여 요소 정보를 설정할 수 있다. 예를 들면, 운행환경 정보 시스템은 중앙분리대 있는 고속도로, 중앙분리대 없는 고속도로, 간선도로, 도시부 도로, 교외 도로, 주차장, 다리, 다차선/일차선 도로, 관리차로(다인승전용차로, 버스전용차로 등), ON/OFF 램프(도로 진입로, 진출로), 비상대피 경로, 고속도로 분기점, 갓길, 일방통행, 회전 전용 차선, 사설 도로, 가변 차로, (신호등, U턴, 2, 3, 4, 방향 교차로, 정지신호, 회전 교차로, 합류 도로, 좌회전 진입로, 단방향 통행, 우회전, 다선 회전 차로, 횡단 보도, 톨게이트, 철길 건널목)의 교차선 종류 등의 도로 유형을 설정해놓을 수 있다.
운행환경 정보 시스템은 도로의 종류, 도로의 유형 및 구조, 도로의 크기 등의 도로 정보를 수집할 수 있다. 예를 들면, 도 6을 참고하면, 운행환경 정보 시스템은 각각의 블랙박스 영상으로부터 회전 교차로, 버스 정류장, 과속방지턱 및 횡단보도, 교차로, 2차선 도로, 우합류 도로 등을 수집할 수 있다.
운행환경 정보 시스템은 도로의 표면, 도로의 구조, 도로의 가장자리 및 표식 등의 도로 정보를 수집할 수 있다. 예를 들면, 아스팔트 도로, 벽돌 도로, 콘크리트 도로 등의 도로의 표면, 직선 도로, 곡선 도로, 곡선 도로 등의 도로의 구조, 차선 분리봉 여부를 수집할 수 있다. 도 7에 도시된 바가 같이, 첫번째 블랙박스 영상으로부터 아스팔트 도로, 직선 도로, 차선분리봉 없음을 판단할 수 있다. 두번째 블랙박스 영상으로부터 벽돌 도로, 곡선 도로, 차선분리봉 있음을 판단할 수 있다. 세번째 블랙박스 영상으로부터 콘크리트 도로, 곡선 도로, 차선분리봉 있음을 판단할 수 있다.
운행환경 정보 시스템은 도로의 차선 종류, 차선 수, 중앙분리대 및 차선장벽 여부를 도로 정보로 수집할 수 있다. 도 8을 참고하면, 운행환경 정보 시스템은 각각의 블랙박스 영상으로부터 도로의 차선 종류, 차선 수, 중앙분리대 있음/없음, 차선장벽 있음/없음 등을 판단할 수 있다.
운행환경 정보 시스템은 교차로, 대교/다리, 도로중앙기둥, 터널, 동적 표지판 등의 도로 정보를 수집할 수 있다. 도 9를 참고하면, 운행환경 정보 시스템은 각각의 블랙박스 영상으로부터 복잡 교차로(예를 들면, 5 거리), 도로 중앙기둥, 동적 표지판, 대교/다리, 터널, 자막이 실시간으로 표시되는 동적 표지판의 존재 여부를 판단할 수 있다.
운행환경 정보 시스템은 정적 객체를 수집할 수 있다. 도 10을 참고하면, 운행환경 정보 시스템은 블랙박스 영상으로부터 도로표지판, 교통신호등, 교통안전표지판 등 각종 표시를 정적 객체 정보로 수집할 수 있다. 이때, 도로 표지판의 종류, 교통안전표지판, 도로의 종류에 따른 노선 마크 등과 관련된 정보에 기초하여 정적 객체 정보를 수집할 수 있다.
운행환경 정보 시스템은 동적 객체를 수집할 수 있다. 도 11을 참고하면, 운행환경 정보 시스템은 블랙박스 영상으로부터 도로주행차량, 보행자, 자전거, 동물, 기타 장애물 등을 동적 객체 정보로 수집할 수 있다. 예를 들면, 동일한 도로 차선에서 주행 중인 선두 차량, 도로 옆차선에서 주행 중인 선두 차량, 선회하는 차량과 도로에 불법 주차한 정지 차량, 도로를 무단횡단하는 보행자(예를 들면, 성인, 남자, 직장인 등)을 동적 객체 정보를 수집할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 도로영상을 이용한 운행환경 정보를 수집 및 분석하는 방법에 있어서,
    전자 기기를 통하여 촬영되는 영상 정보로부터 운행환경 정보를 수집하는 단계;
    상기 수집된 운행환경 정보를 분석하여 분류된 정적 객체 또는 동적 객체를 각각의 학습 모델을 통하여 학습시킴에 따라 정적 객체 또는 동적 객체를 식별하는 단계; 및
    상기 식별된 정적 객체 또는 동적 객체에 대한 운행환경정보 체크리스트를 작성하는 단계
    를 포함하는 운행환경정보 수집 및 분석 방법.
  2. 제1항에 있어서,
    상기 운행환경 정보를 수집하는 단계는,
    전자 기기를 통하여 획득되는 도로 주행 영상으로부터 차량 식별정보, 신호표지판의 문자 정보, 도로의 차선 정보를 인식함에 따라 도로 주행환경 정보를 수집하는 단계
    를 포함하는 운행환경정보 수집 및 분석 방법.
  3. 제2항에 있어서,
    상기 운행환경 정보를 수집하는 단계는,
    상기 도로 주행 영상으로부터 복수 개의 구간의 영상으로 추출하고, 상기 추출된 복수 개의 구간의 영상 각각에 대하여 도로 주행환경 정보를 수집하는 단계
    를 포함하는 운행환경정보 수집 및 분석 방법.
  4. 제2항에 있어서,
    상기 운행환경 정보를 수집하는 단계는,
    상기 도로 주행 영상으로부터 도로의 종류, 도로의 유형 및 구조, 도로의 크기, 도로의 표면, 도로의 구조, 도로 가장자리 및 표식, 도로 차선의 종류 및 차선 수, 중앙분리대 및 차선장벽, 교차로, 대교/다리, 도로중앙기둥, 터널, 동적 표지판을 포함하는 도로 정보, 도로표지판, 교통신호등, 교통안전표지판을 포함하는 정적 객체, 도로주행차량, 보행자, 자전거, 동물, 장애물, 유모차, 장애우 전동휠체어, 오토바이, 캠핑 트레일러를 포함하는 동적 객체를 운행환경 정보로 수집하는 단계
    를 포함하는 운행환경정보 수집 및 분석 방법.
  5. 제1항에 있어서,
    상기 정적 객체 또는 동적 객체를 식별하는 단계는,
    전자 기기를 통하여 촬영되는 도로 주행 영상으로부터 수집된 운행환경 정보에 기초하여 객체를 감지하고, 상기 감지된 객체를 정적 객체 또는 동적 객체로 분류하는 단계
    를 포함하는 운행환경정보 수집 및 분석 방법.
  6. 제5항에 있어서,
    상기 정적 객체 또는 동적 객체를 식별하는 단계는,
    상기 정적 개체를 식별하기 위한 운영환경 정적 객체 학습 모델을 구성하고, 상기 분류된 정적 객체를 정밀지도맵과 상기 구성된 운영환경 정적 객체 학습 모델에 학습시킴에 따라 정적 객체를 식별하는 단계
    를 포함하는 운행환경정보 수집 및 분석 방법.
  7. 제5항에 있어서,
    상기 정적 객체 또는 동적 객체를 식별하는 단계는,
    상기 동적 객체를 식별하기 위한 운영환경 동적 객체 학습 모델을 구성하고, 상기 분류된 동적 객체를 상기 구성된 운영환경 동적 객체 학습 모델에 학습시킴에 따라 동적 객체를 식별하고, 상기 식별된 동적 객체의 경로를 추적함에 따라 동적 객체의 경로를 예측하여 동적 객체와 관련된 이벤트를 식별하는 단계
    를 포함하는 운행환경정보 수집 및 분석 방법.
  8. 도로영상을 이용한 운행환경 정보를 수집 및 분석하는 방법을 실행시키기 위하여 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램에 있어서,
    전자 기기를 통하여 촬영되는 영상 정보로부터 운행환경 정보를 수집하는 단계;
    상기 수집된 운행환경 정보를 분석하여 분류된 정적 객체 또는 동적 객체를 각각의 학습 모델을 통하여 학습시킴에 따라 정적 객체 또는 동적 객체를 식별하는 단계; 및
    상기 식별된 정적 객체 또는 동적 객체에 대한 운행환경정보 체크리스트를 작성하는 단계
    를 포함하는 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램.
  9. 도로영상을 이용한 운행환경 정보를 수집 및 분석하기 위한 운행환경 정보 시스템에 있어서,
    전자 기기를 통하여 촬영되는 영상 정보로부터 운행환경 정보를 수집하는 입력부;
    상기 수집된 운행환경 정보를 분석하여 분류된 정적 객체 또는 동적 객체를 각각의 학습 모델을 통하여 학습시킴에 따라 정적 객체 또는 동적 객체를 식별하는 영상 분석부; 및
    상기 식별된 정적 객체 또는 동적 객체에 대한 운행환경정보 체크리스트를 작성하는 운행환경 정보 출력부
    를 포함하는 운행환경 정보 시스템.
  10. 제9항에 있어서,
    상기 입력부는,
    전자 기기를 통하여 획득되는 도로 주행 영상으로부터 차량 식별정보, 신호표지판의 문자 정보, 도로의 차선 정보를 인식함에 따라 도로 주행환경 정보를 수집하는
    것을 특징으로 하는 운행환경 정보 시스템.
  11. 제10항에 있어서,
    상기 입력부는,
    상기 도로 주행 영상으로부터 복수 개의 구간의 영상으로 추출하고, 상기 추출된 복수 개의 구간의 영상 각각에 대하여 도로 주행환경 정보를 수집하는
    것을 특징으로 하는 운행환경 정보 시스템.
  12. 제11항에 있어서,
    상기 입력부는,
    상기 도로 주행 영상으로부터 도로의 종류, 도로의 유형 및 구조, 도로의 크기, 도로의 표면, 도로의 구조, 도로 가장자리 및 표식, 도로 차선의 종류 및 차선 수, 중앙분리대 및 차선장벽, 교차로, 대교/다리, 도로중앙기둥, 터널, 동적 표지판을 포함하는 도로 정보, 도로표지판, 교통신호등, 교통안전표지판을 포함하는 정적 객체, 도로주행차량, 보행자, 자전거, 동물, 장애물, 유모차, 장애우 전동휠체어, 오토바이, 캠핑 트레일러를 포함하는 동적 객체를 운행환경 정보로 수집하는
    것을 특징으로 하는 운행환경 정보 시스템.
  13. 제9항에 있어서,
    상기 영상 분석부는,
    전자 기기를 통하여 촬영되는 도로 주행 영상으로부터 수집된 운행환경 정보에 기초하여 객체를 감지하고, 상기 감지된 객체를 정적 객체 또는 동적 객체로 분류하는
    것을 특징으로 하는 운행환경 정보 시스템.
  14. 제13항에 있어서,
    상기 영상 분석부는,
    상기 정적 개체를 식별하기 위한 운영환경 정적 객체 학습 모델을 구성하고, 상기 분류된 정적 객체를 정밀지도맵과 상기 구성된 운영환경 정적 객체 학습 모델에 학습시킴에 따라 정적 객체를 식별하는
    것을 특징으로 하는 운행환경 정보 시스템.
  15. 제13항에 있어서,
    상기 정적 객체 또는 동적 객체를 식별하는 단계는,
    상기 동적 객체를 식별하기 위한 운영환경 동적 객체 학습 모델을 구성하고, 상기 분류된 동적 객체를 상기 구성된 운영환경 동적 객체 학습 모델에 학습시킴에 따라 동적 객체를 식별하고, 상기 식별된 동적 객체의 경로를 추적함에 따라 동적 객체의 경로를 예측하여 동적 객체와 관련된 이벤트를 식별하는
    것을 특징으로 하는 운행환경 정보 시스템.
KR1020190091497A 2019-07-29 2019-07-29 도로영상을 이용한 자율주행차를 위한 운행환경 정보수집 및 분석 방법 및 장치 KR20210014239A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190091497A KR20210014239A (ko) 2019-07-29 2019-07-29 도로영상을 이용한 자율주행차를 위한 운행환경 정보수집 및 분석 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190091497A KR20210014239A (ko) 2019-07-29 2019-07-29 도로영상을 이용한 자율주행차를 위한 운행환경 정보수집 및 분석 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20210014239A true KR20210014239A (ko) 2021-02-09

Family

ID=74559269

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190091497A KR20210014239A (ko) 2019-07-29 2019-07-29 도로영상을 이용한 자율주행차를 위한 운행환경 정보수집 및 분석 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20210014239A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102349016B1 (ko) 2021-05-31 2022-01-10 주식회사 서경산업 도로 분석 관리시스템
KR102544098B1 (ko) * 2022-12-22 2023-06-16 최준회 자율 주행 참고 신호 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102349016B1 (ko) 2021-05-31 2022-01-10 주식회사 서경산업 도로 분석 관리시스템
KR102544098B1 (ko) * 2022-12-22 2023-06-16 최준회 자율 주행 참고 신호 시스템

Similar Documents

Publication Publication Date Title
Fu et al. Investigating secondary pedestrian-vehicle interactions at non-signalized intersections using vision-based trajectory data
US10296794B2 (en) On-demand artificial intelligence and roadway stewardship system
Gazis et al. The problem of the amber signal light in traffic flow
Sayed et al. Automated safety diagnosis of vehicle–bicycle interactions using computer vision analysis
Berriel et al. Automatic large-scale data acquisition via crowdsourcing for crosswalk classification: A deep learning approach
Soteropoulos et al. Automated drivability: Toward an assessment of the spatial deployment of level 4 automated vehicles
US11521487B2 (en) System and method to generate traffic congestion estimation data for calculation of traffic condition in a region
Iryo-Asano et al. Analysis and modeling of pedestrian crossing behavior during the pedestrian flashing green interval
KR102306085B1 (ko) 도로교통 운행환경정보 기반 교통사고 영상을 활용한 자율주행 테스트 시나리오 도출 방법 및 절차
KR20210014239A (ko) 도로영상을 이용한 자율주행차를 위한 운행환경 정보수집 및 분석 방법 및 장치
US20220156504A1 (en) Audio/video capturing device, vehicle mounted device, control centre system, computer program and method
Jha et al. Analysis of pedestrian movement on Delhi roads by using naturalistic observation techniques
Malinovskiy et al. Model‐free video detection and tracking of pedestrians and bicyclists
Charouh et al. Video analysis and rule-based reasoning for driving maneuver classification at intersections
Twaddle et al. Use of automated video analysis for the evaluation of bicycle movement and interaction
St-Aubin Driver behaviour and road safety analysis using computer vision and applications in roundabout safety
Gao et al. A new curb lane monitoring and illegal parking impact estimation approach based on queueing theory and computer vision for cameras with low resolution and low frame rate
WO2023179030A1 (zh) 一种道路边界检测方法、装置、电子设备、存储介质和计算机程序产品
CN114730492A (zh) 断言交通工具检测模型生成和实现
Agerholm et al. Road user behaviour analyses based on video detections: Status and best practice examples from the RUBA software
Chae Simulation of Pedestrian-vehicle Interactions at Roundabouts.
Zaki et al. Comprehensive safety diagnosis using automated video analysis: Applications to an urban intersection in Edmonton, Alberta, Canada
Malarvizhi et al. Autonomous Traffic Sign Detection and Recognition in Real Time
Chilukuri et al. Development of mobile application for VRUs using computer vision
HUNG DATA-DRIVEN UNDERSTANDING OF AI-BASED TRAFFIC SIGNAL CONTROL AND ITS IMPLICATIONS ON LOW-CARBON URBAN TRANSPORT SYSTEMS

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination