KR20200133920A - 인공신경망 기반의 투사정보 인식 장치 및 그 방법 - Google Patents

인공신경망 기반의 투사정보 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR20200133920A
KR20200133920A KR1020190059207A KR20190059207A KR20200133920A KR 20200133920 A KR20200133920 A KR 20200133920A KR 1020190059207 A KR1020190059207 A KR 1020190059207A KR 20190059207 A KR20190059207 A KR 20190059207A KR 20200133920 A KR20200133920 A KR 20200133920A
Authority
KR
South Korea
Prior art keywords
projection information
vehicle
recognizing
neural network
artificial neural
Prior art date
Application number
KR1020190059207A
Other languages
English (en)
Inventor
김영현
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190059207A priority Critical patent/KR20200133920A/ko
Priority to US16/555,069 priority patent/US11106214B2/en
Priority to DE102019214558.2A priority patent/DE102019214558A1/de
Priority to CN201910916755.9A priority patent/CN111976585A/zh
Publication of KR20200133920A publication Critical patent/KR20200133920A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/00791—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0014—Adaptive controllers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 인공신경망 기반의 투사정보 인식 장치 및 그 방법에 관한 것으로, 주변차량에 의해 도로면에 투사된 정보(투사정보)를 인공신경망을 기반으로 학습하고, 이에 기초하여 차량의 주행방향에 상응하는 관심영역(Region Of Interest, ROI)에 투사된 정보를 인식함으로써, 차량의 주행 안정성을 향상시킬 수 있는 인공신경망 기반의 투사정보 인식 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 인공신경망 기반의 투사정보 인식 장치에 있어서, 제1 CNN(Convolution Neural Network)을 기반으로 영상에서 객체를 검출하는 객체 검출부; 상기 객체 검출부에 의해 검출된 객체들 중에서 도로면에 위치한 투사정보를 분류하는 투사정보 분류부; 및 상기 투사정보 분류부에 의해 분류된 투사정보에 기초하여 차량의 주행방향에 상응하는 관심영역에 위치한 투사정보를 인식하는 제어부를 포함한다.

Description

인공신경망 기반의 투사정보 인식 장치 및 그 방법{APPARATUS FOR RECOGNIZING PROJECTED INFORMATION BASED ON ANN AND METHOD TNEREOF}
본 발명은 주변차량에 의해 도로면에 투사된 정보(투사정보)를 인공신경망을 기반으로 인식하는 기술에 관한 것이다.
일반적으로, 심층 학습(Deep Learning or Deep Neural Network)은 기계 학습(Machine Learning)의 한 종류로서, 입력과 출력 사이에 여러 층의 인공 신경망(ANN, Artificial Neural Network)이 구성되어 있으며, 이러한 인공 신경망은 구조와 해결할 문제 및 목적 등에 따라 콘볼루션 신경망(CNN, Convolution Neural Network) 또는 순환 신경망(RNN, Recurrent Neural Network) 등을 포함할 수 있다.
심층 학습은 분류(classification), 회기(regression), 위치 인식(localization), 검출(detection), 분할(segmentation) 등 다양한 문제를 해결하기 위해 사용된다. 특히, 자율주행시스템에서는 동적, 정적 장애물의 위치와 종류를 판별할 수 있는 의미론적 분할(Semantic Segmentation)과 객체 검출(Object Detection)이 중요하게 사용된다.
의미론적 분할은 이미지 내에서 객체를 찾기 위해 픽셀 단위의 분류 예측을 수행하여 의미가 같은 픽셀 단위로 분할하는 것을 의미하며, 이를 통해 이미지 내에 어떤 객체가 있는지 확인할 수 있을 뿐만 아니라 동일한 의미(동일 객체)를 갖는 픽셀의 위치까지 정확하게 파악할 수 있다.
객체 검출은 이미지 내 객체의 종류를 분류 및 예측하고, 경계 상자(Bounding Box)를 회귀 예측하여 객체의 위치정보를 찾는 것을 의미하며, 이를 통해 단순 분류와는 다르게 이미지에 있는 객체의 종류가 무엇인지 뿐만 아니라 그 객체의 위치정보까지 파악할 수 있다.
최근, 교통사고를 방지하기 위해 차량의 방향정보(턴 시그널 정보)와 차량의 상태정보(브레이크 정보) 등을 마크(부호, 문자 등)의 형태로 도로면에 투사(project)하는 기술이 개발되었다.
이렇게 도로면에 투사된 마크를 인식하는 종래의 기술은 운전자가 직접 눈으로 보고 선행차량의 좌회전, 우회전, 정차 등을 예측하고, 이를 반영하여 차량의 안전운전을 도모하였다.
따라서, 종래의 기술은 운전자가 차량의 주행에 관여하지 않는 자율주행차량에는 적용될 수 없으며, 아울러 자율주행차량은 주변차량에 의해 도로면에 투사된 마크를 인식하지 못하기 때문에 주행 안정성을 답보할 수 없는 문제점이 있다.
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 주변차량에 의해 도로면에 투사된 정보(투사정보)를 인공신경망을 기반으로 학습하고, 이에 기초하여 차량의 주행방향에 상응하는 관심영역(Region Of Interest, ROI)에 투사된 정보를 인식함으로써, 차량의 주행 안정성을 향상시킬 수 있는 인공신경망 기반의 투사정보 인식 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, 인공신경망 기반의 투사정보 인식 장치에 있어서, 제1 CNN(Convolution Neural Network)을 기반으로 영상에서 객체를 검출하는 객체 검출부; 상기 객체 검출부에 의해 검출된 객체들 중에서 도로면에 위치한 투사정보를 분류하는 투사정보 분류부; 및 상기 투사정보 분류부에 의해 분류된 투사정보에 기초하여 차량의 주행방향에 상응하는 관심영역에 위치한 투사정보를 인식하는 제어부를 포함한다.
여기서, 상기 제어부는 상기 차량의 좌측 차선변경이 요구되는 경우, 상기 차량의 좌측차선 내에 관심영역을 설정할 수 있다. 이때, 상기 제어부는 상기 관심영역에 주변차량의 차선변경을 알리는 투사정보가 위치하면, 차선변경 시점을 늦추거나 차량의 속도를 줄인 후 차선변경을 시도하도록 상기 차량을 제어할 수 있다.
또한, 상기 제어부는 상기 차량의 우측 차선변경이 요구되는 경우, 상기 차량의 우측차선 내에 관심영역을 설정할 수 있다. 이때, 상기 제어부는 상기 관심영역에 주변차량의 차선변경을 알리는 투사정보가 위치하면, 차선변경 시점을 늦추거나 차량의 속도를 줄인 후 차선변경을 시도하도록 상기 차량을 제어할 수 있다.
또한, 상기 제어부는 상기 차량의 직진이 요구되는 경우, 상기 차량의 전방 주행차선 내에 관심영역을 설정할 수 있다. 이때, 상기 제어부는 상기 관심영역에 보행자가 있음을 알리는 투사정보가 위치하면 상기 차량의 속도를 줄이도록 제어하고, 상기 관심영역에 정차를 알리는 투사정보가 위치하면 상기 차량의 속도를 줄이도록 제어할 수 있다.
또한, 상기 객체 검출부는 영상 내 객체에 대한 학습을 수행할 수 있다.
또한, 상기 투사정보 분류부는 제2 CNN을 기반으로 도로면에 위치한 투사정보들을 분류할 수 있다.
또한, 상기 투사정보 분류부는 도로면에 위치한 투사정보에 대한 학습을 수행할 수 있다. 이때, 상기 투사정보 분류부는 상기 학습과정에서 도로면에 투사된 투사정보와 도로면에 페인팅된 마크를 구분할 수 있다.
상기 목적을 달성하기 위한 본 발명의 방법은, 인공신경망 기반의 투사정보 인식 방법에 있어서, 객체 검출부가 제1 CNN(Convolution Neural Network)을 기반으로 영상에서 객체를 검출하는 단계; 투사정보 분류부가 상기 검출된 객체들 중에서 도로면에 위치한 투사정보를 분류하는 단계; 및 제어부가 상기 분류된 투사정보에 기초하여 차량의 주행방향에 상응하는 관심영역에 위치한 투사정보를 인식하는 단계를 포함한다.
여기서, 상기 차량의 주행방향에 상응하는 관심영역에 위치한 투사정보를 인식하는 단계는, 상기 차량의 좌측 차선변경이 요구되는 경우, 상기 차량의 좌측차선 내에 관심영역을 설정하는 단계; 상기 관심영역에서 주변차량의 차선변경을 알리는 투사정보를 인식하는 단계; 및 상기 인식한 투사정보에 기초하여 차량을 제어하는 단계를 포함할 수 있다.
또한, 상기 차량의 주행방향에 상응하는 관심영역에 위치한 투사정보를 인식하는 단계는, 상기 차량의 우측 차선변경이 요구되는 경우, 상기 차량의 우측차선 내에 관심영역을 설정하는 단계; 상기 관심영역에서 주변차량의 차선변경을 알리는 투사정보를 인식하는 단계; 및 상기 인식한 투사정보에 기초하여 차량을 제어하는 단계를 포함할 수 있다.
또한, 상기 차량의 주행방향에 상응하는 관심영역에 위치한 투사정보를 인식하는 단계는, 상기 차량의 직진이 요구되는 경우, 상기 차량의 전방 주행차선 내에 관심영역을 설정하는 단계; 상기 관심영역에서 보행자가 있음을 알리는 투사정보를 인식하는 단계; 및 상기 인식한 투사정보에 기초하여 차량을 제어하는 단계를 포함할 수 있다.
또한, 상기 차량의 주행방향에 상응하는 관심영역에 위치한 투사정보를 인식하는 단계는, 상기 차량의 직진이 요구되는 경우, 상기 차량의 전방 주행차선 내에 관심영역을 설정하는 단계; 상기 관심영역에서 정차를 알리는 투사정보를 인식하는 단계; 및 상기 인식한 투사정보에 기초하여 차량을 제어하는 단계를 포함할 수 있다.
또한, 상기 도로면에 위치한 투사정보를 분류하는 단계는, 제2 CNN을 기반으로 수행될 수 있다.
이러한 본 발명의 방법은 상기 객체 검출부가 영상 내 객체에 대한 학습을 수행하는 단계; 및 상기 투사정보 분류부가 도로면에 위치한 투사정보에 대한 학습을 수행하는 단계를 더 포함할 수 있다.
또한, 상기 도로면에 위치한 투사정보에 대한 학습을 수행하는 단계는, 상기 도로면에 투사된 투사정보와 상기 도로면에 페인팅된 마크를 구분하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치 및 그 방법은, 주변차량에 의해 도로면에 투사된 정보(투사정보)를 인공신경망을 기반으로 학습하고, 이에 기초하여 차량의 주행방향에 상응하는 관심영역(Region Of Interest, ROI)에 투사된 정보를 인식함으로써, 차량의 주행 안정성을 향상시킬 수 있다.
도 1 은 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치에 대한 구성도,
도 2 는 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치에 구비된 영상 입력부가 입력한 차량의 전방영상에 대한 일예시도,
도 3 은 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치에 구비된 객체 검출부가 영상에서 검출한 객체에 대한 일예시도,
도 4 는 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치에 구비된 투사정보 분류부가 분류한 도로면에 위치한 객체에 대한 일예시도,
도 5 는 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치에 구비된 제어부가 제1 투사정보를 인식하는 과정을 나타내는 도면,
도 6 은 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치에 구비된 제어부가 제2 투사정보를 인식하는 과정을 나타내는 도면,
도 7 은 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치에 구비된 제어부가 제3 투사정보를 인식하는 과정을 나타내는 도면,
도 8 은 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치에 구비된 제어부가 제4 투사정보를 인식하는 과정을 나타내는 도면,
도 9 는 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 방법에 대한 흐름도,
도 10 은 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 은 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치에 대한 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식장치(100)는 저장부(10), 영상 입력부(20), 객체 검출부(30), 투사정보 분류부(40), 및 제어부(50)를 포함할 수 있다. 이때, 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식장치(100)를 실시하는 방식에 따라 각 구성요소는 서로 결합되어 하나로 구현될 수도 있고, 일부의 구성요소가 생략될 수도 있다. 특히, 객체 검출부(30)의 기능과 투사정보 분류부(40)의 기능을 제어부(50)가 일괄 수행하도록 구현할 수도 있다.
상기 각 구성요소들에 대해 살펴보면, 먼저 저장부(10)는 주변차량에 의해 도로면에 투사된 정보(투사정보)를 인공신경망을 기반으로 학습하고, 이에 기초하여 차량의 주행방향에 상응하는 관심영역(Region Of Interest, ROI)에 투사된 정보를 인식하는 과정에서 요구되는 각종 로직과 알고리즘 및 프로그램을 저장할 수 있다.
저장부(10)는 객체 검출부(30)가 학습을 통해 획득한 결과(일례로, 객체 모델)와, 투사정보 분류부(40)가 학습을 통해 획득한 결과(일례로, 분류 모델)를 더 저장할 수 있다.
저장부(10)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.
다음으로, 영상 입력부(20)는 일례로 카메라로 구현될 수 있으며, 영상(일례로, 디지털 영상신호)을 객체 검출부(30)에 입력한다. 이때, 상기 카메라는 차량의 전방영상을 촬영하는 전방카메라, 차량의 좌측영상을 촬영하는 좌측카메라, 차량의 우측영상을 촬영하는 우측카메라를 포함할 수 있다. 아울러, 좌측카메라는 차량의 좌측 전방을 촬영하는 좌측 전방카메라와 차량의 좌측 후방을 촬영하는 좌측 후방카메라를 포함할 수 있고, 우측카메라는 차량의 우측 전방을 촬영하는 우측 전방카메라와 차량의 우측 후방을 촬영하는 우측 후방카메라를 포함할 수 있다.
이하의 일 실시예에서는 전방카메라에 의해 촬영된 차량의 전방영상을 예로 들 설명하며, 일례로 차량의 전방영상은 도 2에 도시된 바와 같다.
도 2 는 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치에 구비된 영상 입력부가 입력한 차량의 전방영상에 대한 일예시도이다.
도 2에 도시된 바와 같이, 차량의 전방영상에는 상기 차량과 동일 차선(Lane)에 위치한 선행차량(210)이 정차하고 있으며, 이때, 선행차량(210)은 정차를 알리는 마크(220)를 후방의 도로면에 투사한다. 여기서, 상기 마크(220)는 하나의 예로서 그 형태는 다양하게 구현될 수 있으며, 아울러 상기 마크(220)에 포함된 문자의 크기나 형태 및 색상 역시 다양하게 구현될 수 있다.
영상 입력부(20)는 객체 검출부(30)의 학습과정에서 복수의 전방영상을 객체 검출부(30)에 입력할 수 있고, 차량에 탑재된 경우에는 실시간으로 획득한 차량의 전방영상을 객체 검출부(30)에 입력할 수 있다.
다음으로, 객체 검출부(30)는 인공신경망의 하나로서 CNN(Convolution Neural Network)을 기반으로 영상 입력부(20)로부터 입력받은 영상에서 객체를 검출한다. 이렇게 검출된 객체는 일례로 도 3에 도시된 바와 같다.
도 3 은 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치에 구비된 객체 검출부가 영상에서 검출한 객체에 대한 일예시도이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치(100)에 구비된 객체 검출부(30)는, 영상 내에서 각각의 객체를 검출하기 위한 복수의 객체 검출기(310, 320, 330)를 포함할 수 있다. 이때, 이해를 돕기 위해 3개의 객체 검출기(310, 320, 330)를 예로 들어 설명하지만, 객체 검출기의 수는 설계자의 의도에 따라 추가 또는 삭제가 가능하므로, 본 발명에 아무런 영향을 미치지 않는다.
제1 객체 검출기(310)는 CNN을 기반으로 차량의 전방영상(300)에서 차량을 검출할 수 있다. '311'은 이렇게 검출된 결과를 나타낸다.
제2 객체 검출기(320)는 CNN을 기반으로 차량의 전방영상(300)에서 투사정보를 검출할 수 있다. '321'은 이렇게 검출된 결과를 나타낸다.
제3 객체 검출기(330)는 CNN을 기반으로 차량의 전방영상(300)에서 신호등을 검출할 수 있다. '331'은 이렇게 검출된 결과를 나타낸다.
복수의 객체 검출기(310, 320, 330)는 복수의 전방영상을 대상으로 상술한 과정을 반복 수행함으로써, 영상 내 객체에 대한 학습을 수행할 수 있다. 즉, 객체 검출부(30)는 사전에 영상 내 객체에 대한 학습을 수행하고 그 결과로서 객체 모델을 생성할 수 있다.
한편, 객체 검출부(30)는 좌측 카메라에 의해 촬영된 좌측영상을 대상으로 학습을 수행할 수 있다. 즉, 객체 검출부(30)는 좌측영상 내 객체에 대한 학습을 수행하여 그 결과로서 객체 모델을 생성할 수 있다. 이때, 객체는 주변차량에 의해 투사된 우측 차선변경을 알리는 투사정보를 포함할 수 있다.
객체 검출부(30)는 우측 카메라에 의해 촬영된 우측영상을 대상으로 학습을 수행할 수 있다. 즉, 객체 검출부(30)는 우측영상 내 객체에 대한 학습을 수행하여 그 결과로서 객체 모델을 생성할 수 있다. 이때, 객체는 주변차량에 의해 투사된 좌측 차선변경을 알리는 투사정보를 포함할 수 있다.
다음으로, 투사정보 분류부(40)는 CNN을 기반으로 객체 검출부(30)에 의해 검출된 객체들 중에서 도로면에 위치한 객체들(투사정보들)을 분류할 수 있다. 이렇게 분류된 객체는 도 4에 도시된 바와 같다.
도 4 는 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치에 구비된 투사정보 분류부가 분류한 도로면에 위치한 객체에 대한 일예시도이다.
도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치(100)에 구비된 투사정보 분류부(40)는, 도로면에 위치한 객체로서 '321'의 투사정보(선행차량이 후방 도로면에 투사한 정차 알림 마크)를 분류할 수 있다. 이때, 투사정보 분류부(40)는 '321'의 투사정보를 '정지신호'로 분류한다.
여기서, 도로면에 위치한 객체들은 차량(자차)과 동일 차선에 위치한 투사정보(일례로, 선행차량이 후방 도로면에 투사한 정차 알림 마크), 좌측차선에 위치한 투사정보(일례로, 우측 차량이 좌측 차선(Lane)에 투사한 우측 차선변경 알림 마크), 우측차선에 위치한 투사정보(일례로, 좌측 차량이 우측 차선에 투사한 좌측 차선변경 알림 마크) 등을 포함할 수 있다.
투사정보 분류부(40)는 객체 검출부(30)에 의해 검출된 샘플 객체들을 대상으로 상술한 분류 과정을 반복 수행함으로써, 도로면에 위치한 투사정보에 대한 학습을 수행할 수 있다. 즉, 투사정보 분류부(40)는 사전에 도로면에 위치한 투사정보에 대한 학습을 수행하고 그 결과로서 분류 모델을 생성할 수 있다.
투사정보 분류부(40)의 CNN은 객체정보 검출부(40)의 CNN과 상호 별개의 구성으로서, 상호 특화된 기능에 최적화하여 학습에 소요되는 시간을 단축할 수 있도록 하는 것이 바람직하지만, 반드시 이에 한정되는 것은 아니다.
투사정보 분류부(40)는 CNN 기반의 학습을 통해 주변차량에 의해 도로면에 투사된 마크(투사정보)와 도로면에 페인팅된 마크를 구분할 수 있다. 이때, 투사정보 분류부(40)가 휘도, 색상, 형태 등을 통해 도로면에 투사된 마크(투사정보)와 도로면에 페인팅된 마크를 구분할 수 있도록 제어부(50)는 학습과정에서 CNN 가중치(weight)를 주기적으로 업데이트 한다.
투사정보 분류부(40)는 CNN 기반의 학습을 통해 주변차량에 의해 도로면에 투사된 마크의 종류를 분류할 수 있다. 이때, 투사정보 분류부(40)가 휘도, 색상, 형태 등을 통해 도로면에 투사된 마크의 종류를 분류할 수 있도록 제어부(50)는 학습과정에서 CNN 가중치를 주기적으로 업데이트 한다.
다음으로, 제어부(50)는 상기 각 구성요소들이 제 기능을 정상적으로 수행할 수 있도록 전반적인 제어를 수행한다. 이러한 제어부(50)는 하드웨어의 형태로 구현되거나, 또는 소프트웨어의 형태로 구현될 수 있고, 물론 하드웨어 및 소프트웨어가 결합된 형태로도 구현될 수 있다. 바람직하게는, 제어부(50)는 마이크로프로세서로 구현될 수 있으나 이에 한정되는 것은 아니다.
제어부(50)는 주변차량에 의해 도로면에 투사된 정보(투사정보)를 인공신경망을 기반으로 학습하고, 이에 기초하여 차량의 주행방향에 상응하는 관심영역(Region Of Interest, ROI)에 투사된 정보를 인식하는 과정에서 요구되는 각종 제어를 수행할 수 있다.
제어부(50)는 객체 검출부(30)가 CNN(Convolution Neural Network)을 기반으로 영상 입력부(20)로부터 입력받은 영상에서 객체를 검출하는 과정에서 요구되는 제어를 수행할 수 있다.
제어부(50)는 객체 검출부(30)의 학습 과정에서 요구되는 제어를 수행할 수 있다.
제어부(50)는 투사정보 분류부(40)가 CNN을 기반으로 객체 검출부(30)에 의해 검출된 객체들 중에서 도로면에 위치한 객체들(투사정보들)을 분류하는 과정에서 요구되는 제어를 수행할 수 있다.
제어부(50)는 투사정보 분류부(40)의 학습 과정에서 요구되는 제어를 수행할 수 있다.
제어부(50)는 도로면에 위치한 객체들(투사정보들)을 중에서 관심영역에 위치한 객체(투사정보)를 분류하도록 투사정보 분류부(40)를 제어할 수 있다.
한편, 제어부(50)는 영상 입력부(20)에 의해 입력된 영상에 따라 관심영역을 서로 다르게 설정할 수 있다.
이하, 도 5 내지 도 8을 참조하여 제어부(50)가 관심영역을 설정하는 과정과 해당 관심영역에서 인식한 투사정보 및 상기 인식한 투사정보에 따른 차량의 제어과정에 대해 살펴보기로 한다.
도 5 는 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치에 구비된 제어부가 제1 투사정보를 인식하는 과정을 나타내는 도면이다.
도 5에서 '520'은 본 발명의 일 실시예가 적용된 차량(자차)을 나타내고, '510'은 주변차량을 나타낸다.
제어부(50)는 차량(520)의 좌측 차선변경이 요구되는 상황에서 좌측영상을 입력하도록 영상 입력부(20)를 제어한다.
제어부(50)는 영상 입력부(20)를 통해 입력된 영상이 좌측 카메라에 의해 촬영된 좌측영상이므로, 차량(520)의 좌측영역(521) 내에 관심영역(530)을 설정한다. 이때, 관심영역(530)은 차량(520)의 차선변경과 관련된 영역이므로, 제어부(50)는 좌측영역(521) 내에서 차량(520)의 바로 옆차선을 포함하는 영역을 관심영역(530)으로 설정한다. 또한, 좌측영역(521)은 좌측 카메라의 촬영 영역을 나타낸다.
주변차량(510)은 우측 차선변경을 위해 우측 도로면에 차선변경을 알리는 투사정보(511)를 투사한다. 이때 투사정보(511)의 형태, 색상, 크기는 설계자의 의도에 따라 변경 가능하다.
제어부(50)는 관심영역(521)에 투사된 정보(511)를 분류하도록 투사정보 분류부(40)를 제어하고, 투사정보 분류부(40)에 의해 분류된 투사정보를 인식하며, 상기 인식된 투사정보에 기초하여 차량을 제어할 수 있다. 이때, 제어부(50)는 주변차량(510)의 우측 차선변경을 인식한 상태에서 차량(420)의 좌측 차선변경이 요구되는 경우, 차선변경 시점을 늦추거나 차량의 속도를 줄인 후 차선변경을 시도하도록 차량을 제어할 수 있다.
도 6 은 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치에 구비된 제어부가 제2 투사정보를 인식하는 과정을 나타내는 도면이다.
도 6에 도시된 바와 같이, 제어부(50)는 차량(520)의 우측 차선변경이 요구되는 상황에서 우측영상을 입력하도록 영상 입력부(20)를 제어한다.
제어부(50)는 영상 입력부(20)를 통해 입력된 영상이 우측 카메라에 의해 촬영된 우측영상이므로, 차량(520)의 우측영역(522) 내에 관심영역(531)을 설정한다. 이때, 관심영역(531)은 차량(520)의 차선변경과 관련된 영역이므로, 제어부(50)는 우측영역(531) 내에서 차량(520)의 바로 옆차선을 포함하는 영역을 관심영역(531)으로 설정한다. 또한, 우측영역(522)은 우측 카메라의 촬영 영역을 나타낸다.
제어부(50)는 영상 입력부(20)를 통해 입력된 영상이 우측 카메라에 의해 촬영된 우측영상이므로, 차량(520)의 우측에 위치한 '522'을 관심영역으로 설정한다. 이때, 제어부(50)는 차량(520)의 우측 차선변경이 요구되는 상황이므로 우측영상을 입력하도록 영상 입력부(20)를 제어한다.
주변차량(510)은 좌측 차선변경을 위해 좌측 도로면에 차선변경을 알리는 투사정보(512)를 투사한다. 이때 투사정보(512)의 형태, 색상, 크기는 설계자의 의도에 따라 변경 가능하다.
제어부(50)는 관심영역(522)에 투사된 정보(512)를 분류하도록 투사정보 분류부(40)를 제어하고, 투사정보 분류부(40)에 의해 분류된 투사정보를 인식하며, 상기 인식된 투사정보에 기초하여 차량을 제어할 수 있다. 이때, 제어부(50)는 주변차량(510)의 좌측 차선변경을 인식한 상태에서 차량(420)의 우측 차선변경이 요구되는 경우, 차선변경 시점을 늦추거나 차량의 속도를 줄인 후 차선변경을 시도하도록 차량을 제어할 수 있다.
도 7 은 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치에 구비된 제어부가 제3 투사정보를 인식하는 과정을 나타내는 도면이다.
도 7에 도시된 바와 같이, 제어부(50)는 차량(520)의 직진이 요구되는 상황에서 전방영상을 입력하도록 영상 입력부(20)를 제어한다.
제어부(50)는 영상 입력부(20)를 통해 입력된 영상이 전방 카메라에 의해 촬영된 전방영상이므로, 차량(520)의 전방영역(523) 내에 관심영역을 설정한다. 이때, 제어부(50)는 전방영역(523) 내에서 차량(520)의 주행차선과 동일 영역을 관심영역으로 설정한다. 또한, 전방영역(523)은 전방 카메라의 촬영 영역을 나타낸다.
주변차량(510)은 전방에 보행자가 있음을 감지하여 좌측차선의 도로면 또는 우측차선의 도로면에 보행자가 있음을 알리는 투사정보(513)를 투사한다. 이때 투사정보(513)의 형태, 색상, 크기는 설계자의 의도에 따라 변경 가능하다.
제어부(50)는 관심영역(523)에 투사된 정보(513)를 분류하도록 투사정보 분류부(40)를 제어하고, 투사정보 분류부(40)에 의해 분류된 투사정보를 인식하며, 상기 인식된 투사정보에 기초하여 차량을 제어할 수 있다. 이때, 제어부(50)는 주변차량(510)의 직진이 요구되는 경우, 차량의 속도를 줄이도록 차량을 제어할 수 있다.
도 8 은 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 장치에 구비된 제어부가 제4 투사정보를 인식하는 과정을 나타내는 도면이다.
도 8에 도시된 바와 같이, 제어부(50)는 차량(520)의 직진이 요구되는 상황에서 전방영상을 입력하도록 영상 입력부(20)를 제어한다.
제어부(50)는 영상 입력부(20)를 통해 입력된 영상이 전방 카메라에 의해 촬영된 전방영상이므로, 차량(520)의 전방영역(523) 내에 관심영역을 설정한다. 이때, 제어부(50)는 전방영역(523) 내에서 차량(520)의 주행차선과 동일 영역을 관심영역으로 설정한다.
주변차량(510)은 정차를 알리기 위해 후방 도로면에 정차를 알리는 투사정보(514)를 투사한다. 이때 투사정보(514)의 형태, 색상, 크기는 설계자의 의도에 따라 변경 가능하다.
제어부(50)는 관심영역(523)에 투사된 정보(514)를 분류하도록 투사정보 분류부(40)를 제어하고, 투사정보 분류부(40)에 의해 분류된 투사정보를 인식하며, 상기 인식된 투사정보에 기초하여 차량을 제어할 수 있다. 이때, 제어부(50)는 주변차량(510)의 직진이 요구되는 경우, 차량의 속도를 줄이도록 차량을 제어할 수 있다.
도 9 는 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 방법에 대한 흐름도이다.
먼저, 객체 검출부(30)가 제1 CNN(Convolution Neural Network)을 기반으로 영상에서 객체를 검출한다(901).
이후, 투사정보 분류부(40)가 객체 검출부(30)에 의해 검출된 객체들 중에서 도로면에 위치한 투사정보를 분류한다(902).
이후, 제어부(50)가 투사정보 분류부(40)에 의해 분류된 투사정보에 기초하여 차량의 주행방향에 상응하는 관심영역에 위치한 투사정보를 인식한다(903).
도 10 은 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
도 10을 참조하면, 상술한 본 발명의 일 실시예에 따른 인공신경망 기반의 투사정보 인식 방법은 컴퓨팅 시스템을 통해서도 구현될 수 있다. 컴퓨팅 시스템(1000)은 시스템 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, SSD(Solid State Drive), 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 저장부
20: 영상 입력부
30: 객체 검출부
40: 투사정보 분류부
50: 제어부

Claims (20)

  1. 제1 CNN(Convolution Neural Network)을 기반으로 영상에서 객체를 검출하는 객체 검출부;
    상기 객체 검출부에 의해 검출된 객체들 중에서 도로면에 위치한 투사정보를 분류하는 투사정보 분류부; 및
    상기 투사정보 분류부에 의해 분류된 투사정보에 기초하여 차량의 주행방향에 상응하는 관심영역에 위치한 투사정보를 인식하는 제어부
    를 포함하는 인공신경망 기반의 투사정보 인식 장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 차량의 좌측 차선변경이 요구되는 경우, 상기 차량의 좌측차선 내에 관심영역을 설정하는 것을 특징으로 하는 인공신경망 기반의 투사정보 인식 장치.
  3. 제 2 항에 있어서,
    상기 제어부는,
    상기 관심영역에 주변차량의 차선변경을 알리는 투사정보가 위치하면, 차선변경 시점을 늦추거나 차량의 속도를 줄인 후 차선변경을 시도하도록 상기 차량을 제어하는 것을 특징으로 하는 인공신경망 기반의 투사정보 인식 장치.
  4. 제 1 항에 있어서,
    상기 제어부는,
    상기 차량의 우측 차선변경이 요구되는 경우, 상기 차량의 우측차선 내에 관심영역을 설정하는 것을 특징으로 하는 인공신경망 기반의 투사정보 인식 장치.
  5. 제 4 항에 있어서,
    상기 제어부는,
    상기 관심영역에 주변차량의 차선변경을 알리는 투사정보가 위치하면, 차선변경 시점을 늦추거나 차량의 속도를 줄인 후 차선변경을 시도하도록 상기 차량을 제어하는 것을 특징으로 하는 인공신경망 기반의 투사정보 인식 장치.
  6. 제 1 항에 있어서,
    상기 제어부는,
    상기 차량의 직진이 요구되는 경우, 상기 차량의 전방 주행차선 내에 관심영역을 설정하는 것을 특징으로 하는 인공신경망 기반의 투사정보 인식 장치.
  7. 제 6 항에 있어서,
    상기 제어부는,
    상기 관심영역에 보행자가 있음을 알리는 투사정보가 위치하면, 상기 차량의 속도를 줄이도록 제어하는 것을 특징으로 하는 인공신경망 기반의 투사정보 인식 장치.
  8. 제 6 항에 있어서,
    상기 제어부는,
    상기 관심영역에 정차를 알리는 투사정보가 위치하면, 상기 차량의 속도를 줄이도록 제어하는 것을 특징으로 하는 인공신경망 기반의 투사정보 인식 장치.
  9. 제 1 항에 있어서,
    상기 객체 검출부는,
    영상 내 객체에 대한 학습을 수행하는 것을 특징으로 하는 인공신경망 기반의 투사정보 인식 장치.
  10. 제 1 항에 있어서,
    상기 투사정보 분류부는,
    제2 CNN을 기반으로 도로면에 위치한 투사정보들을 분류하는 것을 특징으로 하는 인공신경망 기반의 투사정보 인식 장치.
  11. 제 1 항에 있어서,
    상기 투사정보 분류부는,
    도로면에 위치한 투사정보에 대한 학습을 수행하는 것을 특징으로 하는 인공신경망 기반의 투사정보 인식 장치.
  12. 제 11 항에 있어서,
    상기 투사정보 분류부는,
    상기 학습과정에서 도로면에 투사된 투사정보와 도로면에 페인팅된 마크를 구분하는 것을 특징으로 하는 인공신경망 기반의 투사정보 인식 장치.
  13. 객체 검출부가 제1 CNN(Convolution Neural Network)을 기반으로 영상에서 객체를 검출하는 단계;
    투사정보 분류부가 상기 검출된 객체들 중에서 도로면에 위치한 투사정보를 분류하는 단계; 및
    제어부가 상기 분류된 투사정보에 기초하여 차량의 주행방향에 상응하는 관심영역에 위치한 투사정보를 인식하는 단계
    를 포함하는 인공신경망 기반의 투사정보 인식 방법.
  14. 제 13 항에 있어서,
    상기 차량의 주행방향에 상응하는 관심영역에 위치한 투사정보를 인식하는 단계는,
    상기 차량의 좌측 차선변경이 요구되는 경우, 상기 차량의 좌측차선 내에 관심영역을 설정하는 단계;
    상기 관심영역에서 주변차량의 차선변경을 알리는 투사정보를 인식하는 단계; 및
    상기 인식한 투사정보에 기초하여 차량을 제어하는 단계
    를 포함하는 인공신경망 기반의 투사정보 인식 방법.
  15. 제 13 항에 있어서,
    상기 차량의 주행방향에 상응하는 관심영역에 위치한 투사정보를 인식하는 단계는,
    상기 차량의 우측 차선변경이 요구되는 경우, 상기 차량의 우측차선 내에 관심영역을 설정하는 단계;
    상기 관심영역에서 주변차량의 차선변경을 알리는 투사정보를 인식하는 단계; 및
    상기 인식한 투사정보에 기초하여 차량을 제어하는 단계
    를 포함하는 인공신경망 기반의 투사정보 인식 방법.
  16. 제 13 항에 있어서,
    상기 차량의 주행방향에 상응하는 관심영역에 위치한 투사정보를 인식하는 단계는,
    상기 차량의 직진이 요구되는 경우, 상기 차량의 전방 주행차선 내에 관심영역을 설정하는 단계;
    상기 관심영역에서 보행자가 있음을 알리는 투사정보를 인식하는 단계; 및
    상기 인식한 투사정보에 기초하여 차량을 제어하는 단계
    를 포함하는 인공신경망 기반의 투사정보 인식 방법.
  17. 제 13 항에 있어서,
    상기 차량의 주행방향에 상응하는 관심영역에 위치한 투사정보를 인식하는 단계는,
    상기 차량의 직진이 요구되는 경우, 상기 차량의 전방 주행차선 내에 관심영역을 설정하는 단계;
    상기 관심영역에서 정차를 알리는 투사정보를 인식하는 단계; 및
    상기 인식한 투사정보에 기초하여 차량을 제어하는 단계
    를 포함하는 인공신경망 기반의 투사정보 인식 방법.
  18. 제 13 항에 있어서,
    상기 도로면에 위치한 투사정보를 분류하는 단계는,
    제2 CNN을 기반으로 수행되는 것을 특징으로 하는 인공신경망 기반의 투사정보 인식 방법.
  19. 제 13 항에 있어서,
    상기 객체 검출부가 영상 내 객체에 대한 학습을 수행하는 단계; 및
    상기 투사정보 분류부가 도로면에 위치한 투사정보에 대한 학습을 수행하는 단계
    를 더 포함하는 인공신경망 기반의 투사정보 인식 방법.
  20. 제 19 항에 있어서,
    상기 도로면에 위치한 투사정보에 대한 학습을 수행하는 단계는,
    상기 도로면에 투사된 투사정보와 상기 도로면에 페인팅된 마크를 구분하는 단계
    를 포함하는 인공신경망 기반의 투사정보 인식 방법.
KR1020190059207A 2019-05-21 2019-05-21 인공신경망 기반의 투사정보 인식 장치 및 그 방법 KR20200133920A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190059207A KR20200133920A (ko) 2019-05-21 2019-05-21 인공신경망 기반의 투사정보 인식 장치 및 그 방법
US16/555,069 US11106214B2 (en) 2019-05-21 2019-08-29 Artificial neural network-based projection information recognition apparatus and method thereof
DE102019214558.2A DE102019214558A1 (de) 2019-05-21 2019-09-24 Projektionsinformations-erkennungsvorrichtung auf basis eines künstlichen neuronalen netzwerks und verfahren derselben
CN201910916755.9A CN111976585A (zh) 2019-05-21 2019-09-26 基于人工神经网络的投射信息识别装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190059207A KR20200133920A (ko) 2019-05-21 2019-05-21 인공신경망 기반의 투사정보 인식 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20200133920A true KR20200133920A (ko) 2020-12-01

Family

ID=73052563

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190059207A KR20200133920A (ko) 2019-05-21 2019-05-21 인공신경망 기반의 투사정보 인식 장치 및 그 방법

Country Status (4)

Country Link
US (1) US11106214B2 (ko)
KR (1) KR20200133920A (ko)
CN (1) CN111976585A (ko)
DE (1) DE102019214558A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200133920A (ko) * 2019-05-21 2020-12-01 현대자동차주식회사 인공신경망 기반의 투사정보 인식 장치 및 그 방법
JP7201550B2 (ja) * 2019-07-29 2023-01-10 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11932167B2 (en) * 2021-10-06 2024-03-19 Leo Polosajian System and method of alerting pedestrians to vehicles

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983802B2 (en) * 1997-10-22 2011-07-19 Intelligent Technologies International, Inc. Vehicular environment scanning techniques
US20170083794A1 (en) * 2015-09-18 2017-03-23 Ford Global Technologies, Llc Virtual, road-surface-perception test bed
EP3223188A1 (en) * 2016-03-22 2017-09-27 Autoliv Development AB A vehicle environment mapping system
JP6596736B2 (ja) * 2016-03-29 2019-10-30 本田技研工業株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20180017799A1 (en) * 2016-07-13 2018-01-18 Ford Global Technologies, Llc Heads Up Display For Observing Vehicle Perception Activity
KR102541559B1 (ko) * 2017-08-04 2023-06-08 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치
KR101959305B1 (ko) * 2017-09-15 2019-03-18 엘지전자 주식회사 차량
CN110352153A (zh) * 2018-02-02 2019-10-18 辉达公司 自主车辆中用于障碍物躲避的安全程序分析
CA3159409A1 (en) * 2018-07-07 2020-01-16 Peloton Technology, Inc. Control of automated following in vehicle convoys
KR102581766B1 (ko) * 2018-10-08 2023-09-22 주식회사 에이치엘클레무브 차량 제어 장치, 차량 제어 방법 및 차량 제어 시스템
US10747230B2 (en) * 2018-10-08 2020-08-18 Mando Corporation Vehicle control apparatus, vehicle control system, and image sensor
KR20200133920A (ko) * 2019-05-21 2020-12-01 현대자동차주식회사 인공신경망 기반의 투사정보 인식 장치 및 그 방법
KR20200143960A (ko) * 2019-06-17 2020-12-28 현대자동차주식회사 영상을 이용한 객체 인식 장치 및 그 방법
KR102607390B1 (ko) * 2019-07-19 2023-11-29 엘지전자 주식회사 차량의 주변 상황 확인 방법
US11225247B2 (en) * 2019-08-21 2022-01-18 Zoox, Inc. Collision prediction and avoidance for vehicles
US11360480B2 (en) * 2019-08-21 2022-06-14 Zoox, Inc. Collision zone detection for vehicles

Also Published As

Publication number Publication date
US20200371527A1 (en) 2020-11-26
CN111976585A (zh) 2020-11-24
US11106214B2 (en) 2021-08-31
DE102019214558A1 (de) 2020-11-26

Similar Documents

Publication Publication Date Title
US20200333796A1 (en) Image processing method for autonomous driving and apparatus thereof
US11461595B2 (en) Image processing apparatus and external environment recognition apparatus
WO2020038091A1 (zh) 智能驾驶控制方法与装置、电子设备、程序和介质
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
US8995723B2 (en) Detecting and recognizing traffic signs
US20190122059A1 (en) Signal light detection
KR20220000977A (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
US8848980B2 (en) Front vehicle detecting method and front vehicle detecting apparatus
WO2013011952A1 (ja) 車線認識装置
KR20200133920A (ko) 인공신경망 기반의 투사정보 인식 장치 및 그 방법
KR101840974B1 (ko) 자율주행용 차선 식별 시스템
KR101606476B1 (ko) 카메라의 다중 노출 영상을 이용한 신호등 자동 인식 장치 및 방법
US20220270480A1 (en) Signal control apparatus and method based on reinforcement learning
KR20210044961A (ko) 자율주행차량의 차선변경 전략 결정 장치 및 그 방법
KR20210005395A (ko) 자율주행차량의 유턴 전략 결정 장치 및 그 방법
US12008743B2 (en) Hazard detection ensemble architecture system and method
US11749002B2 (en) Lane line recognition apparatus
KR20210005393A (ko) 자율주행차량의 유턴 제어 장치 및 그 방법
WO2023029468A1 (zh) 车辆行驶提示
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP2020534600A (ja) 車線認識方法および装置、運転支援システムならびに車両
US11157755B2 (en) Image processing apparatus
KR101622051B1 (ko) 차량 분별 시스템 및 방법
TW202038135A (zh) 輔助駕駛裝置、方法及電腦可讀取存儲介質
Kuprešak et al. Solution for autonomous vehicle parking